WO2015055902A1 - Method of encoding and decoding a sequence of video images with predetermined modes of filling for the pixels of occluded parts in the images - Google Patents

Method of encoding and decoding a sequence of video images with predetermined modes of filling for the pixels of occluded parts in the images Download PDF

Info

Publication number
WO2015055902A1
WO2015055902A1 PCT/FR2014/000224 FR2014000224W WO2015055902A1 WO 2015055902 A1 WO2015055902 A1 WO 2015055902A1 FR 2014000224 W FR2014000224 W FR 2014000224W WO 2015055902 A1 WO2015055902 A1 WO 2015055902A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixels
occlusion
decoding
list
Prior art date
Application number
PCT/FR2014/000224
Other languages
French (fr)
Inventor
Gang Xiao
Original Assignee
Université de Nice Sophia Antipolis
Centre National De La Recherche Scientifique
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Université de Nice Sophia Antipolis, Centre National De La Recherche Scientifique filed Critical Université de Nice Sophia Antipolis
Publication of WO2015055902A1 publication Critical patent/WO2015055902A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

The invention relates to a method of video encoding and decoding, on the basis of a reference image (F1, F2) and of a field of motion vectors (M1, M2), there is calculated a predicted image (P2, P3) and a residual image (R2, R3). During encoding, the method comprises a step of generating a list of indicators of order of occlusion which is transmitted to the decoding with the fields of motion vectors (M1, M2), the predicted image (P2, P3) containing occlusion bands formed by pixels whose vector field does not match a valid position in the reference image (F1, F2). The list of indicators of mode of filling of pixels of the occlusion bands of the predicted image (P2, P3) is transmitted from the encoding to the decoding, according to which list, during decoding, there is tracked a pre-established mode of filling so as to fill each pixel in said occlusion bands of the predicted image (P2, P3).

Description

Procédé d'encodage et de décodage d'une séquence d'images vidéo avec des modes de remplissage prédéterminés pour les pixels de parties occluses dans les images  A method of encoding and decoding a sequence of video images with predetermined fill modes for pixels of occluded portions in the images
La présente invention se rapporte à un procédé d'encodage et de décodage d'images vidéo avec des modes de remplissage prédéterminés pour les pixels des parties occluses dans les images. The present invention relates to a method for encoding and decoding video images with predetermined fill modes for the pixels of the occluded portions in the images.
Il est connu, dans un procédé d'encodage et de décodage vidéo pour une séquence d'images, d'effectuer lors de l'encodage, à partir d'une image de référence, respectivement précédente ou postérieure, et de champs de vecteurs de mouvement, le calcul une image prédite, respectivement suivante ou antérieure, et d'une image résiduelle.  It is known, in a video coding and decoding method for a sequence of images, to perform, when encoding, from a reference image, respectively preceding or after, and from vector fields of motion, computing a predicted image, respectively next or previous, and a residual image.
Les images résiduelles ainsi que les champs de vecteurs de mouvement sont transmis au décodage pour l'obtention d'images d'affichage, le décodage consistant pour chaque image d'affichage au calcul d'une image prédite selon le champ de vecteurs de mouvement associé et l'obtention d'une image de référence obtenue après correction de l'image prédite par l'image résiduelle associée, l'image de référence servant à l'élaboration de l'image d'affichage. The residual images as well as the motion vector fields are transmitted to the decoding for obtaining display images, the decoding consisting for each display image in calculating a predicted image according to the associated motion vector field and obtaining a reference image obtained after correction of the image predicted by the associated residual image, the reference image used to produce the display image.
Classiquement, les pixels de l'image prédite sont groupés en blocs et le champ de vecteurs de mouvement est présenté en approximation avec un vecteur par bloc. Ces vecteurs sont ensuite compressés avant la transmission au décodage. Conventionally, the pixels of the predicted image are grouped in blocks and the motion vector field is presented in approximation with a vector per block. These vectors are then compressed before transmission to decoding.
Alternativement, l'image peut être divisée en segments de mouvements cohérents, chaque segment correspondant à un objet ou une scène de l'image qui se déplace indépendamment des autres segments. Dans un tel segment, le champ de vecteurs de mouvement peut être décrit par un simple modèle mathématique, ce qui réduit considérablement la bande passante pour la transmission du champ de vecteurs par rapport à une transmission bloc par bloc. Fréquemment, l'essentiel de la bande passante d'une séquence d'images vidéo est engendré par des zones d'occlusion, où une partie d'un objet de l'image prédite est cachée par un autre objet en mouvement ou par le cadre de l'image dans l'image de référence. Dans ce cas, il est utilisé des algorithmes connus qui tentent d'estimer la partie cachée en prenant une partie de l'image de référence qui ressemble au plus près à cette partie cachée. Plusieurs inconvénients limitent la performance de ces algorithmes. Alternatively, the image can be divided into coherent motion segments, each segment corresponding to an object or scene of the image that moves independently of the other segments. In such a segment, the motion vector field can be described by a simple mathematical model, which greatly reduces the bandwidth for transmission of the vector field with respect to block-to-block transmission. Frequently, most of the bandwidth of a sequence of video images is generated by occlusion zones, where part of an object of the predicted image is hidden by another moving object or frame. of the image in the reference image. In this case, it is used known algorithms that try to estimate the hidden part by taking a part of the reference image that closely resembles this hidden part. Several disadvantages limit the performance of these algorithms.
D'abord puisque la partie cachée n'existe pas dans l'image de référence, l'estimation de la partie occluse de l'image prédite n'est qu'une approximation qui est souvent assez loin du vrai contenu de l'image. La différence entre la prédiction et la vraie partie de l'image doit alors être corrigée par l'image résiduelle qui doit non seulement fournir la partie réelle de l'image mais aussi recorriger la partie prédite, car cette dernière a beaucoup de chance d'être bien différente de la partie réelle.  First, since the hidden part does not exist in the reference image, the estimation of the occluded part of the predicted image is only an approximation which is often quite far from the true content of the image. The difference between the prediction and the real part of the image must then be corrected by the residual image which must not only provide the real part of the image but also rectify the predicted part, because the latter is very lucky to to be very different from the real part.
Des tests effectués montrent que dans la majorité des cas, cette double correction nécessite une bande passante plus élevée pour l'image résiduelle qu'une simple fourniture de la partie occluse de l'image prédite. Tests carried out show that in the majority of cases, this double correction requires a higher bandwidth for the residual image than a simple supply of the occluded part of the predicted image.
Quand la bande passante est limitée, une compression à un taux plus fort de l'image résiduelle est nécessairement appliquée, entraînant inévitablement une baisse de la qualité de l'image. En plus, l'artefact introduit par une compression agressive à taux fort provient non seulement de la partie réelle de l'image mais aussi de la partie prédite et l'artefact de la partie prédite est bien plus visible que celui de la partie réelle car il s'agit de bruits sans signaux correspondants. Ces bruits se présentent souvent sous forme d'auréoles dans les zones occluses.  When the bandwidth is limited, a compression at a higher rate of the residual image is necessarily applied, inevitably causing a decrease in the quality of the image. In addition, the artefact introduced by aggressive compression at high rate comes not only from the real part of the image but also from the predicted part and the artifact of the predicted part is much more visible than that of the real part because it is noises without corresponding signals. These noises are often in the form of rings in occluded areas.
Ensuite, la recherche des parties prédites de la zone occluse étant aléatoire, les vecteurs de mouvement qui en résultent sont aussi aléatoires, ces vecteurs de nature aléatoire étant difficiles à compresser, ce qui conduit à une augmentation importante de la bande passante pour la transmission de champ de vecteurs de mouvement. Une analyse des images réelles montre que ces vecteurs aléatoires occupent souvent la majorité de la bande passante du champ de vecteurs de mouvement compressé. Enfin, dans les parties occluses, les vecteurs de mouvement aléatoires ne permettent pas une interpolation temporelle efficace pour les images intermédiaires entre l'image de référence et l'image prédite. De ce fait, de nouvelles corrections par images résiduelles sont nécessaires pour chacune des images intermédiaires alors que les informations pour ces images sont très souvent déjà contenues dans l'image de référence et l'image prédite. Donc un champ de vecteurs plus correct aurait le potentiel d'augmenter significativement le taux de compression pour ces images intermédiaires. Then, the search for the predicted parts of the occluded area being random, the resulting motion vectors are also random, these vectors of random nature being difficult to compress, which leads to a significant increase in the bandwidth for the transmission of motion vector field. An analysis of the real images shows that these random vectors often occupy the majority of the bandwidth of the compressed motion vector field. Finally, in the occluded parts, the random motion vectors do not allow efficient temporal interpolation for the intermediate images between the reference image and the predicted image. As a result, new corrections by residual images are required for each of the intermediate images, whereas the information for these images is very often already contained in the reference image and the predicted image. Therefore a more correct vector field would have the potential to significantly increase the compression ratio for these intermediate images.
Récemment, plusieurs procédés de traitement d'occlusion ont été portés à la connaissance du public. Ces procédés se concentrent sur la détermination et l'interprétation des occlusions dans le cas de l'interpolation temporelle d'une image intercalée entre deux images de référence connues.  Recently, several occlusion treatment methods have come to the attention of the public. These methods focus on the determination and interpretation of occlusions in the case of temporal interpolation of an image interspersed between two known reference images.
Pour la compression et la transmission d'une séquence d'images vidéo, l'étape la plus fréquente est de prédire une image à partir d'une image de référence précédente. Cette situation est bien différente de l'interpolation temporelle d'image et une amélioration de l'efficacité de la compression dans ce cas est très importante car elle occupe une part importante de la bande passante d'une séquence vidéo compressée.  For compression and transmission of a sequence of video images, the most common step is to predict an image from a previous reference image. This situation is very different from the temporal interpolation of the image and an improvement of the efficiency of the compression in this case is very important because it occupies a large part of the bandwidth of a compressed video sequence.
Le document US-A1 -2010/283892, représentant l'état de la technique le plus proche, décrit un procédé d'encodage et de décodage vidéo dans une séquence d'images, pour lequel procédé, à partir d'une image de référence et d'un champ de vecteurs de mouvement, il est calculé, lors de l'encodage et du décodage, une image prédite et une image résiduelle, les images résiduelles ainsi que les champs de vecteurs de mouvement étant transmis au décodage pour l'obtention d'images d'affichage après décodage, lequel procédé, lors de l'encodage, comprend l'étape de génération d'une liste d'indicateurs d'ordre d'occlusion, la liste d'indicateurs d'ordre d'occlusion étant transmise au décodage avec les champs de vecteurs de mouvement, l'image prédite contenant des bandes d'occlusion formées par des pixels dont le champ de vecteur ne fait pas correspondre une position valable dans l'image de référence. Si, dans ce document, il est indiqué que le remplissage de pixel des bandes d'occlusion se fait selon une liste d'indicateurs d'ordre d'occlusion, il n'est pas décrit un mode de remplissage de chaque pixel dans les bandes d'occlusion qui soit sélectionnable selon les paramètres des bandes d'occlusion. The document US-A1-2010/283892, representing the state of the art closest, describes a video encoding and decoding method in a sequence of images, for which method, from a reference image and a motion vector field, it is calculated, during encoding and decoding, a predicted image and a residual image, the residual images as well as the motion vector fields being transmitted to the decoding for obtaining of decoding display images, which method, during encoding, includes the step of generating a list of occlusion order indicators, the list of occlusion order indicators being transmitted to the decoding with the motion vector fields, the predicted image containing occlusion bands formed by pixels whose vector field does not match a valid position in the reference image. If, in this document, it is indicated that the pixel filling of the occlusion bands is done according to a list of occlusion order indicators, it is not described a mode of filling each pixel in the bands. occlusion that can be selected according to the parameters of the occlusion bands.
II en va de même pour les documents US-A1 -2011/129015, US-A1- 2011/211111 et EP-A1-2 602 997. The same is true for the documents US-A1-2011 / 129015, US-A1- 2011/211111 and EP-A1-2 602 997.
Le document US-A-2003/039307 a trait à un système et à un procédé d'encodage et de décodage vidéo avec émission d'un indicateur d'ordre d'occlusion. Cet indicateur d'ordre peut indiquer un ordre relatif entre deux segments, comme par exemple une position d'un segment par rapport à un autre segment ou indiquer un ordre absolu qui donne à chaque segment une place dans la suite d'ordres. L'indicateur d'ordre peut être déterminé en fonction des différences d'occlusion dans les segments entre l'image de référence et l'image prédite.  Document US-A-2003/039307 relates to a system and method for video encoding and decoding with the transmission of an occlusion order indicator. This order indicator can indicate a relative order between two segments, such as a position of one segment relative to another segment or indicate an absolute order that gives each segment a place in the sequence of orders. The order indicator can be determined based on occlusion differences in segments between the reference image and the predicted image.
Si ce document décrit un indicateur d'ordre d'occlusion, il s'est révélé que l'application d'un tel procédé produisait des artefacts qui nuisent à la qualité des images et influent négativement sur la compression. Ce document sera ultérieurement plus amplement détaillé dans la présente demande de brevet en servant d'exemple pour illustrer un traitement des zones d'occlusion selon l'état de la technique. If this document describes an occlusion order indicator, it has been found that the application of such a method produces artifacts that impair image quality and adversely affect compression. This document will be more fully detailed in the present patent application by way of example to illustrate a treatment of the occlusion zones according to the state of the art.
Le problème à la base de la présente invention est donc de trouver un procédé de décodage et encodage qui réduit la bande passante de transmission nécessitée par des positions d'occlusion ou des positions en dehors du cadre de pixels de l'image de référence en faisant une meilleure prédiction des valeurs de luminance ou valeurs chromatiques des pixels se trouvant dans ces positions.  The problem underlying the present invention is thus to find a method of decoding and encoding which reduces the transmission bandwidth required by occlusion positions or positions outside the pixel frame of the reference image by making a better prediction of the luminance values or color values of the pixels in these positions.
A cet effet, l'invention concerne un procédé d'encodage et de décodage vidéo dans une séquence d'images, pour lequel procédé, à partir d'une image de référence et d'un champ de vecteurs de mouvement, il est calculé, lors de l'encodage et du décodage, une image prédite et une image résiduelle, les images résiduelles ainsi que les champs de vecteurs de mouvement étant transmis au décodage pour l'obtention d'images d'affichage après décodage, lequel procédé, lors de l'encodage, comprend l'étape de génération d'une liste d'indicateurs d'ordre d'occlusion, la liste d'indicateurs d'ordre d'occlusion étant transmise au décodage avec les champs de vecteurs de mouvement, l'image prédite contenant des bandes d'occlusion formées par des pixels dont le champ de vecteur ne fait pas correspondre une position valable dans l'image de référence, caractérisé en ce qu'une liste d'indicateurs de mode de remplissage de pixels des bandes d'occlusion de i'image prédite est transmise de l'encodage au décodage, selon laquelle liste, lors du décodage, il .est suivi un mode de remplissage préétabli pour remplir chaque pixel dans lesdites bandes d'occlusion de l'image prédite. For this purpose, the invention relates to a video encoding and decoding method in an image sequence, for which, from a reference image and a motion vector field, it is calculated, during the encoding and decoding, a predicted image and a residual image, the residual images as well as the motion vector fields being transmitted to the decoding for obtaining display images after decoding, which method, during the encoding, comprises the step of generating a list of occlusion order indicators, the list of occlusion order indicators being transmitted to the decoding with the vector fields of motion, the predicted image containing occlusion bands formed by pixels whose vector field does not match a valid position in the reference image, characterized in that a list of fill mode indicators of pixels of the occlusion bands of the predicted image is transmitted from encoding to decoding, according to which list, during decoding, it is followed by a preset filling mode to fill each pixel in said occlusion bands of the predicted picture.
Avantageusement, la liste d'indicateurs de mode de remplissage est incluse dans la liste d'ordre d'occlusion ou la liste d'indicateurs de mode de remplissage est indépendante de la liste d'ordre d'occlusion et est transmise de l'encodage au décodage séparément de cette liste d'ordre. Avantageusement, il est défini deux zones de continuité du champ de vecteur de mouvement dans l'image de référence comprenant une zone occluse et une zone occluante avec une courbe de discontinuité entre les deux zones, la zone occluante recouvrant au moins partiellement la zone occluse, avec dans l'image prédite la bande d'occlusion créée par la discontinuité entre les deux zones s'intégrant dans la zone occluse, le mode de remplissage préétabli pour un pixel donné de la bande d'occlusion est la valeur de la moyenne d'une sélection de pixels appartenant à la zone occluse de l'image de référence, cette sélection de pixels étant faite pour des pixels de la zone occluse de l'image de référence mis en correspondance avec les pixels de l'image prédite les plus proches du pixel donné.  Advantageously, the list of fill mode indicators is included in the occlusion order list or the list of fill mode indicators is independent of the occlusion order list and is transmitted from the encoding decoding separately from this order list. Advantageously, two zones of continuity of the motion vector field are defined in the reference image comprising an occluded zone and an occluding zone with a discontinuity curve between the two zones, the occluding zone covering at least partially the occluded zone, with in the predicted image the occlusion band created by the discontinuity between the two zones integrating in the occluded zone, the preset filling mode for a given pixel of the occlusion band is the value of the average of a selection of pixels belonging to the occluded area of the reference image, this selection of pixels being made for pixels of the occluded area of the reference image matched with the pixels of the predicted image closest to the given pixel.
Avantageusement, ladite moyenne est pondérée par une fonction de pondération dépendant du positionnement de chaque pixel dans ladite sélection de pixels de l'image de référence. Advantageously, said average is weighted by a weighting function dependent on the positioning of each pixel in said selection of pixels of the reference image.
Avantageusement, ladite fonction de pondération est fonction des gradients des valeurs de luminance de pixels sur la sélection de pixels de l'image de référence et, quand l'ensemble desdits gradients présente une direction dominante, ladite fonction donne une pondération plus forte aux pixels dont le positionnement est proche de la direction perpendiculaire à la direction dominante des gradients. Advantageously, said weighting function is a function of the gradients of the luminance values of pixels on the selection of pixels of the reference image and, when all of said gradients have a direction dominant, said function gives a stronger weight to the pixels whose positioning is close to the direction perpendicular to the dominant direction of the gradients.
Avantageusement, la sélection de pixels de l'image de référence est affinée en ne prenant en compte que les pixels correspondants de l'image de référence mis en correspondance avec les pixels de l'image prédite les plus proches du pixel et se trouvant uniquement dans une direction comprise dans un intervalle angulaire défini par l'indicateur de mode de remplissage. Advantageously, the selection of pixels of the reference image is refined by taking into account only the corresponding pixels of the reference image mapped to the pixels of the predicted image closest to the pixel and lying solely in the a direction within an angular range defined by the fill mode indicator.
Avantageusement, les pixels d'une bande d'occlusion de l'image prédite, mis en correspondance par le champ de vecteurs de mouvement à aucune position correspondante valable dans l'image de référence, sont divisés en un multiple de groupes et un ordre de précédence est attribué à chacun de ces groupes, tel que, lors du décodage, le remplissage des valeurs des pixels de l'image prédite se fait groupe par groupe selon leur ordre de précédence et les valeurs des pixels se trouvant dans un groupe antérieur, corrigées par le contenu de l'image résiduelle, sont utilisées comme valeurs de référence pour calculer les moyennes afin de déduire la valeur prédite d'un pixel dans un groupe postérieur. Advantageously, the pixels of an occlusion band of the predicted image, matched by the motion vector field to no valid corresponding position in the reference image, are divided into a multiple of groups and a control order. precedence is assigned to each of these groups, such that, when decoding, the pixel values of the predicted image are filled in groups by groups in order of precedence and the values of the pixels in an earlier group corrected by the content of the residual image, are used as reference values to calculate the averages in order to deduce the predicted value of a pixel in a posterior group.
Avantageusement, quand l'image résiduelle est divisée en blocs lors de sa compression, la division en groupes des pixels d'une bande d'occlusion de l'image prédite ne donnant aucune position correspondante valable dans l'image de référence se fait en cohérence avec la division en blocs utilisée lors de la compression de l'image résiduelle. Advantageously, when the residual image is divided into blocks during its compression, the division into groups of pixels of an occlusion band of the predicted image giving no corresponding valid position in the reference image is coherent. with the division in blocks used during the compression of the residual image.
Avantageusement, lors du décodage, pour une courbe de discontinuité séparant une zone occluante et une zone occluse, les pixels appartenant à la courbe de discontinuité sont attribués à la zone occluante. Advantageously, during decoding, for a discontinuity curve separating an occluding zone and an occluded zone, the pixels belonging to the discontinuity curve are assigned to the occluding zone.
L'invention concerne aussi un système d'encodage et de décodage vidéo pour la mise en oeuvre d'un tel procédé, lequel comprend : The invention also relates to a video encoding and decoding system for implementing such a method, which comprises:
- des moyens d'encodage d'images vidéo, comprenant des moyens de détection d'une discontinuité entre deux zones de continuité d'un champ de vecteurs de mouvement sur l'image de référence et des moyens de génération d'une liste d'indicateurs d'ordre d'occlusion et d'une liste d'indicateurs de mode de remplissage, means for encoding video images, comprising means for detecting a discontinuity between two continuity zones of a field of motion vectors on the reference image and means for generating a list of occlusion order indicators and a list of fill mode indicators,
- des moyens de décodage pour l'obtention de chaque image d'affichage, les moyens de décodage comprenant des moyens de traitement selon la liste d'indicateurs d'ordre d'occlusion et une liste d'indicateurs de mode de remplissage, ainsi que des moyens de mise en œuvre sélective dë ces modes de remplissage effectuant un remplissage de pixels des bandes d'occlusion des images prédites, ■ · - ' decoding means for obtaining each display image, the decoding means comprising processing means according to the list of occlusion order indicators and a list of fill mode indicators, as well as means for selective implementation of these filling modes performing a pixel filling of the occlusion bands of the predicted images, ■ · - '
- les moyens de décodage comprenant des moyens de mémorisation préalable de plusieurs modes prédéterminés de remplissage de pixels des bandes d'occlusion.  - The decoding means comprising means for previously storing a plurality of predetermined pixel filling modes occlusion bands.
D'autres caractéristiques, buts et avantages de la présente invention apparaîtront à la lecture de la description détaillée qui va suivre et au regard des dessins annexés donnés à titre d'exemples non limitatifs et sur lesquels : Other features, objects and advantages of the present invention will appear on reading the detailed description which follows and with reference to the appended drawings given by way of non-limiting examples and in which:
- les figures 1 et 2 montrent respectivement des première et seconde images successives d'une séquence vidéo,  FIGS. 1 and 2 show respectively first and second successive images of a video sequence,
- la figure 3 montre une bande d'occlusion entre deux objets en mouvement dans une image,  FIG. 3 shows an occlusion band between two objects moving in an image,
- les figures 4 et 5 sont respectivement une représentation schématique des étapes connues d'un procédé d'encodage et de décodage d'images vidéo, le procédé selon l'invention pouvant être utilisé dans le cadre d'un tel procédé d'encodage et de décodage,  FIGS. 4 and 5 are respectively a schematic representation of the known steps of a method for encoding and decoding video images, the method according to the invention being able to be used in the context of such a method of encoding and decoding,
- les figures 6 et 7, 8 et 9, 10 et 11 , 12 et 13 montrent respectivement une image prédite et une image résiduelle obtenues conformément à des premier, second, troisième et quatrième procédés de traitement des zones occluses dans une image selon l'état de la technique,  FIGS. 6 and 7, 8 and 9, 10 and 11, 12 and 13 respectively show a predicted image and a residual image obtained according to first, second, third and fourth processes for treating the occluded zones in an image according to FIG. state of the art,
- les figures 14 et 15 montrent respectivement une image prédite et une image résiduelle obtenues conformément à un procédé de traitement des zones occluses dans une image selon la présente invention pour un premier exemple de mise en oeuvre de remplissage des pixels occlus, FIGS. 14 and 15 respectively show a predicted image and a residual image obtained according to a zone treatment method. occluded in an image according to the present invention for a first example of implementation of filling occluded pixels,
- les figures 16 et 17 montrent respectivement une image prédite et une image résiduelle obtenues conformément à un procédé de traitement des zones occluses dans une image selon la présente invention pour un second exemple de mise en œuvre de remplissage des pixels occlus,  FIGS. 16 and 17 respectively show a predicted image and a residual image obtained according to a process for treating the occluded zones in an image according to the present invention for a second example of implementation of filling the occluded pixels,
- les figures 18 et 19 montrent respectivement une image prédite et une image résiduelle obtenues conformément à un procédé de traitement des zones occluses dans une image selon la présente invention pour un troisième exemple de mise en œuvre de remplissage des pixels occlus.  FIGS. 18 and 19 respectively show a predicted image and a residual image obtained according to a process for treating the occluded zones in an image according to the present invention for a third example of filling implementation of the occluded pixels.
La figure 1 montre une première image qui, dans une séquence d'images vidéo, est suivie d'une seconde image montrée à la figure 2 après déplacement d'au moins un objet dans la première image. Les images sont en réalité en couleur et de 32x32 pixels et représentent un objet mobile 1 , ici l'arrière d'un véhicule automobile, qui avance par rapport à des objets fixes, aux figures 1 et 2 un poteau 2 et de la végétation 3. Fig. 1 shows a first image which, in a sequence of video images, is followed by a second image shown in Fig. 2 after moving at least one object in the first image. The images are actually in color and 32x32 pixels and represent a mobile object 1, here the rear of a motor vehicle, which advances relative to fixed objects, in Figures 1 and 2 a pole 2 and vegetation 3 .
Dans cet exemple, entre ces deux images montrées respectivement aux figures 1 et 2, le vecteur de déplacement de l'objet mobile 1 est de cinq pixels vers la gauche et d'un pixel vers le bas, par rapport au fond fixe 2, 3.  In this example, between these two images respectively shown in Figures 1 and 2, the moving vector of the moving object 1 is five pixels to the left and one pixel down, relative to the fixed bottom 2, 3 .
L'appartenance des pixels de la seconde image de la figure 2 aux différentes zones est illustrée par la figure 3. Cette figure 3 montre trois zones : une zone relative à l'objet mobile 1a formant l'avant-plan, une zone relative à l'objet fixe 2a formant l'arrière-plan et une zone d'occlusion 4a formant ici une bande. A la figure 3, cette bande d'occlusion contient 193 pixels sur les 1024 de l'image. The membership of the pixels of the second image of FIG. 2 to the different zones is illustrated in FIG. 3. This FIG. 3 shows three zones: an area relating to the moving object 1a forming the foreground, a zone relating to the fixed object 2a forming the background and an occlusion zone 4a here forming a band. In Figure 3, this occlusion band contains 193 pixels on the 1024 of the image.
Pour illustrer les étapes des procédés d'encodage et de décodage, il va être fait référence respectivement aux figures 4 et 5. To illustrate the steps of the encoding and decoding methods, reference will be made to FIGS. 4 and 5, respectively.
En se référant à la figure 4, il est montré comment se déroule l'encodage d'une suite d'images vidéo. A cette figure, les références S1 , S2, S3 indiquent les images sources de la séquence vidéo qui entrent dans l'encodeur par son entrée Ee. La référence S1 indique la première image source de la séquence et peut donner une image de type I, référencée Ί à cette figure. A cette image I, un champ de vecteurs M1 de mouvement est appliqué pour produire l'image prédite P2, qui sert de prédiction pour la seconde image. L'image I et le champ de vecteurs M1 de mouvement sont transmis de l'encodeur au décodeur. Referring to Figure 4, it is shown how the encoding of a sequence of video images takes place. In this figure, the references S1, S2, S3 indicate the source images of the video sequence that enter the encoder by its input Ee. The reference S1 indicates the first source image of the sequence and can give an image of type I, referenced Ί to this figure. In this image I, a motion vector field M1 is applied to produce the predicted picture P2, which serves as a prediction for the second picture. The image I and the motion vector field M1 are transmitted from the encoder to the decoder.
L'image prédite P2 est comparée à la seconde image source S2 et la différence entre l'image prédite P2 et l'image source S2' donne l'image 'résiduelle R2. L'image prédite P2 est alors asso'ciéé à l'image résiduelle R2 pour donner une image de référence F2 qui sert à l'élaboration de l'image prédite suivante P3 quand on lui applique un champ de vecteurs M2 de mouvement. Il en va de même pour le vecteur M3 de mouvement et les vecteurs de mouvement suivants, bien que cela ne soit pas montré à la figure 4. The predicted image P2 is compared with the second image source S2 and the difference between the predicted image P2 and the source image S2 'gives the image residual R2. The predicted image is then asso P2 'Ciee to the residual image R2 to give an F2 reference image which is used for preparation of the next predicted image P3 when M2 applies a vector field of motion. The same is true for the motion vector M3 and the following motion vectors, although this is not shown in Figure 4.
Le même processus est appliqué à l'image prédite P3 pour obtenir une image résiduelle R3 puis une image de référence F3 sur laquelle on applique le champ de vecteurs M3 de mouvement. Un tel procédé se poursuit pour les n images de référence.  The same process is applied to the predicted image P3 to obtain a residual image R3 and then a reference image F3 to which the motion vector field M3 is applied. Such a process continues for the n reference images.
Les images résiduelles R2, R3 ainsi que les champs de vecteurs de mouvement M1 , M2, M3 obtenus lors de l'encodage sont transmis au décodage en sortant de l'encodeur par sa sortie Se et en entrant dans le décodeur par son entrée De montrée à la figure 5.  The residual images R2, R3 as well as the motion vector fields M1, M2, M3 obtained during the encoding are transmitted to the decoding by leaving the encoder by its output Se and entering the decoder by its input De shown in Figure 5.
Ainsi, de manière générale lors de l'encodage, à partir d'une image de référence I, F2, F3, respectivement précédente ou postérieure, et de champs de vecteurs de mouvement M1 , M2, M3, il est calculé, une image prédite P2, P3, respectivement suivante ou antérieure, et une image résiduelle R2, R3, les champs de vecteurs de mouvement M1 , M2, M3 et les images résiduelles R2, R3 étant transmis de l'encodage au décodage.  Thus, generally during the encoding, from a reference image I, F2, F3, respectively preceding or subsequent, and motion vector fields M1, M2, M3, it is calculated, a predicted image P2, P3, respectively following or earlier, and a residual image R2, R3, the motion vector fields M1, M2, M3 and the residual images R2, R3 being transmitted from the encoding to the decoding.
Dans le cas spécifique d'une première image et d'une seconde image, il est calculé à partir de la première image en lui ajoutant des champs de vecteurs de mouvement une image prédite et l'image résiduelle correspondante résulte de la différence entre image prédite et seconde image. En se référant à la figure 5, il est montré comment se déroule le décodage d'une suite d'images vidéo. A cette figure, les références A1 , A2, A3 indiquent les images d'affichage de la séquence vidéo qui sortent du décodeur par sa sortie Sd. Lors du décodage, pour l'obtention d'images d'affichage A1 , A2, A3 après décodage, il est effectué le calcul d'une image prédite P2, P3 selon le champ de vecteurs de mouvement associé M1 , M2 et à partir d'une image de référence F1 , F2, F3.* L'image prédite. 2, P3, corrigée par l'image résiduelleIn the specific case of a first image and a second image, it is calculated from the first image by adding to it motion vector fields a predicted image and the corresponding residual image results from the difference between predicted image. and second image. Referring to Figure 5, it is shown how the decoding of a sequence of video images takes place. In this figure, the references A1, A2, A3 indicate the display images of the video sequence that leave the decoder by its output Sd. During the decoding, in order to obtain display images A1, A2, A3 after decoding, a predicted picture P2, P3 is calculated according to the associated motion vector field M1, M2 and from FIG. a reference image F1, F2, F3. * The predicted image. 2, P3, corrected by the residual image
- * . . . .. - *. . . ..
R2, R3 donne une image de référence suivante F2, F3. Les images de référence F2 et F3 peuvent présenter des zones occluses et les pixels de ces zones sont à remplir pour l'obtention des images d'affichage correspondantes A1 , A2, A3.  R2, R3 gives a next reference image F2, F3. The reference images F2 and F3 may have occluded zones and the pixels of these zones must be filled in order to obtain the corresponding display images A1, A2, A3.
Aux images de référence F2, F3 est ajouté le champ de vecteurs de mouvement associé M2, M3 afin d'obtenir une nouvelle image prédite P3 qui est traitée de la même manière avec correction par l'image résiduelle associée R3 afin d'obtenir une image de référence suivante F3. Le processus se poursuit ainsi pour les n images de la séquence vidéo ainsi décodée.  To the reference images F2, F3 is added the associated motion vector field M2, M3 in order to obtain a new predicted image P3 which is processed in the same way with correction by the associated residual image R3 in order to obtain an image following reference F3. The process is thus continued for the n images of the video sequence thus decoded.
Dans ce qui va suivre, il va être décrit quatre procédés de traitement des zones d'occlusion suivant l'état de la technique pour comparaison avec trois procédés d'encodage et de décodage avec des variantes de mise en œuvre de mode de remplissage prédéterminées pour les zones d'occlusion, ces variantes de mise en uvre pouvant en outre être utilisées dans le procédé selon la présente invention, ceci en combinaison avec une liste d'ordre de remplissage conformément à la présente invention et qui va être décrite ultérieurement.  In what follows, four methods of treating the occlusion zones according to the state of the art will be described for comparison with three encoding and decoding methods with predetermined embodiments of fill mode implementation for occlusion zones, these alternative embodiments may further be used in the method according to the present invention, this in combination with a filling order list according to the present invention and will be described later.
II sera fait référence aux première et seconde images, ceci pouvant s'appliquer à toute image de référence et à une image source précédente ou postérieure selon le sens de l'encodage. Pour simplification il va être pris un encodage et un décodage portant sur des images se suivant, la seconde image suivant la première image, ce qui n'est pas limitatif. Ceci correspond à une compression des images en avant mais une compression en arrière peut aussi être possible.Reference will be made to the first and second images, this being applicable to any reference image and to a previous or subsequent source image according to the encoding sense. For simplification it will be taken encoding and decoding on subsequent images, the second image following the first image, which is not limiting. This corresponds to compression of the images in front, but backward compression may also be possible.
Dans tous les procédés de traitement des zones d'occlusion comparés, il est prévu, lors de l'encodage, de calculer des images prédites à partir de l'image de référence précédente ou postérieure et des champs de vecteurs de mouvement et ensuite de calculer les images résiduelles correspondantes qui corrigent l'image prédite pour obtenir l'image suivante ou postérieure dans le sens de l'encodage. Ces procédés vont être décrits en prenant la première image comme image de référence sur laquelle sont appliqués les. champs de vecteurs de mouvement afin de calculer une image prédite. L'image résiduelle correspondante est obtenue en faisant la différence entre image prédite et seconde image. In all the methods of treatment of occlusion zones compared, it is envisaged, during encoding, to calculate predicted images from the image of previous or subsequent reference and motion vector fields and then calculate the corresponding residual images that correct the predicted image to obtain the next or subsequent image in the encoding direction. These methods will be described by taking the first image as the reference image to which the images are applied . motion vector fields to calculate a predicted image. The corresponding residual image is obtained by differentiating between the predicted image and the second image.
Le premier procédé selon l'état de la technique est décrit en regard des figures 6 et 7. La figure 6 montre l'image prédite et la figure 7 montre l'image résiduelle. Ce premier procédé est dit à "vecteur par bloc". Il prévoit la détermination d'un "vecteur de compensation optimal" pour chaque bloc de 8x8 pixels par un algorithme de recherche de mouvement, le bloc dans l'image prédite étant fourni par le contenu de la première image déplacé par le vecteur de compensation.  The first method according to the state of the art is described with reference to FIGS. 6 and 7. FIG. 6 shows the predicted image and FIG. 7 shows the residual image. This first method is called "block vector". It provides for the determination of an "optimal compensation vector" for each 8 × 8 pixel block by a motion search algorithm, the block in the predicted image being provided by the contents of the first image displaced by the compensation vector.
L'image prédite et l'image résiduelle sont obtenues comme précédemment indiqué. Les effets de débordement de la limite de valeur des pixels où il y a une forte différence entre l'image prédite et la seconde image créent parfois de fortes variations locales dans l'image résiduelle.  The predicted image and the residual image are obtained as previously indicated. The overflow effects of the pixel value limit where there is a large difference between the predicted image and the second image sometimes create strong local variations in the residual image.
Selon ce procédé, il y a plusieurs blocs dont au moins une partie est recouverte par une bande d'occlusion. Une telle bande d'occlusion est formée par des pixels de l'image prédite dont le champ de vecteur ne correspond pas à une position valable dans l'image de référence. According to this method, there are several blocks of which at least part is covered by an occlusion band. Such an occlusion band is formed by pixels of the predicted image whose vector field does not correspond to a valid position in the reference image.
Il est ainsi défini pour la présente invention dans l'image de référence des paires de zones de continuité du champ de vecteur de mouvement. Chaque paire comprend une zone occluse et une zone occluante avec une discontinuité entre les deux zones, la zone occluante recouvrant au moins partiellement la zone occluse. Pour l'image prédite, la bande d'occlusion est créée par la discontinuité entre les deux zones, discontinuité qui forme les positions non valables dans l'image de référence. Ceci est valable pour tous les exemples donnés dans la présente demande. Dans le cas spécifique des figures 6 et 7, pour ces blocs, les vecteurs de mouvement n'ont pas d'effet significatif sur le résultat, car de toute façon il n'y a pas de contrepartie suffisamment similaire dans la première image. It is thus defined for the present invention in the reference image of the pairs of continuity zones of the motion vector field. Each pair comprises an occluded zone and an occluding zone with a discontinuity between the two zones, the occluding zone covering at least partially the occluded zone. For the predicted image, the occlusion band is created by the discontinuity between the two zones, a discontinuity that forms the invalid positions in the reference image. This is valid for all the examples given in this application. In the specific case of FIGS. 6 and 7, for these blocks, the motion vectors have no significant effect on the result, because in any case there is no sufficiently similar counterpart in the first image.
Pour les procédés et mises en œuvre décrits dans la suite de la présente demande, les vecteurs de mouvement sont transmis par zone de mouvement, soit l'avant-plan ou l'arrière-plan, la bande d'occlusion appartenant à l'arrière plan. Ces vecteurs de mouvement contiennent une liste d'indicateurs qui précise la zone d'appartenance (avant-plan, arrière-plan ou occlusion) pour chaque pixel de l'image prédite.  For the methods and implementations described in the remainder of the present application, the motion vectors are transmitted by movement zone, ie the foreground or the background, the occlusion band belonging to the rear plan. These motion vectors contain a list of indicators that specifies the area of membership (foreground, background, or occlusion) for each pixel in the predicted picture.
Le deuxième procédé selon l'état de la technique est décrit en regard des figures 8 et 9. Ce deuxième procédé emploie le mode de remplissage, dit à "vecteur direct", pour remplir les valeurs prédites, de luminance ou chromatique, d'un pixel se trouvant dans la bande d'occlusion en utilisant une extension par continuité des vecteurs de mouvement de l'arrière-plan pour la mise en correspondance à une position correspondante dans l'image de référence, ici la première image. Si cette extension reflète effectivement le vrai mouvement du pixel occlus, la position correspondante dans l'image de référence est occupée par l'objet d'avant-plan, donc la valeur de luminance ou chromatique ainsi obtenue constitue une mauvaise prédiction. The second method according to the state of the art is described with reference to FIGS. 8 and 9. This second method uses the "direct vector" filling mode to fill the predicted luminance or chromatic values of a pixel in the occlusion band using a continuity extension of the motion vectors of the background for matching to a corresponding position in the reference image, here the first image. If this extension actually reflects the true motion of the occluded pixel, the corresponding position in the reference image is occupied by the foreground object, so the luminance or chromatic value thus obtained is a bad prediction.
En se référant aux figures 8 et 9, il peut être constaté que la prédiction de la bande d'occlusion ainsi obtenue est erronée, ce qui génère une correction importante dans l'image résiduelle et en conséquence une bande passante importante. Referring to FIGS. 8 and 9, it can be seen that the prediction of the occlusion band thus obtained is erroneous, which generates a significant correction in the residual image and consequently a large bandwidth.
Le troisième procédé selon l'état de la technique est décrit en regard des figures 10 et 11. Ce troisième procédé emploie le mode de remplissage, dit à "vecteur inversé", améliore le précédent procédé en remplaçant les vecteurs de mouvement dans la bande d'occlusion par les vecteurs de la zone occluante, c'est-à-dire celui de l'avant-plan qui recouvre l'autre zone, cette dernière zone étant dite zone occluse comme précédemment mentionné.  The third method according to the state of the art is described with reference to FIGS. 10 and 11. This third method uses the "inverted vector" filling mode, improves the previous method by replacing the motion vectors in the band. Occlusion by the vectors of the occluante zone, that is to say that of the foreground which covers the other zone, the latter zone being said occluded zone as previously mentioned.
Ces derniers vecteurs de mouvement mettent en correspondance un pixel occlus de la seconde image à une position de la première image de l'arrière- plan, dont le contenu est plus proche du pixel occlus qu'une position de l'avant- plan. These latter motion vectors map an occluded pixel of the second image to a position of the first image of the rearward image. plane, the content of which is closer to the occluded pixel than a position in the foreground.
Il est visible aux figures 10 et 11 que, à part les difficultés créées par le poteau 2 visibles aux figures 1 et 2, l'amélioration par rapport au deuxième procédé est significative. It is visible in Figures 10 and 11 that, apart from the difficulties created by the post 2 visible in Figures 1 and 2, the improvement over the second method is significant.
Le quatrième procédé selon , l'état de la technique est décrit en regard des figures 12 et 13. Ce quatrième procédé emploie le mode de , remplissage, dit "sans prédiction", selon lequel dans la bande d'occlusion aucune prédiction n'est effectuée, le contenu de la seconde image étant entièrement fourni par l'image résiduelle dans cette bande. Ce procédé est similaire à celui décrit par le document US-A-2003/039307 mentionné dans la partie introductive de la présente demande de brevet. The fourth method according to the state of the art is described with reference to FIGS. 12 and 13. This fourth method uses the filling mode, called "without prediction", according to which in the occlusion band no prediction is performed, the content of the second image being entirely provided by the residual image in this band. This method is similar to that described in US-A-2003/039307 mentioned in the introductory part of this patent application.
Un inconvénient important de ce mode de remplissage, est que la fin de la bande d'occlusion, ici le contour droit de la bande d'occlusion comme montré à la figure 3, constitue une ligne de forts gradients dans l'image résiduelle, alors que dans la seconde image une telle ligne n'existe pas. Une compression de l'image résiduelle va créer des artefacts autour de cette ligne, qui ne sont pas masqués par des gradients dans l'image composée. La régularité de la ligne fait que ces artefacts sont facilement remarquables par l'œil humain et peuvent être déplaisants. Ce phénomène limite donc le taux dé compression de l'image résiduelle, réduisant ainsi l'efficacité du procédé.  A major disadvantage of this filling mode is that the end of the occlusion band, here the right contour of the occlusion band as shown in FIG. 3, constitutes a line of strong gradients in the residual image, whereas that in the second image such a line does not exist. A compression of the residual image will create artifacts around this line, which are not masked by gradients in the composite image. The regularity of the line makes these artifacts easily noticeable by the human eye and can be unpleasant. This phenomenon therefore limits the compression ratio of the residual image, thus reducing the efficiency of the process.
Ainsi, l'état de la technique le plus proche illustré par le quatrième procédé comprend une étape de génération à l'encodage d'une liste d'indicateurs d'ordre d'occlusion, chaque indicateur d'ordre d'occlusion étant en rapport avec une discontinuité détectée entre deux zones de continuité d'un champ de vecteurs de mouvement sur l'image de référence formant une courbe de discontinuité, la liste d'indicateurs d'ordre d'occlusion étant transmise au décodage avec les champs de vecteurs de mouvement.  Thus, the closest state of the art illustrated by the fourth method comprises a step of generation to encoding a list of occlusion order indicators, each occlusion order indicator being related to with a discontinuity detected between two continuity zones of a motion vector field on the reference image forming a discontinuity curve, the list of occlusion order indicators being transmitted to the decoding with the vector fields of movement.
Il va maintenant être décrit trois formes de réalisation pour un procédé selon la présente invention, ces trois formes n'étant pas limitatives et étant relatives chacune à un exemple de mise en œuvre de remplissage des pixels occlus ou des pixels hors cadre. Les dénominations utilisées pour désigner chacune des trois formes de réalisation sont purement illustratives et les formes de réalisation ainsi désignées ne doivent pas être restreintes à un sens strict donné à leur dénomination respective. Three embodiments will now be described for a method according to the present invention, these three forms not being limiting and being each relating to an example of filling implementation of occluded pixels or out-of-frame pixels. The names used to designate each of the three embodiments are purely illustrative and the embodiments so designated should not be restricted to a strict sense given to their respective denomination.
D'une manière générale, ces trois formes de réalisation et d'autres variantes possibles de mise' en -oeuvre de remplissage pour les parties occluses ou des In general, these three embodiments and other possible variants of setting 'filling -oeuvre for occluded parts or
, * '· " ' , * '· "'
parties hors cadre formant, les bandes d'occlusion sont utilisées dans un procédé selon la présente invention pour l'encodage et le décodage vidéo d'une séquence d'images traitant les bandes d'occlusion dans les images de référence précédemment définies, pour lequel procédé une liste d'indicateurs de mode de remplissage de pixels des bandes d'occlusion de l'image prédite est transmise de l'encodage au décodage. Selon cette liste, lors du décodage, il est suivi un mode de remplissage préétabli pour remplir chaque pixel des bandes d'occlusion de l'image prédite. occluding bands are used in a method according to the present invention for the video encoding and decoding of an image sequence processing the occlusion bands in the previously defined reference images, for which method a list of pixel fill mode indicators of the occlusion bands of the predicted image is transmitted from encoding to decoding. According to this list, during decoding, it is followed by a preset filling mode to fill each pixel of the occlusion bands of the predicted image.
Par bandes d'occlusion, il est entendu toute partie cachée par un objet en mouvement et aussi toute partie en position sortie du cadre de l'image de référence.  By occlusion bands, it is understood any part hidden by a moving object and also any part in the out position of the frame of the reference image.
Comme précédemment mentionné, les bandes d'occlusion sont formées par des pixels dont le champ de vecteur ne fait pas correspondre une position valable dans l'image de référence F1 , F2. Il a été utilisé position valable car le champ de vecteurs peut être fractionnaire, donc la position correspondante peut ne pas avoir de coordonnées entières.  As previously mentioned, the occlusion bands are formed by pixels whose vector field does not match a valid position in the reference image F1, F2. It has been used valid position because the vector field can be fractional, so the corresponding position may not have integer coordinates.
Divers modes de remplissage peuvent être contenus dans le décodeur préalablement au décodage. Selon une liste d'indicateurs de mode de remplissage émise lors de l'encodage, chaque indicateur valant pour un pixel d'une bande d'occlusion, le remplissage du pixel ou du groupe de pixels de la bande d'occlusion se fait selon un mode de remplissage préétabli déjà contenu dans le décodeur et sélectionné parmi d'autres modes de remplissage.  Various filling modes may be contained in the decoder prior to decoding. According to a list of fill mode indicators emitted during the encoding, each indicator being valid for one pixel of an occlusion band, the filling of the pixel or the group of pixels of the occlusion band is done according to a pre-established filling mode already contained in the decoder and selected from among other filling modes.
Ceci peut être fait de la manière suivante : lors de l'encodage, il est comparé l'efficacité de chacun des modes de remplissage, modes que l'encodage a préalablement mémorisés et qui sont donc à sa disposition, pour un pixel ou pour un groupe de pixels dans une bande d'occlusion. Ensuite, de l'encodage au décodage par l'intermédiaire de la liste d'indicateurs de mode de remplissage, il est indiqué le mode de remplissage le plus performant pour le pixel ou le groupe de pixels en question. This can be done in the following way: during the encoding, it is compared the efficiency of each of the modes of filling, modes that the encoding has previously stored and which are therefore at his disposal, for a pixel or for a group of pixels in an occlusion band. Then, from encoding to decoding via the list of mode indicators of filling, it is indicated the most efficient filling mode for the pixel or the group of pixels in question.
Avantageusement, la liste d'indicateurs de mode de remplissage qui est transmise avec les vecteurs de mouvement peut être indépendante ou intégrée dans la liste* d indicateurs* d'ordre · d'occlusion, chaque indicateur d'ordre Advantageously, the list of fill mode indicators that is transmitted with the motion vectors can be independent or integrated in the list * of occlusion order indicators, each order indicator
» « » '  »« »'
d'occlusion étant en rapport avec une discontinuité détectée entre deux zones de continuité d'un champ de vecteurs de mouvement sur l'image de référence lors de l'encodage. occlusion being related to a detected discontinuity between two continuity zones of a motion vector field on the reference image during encoding.
Il est bien entendu possible de combiner ces diverses variantes de mise en uvre de remplissage entre elles, ceci pour divers pixels occlus ou divers groupes de pixels hors cadre de la même image. Il peut aussi exister la définition d'un mode de remplissage par défaut pour lequel, quand aucun indicateur de mode de remplissage d'un pixel d'une bande d'occlusion n'est fourni, le mode de remplissage est automatiquement celui défini par défaut, soit pour une image, soit pour toutes les images dans une séquence de vidéo.  It is of course possible to combine these various variants of implementation of filling between them, this for various occluded pixels or various groups of out-of-frame pixels of the same image. There may also be the definition of a default fill mode for which, when no fill mode flag of a pixel of an occlusion band is provided, the fill mode is automatically the default one , either for an image or for all the images in a video sequence.
Dans ce qui va suivre, ce qui est énoncé pour un pixel occlus est aussi valable pour un pixel hors cadre, ces deux pixels faisant partie d'une bande d'occlusion. In what follows, what is stated for an occluded pixel is also valid for an out-of-frame pixel, these two pixels being part of an occlusion band.
Les figures 14 et 15 concernent un premier exemple de mise en œuvre de remplissage selon l'invention. Ce premier exemple de mise en œuvre, dite à "remplissage unique", prévoit que pour chaque pixel p dans la bande d'occlusion de l'image prédite, il est d'abord procédé à une recherche de la distance minimale entre le pixel p occlus et un pixel non-occlus de la zone d'arrière-plan. Figures 14 and 15 relate to a first embodiment of filling implementation according to the invention. This first example of implementation, called "single filling", provides that for each pixel p in the occlusion band of the predicted image, it is first carried out a search for the minimum distance between the pixel p occluded and a non-occluded pixel of the background area.
La variable d1 désigne donc la distance minimale entre le pixel p occlus et un pixel non-occlus de la zone d'arrière-plan.  The variable d1 therefore designates the minimum distance between the occluded pixel p and a non-occluded pixel of the background area.
Cet exemple de mise en œuvre emploie un unique mode de remplissage, dit "moyenne omnidirectionnelle". Quand le champ de vecteurs de mouvement ne fait correspondre à un pixel donné de l'image prédite aucune position correspondante valable dans l'image de référence, c'est-à-dire que ce pixel fait partie d'une bande d'occlusion, le mode de remplissage préétabli, dit "moyenne omnidirectionnelle", donne audit pixel occlus de la bande d'occlusion de l'image prédite la valeur moyenne d'une sélection de pixels de l'image de référence appartenant à la zone occluse. Cette sélection de pixels est faite pour des pixels de l'image de référence mis en correspondance avec les pixels de l'image prédite les plus proches du pixel donné. This implementation example uses a single filling mode, called "omnidirectional average". When the motion vector field does not correspond to a given pixel of the predicted image any corresponding valid position in the reference image, i.e. this pixel is part of an occlusion band, the preset filling mode, called "omnidirectional average", gives to said occluded pixel of the occlusion band of the image predicts the average value of a selection of pixels of the reference image belonging to the occluded area. This selection of pixels is made for pixels of the reference image mapped to pixels of the predicted image closest to the given pixel.
D'une manière générale, la moyenne précédemment calculée peut être pondérée par une fonction de pondération dépendant du positionnement de chaque pixel dans ladite sélection de pixels de l'image de référence appartenant à la zone occluse. In general, the previously calculated average may be weighted by a weighting function depending on the positioning of each pixel in said selection of pixels of the reference image belonging to the occluded zone.
Par exemple, une moyenne pondérée peut être calculée pour le contenu des pixels q d'une image de référence, dont le pixel correspondant dans l'image prédite est situé à une distance d2 par rapport au pixel occlus p qui ne dépasse pas un certain multiple m de d1. La pondération r est en fonction du rapport entre d1 et d2. Cette moyenne sera mise sur le pixel occlus p pour l'image prédite ainsi obtenue.  For example, a weighted average can be calculated for the pixel content q of a reference image, whose corresponding pixel in the predicted image is located at a distance d2 from the occluded pixel p which does not exceed a certain multiple m of d1. The weighting r is a function of the ratio between d1 and d2. This average will be put on the occluded pixel p for the predicted image thus obtained.
Dans cet exemple, il a été pris m = 1 ,7 et r = (d1/d2)2, ce qui n'est pas limitatif.In this example, m = 1, 7 and r = (d1 / d2) 2 have been taken , which is not limiting.
Toujours dans le cas d'une image de référence équivalente à la première image montrée à la figure 1 , le résultat est montré à la figure 14 à laquelle on peut constater une forte amélioration par rapport aux procédés de l'état de la technique. Le plus gros défaut reste cependant au centre de l'image, où la moyenne omnidirectionnelle n'est pas très efficace face à la caractéristique fortement directionnelle du poteau, poteau qui a été référencé 2 aux figures 1 et 2 et formant un élément de l'arrière plan, ceci étant spécifique aux images traitées et non caractéristique de ce premier exemple de mise en œuvre de remplissage. Still in the case of a reference image equivalent to the first image shown in Figure 1, the result is shown in Figure 14 which can be seen a significant improvement over the methods of the state of the art. The biggest defect, however, remains in the center of the image, where the omnidirectional mean is not very effective in the highly directional characteristic of the column, which has been referenced 2 in FIGS. 1 and 2 and forming an element of the background, this being specific to the images processed and not characteristic of this first example of filling implementation.
Cependant, contrairement aux trois premiers procédés selon l'état de la technique, il n'y a plus de phénomène de débordement des valeurs de luminance ou valeurs chromatiques du pixel dans l'image résiduelle. However, unlike the first three methods according to the state of the art, there is no longer any phenomenon of overflow of luminance values or chromatic values of the pixel in the residual image.
Des alternatives existent pour la moyenne omnidirectionnelle. Si dans l'exemple précédent, la pondération est inversement proportionnelle au carré de la distance d2 entre les pixels p et q, il est aussi possible en alternative de proposer que r = d1/d2, c'est-à-dire que la pondération soit inversement proportionnelle à la distance d2 entre les pixels p et q. Alternatives exist for the omnidirectional average. If in the preceding example, the weighting is inversely proportional to the square of the distance d2 between the pixels p and q, it is also possible in alternative of propose that r = d1 / d2, that is to say that the weighting is inversely proportional to the distance d2 between the pixels p and q.
Une autre alternative consiste à avoir une pondération constante, c'est-à-dire qu'elle ne dépende pas de la position du pixel q.  Another alternative is to have a constant weighting, i.e. it does not depend on the position of the pixel q.
II est aussi possible de prendre, en alternative, des pondérations qui privilégient une direction par rapport aux autres. Par exemple, soit le vecteur v=pq de coordonnées (x, y), il peut être défini une pondération r = y.(d1/d2)2. It is also possible to take, alternatively, weightings that favor one direction over the others. For example, the vector v = pq of coordinates (x, y), it can be defined a weighting r = y. (D1 / d2) 2 .
Cette pondération a pour effet de privilégier les pixels q se situant en direction verticale par rapport au pixel occlus p. Pour les images prises en exemple, cette formule est plus performante que la moyenne omnidirectionnelle pour les quatre blocs au centre, mais moins efficace qu'une moyenne directionnelle définie dans la suite.  This weighting has the effect of favoring the pixels q located in the vertical direction relative to the occluded pixel p. For example images, this formula performs better than the omnidirectional average for the four blocks in the center, but less efficient than a directional average defined later.
Les figures 16 et 17 montrent un second exemple de mise en œuvre pour un mode de remplissage selon l'invention, dénommé "remplissage adaptatif. Ce second exemple de mise en œuvre améliore le premier exemple de mise en œuvre de remplissage en appliquant un autre mode de remplissage pour les quatre blocs au centre de l'image. Selon ce mode de remplissage dit "moyenne directionnelle", seuls les pixels dans la direction du poteau, référencé 2 aux figures 1 et 2 et donnant un exemple d'objet immobile de l'arrière-plan, sont pris en compte dans le calcul de la moyenne.  FIGS. 16 and 17 show a second example of implementation for a filling mode according to the invention, referred to as "adaptive filling." This second implementation example improves the first example of implementation of filling by applying another mode. for filling the four blocks in the center of the image According to this so-called "directional average" filling mode, only the pixels in the column direction, referenced 2 in FIGS. 1 and 2 and giving an example of an immobile object of the background, are taken into account in calculating the average.
Selon un exemple de mise en œuvre préféré, la liste d'indicateurs de mode de remplissage contenue ou non dans la liste d'indicateurs d'occlusion transmise par l'encodeur au décodeur avec les champs de vecteur de mouvement précise un mode de moyenne directionnelle de remplissage des pixels de la bande d'occlusion pour certains blocs, dans l'exemple des figures 16 et 17 pour les quatre blocs au centre et précise un mode de moyenne omnidirectionnelle pour les autres blocs de l'image prédite.  According to a preferred implementation example, the list of fill mode indicators contained or not in the list of occlusion indicators transmitted by the encoder to the decoder with the motion vector fields specifies a directional average mode. filling the pixels of the occlusion band for some blocks, in the example of Figures 16 and 17 for the four blocks in the center and specifies an omnidirectional average mode for the other blocks of the predicted picture.
D'après le mode de remplissage "moyenne directionnelle", la sélection de pixels de l'image de référence pour le calcul de la moyenne de la prédiction d'un pixel occlus p de la bande d'occlusion de l'image prédite est affinée en ne prenant eh compte que les pixels correspondants de l'image de référence mis en correspondance avec les pixels de l'image prédite les plus proches du pixel p et se trouvant uniquement dans une direction incluse dans un intervalle angulaire défini par l'indicateur de mode de remplissage. According to the "directional average" filling mode, the selection of pixels of the reference image for calculating the mean of the prediction of an occluded pixel p of the predicted image occlusion band is refined by taking into account only the corresponding pixels of the reference image set in corresponding to the pixels of the predicted image closest to the pixel p and lying only in a direction included in an angular interval defined by the fill mode indicator.
Selon ce mode de remplissage et dans le cas spécifique des images montrées, ce sont préférentiellement les pixels q dont la direction au pixel occlus p est comprise dans l'intervalle angulaire entre 68 et 90° par rapport à l'abscisse qui sont pris en compte dans le calcul de la moyenne pour le pixel p.  According to this filling mode and in the specific case of the images shown, it is preferentially the pixels q whose direction at the occluded pixel p is included in the angular interval between 68 and 90 ° with respect to the abscissa which are taken into account. in the calculation of the average for the pixel p.
Selon une alternative de la mise en œuvre, l'indicateur de mode de remplissage précise au décodeur que l'intervalle angulaire est détecté par le décodeur par une analyse statistique des gradients.  According to an alternative of the implementation, the filling mode indicator indicates to the decoder that the angular interval is detected by the decoder by a statistical analysis of the gradients.
Lors du décodage, il est procédé à la détection de la direction de remplissage appartenant à un bloc central en analysant les gradients des pixels appartenant à la zone occluse ou d'arrière-plan dans les blocs avoisinants puis en prenant la direction perpendiculaire à la direction dominante de ces gradients comme direction de remplissage.  During decoding, the direction of filling belonging to a central block is detected by analyzing the gradients of the pixels belonging to the occluded or background zone in the neighboring blocks and then taking the direction perpendicular to the direction dominant of these gradients as filling direction.
Ainsi, une fonction de pondération peut dépendre aussi d'une fonction statistique des gradients des valeurs de luminance de pixels sur une sélection de pixels de l'image de référence appartenant à la zone occluse, l'ensemble desdits gradients présentant une direction dominante. La fonction statistique donne alors avantageusement une pondération plus forte aux pixels dont le positionnement est proche de la direction perpendiculaire à la direction dominante des gradients.  Thus, a weighting function may also depend on a statistical function of the gradients of the luminance values of pixels on a selection of pixels of the reference image belonging to the occluded zone, all of said gradients having a dominant direction. The statistical function then advantageously gives a stronger weighting to pixels whose positioning is close to the direction perpendicular to the dominant direction of the gradients.
Selon cet exemple de mise en œuvre, dans le cas spécifique des images montrées, seuls les gradients dont la ligne perpendiculaire rencontre le bloc central sont pris en compte dans la détection de la direction dominante des gradients.  According to this example of implementation, in the specific case of the images shown, only the gradients whose perpendicular line meets the central block are taken into account in detecting the dominant direction of the gradients.
Selon un autre exemple de mise en œuvre, la liste d'indicateurs de mode de remplissage intégrée ou non à la liste d'indicateurs d'occlusion transmise par l'encodeur contient un mode automatique de remplissage des pixels de la bande d'occlusion pour tous les blocs de l'image. Selon ce mode, le décodeur procède à une analyse des gradients des pixels appartenant à la zone d'arrière- plan ou zone occluse dans les blocs avoisinants et passe au mode de remplissage directionnel si une direction dominante des gradients est détectée.According to another example of implementation, the list of fill mode indicators integrated or not into the list of occlusion indicators transmitted by the encoder contains an automatic mode of filling the pixels of the occlusion band for all the blocks of the image. In this mode, the decoder performs an analysis of the gradients of the pixels belonging to the rear area. occluded plane or zone in neighboring blocks and switches to directional fill mode if a dominant gradient direction is detected.
La sélection de pixels de l'image de référence peut être affinée en ne prenant en compte que les pixels correspondants de l'image de référence mis en correspondance avec les pixels de l'image prédite les plus proches du pixel et se trouvant uniquement dans une direction incluse dans un intervalle angulaire défini par l'indicateur de mode de remplissage. The selection of pixels of the reference image can be refined by taking into account only the corresponding pixels of the reference image mapped to the pixels of the predicted image closest to the pixel and lying only in a direction included in an angular interval defined by the fill mode indicator.
Les formes de réalisation énoncées ci-dessus présentent l'avantage d'optimiser le remplissage tout en nécessitant un minimum de bande passante supplémentaire pour la liste d'indicateurs de remplissage. Le résultat de cet exemple de mise en œuvre de remplissage est illustré par les figures 16 et 17. L'amélioration est substantielle. Cet exemple de mise en œuvre a en plus l'avantage d'être moins sensible que la précédente à la précision du positionnement du contour de discontinuité. The embodiments described above have the advantage of optimizing the filling while requiring a minimum of additional bandwidth for the list of fill indicators. The result of this example of filling implementation is illustrated in Figures 16 and 17. The improvement is substantial. This implementation example has the additional advantage of being less sensitive than the previous one to the accuracy of the positioning of the discontinuity contour.
L'inconvénient de ces deux variantes de mise en œuvre de remplissage selon la présente invention qui ont été précédemment décrites est que leur complexité augmente avec le carré de la largeur de la bande d'occlusion. En plus, leur efficacité diminue avec l'augmentation de cette largeur, à cause des moyennes de plus en plus larges. The disadvantage of these two embodiments of filling implementation according to the present invention which have been previously described is that their complexity increases with the square of the width of the occlusion band. In addition, their effectiveness decreases with the increase of this width, because of the averages more and more wide.
En regard des figures 18 et 19, il est montré un troisième exemple de mise en œuvre de remplissage selon la présente invention dénommé "remplissage successif. Ce troisième exemple de mise en œuvre qui peut être combiné avec les deux exemples de mise en œuvre précédents diffère du deuxième exemple de mise en œuvre par la division des pixels dans la bande d'occlusion en plusieurs groupes et par l'établissement d'un ordre de précédence parmi les groupes. Referring to Figures 18 and 19, there is shown a third example of filling implementation according to the present invention called "successive filling." This third example of implementation that can be combined with the two previous examples of implementation differs of the second example of implementation by dividing the pixels in the occlusion band into several groups and by establishing an order of precedence among the groups.
Le remplissage de la bande se fait par groupes en partant du groupe de précédence supérieure et en continuant selon la décroissance de la précédence. Chaque fois qu'un groupe est rempli, la correction par l'image résiduelle est appliquée et le résultat est utilisé comme valeurs de référence pour calculer les valeurs prédites des pixels dans les groupes inférieurs. La précédence est donnée aux groupes dont les pixels sont les plus proches des pixels connus de la zone de continuité occluse par l'autre zone de continuité, celle-ci étant la zone occluante. The filling of the band is done in groups starting from the group of superior precedence and continuing according to the decay of the precedence. Each time a group is filled, the correction by the residual image is applied and the result is used as reference values to calculate the predicted values of the pixels in the lower groups. The precedence is given to the groups whose pixels are closest to the known pixels of the continuity zone occluded by the other continuity zone, the latter being the occluding zone.
Cet exemple de mise en uvre comporte cependant un risque d'accumulation d'erreur. En effet, comme les valeurs de luminance ou valeurs chromatiques de l'image résiduelle sur certains pixels sont utilisées pour en déduire les valeurs de luminance ou valeurs chromatiques sur d'autres pixels, le bruit introduit par la compression de l'image résiduelle risque de se propager, s'accumuler et s'amplifier dans certaines circonstances.  This implementation example, however, has a risk of accumulation of error. Indeed, since the luminance values or chromatic values of the residual image on certain pixels are used to deduce the luminance values or color values on other pixels, the noise introduced by the compression of the residual image risks spread, accumulate and grow in certain circumstances.
Une solution pour éviter ce risque est d'effectuer les divisions en groupes de pixels en respectant les divisions de l'image résiduelle utilisées par le procédé de compression. L'image résiduelle est fréquemment divisée en blocs lors de l'encodage. Il est donc avantageux d'effectuer la division en groupes des pixels de l'image prédite se trouvant dans une zone occluse ou non valable de l'image de référence en cohérence avec la division en blocs utilisée lors de la compression de l'image résiduelle. One solution to avoid this risk is to divide into groups of pixels respecting the divisions of the residual image used by the compression process. The residual image is frequently divided into blocks during encoding. It is therefore advantageous to perform the division into groups of the pixels of the predicted image that are in an occluded or invalid zone of the reference image in coherence with the division in blocks used during compression of the residual image. .
Ainsi, le bruit introduit par la compression de l'image résiduelle peut être pris en compte dans le calcul des moyennes des pixels dans les groupes ultérieurs, évitant ainsi la propagation du bruit.  Thus, the noise introduced by the compression of the residual image can be taken into account in the calculation of the averages of the pixels in the subsequent groups, thus avoiding the propagation of the noise.
Ceci est fait dans l'exemple présent, avec le groupement de pixels dans la bande d'occlusion selon leur appartenance aux blocs carrés de 8x8 pixels de l'image. La précédence des blocs, en ordre décroissant, contenant des pixels de la bande d'occlusion est la suivante : This is done in the present example, with the grouping of pixels in the occlusion band according to their belonging to the 8x8 pixel square blocks of the image. The precedence of the blocks, in descending order, containing pixels of the occlusion band is as follows:
(24,16), (8,0), (24,24), (16,8), (0,0), (16,16), (8,8), (16,24), (8,16).  (24,16), (8,0), (24,24), (16,8), (0,0), (16,16), (8,8), (16,24), (8) , 16).
En plus, compte tenu d'une distance plus courte de référencement des pixels, seuls les blocs (16,8) et (16,16) sont placés sous mode directionnel. In addition, given a shorter pixel referencing distance, only blocks (16,8) and (16,16) are placed in directional mode.
Les figures 18 et 19 montrent le résultat de cet exemple de mise en uvre de remplissage, dont l'amélioration par rapport à l'exemple de mise en œuvre précédent des figures 14 et 15 est perceptible.  Figures 18 and 19 show the result of this example of implementation of filling, the improvement over the previous implementation example of Figures 14 and 15 is noticeable.
Une autre solution consiste à appliquer le mode de remplissage récursivement à plusieurs reprises, lors de l'encodage. A chaque reprise, ce sont les valeurs de luminance ou valeurs chromatiques des pixels incorporant les bruits de la compression de l'image résiduelle de la précédente reprise qui sont utilisées comme référence pour le calcul des moyennes. Another solution is to apply the fill mode recursively several times during encoding. At each recovery, these are the values luminance or color values of the pixels incorporating the compression noise of the residual image of the previous recovery which are used as a reference for calculating the averages.
En résumé, dans les exemples montrés aux figures 14 à 19, pour l'exemple de mise en uvre dit à remplissage unique, tous les pixels occlus sont remplis par un unique mode de remplissage, c'est-à-dire que dans la moyenne pondérée, la pondération ne dépend que de la distance d2 entre les pixels p et q, sachant que, par sa définition, d1 ne dépend que du pixel occlus p mais pas du pixel q. In summary, in the examples shown in FIGS. 14 to 19, for the so-called single-fill implementation example, all the occluded pixels are filled by a single fill mode, i.e., in the average weighted, the weighting depends only on the distance d2 between the pixels p and q, knowing that, by its definition, d1 depends only on the occluded pixel p but not on the pixel q.
Dans l'exemple de mise en œuvre dit du remplissage adaptatif, les pixels occlus dans les quatre blocs au centre de l'image sont remplis en prenant un mode de remplissage directionnel, où la moyenne est prise uniquement sur les pixels de référence dans une direction donnée. Le remplissage adaptatif est donc un exemple de mélange de deux modes de remplissage pour une même bande d'occlusion. In the so-called adaptive fill implementation example, the occluded pixels in the four blocks in the center of the image are filled by taking a directional fill mode, where the average is taken only on the reference pixels in one direction given. Adaptive filling is therefore an example of a mixture of two filling modes for the same occlusion band.
Le changement des modes de remplissage d'un bloc à l'autre dans l'exemple peut se faire selon une liste d'indicateurs transmis par l'encodeur au décodeur, avec un indicateur indiquant le mode omnidirectionnel pour chaque bloc 8x8 qui ne se situe pas au centre de l'image et un indicateur indiquant le mode directionnel, avec ou sans précision sur la direction à suivre, pour chacun des quatre blocs 8x8 se situant au centre de l'image. The change of the filling modes from one block to another in the example can be done according to a list of indicators transmitted by the encoder to the decoder, with an indicator indicating the omnidirectional mode for each block 8x8 which is not located not at the center of the image and an indicator indicating the directional mode, with or without directional precision, for each of the four 8x8 blocks in the center of the image.
Les modes de remplissage parmi lesquels, lors de l'encodage, il est sélectionné un mode de remplissage, peuvent aussi être des modes connus, tels que le mode de remplissage par extension directe du champ de vecteurs de mouvement, ou extension inverse, ou sans prédiction. Ainsi, il est possible d'avoir déjà au moins cinq modes de remplissage qui peuvent être prédéterminés pour laisser le choix lors du décodage entre les possibles modes de remplissage ceci selon la liste d'indicateurs de mode de remplissage élaborée par l'encodeur.  The filling modes, of which, during the encoding, a filling mode is selected, may also be known modes, such as the mode of filling by direct extension of the motion vector field, or inverse extension, or without prediction. Thus, it is possible to have at least five filling modes that can be predetermined to leave the choice when decoding between the possible modes of filling this according to the list of fill mode indicators developed by the encoder.
Plusieurs indicateurs peuvent être utilisés pour comparer quantitativement les efficacités des procédés et leur mode de remplissage des pixels qui ont été décrits ci-dessus. Le premier indicateur d est la moyenne quadratique de différence, pixel par pixel et couleur par couleur, entre l'image prédite et l'image réelle. Several indicators can be used to quantitatively compare the efficiencies of the methods and their method of filling the pixels that have been described above. The first indicator d is the root mean square difference, pixel by pixel and color by color, between the predicted image and the actual image.
Vient ensuite l'indicateur D qui est la moyenne quadratique, pixel par pixel et couleur par couleur, de la différence d'un pixel avec son voisin direct, horizontalement et verticalement, dans l'image résiduelle. Cet indicateur mesure mieux que le précédent la quantité d'informations contenue dans une image, donc sa corrélation avec la taille de l'image résiduelle compressée est plus étroite.  Then comes the indicator D which is the root mean square, pixel by pixel and color by color, of the difference of a pixel with its direct neighbor, horizontally and vertically, in the residual image. This indicator measures better than the previous the amount of information contained in an image, so its correlation with the size of the compressed residual image is narrower.
De plus, il est possible d'avoir un indicateur a, qui est un indicateur de création d'artefacts. Il mesure l'excès de variations locales dans l'image résiduelle par rapport à l'image réelle. Cet indicateur mesure la tendance pour la compression de l'image résiduelle à créer des artefacts visibles dans l'image composée. In addition, it is possible to have an indicator a, which is an indicator of creation of artifacts. It measures the excess of local variations in the residual image compared to the real image. This indicator measures the tendency for compression of the residual image to create visible artifacts in the composite image.
Plus concrètement, pour une paire de pixels p1 et p2 directement voisins, verticalement ou horizontalement, il existe une différence v1 des contenus de p1 et p2 dans l'image réelle, et une différence v2 des contenus de p1 et p2 dans l'image résiduelle. More concretely, for a pair of pixels p1 and p2 that are directly adjacent, vertically or horizontally, there is a difference v1 of the contents of p1 and p2 in the real image, and a difference v2 of the contents of p1 and p2 in the residual image .
Il est défini :  It is defined:
a1 = (v2-v1 +2)/(v1 +2) si v2>v1 , et  a1 = (v2-v1 +2) / (v1 +2) if v2> v1, and
a1=0 si v2<v1  a1 = 0 if v2 <v1
a étant la moyenne quadratique des valeurs a1 pour toutes les paires de pixels directement avoisinantes. where a is the root mean square of the a1 values for all directly adjacent pixel pairs.
Le tableau suivant résume les valeurs de chaque indicateur pour les procédés et les variantes de mise en œuvre de mode de remplissage décrits, en y ajoutant en tant qu'autre indicateur la taille d'une compression de l'image résiduelle par le standard jpeg, avec une qualité fixée à 80%.  The following table summarizes the values of each indicator for the described methods and fill mode implementation variants, adding as another indicator the size of a residual image compression by the jpeg standard, with a quality set at 80%.
Pour une telle compression avec ce standard, la taille de l'image est trop petite pour obtenir une compression significative. Donc l'image résiduelle est répétée 32 fois dans chaque direction, pour créer une image de 1024x1024 pixels. C'est cette dernière image qui est ensuite compressée en jpeg, dont la taille est divisée par 1024 pour obtenir la valeur affichée. L'outil de compression jpeg utilisé (Imagemagick® version 6.6.9) ne prend pas en compte la redondance de la répétition à 32 pixels, donc ces valeurs représentent bien la situation générale. For such compression with this standard, the image size is too small to achieve significant compression. So the residual image is repeated 32 times in each direction, to create an image of 1024x1024 pixels. It is this last image which is then compressed in jpeg, whose size is divided by 1024 to obtain the displayed value. The jpeg compression tool used (Imagemagick® version 6.6.9) does not take into account the redundancy of the repetition at 32 pixels, so these values represent the general situation.
La colonne « bruit » donne la différence introduite par la compression jpeg, en moyenne quadratique pixel par pixel et couleur par couleur qui est la racine carrée de l'erreur quadratique moyenne connue sous l'abréviation MSE pour « mean square error » en anglais, ce qui est l'une des mesures les plus courantes de différenciation entre deux images. The "noise" column gives the difference introduced by the jpeg compression, in quadratic pixel by pixel and color by color, which is the square root of the mean squared error known by the abbreviation MSE for "mean square error" in English, which is one of the most common measures of differentiation between two images.
Figure imgf000025_0001
Figure imgf000025_0001
Pour les procédés 1 à 3 de l'état de la technique, les valeurs entre parenthèses correspondent au cas où les débordements des valeurs de pixels dans l'image résiduelle sont supprimés en limitant les différences par ces limites des valeurs de luminance ou valeurs chromatiques de pixels. La vraie mesure d'efficacité du procédé dépend du traitement des débordements et doit se situer entre la valeur devant les parenthèses et celle entre les parenthèses. L'avantage du procédé selon l'invention par rapport aux procédés de l'état de la technique avec n'importe lequel des trois exemples de mise en œuvre de remplissage, ces exemples étant respectivement numérotés 5 à 7, est même plus important que la différence affichée selon le critère des fichiers jpeg. For methods 1 to 3 of the state of the art, the values in parentheses correspond to the case where the overflows of the pixel values in the residual image are suppressed by limiting the differences by these limits of the luminance values or chromatic values of pixels. The true measure of the efficiency of the process depends on the treatment of the overflows and must be between the value in front of the parentheses and that between the parentheses. The advantage of the method according to the invention compared to the methods of the state of the art with any of the three examples of implementation of filling, these examples being respectively numbered 5 to 7, is even more important than the difference displayed according to the criteria of jpeg files.
Les procédés selon l'invention avec leur exemple de mise en œuvre de mode de remplissage donnent une valeur a de création d'artefacts nettement plus petite, ce qui autorise une compression à plus fort taux de l'image résiduelle, donc une réduction supplémentaire de la taille du fichier. Sans oublier que, par rapport au premier procédé dit 1 selon l'état de la technique, il y a aussi l'avantage de l'interpolation temporelle. The methods according to the invention with their example of implementation of the filling mode give a much smaller artefact creation value, which allows a compression at a higher rate of the residual image, thus a further reduction of the size of the file. Not to mention that, compared to the first method says 1 according to the state of the art, there is also the advantage of time interpolation.
En fait, pour augmenter le niveau de bruit de 4,4 obtenu avec le troisième exemple de mise en oeuvre dite à remplissage successif et numérotée 7 dans le tableau jusqu'à celui de 5,3 du procédé numéroté 4 de l'état de la technique, il faut réduire la qualité de la compression jpeg à 50% par le même logiciel de compression, ce qui produit une taille de fichier réduite à 55.  In fact, to increase the noise level of 4,4 obtained with the third example of so-called implementation successively filled and numbered 7 in the table up to that of 5.3 of the method numbered 4 of the state of the technical, it is necessary to reduce the quality of jpeg compression to 50% by the same compression software, which produces a file size reduced to 55.
Si l'effet d'une telle réduction de qualité de compression sur la qualité visuelle de l'image peut devenir discutable, une compression jpeg à 75% pour le troisième exemple de mode de remplissage numéroté 7, produisant un fichier de taille 91 pour un niveau de bruit à 4,8, donne une qualité visuelle clairement supérieure à celle des procédés 1 à 4 restant sur 80%.  If the effect of such a reduction in compression quality on the visual quality of the image may become questionable, a 75% jpeg compression for the third exemplary fill mode numbered 7, producing a size file 91 for a noise level at 4.8, gives a visual quality clearly superior to that of processes 1 to 4 remaining on 80%.

Claims

Revendications claims
Procédé d'encodage et de décodage vidéo dans une séquence d'images, pour lequel procédé, à partir d'une image de référence (F1 , F2) et d'un champ de vecteurs de mouvement (M1 , M2), il est calculé, lors de l'encodage et du décodage, une image prédite (P2, P3) et une image résiduelle (R2, R3), les images résiduelles (R2, R3) ainsi que les champs de vecteurs de mouvement (M1 à M2) étant transmis au décodage pour l'obtention d'images d'affichage (A2, A3) après décodage, lequel procédé, lors de l'encodage, comprend l'étape de génération d'une liste d'indicateurs d'ordre d'occlusion, la liste d'indicateurs d'ordre d'occlusion étant transmise au décodage avec les champs de vecteurs de mouvement (M1 , M2), l'image prédite (P2, P3) contenant des bandes d'occlusion formées par des pixels dont le champ de vecteur (M1 , M2) ne fait pas correspondre une position valable dans l'image de référence (F1 , F2), caractérisé en ce qu'une liste d'indicateurs de mode de remplissage de pixels des bandes d'occlusion de l'image prédite (P2, P3) est transmise de l'encodage au décodage, selon laquelle liste, lors du décodage, il est suivi un mode de remplissage préétabli pour remplir chaque pixel dans lesdites bandes d'occlusion de l'image prédite (P2, P3). A method for encoding and decoding video in a sequence of images, for which, from a reference image (F1, F2) and a motion vector field (M1, M2), it is calculated during the encoding and decoding, a predicted picture (P2, P3) and a residual picture (R2, R3), the residual pictures (R2, R3) as well as the motion vector fields (M1 to M2) being transmitted to the decoding for obtaining display images (A2, A3) after decoding, which method, during encoding, comprises the step of generating a list of occlusion order indicators, the list of occlusion order indicators being transmitted to the decoding with the motion vector fields (M1, M2), the predicted image (P2, P3) containing occlusion bands formed by pixels whose field vector (M1, M2) does not match a valid position in the reference image (F1, F2), characterized in that a list of mode indicators of pixel mapping of the occlusion bands of the predicted image (P2, P3) is transmitted from encoding to decoding, according to which list, during decoding, it is followed a preset filling mode to fill each pixel in said bands occlusion of the predicted image (P2, P3).
Procédé selon la revendication 1 , pour lequel la liste d'indicateurs de mode de remplissage est incluse dans la liste d'ordre d'occlusion ou la liste d'indicateurs de mode de remplissage est indépendante de la liste d'ordre d'occlusion et est transmise de l'encodage au décodage séparément de cette liste d'ordre. The method of claim 1, wherein the list of fill mode indicators is included in the occlusion order list or the list of fill mode indicators is independent of the occlusion order list and is transmitted from encoding to decoding separately from this order list.
Procédé selon l'une quelconque des revendications précédentes, pour lequel, il est défini deux zones de continuité du champ de vecteur de mouvement dans l'image de référence (F1 , F2) comprenant une zone occluse et une zone occluante avec une courbe de discontinuité entre les deux zones, la zone occluante recouvrant au moins partiellement la zone occluse, avec dans l'image prédite (P2, P3) la bande d'occlusion créée par la discontinuité entre les deux zones s'intégrant dans la zone occluse, le mode de remplissage préétabli pour un pixel donné de la bande d'occlusion est la valeur de la moyenne d'une sélection de pixels appartenant à la zone occluse de l'image de référence (F1 , F2), cette sélection de pixels étant faite pour des pixels de la zone occluse de l'image de référence (F1 , F2) mis en correspondance avec les pixels de l'image prédite (P2, P3) les plus proches du pixel donné. Method according to one of the preceding claims, for which two zones of continuity of the motion vector field in the reference image (F1, F2) are defined comprising an occluded zone and an occluding zone with a discontinuity curve. between the two zones, the occluding zone covering at least partially the occluded zone, with in the predicted image (P2, P3) the occlusion band created by the discontinuity between the two zones integrating in the occluded zone, the pre-established filling mode for a given pixel of the occlusion band is the value of the average of a selection of pixels belonging to the occluded zone of the image reference (F1, F2), this selection of pixels being made for pixels of the occluded area of the reference image (F1, F2) matched with the pixels of the predicted image (P2, P3) most close to the given pixel.
4. Procédé selon la revendication 3, pour lequel ladite moyenne est pondérée par une fonction de pondération dépendant du positionnement de chaque pixel dans ladite sélection de pixels de l'image de référence (F1 , F2). 4. The method of claim 3, wherein said average is weighted by a weighting function dependent on the positioning of each pixel in said selection of pixels of the reference image (F1, F2).
5. Procédé selon la revendication 4, pour lequel ladite fonction de pondération est fonction des gradients des valeurs de luminance de pixels sur la sélection de pixels de l'image de référence (F1 , F2) et, quand l'ensemble desdits gradients présente une direction dominante, ladite fonction donne une pondération plus forte aux pixels dont le positionnement est proche de la direction perpendiculaire à la direction dominante des gradients. The method according to claim 4, wherein said weighting function is a function of the gradients of the luminance values of pixels on the selection of pixels of the reference image (F1, F2) and, when all of said gradients are Dominant direction, said function gives a stronger weight to the pixels whose positioning is close to the direction perpendicular to the dominant direction of the gradients.
6. Procédé selon l'une quelconque des revendications 4 à 5, pour lequel la sélection de pixels de l'image de référence (F1 , F2) est affinée en ne prenant en compte que les pixels correspondants de l'image de référence (F1 , F2) mis en correspondance avec les pixels de l'image prédite (P2, P3) les plus proches du pixel et se trouvant uniquement dans une direction comprise dans un intervalle angulaire défini par l'indicateur de mode de remplissage. 6. Method according to any one of claims 4 to 5, for which the selection of pixels of the reference image (F1, F2) is refined by taking into account only the corresponding pixels of the reference image (F1 , F2) matched to the pixels of the predicted image (P2, P3) closest to the pixel and lying only in a direction within an angular interval defined by the fill mode indicator.
7. Procédé selon l'une quelconque des revendications 3 à 6, pour lequel les pixels d'une bande d'occlusion de l'image prédite (P2, P3) sont divisés en un multiple de groupes et un ordre de précédence est attribué à chacun de ces groupes, tel que, lors du décodage, le remplissage des valeurs des pixels de l'image prédite (P2, P3) se fait groupe par groupe selon leur ordre de précédence et les valeurs des pixels se trouvant dans un groupe antérieur, corrigées par le contenu de l'image résiduelle (R2, R3), sont utilisées comme valeurs de référence pour calculer les moyennes afin de déduire la valeur prédite d'un pixel dans un groupe postérieur. The method according to any one of claims 3 to 6, wherein the pixels of an occlusion band of the predicted image (P2, P3) are divided into a multiple of groups and an order of precedence is assigned to each of these groups, such that, during the decoding, the pixel values of the predicted picture (P2, P3) are filled in groups according to their order of precedence and the values of the pixels in an earlier group, corrected by the content of the residual image (R2, R3), are used as reference values to calculate the averages to derive the predicted value of a pixel in a posterior group.
8. Procédé selon la revendication 7, pour lequel, quand l'image résiduelle (R2, R3) est divisée en blocs lors de sa compression, la division en groupes des pixels d'une bande d'occlusion de l'image prédite (P2, P3) se fait en cohérence avec la division en blocs utilisée lors de la compression de l'image résiduelle (R2, R3). 8. The method of claim 7, wherein, when the residual image (R2, R3) is divided into blocks during its compression, the division into groups of pixels of an occlusion band of the predicted image (P2 , P3) is consistent with the block division used during compression of the residual image (R2, R3).
9. Procédé selon l'une quelconque des revendications 3 à 8, dans lequel, lors du décodage, pour une courbe de discontinuité séparant une zone occluante et une zone occluse, les pixels de la courbe de discontinuité sont attribués à la zone occluante. 9. The method according to claim 3, wherein, during decoding, for a discontinuity curve separating an occluding zone and an occluded zone, the pixels of the discontinuity curve are assigned to the occluding zone.
10. Système d'encodage et de décodage vidéo pour la mise en œuvre d'un procédé selon l'une quelconque des revendications précédentes, lequel comprend : Video encoding and decoding system for implementing a method according to any one of the preceding claims, which comprises:
- des moyens d'encodage d'images vidéo comprenant des moyens de détection d'une discontinuité entre deux zones de continuité d'un champ de vecteurs de mouvement (M1 , M2) sur l'image de référence (F1 , F2) et des moyens de génération d'une liste d'indicateurs d'ordre d'occlusion et d'une liste d'indicateurs de mode de remplissage,  means for encoding video images comprising means for detecting a discontinuity between two continuity zones of a motion vector field (M1, M2) on the reference image (F1, F2) and means for generating a list of occlusion order indicators and a list of fill mode indicators,
- des moyens de décodage pour l'obtention de chaque image d'affichage (A1 à A3), les moyens de décodage comprenant des moyens de traitement selon la liste d'indicateurs d'ordre d'occlusion et une liste d'indicateurs de mode de remplissage, ainsi que des moyens de mise en œuvre sélective de ces modes de remplissage effectuant un remplissage de pixels des bandes d'occlusion des images prédites (P2, P3),  decoding means for obtaining each display image (A1 to A3), the decoding means comprising processing means according to the list of occlusion order indicators and a list of mode indicators filling, as well as means for selective implementation of these filling modes performing a pixel filling of the occlusion bands of the predicted images (P2, P3),
- les moyens de décodage comprenant des moyens de mémorisation préalable de plusieurs modes prédéterminés de remplissage de pixels des bandes d'occlusion.  - The decoding means comprising means for previously storing a plurality of predetermined pixel filling modes occlusion bands.
PCT/FR2014/000224 2013-10-18 2014-10-16 Method of encoding and decoding a sequence of video images with predetermined modes of filling for the pixels of occluded parts in the images WO2015055902A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR13/02422 2013-10-18
FR1302422A FR3012280B1 (en) 2013-10-18 2013-10-18 METHOD FOR ENCODING AND DECODING A SEQUENCE OF VIDEO IMAGES WITH PREDETERMINAL FILLING MODES FOR PIXELS OF OCCLUSIVE PARTS IN IMAGES

Publications (1)

Publication Number Publication Date
WO2015055902A1 true WO2015055902A1 (en) 2015-04-23

Family

ID=50933184

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2014/000224 WO2015055902A1 (en) 2013-10-18 2014-10-16 Method of encoding and decoding a sequence of video images with predetermined modes of filling for the pixels of occluded parts in the images

Country Status (2)

Country Link
FR (1) FR3012280B1 (en)
WO (1) WO2015055902A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030039307A1 (en) 2000-04-17 2003-02-27 Pulsent Corporation Segmenting encoding system encoding video data using segment-by-segment kinetic data including change information in addition to translation information
US20100283892A1 (en) 2009-05-06 2010-11-11 Samsung Electronics Co., Ltd. System and method for reducing visible halo in digital video with covering and uncovering detection
US20110129015A1 (en) 2007-09-04 2011-06-02 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US20110211111A1 (en) 2010-03-01 2011-09-01 Kabushiki Kaisha Toshiba Interpolation frame generating apparatus and method
EP2602997A1 (en) 2011-12-07 2013-06-12 Thomson Licensing Method and apparatus for processing occlusions in motion estimation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030039307A1 (en) 2000-04-17 2003-02-27 Pulsent Corporation Segmenting encoding system encoding video data using segment-by-segment kinetic data including change information in addition to translation information
US20110129015A1 (en) 2007-09-04 2011-06-02 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US20100283892A1 (en) 2009-05-06 2010-11-11 Samsung Electronics Co., Ltd. System and method for reducing visible halo in digital video with covering and uncovering detection
US20110211111A1 (en) 2010-03-01 2011-09-01 Kabushiki Kaisha Toshiba Interpolation frame generating apparatus and method
EP2602997A1 (en) 2011-12-07 2013-06-12 Thomson Licensing Method and apparatus for processing occlusions in motion estimation

Also Published As

Publication number Publication date
FR3012280A1 (en) 2015-04-24
FR3012280B1 (en) 2016-12-30

Similar Documents

Publication Publication Date Title
EP2304686B1 (en) Method and device for filling in the zones of occultation of a map of depth or of disparities estimated on the basis of at least two images
KR101568971B1 (en) Method and system for removal of fog, mist or haze from images and videos
CN109462747B (en) DIBR system cavity filling method based on generation countermeasure network
WO2001099052A1 (en) Refinement of a triangular mesh representing a three-dimensional object
FR3011368A1 (en) METHOD AND DEVICE FOR REINFORCING THE SHAPE OF THE EDGES FOR VISUAL IMPROVEMENT OF THE RENDER BASED ON DEPTH IMAGES OF A THREE-DIMENSIONAL VIDEO STREAM
CN112150400B (en) Image enhancement method and device and electronic equipment
EP2347590B1 (en) Image prediction with forward motion compensation
FR2891686A1 (en) Gradual video sequence transition detecting method for video coder/decoder, involves calculating criteria indicating if one distance is greater than another distance and making decision on image belongingness to transition based on criteria
FR3073999A1 (en) INTELLIGENT COMPRESSION OF VIDEO CONTENTS SEEDS
EP1790169A1 (en) Method for estimating motion using deformable meshes
CN102026012A (en) Generation method and device of depth map through three-dimensional conversion to planar video
Azzari et al. A modified non-local mean inpainting technique for occlusion filling in depth-image-based rendering
EP0545475B1 (en) Method and apparatus for synthesizing texture signals
EP3878170A1 (en) View synthesis
WO2015055902A1 (en) Method of encoding and decoding a sequence of video images with predetermined modes of filling for the pixels of occluded parts in the images
FR2934453A1 (en) ERROR MASKING METHOD AND DEVICE
US9143755B2 (en) Image processing device
FR3093884A1 (en) Methods and devices for encoding and decoding a multi-view video sequence
FR2910673A1 (en) IMAGE PROCESSING METHOD AND DEVICE IMPLEMENTING SAID METHOD
EP2761876A1 (en) Method and device for filtering a disparity map
FR2939264A1 (en) DEVICE FOR ENCODING A STREAM OF DIGITAL IMAGES AND CORRESPONDING DECODING DEVICE
Lenka et al. Improvement of Exemplar Based Inpainting by Enhancement of Patch Prior
EP4104446A1 (en) Method and device for processing multi-view video data
FR2889381A1 (en) Quantization parameter determining method for coding image in video conference application, involves calculating quantization parameter for each group of pixels in image to minimize variation in reconstruction quality between groups
WO2021136895A1 (en) Iterative synthesis of views from data of a multi-view video

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14796799

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14796799

Country of ref document: EP

Kind code of ref document: A1