WO2019129981A1 - Méthode de compression de dynamique - Google Patents

Méthode de compression de dynamique Download PDF

Info

Publication number
WO2019129981A1
WO2019129981A1 PCT/FR2018/053522 FR2018053522W WO2019129981A1 WO 2019129981 A1 WO2019129981 A1 WO 2019129981A1 FR 2018053522 W FR2018053522 W FR 2018053522W WO 2019129981 A1 WO2019129981 A1 WO 2019129981A1
Authority
WO
WIPO (PCT)
Prior art keywords
minimum
luminances
maximum
emin
images
Prior art date
Application number
PCT/FR2018/053522
Other languages
English (en)
Inventor
Thomas Guionnet
Original Assignee
Ateme
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ateme filed Critical Ateme
Priority to US16/958,935 priority Critical patent/US11138703B2/en
Priority to EP18842803.1A priority patent/EP3732654A1/fr
Publication of WO2019129981A1 publication Critical patent/WO2019129981A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Definitions

  • the present invention is in the field of image processing and video, more specifically in the processing of video luminance dynamics.
  • the invention relates to a method for processing a video stream comprising a transition effect.
  • the audiovisual field is a field in full expansion. Indeed, following the development of high definition television, ultra-high definition television has arrived on the market. The perceived quality gain brought by the increase in resolution begins to dwindle. As a result, many studies are now focused on video luminance dynamics. There are two types of image capture and rendering technologies: a high dynamic range technology called HDR, derived from the English “High Dynamic Range” as opposed to standard dynamic SDR technology, derived from the English “Standard" Dynamic Range ". HDR can represent a larger dynamic range than SDR.
  • the dynamics of an image corresponds to a range of luminance that can be represented.
  • the ratio between the largest value and the smallest luminance value that can be represented is used.
  • the maximum luminance delivered may be 300 candela per square meter and the minimum luminance delivered 0.3 candela per square meter.
  • Standard TVs usually have a dynamic of this order.
  • the human eye has a total dynamic of about 10 9 .
  • TMO dynamic compression algorithm
  • the use of a dynamic compression algorithm designated TMO attenuates or suppresses fade effects.
  • the attenuation or suppression of the fade effects using a TMO dynamic compression algorithm is due to the rendering of the visual details in the standard dynamic content after the dynamic compression.
  • Figure 2 illustrates that the standard dynamics is used in full.
  • the ordinate of the curves is in percentage and the abscissa in unit "Nits" corresponding to one candela per square meter.
  • the upper histograms correspond to the levels of luminances with high dynamic HDR.
  • the lower histograms correspond to SDR standard dynamic luminance levels.
  • the dashed arrows indicate that regardless of the HDR luminance range, the entire SDR luminance range is exploited.
  • FIG. 3 illustrates the effect of a TMO dynamic compression algorithm on a fade out.
  • FIG. 3 thus illustrates the attenuation of the fade effect by the use of the dynamic compression algorithm TMO.
  • the fade effect is not necessarily deleted.
  • the fade effect can be attenuated and its speed can be changed.
  • TMO dynamic compression algorithm modifies the rendering of the fade effect in an undesired manner, regardless of the fade effect (open / close, for example). This is therefore a problem for producers of video content.
  • the state of the art offers TMO dynamic compression algorithms fast and short delay.
  • the TMO dynamic compression algorithms proposed by the state of the art do not propose to process video effects such as transition effects for example.
  • Some methods proposed in the state of the art concern inlay effects.
  • a TMO dynamic compression algorithm method has already been proposed for processing the molten type transition effects, however, such a method requires the analysis of a complete sequence. Such a method is therefore not suitable for broadcasting video content in real time. Indeed, such a method requires knowing in advance the position of the beginning and the end of each fade effect. Therefore, even if the analysis of the sequence would be performed on a sliding window and not complete, a significant delay is still induced.
  • a transition effect (of the fuse type for example) can not be preserved without modifications.
  • the present invention improves the situation.
  • a first aspect of the invention relates to a method, implemented by computer means, for processing a video stream, the video stream comprising a set of images capable of including a transition effect, the method comprising the following steps:
  • TMIN and TMAX calculate minimum and maximum luminances TMIN and TMAX as a function of the minimum and maximum luminances previously calculated and determined L M IN, EMAX, EMIN, EMAX, SMIN and SMAX;
  • the use of the method of processing a video stream above allows a content produced in HDR to be declined in SDR automatically. This represents a cheaper solution in contrast to dual HDR / SDR production.
  • the present invention is particularly advantageous in the case of broadcasting video content in real time. Indeed, the method of processing a video stream of the present invention is a fast method, short delay and able to preserve the effects of transition type fade.
  • the present method of processing a video stream described above is perfectly and advantageously applicable to a video stream broadcast in real time.
  • An example of an application may correspond to the broadcasting of a sports program in real time.
  • the step of estimating the minimum and maximum luminances E M IN and EMAX for the set of images can be followed by a step of storing these luminances EMIN and EMAX in a circular buffer of configurable size.
  • EMIN represents the value of the darkest pixel of the scene
  • E M AX represents the value of the clearest pixel of the scene.
  • the method may comprise the following step: transmitting the minimum and maximum luminances LMIN and LMAX calculated for a dynamic compression.
  • the step of calculating the minimum and maximum luminances L M IN and L M AX can be followed by a step of storing these luminances L M IN and L M AX in a circular buffer of configurable size.
  • the calculation of the minimum and maximum luminances TMIN and TMAX can be expressed as follows:
  • the determination of the luminance interval [T M IN: T M AX] makes it possible to preserve a melted transition effect taking into account the dynamics of the scene without fading ([EMIN: EMAX]), the characteristics of the device used ([SMIN: SMAX]) as well as the luminance range of the images belonging to the fade effect ([LMIN: EMAX]) ⁇
  • the calculation of the minimum and maximum luminances TMIN and TMAX can be performed in the logarithmic domain.
  • the representation change is done by applying a function to all the luminance values.
  • the method is applied in this new area of representation.
  • the result is converted to the initial representation mode by applying the inverse function.
  • the function can be, for example a simple logarithm, or a standard transfer function (SMPTE ST 2084).
  • the function can be (or include) a change of color space. For example, you can convert YUV data to RGB, apply the method on all three R, G, and B planes, and then convert back to YUV.
  • the estimated luminances E M IN and E M AX can be transmitted for dynamic compression.
  • the minimum and maximum luminances EMIN and EMAX can be respectively multiplied by inversely proportional safety factors f and l / f.
  • a second aspect of the invention relates to a computer program comprising instructions for implementing the steps of the method according to one of the preceding claims, when these instructions are executed by a processor.
  • a third aspect of the invention relates to a device for processing a video stream, the video stream comprising a set of images capable of including a transition effect, the device comprising:
  • a processor configured to perform the following operations: detecting a transition effect within the set of images of the video stream, in particular a fading effect;
  • FIG. 1 represents an example of a transition effect, more particularly a fading effect
  • Figure 2 shows histograms of SDR and HDR luminance levels
  • Figure 3 illustrates the effect of a TMO dynamic compression algorithm on a fade-out
  • FIG. 4 illustrates an exemplary implementation of the invention
  • FIG. 5 illustrates an example of operation of an SDR dynamic calculation module
  • Fig. 6 illustrates an exemplary embodiment of the invention with numerical values
  • Figure 7 shows an example of dynamic conversion taking into account the dynamics of a scene out of fade effect
  • Figure 8 illustrates a device according to an exemplary embodiment of the invention.
  • FIG. 4 illustrates an exemplary implementation of the invention.
  • a MOD_DETECT 402 detection module detects from an incoming video content HDR "Video
  • HDR live a transition effect such as a fade effect for example.
  • Video HDR live video content refers to HDR video content broadcast in real time. In the incoming video content “Video HDR live”, the maximum dynamics and the dynamics actually used are defined.
  • the MOD_DETECT detection module 402 which represents a transition effect detection module indicates the probability of being in a transition. It works with N frames of memory, where N is a natural integer greater than or equal to two.
  • the MOD_DETECT detection module 402 makes it possible to extract parameters associated with the detected transition effect.
  • a transformation calculation module MOD_CAL_TRANS 404 receives as input the parameters coming from the dynamic calculation module MOD_CAL_DYN_SDR 403.
  • the transformation module MOD_ CAL_TRANS 404 also receives time parameters from a MOD-T module 401.
  • the transformation calculation module MOD_ CAL_TRANS 404 continuously exchanges information with a module MOD_AF 406 representing a module "anti-flickering" resulting in French by anti-flickering.
  • the MOD_ CAL_TRANS 404 transformation calculation module also exchanges information with a MOD_TM dynamic compression module 405 representing a "tone mapping" module translated into French by dynamic compression module.
  • a “Video SDR live” video content is derived from the MOD_TM 405 dynamic compression module.
  • the "Video SDR live” video content includes the transition effect (fade effect, for example) initially detected in the incoming video content HDR “Video” HDR live "by the MOD_DETECT 402 detection module which can be likened to a transition effect detection module.
  • the incoming video content HDR “Video HDR live” has thus been transformed into outgoing video SDR content "Video SDR live” with preservation of the transition effect within the video content.
  • the “live” aspect of video content refers to the broadcasting of a video program in real time. Therefore, the exemplary implementation of the invention shown in FIG.
  • the MOD_DETECT detection module 402 provides the dynamic calculation module MOD_CAL_DYN_SDR 403 with parameters associated with one or more transition effects detected in the incoming HDR video content. Fade effects have been mentioned as an example of transition effects. Consequently, the parameters of the dynamic calculation module MOD_CAL_DYN_SDR 403 are adjusted according to the detection or not of a transition effect within the incoming HDR video content by the detection module MOD_DETECT 402.
  • FIG. 5 illustrates an example of operation of an SDR dynamic calculation module.
  • a transition effect for example of the molten type contained within a video stream 500 is detected in the DETECT 501 step. If necessary, that is, if a fading effect has been detected in the DETECT step 501, minimum and maximum luminances L M IN and L M AX are calculated during a step CAL (L M IN, L M AX) 502 for each image of the image assembly comprising the effect of molten. EMIN and EMAX minimum and maximum luminances are estimated for the set of images not including the fade effect detected during the step EST (EMIN, EMAX) 503.
  • Minimum and maximum luminances SMIN and SMAX are determined for a standard dynamic range during step DET (SMIN, SMAX) 504.
  • the minimum and maximum luminances SMIN and SMAX represent fixed parameters.
  • SMIN and SMAX are determined at step DET (SMIN, SMAX) 504 and are not necessarily recalculated to each image.
  • Minimum and maximum luminances TMIN and TMAX are finally calculated as a function of the minimum and maximum luminances previously calculated and determined L M IN, L M AX, E M IN, E M AX, SMIN and SMAX during a calculation step CAL ( TMIN, T M AX) 505.
  • the minimum and maximum luminances T M IN and T M AX thus calculated during the step CAL (TMIN, TMAX) 505 are then transmitted for dynamic compression during a transmission step TRANS (TMIN, TMAX) 506.
  • the DETECT step 501 can be performed by the MOD_DETECT detection module 402 of FIG. 4.
  • the steps 502 to 505 (calculation, estimation and determination) can be performed by the dynamic calculation module MOD_CAL_DYN_SDR 403 of FIG. 4.
  • the SDR dynamic calculation module makes it possible to preserve the relationship between the actual dynamic range and the maximum dynamic range of the scene in the destination.
  • the estimate of the maximum luminance is refined at each image.
  • the SDR dynamics calculation module is a key element of the present invention. Therefore, the processing of an image I at a time t will be detailed:
  • the minimum and maximum luminances of the image I, L MI and LMAX are calculated. Lynx and LMAX are then stored in a circular buffer B of parametric size.
  • the size of the circular buffer B may for example be one second.
  • the circular buffer B is reset at each scene change.
  • the minimum and maximum luminances of the image I, LMIN and LMAX are calculated. However, the luminances L M IN and L M AX are not stored in the circular buffer B.
  • the minimum and maximum luminances of the image set not comprising the fading effect E M IN and E M AX are estimated for example by the mean of the minimum and maximum luminances stored in the circular buffer B.
  • Another solution may be to take the last calculated value present in the circular buffer B. It is also possible to take values set a priori. -
  • the minimum and maximum luminance SMIN and SMAX corresponding to the dynamic SDR are fixed by the characteristics of the device used so SMIN and SMAX are known a priori.
  • the minimum and maximum luminances T MiN and T MAX define the target dynamics for dynamic compression.
  • the calculation of the luminances T MiN and T MAX can be expressed in the following way:
  • TMIN SMI N + (LMINmin (EMiN, LMIN)) * (SMAX -SMI N) / (min (EMAX, LMAX) - min (EMiN, LMIN)) and
  • TMAX SMI N + (LMAX - min (EMiN, EMIN)) * (SMAX -SMIN) / (min (EMAX, LMAX) - min (Evn ⁇ , L M nsr))
  • the calculation of the TMIN and TMAX luminances can also be performed in the logarithmic domain.
  • the values of the TMIN and TMAX luminances are taken into account as destination dynamics, thus replacing the values of the SMIN and SMAX luminances. Equivalently, it can be considered that the luminance values E M IN and E M AX are taken into account as the source dynamic, thus replacing the luminance values L M IN and LMAX ⁇
  • the above example corresponds to a fade-type transition effect. In the case of an opening fade effect (for example from white to the image), some of the steps mentioned above can be modified. Indeed, the values of the luminances E M IN and EMAX stored in the circular buffer B are not necessarily reliable. This is because an open fade effect indicates the beginning of a new scene.
  • the luminances E M IN and E M AX can be multiplied by a safety factor "f" and "l / f " respectively.
  • a value of f 1.5 can be used.
  • An alternative solution may also consist in estimating the luminances E M IN and EMAX from the luminances LMIN and LMAX and the parameters corresponding to the fade effect. For this, an assumption about the duration of the fade effect can be made.
  • Figure 6 illustrates an exemplary embodiment of the invention with numerical values.
  • the different columns of the table of FIG. 6 correspond respectively (from left to right): image number (Img), type of fade (Type), maximum dynamic of the source (Dyn_ max_S), maximum dynamic of the destination (Dyn_ max_D), effective dynamics of the source (Dyn_eff_S), dynamic of the destination calculated according to a conventional method (Dyn_D_stand), effective dynamic of the calculated source according to the invention (Dyn_eff_S_inv) and effective dynamic of the destination calculated according to the invention (Dyn_ eff_D_inv).
  • the fades of type opening are denoted by "O” and the fades of type closure by "L".
  • the empty set symbol 0 is used for the table of Figure 6.
  • the detected transition effects are, for example, fade-in or close-out transition effects.
  • a fade-in may, for example, correspond to a transition from white to the image, this represents a classic transition effect when broadcasting a television program.
  • a closing fade corresponds for example to an end kinematics during the broadcast of a television program.
  • the luminances HMIN and HMAX correspond to the maximum possible dynamic of the source, that is to say the incoming video stream as represented by the example of the video stream "Video HDR live" in FIG. 4 for example.
  • minimum and maximum luminances LMIN and LMAX are calculated (as shown in the example of FIG. 5).
  • the luminances LMIN and LMAX respectively correspond to the minimum and maximum of the luminance range for each image included in the set of images comprising the fade-in effect.
  • the information corresponding to the minimum and maximum of the luminances for the image set not including the fade-in is not available.
  • the minimum and maximum luminances E M IN and E M AX for the set of images not comprising the fade-type fade are fixed beforehand, which is not the case for a fade-type fade.
  • Minimum and maximum luminances SMIN and SMAX are determined for a standard dynamic range. These minimum and maximum luminance values SMIN and SMAX are fixed values depending on the type of device used (for example the type of television used by a user).
  • the calculation of the minimum and maximum luminances TMIN and TMAX as a function of the minimum and maximum luminances LMIN, LMAX, EMIN, EMAX, SMIN and SMAX can be carried out as follows:
  • TMIN SMIN + (LMINmin (EMIN, EMIN)) * (SMAX -SMIN) / (min (EMAX, LMAX) - min (EMiN, EMIN)) and
  • TMAX N + SMI (LMAX - min (Emin, EMIN)) * (SMAX -SMI N) / (min (EMAX, lmaz) - min (E min, L M IN))
  • the effective dynamic of the destination calculated according to an exemplary embodiment of the invention is represented by the interval [TMIN: TMAX].
  • This interval represents a range of values in nits corresponding to the luminance unit of the international system ( equivalent to a value of one candela per square meter).
  • the interval [CMIN: CMAX] represented in FIG. 6 corresponds to an example of calculation of the dynamics of destination according to a conventional method of the state of the art.
  • the values circled in FIG. 6 of CMAX and TMAX make it possible to highlight the advantage of the present invention. Indeed, it is found that the fade effect (opening or closing) is preserved thanks to the present invention.
  • Figure 7 shows an example of dynamic conversion taking into account the dynamics of a scene out of fade effect.
  • the dynamics is reduced with respect to the source, that is to say to the dynamics of a scene.
  • the luminance interval [E M IN: E M AX] of FIG. 7 represents the dynamics of a scene without a fading transition effect.
  • E M IN represents the value of the darkest pixel
  • E MA x represents the value of the brightest pixel when there is no fade-out transition effect.
  • the estimation of the luminance interval [EMIN: EMAX] thus makes it possible to know the characteristics of a scene.
  • the luminance range is reduced to a fade-in.
  • the luminance range increases.
  • the example of FIG. 5 corresponds to an example of a fade-type transition effect.
  • the luminance interval [EMIN: EMAX] is reduced to correspond to the luminance interval [Lynx: L M AX] ⁇ Therefore, apart from a fading effect, the pixels take luminance values belonging to the interval [EMIN: E M AX] ⁇
  • the pixels take values in the luminance interval [LMIN: EMAX] ⁇
  • the interval luminance [SMIN: SMAX] corresponds to a fixed interval which is not calculated depending on the device used.
  • [H M IN: H M AX] are not calculated values but fixed values known a priori.
  • [H M IN: H M AX] corresponds to an HDR dynamic range
  • [SMIN: SMAX] corresponds to an SDR dynamic range.
  • the [SMIN: SMAX] interval may match the characteristics of a TV.
  • an input interface 810 for receiving the image data to be processed
  • a processor 820 cooperating with a memory 830, for processing the received image data, and an output interface 840 for delivering the image data processed by the implementation of the method above.
  • the aforementioned memory 830 can typically store instruction codes of the computer program in the sense of the invention (an example of which is shown in FIG. 5 commented previously). These instruction codes can be read by the processor 820 to execute the method according to the invention.
  • the device may further comprise a working memory (separate or identical to the memory 830) for storing temporary data.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Circuits (AREA)
  • Picture Signal Circuits (AREA)

Abstract

L'invention concerne un procédé de traitement d'un flux vidéo comportant un ensemble d'images susceptibles de comprendre un effet de transition, le procédé comportant les étapes suivantes : détecter un effet de transition, de type fondu, au sein de l'ensemble d'images du flux vidéo, le cas échéant, calculer des luminances minimales et maximales LMIN et LMAX pour chaque image de l'ensemble d'images comprenant le fondu; estimer des luminances minimales et maximales EMIN et EMAX pour l'ensemble d'images ne comprenant pas l'effet de transition détecté; déterminer des luminances minimales et maximales SMIN et SMAX pour une plage de dynamique standard; calculer des luminances minimales et maximales TMIN et TMAX en fonction des luminances minimales et maximales précédemment calculées et déterminées LMIN, LMAX, EMIN, EMAX, SMIN et SMAX; Transmettre les luminances minimales et maximales TMIN et TMAX calculées pour une compression de dynamique.

Description

Méthode de compression de dynamique
La présente invention se situe dans le domaine du traitement de l’image et de la vidéo, plus précisément dans le traitement de dynamique de luminance de vidéo. L’invention concerne un procédé de traitement d’un flux vidéo comprenant un effet de transition.
Le domaine de l’audiovisuel est un domaine en pleine expansion. En effet, suite au développement de la télévision haute définition, la télévision ultra haute définition est arrivée sur le marché. Le gain de qualité perçue apporté par l’augmentation de la résolution commence à s’amenuiser. Par conséquent, de nombreux travaux sont aujourd’hui portés sur la dynamique de luminance de vidéo. Il existe deux types de technologies de capture et de rendu d’image : une technologie à haute dynamique dénommée HDR, provenant de l’anglais « High Dynamic Range » par opposition à la technologie à dynamique standard SDR, provenant de l’anglais « Standard Dynamic Range ». Le HDR permet de représenter une plus grande plage de dynamique que le SDR.
La dynamique d’une image correspond à une gamme de luminance pouvant être représentée. Afin de déterminer une telle dynamique, le ratio entre la plus grande valeur et la plus petite valeur de luminance pouvant être représentées est utilisé. Par exemple, dans le cas d’un écran de télévision de dynamique 1000, la luminance maximale délivrée peut être de 300 candela par mètre carré et la luminance minimale délivrée de 0.3 candela par mètre carré. Les téléviseurs standards ont généralement une dynamique de cet ordre. L’œil humain possède lui une dynamique totale de l’ordre de 109.
Le développement des technologies de haute dynamique permettent de capturer et de restituer des contenus vidéo possédant une dynamique aussi élevée que possible. Cela rend possible l’obtention d’un rendu d’image possédant plus de réalisme et un aspect naturel accru. L’expérience d’un utilisateur visionnant un tel contenu vidéo est par conséquent améliorée.
Il existe déjà des téléviseurs équipés avec la technologie à haute dynamique sur le marché. L’objectif dans un futur proche est de proposer au public des programmes utilisant cette technologie à haute dynamique HDR pour des programmes transmis en temps réel.
Cependant, le taux d’équipement des foyers en téléviseur HDR augmente progressivement. De plus, tous les téléviseurs HDR ne possèdent pas la même dynamique. Par conséquent, les programmes diffusés en HDR sont réceptionnés par des téléviseurs qui n’ont pas forcément la capacité de restitution nécessaire. Afin d’adresser l’hétérogénéité du parc de télévisions, il est possible de générer un programme SDR à partir d’un programme HDR en appliquant un algorithme de compression de dynamique, désigné TMO, provenant de l’anglais « tone mapping operator ». La diffusion de programme utilisant une technologie à haute dynamique HDR comprend plusieurs contraintes. La diffusion de programme en temps réel utilisant ou n’utilisant pas une technologie à haute dynamique HDR introduit des problématiques de délai et de rapidité. L’utilisation des technologies de HDR et de TMO ajoute des contraintes liées aux effets vidéos (effet de transition par exemple). Un effet de transition classique est le fondu, des exemples de fondus sont représentés sur la figure 1. L’utilisation d’un algorithme de compression de dynamique désigné TMO atténue ou supprime les effets de fondu. L’atténuation ou la suppression des effets de fondu avec utilisation d’un algorithme de compression de dynamique TMO est dû à la restitution des détails visuels dans le contenu à dynamique standard après la compression de dynamique. La figure 2 illustre le fait que la dynamique standard est utilisée intégralement. Sur la figure 2, l’ordonnée des courbes est en pourcentage et l’abscisse en unité « Nits » correspondant à un candela par mètre carré. Sur la figure 2, les histogrammes supérieurs correspondent aux niveaux de luminances à haute dynamique HDR. Les histogrammes inférieurs correspondent aux niveaux de luminances à dynamique standard SDR. Les flèches représentées en pointillées indiquent que quel que soit la gamme de luminances HDR, la totalité de la gamme de luminance SDR est exploitée. Lorsqu’un contenu vidéo comprend un effet de fondu, ceci atténué l’effet de fondu. La figure 3 illustre l’effet d’un algorithme de compression de dynamique TMO sur un fondu au noir. La figure 3 illustre ainsi l’atténuation de l’effet de fondu par l’utilisation de l’algorithme de compression de dynamique TMO. L’effet de fondu n’est pas nécessairement supprimé. L’effet de fondu peut être atténué et sa vitesse peut être modifiée.
Par conséquent, l’utilisation d’un algorithme de compression de dynamique TMO modifie la restitution de l’effet de fondu de manière non désirée, quel que soit l’effet de fondu (ouverture/fermeture par exemple). Ceci constitue donc un problème pour les producteurs de contenus vidéo.
L’état de l’art propose des algorithmes de compression de dynamique TMO rapide et à délai court. Cependant, les algorithmes de compression de dynamique TMO proposés par l’état de l’art ne proposent pas de traiter des effets vidéo tels que les effets de transition par exemple. Certaines méthodes proposées dans l’état de l’art concernent les effets d’incrustation. Une méthode d’algorithme de compression de dynamique TMO a déjà été proposée pour traiter les effets de transition type fondu, cependant, une telle méthode nécessite l’analyse d’une séquence complète. Une telle méthode n’est donc pas adaptée à la diffusion de contenu vidéo en temps réel. En effet, une telle méthode nécessite de connaître à l’avance la position du début et de la fin de chaque effet de fondu. Par conséquent, même dans le cas où l’analyse de la séquence serait effectuée sur une fenêtre glissante et non complète, un délai important est malgré tout induit. Un effet de transition (de type fondu par exemple) ne peut donc être conservé sans modifications.
Il existe donc un besoin de traitement d’un flux vidéo comportant un ensemble d’images susceptibles de comprendre un effet de transition.
La présente invention vient améliorer la situation.
À cet effet, un premier aspect de l’invention concerne un procédé, mis en œuvre par des moyens informatiques, de traitement d’un flux vidéo, le flux vidéo comportant un ensemble d’images susceptibles de comprendre un effet de transition, le procédé comportant les étapes suivantes :
détecter un effet de transition, de type fondu, au sein de l’ensemble d’images du flux vidéo,
le cas échéant, calculer des luminances minimales et maximales LMIN et LMAX pour chaque image de l’ensemble d’images comprenant le fondu ;
estimer des luminances minimales et maximales EMIN et EMAX pour l’ensemble d’images ne comprenant pas l’effet de transition détecté ;
déterminer des luminances minimales et maximales SMIN et SMAX pour une plage de dynamique standard ;
calculer des luminances minimales et maximales TMIN et TMAX en fonction des luminances minimales et maximales précédemment calculées et déterminées LMIN, EMAX, EMIN, EMAX, SMIN et SMAX ;
Transmettre les luminances minimales et maximales TMIN et TMAX calculées pour une compression de dynamique. Ainsi, l’utilisation du procédé de traitement d’un flux vidéo ci-dessus permet à un contenu produit en HDR d’être décliné en SDR de manière automatique. Cela représente une solution à moindre coût contrairement à effectuer une double production HDR/SDR. La présente invention est particulièrement avantageuse dans le cas de la diffusion de contenu vidéo en temps réel. En effet, le procédé de traitement d’un flux vidéo de la présente invention est une méthode rapide, à délai court et capable de préserver les effets de transition de type fondu.
Par conséquent, le présent procédé de traitement d’un flux vidéo décrit ci-dessus est parfaitement et avantageusement applicable à un flux vidéo diffusé en temps réel. Un exemple d’application peut correspondre à la diffusion d’un programme sportif en temps réel.
En complément, l’étape d’estimation des luminances minimales et maximales EMIN et EMAX pour l’ensemble d’images peut être suivie d’une étape de stockage de ces luminances EMIN et EMAX dans un tampon circulaire de taille paramétrable.
Ainsi, l’estimation des luminances minimales et maximales EMIN et EMAX pour l’ensemble d’images d’une scène permet de déterminer les caractéristiques de cette scène. En effet, EMIN représente la valeur du pixel le plus sombre de la scène et EMAX représente la valeur du pixel le plus claire de la scène.
Selon un mode de réalisation, si un effet de transition n’est pas détecté au sein de l’ensemble d’images du flux vidéo, le procédé peut comprendre l’étape suivante : transmettre les luminances minimales et maximales LMIN et LMAX calculées pour une compression de dynamique.
Selon un mode de réalisation, l’étape de calcul des luminances minimales et maximales LMIN et LMAX peut être suivie d’une étape de stockage de ces luminances LMIN et LMAX dans un tampon circulaire de taille paramétrable.
Selon un mode de réalisation, le calcul des luminances minimales et maximales TMIN et TMAX peut s’exprimer de la manière suivante :
TMIN = SMI N + (LMIN- min(EMiN ,LMIN)) * (SMAX -SMI N ) / (min(EMAX, LMAX) - min(Evn\ ,LMIN)) et TMAX = SMIN + (LMAX - min(EMiN ,LMIN)) * (SMAX -SMI N ) / (min(EMAx, LMAZ) - min(EMiN ,EMIN))
Ainsi, la détermination de l’intervalle de luminance [TMIN : TMAX] permet de préserver un effet de transition de type fondu en tenant compte de la dynamique de la scène sans effet de fondu ([EMIN : EMAX]), des caractéristiques du dispositif utilisé ([SMIN : SMAX]) ainsi que de la plage de luminance des images appartenant à l’effet de fondu ([LMIN : EMAX])·
En complément, le calcul des luminances minimales et maximales TMIN et TMAX peut être effectué dans le domaine logarithmique.
En effet, la façon dont l’être humain perçoit la lumière n’est pas linéaire. De même, la façon dont les niveaux de luminances sont représentés dans un système de télévision HDR n’est pas linéaire. Dans l’ensemble de la chaîne de capture, transmission et restitution de la vidéo, de nombreuses conversions et fonctions sont appliquées au signal. La méthode proposée peut être appliquée de plusieurs manières :
• Application directe (équations ci-dessus)
• Application dans un autre domaine de représentation. Le changement de représentation se fait en appliquant une fonction sur toutes les valeurs de luminance. La méthode est appliquée dans ce nouveau domaine de représentation. Le résultat est converti vers le mode de représentation initial en appliquant la fonction inverse. La fonction peut être, par exemple un simple logarithme, ou bien une fonction de transfert standard (SMPTE ST 2084). La fonction peut être (ou inclure) un changement d’espace de couleur. Par exemple, on peut convertir des données YUV au format RGB, appliquer la méthode sur les trois plans R, G et B, puis reconvertir en YUV.
En complément, les luminances estimées EMIN et EMAX peuvent être transmises pour compression de dynamique.
Selon un mode de réalisation, les luminances minimales et maximales EMIN et EMAX peuvent être respectivement multipliées par des facteurs de sécurité inversement proportionnels f et l/f. Ainsi, lorsque l’effet de transition de type fondu correspond à un fondu d’ouverture, l’emploi de facteurs de sécurité permet de ne pas sous évaluer la dynamique de la scène.
L’emploi d’un facteur de sécurité sur un fondu de fermeture est possible, mais présente moins d’intérêt car il y a moins d’incertitude sur la façon dont se termine le fondu.
Un deuxième aspect de l’invention concerne un programme informatique comportant des instructions pour la mise en œuvre des étapes du procédé selon l’une des revendications précédentes, lorsque ces instructions sont exécutées par un processeur.
Un troisième aspect de l’invention concerne un dispositif de traitement d’un flux vidéo, le flux vidéo comportant un ensemble d’images susceptibles de comprendre un effet de transition, le dispositif comportant :
- un processeur configuré pour effectuer les opérations suivantes : détecter un effet de transition au sein de l’ensemble d’images du flux vidéo, notamment un effet de fondu;
calculer des luminances minimales et maximales LMIN et LMAX pour chaque image de l’ensemble d’images comprenant l’effet de transition détecté;
estimer des luminances minimales et maximales EMIN et EMAX pour l’ensemble d’images ne comprenant pas l’effet de transition détecté ;
calculer des luminances minimales et maximales SMIN et SMAX pour une plage de dynamique standard ;
calculer des luminances minimales et maximales TMIN et TMAX en fonction des luminances minimales et maximales précédemment calculées et déterminées LMIN , LMAX, EMIN , EMAX, SMIN et SMAX ;
déterminer une dynamique cible d’un mappage ton local en fonction des luminances minimales et maximales TMIN et TMAX calculées ;
Transmettre les luminances minimales et maximales TMIN et TMAX calculées pour une compression de dynamique.
D’autres caractéristiques et avantages de la présente invention ressortiront de la description ci-dessous, en référence aux figures annexées qui en illustrent un exemple de réalisation dépourvu de tout caractère limitatif et sur lesquelles : la figure 1 représente un exemple d’effet de transition, plus particulièrement un effet de fondu;
la figure 2 représente par des histogrammes des niveaux de luminance SDR et HDR ; la figure 3 illustre l’effet d’un algorithme de compression de dynamique TMO sur un fondu au noir;
La figure 4 illustre un exemple de mise en œuvre de l’invention;
La figure 5 illustre un exemple de fonctionnement d’un module de calcul de dynamique SDR ;
La figure 6 illustre un exemple de mode de réalisation de l’invention avec valeurs numériques ;
La figure 7 représente un exemple de conversion dynamique tenant compte de la dynamique d’une scène hors effet de fondu;
La figure 8 illustre un dispositif selon un exemple de mode de réalisation de l’invention.
La figure 4 illustre un exemple de mise en œuvre de l’invention. Un module de détection MOD_DETECT 402 détecte à partir d’un contenu vidéo entrant HDR « Video
HDR live » un effet de transition tel qu’un effet de fondu par exemple. Le contenu vidéo « Video HDR live » désigne un contenu vidéo HDR diffusé en temps réel. Dans le contenu vidéo entrant « Video HDR live », la dynamique maximum et la dynamique effectivement utilisée sont définis.
Le module de détection MOD_DETECT 402 qui représente un module de détection d’effet de transition indique la probabilité d’être dans une transition. Il fonctionne avec N frames de mémoire, ou N est un entier naturel supérieur ou égal à deux. Le module de détection MOD_DETECT 402 permet d’extraire des paramètres associés à l’effet de transition détecté.
Les paramètres associés à l’effet de transition détecté sont ensuite transmis à un module de calcul dynamique SDR représenté par MOD_CAL_DYN_SDR 403 sur la figure 4. Un module de calcul de transformation MOD_ CAL_TRANS 404 reçoit en entrée les paramètres issus du module de calcul dynamique MOD_CAL_DYN_SDR 403. Le module de calcul de transformation MOD_ CAL_TRANS 404 reçoit également des paramètres temporels issus d’un module MOD-T 401. Le module de calcul de transformation MOD_ CAL_TRANS 404 échange de l’information continuellement avec un module MOD_AF 406 représentant un module « anti-flickering » se traduisant en français par anti-scintillement. Le module de calcul de transformation MOD_ CAL_TRANS 404 échange également de l’information avec un module de compression de dynamique MOD_TM 405 représentant un module de « tone mapping » se traduisant en français par module de compression de dynamique. Un contenu vidéo « Video SDR live » est issu du module de compression de dynamique MOD_TM 405. Le contenu vidéo « Video SDR live » comprend l’effet de transition (effet de fondu par exemple) initialement détecté dans le contenu vidéo entrant HDR « Video HDR live » par le module de détection MOD_DETECT 402 qui peut être assimilé à un module de détection d’effet de transition. Le contenu vidéo entrant HDR « Video HDR live » a donc été transformé en un contenu vidéo sortant SDR « Video SDR live » avec conservation de l’effet de transition au sein du contenu vidéo. De plus, comme mentionné précédemment, l’aspect « live » du contenu vidéo désigne la diffusion d’un programme vidéo en temps réel. Par conséquent, l’exemple de mise en œuvre de l’invention représenté par la figure 4 permet à partir d’un contenu vidéo HDR diffusé en temps réel comprenant des effets de transitions de type fondu par exemple (ouverture/fermeture, blanc/noir) de fournir un contenu vidéo SDR en temps réel tout en préservant ces effets de transitions. L’exemple de mise en œuvre de l’invention permet ainsi de préserver les effets de transition par exemple de type fondu.
Sur la figure 4, il est illustré que le module de détection MOD_DETECT 402 fournit au module de calcul dynamique MOD_CAL_DYN_SDR 403 des paramètres associés à un ou plusieurs effets de transition détectés dans le contenu vidéo entrant HDR. Les effets de fondu ont été mentionnés en tant qu’ exemple d’effets de transition. Par conséquent, les paramètres du module de calcul dynamique MOD_CAL_DYN_SDR 403 sont ajustés en fonction de la détection ou non d’effet de transition au sein du contenu vidéo HDR entrant par le module de détection MOD_DETECT 402.
La figure 5 illustre un exemple de fonctionnement d’un module de calcul de dynamique SDR. Un effet de transition (par exemple de type fondu) contenu au sein d’un flux vidéo 500 est détecté à l’étape DETECT 501. Le cas échéant, c’est-à-dire si un effet de fondu a été détecté à l’étape DETECT 501, des luminances minimales et maximales LMIN et LMAX sont calculées lors d’une étape CAL (LMIN, LMAX) 502 pour chaque image de l’ensemble d’image comprenant l’effet de fondu. Des luminances minimales et maximales EMIN et EMAX sont estimées pour l’ensemble d’images ne comprenant pas l’effet de fondu détecté lors de l’étape EST (EMIN, EMAX) 503. Des luminances minimales et maximales SMIN et SMAX sont déterminées pour une plage de dynamique standard lors de l’étape DET (SMIN, SMAX) 504. Les luminances minimales et maximales SMIN et SMAX représentent des paramètres fixes. SMIN et SMAX sont déterminés à l’étape DET (SMIN, SMAX) 504 et ne sont pas nécessairement recalculées à chaque image. Des luminances minimales et maximales TMIN et TMAX sont finalement calculées en fonction des luminances minimales et maximales précédemment calculées et déterminées LMIN, LMAX, EMIN, EMAX, SMIN et SMAX lors d’une étape de calcul CAL (TMIN , TMAX) 505. Les luminances minimales et maximales TMIN et TMAX ainsi calculées lors de l’étape CAL (TMIN, TMAX) 505 sont ensuite transmises pour une compression de dynamique lors d’une étape de transmission TRANS (TMIN, TMAX) 506. L’étape DETECT 501 peut être effectuée par le module de détection MOD_DETECT 402 de la figure 4. Les étapes 502 à 505 (calcul, estimation et détermination) peuvent être effectuées par le module de calcul dynamique MOD_CAL_DYN_SDR 403 de la figure 4. Concernant l’étape de transmission TRANS (TMIN, TMAX) 506, elle peut être effectuée par le module de calcul de transformation MOD_ CAL_TRANS 404 et le module de compression dynamique MOD_TM 405 de la figure 4.
Outre l’estimation maximale de la luminance d’une scène effectuée, dans le cas d’un effet de transition détecté, le module de calcul de dynamique SDR permet de préserver dans la destination la relation entre dynamique effective et dynamique maximale de la scène. De plus, dans le cas d’un effet de transition correspondant à un effet de fondu d’ouverture, l’estimation de la luminance maximale est raffinée à chaque image.
Le module de calcul de dynamique SDR est un élément clé de la présente invention. Par conséquent, le traitement d’une image I à un instant t va être détaillé :
Lorsque l’image I n’est pas comprise dans un effet de transition de type fondu :
-Les luminances minimale et maximale de l’image I, LMI\- et LMAX sont calculées. Lynx et LMAX sont ensuite stockées dans un tampon circulaire B de taille paramétrable. La taille du tampon circulaire B peut par exemple être d’une seconde. Le tampon circulaire B est réinitialisé à chaque changement de scène.
- LMIN et LMAX sont ensuite fournis pour compression dynamique. Lorsque l’image I est comprise dans un effet de transition de type fondu (par exemple de type fondu de fermeture, de l’image vers le noir) :
-Les luminances minimale et maximale de l’image I, LMIN et LMAX sont calculées. Cependant les luminances LMIN et LMAX ne sont pas stockées dans le tampon circulaire B. -Les luminances minimale et maximale de l’ensemble d’image ne comprenant pas l’effet de fondu EMIN et EMAX sont estimées par exemple par la moyenne des luminances minimale et maximale stockées dans le tampon circulaire B. Une autre solution peut consister à prendre la dernière valeur calculée présente dans le tampon circulaire B. Il est également possible de prendre des valeurs fixées à priori. - Les luminances minimale et maximale SMIN et SMAX correspondant à la dynamique SDR sont fixées par les caractéristiques du dispositif utilisé donc SMIN et SMAX sont connus à priori.
- Les luminances minimale et maximale TMiN et TMAX définissent la dynamique cible pour la compression de dynamique. Le calcul des luminances TMiN et TMAX peut s’exprimer de la manière suivante :
TMIN = SMI N + (LMIN- min(EMiN ,LMIN)) * (SMAX -SMI N ) / (min(EMAX, LMAX) - min(EMiN ,LMIN)) et
TMAX = SMI N + (LMAX - min(EMiN ,EMIN)) * (SMAX -SMIN ) / (min(EMAX, LMAX) - min(Evn\ ,LMnsr))
Le calcul des luminances TMIN et TMAX peut également être effectué dans le domaine logarithmique.
- Les valeurs des luminances TMIN et TMAX sont prises en compte comme dynamique de destination, remplaçant ainsi les valeurs des luminances SMIN et SMAX. De manière équivalente, il peut être considéré que les valeurs des luminances EMIN et EMAX sont prises en compte comme dynamique source, remplaçant ainsi les valeurs des luminances LMIN et LMAX· L’exemple ci-dessus correspond à un effet de transition de type fondu de fermeture. Dans le cas d’un effet de fondu d’ouverture (par exemple du blanc vers l’image), certaines étapes citées ci-dessus peuvent être modifiées. En effet, les valeurs des luminances EMIN et EMAX stockées dans le tampon circulaire B ne sont pas nécessairement fiables. Ceci étant dû au fait qu’un effet de fondu d’ouverture indique le début d’une nouvelle scène. Par conséquent, afin de ne pas sous-évaluer la dynamique de la scène à la fin de l’effet de fondu, les luminances EMIN et EMAX peuvent être multipliées par un facteur de sécurité « f » et « l/f » respectivement. À titre indicatif, une valeur de f= 1.5 peut être employée.
Une solution alternative peut également consister à estimer les luminances EMIN et EMAX à partir des luminances LMIN et LMAX ainsi que les paramètres correspondant à l’effet de fondu. Pour cela, une hypothèse sur la durée de l’effet de fondu peut être effectuée.
Les luminances ainsi calculées, estimées et déterminés précédemment sont dans le domaine linéaire. Les conversions appropriées telles que celles définies par exemple dans « ITU-R Recommendation BT.709 » pour le SDR ou « ITU-R Recommendation BT.2100 » pour le HDR doivent être appliquées de manière appropriée. Il est rappelé que SDR désigne une technologie à dynamique standard et provient de l’anglais « Standard Dynamic Range ». HDR désigne une technologie à haute dynamique et provient de l’anglais « High Dynamic Range ».
La figure 6 illustre un exemple de mode de réalisation de l’invention avec valeurs numériques. Les différentes colonnes du tableau de la figure 6 correspondent respectivement (de gauche à droite) : numéro d’image (Img), type de fondu (Type), dynamique maximale de la source (Dyn_ max_S), dynamique maximale de la destination (Dyn_ max_D), dynamique effective de la source (Dyn_ eff_S), dynamique de la destination calculée selon une méthode classique (Dyn_ D_stand), dynamique effective de la source calculée selon l’invention (Dyn_ eff_S_inv) et dynamique effective de la destination calculée selon l’invention (Dyn_ eff_D_inv). Concernant les colonnes du tableau de la figure 6, les fondus de type ouverture sont désignés par « O » et les fondus de type fermeture par « L ». Lorsqu’il n’y a pas d’effet de fondu, le symbole ensemble vide 0 est utilisé pour le tableau de la figure 6.
Dans cet exemple de mode de réalisation de l’invention, les effets de transition détectés sont par exemple des effets de transition de type fondu d’ouverture ou de fermeture. Un fondu d’ouverture peut correspondre par exemple à un passage de blanc vers l’image, cela représente un effet de transition classique lors de la diffusion d’un programme télévisé. Un fondu de fermeture correspond par exemple à une cinématique de fin lors de la diffusion d’un programme télévisé.
Les luminances HMIN et HMAX correspondent à la dynamique maximale possible de la source, c’est-à-dire du flux vidéo entrant tel que représenté par l’exemple du flux video « Video HDR live » à la figure 4 par exemple. Pour un effet de transition de type fondu d’ouverture, des luminances minimales et maximales LMIN et LMAX sont calculées (tel qu’indiqué dans l’exemple de la figure 5). Les luminances LMIN et LMAX correspondent respectivement au minimum et maximum de la gamme de luminance pour chaque image comprise au sein de l’ensemble d’images comprenant l’effet de fondu d’ouverture. Pour un fondu de type ouverture, l’information correspondant au minimum et maximum des luminances pour l’ensemble d’image ne comprenant pas le fondu d’ouverture n’est pas disponible. Par conséquent, les luminances minimales et maximales EMIN et EMAX pour l’ensemble d’images ne comprenant pas le fondu de type ouverture sont fixées au préalable, ce qui n’est pas le cas pour un fondu de type fermeture. Des luminances minimales et maximales SMIN et SMAX sont déterminées pour une plage de dynamique standard. Ces valeurs de luminances minimales et maximales SMIN et SMAX sont des valeurs fixées dépendant du type de dispositif utilisé (par exemple du type de téléviseur utilisé par un utilisateur). Le calcul des luminances minimales et maximales TMIN et TMAX en fonction des luminances minimales et maximales LMIN, LMAX, EMIN, EMAX, SMIN et SMAX peut s’effectuer de la manière suivante :
TMIN = SMIN + (LMIN- min (EMIN ,EMIN)) * (SMAX -SMIN ) / (min (EMAX, LMAX) - min(EMiN ,EMIN)) et
TMAX = SMI N + (LMAX - min(EMiN ,EMIN)) * (SMAX -SMI N ) / (min(EMAX, LMAZ) - min(EMiN ,LMIN))
La dynamique effective de la destination calculée selon un exemple de mode de réalisation de l’invention est représentée par l’intervalle [TMIN : TMAX] · Cet intervalle représente une gamme de valeurs en nits correspondant à l’unité de luminance du système internationale (équivalent à une valeur d’un candela par mètre carré). L’intervalle [CMIN : CMAX] représenté sur la figure 6 correspond à un exemple de calcul de la dynamique de destination selon une méthode classique de l’état de l’art. Les valeurs entourées sur la figure 6 de CMAX et TMAX permettent de mettre en évidence l’avantage de la présente invention. En effet, il est constaté que l’effet de fondu (ouverture ou fermeture) est préservé grâce à la présente invention.
La figure 7 représente un exemple de conversion de dynamique tenant compte de la dynamique d’une scène hors effet de fondu. Lorsque que l’on est situé dans un effet de type fondu, la dynamique se réduit par rapport à la source, c’est-à-dire à la dynamique d’une scène. Ainsi, l’intervalle de luminance [EMIN : EMAX] de la figure 7 représente la dynamique d’une scène sans effet de transition de type fondu. EMIN représente donc la valeur du pixel le plus sombre et EMAx représente la valeur du pixel le plus clair lorsqu’il n’y pas d’effet de transition de type fondu. L’estimation de l’intervalle de luminance [EMIN : EMAX] permet donc de connaître les caractéristiques d’une scène. Lorsque que nous sommes en présence d’un effet de transition de type fondu, la gamme de luminance se réduit pour un fondu de fermeture. Dans le cas d’un fondu d’ouverture, la gamme de luminance augmente. L’exemple de la figure 5 correspond à un exemple d’effet de transition de type fondu de fermeture. En effet, l’intervalle de luminance [EMIN : EMAX] se réduit pour correspondre à l’intervalle de luminance [ Lynx : LMAX] · Par conséquent, en dehors d’un effet de fondu, les pixels prennent des valeurs de luminance appartenant à l’intervalle [ EMIN : EMAX] · Pour une image située à l’intérieur de l’effet de fondu, les pixels prennent des valeurs situés dans l’intervalle de luminance [LMIN : EMAX] · L’intervalle de luminance [SMIN : SMAX] correspond à un intervalle fixe qui n’est pas calculé dépendant du dispositif utilisé. De la même manière [HMIN : HMAX] ne sont pas des valeurs calculées mais des valeurs fixes connues à priori. [HMIN : HMAX] correspond à une plage de dynamique HDR et [SMIN : SMAX] correspond à une plage de dynamique SDR. Par exemple l’intervalle [SMIN : SMAX] peut correspondre aux caractéristiques d’un téléviseur.
Dans le cas d’une compression de dynamique standard ou « tone mapping » standard en anglais, la dynamique [LMIN : LMAX] est projetée sur toute la dynamique SDR, c’est-à-dire [SMIN : SMAX] · Par conséquent, il n’y pas conservation d’un effet de fondu.
En revanche, dans le cas de la présente invention, la dynamique [LMIN : LMAX] est projetée sur une dynamique inférieur à la dynamique SDR pour préserver un effet de type fondu. Par conséquent sur la figure 7, on constate que [EMIN : EMAX] est projeté sur [SMIN : SMAX] et [LMIN : LMAX] est projetée sur [TMIN : TMAXL intervalle de luminance ayant été déterminé par la présente invention. L’effet de fondu est ainsi conservé. Les valeurs représentés par [TMIN : TMAX] sont un exemple de résultat fourni par l’invention. Ces valeurs de [TMIN : TMAX] sont fournis au « tone mapping » (compression de dynamique) qui les prend ensuite en compte. L’invention peut être mise en œuvre par un dispositif informatique, tel qu’illustré à titre d’exemple sur la figure 8, lequel comporte un circuit de traitement incluant :
- une interface d’entrée 810, pour recevoir les données d’image à traiter,
- un processeur 820 coopérant avec une mémoire 830, pour traiter les données d’image reçues, et - une interface de sortie 840 pour délivrer les données d’image traitées par la mise en œuvre du procédé ci-avant.
La mémoire précitée 830 peut stocker typiquement des codes d’instructions du programme informatique au sens de l’invention (dont un exemple d’ordinogramme est présenté sur la figure 5 commentée précédemment). Ces codes d’instructions peuvent être lus par le processeur 820 pour exécuter le procédé selon l’invention. Le dispositif peut comporter en outre une mémoire de travail (distincte ou identique à la mémoire 830) pour stocker des données temporaires.
L’invention ne se limite pas aux exemples de modes de réalisation décrits ci- avant, seulement à titre d’exemple, mais elle englobe toutes les variantes que pourra envisager l’homme de l’art dans le cadre des revendications ci-après.

Claims

Revendications
1. Procédé, mis en œuvre par des moyens informatiques, de traitement d’un flux vidéo, le flux vidéo comportant un ensemble d’images susceptibles de comprendre un effet de transition, le procédé comportant les étapes suivantes : détecter un effet de transition, de type fondu, au sein de l’ensemble d’images du flux vidéo,
le cas échéant, calculer des luminances minimales et maximales LMIN et LMAX pour chaque image de l’ensemble d’images comprenant le fondu ;
estimer des luminances minimales et maximales EMIN et EMAX pour l’ensemble d’images ne comprenant pas l’effet de transition détecté ;
déterminer des luminances minimales et maximales SMIN et SMAX pour une plage de dynamique standard ;
calculer des luminances minimales et maximales TMIN et TMAX en fonction des luminances minimales et maximales précédemment calculées et déterminées LMIN, LMAX, EMIN, EMAX, SMIN et SMAX ;
Transmettre les luminances minimales et maximales TMIN et TMAX calculées pour une compression de dynamique.
2. Procédé selon la revendication 1, dans lequel l’étape d’estimation des luminances minimales et maximales EMIN et EMAX pour l’ensemble d’images est suivie d’une étape de stockage de ces luminances EMIN et EMAX dans un tampon circulaire de taille paramétrable.
3. Procédé selon la revendication 1, dans lequel si un effet de transition n’est pas détecté au sein de l’ensemble d’images du flux vidéo, le procédé comprend l’étape suivante : transmettre les luminances minimales et maximales LMIN et LMAX calculées pour une compression de dynamique.
4. Procédé selon la revendication 3, dans lequel l’étape de calcul des luminances minimales et maximales LMIN et LMAX est suivie d’une étape de stockage de ces luminances LMIN et LMAX dans un tampon circulaire de taille paramétrable.
5. Procédé selon la revendication 1, dans lequel le calcul des luminances minimales et maximales TMIN et TMAX s’exprime de la manière suivante :
TMIN = SMI N + (LMIN- niin(EMiN ,LMIN)) * (SMAX -SMI N ) / (min(EMAx, LMAX) - min(EMiN ,LMIN)) et
TMAX = SMI N + (LMAX - min(EMiN ,LMIN)) * (SMAX -SMIN ) / (min (EMAX, LMAX) - min(EMiN ,EMIN))
6. Procédé selon la revendication 1 ou 4, dans lequel le calcul des luminances minimales et maximales TMIN et TMAX est effectué dans le domaine logarithmique.
7. Procédé selon la revendication 1, 4, 5 ou 6, dans lequel les luminances estimées EMIN et EMAX sont transmises pour compression de dynamique.
8. Procédé selon la revendication 1, dans lequel les luminances minimales et maximales EMIN et EMAX sont respectivement multipliées par des facteurs de sécurité inversement proportionnels f et l/f.
9. Programme informatique comportant des instructions pour la mise en œuvre des étapes du procédé selon l’une des revendications précédentes, lorsque ces instructions sont exécutées par un processeur.
10. Dispositif de traitement d’un flux vidéo, le flux vidéo comportant un ensemble d’images susceptibles de comprendre un effet de transition, le dispositif comportant :
- un processeur configuré pour effectuer les opérations suivantes : détecter un effet de transition au sein de l’ensemble d’images du flux vidéo, notamment un effet de fondu;
calculer des luminances minimales et maximales LMIN et LMAX pour chaque image de l’ensemble d’images comprenant l’effet de transition détecté; estimer des luminances minimales et maximales EMIN et EMAX pour l’ensemble d’images ne comprenant pas l’effet de transition détecté ;
calculer des luminances minimales et maximales SMIN et SMAX pour une plage de dynamique standard ;
- calculer des luminances minimales et maximales TMIN et TMAX en fonction des
luminances minimales et maximales précédemment calculées et déterminées LMIN , EMAX, EMIN , EMAX, SMIN et SMAX ;
déterminer une dynamique cible d’un mappage ton local en fonction des luminances minimales et maximales TMIN et TMAX calculées ;
- Transmettre les luminances minimales et maximales TMIN et TMAX calculées pour une compression de dynamique.
PCT/FR2018/053522 2017-12-29 2018-12-21 Méthode de compression de dynamique WO2019129981A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/958,935 US11138703B2 (en) 2017-12-29 2018-12-21 Dynamic range compression method
EP18842803.1A EP3732654A1 (fr) 2017-12-29 2018-12-21 Méthode de compression de dynamique

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1763357A FR3076386B1 (fr) 2017-12-29 2017-12-29 Methode de compression dynamique
FR1763357 2017-12-29

Publications (1)

Publication Number Publication Date
WO2019129981A1 true WO2019129981A1 (fr) 2019-07-04

Family

ID=62092017

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2018/053522 WO2019129981A1 (fr) 2017-12-29 2018-12-21 Méthode de compression de dynamique

Country Status (4)

Country Link
US (1) US11138703B2 (fr)
EP (1) EP3732654A1 (fr)
FR (1) FR3076386B1 (fr)
WO (1) WO2019129981A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3076386B1 (fr) * 2017-12-29 2020-02-07 Ateme Methode de compression dynamique
CN112565636B (zh) * 2020-12-01 2023-11-21 影石创新科技股份有限公司 图像处理方法、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284534A (ja) * 2004-03-29 2005-10-13 Inventec Appliances Corp 高ダイナミックレンジ画像を低ダイナミックレンジ画像に変換する方法及び関連装置
WO2013067101A1 (fr) * 2011-11-04 2013-05-10 Dolby Laboratories Licensing Corporation Décomposition de couche dans un codage vdr hiérarchique
WO2014012680A1 (fr) * 2012-07-18 2014-01-23 Thomson Licensing Procede et dispositif de conversion d'une sequence d'image dont les valeurs de luminance appartiennent a une plage de valeurs de dynamique elevee

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2891686B1 (fr) * 2005-10-03 2008-04-18 Envivio France Entpr Uniperson Procede et dispositif de detection de transitions dans une sequence video, procede et dispositif de codage, produits programme d'ordinateur et moyens de stockage correspondants.
WO2012031107A1 (fr) * 2010-09-03 2012-03-08 Dolby Laboratories Licensing Corporation Procédé et système de compensation d'éclairage et de transition pour codage et traitement vidéo
FR3002062B1 (fr) * 2013-02-14 2017-06-23 Envivio France Systeme et procede de reduction dynamique de l'entropie d'un signal en amont d'un dispositif de compression de donnees.
US9584786B2 (en) * 2014-03-05 2017-02-28 Dolby Laboratories Licensing Corporation Graphics blending for high dynamic range video
EP3378057A1 (fr) * 2015-11-18 2018-09-26 THOMSON Licensing Gestion de luminance pour des afficheurs à plage dynamique élevée
US10825480B2 (en) * 2017-05-31 2020-11-03 Apple Inc. Automatic processing of double-system recording
FR3076386B1 (fr) * 2017-12-29 2020-02-07 Ateme Methode de compression dynamique

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284534A (ja) * 2004-03-29 2005-10-13 Inventec Appliances Corp 高ダイナミックレンジ画像を低ダイナミックレンジ画像に変換する方法及び関連装置
WO2013067101A1 (fr) * 2011-11-04 2013-05-10 Dolby Laboratories Licensing Corporation Décomposition de couche dans un codage vdr hiérarchique
WO2014012680A1 (fr) * 2012-07-18 2014-01-23 Thomson Licensing Procede et dispositif de conversion d'une sequence d'image dont les valeurs de luminance appartiennent a une plage de valeurs de dynamique elevee

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RONAN BOITARD ET AL: "Zonal brightness coherency for video tone mapping", SIGNAL PROCESSING: IMAGE COMMUNICATION, vol. 29, no. 2, 1 February 2014 (2014-02-01), pages 229 - 246, XP055116284, ISSN: 0923-5965, DOI: 10.1016/j.image.2013.10.001 *
RONAN BOITARD: "Temporal Coherency in Video Tone Mapping - PhD thesis", 16 October 2014 (2014-10-16), Universit? de Rennes 1, XP055161983, Retrieved from the Internet <URL:http://people.irisa.fr/Ronan.Boitard/articles/2014/Ronan_Boitard_PhD_Manuscript.pdf> [retrieved on 20150114] *

Also Published As

Publication number Publication date
FR3076386A1 (fr) 2019-07-05
FR3076386B1 (fr) 2020-02-07
US20200342578A1 (en) 2020-10-29
US11138703B2 (en) 2021-10-05
EP3732654A1 (fr) 2020-11-04

Similar Documents

Publication Publication Date Title
KR102291954B1 (ko) 확장된 높은 동적 범위(hdr) 대 hdr 톤 매핑을 위한 방법, 장치 및 시스템
JP7422832B2 (ja) 様々なレベルのメタデータを含む色管理を制御するスケーラブルシステム
Reinhard High dynamic range imaging
US10891722B2 (en) Display method and display device
EP3295451B1 (fr) Filtrage de métadonnées pour mappage d&#39;affichage pour des images à plage dynamique élevée
US9607364B2 (en) Methods and systems for inverse tone mapping
KR20170020288A (ko) Hdr 대 hdr 인버스 톤 맵핑을 위한 방법들, 시스템들 및 장치들
WO2018098095A1 (fr) Architecture de rendu d&#39;une vidéo à plage dynamique élevée sur des dispositifs d&#39;affichage à plage dynamique améliorée
EP3251083A1 (fr) Méthode et dispositif de mise en correspondance d&#39;une image hdr avec une image sdr et méthode et dispositif correspondants de mise en correspondance sdr avec hdr
FR2842320A1 (fr) Dispositif de traitement de donnees multimedia
WO2018231968A1 (fr) Codage efficace de gestion d&#39;affichage inverse à couche unique de bout en bout
US11587526B2 (en) Luminance adaption to minimize discomfort and improve visibility
WO2019129981A1 (fr) Méthode de compression de dynamique
EP3577627B1 (fr) Procede de traitement d&#39;une image d&#39;entree, dispositif, equipement terminal et programme d&#39;ordinateur associe
EP3639238A1 (fr) Codage efficace de gestion d&#39;affichage inverse à couche unique de bout en bout
FR2947082A1 (fr) Procede et dispositif de traitement d&#39;une image numerique pour eclaircir ladite image.
EP3391331A1 (fr) Procede de traitement d&#39;une image numerique, dispositif, equipement terminal et programme d&#39;ordinateur associes
CN109120979B (zh) 视频增强控制方法、装置以及电子设备
EP1261209A2 (fr) Procédé de détection de bruit dans un flux de données vidéo codées
FR3045903A1 (fr) Procede de traitement d&#39;une image numerique, dispositif, equipement terminal et programme d&#39;ordinateur associes
Chalmers et al. Fifty shades of HDR
JP2022526992A (ja) リアルタイムビデオダイナミックレンジ分析
US11908340B2 (en) Magnification enhancement of video for visually impaired viewers
US20230088882A1 (en) Judder detection for dynamic frame rate conversion
Korpi-Anttila Automatic colour enhancement and scene change detection of digital video

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18842803

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018842803

Country of ref document: EP

Effective date: 20200729