WO2017103399A1 - Procede de traitement d'une image numerique, dispositif, equipement terminal et programme d'ordinateur associes - Google Patents

Procede de traitement d'une image numerique, dispositif, equipement terminal et programme d'ordinateur associes Download PDF

Info

Publication number
WO2017103399A1
WO2017103399A1 PCT/FR2016/053321 FR2016053321W WO2017103399A1 WO 2017103399 A1 WO2017103399 A1 WO 2017103399A1 FR 2016053321 W FR2016053321 W FR 2016053321W WO 2017103399 A1 WO2017103399 A1 WO 2017103399A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
luminance
value
luminance component
values
Prior art date
Application number
PCT/FR2016/053321
Other languages
English (en)
Inventor
Cambodge BIST
Rémi COZOT
Gérard MADEC
Original Assignee
B<>Com
Universite Rennes 1
Institut Mines Telecom
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR1562446A external-priority patent/FR3045903B1/fr
Application filed by B<>Com, Universite Rennes 1, Institut Mines Telecom filed Critical B<>Com
Priority to AU2016373020A priority Critical patent/AU2016373020B2/en
Priority to EP16825475.3A priority patent/EP3391331A1/fr
Priority to US16/063,441 priority patent/US10326971B2/en
Priority to KR1020187019196A priority patent/KR102631844B1/ko
Priority to JP2018531353A priority patent/JP6742417B2/ja
Publication of WO2017103399A1 publication Critical patent/WO2017103399A1/fr
Priority to US16/288,554 priority patent/US10645359B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Definitions

  • the field of the invention is that of digital image processing and digital image sequences whose color information is represented in a first range of values, with a view to restoring them on a display device able to represent them. on a second range of values, greater than the first.
  • the invention may especially, but not exclusively, apply to the conversion of color intensities of digital images represented in a standard format or SDR (for "Standard Dynamic Range", in English) for their restitution on a display device conforming to an HDR format (for "High Dynamic Range”).
  • SDR Standard Dynamic Range
  • HDR High Dynamic Range
  • a new generation of audiovisual content rendering devices such as HDR televisions, which are capable of displaying images with a wide range of color intensities, is emerging today. These screens offer a very high level of brightness (for "high peak” in English) and increased levels of contrast between the dark and light areas of the image, which provide the user an unparalleled proximity to reality.
  • ⁇ og Y moy & * ⁇ ° ( ⁇ ( ⁇ ' ⁇ +5 ⁇ rn
  • Y (x, y) is the luminance intensity of an element of the image
  • ⁇ is a positive real number that takes a small value to avoid singularities when the intensity of a pixel is zero.
  • the logarithm of the luminance is indeed known as a good approximation of a brightness level or The key of the image k therefore gives an indication of an overall level of brightness or brightness (for "global brightness” in English) of the image, as perceived by the human visual system. an observer.
  • a disadvantage of the methods described in the prior art is that they are not suitable for any type of images.
  • images having levels of contrast and brightness more extreme than the images tested they give the processed images an artificial appearance unsightly and not very faithful to the input images.
  • the invention improves the situation.
  • the invention particularly aims to overcome these disadvantages of the prior art.
  • an object of the invention is to propose a solution that guarantees a more realistic and respectful rendering of the original lighting style of the input image, while remaining simple to implement and compatible with constraints. real time.
  • a method of processing at least one digital image for rendering it on a display device comprising elements an image element being associated with color information represented in a first color space comprising a luminance component separated from chrominance components, said luminance component having a value within a first predetermined value range, said a display device adapted to render luminance component values of the picture elements in a second predetermined range of values longer than the first interval, said method comprising the steps of:
  • Transformation of the first luminance components of the image elements into second luminance components comprising for an element of the image, the calculation of an intermediate value of luminance by application of the expansion exponent calculated at the first luminance component value and the multiplication of the intermediate value calculated by the length of the second interval of predetermined luminance values.
  • the method according to the invention is remarkable in that the calculated expansion exponent is a decreasing function of the determined global brightness level information.
  • the invention proposes a novel and inventive solution for expanding the range of values of the luminance information to adapt the format of an input image to that of the display device whose range is wider.
  • the invention provides an expansion exponent whose value decreases when the overall level of brightness increases.
  • the inventors have identified five classes of image styles representative of the different possible combinations of brightness and contrast levels of a large set of test sequences. They then implemented an experiment in which they applied different correcting exponent values to the image sequences of each of these style classes, then asked the observer panel to evaluate its perceived quality.
  • the calculated exponent is proportional to the logarithm of the inverse of the information representative of a global level of brightness of the image.
  • the step of determining a global luminosity level comprises obtaining a median value of the luminance component of the image, the normalization of the median value obtained and the information representative of a global level of brightness of the image is proportional to the median value obtained standardized.
  • the step of determining information representative of a global brightness level further comprises a preliminary step of converting the first luminance component of the first color space into a brightness component of a second color space, prior to the step of calculating the expansion exponent and in that the median value is obtained from the brightness component.
  • the first luminance component is converted into the known CIEL * a * b * color space to produce a perceptually linear clarity component.
  • a first advantage is that the clarity values are better distributed over the range of possible values.
  • a second advantage is to make the overall brightness level information closer to that actually perceived by an observer.
  • a correction step for "clipping", in English
  • An advantage of containing the most extreme values of the median is to limit the possible values of the exponent exponent, which avoids producing saturations of the luminance values and distorting the original lighting style. the input image.
  • the transformation step implements the following equations:
  • the method comprises a step of transforming the first chrominance components of the image into second components, by applying to the first chrominance components an expansion coefficient proportional to a ratio between the second luminance component and the first luminance component, as follows:
  • the method comprises a step of transforming the first chrominance components of the image into second chrominance components, comprising a substep of color correction by applying to the first chrominance components a correction function which depends on the first and second luminance components and a saturation factor, which is a real strictly greater than 1, according to the following expression:
  • An advantage of this embodiment is that by saturating the chrominance components, it enables more intense color rendering.
  • the step of transforming the first chrominance components comprises a substep of converting a first color space to a second color space, larger than the first.
  • a device for processing at least one digital image for the purpose of rendering it on a display device said image comprising elements of image, a picture element being associated with color information represented in a first color space comprising a luminance component separated from chrominance components, said luminance component having a value comprised in a first predetermined value range, said coloring device display being adapted to render luminance component values of the picture elements comprised in a second predetermined range of values, of greater length than the first interval, said device comprising a reprogrammable calculation machine or a dedicated calculation machine, Suitable for and configured for:
  • Transforming the first luminance components of the image elements into second luminance components comprising for an image element the calculation of an intermediate luminance value by applying the calculated expansion exponent to the first value of luminance component and the multiplication of the intermediate value calculated by the length of the second interval of predetermined luminance values
  • Such a device is remarkable in that the calculated expansion exponent is a decreasing function of the determined global brightness level information.
  • the invention also relates to a terminal equipment comprising a receiver adapted to and configured to receive a sequence of digital images via a communication network and a transmitter adapted to and configured to transmit the sequence of images to a display device adapted and configured to restore it, characterized in that it comprises a device for processing at least one digital image according to the invention.
  • This terminal equipment may be a personal computer, a set-top box TV, a digital television etc.
  • the invention also relates to a computer program comprising instructions for implementing the steps of a method as described above, when this program is executed by a processor.
  • the invention also relates to a computer program comprising instructions for implementing the steps of a method of processing a digital image as described above, when this program is executed by a processor.
  • These programs can use any programming language. They can be downloaded from a communication network and / or recorded on a computer-readable medium.
  • the invention finally relates to a recording medium or storage medium, readable by a processor, integrated or not to the digital image processing device according to the invention, possibly removable, respectively storing a computer program setting implement a method of treatment, as described above.
  • FIG. 1 schematically shows a processing line of an SDR format image or input image sequence for providing an image or a sequence of output images in HDR format, respectively;
  • FIG. 2 schematically shows the steps of a method of processing a digital image according to the invention;
  • FIG. 3 details the step of determining information representative of an overall brightness level according to one embodiment of the invention;
  • FIGS. 4A and 4B show examples of decreasing functions of the global brightness level information according to two embodiments of the invention;
  • FIG. 1 schematically shows a processing line of an SDR format image or input image sequence for providing an image or a sequence of output images in HDR format, respectively;
  • FIG. 3 details the step of determining information representative of an overall brightness level according to one embodiment of the invention;
  • FIGS. 4A and 4B show examples of decreasing functions of the global brightness level information according to two embodiments of the invention;
  • FIG. 5 details the steps of calculating an expansion and derivation exponent of the color components according to a first embodiment of the invention
  • FIG. 5A details the steps of calculating an exponent of expansion and derivation of the color components according to a second embodiment of the invention
  • Figs. 6A-6D show chromaticity diagrams of the input image and the output image according to the first and second embodiments of the invention
  • Figure 7 shows examples of lighting style classes of input images defined according to their brightness and contrast
  • FIGS. 8A to 8E show examples of expansion exponent curves obtained by the processing method according to the invention for input images belonging to predetermined classes of lighting styles
  • FIG. 9 compares examples of output images obtained after treatment according to the invention and according to two solutions of the prior art
  • FIG. 10 compares the results of subjective tests carried out on a set of images with the treatment method according to the invention and two solutions of the prior art; and
  • FIG. 11 schematically shows an example of a hardware structure of a device for processing a digital image according to one embodiment of the invention.
  • an object of the invention is to propose a method for extending the range of color intensities of an input image conforming to a standard format with a view to its rendering on a display device having a wider range of color intensities.
  • the general principle of the invention is based on the determination of information representative of a global level of brightness of the image as perceived by an observer and on the application to the intensities of the image of an exponent of expansion, expressed as a decreasing function of the overall brightness level of the image.
  • the images of the input sequence are two-dimensional (2D). Their elements are pixels.
  • 3D three-dimensional
  • multiview images the elements of which are voxels.
  • the images of this sequence can take different spatial dimensions such as for example SD images (for "Standard Definition”, in English, HD (for High Definition), UHD (for "Ultra High Definition”, in English) , 4K, which is four times the definition of an HD and 8K image, which is eight times the definition of an HD image.
  • the input sequence may have frequency values (for "frame rate”, in different values from 24, 25, 30, 50, 60, 120, etc.
  • the color intensities of its picture elements can be encoded over a bit depth by example equal to 8, 10, 12 or 16 bits.
  • the input image sequence (II n ) is in the format R'G'B '(for "Red Green Blue", in English) ..., as specified in standard BT.709 which defines the values of the parameters of the HDTV standards for the production and international exchange of audiovisual programs.
  • the color information is expressed in three components R ', G', B 'which each take values between 0 and 255.
  • the invention is not limited to this color space and can also process input images conform to other formats such as BT.2020, BT.601, DCI-P3, etc.
  • RGB optical intensities take values between 0 and 1.
  • RGB optical intensities are presented, in T2, to an ITMO module (for "Inverse Tone Mapping Operator"), which has the function of extending the range of values of the color intensities of a first interval [0: 1 ] to a second interval of values [0: Lmax] where Lmax represents the length of the second interval, Lmax being an integer greater than 1.
  • This ITMO module implements the method according to the invention which will be presented hereinafter with reference to FIG. 2.
  • the image sequence produced is in RGB optical format with intensities between 0 and L my x-
  • Each image of the sequence is subjected in T3 to an inverse optical electrical conversion operation so as to output a sequence of images whose color intensities correspond to a usable computer coding for a display device, such as a TV.
  • the conversion implemented provides Y'CbCr color intensities which break down the color intensities into a luminance component Y 'separate from the chrominance components Cb, C r .
  • This Y'CbCr format is a way of representing the color space in video which is well adapted to the transmission problems.
  • These components are encoded on 10 bits.
  • an additional conversion provides at T4 a sequence of R'G'B 'format output images coded on at least 10 bits.
  • the image sequence obtained is transmitted in T5 to a display device, such as for example an HDR digital television for example in accordance with ST2084 or STD-B67.
  • a display device such as for example an HDR digital television for example in accordance with ST2084 or STD-B67.
  • the optical color intensities of the input image are expressed in RGB format.
  • the color intensities of the input image are converted into a color space that includes a luminance Y component and X and Z chrominance components. It is understood that in this space, information representative of a brightness of the image at each of its points is separated from the so-called chrominance information which defines its color.
  • information representative of a global level of brightness of the input image, as perceived by the visual system of an observer, is determined.
  • the determined information is the key k of the image as defined by Masia.
  • the global brightness level information is determined in another manner, defined below:
  • the luminance component Y is converted into another luminance component L *, called clarity, of a colorimetric space called CIEL * a * b *.
  • Clarity component L * can range from 0 (black) to 100 (white). This is a color space for surface colors, defined by the International Commission on Illumination. (CIE), together with the CIE L * u * v * color space for light colors. Based on the evaluations of the CIE XYZ system, it was designed to more accurately reflect the differences in colors perceived by human vision.
  • CIE International Commission on Illumination
  • the median value L " med of the clarity component L * is calculated on all the elements of the input image Un.
  • the image II n has M picture elements, with M non-zero integers.
  • the median value is calculated by sorting the values of the brightness components of the image elements in ascending order, the median value L " med corresponding to the position (M + 1) / 2.
  • the median value obtained is normalized, so that its value is between 0 and 1.
  • step E2 of the treatment method according to the invention calculates an expansion coefficient y depending on the information representative of a level of brightness of the ILG input image.
  • This expansion coefficient is intended to be applied to the luminance component Yi of the input image Un.
  • the expansion coefficient y is calculated as a decreasing function of the ILG information.
  • the expansion coefficient y is calculated as a decreasing polynomial function of the ILG information.
  • the expansion coefficient y is a calculated as a logarithmic function of the inverse of the ILG brightness information of the input image. :
  • the ILG information is chosen equal to L * med n .
  • the invention is not limited to this particular case.
  • Other ways of calculating the ILG information can be envisaged, for example from the key of the image k.
  • An advantage of this function is that it corresponds well to the perception model of the human visual system. In addition, it is simple to calculate.
  • the invention is not limited to the use of these two examples.
  • Other models of curves can be used.
  • FIG. 5 shows the steps of the method of processing an input image (II n ) according to the invention, when the input image is in standard SDR format and the display device is configured to render images (IO n ) in HDR format.
  • the first chrominance components C1 are multiplied by an expansion coefficient proportional to the expansion applied to the luminance of the image, for example equal to the ratio Y 2 / Y 1, as follows :
  • An advantage of this mode is its simplicity.
  • An output image (IO n ) is thus obtained whose color intensities take a wider range of values and adapted to the amplitude offered by the display device.
  • gamut In color synthesis, gamut, or color gamut, is the part of the set of colors that a certain type of material, such as a television screen or a computer monitor can reproduce.
  • the gamut depends on the primary colors used to synthesize the colors. It is often represented as an area on a chromaticity diagram by a polygon that joins the representative points of these primaries.
  • Figure 6A shows the cloud of color intensities taken by the input image in the gamut according to BT709 recommendation adapted to HDTV (for "High Definition Television").
  • Figure 6B shows that of the output image obtained by the first embodiment of the invention which has just been described in connection with Figure 5. According to a second embodiment, illustrated by FIG.
  • the step E4 comprises a sub-step E41 for correcting the color components, which consists in applying to the first chrominance components a correction function that is no longer directly proportional.
  • the ratio Y2 / Y1 between output luminance and input luminance as in the previous embodiment.
  • the correction function that applies to the first luminance components depends on the first and second luminance components and a saturation factor s, which is a reality strictly greater than 1, according to the following expression :
  • B 2 ((
  • the saturation factor s is chosen equal to 1.25.
  • An advantage of this correction is that by saturating the intensities of the color components, it allows to obtain a more intense color rendering.
  • the step E4 further comprises a substep E42 for converting the second chrominance components of a first color space, larger than the first.
  • a conversion of a gamut A to a gamut B can be done by matrix transformation as follows:
  • the intensities R2, G2, B2 obtained which belong to a first color space, for example according to the recommendation BT709, are converted into intensities R2 ', G2', B2 'in a second color space such as the new space according to the BT2020 recommendation recently created for the new HDTV TV screens (for "Ultra High Definition TVs").
  • the conversion of the BT.709 gamut to the BT.2020 gamut shall be done by applying the following matrix as specified in BT.2087:
  • An advantage of this conversion is that it allows, because of the increased dimensions of the gamut polygon, to ensure that the transformed color intensities are located at a distance from its borders in the second color space, thereby avoiding clipping effects (for "clipping" in English) color intensities on the output image.
  • Figure 6C shows a chromaticity diagram of the output image obtained at the end of the color correction step E41 according to the second embodiment. Note that, due to the correction, the range of color intensities is more extensive in Figure 6C than in Figure 6B, which is reflected, when returning the output image, by rendering more intense.
  • Figure 6D shows a chromaticity diagram of the output image obtained at the end of step E42 of color space change. It can be seen that the change in color space makes it possible to move the cloud away from intensity values of the boundaries of the gamut triangle, which has the effect of avoiding any truncation of the intensities of colors at the edges of the triangle and therefore the appearance rendering defects on the output image.
  • steps E1 to E4 are repeated for each image.
  • the lighting and contrast conditions chosen by an artist to create an image, photograph or video sequence help to give the image a special atmosphere.
  • the concept of style is known and widely used in photography, television and cinema.
  • the medium tone MK for "Medium-Key Lighting” in English
  • MK is a picture-taking style combining medium contrast with moderate brightness.
  • Most of the image and video content falls into this category.
  • the dark tone LK (for "Low-Key Lighting” in English) is a deliberately dark picture taking style, thus having a low brightness associated with a high contrast.
  • the low key style intervenes in several effects such as callsoscuro Unlike standard lighting based on three light sources, the Low-Key technique usually involves only one source.
  • the HK High-Key Lighting
  • the HK is an image-taking style that combines high brightness with low contrast to express a light mood. It is a style widely used in the field of fashion and advertising.
  • the dark tone DK (for "Dark-Key Lighting”) is an intentionally underexposed image-taking style, thus having low light, which is combined with low contrast. It is particularly popular for night scenes, creating a disturbing atmosphere, enhance the suspense of horror movies or thrillers;
  • the brilliant tone BK (for "Bright-Key Lighting”) is an image-taking style that combines a high level of contrast with high brightness. This style is commonly used for outdoor shooting on clear sunny days.
  • the five lighting styles just described in a diagram have respectively been positioned according to information representative of global levels of luminosity and contrast, as perceived by an observer. It can be seen that the classes LK and DK have comparable brightness levels and are distinguished from each other by their level of contrast. It is the same for classes HK and BK.
  • FIGS. 8A to 8E compare, for the five classes of images, the curves of the extended luminance values Y2 of the output image as a function of those Yi of the input image, respectively obtained by the invention and the methods of Akyuz and Masia, already described.
  • the Akyuz method uses an expansion exponent equal to 1
  • the Masia method exploits an exponent expressed as an affine function of the key of the image.
  • the expansion exponent y calculated by the invention is 1.72 and that calculated by Masia is -0.35.
  • the expansion is linear, so that all luminances are increased in the same way.
  • the coefficient calculated by Masia is negative, which has the effect of saturating the luminance values Y2.
  • Figure 9 which shows an image of the output sequence obtained by each of the methods and the corresponding original image, as well as aesthetic and loyalty scores attributed by observers, it is verified that the image obtained by Masia's method is very white and has lost all contrast.
  • the image produced by Akyuz's method is of good quality but the original lighting style has been distorted.
  • the expansion exponent y calculated by the invention is 1.06 and that calculated by Masia is 1.7.
  • the result obtained by Akyuz is too enlightened.
  • the one obtained by Masia is too contrasted.
  • the scores obtained by Masia are significantly worse than those of Akyuz and those of the invention, in particular because of a beat between the images of the output sequence.
  • Masia's method tends to saturate the luminance values over the entire range of values taken by the input image, which will have the effect of giving an impression of over exposure and loss of contrast.
  • Akyuz's method linearly amplifies luminance over the entire range of values. The rendering of the images is acceptable, but the original style of the images has been distorted.
  • module and/or entity
  • module may correspond either to a software component, or to a hardware component, or to a set of hardware and / or software components, capable of implementing perform the function (s) described for the module or entity concerned.
  • FIG. 11 an example of a simplified structure of a device 100 for encoding a digital image according to the invention is now presented.
  • the device 100 implements the coding method according to the invention which has just been described in relation with FIG.
  • FIG. 11 only illustrates one particular way, among several possible, of realizing the algorithm detailed above, in relation to FIG. 2. Indeed, the technique of the invention is carried out indifferently on a reprogrammable calculation machine (a PC computer, a DSP processor or a microcontroller) executing a program comprising a sequence of instructions, or on a dedicated computing machine (for example a set of logic gates such as an FPGA or an ASIC, or any other hardware module).
  • a reprogrammable calculation machine a PC computer, a DSP processor or a microcontroller
  • a program comprising a sequence of instructions
  • a dedicated computing machine for example a set of logic gates such as an FPGA or an ASIC, or any other hardware module.
  • the corresponding program (that is to say the sequence of instructions) can be stored in a removable storage medium (such as for example a diskette, a CD-ROM or a DVD-ROM) or not, this storage medium being readable partially or totally by a computer or a processor.
  • a removable storage medium such as for example a diskette, a CD-ROM or a DVD-ROM
  • the device 100 comprises a processing unit 110, equipped with a processor ⁇ , and driven by a computer program Pgl 120, stored in a memory 130 and implementing the method according to the invention.
  • the code instructions of the computer program Pgi 120 are for example loaded into a RAM before being executed by the processor of the processor unit. processing 110.
  • the processor of the processing unit 110 implements the steps of the method described above, according to the instructions of the computer program 120.
  • the device 100 comprises a reprogrammable calculation machine or a dedicated computing machine, capable of and configured to: obtain a GET II input image; convert CONV the RGB color intensities of the input image into a color space that includes a luminance Y component and X and Z chrominance components;
  • TRANSFER TRANSF the first luminance components of the elements of the image into second luminance components, comprising for an element of the image, the calculation of an intermediate luminance value by applying the expansion exponent calculated at the first luminance component value and the multiplication of the intermediate value calculated by the length of the second interval of predetermined luminance values.
  • the expansion exponent y calculated therein is a decreasing function of the determined global brightness level information.
  • the computing machine is configured to implement the embodiments of the invention which have just been described in relation to FIGS. 2 to 6.
  • it is configured to implement a transformation of the first chrominance components into second chrominance components according to the first or second embodiments described with reference to FIGS. 5 and 5A.
  • the device 100 further comprises a storage unit Mi 140, such as a memory or a buffer, able to store, for example, the input image sequence, the calculated expansion coefficient y and the intermediate luminance values, and / or the sequence of output images.
  • a storage unit Mi 140 such as a memory or a buffer, able to store, for example, the input image sequence, the calculated expansion coefficient y and the intermediate luminance values, and / or the sequence of output images.
  • such a device 100 can be integrated in a user terminal equipment TU, for example a computer, a set-top box (for "set top box", in English), a digital television.
  • the device 100 is then arranged to cooperate at least with the following modules of the terminal TU: a data transmission / reception module E / R, through which a signal comprising coded data representative of the image sequence input is received from a telecommunications network, for example a radio, wired or wireless network; and / or an acquisition module of the input image sequence, such as for example a video camera, for example via an HDMI cable.
  • a data transmission / reception module E / R through which a signal comprising coded data representative of the image sequence input is received from a telecommunications network, for example a radio, wired or wireless network
  • an acquisition module of the input image sequence such as for example a video camera, for example via an HDMI cable.
  • a display device configured to output images having a range of color intensities extended, for example a Sony ® BVM-X300 OLED professional HDR television, equipped with SLoq3 and ST2084 transfer functions.
  • This device complies with BT.709 and BT.2020 colorimetric standards. It offers a maximum brightness of 1000 nits.
  • the invention that has just been described allows several uses. Its first application is the conversion of video content in SDR format into a version that can be displayed on an HDR rendering device. For example, it can be implemented upon reception of a video content broadcast in real time ("live", in English) in SDR format, as post-processing, in order to display the sequence of images on a screen HDR.
  • SDR and HDR For the production of real-time TV content using multiple acquisition modules, SDR and HDR, it can be used to convert SDR content into HDR on the fly before mixing with HDR content. She can also find her interest in film post-production.
  • the invention can be implemented at any point of a transmission chain to transcode a content transmitted in BT.709 HDR format in an HDR format, as specified by the standard ST2084 or STD-B67.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

L'invention concerne un procédé de traitement d'au moins une image numérique en vue de sa restitution sur un dispositif d'affichage, ladite image comprenant des éléments d'image, un élément d'image étant associé à des informations de couleur représentées dans un premier espace colorimétrique comprenant une composante de luminance et des composantes de chrominance, ladite composante de luminance ayant une valeur comprise dans un premier intervalle de valeurs prédéterminé, ledit dispositif d'affichage étant apte à restituer des valeurs de composantes de luminance des éléments d'image comprises dans un deuxième intervalle de valeurs prédéterminé, de longueur supérieure à celle du premier intervalle, ledit procédé comprenant les étapes de : Détermination (El) d'une information représentative d'un niveau global de luminosité de l'image perçu par un observateur, à partir des valeurs de la première composante de luminance des éléments de l'image; Calcul (E2) d'un exposant d'expansion (y) en fonction de l'information de niveau global de luminosité déterminée; Transformation (E3) des premières composantes de luminance des éléments de l'image en deuxième composantes de luminance, comprenant pour un élément de l'image, le calcul d'une valeur intermédiaire de luminance par application de l'exposant d'expansion calculé à la première valeur de composante de luminance et la multiplication de la valeur intermédiaire calculée par la longueur du deuxième intervalle de valeurs de luminance prédéterminées. Selon l'invention, l'exposant d'expansion calculé est une fonction décroissante de l'information de niveau global de luminosité déterminée.

Description

PROCEDE DE TRAITEMENT D'UNE IMAGE NUMERIQUE, DISPOSITIF, EQUIPEMENT TERMINAL ET PROGRAMME D'ORDINATEUR ASSOCIES
1. Domaine de l'invention
Le domaine de l'invention est celui du traitement d'images numériques et de séquences d'images numériques dont les informations de couleur sont représentées dans un premier intervalle de valeurs, en vue de leur restitution sur un dispositif d'affichage apte à les représenter sur un deuxième intervalle de valeurs, supérieur au premier.
L'invention peut notamment, mais non exclusivement, s'appliquer à la conversion d'intensités de couleurs d'images numériques représentées selon un format standard ou SDR (pour « Standard Dynamic Range », en anglais) en vue de leur restitution sur un dispositif d'affichage conforme à un format HDR (pour « High Dynamic Range », en anglais).
2. Présentation de l'art antérieur
On voit apparaître aujourd'hui une nouvelle génération de dispositifs de restitution de contenus audiovisuels, tels que des téléviseurs, dits HDR, qui sont capables d'afficher des images avec une gamme étendue d'intensités de couleurs. Ces écrans offrent un niveau de luminosité très élevé (pour « high peak », en anglais) et des niveaux de contraste accrus entre les zones sombres et claires de l'image, qui procurent à l'utilisateur une proximité inégalée avec la réalité.
Actuellement, cette technologie coexiste encore avec le format SDR, qui reste la référence pour la transmission de contenus audiovisuels, si bien que pour profiter des capacités accrues d'un écran HDR, il est nécessaire de convertir le contenu SDR reçu au format HDR avant de l'afficher.
On connaît de l'article de Akyuz et al, intitulé « Do HDR displays support LDR content? A Psychophysical Evaluation », publié par ACM SIGGRAPH 2007 Papers, page 38, en 2007, une méthode d'expansion des intensités de couleur d'une image numérique d'entrée, basée sur un simple opérateur linéaire. Elle consiste à calculer la composante de luminance de l'image de sortie Y2 comme une simple fonction linéaire de la composante de luminance Yi de l'image d'entrée, selon une formule du type : Yl (x'y)~Yl,min f -t \
L2(x,y) ~ Lmax- v 'l.max _v ' l.min V1)
où (x,y) sont les coordonnées d'un élément d'image dans l'image d'entrée, Y1:Jnax la valeur maximale prise par la composante de luminance dans l'image d'entrée et YliWin sa valeur minimale. Les résultats subjectifs obtenus par Akyuz avec cet opérateur sont considérés comme les meilleurs de la Littérature pour des images normalement exposées.
On connaît aussi de l'article de Masia et al, intitulé « Evaluation of Reverse Tone Mapping Through Varying Exposure Conditions » publié dans la revue « ACM Transactions on Graphics », éditée par ACM, volume 28, page 160, en 2009, une méthode d'expansion des intensités de couleur d'une image numérique. Elle consiste en particulier à appliquer un opérateur global d'expansion d'intensité, non linéaire, aux informations de luminosité des éléments de l'image d'entrée. Cet opérateur prend la forme d'un exposant exprimé comme une fonction affine d'un indicateur représentatif de l'image, appelé clé de l'image (pour « image key », en anglais). Cet indicateur clé est bien connu de l'homme de métier et s'exprime de la façon suivante
Figure imgf000004_0001
où \og Ymoy = &*ν ° (γ(χ'γ +5^ r n |e nombre d'éléments de l'image, Y(x,y) est l'intensité de luminance d'un élément de l'image et δ est un nombre réel positif qui prend une petite valeur permettant d'éviter les singularités quand l'intensité d'un pixel est nulle. Le logarithme de la luminance est en effet connu comme une bonne approximation d'un niveau de luminosité ou d'illumination perçu par le système visuel humain. La clé de l'image k donne donc une indication d'un niveau global de luminosité ou de luminosité (pour « global brightness », en anglais) de l'image, tel que perçu par un observateur.
L'opérateur global d'expansion des intensités de luminosité de l'image d'entrée prend la forme suivante : y = a. k + b (3) où a est un nombre réel qui vaut 10.44 et b est un nombre réel dont la valeur est fixée à -
6,282.
Sur l'ensemble d'images testées présenté dans l'article, on constate que la valeur de l'opérateur y augmente avec la valeur de la clé de l'image, les valeurs extrêmes étant égales à 1, 1 et 2,26.
Un avantage de cette solution est qu'elle permet d'améliorer la qualité perçue des images de façon simple et réalisable en temps réel. En particulier, elle donne de bons résultats sur des images sur exposées présentant un niveau de contraste suffisant. 3. Inconvénients de l'art antérieur
Un inconvénient des méthodes décrites dans l'art antérieur est qu'elles ne sont pas adaptées à tout type d'images. En particulier, pour des images présentant des niveaux de contraste et de luminosité plus extrêmes que les images testées, elles donnent aux images traitées une apparence artificielle inesthétique et peu fidèle aux images d'entrée.
4. Objectifs de l'invention
L'invention vient améliorer la situation.
L'invention a notamment pour objectif de pallier ces inconvénients de l'art antérieur.
Plus précisément, un objectif de l'invention est de proposer une solution qui garantisse un rendu plus réaliste et plus respectueux du style d'éclairage originel de l'image d'entrée, tout en restant simple à mettre en œuvre et compatible avec des contraintes temps-réel.
5. Exposé de l'invention
Ces objectifs, ainsi que d'autres qui apparaîtront par la suite, sont atteints à l'aide d'un procédé de traitement d'au moins une image numérique en vue de sa restitution sur un dispositif d'affichage, ladite image comprenant des éléments d'image, un élément d'image étant associé à des informations de couleur représentées dans un premier espace colorimétrique comprenant une composante de luminance séparée de composantes de chrominance, ladite composante de luminance ayant une valeur comprise dans un premier intervalle de valeurs prédéterminé, ledit dispositif d'affichage étant apte à restituer des valeurs de composantes de luminance des éléments d'image comprises dans un deuxième intervalle de valeurs prédéterminé, de longueur supérieure à celle du premier intervalle, ledit procédé comprenant les étapes de :
Détermination d'une information représentative d'un niveau global de luminosité de l'image perçu par un observateur, à partir des valeurs de la première composante de luminance des éléments de l'image;
Calcul d'un exposant d'expansion en fonction de l'information de niveau global de luminosité déterminée ;
Transformation des premières composantes de luminance des éléments de l'image en deuxième composantes de luminance, comprenant pour un élément de l'image, le calcul d'une valeur intermédiaire de luminance par application de l'exposant d'expansion calculé à la première valeur de composante de luminance et la multiplication de la valeur intermédiaire calculée par la longueur du deuxième intervalle de valeurs de luminance prédéterminées.
Le procédé selon l'invention est remarquable en ce que l'exposant d'expansion calculé est une fonction décroissante de l'information de niveau global de luminosité déterminée.
Ainsi l'invention propose une solution nouvelle et inventive d'expansion de la gamme de valeurs des informations de luminance pour adapter le format d'une image d'entrée à celui du dispositif d'affichage dont la gamme est plus étendue.
Contrairement à l'art antérieur, qui choisit un exposant d'expansion dont la valeur augmente avec le niveau global de luminosité de l'image, l'invention propose un exposant d'expansion dont la valeur diminue lorsque le niveau global de luminosité augmente.
Les inventeurs ont identifié cinq classes de styles d'images représentatives des différentes combinaisons possibles de niveaux de luminosité et de contraste d'un large ensemble de séquences de tests. Ils ont ensuite mis en œuvre une expérimentation au cours de laquelle ils ont appliqué différentes valeurs d'exposants correcteurs aux séquences d'images de chacune de ces classes de style, puis demandé au panel d'observateurs d'en évaluer la qualité perçue.
A partir des résultats obtenus, les inventeurs ont constaté d'une part qu'une valeur d'exposant correcteur particulière pouvait être associée à chacune des classes. D'autre part ils ont établi une relation mathématique simple entre le niveau global de luminosité des images d'une classe et la valeur d'exposant correcteur à appliquer aux images de cette classe permettant d'obtenir une image de sortie adaptée d'un point de vue perceptuel.
Selon l'invention, l'exposant calculé est proportionnel au logarithme de l'inverse de l'information représentative d'un niveau global de luminosité de l'image.
Un avantage de cette relation mathématique est qu'elle permet un rendu fidèle du style d'éclairage de l'image tout en restant simple à mettre en œuvre avec des ressources de calcul limitées compatibles avec des exigences de traitement en temps réel.
Selon une caractéristique avantageuse de l'invention, l'étape de détermination d'u n niveau global de luminosité comprend l'obtention d'une valeur médiane de la composante de luminance de l'image, la normalisation de la valeur médiane obtenue et en ce que l'information représentative d'un niveau global de luminosité de l'image est proportionnelle à la valeur médiane obtenue normalisée. Un avantage de recourir à la médiane des valeurs de luminance d'une image est qu'elle prend des valeurs qui restent stables d'une image à l'autre d'une séquence d'images. On évite ainsi tout effet de scintillement ou battement (pour « flickering », en anglais) lors de la restitution de la séquence.
Selon un autre aspect de l'invention, l'étape de détermination d'une information représentative d'un niveau global de luminosité comprend en outre une étape préalable de conversion de la première composante de luminance du premier espace colorimétrique en une composante de clarté d'un deuxième espace colorimétrique, préalable à l'étape de calcul de l'exposant d'expansion et en ce que la valeur médiane est obtenue à partir de la composante de clarté.
Par exemple la premier composante de luminance est convertie dans l'espace colorimétrique CIEL*a*b*connu pour produire une composante de clarté perceptuellement linéaire. Un premier avantage est que les valeurs de clarté sont mieux réparties sur l'intervalle de valeurs possibles. Un deuxième avantage est de rendre l'information de niveau global de luminosité plus proche de celle réellement perçue par un observateur.
Selon encore un autre aspect de l'invention, l'étape de normalisation de la valeur médiane entre 0 et 1, préalable à l'étape de calcul de l'exposant d'expansion et en ce qu'il comprend une étape de correction (pour « clipping », en anglais) de la valeur médiane normalisée, une valeur comprise entre 0 et a, nombre réel positif non nul inférieur à 1, étant mise à la valeur a et une valeur comprise entre b et 1, avec b nombre réel supérieur à a et inférieur à 1, étant mise à la valeur b.
Un avantage de contenir les valeurs les plus extrêmes de la médiane est de borner les valeurs possibles de l'exposant d'expansion, ce qui permet d'éviter de produire des saturations des valeurs de luminances et de dénaturer le style d'éclairage originel de l'image d'entrée.
Selon un autre aspect de l'invention, l'étape de transformation met en œuvre les équations suivantes :
Y 1 2 — L 1"max■ Υ 1 1γ où Yi désigne la première composante de luminance, Y2 la deuxième composante de luminance, log10le logarithme décimal, y l'exposant d'expansion appliqué à la première composante de luminance Yl et Lmedn* la valeur médiane de luminance normalisée et clippée .
Un avantage de cette expression mathématique qui relie la deuxième composante de luminance à la première est qu'elle est simple à mettre en œuvre, tout en garantissant un rendu réaliste et respectueux du style d'éclairage originel de l'image d'entrée, quel que soit le niveau global de luminosité de l'image d'entrée.
Selon encore un autre aspect de l'invention, le procédé comprend une étape de transformation des premières composantes de chrominance de l'image en deuxièmes composantes, par application aux premières composantes de chrominance d'un coefficient d'expansion proportionnel à un ratio entre la deuxième composante de luminance et la première composante de luminance, selon l'expression suivante :
CX.Y2
Un avantage de ce mode de réalisation est sa simplicité. Selon un autre aspect de l'invention, le procédé comprend une étape de transformation des premières composantes de chrominance de l'image en deuxièmes composantes de chrominance, comprenant une sous-étape de correction de couleurs par application aux premières composantes de chrominance d'une fonction de correction qui dépend de la première et de la deuxième composantes de luminance et d'un facteur de saturation , qui est un réel strictement supérieur à 1, selon l'expression suivante :
Figure imgf000008_0001
Un avantage de ce mode de réalisation est qu'en saturant les composantes de chrominance, il permet un rendu des couleurs qui est plus intense.
Avantageusement, l'étape de transformation des premières composantes de chrominance comprend une sous-étape de conversion d'un premier espace colorimétrique vers un deuxième espace colorimétrique, plus grand que le premier.
Un avantage est d'éviter la troncature d'intensités de couleurs et donc l'apparition de défauts sur l'image de sortie. Le procédé qui vient d'être décrit dans ses différents modes de réalisation est avantageusement mis en œuvre par un dispositif de traitement d'au moins une image numérique en vue de sa restitution sur un dispositif d'affichage, ladite image comprenant des éléments d'image, un élément d'image étant associé à des informations de couleur représentées dans un premier espace colorimétrique comprenant une composante de luminance séparée de composantes de chrominance, ladite composante de luminance ayant une valeur comprise dans un premier intervalle de valeurs prédéterminé, ledit dispositif d'affichage étant apte à restituer des valeurs de composantes de luminance des éléments d'image comprises dans un deuxième intervalle de valeurs prédéterminé, de longueur supérieure à celle du premier intervalle, ledit dispositif comprenant une machine de calcul reprogrammable ou une machine de calcul dédiée, apte à et configurée pour :
Déterminer une information représentative d'un niveau de luminosité globale de l'image, perçu par un observateur, à partir des valeurs de la première composante de luminance des éléments de l'image; - Calculer un exposant d'expansion en fonction de l'information de niveau global de luminosité déterminée ;
Transformer les premières composantes de luminance des éléments de l'image en deuxième composantes de luminance, comprenant pour un élément de l'image, le calcul d'une valeur intermédiaire de luminance par application de l'exposant d'expansion calculé à la première valeur de composante de luminance et la multiplication de la valeur intermédiaire calculée par la longueur du deuxième intervalle de valeurs de luminance prédéterminées
Un tel dispositif est remarquable en ce que l'exposant d'expansion calculé est une fonction décroissante de l'information de niveau global de luminosité déterminée.
Corrélativement, l'invention concerne aussi un équipement terminal comprenant un récepteur apte à et configuré pour recevoir une séquence d'images numériques par l'intermédiaire d'un réseau de communication et un émetteur apte à et configuré pour transmettre la séquence d'images à un dispositif d'affichage apte et configuré pour la restituer, caractérisé en ce qu'il comprend un dispositif de traitement d'au moins une image numérique selon l'invention.
Cet équipement terminal peut être un ordinateur personnel, un boîtier décodeur TV, un téléviseur numérique etc. L'invention concerne encore un programme d'ordinateur comportant des instructions pour la mise en œuvre des étapes d'un procédé tel que décrit précédemment, lorsque ce programme est exécuté par un processeur.
L'invention concerne aussi un programme d'ordinateur comportant des instructions pour la mise en œuvre des étapes d'un procédé de traitement d'une image numérique tel que décrit précédemment, lorsque ce programme est exécuté par un processeur.
Ces programmes peuvent utiliser n'importe quel langage de programmation. Ils peuvent être téléchargés depuis un réseau de communication et/ou enregistrés sur un support lisible par ordinateur.
L'invention se rapporte enfin à un support d'enregistrement ou médium de stockage, lisible par un processeur, intégrés ou non au dispositif de traitement d'une image numérique selon l'invention, éventuellement amovible, mémorisant respectivement un programme d'ordinateur mettant en œuvre un procédé de traitement, tel que décrit précédemment.
6. Liste des figures
D'autres avantages et caractéristiques de l'invention apparaîtront plus clairement à la lecture de la description suivante d'un mode de réalisation particulier de l'invention, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels : la figure 1 présente de façon schématique u ne chaîne de traitement d'une image ou d'une séquence d'image d'entrée au format SDR en vue de fournir une image respectivement une séquence d'images de sortie au format HDR ; la figure 2 présente de façon schématique les étapes d'un procédé de traitement d'une image numérique selon l'invention ; la figure 3 détaille l'étape de détermination d'une information représentative d'un niveau global de luminosité selon un mode de réalisation de l'invention ; les figures 4A et 4B présentent des exemples de fonctions décroissantes de l'information de niveau global de luminosité selon deux modes de réalisation de l'invention ; la figure 5 détaille les étapes de calcul d'un exposant d'expansion et de dérivation des composantes de couleur selon un premier mode de réalisation de l'invention ; la figure 5A détaille les étapes de calcul d'un exposant d'expansion et de dérivation des composantes de couleur selon un deuxième mode de réalisation de l'invention ; les figures 6A à 6D présente des diagrammes de chromaticité de l'image d'entrée et de l'image de sortie selon le premier et le deuxième mode de réalisation de l'invention ; la figure 7 présente des exemples de classes de styles d'éclairage des images d'entrées définies en fonction de leur luminosité et de leur contraste ; les figures 8A à 8E présentent des exemples de courbes d'exposant d'expansion obtenus par le procédé de traitement selon l'invention pour des images d'entrées appartenant à des classes de styles d'éclairage prédéterminées ; la Figure 9 présente de façon comparée des exemples d'images de sortie obtenues après traitement selon l'invention et selon deux solutions de l'art antérieur ; la figure 10 présente de façon comparée les résultats de tests subjectifs réalisés sur un ensemble d'images avec le procédé de traitement selon l'invention et deux solutions de l'art antérieur ; et la figure 11 présente de façon schématique un exemple de structure matérielle d'un dispositif de traitement d'une image numérique selon un mode de réalisation de l'invention.
7. Description d'un mode de réalisation particulier de l'invention
Pour rappel, un objectif de l'invention est de proposer une méthode pour étendre la gamme d'intensités de couleurs d'une image d'entrée conforme à un format standard en vue de sa restitution sur un dispositif d'affichage disposant d'une gamme d'intensités de couleurs plus étendue. Le principe général de l'invention repose sur la détermination d'une information représentative d'un niveau global de luminosité de l'image tel que perçu par un observateur et sur l'application aux intensités de l'image d'un exposant d'expansion, exprimé comme une fonction décroissante du niveau global de luminosité de l'image.
En relation avec la Figure 1, on considère une chaîne de traitement d'une séquence d'images d'entrée (IIn) au format SDR, avec n entier compris entre 0 et N, avec N entier non nul, en vue de son affichage au format HDR. Les images de la séquence d'entrée sont bidimensionnelles (2D). Leurs éléments sont des pixels. Bien sûr, l'invention n'est pas limitée à cet exemple et s'applique aussi à des images tridimensionnelles (3D) ou multivues, dont les éléments sont des voxels.
Les images de cette séquence peuvent prendre différentes dimensions spatiales telles que par exemple des images SD (pour « Standard Définition », en anglais, HD (pour High définition », en anglais), UHD (pour « Ultra High Définition », en anglais), 4K, qui correspond à quatre fois la définition d'une image HD et 8K, qui correspond à huit fois la définition d'une image HD. La séquence d'entrée peut présenter des valeurs de fréquence (pour « frame rate », en anglais) variées parmi les valeurs suivantes de 24, 25, 30, 50, 60, 120 etc. Les intensités de couleur de ses éléments d'images, peuvent être codées sur une profondeur de bits (« bit depth », en anglais) par exemple égale à 8, 10, 12 ou encore 16 bits.
On suppose que cette séquence d'images a préalablement été obtenue soit sous forme brute (pour « raw », en anglais) directement en sortie d'un module d'acquisition, tel que par exemple une caméra vidéo, soit sous forme décompressée en sortie d'un décodeur qui l'avait reçue par l'intermédiaire d'un réseau de communication.
Par exemple, la séquence d'images d'entrée (IIn) est au format R'G'B' (pour « Red Green Blue », en anglais)..., tel que spécifié dans la norme BT.709 qui définit les valeurs des paramètres des normes de TVHD pour la production et l'échange international de programmes audiovisuels. Les informations de couleurs sont exprimées selon trois composantes R', G', B' qui prennent chacune des valeurs comprises entre 0 et 255.
Bien sûr, l'invention ne se restreint pas à cet espace colorimétrique et peut aussi bien traiter des images d'entrée conformes à d'autres formats tel que BT.2020, BT.601, DCI-P3, etc.
Ces informations de couleurs R'G'B' correspondent à un codage informatique ou électrique des couleu rs des éléments d'image. Une opération de conversion électrique optique est réalisée en Tl pour rétablir les intensités optiques des couleurs de l'image. Les intensités optiques RGB ainsi obtenues prennent des valeurs comprises entre 0 et 1.
Ces intensités optiques RGB sont présentées, en T2 à un module ITMO (pour «Inverse Tone Mapping Operator », en anglais) qui a pou r fonction d'étendre la gamme de valeurs des intensités de couleur d'un premier intervalle [0 : 1] à un deuxième intervalle de valeurs [0 : Lmax] où Lmax représente la longueur du deuxième intervalle, Lmax étant un entier supérieur à 1. Ce module ITMO met en œuvre le procédé selon l'invention qui va être présenté ci-après en relation avec la Figure 2. A la sortie de ce module, la séquence d'images produite est au format optique RGB avec des intensités comprises entre 0 et Lmax-
Chaque image de la séquence est soumise en T3 à une opération inverse de conversion optique électrique de façon à obtenir en sortie une séquence d'images dont les intensités de couleur correspondent à un codage informatique exploitable pour un dispositif d'affichage, tel qu'un téléviseur. Par exemple, la conversion mise en œuvre fournit des intensités de couleur au format Y'CbCr qui décompose les intensités de couleurs en une composante de luminance Y' séparée des composantes de chrominance Cb, Cr. Ce format Y'CbCr est une manière de représenter l'espace colorimétrique en vidéo qui est bien adaptée aux problématiques de transmission. Ces composantes sont codées sur 10 bits. En variante, une conversion supplémentaire fournit en T4 une séquence d'images de sortie au format R'G'B', codée sur au moins 10 bits.
La séquence d'images obtenue est transmise en T5 à un dispositif d'affichage, tel que par exemple un téléviseur numérique HDR par exemple conforme à la norme ST2084 ou STD-B67.
En relation avec la Figure 2, on décrit maintenant les étapes du procédé de traitement d'une image numérique selon un mode de réalisation de l'invention.
On suppose que les intensités de couleur optiques de l'image d'entrée sont exprimées au format RGB. Au cours d'une première étape E0, on convertit les intensités de couleur de l'image d'entrée dans un espace colorimétrique qui comprend une composante Y de luminance et des composantes X et Z de chrominance. On comprend que dans cet espace, on sépare une information représentative d'une luminosité de l'image en chacun de ses points, des informations dites de chrominance qui en définissent la couleur. En El, on détermine une information représentative d'un niveau global de luminosité de l'image d'entrée, tel que perçu par le système visuel d'un observateur.
Selon un premier mode de réalisation de l'invention, l'information déterminée est la clé k de l'image telle que définie par Masia.
Selon un deuxième mode de réalisation de l'invention, décrit en relation avec la Figure 3, on détermine l'information de niveau global de luminosité d'une autre manière, définie ci-dessous : En Eli, on convertit la composante de luminance Y en une autre composante de luminance L*, dite de clarté, d'un espace colorimétrique dit CIEL*a*b*. La composante L* de clarté peut prendre des valeurs comprises entre 0 (noir) et 100 (blanc). Il s'agit d'un espace colorimétrique pour les couleurs de surface, défini par la Commission internationale de l'éclairage. (CIE), en même temps que l'espace colorimétrique CIE L*u*v* pour les couleurs de lumière. Fondé sur les évaluations du système CIE XYZ, il a été conçu pour figurer plus fidèlement les écarts entre les couleurs perçues par la vision humaine.
Dans ce modèle, trois grandeurs caractérisent les couleurs, la clarté L*, dérivée de la luminance (V) de l'évaluation XYZ, et deux paramètres a* et b*, qui expriment l'écart de la couleur par rapport à celle d'une surface grise de même clarté, comme la chrominance d'une séquence d'images.
Au cours d'une étape E12, on calcule la valeur médiane L"med de la composante de clarté L* sur l'ensemble des éléments de l'image d'entrée Un.
On suppose que l'image IIn compte M éléments d'image, avec M entiers non nuls. On calcule par exemple la valeur médiane en triant les valeurs des composantes de clarté des éléments de l'image dans l'ordre croissant, la valeur médiane L"med correspondant à la position (M + l)/2.
Au cours d'une étape E13, on normalise la valeur médiane obtenue, de façon à ce que sa valeur soit comprise entre 0 et 1. On a :
_
En E14, on restreint (pour « clipping », en anglais) les valeurs possibles pour la valeur médiane de la clarté normalisée, en excluant les valeurs extrêmes de l'intervalle [0,1]. Le nouvel intervalle de valeurs possibles est [0.05, 0;95]. On obtient donc une information représentative d'un niveau global de luminosité de l'image d'entrée égale à la valeur médiane normalisée et « clippée » de la composante de clarté :
ILG= Ίξ^ (5)
En relation avec la Figure 2, l'étape suivante E2 du procédé de traitement selon l'invention calcule un coefficient d'expansion y fonction de l'information représentative d'un niveau de luminosité de l'image d'entrée ILG. Ce coefficient d'expansion est destiné à être appliqué à la composante de luminance Yi de l'image d'entrée Un. Selon l'invention, le coefficient d'expansion y est calculé comme une fonction décroissante de l'information ILG.
Selon un premier mode de réalisation de l'invention, présenté en relation avec la Figure 4A, le coefficient d'expansion y est calculé comme une fonction polynomiale décroissante de l'information ILG. Par exemple, on définit le coefficient d'expansion y comme suit : y = a. ILG2 - β. ILG + p (6) avec α = 1.5, β = 2.6 et p = 2.2
Selon un deuxième mode de réalisation de l'invention, présenté en relation avec la Figure 4B, le coefficient d'expansion y est une calculé comme une fonction logarithmique de l'inverse de l'information de luminosité ILG de l'image d'entrée :
y = l + log10 ^ (7)
Dans ces deux exemples, l'information ILG est choisie égale à L* med n. Bien sûr, l'invention ne se limite pas à ce cas particu lier. On peut envisager d'autres façons de calculer l'information ILG, par exemple à partir de la clé de l'image k.
Un avantage de cette fonction est qu'elle correspond bien au modèle de perception du système visuel humain. En outre, elle est simple à calculer.
Bien sûr, l'invention ne se limite pas à l'utilisation de ces deux exemples. D'autres modèles de courbes peuvent être utilisés. Au cours d'une étape E3, on transforme la composante de luminance Yi de l'image d'entrée par application du coefficient d'expansion y :
Figure imgf000015_0001
avec y = 1 + log10 ^ et on multiplie, pour chaque élément de l'image d'entrée Un, la valeur de luminance Y par l'amplitude de l'intervalle de valeurs de luminances du dispositif d'affichage Lmax.
Yï ~ Lmax■ Yl
(9)
Par exemple, avec un standard d'écran HDR tel que ST2084, si le niveau maximal de luminosité de l'écran est de 1000 nits ou cd/m2, alors Lmax vaut 1000. En E4, on transforme les premières composantes de chrominance Cl de l'image en deuxièmes composantes C2.
Lorsque les premières composantes Cl s'expriment sous la forme de trois valeurs d'intensité lumineuse RI, Gl, Bl de l'espace colorimétrique RGB, on obtient trois deuxièmes composantes R2, G2, B2.
Plusieurs modes de réalisation sont envisagés.
Sur la Figure 5, on a représenté les étapes du procédé de traitement d'une image d'entrée (IIn) selon l'invention, lorsque l'image d'entrée est au format standard SDR et le dispositif d'affichage est configuré pour restituer des images (IOn) au format HDR.
Selon un premier mode de réalisation, illustré par la Figure 5, on multiplie les premières composantes de chrominance Cl par un coefficient d'expansion proportionnel à l'expansion appliquée à la luminance de l'image, par exemple égal au ratio Y2/Y1, de la façon suivante :
Figure imgf000016_0001
Dans l'espace colorimétrique RGB, on obtient :
Figure imgf000016_0002
(13)
il
Un avantage de ce mode est sa simplicité. On obtient ainsi une image de sortie (IOn) dont les intensités de couleurs prennent une gamme de valeurs plus étendue et adaptée à l'amplitude offerte par le dispositif d'affichage.
En synthèse des couleurs, on désigne par gamut, ou gamut de couleur la partie de l'ensemble des couleurs qu'un certain type de matériel, tel qu'un écran de téléviseur ou un moniteur d'ordinateur permet de reproduire. Le gamut dépend des couleurs primaires employées pour synthétiser les couleurs. On le représente souvent comme une aire sur un diagramme de chromaticité par un polygone qui joint les points représentatifs de ces primaires. La Figure 6A présente le nuage des intensités de couleurs prises par l'image d'entrée dans le gamut selon la recommandation BT709 adaptée à la TVHD (pour « Téléviseur Haute Définition »). La Figure 6B présente celui de l'image de sortie obtenue par le premier mode de réalisation de l'invention qui vient d'être décrit en relation avec la Figure 5. Selon un deuxième mode de réalisation, illustré par la Figure 5A, l'étape E4 comprend une sous-étape E41 de correction des composantes de couleurs, qui consiste à appliquer aux premières composantes de chrominance une fonction de correction qui n'est plus directement proportionnelle au ratio Y2/Y1 entre luminance de sortie et luminance d'entrée, comme dans le mode de réalisation précédent. Selon ce deuxième mode, la fonction de correction qui s'applique aux premières composantes de luminance, dépend des premières et deuxièmes composantes de luminance et d'un facteur de saturation s, qui est un réel strictement supérieur à 1, selon l'expression suivante :
Figure imgf000017_0001
Dans l'espace colorimétrique RGB, on obtient :
R2 = ((| - I) . S + I) Y2 ( 15)G2 = (| - I) . S + I) Y2
(16)
B2 = ((| - I) . S + I) Y2 (17) Par exemple, le facteur de saturation s est choisi égal à 1.25.
Un avantage de cette correction est qu'en saturant les intensités des composantes de couleur, elle permet d'obtenir un rendu de couleurs plus intense.
Avantageusement, l'étape E4 comprend en outre une sous-étape E42 de conversion des deuxièmes composantes de chrominance d'un premier espace colorimétrique, plus grand que le premier.
Une conversion d'un gamut A vers un gamut B peut se faire par transformation matricielle de la façon suivante :
Figure imgf000017_0002
Par exemple, les intensités R2, G2, B2 obtenues, qui appartiennent à un premier espace colorimétrique, par exemple conforme à la recommandation BT709, sont converties en intensités R2',G2',B2' dans un deuxième espace colorimétrique tel que le nouvel espace selon la recommandation BT2020 créée récemment pour les nouveaux écrans de télévisions TVUHD (pour « téléviseur Ultra Haute Définition »).
Dans ce cas, la conversion du gamut selon la recommandation BT.709 vers le gamut selon la recommandation BT.2020 se fait par application de la matrice suivante, comme spécifié dans la recommandation BT.2087 :
Figure imgf000018_0001
Un avantage de cette conversion est qu'elle permet, du fait des dimensions accrues du polygone du gamut, de garantir que les intensités de couleu r transformées sont situées à distance de ses frontières dans le deuxième espace colorimétrique, ce qui permet d'éviter les effets de coupure (pour « clipping », en anglais) des intensités de couleurs sur l'image de sortie.
La Figure 6C présente un diagramme de chromaticité de l'image de sortie obtenue à l'issue de l'étape E41 de correction des cou leurs selon le deuxième mode de réalisation. On note que, du fait de la correction, la gamme d'intensités de couleurs est plus étendue sur la Figure 6C que sur la Figure 6B, ce qui se traduit, lors de la restitution de l'image de sortie, par un rendu plus intense.
La Figure 6D présente un diagramme de chromaticité de l'image de sortie obtenue à l'issue de l'étape E42 de changement d'espace colorimétrique. On constate que le changement d'espace colorimétrique permet d'éloigner le nuage de valeurs d'intensités des frontières du triangle de gamut, ce qui a pour effet d'éviter toute troncature des intensités de couleurs aux bords du triangle et donc l'apparition de défauts de rendu sur l'image de sortie.
Pour une séquence d'images, on répète les étapes El à E4 pour chaque image.
L'invention qui vient d'être présentée a été testée sur un ensemble représentatif de séquences d'images appartenant à des styles ou classes d'éclairage variées.
On désigne par style d'éclairage ou de lumière d'une image (pour « lighting style », en anglais), les conditions de luminosité et de contraste choisies par un artiste pou r créer une image, photographie ou séquence vidéo. Ces conditions contribuent à conférer à l'image une ambiance particulière. La notion de style est connue et très utilisée en photographie, à la télévision, comme au cinéma . On recense notamment les trois classes suivantes : le ton moyen MK (pour « Medium-Key lighting », en anglais) est un style de prises d'images associant un contraste moyen à une luminosité modérée. La plupart des contenus images et vidéos entre dans cette catégorie.
Le ton foncé LK (pour « Low-Key lighting », en anglais) est un style de prise d'images volontairement sombre, donc présentant une faible luminosité associée à un fort contraste. Le style low key intervient dans plusieurs effets tels que le clair-obscur Contrairement à l'éclairage standard basé sur trois sources lumineuses, la technique du Low-Key ne fait généralement intervenir qu'une seule source.
Le ton clair HK (pour « High-Key lighting », en anglais) est un style de prise d'images associant une luminosité élevée à un faible contraste pour exprimer une ambiance légère. C'est un style très utilisé dans le domaine de la mode et de la publicité.
En prenant en compte les deux dimensions données par la luminance et le contraste, les inventeurs proposent une classification 2D comprenant les deux styles supplémentaires suivants :
le ton sombre DK (pour « Dark-Key lighting », en anglais) est un style de prise d'images volontairement sous-exposées, donc présentant une faible luminosité, qui est combinée avec un faible contraste. Il est particulièrement prisé pour les scènes de nuit, instaurer une ambiance inquiétante, rehausser le suspense de films d'horreur ou de polars ; le ton brillant BK (pour « Bright-Key lighting », en anglais) est un style de prise d'images associant un fort niveau de contraste à une luminosité élevée. Ce style concerne communément les prises de vue extérieures les jours de ciel clair et ensoleillés.
En relation avec la Figure 7, on a positionné respectivement les cinq styles d'éclairage qui viennent d'être décrits sur un diagramme, en fonction d'informations représentatives de niveaux globaux de luminosité et de contraste, tels que perçus par un observateur. On constate que les classes LK et DK ont des niveaux de luminosité comparables et se distinguent l'une de l'autre par leur niveau de contraste. Il en est de même pour les classes HK et BK.
En relation avec les Figures 8A à 8E, 9 et 10, on présente maintenant les résultats obtenus par l'invention. Les figures 8A à 8E comparent, pour les cinq classes d'images, les courbes des valeurs de luminance étendues Y2 de l'image de sortie en fonction de celles Yi de l'image d'entrée, respectivement obtenues par l'invention et les méthodes de Akyuz et Masia, déjà décrites. Pour rappel, la méthode d'Akyuz utilise un exposant d'expansion égal à 1 tandis que la méthode de Masia exploite un exposant exprimé comme une fonction affine de la clé de l'image.
Pour l'image de la Figure 8A, appartenant à la classe de style Dark Key, l'exposant d'expansion y calculé par l'invention vaut 1,72 et celui calculé par Masia vaut -0.35. Avec la méthode d'Akyuz, l'expansion est linéaire, si bien que toutes les luminances sont augmentées de la même façon.
Le coefficient calculé par Masia est négatif, ce qui a pour effet de satu rer les valeurs de luminance Y2. En relation avec la Figure 9, qui présente une image de la séquence de sortie obtenue par chacune des méthodes et l'image d'origine correspondante, ainsi que des scores d'esthétique et de fidélité attribués par des observateurs, on vérifie que l'image obtenue par la méthode de Masia est très blanche et a perdu tout contraste. L'image produite par la méthode de Akyuz est de qualité correcte mais le style d'éclairage originel a été dénaturé.
Pour l'image de la Figure 8B, appartenant à la classe de style Low Key, l'exposant d'expansion y calculé par l'invention vaut 1,5 et celui calculé par Masia vaut -0.80. Les mêmes constats s'appliquent pour les images produites par Akyuz et Masia.
Pour l'image de la Figure 8C, appartenant à la classe de style Médium Key, l'exposant d'expansion y calculé par l'invention vaut 1,34 et celui calculé par Masia vaut 0.39. La courbe obtenue par la méthode selon l'invention se situe en deçà de la droite d'Akyuz. Elle étire donc moins les valeurs de luminance intermédiaires que le fait Akyuz. Ceci se vérifie sur la Figure 8, qui montre que la version de l'image MK étendue par l'invention paraît globalement moins exposée que la version produite par Akyuz. L'image produite par Masia est surexposée et le rendu est peu naturel.
Pour l'image de la Figure 8D, appartenant à la classe de style Bright Key, l'exposant d'expansion y calculé par l'invention vaut 1,06 et celui calculé par Masia vaut 1,7. Le résultat obtenu par Akyuz est trop éclairé. Celui obtenu par Masia est trop contrasté. En relation avec la Figure 8, les scores obtenus par Masia sont nettement moins bons que ceux de Akyuz et ceux de l'invention, notamment à cause d'un battement entre les images de la séquence de sortie.
Pour l'image de la Figure 8E, appartenant à la classe de style High Key, l'exposant d'expansion y calculé par l'invention vaut 1,02 et celui calculé par Masia vaut -2.65. La courbe de l'invention est très proche de la droite d'Akyuz, mais légèrement en deçà. La Figure 8 met en évidence une surexposition plus importante de la version produite par Akyuz que celle de l'invention. En relation avec la Figure 9, l'image produite par Masia est très blanche, dépourvue de tout contraste..
De façon générale, on constate que la méthode de Masia a tendance à saturer les valeurs de luminance sur toute la gamme de valeurs prises par l'image d'entrée, ce qui aura pour effet de donner une impression de sur exposition et de perte de contraste.
La méthode d'Akyuz amplifie linéairement les luminances sur toute la gamme de valeurs. Le rendu des images est acceptable, mais le style originel des images a été dénaturé.
Ces résultats mettent en évidence les bons résultats obtenus par l'invention qui restitue fidèlement les styles d'éclairage des images qu'elle traite. En relation avec la Figure 10, on présente les scores moyens attribués par un ensemble d'observateurs aux images produites par les trois méthodes testées. On distingue un score d'esthétique, issu d'un test sans référence et un score de fidélité, issu d'un test avec référence. On constate que les scores obtenus par le procédé de traitement selon l'invention sont toujours supérieurs à ceux des autres méthodes, que ce soit d'un point de vue de l'esthétique ou de la fidélité.
On notera que l'invention qui vient d'être décrite, peut être mise en œuvre au moyen de composants logiciels et/ou matériels. Dans cette optique, les termes « module » et « entité », utilisés dans ce document, peuvent correspondre soit à un composant logiciel, soit à un composant matériel, soit encore à un ensemble de composants matériels et/ou logiciels, aptes à mettre en œuvre la ou les fonctions décrites pour le module ou l'entité concerné(e).
En relation avec la figure 11, on présente maintenant un exemple de structure simplifiée d'un dispositif 100 de codage d'une image numérique selon l'invention. Le dispositif 100 met en œuvre le procédé de codage selon l'invention qui vient d'être décrit en relation avec la Figure 1.
Cette figure 11 illustre seulement une manière particulière, parmi plusieurs possibles, de réaliser l'algorithme détaillé ci-dessus, en relation avec la figure 2. En effet, la technique de l'invention se réalise indifféremment sur une machine de calcul reprogrammable (un ordinateur PC, un processeur DSP ou un microcontrôleur) exécutant un programme comprenant une séquence d'instructions, ou sur une machine de calcul dédiée (par exemple un ensemble de portes logiques comme un FPGA ou un ASIC, ou tout autre module matériel).
Dans le cas où l'invention est implantée sur une machine de calcul reprogrammable, le programme correspondant (c'est-à-dire la séquence d'instructions) pourra être stocké dans un médium de stockage amovible (tel que par exemple une disquette, un CD-ROM ou un DVD-ROM) ou non, ce médium de stockage étant lisible partiellement ou totalement par un ordinateur ou un processeur.
Par exemple, le dispositif 100 comprend une unité de traitement 110, équipée d'un processeur μΐ, et pilotée par un programme d'ordinateur Pgl 120, stocké dans une mémoire 130 et mettant en œuvre le procédé de selon l'invention.
A l'initialisation, les instructions de code du programme d'ordinateur Pgi 120 sont par exemple chargées dans une mémoire RAM avant d'être exécutées par le processeur de l'unité de traitement 110. Le processeur de l'unité de traitement 110 met en œuvre les étapes du procédé décrit précédemment, selon les instructions du programme d'ordinateur 120.
Dans cet exemple de réalisation de l'invention, le dispositif 100 comprend une machine de calcul reprogrammable ou une machine de calcul dédiée, apte à et configurée pour : - obtenir une image d'entrée GET II ; convertir CONV les intensités de couleur RGB de l'image d'entrée dans un espace colorimétrique qui comprend une composante Y de luminance et des composantes X et Z de chrominance ;
Déterminer DET ILG une information représentative d'un niveau global de luminosité de l'image, perçu par un observateur, à partir des valeurs de la première composante de luminance des éléments de l'image;
Calculer CALC un exposant d'expansion y en fonction de l'information de niveau global de luminosité déterminée ;
Transformer TRANSF les premières composantes de luminance des éléments de l'image en deuxième composantes de luminance, comprenant pour un élément de l'image, le calcul d'une valeur intermédiaire de luminance par application de l'exposant d'expansion calculé à la première valeur de composante de luminance et la multiplication de la valeur intermédiaire calculée par la longueur du deuxième intervalle de valeurs de luminance prédéterminées. Selon l'invention, l'exposant d'expansion y calculé est une fonction décroissante de l'information de niveau global de luminosité déterminée.
Avantageusement, la machine de calcul est configurée pour mettre en œuvre les modes de réalisation de l'invention qui viennent d'être décrits en relation avec les Figures 2 à 6.
En particulier, elle est configurée pour mettre en œuvre une transformation des premières composantes de chrominance en deuxièmes composantes de chrominance selon le premier ou le deuxième modes de réalisation décrits en relation avec les Figures 5 et 5A.
Le dispositif 100 comprend en outre une unité Mi 140 de stockage, telle qu'une mémoire ou un buffer, apte à stocker par exemple la séquence d'images d'entrée, le coefficient d'expansion y calculé et les valeurs intermédiaires de luminance, et/ou la séquence d'images de sortie.
Ces unités sont pilotées par le processeur μΐ de l'unité de traitement 110. De façon avantageuse, un tel dispositif 100 peut être intégré à un équipement terminal d'utilisateur TU, par exemple un ordinateur, un boîtier décodeur TV (pour « set top box », en anglais), un téléviseur numérique. Le dispositif 100 est alors agencé pour coopérer au moins avec les modules suivants du terminal TU : un module E/R d'émission/réception de données, par l'intermédiaire duquel un signal comprenant des données codées représentatives de la séquence d'images d'entrée est reçu d'un réseau de télécommunications, par exemple un réseau radio, filaire ou hertzien ; et/ou un module d'acquisition de la séquence d'images d'entrée, tel que par exemple une caméra vidéo, par exemple via un câble HDMI.
- un dispositif d'affichage, configuré pour restituer des images ayant une gamme d'intensités de couleur étendue, par exemple un téléviseur HDR professionnel de type Sony ® BVM- X300 OLED, équipé de fonctions de transfert SLoq3 et ST2084. Ce dispositif est conforme aux standards de colorimétrie BT.709 et BT.2020. Il offre une luminosité maximale de 1000 nits.
Grâce à ses bonnes performances et à sa simplicité de mise en œuvre, l'invention qui vient d'être décrite permet plusieurs usages. Sa première application est la conversion de contenus vidéo au format SDR en une version affichable sur un dispositif de restitution HDR. Par exemple, elle peut être mise en œuvre à réception d'un contenu vidéo diffusé en temps réel (« live », en anglais) au format SDR, comme post traitement, en vue de son affichage de la séquence d'images sur un écran HDR.
Pour la production de contenus TV en temps réel mettant en œuvre plusieurs modules d'acquisition, SDR et HDR, elle peut être utilisée pour convertir à la volée un contenu SDR en HDR avant son mixage avec des contenus HDR. Elle peut aussi trouver son intérêt dans la post production cinématographique.
Enfin, l'invention peut être mise en œuvre, en tout point d'une chaîne de transmission pour transcoder un contenu transmis au format HDR BT.709 dans un format HDR, tel que spécifié par le standard ST2084 ou STD-B67.
Il va de soi que les modes de réalisation qui ont été décrits ci-dessus ont été donnés à titre purement indicatif et nullement limitatif, et que de nombreuses modifications peuvent être facilement apportées par l'homme de l'art sans pour autant sortir du cadre de l'invention.

Claims

REVENDICATIONS
1. Procédé de traitement d'au moins une image numérique (IIn) en vue de sa restitution sur un dispositif d'affichage (20), ladite image comprenant des éléments d'image, un élément d'image étant associé à des informations de couleur représentées dans un premier espace colorimétrique comprenant une première composante de luminance (Yi) et des premières composantes de chrominance, ladite première composante de luminance ayant une valeur comprise dans un premier intervalle de valeurs prédéterminées, ledit dispositif d'affichage étant apte à restituer des valeurs de composante de luminance des éléments d'image comprises dans un deuxième intervalle de valeurs prédéterminées, de longueur supérieure à celle du premier intervalle, ledit procédé comprenant les étapes de :
Détermination (El) d'une information représentative d'un niveau global de luminosité (ILG) de l'image perçu par un observateur, à partir des valeurs de la première composante de luminance des éléments de l'image;
Calcul (E2) d'un exposant d'expansion (y) en fonction de l'information de niveau global de luminosité déterminée ;
Transformation (E3) des premières composantes de luminance des éléments de l'image en deuxième composantes de luminance, comprenant pour un élément de l'image, le calcul d'une valeur intermédiaire de luminance par application de l'exposant d'expansion calculé à la première valeur de composante de luminance et la multiplication de la valeur intermédiaire calculée par la longueur du deuxième intervalle de valeurs prédéterminées. caractérisé en ce que l'exposant d'expansion calculé est une fonction décroissante de l'information de niveau global de luminosité déterminée.
2. Procédé de traitement d'au moins une image numérique en vue de sa restitution sur un dispositif d'affichage selon la revendication 1, caractérisé en ce que l'exposant calculé est proportionnel au logarithme de l'inverse de l'information représentative d'un niveau global de luminosité de l'image.
3. Procédé de traitement d'au moins une image numérique en vue de sa restitution sur un dispositif d'affichage selon la revendication 2, caractérisé en ce que l'étape de détermination (El) d'un niveau global de luminosité comprend l'obtention (E12) d'une valeur médiane de la composante de luminance de l'image, la normalisation de la valeur médiane obtenue et en ce que l'information représentative d'un niveau global de luminosité de l'image est proportionnelle à la valeur médiane obtenue normalisée.
Procédé de traitement d'au moins une image numérique en vue de sa restitution sur un dispositif d'affichage selon la revendication précédente, caractérisé en ce que l'étape de détermination (El) d'une information représentative d'un niveau global de luminosité comprend en outre une étape préalable (El i) de conversion de la première composante de lu minance du premier espace colorimétrique en une composante de luminance, dite de clarté d'un deuxième espace colorimétrique, préalable à l'étape de calcul de l'exposant d'expansion et en ce que la valeur médiane est obtenue à partir de la composante de clarté.
Procédé de traitement d'au moins une image numérique en vue de sa restitution sur un dispositif d'affichage selon l'une des revendications 3 ou 4, caractérisé en ce que le procédé comprend une étape de normalisation (E13) de la valeur médiane entre 0 et 1, préalable à l'étape de calcul de l'exposant d'expansion et en ce qu'il comprend une étape (E14) de correction de la valeur médiane normalisée, une valeur comprise entre 0 et a, nombre réel positif non nul inférieur à 1, étant mise à la valeur a et une valeur comprise entre b et 1 , avec b nombre réel supérieur à a et inférieur à 1, étant mise à la valeur b.
Procédé de traitement d'au moins une image numérique en vue de sa restitution sur un dispositif d'affichage selon la revendication précédente, caractérisé en ce que l'étape de transformation (E3) met en œuvre les équations suivantes :
Y 1 2 — L 1"max■ Υ 1 1γ
avec y = 1 + log10 =!= où Yi désigne la première composante de luminance, Y2 la deuxième composante de luminance, Lmax la longueur du deuxième intervalle de valeurs de luminance, log10 le logarithme décimal, y l'exposant d'expansion appliqué à la première composante de luminance Yl etLmed n *\a valeur médiane de luminance normalisée et clippée .
Procédé de traitement d'au moins une image numérique selon l'une des revendications précédentes, caractérisé en ce qu'il comprend une étape (E4) de transformation des premières composantes de chrominance (Cl) de l'image en deuxièmes composantes (C2), par application aux premières composantes de chrominance d'un coefficient d'expansion proportionnel à un ratio entre la deuxième composante de luminance et la première composante de luminance, selon l'expression suivante : Cx. Y2
8. Procédé de traitement d'au moins une image numérique selon la revendication 6, caractérisé en ce qu'il comprend une étape (E4) de transformation des premières composantes de chrominance (Cl) de l'image en deuxièmes composantes de chrominance (C2), comprenant une sous-étape (E41) de correction de couleurs par application aux premières composantes de chrominance d'une fonction de correction qui dépend de la première et de la deuxième composantes de luminance (Yl, Y2) et d'un facteur de saturation (s), qui est un réel strictement supérieur à 1, selon l'expression suivante :
Figure imgf000026_0001
9. Procédé de traitement d'au moins une image numérique selon la revendication 8, caractérisé en ce que l'étape de transformation (E4) comprend une sous-étape (E42) de conversion des deuxièmes composantes de chrominance d'un premier espace colorimétrique vers un deuxième espace colorimétrique, plus grand que le premier.
10. Dispositif (100) de traitement d'au moins une image numérique (IIn) en vue de sa restitution sur un dispositif d'affichage (20), ladite image comprenant des éléments d'image, un élément d'image étant associé à des informations de couleur représentées dans un premier espace colorimétrique comprenant une composante de luminance (Yi) séparée de composantes de chrominance, ladite composante de luminance ayant une valeur comprise dans un premier intervalle de valeurs prédéterminé, ledit dispositif d'affichage étant apte à restituer des valeurs de composantes de luminance des éléments d'image comprises dans un deuxième intervalle de valeurs prédéterminé, de longueur supérieure à celle du premier intervalle, ledit dispositif comprenant une machine de calcul reprogrammable ou une machine de calcul dédiée, apte à et configurée pour :
Déterminer (DET ILG) une information représentative d'un niveau de luminosité globale de l'image, perçu par un observateur, à partir des valeurs de la première composante de luminance des éléments de l'image;
Calculer (CALC y) un exposant d'expansion en fonction de l'information de niveau global de luminosité déterminée ;
Transformer (TRANSF) les premières composantes de luminance des éléments de l'image en deuxième composantes de luminance, comprenant pour un élément de l'image, le calcul d'une valeur intermédiaire de luminance par application de l'exposant d'expansion calculé à la première valeur de composante de luminance et la multiplication de la valeur intermédiaire calculée par la longueur du deuxième intervalle de valeurs de luminance prédéterminées, caractérisé en ce que l'exposant d'expansion (y) calculé est une fonction décroissante de l'information de niveau global de luminosité déterminée.
11. Equipement terminal (10) apte à et configuré pour obtenir une séquence d'images numériques et pour transmettre une séquence d'images numériques à un dispositif d'affichage (20) apte et configuré pour la restituer, caractérisé en ce qu'il comprend un dispositif (100) de traitement d'au moins une image numérique selon la revendication 10. 12. Produit programme d'ordinateur (Pgi), comprenant des instructions de code de programme pour la mise en œuvre d'un procédé selon l'une quelconque des revendications 1 à 9, lorsque ledit programme est exécuté sur un ordinateur.
13. Médium de stockage lisible par ordinateur et non transitoire, stockant un produit programme d'ordinateur (Pgi) selon la revendication 12.
PCT/FR2016/053321 2015-12-16 2016-12-09 Procede de traitement d'une image numerique, dispositif, equipement terminal et programme d'ordinateur associes WO2017103399A1 (fr)

Priority Applications (6)

Application Number Priority Date Filing Date Title
AU2016373020A AU2016373020B2 (en) 2015-12-16 2016-12-09 Method of processing a digital image, device, terminal equipment and computer program associated therewith
EP16825475.3A EP3391331A1 (fr) 2015-12-16 2016-12-09 Procede de traitement d'une image numerique, dispositif, equipement terminal et programme d'ordinateur associes
US16/063,441 US10326971B2 (en) 2015-12-16 2016-12-09 Method for processing a digital image, device, terminal equipment and associated computer program
KR1020187019196A KR102631844B1 (ko) 2015-12-16 2016-12-09 디지털 이미지를 프로세싱하기 위한 방법, 디바이스, 단말 장비 및 연관된 컴퓨터 프로그램
JP2018531353A JP6742417B2 (ja) 2015-12-16 2016-12-09 デジタル画像の処理方法、付随する装置、端末機器およびコンピュータプログラム
US16/288,554 US10645359B2 (en) 2015-12-16 2019-02-28 Method for processing a digital image, device, terminal equipment and associated computer program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
FR1562446A FR3045903B1 (fr) 2015-12-16 2015-12-16 Procede de traitement d'une image numerique, dispositif, equipement terminal et programme d'ordinateur associes
FR1562446 2015-12-16
FR1657443 2016-07-29
FR1657443 2016-07-29

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/063,441 A-371-Of-International US10326971B2 (en) 2015-12-16 2016-12-09 Method for processing a digital image, device, terminal equipment and associated computer program
US16/288,554 Continuation-In-Part US10645359B2 (en) 2015-12-16 2019-02-28 Method for processing a digital image, device, terminal equipment and associated computer program

Publications (1)

Publication Number Publication Date
WO2017103399A1 true WO2017103399A1 (fr) 2017-06-22

Family

ID=57777662

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2016/053321 WO2017103399A1 (fr) 2015-12-16 2016-12-09 Procede de traitement d'une image numerique, dispositif, equipement terminal et programme d'ordinateur associes

Country Status (6)

Country Link
US (1) US10326971B2 (fr)
EP (1) EP3391331A1 (fr)
JP (1) JP6742417B2 (fr)
KR (1) KR102631844B1 (fr)
AU (1) AU2016373020B2 (fr)
WO (1) WO2017103399A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3839876A1 (fr) 2019-12-20 2021-06-23 Fondation B-COM Procédé de conversion d'une image et dispositif correspondant

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11100888B2 (en) 2017-06-28 2021-08-24 The University Of British Columbia Methods and apparatuses for tone mapping and inverse tone mapping
KR102491057B1 (ko) * 2020-02-27 2023-01-19 에스케이텔레콤 주식회사 이미지 변환 장치 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06303633A (ja) * 1993-04-13 1994-10-28 Matsushita Electric Ind Co Ltd ガンマ処理装置
US7277486B2 (en) * 2002-05-03 2007-10-02 Microsoft Corporation Parameterization for fading compensation
WO2005027043A1 (fr) * 2003-09-11 2005-03-24 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement visuel, procede, programme de traitement visuel, circuit integre, afficheur, imageur, et terminal d'information mobile
JP4687320B2 (ja) * 2005-08-11 2011-05-25 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
JP4340303B2 (ja) * 2007-04-10 2009-10-07 東芝テリー株式会社 画像処理装置および画像処理プログラム
JP5887067B2 (ja) * 2011-05-20 2016-03-16 東芝テリー株式会社 全方位監視画像処理システム
EP2745290A1 (fr) * 2011-09-27 2014-06-25 Koninklijke Philips N.V. Appareil et procédé de transformation de gamme dynamique d'images
JP6390847B2 (ja) * 2012-11-13 2018-09-19 日本電気株式会社 画像処理装置、画像処理方法及びプログラム
JP6436158B2 (ja) * 2014-03-06 2018-12-12 日本電気株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
AU2015201623A1 (en) * 2015-03-30 2016-10-20 Canon Kabushiki Kaisha Choosing optimal images with preference distributions

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BELEN MASIA ET AL: "Evaluation of reverse tone mapping through varying exposure conditions", ACM TRANSACTIONS ON GRAPHICS, vol. 28, no. 5, 1 December 2009 (2009-12-01), pages 1, XP055169980, ISSN: 0730-0301, DOI: 10.1145/1618452.1618506 *
BELEN MASIA ET AL: "Multilinear Regression for Gamma Expansion of Overexposed Content", TECHNICAL REPORT RR-03-11, 11 July 2011 (2011-07-11), pages 1 - 13, XP055293401, Retrieved from the Internet <URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.454.7651&rep=rep1&type=pdf> [retrieved on 20160803] *
FORD A ET AL: "COLOUR SPACE CONVERSIONS", INTERNET CITATION, 11 August 1998 (1998-08-11), XP002311069, Retrieved from the Internet <URL:http://www.poynton.com/PDFs/coloureq.pdf> [retrieved on 19980811] *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3839876A1 (fr) 2019-12-20 2021-06-23 Fondation B-COM Procédé de conversion d'une image et dispositif correspondant
WO2021123284A1 (fr) 2019-12-20 2021-06-24 Fondation B-Com Procédé de conversion d'une image, et dispositifs correspondants
US11202032B2 (en) 2019-12-20 2021-12-14 Fondation B-Com Method for converting an image and corresponding device

Also Published As

Publication number Publication date
US20180376120A1 (en) 2018-12-27
US10326971B2 (en) 2019-06-18
JP2019500793A (ja) 2019-01-10
KR102631844B1 (ko) 2024-01-31
JP6742417B2 (ja) 2020-08-19
AU2016373020A1 (en) 2018-07-05
AU2016373020B2 (en) 2021-11-18
KR20180094949A (ko) 2018-08-24
EP3391331A1 (fr) 2018-10-24

Similar Documents

Publication Publication Date Title
CN107154059B (zh) 一种高动态范围视频处理方法
JP7101288B2 (ja) Ｈｄｒ信号の変換用の方法及び装置
KR102135841B1 (ko) 높은 다이내믹 레인지 이미지 신호의 생성 및 처리
RU2647636C2 (ru) Управление отображением видео с расширенным динамическим диапазоном
JP6396596B2 (ja) 色彩恒常性を有するルミナンス変更画像処理
CN108769804B (zh) 一种高动态范围视频的格式转换方法
CN109076231B (zh) 对hdr图片编码的方法和设备、对应的解码方法和解码设备
US10645359B2 (en) Method for processing a digital image, device, terminal equipment and associated computer program
US10839495B2 (en) Computing devices and methods of image processing with input image data and reference tone mapping strength data
EP3577627B1 (fr) Procede de traitement d&#39;une image d&#39;entree, dispositif, equipement terminal et programme d&#39;ordinateur associe
WO2021073304A1 (fr) Procédé et appareil de traitement d&#39;image
EP3391331A1 (fr) Procede de traitement d&#39;une image numerique, dispositif, equipement terminal et programme d&#39;ordinateur associes
CN105516674A (zh) 一种具有hdr显示功能的监视设备
FR3045903A1 (fr) Procede de traitement d&#39;une image numerique, dispositif, equipement terminal et programme d&#39;ordinateur associes
WO2022228368A1 (fr) Procédé, dispositif et système de traitement d&#39;image
JP2024517241A (ja) ディスプレイに最適化されたｈｄｒビデオコントラスト適応
Lenzen HDR for legacy displays using Sectional Tone Mapping
Lee et al. Piecewise tone reproduction for high dynamic range imaging
CN116167950B (zh) 图像处理方法、装置、电子设备及存储介质
Lakshmi et al. Analysis of tone mapping operators on high dynamic range images
EP4277281A1 (fr) Reconstruction vidéo hdr par mappage de tonalité convertie
WO2023094187A1 (fr) Optimisation de l&#39;affichage d&#39;images hdr
Kim et al. Normalized tone-mapping operators for color quality improvement in 3DTV
JP2024517242A (ja) ディスプレイに最適化された環境光ｈｄｒビデオ適応
Léonce et al. High dynamic range video transmission and display using standard dynamic range technologies

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16825475

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2018531353

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20187019196

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020187019196

Country of ref document: KR

ENP Entry into the national phase

Ref document number: 2016373020

Country of ref document: AU

Date of ref document: 20161209

Kind code of ref document: A