WO2007116186A2 - Procédé de traitement d'un phénomène d'éclairement relatif sur une image numérique et système de traitement associé - Google Patents

Procédé de traitement d'un phénomène d'éclairement relatif sur une image numérique et système de traitement associé Download PDF

Info

Publication number
WO2007116186A2
WO2007116186A2 PCT/FR2007/051075 FR2007051075W WO2007116186A2 WO 2007116186 A2 WO2007116186 A2 WO 2007116186A2 FR 2007051075 W FR2007051075 W FR 2007051075W WO 2007116186 A2 WO2007116186 A2 WO 2007116186A2
Authority
WO
WIPO (PCT)
Prior art keywords
relative illumination
illuminant
digital image
image
processed
Prior art date
Application number
PCT/FR2007/051075
Other languages
English (en)
Other versions
WO2007116186A3 (fr
Inventor
Frédéric Guichard
Michael Kraak
Original Assignee
Dxo Labs
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dxo Labs filed Critical Dxo Labs
Priority to US12/296,019 priority Critical patent/US8482629B2/en
Priority to EP07731877.2A priority patent/EP2011329B1/fr
Priority to JP2009503632A priority patent/JP5185253B2/ja
Priority to CN2007800175502A priority patent/CN101444083B/zh
Priority to KR1020087027122A priority patent/KR101504564B1/ko
Publication of WO2007116186A2 publication Critical patent/WO2007116186A2/fr
Publication of WO2007116186A3 publication Critical patent/WO2007116186A3/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Definitions

  • the subject of the present invention is a method for treating a relative illumination phenomenon on a digital image. It also relates to a system for treating such a phenomenon of relative illumination.
  • the main purpose of the invention is to propose a solution to a relative illumination phenomenon adapted to new types of sensors operating in digital image capture apparatus.
  • the field of the invention is, in general, that of digital photography, and more particularly that of image processing applied to digital photographs.
  • Digital photography refers to a photograph obtained after the printing of a digital image.
  • a digital image consists of pixels, each pixel designating a position and a portion of the image space, each pixel having at least one pixel value.
  • Images from photographic devices, called photographic images are two-dimensional images, in the sense that the image space is a rectangular portion of a plane. But, images, in particular from physical or medical observations, may be of greater size, especially three.
  • a video resulting from a camcorder may be considered as a succession of two-dimensional images or as a single three-dimensional image: the first two dimensions being, in this case, the dimensions of the images and the third representing the number of the image in the video.
  • a digital image is acquired using a digital capture device.
  • a digital capture apparatus is an apparatus comprising at least one sensor and an optical system and making it possible to obtain a digital image.
  • a sensor is a system that converts light into digital values that reflect the color intensity of each point in the digital image.
  • a sensor may in particular contain a photosensitive receiver for transforming photon energy into electrical energy.
  • this photosensitive receiver can be defined as a set of photosites.
  • photosites can be associated with a specific color, for example in the case of a Bayer structure containing two green photosites, a red photosite and a blue photosite.
  • an optical system is a set of lenses, mirrors, transparent and homogeneous media separated by diopters.
  • a very common defect is the one known as the red-eye phenomenon.
  • Other problems relating to the use of cameras exist, whether digital or otherwise.
  • distortion problems In general, a known distortion phenomenon is geometric distortion, characterized as a geometric aberration in the presence of which object points aligned in the photographed scene do not form aligned image points. This geometric distortion is characterized by a change in the magnification of the image as a function of the position in the field.
  • distortions barrel distortions and pincushion distortions, depending on whether the local magnitudes decrease or increase when the edge of the field is approached.
  • chromatic aberrations Another problem encountered is known as lateral and longitudinal chromatic aberrations.
  • known chromatic aberration phenomena are lateral and longitudinal chromatic aberrations as a geometric aberration in the presence of which the magnification of the image varies as a function of the wavelength.
  • the image In the presence of lateral chromatic aberration, the image is formed on the same plane whatever the wavelength, but its position on the plane depends on the wavelength.
  • longitudinal chromatic aberration the position of the focusing plane varies according to the wavelength, which generates a different blur depending on the wavelength.
  • Chromatic aberration generates phenomena of colored iridescence in the neighborhood of transitions of the image.
  • Various solutions have been proposed in the state of the art for treating these problems.
  • Relative illumination is the phenomenon that induces on a digital image a variation of the pixel values according to the positions of the pixels in the field.
  • the relative illumination phenomenon corresponds to a variation of the pixel values as a function of their position in the field. It is manifested by a darkening of the corners, or even a disappearance of information.
  • FIG. 1 shows such a relative illumination phenomenon: in this figure, a curve 10 is representative of a darkening phenomenon, quoted on the ordinate axis, as a function of a position in the image, relating to a reference point, quoted on the abscissa axis.
  • An objective is characterized by its angle of field, and by its field coverage. They are calculated to cover a given photosensitive receiver format.
  • the relative illumination is largely due to a skylight effect within the lens. The entire beam parallel to the axis entering the lens is transmitted, while an oblique beam will be partially stopped by the lens mount, to no longer be transmitted beyond a limiting angle . If the objective is designed to form a field of full light to the size of the photosensitive surface for a certain aperture value, it is possible that at full aperture, the surface of the receiver exceeds that of the field of full light, which will cause a darkening of the corners of the image. There is relative illumination phenomenon when the field coverage is smaller than the size of the sensitive surface.
  • the illumination is not rigorously uniform according to the angle of the rays which form its image for simple reasons of photometry and of geometry. The further the image is from the axis, the greater the relative illumination phenomenon.
  • the phenomenon of relative illumination can be caused by obstruction of the image beam by a body of the camera, or an accessory placed in the field of the lens. This may be for example the mounting of a filter, or more often an unsuitable sun visor.
  • the relative illumination phenomenon can be measured on an image from an apparatus with an illumination index, the relative illumination value measuring the difference in the illumination index between the quantity of light received by the edges of the digital image and the one received in the center of the digital image.
  • relative illumination color denotes by colored relative illumination, the phenomenon inducing on a digital image a variation of the pixel values according to the positions of the pixels in the field as a function of the color channels of the digital image.
  • An image can be decomposed in various ways into channels, at a pixel of the corresponding image then a pixel value for each of the channels.
  • the decomposition into channels such channels then being called color channels, can notably be done by using a decomposition in the RGB, sRGB, LMS, Lab, Yuv, HSL, HSV, XYZ color spaces.
  • X Y Z can be done by using a decomposition in the RGB, sRGB, LMS, Lab, Yuv, HSL, HSV, XYZ color spaces.
  • sRGB Greeng., Greeng., Blue No. 1
  • sRGB Greeng., Blue No. 1
  • the sRGB color space is described in IEC 61966-2-1 "Multimedia Systems and equipment - Color measurement and management - Part 2-1: Color management - Default RGB color space & sRGB ".
  • the digital image may also consist of one or more channels relating to other data unrelated to the color; as for example numerical values relating to physical quantities, in particular altitudes, distances, temperatures.
  • an observation of the colored relative illumination phenomenon is, for example, the measurement of the relative illumination of the illumination index on each color channel.
  • the luminescence indices are not all identical in the case of a colored relative illumination phenomenon.
  • Figure 2 shows such a phenomenon of colored relative illumination; in this figure, a first curve 20, respectively a second curve 21, is representative of a lumination index for a first color channel, respectively for a second color channel, dimensioned on the ordinate axis, according to a position in the image, relative to a reference point, dimensioned on the abscissa axis.
  • the phenomenon of colored relative illumination varies from one color channel to another. There is shown here a phenomenon of colored illumination varying in one dimension for example a distance to a point. In another embodiment, this phenomenon of colored illumination varies according to several dimensions of the image.
  • a light source is a physical emitter of visible energy. Examples of light sources are the sky at different times of the day, a fluorescent neon, a tungsten light bulb.
  • An illuminant is a representation of the spectral distribution of a light source.
  • a spectral distribution is the representation of a radiometric quantity as a function of the wavelength. This radiometric quantity may especially be the spectral luminance in the case of a light source, or the product of the spectral reflectance of the material by the spectral distribution of a light source in the case of a material reflecting light, or the product of the transmittance of a material by the spectral distribution of a light source in the case of a light-transmitting material.
  • Illuminant CIE A representing the light source which is a Planck radiator having a color temperature of 2856 K
  • the illuminant CIE D65 which is a statistical representation of the average daylight corresponding to a color temperature of approximately 6500 K
  • the illuminant CIE C illuminant CIE E
  • illuminants CIE D including illuminant CIE D50
  • illuminants CIE F including CIE F2, CIE F8 or CIE F11
  • Figure 3 shows that the phenomenon of colored relative illumination, for a given color channel, varies for two different illuminants.
  • a first curve 30, respectively a second curve 31 is representative of the relative illumination phenomenon for a first type of illuminant, respectively for a second type of illuminant, listed on the ordinate axis, according to a position in the image relative to a reference point, dimensioned on the abscissa axis.
  • the phenomenon of colored relative illumination varies from one color channel to another. There is shown here a phenomenon of colored illumination varying in one dimension for example a distance to a point. In another embodiment, this phenomenon of colored illumination varies according to several dimensions of the image.
  • a given illuminant is associated with a spectral distribution of the light source as a function of the wavelength, as illustrated in FIGS. 4 and 5, which respectively show a first curve 40 giving the spectral distribution of a first illuminant, and a second curve 50, giving the spectral distribution of a second illuminant.
  • the amount of photon energy of the incident light on the digital sensor may vary according to the illuminants, as illustrated in FIGS. 6 and 7, which respectively show:
  • a first curve 60 giving the amplitudes of the signals transmitted at two different wavelengths for a first illuminant, at the same angle of incidence, for a given sensor.
  • a second curve 70 giving the amplitudes of the signals transmitted at two different wavelengths, the same as those present in FIG. 6, for a second illuminant, at the same angle of incidence, and for the same given sensor.
  • the amount of photon energy that is a function of the wavelength can be modified according to the characteristics of the optical system, such as the presence of filters that can modify the transmitted energy as a function of the wavelength of the light incident on the filter.
  • a digital sensor has a spectral response: the amplitude of the digital values reflecting the intensity of the color channels of each point of the digital image is a function of the wavelength of the light incident on the sensor.
  • the angle of incidence of the light on the sensor is in particular dependent on the characteristics of the optical system such as an optical system allowing high chromatic aberrations or the value of the angle of the average radius, ie the angle between the optical axis of the optical system and the ray passing through the top of the object and the center of the pupil.
  • a digital sensor does not emit the same response on each part of the photosensitive receiver as a function of the angle of incidence of the rays striking it, as shown in FIG. 8, this figure shows a first curve 80 and a second curve 81 which respectively correspond to a first spectral response of a given sensor for a first angle of incidence il, and to a second response given by the same sensor for a second angle of incidence i2.
  • the reasons for such a phenomenon can be:
  • the microlenses being optical systems intended to focus the incident rays on the digital sensor towards the photosensitive receptors that are the photosites in order to improve their performance
  • the characteristics of an IR filter that is to say a filter which more particularly allows light to pass whose wavelength is between, for example, 425 and 675 nm.
  • the transmittance properties of the filter can vary from a few tens of nm, inducing at the color level a different behavior at the corner and the center of the image.
  • the sensor response may decrease as the angle of incidence increases.
  • the image of a point is not formed by a ray, but by a beam of rays whose incidence is between two limit values. The many incidences that compose it will be interpreted differently by the sensor, that is to say that the energy of the light incident on the photosensitive receivers will not be the same for all the wavelengths, and this, even for adjacent photosites.
  • Adjacent photosites may represent different color channels.
  • the amplitude of the signal is in particular dependent on the spectral response of the sensor as a function of the wavelength of the light incident on the photosite and the angle of incidence of this light, the photonic energy of this light depending on the illuminant and the characteristics of the optical system.
  • the relative luminous color phenomenon is related to the illuminant and the pixel value in each color channel of the pixels of the digital image, the pixel values depending on the signal amplitude of a number of photosites of the sensor.
  • the object of the invention proposes a solution to the problems and disadvantages which have just been exposed.
  • the invention proposes a digital image processing method that intervenes at the level of any relative illumination phenomenon, including that of colored relative illumination.
  • the invention therefore essentially relates to a process for processing a digital image to be processed representative of a scene, the digital image to be processed being acquired by means of a digital capture apparatus comprising a sensor and an optical system, a method comprising in particular the different stages of:
  • the method according to the invention may have one or more additional characteristics among the following:
  • the modification step notably consists of a modification of the relative illumination variation in the digital image and / or the relative illumination variation of one color channel to the other of the digital image,
  • the modification step is carried out in particular by means of parameters for modifying the relative illumination
  • the parameters of modification of the relative illumination are selected and / or calculated; the step of determining the illuminant of the scene is performed by exploiting a result of a white balance estimation algorithm;
  • the determination of the illuminant is a function of a user choice; the determination of the illuminant is dependent on the activation of a flash;
  • the modification parameters have been precalculated for a predetermined number of standard illuminants
  • the modification parameters are calculated from all or part of the precalculated modification parameters;
  • the digital image to be processed is a superposition of several color channels, the modification parameters being selected and / or calculated for each color channel;
  • the step consisting in modifying the relative illumination phenomenon notably comprises the operation of reducing and / or canceling and / or bringing below a first threshold value a measurement difference of the relative illumination phenomenon in the image to be processed;
  • the step consisting in modifying the relative illumination phenomenon notably comprises the operation of reducing and / or canceling and / or bringing, for each color channel, below a second threshold value, a measurement of the phenomenon of relative illumination in the image to be treated;
  • the modification parameters are gain values to be applied to at least one of the color channels
  • the modification of the relative illumination is a function of at least one variable parameter of the capture apparatus, the variable parameter being in particular a focal distance, a focusing distance and / or the estimated distance of the scene imaged, either an exposure time, a gain, a sensitivity, an exposure level, or an aperture used by the capture apparatus to acquire the digital image to be processed;
  • the determination of the illuminant of the scene represented on the digital image to be processed exploits information from the illuminant of the scene on one or more digital images acquired before the digital image to be processed;
  • At least one of the steps for determining the illuminant or for modifying the relative illumination phenomenon is performed in an external processing apparatus different from the capture apparatus; at least one of the steps of determining the illuminant, or modifying the relative illumination phenomenon, or modifying the relative illumination phenomenon, is performed in the capture apparatus.
  • the step of modifying the relative illumination takes into account the characteristics of one or more filters included in the optical system and / or the sensor varying the relative illumination as a function of the illuminant;
  • the step of modifying the relative illumination takes into account the characteristics of an optical system having longitudinal chromatic aberrations varying the relative illumination as a function of the illuminant.
  • the present invention also relates to a digital image processing system, for processing a digital image representative of a scene, acquired by means of a digital capture apparatus including in particular a sensor and an optical system, said system being suitable implementing the method according to at least one of the preceding claims, said system comprising means for determining the illuminant of the scene represented on the acquired digital image to be processed; modifying means on the digital image to be treated, a relative illumination according to the illuminant .
  • the system is integrated at least partially in the capture apparatus.
  • a first step of the method according to the invention consists in determining an existing illuminant when capturing a visible scene on a digital image to be processed.
  • a white balance estimation algorithm is used.
  • the radiometric quantities of the wavelengths corresponding to the blue in the visible range are poorly represented compared with those associated with the wavelengths of the red, this ratio being reversed when the color temperatures of the light sources increase.
  • the human vision naturally compensates for this difference in balance between colors whatever the illuminant, interpreting a gray wall as being gray in low or high color temperature.
  • the compensation consists in particular in modifying the relationships between the color channels to obtain on the image a rendering close to that of the human vision in a known context, in particular in terms of ratio of the color channels.
  • a sensor does not automatically compensate for differences in radiometric quantities as a function of wavelengths.
  • the image of a gray wall by a sensor under a low temperature light source, such as a tungsten bulb will be predominantly yellow, for lack of blue.
  • the compensation for the color of the illuminant is made according to the lights of the place where the photograph is viewed and not according to the lights present in the photographed scene. Also, it is important, in the frame of photography, that the compensation is made before the restitution of the image. In digital cameras, this compensation is done within the device using on-board digital processing.
  • a means of color compensation is the application of a white balance algorithm, so that the digital image renders color as close as possible to that which would be obtained by human vision in the context of capture. .
  • Most digital capture devices have an automatic white balance determination algorithm.
  • an automatic white balance algorithm consists in taking into account the proportions of the color channels in the images coming from the sensor, such as the red on green and / or blue on green ratios, to determine factors. multiplicative to apply on each color channel, in the form of gains analog and / or digital.
  • the use of an automatic white balance algorithm makes it possible to recover information concerning the illuminant corresponding to the light source.
  • the information is used to compensate the channels by applying a position-dependent gain and / or the channel and / or the maximum of the channels and the illuminant in order to cancel the intensity and color variations as a function of the position in the channel. image caused by the optical system and the sensor (including optical elements such as filters, microlenses).
  • An example of information on the illuminant consists of the gains to be applied to each channel to compensate the channels.
  • Another example of information is an NxN matrix (N being a natural integer representing the number of channels) involving N pixel channels and aimed at modifying the differentiated variations between N channels whose relative relative illumination is to be modified.
  • the parameters of modification of the colored relative illumination can be formatted numerical data such as, for example, scalars, tables, polynomials, matrices, interpolated tables.
  • An example of information is a polynomial for each color channel. Polynomials depend on the position in the field of the image.
  • the polynomials can be in X 1 Y, X and Y indicating the coordinates of the pixels in a 2D space, polynomials in R, R expressing a distance to a point of the field that can be the geometric center of the image or other, the coordinates the center may be different depending on the channels.
  • the information can be obtained by evaluating the polynomial at each pixel for each channel or by using a table of values giving the values for geometrical areas of the image, such as for example all KX or KY pixel values, KX and KY being for a 2D image, a number of pixels different or equal depending on the geometric coordinates of the image
  • the information provided by the automatic white balance algorithm can be of the type from lower alpha blue to green level and level of red beta higher than green level, which can identify a tungsten illuminant.
  • information such as the level of the lower gamma blue level of green and level of the lower delta red level of green, allow for example to identify a daylighting illuminant said D65.
  • a user of an apparatus implementing the method according to the invention provides information for determining the identifier. In the first case, he can do it by invitation of the device he uses.
  • a menu displayable on an LCD screen offers a list of standard illuminants; in such a menu we can for example find the following choices: tungsten, fluorescent, daylight, cloudy, shadow, flash, color temperature to be defined by the user, automatic mode.
  • Other illuminants are defined for example in the books “Measuring Color”, Third Edition, R. W. D. Hunt, Fountain Press, guitarist-upon-Thames, England 1 998, ISBN 0863433871 or in "Color Appearance Models", M. Fairchild, Addison Wesley, 1998, ISBN 0201 634643.
  • the device can exploit information related to conditions of use of the device in question; for example the fact that the landscape function is selected suggests that the user uses his device outside, the determined illuminant then being the daylight, or daylight In an advantageous embodiment, it exploits information relating to the use of a flash for capturing an image to be processed to determine the illuminant of the scene corresponding to the image.
  • a flash is activated following the determination of the amount of light received by the digital capture apparatus on a video stream or on the image to be captured, taking into account the shooting data such as analog gains, digital gains, exposure time (using a self-exposure algorithm). If the amount of light is insufficient, the digital capture device equipped with a flash may trigger the flash for shooting.
  • the flash corresponds to a source of light and therefore to an illuminant whose spectral distribution is known.
  • the case where the estimation of the illuminant is based on a calculation taking into account the illuminant of the scene without a flash as well as the illuminant that is the flash is also envisaged.
  • the determination of the illuminant is carried out by extrapolation of an illuminant of digital images acquired automatically just before the acquisition of the digital image to be processed.
  • most of the devices digital capture have at least two modes of operation, namely, a mode that can be described as "preview” mode and a "capture” mode.
  • the "capture” mode corresponds to a mode in which the image is processed by an algorithmic chain with maximum resolution. To allow the user to visualize the scene he intends to capture, the implementation of a "preview” mode allows him to obtain a continuous video stream of images often smaller than the maximum resolution to respond to computation time constraints.
  • This video stream is obtained from so-called RAW images on which the illuminant is calculated for each image.
  • the computation of the illuminant is for example carried out by means of statistics determined on the low-resolution images, such as ratios between the color planes in averaged areas of the low-resolution image, and then for example using a system of images. accumulation of these statistics in a calculation table containing the values of the color ratios for standard illuminants such as tungsten, fluorescent, daylight for different temperatures, cloudy.
  • illuminants calculated on a certain number of images upstream of the current image of the video stream are taken into account to choose the illuminant of the current image.
  • the illuminant retained for the captured image can be that obtained by taking into account the illuminants of a certain number of images preceding the captured image.
  • the information produced by the automatic white balance indicates the need to increase the signal on the blue channel by tungsten illuminant and more moderately in daylight mode.
  • the transition from a strong to moderate increase of the signal on the blue channel will be made gradually, by example by defining several levels by the intensity of the gain to be applied on the blue channel.
  • the calculation of the illuminant on the RAW image is for example carried out by means of statistics determined on the image of maximum resolution, such as ratios between the color planes in averaged zones of the image of maximum resolution. , then using for example a system of accumulation of these statistics in a table of calculations containing the values of the reports of the colors for standard illuminants such as tungsten, fluorescent, daylight for different temperatures, cloudy.
  • a complementary step of the method according to the invention consists in selecting and / or calculating modification parameters of a relative illumination phenomenon as a function of the illuminant determined during the first step.
  • the modification parameters of a relative illumination phenomenon are a change in the relative illumination colored in each pixel of the pixel value on each channel.
  • a modification of the relative color illumination consists in applying a gain depending on the position and / or the channel and / or the maximum of the channels and the illuminant in order to cancel the variations of intensity and color depending on the position in the image caused by the optical system and the sensor (including optical elements such as filters, microlenses).
  • An example of modifying parameters of the colored relative illumination phenomenon is a polynomial for each color channel.
  • Polynomials depend on the position in the field of the image.
  • the polynomials can be in X 1 Y, X and Y indicating the coordinates of the pixels in a 2D space, polynomials in R, R expressing a distance to a point of the field that can be the geometric center of the image or other, the coordinates the center may be different depending on the channels.
  • the gain to be applied can be obtained by evaluating the polynomial at each pixel for each channel or by using a table of values giving the values for geometrical areas of the image, such as for example all the KX or KY pixels, KX and KY values.
  • the modification parameters are selected from among a list of precalculated parameters stored in a memory module accessible by the device implementing the method.
  • the list of precalculated parameters are the parameters corresponding to typical illuminants, preferably the most frequent illuminants.
  • modification parameters when an illuminant is determined, information relating to this illuminant is produced, but the information designating this illuminant is not directly associated with modification parameters, it selects modification parameters associated with an illuminant identified by the information closest to the information produced.
  • a second embodiment when an illuminant is determined, information relating to this illuminant is produced, but the information designating this illuminant is not directly associated with modification parameters, it proceeds to a calculation of the modification parameters, which will correspond to the determined illuminant, from the precalculated parameters.
  • the calculations are performed for example by a mechanism for identifying the illuminants closest to the identified illuminant for which modification parameters are available.
  • the illuminants closest to the identified illuminant are the illuminants whose information defines, for example, an interval of dimension equal to the number of information of these illuminants including the information of the identified illuminant.
  • the modification parameters are determined.
  • the modification parameters are not only a function of the determined illuminant, but also a function of other parameters, designated as variable parameters; among these parameters, there is notably, for a given digital image to be processed: the focal length of the optical system, the phenomenon of illumination relative to the angle of the rays forming the image.
  • the exposure level of digital images can influence the relative illumination phenomenon. This phenomenon is caused by a modification specific to the processing software integrated into the devices.
  • a second essential step of the method according to the invention occurs after the modification parameters have been selected or calculated.
  • the third step consists in modifying, on the digital image to be processed, the observed relative illumination phenomenon.
  • an operation is performed consisting in reducing and / or canceling and / or bringing below a first threshold value a measurement difference of the relative illumination phenomenon in the image. treat.
  • the modification parameters are used to apply a gain in each pixel changing the pixel value of each channel of that pixel.
  • the change parameters of the relative color illumination can be estimated at each pixel by calculating the value of polynomials depending on the position of the pixels in the image field for each color channel.
  • the polynomials can be in X 1 Y, X and Y indicating the coordinates of the pixels in a 2D space.
  • the gains to be applied to modify the relative illumination colored in a position pixel X1, Y1 can be determined in each color channel by evaluating a polynomial in the coordinates X1, Y1 or in coordinates X2, Y2 corresponding for example to the center of a geometric area including the coordinate pixel
  • the polynomials can be in R, R expressing a distance at a point of the field that can be the geometric center of the image or the like, the coordinates of the center being able to be different according to the channels.
  • the gains to apply to change the relative illumination colored in a distant pixel a distance R1 from a point of the field o1 can be determined in each color channel by evaluating a polynomial distance R1 or a distance R2 corresponding for example to the center of a geometric area including the pixel located at the distance R1 from the point of the field o1.
  • the gains to be applied can be determined by accessing the numerical data of a table of values giving the values to be selected and / or calculated by interpolations, for geometrical areas of the image, such as for example all KX or KY pixel values. , KX and KY being for a 2D image, a number of pixels different or equal depending on the geometric coordinates of the image. Changing the relative illumination colored in one pixel may be an application of a size matrix the number of color channels of the pixel squared.
  • weighting factors on the intensity of the modification in each color channel such as for example a coefficient k1 to be applied to the evaluated gain to a channel d color by including one of the methods mentioned above and a coefficient k2 to apply to the gain evaluated to a color channel c2 by including one of the methods mentioned above.
  • an operation is performed consisting in reducing and / or canceling and / or bringing, for each color channel, below a second threshold value, a measurement of the relative illumination phenomenon in the image to be processed.
  • the modification parameters can for example be applied to the sensor in the case of the possible application of a different analogue gain per color channel in each photosite of the digital sensor, for example when the photon energy is transformed into electrical energy. by a pixel value in each channel and each pixel of the digital image.
  • the modification parameters can also be applied directly to the digital image at the same time as the application of the numerical gains, for example by multiplying in each pixel the pixel value of each channel by the product of the digital gain of the corresponding color channel and the result of the evaluation of the parameters of modification of the relative illumination colored in this same color channel.
  • One or more of the two essential steps of the method according to the invention, or of the complementary step more particularly described, can be implemented in the capture apparatus performing the acquisition of the digital images, or in any peripheral, for example advanced printers, personal computers embedding appropriate processing software ....
  • the present invention also relates to any system, composed of one or more electronic devices, one of these devices possibly being, for example, the capture apparatus performing the acquisition of the digital images, comprising the various means necessary to implement the three steps. of the process according to the invention.
  • these means there are for example white balance estimation algorithms, algorithms for interpreting the white balance estimation algorithms for determining an illuminant, means for memorizing the precalculated modification parameters, and calculation, integrated for example in a microprocessor, of modification parameters from the precalculated modification parameters, pixel value modification algorithms for modifying the relative illumination phenomenon.
  • the modification of the relative illumination can take into account certain characteristics of the pixel values of a pixel in each channel, such as, for example, saturated pixel values, ie values of pixels equal to or close to the value of maximum and / or minimum pixel corresponding to the maximum and / or minimum amplitude of the sensor signal per color channel.
  • Another exemplary feature of the pixel values of one pixel in each channel is the result of a combination of pixel values of all color channels of a pixel, such as a linear combination of pixel values of all color channels of a pixel.
  • An example of taking into account the characteristics of the pixel values of a pixel in each channel is the maintenance of the ratios between the pixel values for all the color channels as a function of the first pixel value reaching a threshold value at the first time.
  • application of the illumination modification gain relative to the pixel values of the pixel considered for each color channel is known as vignetting. Vignetting is a particular operation, which can for example be implemented by opticians at the time of optical design, and which consists of stopping rays on the edge of one or more lenses and which therefore has effect of introducing a lower relative illumination in the corners than in the center.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

La présente invention se rapporte à un procédé, et à un système associé, de traitement d'images numériques qui intervient au niveau de tout phénomène d'éclairement relatif, y compris celui d'éclairement relatif coloré. A cet effet, on propose, dans l'invention, de prendre en considération un illuminant d'une scène photographiée pour apporter des modifications appropriées à toute image numérique à traiter.

Description

Procédé de traitement d'un phénomène d'éclairement relatif sur une image numérique et système de traitement associé.
DOMAINE TECHNIQUE DE L'INVENTION La présente invention a pour objet un procédé de traitement d'un phénomène d'éclairement relatif sur une image numérique. Elle concerne également un système de traitement d'un tel phénomène d'éclairement relatif. L'invention a essentiellement pour but de proposer une solution à un phénomène d'éclairement relatif adaptée à de nouveaux types de capteurs intervenant dans des appareils de capture d'image numérique.
Le domaine de l'invention est, d'une façon générale, celui de la photographie numérique, et plus particulièrement celui du traitement d'images appliqué aux photographies numériques. Par photographie numérique, on désigne une photo obtenue suite à l'impression d'une image numérique. D'une façon très générale, une image numérique est constituée de pixels, chaque pixel désignant une position et une portion de l'espace image, chaque pixel ayant au moins une valeur de pixels. Les images issues d'appareils photographiques, dites images photographiques, sont des images de dimension deux, au sens ou l'espace image est une portion rectangulaire d'un plan. Mais, des images, notamment issues d'observations physiques ou médicales, peuvent être de dimensions supérieures notamment trois. De même, une vidéo issue par exemple d'un caméscope, pourra être considérée comme une succession d'images de dimension deux ou comme une seule image de dimension trois: les deux premières dimensions étant, dans ce cas, les dimensions des images et la troisième représentant le numéro de l'image dans la vidéo.
Une image numérique est acquise au moyen d'un appareil de capture numérique. D'une façon très générale, un appareil de capture numérique est un appareil comportant au moins un capteur et un système optique et permettant d'obtenir une image numérique. Un capteur est un système convertissant la lumière en valeurs numériques reflétant l'intensité des couleurs de chaque point de l'image numérique. Un capteur peut notamment contenir un récepteur photosensible permettant la transformation de l'énergie photonique en énergie électrique. Dans une structure classique de capteur, ce récepteur photosensible peut être défini comme un ensemble de photosites. Les photosites peuvent notamment être associés à une couleur propre, comme par exemple dans le cas d'une structure de Bayer contenant deux photosites verts, un photosite rouge et un photosite bleu. De façon générale, un système optique est un ensemble de lentilles, de miroirs, de milieux transparents et homogènes séparés par des dioptres.
Dans le domaine de la photographie numérique, du fait de la numérisation de la chaîne de fabrication de la photo, depuis sa capture à sa restitution sur papier, il est de plus en plus fréquent de proposer des solutions de traitements d'images aptes à faire disparaître certains défauts apparents sur un grand nombre de d'images numériques acquises au moyen d'appareils de capture numérique. Par exemple, un défaut très fréquent est celui connu sous le nom de phénomène des yeux rouges. D'autres problèmes afférents à l'utilisation d'appareils photographiques existent, qu'ils soient, d'ailleurs, numériques ou non. Ainsi, par exemple, il est fréquent de rencontrer des problèmes de distorsion. D'une façon générale, un phénomène de distorsion connu est la distorsion géométrique, caractérisée comme une aberration géométrique en présence de laquelle des points objets alignés dans la scène photographiée ne forment pas des points images alignés. Cette distorsion géométrique se caractérise par une modification du grandissement de l'image en fonction de la position dans le champ. On distingue deux types de distorsions : les distorsions en barillet et les distorsions en coussinet selon que les grandissements locaux diminuent ou augmentent quand on se rapproche du bord du champ.
Un autre problème rencontré est connu sous le nom d'aberrations chromatiques latérales et longitudinales. D'une façon générale, des phénomènes d'aberrations chromatiques connus sont les aberrations chromatiques latérale et longitudinale comme étant une aberration géométrique en présence de laquelle le grandissement de l'image varie en fonction de la longueur d'onde. En présence d'aberration chromatique latérale, l'image est formée sur le même plan quelle que soit la longueur d'onde, mais sa position sur le plan dépend de la longueur d'onde. En présence d'aberration chromatique longitudinale, la position du plan de focalisation varie en fonction de la longueur d'onde, ce qui génère un flou différent en fonction de la longueur d'onde. L'aberration chromatique génère des phénomènes d'irisations colorées au voisinage des transitions de l'image. Différentes solutions ont été proposées dans l'état de la technique pour traiter ces problèmes.
Un autre problème connu dans le domaine de la photographie, et notamment de la photographie numérique, est un problème désigné par l'expression phénomène d'éclairement relatif.
On appelle éclairement relatif le phénomène induisant sur une image numérique une variation des valeurs de pixel suivant les positions des pixels dans le champ. Par exemple, pour une image numérique d'une scène homogène, le phénomène d'éclairement relatif correspond à une variation des valeurs de pixels en fonction de leur position dans le champ. Il se manifeste par un assombrissement des coins, voir même une disparition d'information. La figure 1 montre un tel phénomène d'éclairement relatif ;sur cette figure, une courbe 10 est représentative d'un phénomène d'assombrissement, coté sur l'axe des ordonnées, en fonction d'une position dans l'image, relative à un point de référence, coté sur l'axe des abscisses.
Plusieurs sources d'éclairement relatif peuvent être identifiées pour une image issue d'un appareil :
- un objectif est caractérisé par son angle de champ, et par sa couverture de champ. Ils sont calculés pour couvrir un format de récepteur photosensible donné. L'éclairement relatif est en grande partie du à un effet de lucarne à l'intérieur de l'objectif. La totalité d'un faisceau parallèle à l'axe entrant dans l'objectif est transmis, tandis qu'un faisceau oblique sera en partie arrêté par la monture de l'objectif, pour ne plus être transmis au-delà d'un angle limite. Si l'objectif est conçu pour former un champ de pleine lumière aux dimensions de la surface photosensible pour une certaine valeur d'ouverture, il est possible qu'à pleine ouverture, la surface du récepteur dépasse celle du champ de pleine lumière, ce qui provoquera un assombrissement des coins de l'image. Il y a phénomène d'éclairement relatif quand la couverture de champ est inférieure au format de la surface sensible.
- Dans le champ couvert par un objectif, l'éclairage n'est pas rigoureusement uniforme en fonction de l'angle des rayons qui forment son image pour des simples raisons de photométrie et de géométrie. Plus l'image est loin de l'axe, plus le phénomène d'éclairement relatif est important.
- les capteurs numériques, de par leur conception, présentent une réponse variable en fonction de l'incidence des rayons qui le frappent. Plus les rayons sont inclinés, moins ils sont interprétés par le capteur, augmentant le phénomène d'éclairement relatif.
- Le phénomène d'éclairement relatif peut être provoquée par l'obstruction du faisceau image par un corps de l'appareil, ou un accessoire placé dans le champ de l'objectif. Il peut s'agir par exemple de la monture d'un filtre, ou plus souvent d'un pare-soleil inadapté.
Le phénomène d'éclairement relatif peut se mesurer sur une image issue d'un appareil en indice de lumination, la valeur d'éclairement relatif mesurant la différence en indice de lumination entre la quantité de lumière reçue par les bords de l'image numérique et celle reçu au centre de l'image numérique.
Des solutions à ce phénomène d'éclairement relatif ont été proposées dans l'état de la technique. ARRI ERE-PLAN TECHNOLOG IQUE DE L' INVENTION
Cependant, l'apparition de nouveaux capteurs intervenant dans les appareils de capture d'images numériques donnent naissance à un nouveau problème, désigné par l'appellation d'éclairement relatif coloré._On désigne par éclairement relatif coloré, le phénomène induisant sur une image numérique une variation des valeurs de pixel suivant les positions des pixels dans le champ en fonction des canaux couleur de l'image numérique. Une image peut être décomposée de diverses façons en canaux, à un pixel de l'image correspondant alors une valeur de pixel pour chacun des canaux. Dans le cas particulier des images couleurs, la décomposition en canaux, de tels canaux étant alors dénommées canaux couleur, peut notamment se faire en utilisant une décomposition dans les espaces couleurs RGB, sRGB, LMS, Lab, Yuv, HSL, HSV, XYZ, xyz. Ces termes, à l'exception de sRGB, sont définis par exemple dans l'ouvrage suivant : "Measuring Color", Third Edition, R. W. D. Hunt, Fountain Press, Kingston-upon-Thames, England 1998, ISBN 0863433871 ou dans l'ouvrage "Color Appearance Models", M. Fairchild, Addison Wesley, 1998, ISBN 0201634643. L'espace couleur sRGB est décrit dans la norme IEC 61966-2-1 "Multimedia Systems and equipment - Colour measurement and management - Part 2-1 : Colour management - Default RGB colour space & sRGB". Dans le cadre de l'invention, l'image numérique pourra aussi être constituée d'un ou plusieurs canaux relatifs à d'autres données sans rapport avec la couleur ; comme par exemple des valeurs numériques relatives à des grandeurs physiques, notamment des altitudes, des distances, des températures.
Dans le cas d'une image numérique, une observation du phénomène d'éclairement relatif coloré est, par exemple, la mesure de l'éclairement relatif en indice de lumination sur chaque canal couleur. Les indices de lumination ne sont pas tous identiques dans le cas d'un phénomène d'éclairement relatif coloré. La figure 2 montre un tel phénomène d'éclairement relatif coloré ; sur cette figure, une première courbe 20, respectivement une deuxième courbe 21 , est représentative d'un indice de lumination pour un premier canal couleur, respectivement pour un deuxième canal couleur, coté sur l'axe des ordonnées, en fonction d'une position dans l'image, relative à un point de référence, coté sur l'axe des abscisses. Comme on le constate, le phénomène d'éclairement relatif coloré varie d'un canal de couleur à l'autre. On a représenté ici un phénomène d'éclairement coloré variant dans une seule dimension par exemple une distance à un point. Dans une autre réalisation, ce phénomène d'éclairement coloré varie selon plusieurs dimensions de l'image.
On désigne par source de lumière, un émetteur physique d'une énergie visible. Des exemples de sources de lumière sont le ciel à différents moments de la journée, un néon fluorescent, une ampoule tungstène. Un illuminant est une représentation de la distribution spectrale d'une source de lumière. Une distribution spectrale est la représentation d'une quantité radiométrique en fonction de la longueur d'onde. Cette quantité radiométrique peut notamment être la luminance spectrale dans le cas d'une source de lumière, ou le produit de la réflectance spectrale du matériau par la distribution spectrale d'une source de lumière dans le cas d'un matériau réfléchissant la lumière, ou le produit de la transmitance d'un matériau par la distribution spectrale d'une source de lumière dans le cas d'un matériau transmettant la lumière. Des exemples d'illuminants sont : l'illuminant CIE A représentant la source de lumière qu'est un radiateur de Planck ayant une température couleur de 2856 K, l'illuminant CIE D65 qui est une représentation statistique de la lumière moyenne du jour correspondant à une température couleur d'environ 6500 K, l'illuminant CIE C, l'illuminant CIE E, les illuminants CIE D (dont l'illuminant CIE D50), les illuminants CIE F (dont CIE F2, CIE F8 ou CIE F11 ). Ces termes et autres exemples d'illuminants sont définis par exemple dans l'ouvrage suivant : "Measuring Color", Third Edition, R.W.D. Hunt, Fountain Press, Kingston-upon-Thames, England 1998, ISBN 0863433871 ou dans l'ouvrage suivant "Measuring Color", Third Edition, R.W.D. Hunt, Fountain Press, Kingston-upon-Thames, England 1998, ISBN 0863433871 ou ou "Color Appearance Models", M. Fairchild, Addison Wesley, 1998, ISBN 0201634643.
La figure 3 montre que le phénomène d'éclairement relatif coloré, pour un canal de couleur donné, varie pour deux illuminants différents. Sur cette figure, une première courbe 30, respectivement une deuxième courbe 31 , est représentative du phénomène d'éclairement relatif pour un premier type d'illuminant, respectivement pour un deuxième type d'illuminant, coté sur l'axe des ordonnées, en fonction d'une position dans l'image, relative à un point de référence, coté sur l'axe des abscisses. Comme on le constate, le phénomène d'éclairement relatif coloré varie d'un canal de couleur à l'autre. On a représenté ici un phénomène d'éclairement coloré variant dans une seule dimension par exemple une distance à un point. Dans une autre réalisation, ce phénomène d'éclairement coloré varie selon plusieurs dimensions de l'image. Un illuminant donné est associé à une distribution spectrale de la source de lumière en fonction de la longueur d'onde, comme illustré aux figures 4 et 5, qui montrent respectivement une première courbe 40 donnant la distribution spectrale d'un premier illuminant, et une deuxième courbe 50, donnant la distribution spectrale d'un deuxième illuminant. La quantité d'énergie photonique de la lumière incidente sur le capteur numérique peut varier selon les illuminants, comme illustré aux figures 6 et 7, qui montrent respectivement :
- une première courbe 60 donnant les amplitudes des signaux transmis à deux longueurs d'onde différentes pour un premier illuminant, sous le même angle d'incidence, pour un capteur donné. - une deuxième courbe 70 donnant les amplitudes des signaux transmis à deux longueurs d'onde différentes, les mêmes que celles présentes dans la figure 6, pour un deuxième illuminant, sous le même angle d'incidence, et pour le même capteur donné. La quantité d'énergie photonique fonction de la longueur d'onde peut être modifiée en fonction des caractéristiques du système optique comme la présence de filtres pouvant modifier l'énergie transmise en fonction de la longueur d'onde de la lumière incidente sur le filtre.
Un capteur numérique a une réponse spectrale : l'amplitude des valeurs numériques reflétant l'intensité des canaux couleurs de chaque point de l'image numérique est fonction de la longueur d'onde de la lumière incidente sur le capteur. L'angle d'incidence de la lumière sur le capteur est notamment dépendant des caractéristiques du système optique telles qu'une optique autorisant des aberrations chromatiques élevées ou encore la valeur de l'angle du rayon moyen, c'est à dire l'angle entre l'axe optique du système optique et le rayon passant par le sommet de l'objet et le centre de la pupille.
Un capteur numérique n'émet pas la même réponse sur chaque partie du récepteur photosensible en fonction de l'angle d'incidence des rayons qui le frappent, comme illustré à la figure 8 ;cette figure montre une première courbe 80 et une deuxième courbe 81 qui correspondent respectivement à une première réponse spectrale d'un capteur donné pour un premier angle d'incidence il , et à une deuxième réponse donnée par le même capteur pour un deuxième angle d'incidence i2. Les raisons d'un tel phénomène peuvent être :
- des asymétries dans la constitution physique du capteur : photosites ayant des angles d'implantations différents sur le capteur,
- des microlentilles différentes selon les photosites, les microlentilles étant des systèmes optiques destinés à focaliser les rayons incident sur le capteur numérique vers les récepteurs photosensibles que sont les photosites pour en améliorer le rendement
- des câblages différents selon les photosites, - une géométrie en 3 dimensions différente selon les photosites par exemple due à la présence de transistors ou de connections non symétriques
- des implantations physiques différentes dans le champ,
- une géométrie différente de photosites adjacents, - Les caractéristiques d'un filtre IR, c'est à dire un filtre laissant plus particulièrement passer la lumière dont la longueur d'onde est comprise entre par exemple 425 et 675 nm. En fonction de l'orientation des rayons, les propriétés de transmitance du filtre peuvent varier de quelques dizaines de nm, induisant au niveau de la couleur un comportement différent au coin et au centre de l'image.
- des orientations différentes selon la couleur des photosites. Plus l'angle est important, plus il est possible que les rayons incidents ne frappent pas la zone la plus sensible du capteur, ou soient arrêtés, par exemple, par des boucliers opaques qui couvrent des registres de transfert. D'une manière générale, la réponse du capteur peut décroître quand l'angle d'incidence augmente. L'image d'un point n'est pas formée par un rayon, mais par un faisceau de rayons dont l'incidence est comprise entre deux valeurs limites. Les nombreuses incidences qui le composent vont être interprétées différemment par le capteur, c'est à dire que l'énergie de la lumière incidente sur les récepteurs photosensibles ne va pas être la même pour toutes les longueurs d'onde, et ce, même pour des photosites adjacents.
Les photosites adjacents peuvent représenter des canaux couleur différents. En chaque photosite auquel correspond au minimum une position géométrique sur le capteur et des caractéristiques physiques telles que celle décrites auparavant, l'amplitude du signal est notamment dépendante de la réponse spectrale du capteur fonction de la longueur d'onde de la lumière incidente sur le photosite et de l'angle d'incidence de cette lumière, l'énergie photonique de cette lumière dépendant de l'illuminant et des caractéristiques du système optique. Le phénomène d'éclairement relatif coloré est lié à l'illuminant et à la valeur de pixel en chaque canal couleur des pixels de l'image numérique, les valeurs de pixels dépendant de l'amplitude de signal d'un certain nombre de photosites du capteur.
L'ensemble de ces phénomènes et considérations, entraîne l'apparition d'un phénomène d'éclairement relatif, par exemple un phénomène d'éclairement relatif coloré sur les photos prises au moyen de systèmes de capture d'images numériques. La qualité des photos s'en trouve affectée.
DESCRIPTION GENERALE DE L'INVENTION
L'objet de l'invention propose une solution aux problèmes et inconvénients qui viennent d'être exposés. D'une façon générale, l'invention propose un procédé de traitement d'images numériques qui intervient au niveau de tout phénomène d'éclairement relatif, y compris celui d'éclairement relatif coloré. A cet effet, on propose, dans l'invention, de prendre en considération un illuminant d'une scène photographiée pour apporter des modifications appropriées à toute image numérique à traiter.
L'invention concerne donc essentiellement un procédé de traitement d'une image numérique à traiter représentative d'une scène, l'image numérique à traiter étant acquise au moyen d'un appareil de capture numérique comprenant un capteur et un système optique, procédé comportant notamment les différentes étapes consistant à:
- déterminer l'illuminant de la scène représentée sur l'image numérique à traiter acquise;
- modifier, sur l'image numérique à traiter, un phénomène d'éclairement relatif en fonction de l'illuminant
Outre les caractéristiques principales qui viennent d'être mentionnées dans le paragraphe précédent, le procédé selon l'invention peut présenter une ou plusieurs caractéristiques complémentaires parmi les suivantes :
- l'étape de modification consiste notamment en une modification de la variation d'éclairement relatif dans l'image numérique et/ou la variation d'éclairement relatif d'un canal couleur à l'autre de l'image numérique,
- l'étape de modification est réalisée notamment au moyen de paramètres de modification de l'éclairement relatif ;
- les paramètres de modification de l'éclairement relatif sont sélectionnés et/ou calculés ; - l'étape consistant à déterminer l'illuminant de la scène est effectuée en exploitant un résultat d'un algorithme d'estimation de balance des blancs ;
- la détermination de l'illuminant est fonction d'un choix utilisateur ; - la détermination de l'illuminant est fonction de l'activation d'un flash ;
- les paramètres de modification ont été précalculés pour un nombre prédéterminé d'illuminants types ;
- les paramètres de modification sont calculés à partir de tout ou partie des paramètres de modification précalculés ; - l'image numérique à traiter est une superposition de plusieurs canaux couleurs, les paramètres de modification étant sélectionnés et/ou calculés pour chaque canal couleur ;
- l'étape consistant à modifier le phénomène d'éclairement relatif comporte notamment l'opération consistant à réduire et/ou annuler et/ou amener en-dessous d'une première valeur seuil un écart de mesure du phénomène d'éclairement relatif dans l'image à traiter ;
- l'étape consistant à modifier le phénomène d'éclairement relatif comporte notamment l'opération consistant à réduire et/ou annuler et/ou amener, pour chaque canal couleur, en-dessous d'une deuxième valeur seuil une mesure du phénomène d'éclairement relatif dans l'image à traiter ;
- les paramètres de modification sont des valeurs de gains à appliquer à au moins un des canaux couleur ;
- la modification de l'éclairement relatif est fonction d'au moins un paramètre variable de l'appareil de capture, le paramètre variable étant notamment soit une distance focale, soit une distance de mise au point et/ou la distance estimée de la scène imagée, soit un temps d'exposition, soit un gain, soit une sensibilité, soit un niveau d'exposition, soit une ouverture utilisé par l'appareil de capture pour acquérir l'image numérique à traiter;
- la détermination de l'illuminant de la scène représentée sur l'image numérique à traiter acquise exploite une information de l'illuminant de la scène sur une ou plusieurs images numériques acquises avant l'image numérique à traiter ;
- au moins une des étapes de détermination de l'illuminant, ou de modification du phénomène d'éclairement relatif est réalisée dans un appareil de traitement externe différent de l'appareil de capture; - au moins une des étapes de détermination de l'illuminant, ou de modification du phénomène d'éclairement relatif, ou de modification du phénomène d'éclairement relatif est réalisée dans l'appareil de capture.
- l'étape de modification de l'éclairement relatif prend en compte les caractéristiques d'un ou plusieurs filtres inclus dans le système optique et/ou le capteur faisant varier l'éclairement relatif en fonction de l'illuminant ;
- l'étape de modification de l'éclairement relatif prend en compte les caractéristiques d'un système optique présentant des aberrations chromatiques longitudinales faisant varier l'éclairement relatif en fonction de l'illuminant.
La présente invention se rapporte également à un système de traitement d'images numériques, pour traiter une image numérique représentative d'une scène, acquise au moyen d'un appareil de capture numérique comprenant notamment un capteur et un système optique, ledit système étant apte à mettre en œuvre le procédé selon l'une au moins des revendications précédentes, ledit système comportant des moyens de détermination de l'illuminant de la scène représentée sur l'image numérique à traiter acquise ;des moyens de modification, sur l'image numérique à traiter, d'un éclairement relatif en fonction de l'illuminant.. Dans un mode de réalisation particulier, le système est intégré au moins partiellement dans l'appareil de capture.
L'invention et ses différentes applications seront mieux comprises à la lecture de la description qui suit.
.DESCRIPTION DES FORMES DE REALISATION PREFEREES DE L'INVENTION
Afin de traiter tout phénomène d'éclairement relatif, le procédé selon l'invention propose deux étapes essentielles dont les différents modes de mise en oeuvre vont à présent être détaillés.
Une première étape du procédé selon l'invention consiste en la détermination d'un illuminant existant lors de la capture d'une scène visible sur une image numérique à traiter.
Dans un premier exemple de mise en œuvre de cette étape, on utilise un algorithme d'estimation de balance des blancs.
En effet, à une source de lumière donnée correspond une distribution spectrale fonction de la longueur d'onde. Cela signifie que certaines longueurs d'ondes, donc certaines couleurs du visible, par exemples situées entre 400 et 800nm, sont plus ou moins représentées sous certaines sources de lumière. Par exemple, en éclairage tungstène, pour une température couleur faible, les quantités radiométriques des longueurs d'onde correspondant au bleu dans le domaine du visible sont peu représentées par rapport à celles associées aux longueurs d'onde du rouge, ce rapport s'inversant lorsque les températures couleur des sources de lumière augmentent. La vision humaine compense naturellement cette différence de balance entre les couleurs quelque soit l'illuminant, interprétant un mur gris comme étant gris en température couleur faible comme élevée. La compensation consiste en particulier à modifier les rapports entre les canaux couleur pour obtenir sur l'image un rendu proche de celui de la vision humaine dans un contexte connu, notamment en terme de rapport des canaux couleur. Un capteur ne compense pas automatiquement les différences de quantités radiométriques en fonction des longueurs d'onde. Ainsi, l'image d'un mur gris par un capteur sous une source de lumière de température faible, telle qu'une ampoule tungstène, sera à dominante jaune, par manque de bleu.
Lorsque l'oeil regarde une photographie, la compensation de la couleur de l'illuminant se fait en fonction des lumières du lieu ou est regardé la photographie et non pas en fonction des lumières présentes dans la scène photographiée. Aussi, il est important, dans le cadre de photographie, que la compensation soit faite avant la restitution de l'image. Dans les appareils photographiques numériques, cette compensation est faite au sein de l'appareil au moyen de traitements numérique embarqués. Un moyen de compensation des couleurs consiste en l'application d'un algorithme de balance des blancs, de façon à ce que l'image numérique présente un rendu couleur le plus proche possible de celui qu'obtiendrait la vision humaine dans le contexte de capture. La plupart des appareils de capture numérique possèdent un algorithme de détermination automatique de la balance des blancs. Un type d'implémentation d'un algorithme de balance des blancs automatique consiste à prendre en compte les proportions des canaux couleur dans les images issues du capteur, comme par exemple les rapports rouge sur vert et/ou bleu sur vert, pour déterminer des facteurs multiplicatifs à appliquer sur chacun des canaux couleur, sous forme de gains analogiques et/ou digitaux. Dans le cadre de l'invention, l'utilisation d'un algorithme de balance des blancs automatiques permet de récupérer des informations concernant l'illuminant correspondant à la source de lumière. Les informations sont utilisées pour compenser les canaux en appliquant un gain fonction de la position et/ou le canal et/ou le maximum des canaux et l'illuminant afin d'annuler les variations d'intensité et de couleur fonction de la position dans l'image provoquées par le système optique et le capteur (y compris les éléments optiques tels que filtres, microlentilles). Un exemple d'information sur l'illuminant consiste en les gains à appliquer sur chaque canal pour compenser les canaux. Un autre exemple d'informations est une matrice NxN (N étant un entier naturel représentant le nombre de canaux) impliquant N canaux des pixels et visant à modifier les variations différenciées entre N canaux dont l'éclairement relatif coloré est à modifier. Les paramètres de modification de l'éclairement relatif coloré peuvent être des données numériques formatées comme par exemple des scalaires, des tables, des polynômes, des matrices, des tables interpolées Un exemple d'informations est un polynôme pour chaque canal couleur. Les polynômes dépendent de la position dans le champ de l'image. Les polynômes peuvent être en X1Y, X et Y indiquant les coordonnées des pixels dans un espace 2D, de polynômes en R, R exprimant une distance à un point du champ pouvant être le centre géométrique de l'image ou autre, les coordonnées du centre pouvant être différentes selon les canaux. Les informations peuvent être obtenues en évaluant le polynôme en chaque pixel pour chaque canal ou en utilisant une table de valeurs donnant les valeurs pour des zones géométriques de l'image comme par exemple des valeurs tous les KX ou KY pixels, KX et KY étant pour une image 2D, un nombre de pixels différent ou égal suivant les coordonnées géométriques de l'image
Par exemple, les informations fournies par l'algorithme de balance des blancs automatique peuvent être du type niveau du bleu alpha inférieur à niveau du vert et niveau du rouge beta supérieur à niveau du vert, ce qui permet d'identifier un illuminant tungstène. De même, des informations sont du type le niveau du bleu gamma inférieur à niveau du vert et niveau du rouge delta inférieur à niveau du vert, permettent par exemple d'identifier un illuminant lumière du jour dit D65. Dans un autre exemple de mise en œuvre, un utilisateur d'un appareil mettant en œuvre le procédé selon l'invention fournit une information permettant de déterminer l'identifiant. Dans un premier cas, il peut le faire sur invitation de l'appareil qu'il utilise. Par exemple, un menu affichable sur un écran LCD lui propose une liste d'illuminants standards ; dans un tel menu on peut par exemple trouver les choix suivants : tungstène, fluorescent, lumière du jour, nuageux, ombre, flash, température couleur à définir par l'utilisateur, mode automatique. D'autres illuminants sont définis par exemple dans les ouvrages "Measuring Color", Third Edition, R. W . D. Hunt, Fountain Press, Kingston-upon-Thames, England 1 998, ISBN 0863433871 ou dans "Color Appearance Models", M . Fairchild , Addison Wesley, 1998, ISBN 0201 634643.
L'utilisateur sélectionne alors, au moyen de touches appropriées de l'appareil qu'il manipule, un des illuminants dans la liste. Dans un deuxième cas, l'appareil peut exploiter des informations liées à des conditions d'utilisation de l'appareil considéré ; par exemple le fait que la fonction paysage soit sélectionnée laisse penser que l'utilisateur utilise son appareil à l'extérieur, l'illuminant déterminé étant alors le daylight, ou lumière du jour Dans un mode de mise en œuvre avantageux, on exploite une information relative à l'utilisation d'un flash pour la capture d'une image à traiter pour déterminer l'illuminant de la scène correspondant à l'image.
Un flash est activé suite à la détermination de la quantité de lumière reçue par l'appareil de capture numérique sur un flux vidéo ou sur l'image à capturer, en prenant en compte les données de prises de vue telles que les gains analogiques, les gains digitaux, le temps d'exposition (au moyen d'un algorithme d'auto-exposition). Si la quantité de lumière est insuffisante, l'appareil de capture numérique équipé d'un flash peut déclencher le flash pour la prise de vue. Le flash correspond à une source de lumière et donc a un illuminant dont la distribution spectrale est connue. Dans un exemple d'implémentation de l'invention, on envisage également le cas où l'estimation de l'illuminant est basée sur un calcul prenant en compte l'illuminant de la scène sans flash ainsi que l'illuminant qu'est le flash, dans par exemple le cas d'une capture d'une image dont le sujet est trop éloigné pour que le flash soit efficace. Dans un mode particulier de mise en œuvre, la détermination de l'illuminant est réalisée par extrapolation d'un illuminant d'images numériques acquises de manière automatique juste avant l'acquisition de l'image numérique à traiter En effet, la plupart des appareils de capture numérique possèdent au moins deux modes de fonctionnement, à savoir, un mode pouvant être qualifié de mode « preview » et un mode « capture ». Le mode « capture » correspond à un mode dans lequel l'image est traitée par une chaîne algorithmique à résolution maximale. Pour permettre à l'utilisateur de visualiser la scène qu'il se destine à capturer, l'implémentation d'un mode « preview » lui permet d'obtenir un flux vidéo continu d'images de taille souvent inférieure à la résolution maximale pour répondre à des contraintes de temps de calcul. Ce flux vidéo est obtenu à partir d'images dites RAW sur lesquelles l'illuminant est calculé pour chaque image. Le calcul de l'illuminant est par exemple effectué aux moyens de statistiques déterminées sur les images de faible résolution, telles que des rapports entre les plans couleurs dans des zones moyennées de l'image de faible résolution, puis en utilisant par exemple un système d'accumulation de ces statistiques dans une table de calculs contenant les valeurs des rapports des couleurs pour des illuminants standards tels que tungstène, fluorescent, lumière du jour pour différentes températures, nuageux. Pour éviter de rapides changements dans les calculs d'illuminants, les illuminants calculés sur un certains nombre d'images en amont de l'image courante du flux vidéo sont pris en compte pour choisir l'illuminant de l'image courante. Le même principe est appliqué lors d'un passage du mode « preview » au mode « capture » : l'illuminant retenu pour l'image capturée peut être celui obtenu en prenant compte les illuminants d'un certains nombre d'images précédent l'image capturée. A titre d'exemple en considérant une transition d'illuminants en mode preview d'un illuminant tungstène à un illuminant lumière du jour, les informations produites par la balance des blancs automatique indiquent la nécessité d'augmenter fortement le signal sur le canal bleu en illuminant tungstène et plus modérément en mode lumière du jour. Durant un nombre d'images pré-défini, le passage d'une augmentation forte à modérée du signal sur le canal bleu se fera progressivement, par exemple en définissant plusieurs paliers moyennant l'intensité du gain à appliquer sur le canal bleu.
En comparaison, le calcul de l'illuminant sur l'image RAW est par exemple effectué aux moyens de statistiques déterminées sur l'image de résolution maximale, telles que des rapports entre les plans couleurs dans des zones moyennées de l'image de résolution maximale, puis en utilisant par exemple un système d'accumulation de ces statistiques dans une table de calculs contenant les valeurs des rapports des couleurs pour des illuminants standards tels que tungstène, fluorescent, lumière du jour pour différentes températures, nuageux.
Une étape complémentaire du procédé selon l'invention consiste en la sélection et/ou le calcul de paramètres de modification d'un phénomène d'éclairement relatif en fonction de l'illuminant déterminé lors de la première étape. Les paramètres de modification d'un phénomène d'éclairement relatif sont une modification de l'éclairement relatif coloré en chaque pixel de la valeur de pixel sur chaque canal. Une modification de l'éclairement relatif coloré consiste à appliquer un gain fonction de la position et/ou le canal et/ou le maximum des canaux et l'illuminant afin d'annuler les variations d'intensité et de couleur fonction de la position dans l'image provoquées par le système optique et le capteur (y compris les éléments optiques tels que filtres, microlentilles).
Un exemple de paramètres de modification du phénomène d'éclairement relatif coloré est un polynôme pour chaque canal couleur. Les polynômes dépendent de la position dans le champ de l'image. Les polynômes peuvent être en X1Y, X et Y indiquant les coordonnées des pixels dans un espace 2D, de polynômes en R, R exprimant une distance à un point du champ pouvant être le centre géométrique de l'image ou autre, les coordonnées du centre pouvant être différentes selon les canaux. Le gain à appliquer peut être obtenu en évaluant le polynôme en chaque pixel pour chaque canal ou en utilisant une table de valeurs donnant les valeurs pour des zones géométriques de l'image comme par exemple des valeurs tous les KX ou KY pixels, KX et KY étant pour une image 2D, un nombre de pixels différent ou égal suivant les coordonnées géométriques de l'image. A cet effet, dans un premier mode de mise en œuvre de cette étape complémentaire, on procède à une sélection des paramètres de modification parmi une liste de paramètres précalculés et mémorisés dans un module de mémoire accessible par le dispositif mettant en oeuvre le procédé. La liste des paramètres précalculés sont les paramètres correspondant à des illuminants types, de préférence les illuminants les plus fréquents. Dans ce premier mode de mise en œuvre, lorsqu'un illuminant est déterminé, qu'une information relative à cet illuminant est produite, mais que l'information désignant cet illuminant n'est pas directement associée à des paramètres de modification, on sélectionne des paramètres de modification associés à un illuminant repéré par l'information la plus proche de l'information produite.
Dans un deuxième mode de mise en œuvre, lorsqu'un illuminant est déterminé, qu'une information relative à cet illuminant est produite, mais que l'information désignant cet illuminant n'est pas directement associée à des paramètres de modification, on procède à un calcul des paramètres de modification, qui vont correspondre à l'illuminant déterminé, à partir des paramètres précalculés. Les calculs sont par exemple effectués par un mécanisme d'identification des illuminants les plus proches de l'illuminant identifié pour lesquels des paramètres de modification sont disponibles. Les illuminants les plus proches de l'illuminant identifié sont les illuminants dont les informations définissent par exemple un intervalle de dimension égale au nombre d'informations de ces illuminants incluant les informations de l'illuminant identifié Dans un exemple, on détermine les paramètres de modification de l'illuminant identifié en interpolant les paramètres de modification des illuminants les plus proches de l'illuminant identifié pour lesquels des paramètres de modification sont disponibles. L'interpolation fait par exemple intervenir une pondération permettant de donner plus d'importance à certains illuminants proches de l'illuminant identifié dans le choix des paramètres de modification. Dans certains modes de mise en œuvre, les paramètres de modification sont non seulement fonction de l'illuminant déterminé, mais aussi fonction d'autres paramètres, désignés comme paramètres variables ; parmi ces paramètres, on trouve notamment, pour une image numérique donnée à traiter : - La focale du système optique, le phénomène d'éclairement relatif dépendant de l'angle des rayons formant l'image.
- L'ouverture du diaphragme d'un système optique
- La réponse des capteurs numériques
- La distance de mise au point et/ou la distance estimée de la scène imagée
- L'utilisation d'accessoires : l'utilisation d'accessoires tels que des filtres ou pare-soleils, peut provoquer un phénomène d'éclairement relatif.
- Le niveau d'exposition des images numériques peut influencer le phénomène d'éclairement relatif. Ce phénomène est provoqué par une modification propre aux logiciels de traitement intégrés aux appareils.
Une deuxième étape essentielle du procédé selon l'invention intervient après que les paramètres de modification ont été sélectionnés ou calculés. La troisième étape consiste en la modification, sur l'image numérique à traiter, du phénomène d'éclairement relatif observé.
Dans un premier mode de mise en œuvre de cette étape, on réalise une opération consistant à réduire et/ou annuler et/ou amener en- dessous d'une première valeur seuil un écart de mesure du phénomène d'éclairement relatif dans l'image à traiter.
On utilise les paramètres de modification pour appliquer un gain en chaque pixel modifiant la valeur de pixel de chaque canal de ce pixel.
Les paramètres de modification de l'éclairement relatif coloré peuvent être estimés en chaque pixel en calculant la valeur de polynômes dépendant de la position des pixels dans le champ de l'image pour chaque canal couleur. Les polynômes peuvent être en X1Y, X et Y indiquant les coordonnées des pixels dans un espace 2D. Les gains à appliquer pour modifier l'éclairement relatif coloré en un pixel de position X1 , Y1 peuvent être déterminés en chaque canal couleur en évaluant un polynôme en les coordonnées X1 , Y1 ou en des coordonnées X2,Y2 correspondant par exemple au centre d'une zone géométrique incluant le pixel de coordonnées
X1 ,Y1. Les polynômes peuvent être en R, R exprimant une distance à un point du champ pouvant être le centre géométrique de l'image ou autre, les coordonnées du centre pouvant être différentes selon les canaux. Les gains à appliquer pour modifier l'éclairement relatif coloré en un pixel éloigné d'une distance R1 d'un point du champ o1 peuvent être déterminés en chaque canal couleur en évaluant un polynôme en la distance R1 ou en une distance R2 correspondant par exemple au centre d'une zone géométrique incluant le pixel situé à la distance R1 du point du champ o1. Les gains à appliquer peuvent être déterminés en accédant aux données numériques d'une table de valeurs donnant les valeurs à sélectionner et/ou à calculer par interpolations, pour des zones géométriques de l'image comme par exemple des valeurs tous les KX ou KY pixels, KX et KY étant pour une image 2D, un nombre de pixels différent ou égal suivant les coordonnées géométriques de l'image. La modification de l'éclairement relatif coloré en un pixel peut être une application d'une matrice de dimension le nombre de canaux couleur du pixel au carré. Dans tous les exemples de modifications de l'éclairement relatif cités précédemment, il est possible d'appliquer des facteurs de pondération sur l'intensité de la modification en chaque canal couleur, comme par exemple un coefficient k1 à appliquer au gain évalué à un canal couleur d par notamment une des méthodes précédemment citées et un coefficient k2 à appliquer au gain évalué à un canal couleur c2 par notamment une des méthodes précédemment citées.
Dans un deuxième mode de mise en œuvre, on réalise une opération consistant à réduire et/ou annuler et/ou amener, pour chaque canal couleur, en-dessous d'une deuxième valeur seuil une mesure du phénomène d'éclairement relatif dans l'image à traiter.
Les paramètres de modification peuvent par exemple être appliqués au capteur dans le cas de l'application possible d'un gain analogique différent par canal couleur en chaque photosite du capteur numérique lors par exemple de la transformation de l'énergie photonique en énergie électrique se traduisant par une valeur de pixel en chaque canal et chaque pixel de l'image numérique.
Les paramètres de modification peuvent également être appliqués directement sur l'image numérique en même temps que l'application des gains numériques, par exemple en multipliant en chaque pixel la valeur de pixel de chaque canal par le produit du gain numérique du canal couleur correspondant et du résultat de l'évaluation des paramètres de modification du éclairement relatif coloré en ce même canal couleur. Une ou plusieurs des deux étapes essentielles du procédé selon l'invention, ou de l'étape complémentaire plus particulièrement décrite, peuvent être mises en œuvre dans l'appareil de capture réalisant l'acquisition des images numériques, ou dans tout périphérique , par exemple des imprimantes perfectionnées, des ordinateurs personnels embarquant un logiciel de traitement approprié....
La présente invention concerne également tout système, composé d'un ou plusieurs appareils électroniques, un de ces appareils pouvant être par exemple l'appareil de capture réalisant l'acquisition des images numériques, comportant les différents moyens nécessaires pour mettre en œuvre les trois étapes essentielles du procédé selon l'invention. Parmi ces moyens, on trouve par exemple des algorithmes d'estimation de balance des blancs, des algorithmes d'interprétation des algorithmes d'estimation de balance des blancs pour déterminer un illuminant, des moyens de mémorisation des paramètres de modification précalculés, des capacités de calcul, intégrées par exemple dans un microprocesseur, de paramètres de modification à partir des paramètres de modification précalculés, des algorithmes de modification de valeurs de pixels pour modifier le phénomène d'éclairement relatif. La modification de l'éclairement relatif peut prendre en compte certaines caractéristiques des valeurs de pixel d'un pixel en chaque canal, comme par exemple des valeurs de pixels saturées, c'est à dire des valeurs de pixels égales ou proches de la valeur de pixel maximale et/ou minimale correspondant à l'amplitude maximale et/ou minimale du signal du capteur par canal couleur. Un autre exemple de caractéristique des valeurs de pixel d'un pixel en chaque canal est le résultat d'une combinaison des valeurs de pixels de tous les canaux couleur d'un pixel, comme par exemple une combinaison linéaire des valeurs de pixel de tous les canaux couleur d'un pixel. Un exemple de prise en compte des caractéristiques des valeurs de pixel d'un pixel en chaque canal est le maintien des rapports entre les valeurs de pixel pour tous les canaux couleurs en fonction de la première valeur de pixel atteignant une valeur de seuil lors de l'application du gain de modification de l'éclairement relatif aux valeurs de pixel du pixel considéré pour chaque canal couleur. Un exemple particulier d'éclairement relatif est connu sous le nom de vignetage. Le vignetage est une opération particulière, qui peut par exemple être mise en œuvre par les opticiens au moment du design de l'optique, et qui consiste à arrêter des rayons en bord d'une ou plusieurs lentille(s) et qui a donc pour effet d'introduire une éclairement relatif plus faible dans les coins qu'au centre.

Claims

REVENDICATIONS
1- Procédé de traitement d'une image numérique à traiter représentative d'une scène, l'image numérique à traiter étant acquise au moyen d'un appareil de capture numérique comprenant un capteur et un système optique, procédé comportant notamment les différentes étapes consistant à:
- déterminer l'illuminant de la scène représentée sur l'image numérique à traiter acquise; - modifier, sur l'image numérique à traiter, un éclairement relatif en fonction de l'illuminant.
2- Procédé selon la revendication précédente dans lequel l'étape de modification consiste notamment en une étape de modification de la variation d'éclairement relatif dans l'image numérique et/ou la variation d'éclairement relatif d'un canal couleur à l'autre de l'image numérique.
3- Procédé selon la revendication précédente dans lequel l'étape de modification est réalisée notamment au moyen de paramètres de modification de l'éclairement relatif.
4- Procédé selon la revendication précédente dans lequel les paramètres de modification de l'éclairement relatif sont sélectionnés et/ou calculés.
5- Procédé selon l'une des revendications précédentes, dans lequel l'étape consistant à déterminer l'illuminant de la scène est effectuée en exploitant un résultat d'un algorithme d'estimation de balance des blancs. 6- Procédé selon l'une des revendications précédentes, dans lequel la détermination de l'illuminant est fonction d'un choix utilisateur.
7- Procédé selon l'une des revendications précédentes, dans lequel la détermination de l'illuminant est fonction de l'activation d'un flash.
8- Procédé selon l'une des revendications précédentes et la revendication 3, dans lequel les paramètres de modification de l'éclairement relatif ont été précalculés pour un nombre prédéterminé d'illuminants types.
9- Procédé selon la revendication 8, dans lequel les paramètres de modification de l'éclairement relatif sont calculés à partir de tout ou partie des paramètres de modification de l'éclairement relatif précalculés. 10- Procédé selon l'une des revendications précédentes et selon la revendication 3, dans lequel l'image numérique à traiter est une superposition de plusieurs canaux couleurs, la modification d'éclairement relatif étant effectuée pour chaque canal couleur.
11- Procédé selon la revendication précédente dans lequel l'étape consistant à modifier l'éclairement relatif comporte notamment l'opération consistant à réduire et/ou annuler et/ou amener en-dessous d'une première valeur seuil un écart de mesure de l'éclairement relatif dans l'image à traiter.
12- Procédé selon la revendication 9 ou 10 dans lequel l'étape consistant à modifier l'éclairement relatif comporte notamment l'opération consistant à réduire et/ou annuler et/ou amener, pour chaque canal couleur, en-dessous d'une deuxième valeur seuil une mesure de l'éclairement relatif dans l'image à traiter.
13- Procédé selon l'une des revendications 9 à 11 dans lequel la modification de l'éclairement relatif consiste à appliquer un gain par pixel à au moins un des canaux couleur.
14- Procédé selon l'une au moins des revendications précédentes et selon la revendication 3 dans lequel la modification de l'éclairement relatif est fonction d'au moins un paramètre variable de l'appareil de capture, le paramètre variable étant notamment soit une distance focale, soit une distance de mise au point et/ou la distance estimée de la scène imagée, soit un temps d'exposition, soit un gain, soit une sensibilité, soit un niveau d'exposition, soit une ouverture utilisé par l'appareil de capture pour acquérir l'image numérique à traiter.
15- Procédé selon l'une des revendications précédentes, dans lequel la détermination de l'illuminant de la scène représentée sur l'image numérique à traiter acquise exploite une information de l'illuminant de la scène sur une ou plusieurs images numériques acquises avant l'image numérique à traiter.
16- Procédé selon l'une au moins des revendications précédentes dans lequel au moins une des étapes de détermination de l'illuminant, ou de modification du phénomène d'éclairement relatif est réalisée dans un appareil de traitement externe différent de l'appareil de capture.
17- Procédé selon l'une au moins des revendications précédentes dans lequel au moins une des étapes de détermination de l'illuminant, ou de modification du phénomène d'éclairement relatif, ou de modification du phénomène d'éclairement relatif est réalisée dans l'appareil de capture.
18- Procédé selon l'une des revendications précédentes, dans lequel l'étape de modification de l'éclairement relatif prend en compte les caractéristiques d'un ou plusieurs filtres inclus dans le système optique et/ou le capteur faisant varier l'éclairement relatif en fonction de l'illuminant.
19- Procédé selon l'une des revendications précédentes, dans lequel l'étape de modification de l'éclairement relatif prend en compte les caractéristiques d'un système optique présentant des aberrations chromatiques longitudinales faisant varier l'éclairement relatif en fonction de l'illuminant.
20- Système de traitement d'images numériques, pour traiter une image numérique représentative d'une scène, acquise au moyen d'un appareil de capture numérique comprenant notamment un capteur et un système optique, ledit système étant apte à mettre en oeuvre le procédé selon l'une au moins des revendications précédentes, ledit système comportant des moyens de détermination de l'illuminant de la scène représentée sur l'image numérique à traiter acquise ;des moyens de modification, sur l'image numérique à traiter, d'un éclairement relatif en fonction de l'illuminant. 21- Système selon la revendication précédente caractérisé en ce qu'il est intégré dans l'appareil de capture.
PCT/FR2007/051075 2006-04-06 2007-04-05 Procédé de traitement d'un phénomène d'éclairement relatif sur une image numérique et système de traitement associé WO2007116186A2 (fr)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US12/296,019 US8482629B2 (en) 2006-04-06 2007-04-05 Processing method for a relative illumination phenomenon on a digital image and associated processing system
EP07731877.2A EP2011329B1 (fr) 2006-04-06 2007-04-05 Procédé de traitement d'un phénomène d'éclairement relatif sur une image numérique et système de traitement associé
JP2009503632A JP5185253B2 (ja) 2006-04-06 2007-04-05 デジタル画像上の相対照度現象の処理方法及び関連する処理システム
CN2007800175502A CN101444083B (zh) 2006-04-06 2007-04-05 针对数字图像上相对照度现象的处理方法和相关处理系统
KR1020087027122A KR101504564B1 (ko) 2006-04-06 2007-04-05 디지털 이미지 상의 상대 조도 현상의 처리 방법 및 그에 관련된 처리 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0651242 2006-04-06
FR0651242A FR2899696B1 (fr) 2006-04-06 2006-04-06 Procede de traitement d'un phenomene d'eclairement relatif sur une image numerique et systeme de traitement associe

Publications (2)

Publication Number Publication Date
WO2007116186A2 true WO2007116186A2 (fr) 2007-10-18
WO2007116186A3 WO2007116186A3 (fr) 2007-12-21

Family

ID=37497840

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2007/051075 WO2007116186A2 (fr) 2006-04-06 2007-04-05 Procédé de traitement d'un phénomène d'éclairement relatif sur une image numérique et système de traitement associé

Country Status (7)

Country Link
US (1) US8482629B2 (fr)
EP (1) EP2011329B1 (fr)
JP (1) JP5185253B2 (fr)
KR (1) KR101504564B1 (fr)
CN (1) CN101444083B (fr)
FR (1) FR2899696B1 (fr)
WO (1) WO2007116186A2 (fr)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100950465B1 (ko) * 2007-12-21 2010-03-31 손승남 차량출입통제 시스템을 위한 카메라 제어방법
FR2953313B1 (fr) * 2009-11-27 2012-09-21 Thales Sa Systeme optronique et procede d'elaboration d'images en trois dimensions dedies a l'identification
CN102104709B (zh) * 2009-12-21 2013-01-30 展讯通信（上海）有限公司 相机拍摄图像的处理方法及相机
US8228406B2 (en) 2010-06-04 2012-07-24 Apple Inc. Adaptive lens shading correction
CN105100550A (zh) * 2014-04-21 2015-11-25 展讯通信（上海）有限公司 阴影校正方法及装置、成像系统
JP6533050B2 (ja) * 2014-11-13 2019-06-19 クラリオン株式会社 車載カメラシステム
CN113905218B (zh) * 2021-05-25 2022-10-28 荣耀终端有限公司 颜色阴影校正方法、电子设备、芯片系统及存储介质
US11752951B2 (en) * 2021-07-06 2023-09-12 Robert Bosch Gmbh Vehicle mounted virtual visor system that localizes a resting head pose

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5818523A (en) * 1995-02-16 1998-10-06 Samsung Electronics Co., Ltd. Method of correcting white shading for video cameras and apparatus adopting the same
JP2003069889A (ja) * 2001-08-24 2003-03-07 Fuji Photo Film Co Ltd 撮像装置並びに画像出力装置
US20030234864A1 (en) * 2002-06-20 2003-12-25 Matherson Kevin J. Method and apparatus for producing calibration data for a digital camera
US20040041919A1 (en) * 2002-08-27 2004-03-04 Mutsuhiro Yamanaka Digital camera
JP2004247880A (ja) * 2003-02-12 2004-09-02 Hitachi Kokusai Electric Inc シェーディング補正方法およびその装置
US20050146733A1 (en) * 2002-02-26 2005-07-07 Koenig & Bauer Aktiengesellschaft Method for correcting the image data o a camera system
US20050185066A1 (en) * 2004-02-25 2005-08-25 Fuji Photo Film Co., Ltd. Image taking apparatus
JP2005352789A (ja) * 2004-06-10 2005-12-22 Sony Corp 電子カメラのシェーディング補正データ取得方法及び画像処理装置
JP2006054927A (ja) * 2005-11-04 2006-02-23 Matsushita Electric Ind Co Ltd シェーディング補正方法
US20060045512A1 (en) * 2004-09-01 2006-03-02 Matsushita Electric Industrial Co., Ltd. Image input device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5805213A (en) * 1995-12-08 1998-09-08 Eastman Kodak Company Method and apparatus for color-correcting multi-channel signals of a digital camera
JP4366768B2 (ja) * 1999-07-21 2009-11-18 株式会社ニコン デジタルカメラおよびコンピュータ読み取り可能な記録媒体
JP3551854B2 (ja) * 1999-09-01 2004-08-11 ミノルタ株式会社 デジタル撮影装置、画像データ処理装置、デジタル撮影方法および記録媒体
JP3664123B2 (ja) * 2001-10-03 2005-06-22 ソニー株式会社 撮像装置および画質補正方法
US6573932B1 (en) * 2002-03-15 2003-06-03 Eastman Kodak Company Method for automatic white balance of digital images
JP4295149B2 (ja) * 2004-03-26 2009-07-15 富士フイルム株式会社 色シェーディング補正方法および固体撮像装置
US7586521B2 (en) * 2006-01-27 2009-09-08 Nethra Imaging Inc. Automatic color calibration of an image sensor

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5818523A (en) * 1995-02-16 1998-10-06 Samsung Electronics Co., Ltd. Method of correcting white shading for video cameras and apparatus adopting the same
JP2003069889A (ja) * 2001-08-24 2003-03-07 Fuji Photo Film Co Ltd 撮像装置並びに画像出力装置
US20050146733A1 (en) * 2002-02-26 2005-07-07 Koenig & Bauer Aktiengesellschaft Method for correcting the image data o a camera system
US20030234864A1 (en) * 2002-06-20 2003-12-25 Matherson Kevin J. Method and apparatus for producing calibration data for a digital camera
US20040041919A1 (en) * 2002-08-27 2004-03-04 Mutsuhiro Yamanaka Digital camera
JP2004247880A (ja) * 2003-02-12 2004-09-02 Hitachi Kokusai Electric Inc シェーディング補正方法およびその装置
US20050185066A1 (en) * 2004-02-25 2005-08-25 Fuji Photo Film Co., Ltd. Image taking apparatus
JP2005352789A (ja) * 2004-06-10 2005-12-22 Sony Corp 電子カメラのシェーディング補正データ取得方法及び画像処理装置
US20060045512A1 (en) * 2004-09-01 2006-03-02 Matsushita Electric Industrial Co., Ltd. Image input device
JP2006054927A (ja) * 2005-11-04 2006-02-23 Matsushita Electric Ind Co Ltd シェーディング補正方法

Also Published As

Publication number Publication date
EP2011329A2 (fr) 2009-01-07
US20090251567A1 (en) 2009-10-08
KR20090016454A (ko) 2009-02-13
JP5185253B2 (ja) 2013-04-17
US8482629B2 (en) 2013-07-09
WO2007116186A3 (fr) 2007-12-21
CN101444083A (zh) 2009-05-27
EP2011329B1 (fr) 2019-01-23
FR2899696A1 (fr) 2007-10-12
CN101444083B (zh) 2011-06-15
JP2009532969A (ja) 2009-09-10
KR101504564B1 (ko) 2015-03-20
FR2899696B1 (fr) 2008-06-20

Similar Documents

Publication Publication Date Title
EP2011329B1 (fr) Procédé de traitement d'un phénomène d'éclairement relatif sur une image numérique et système de traitement associé
EP1415275B1 (fr) Procede et systeme pour fournir des informations formatees a des moyens de traitement d'images
CA2835047C (fr) Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs
EP1412918B1 (fr) Procede et systeme pour produire des informations formatees liees aux distorsions geometriques
EP2457379B1 (fr) Procédé d'estimation d'un défaut d'un système de capture d'images et systèmes associés
EP2191322B1 (fr) Procédé d'accroissement de la profondeur de champ d'un système optique
JP4133052B2 (ja) デジタル撮像システム
Wang et al. The design of an inexpensive very high resolution scan camera system
FR2985856A1 (fr) Capteur d'image comprenant des pixels a bande spectrale etroite pour analyse colorimetrique
FR2747530A1 (fr) Procede d'analyse d'un film cinematographique dans un appareil de telecinema
FR3054707A3 (fr) Procede d'acquisition d'images en couleurs sous eclairage ambiant inconnu
WO2021239990A1 (fr) Procédé de reconstruction d'une image, notamment d'une image exacte en couleur, programme d'ordinateur, dispositif et système associés
WO2023247457A1 (fr) Appareil photographique couleur et monochrome
FR2827460A1 (fr) Procede et systeme pour fournir, selon un format standard, a des logiciels de traitement d'images des informations liees aux caracteristiques des appareils de capture d'image et/ou des moyens de resti
Cao et al. Characterization and measurement of color fringing

Legal Events

Date Code Title Description
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2009503632

Country of ref document: JP

Ref document number: 8383/DELNP/2008

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2007731877

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 200780017550.2

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 12296019

Country of ref document: US