WO2016152414A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
WO2016152414A1
WO2016152414A1 PCT/JP2016/056352 JP2016056352W WO2016152414A1 WO 2016152414 A1 WO2016152414 A1 WO 2016152414A1 JP 2016056352 W JP2016056352 W JP 2016056352W WO 2016152414 A1 WO2016152414 A1 WO 2016152414A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel value
pixel
processing
image processing
Prior art date
Application number
PCT/JP2016/056352
Other languages
English (en)
French (fr)
Inventor
江藤　博昭
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201680016399.XA priority Critical patent/CN107431793A/zh
Priority to US15/559,399 priority patent/US10412356B2/en
Priority to EP16768317.6A priority patent/EP3276956B1/en
Priority to JP2017508140A priority patent/JP6702306B2/ja
Publication of WO2016152414A1 publication Critical patent/WO2016152414A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86—Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Definitions

  • the present disclosure relates to an image processing apparatus, an image processing method, and a program. More specifically, the present invention relates to an image processing apparatus, an image processing method, and a program that perform processing for restoring the gradation and color of a pixel region such as a whiteout region in a captured image.
  • Solid-state imaging devices such as CCD image sensors and CMOS (Complementary Metal Oxide Semiconductor) image sensors used in video cameras and digital still cameras accumulate charges according to the amount of incident light and output electrical signals corresponding to the accumulated charges. Perform photoelectric conversion.
  • CMOS Complementary Metal Oxide Semiconductor
  • the amount of stored charge reaches a saturation level when the amount of light exceeds a certain level, and the subject area with a certain level of brightness is set to a saturated luminance level. So-called overexposure occurs.
  • One technique for avoiding such overexposure is a process of controlling the charge accumulation period in the photoelectric conversion element to adjust the exposure time and controlling the sensitivity to an optimum value according to changes in external light or the like. is there. For example, for a bright subject, the exposure time is shortened by turning the shutter at a high speed, the charge accumulation period in the photoelectric conversion element is shortened, and an electric signal is output before the accumulated charge amount reaches the saturation level. By such processing, it is possible to output an image in which the gradation corresponding to the subject is accurately reproduced.
  • a technique for realizing such processing a technique is known in which a plurality of images having different exposure times are continuously photographed and combined. That is, a long-exposure image and a short-exposure image are taken individually and continuously, a long-exposure image is used for dark image areas, and a bright image area that is overexposed for long-exposure images.
  • This is a technique for generating one image by a synthesis process using a short-time exposure image. In this way, by combining a plurality of different exposure images, an image having a wide dynamic range without overexposure, that is, a wide dynamic range image (HDR image) can be obtained.
  • HDR image wide dynamic range image
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2000-50151 discloses a configuration in which two images set with a plurality of different exposure times are photographed and these images are combined to obtain a wide dynamic range image. Yes.
  • processing using a plurality of long exposure images and short exposure images as described above can be used as processing for still images, but is difficult to apply to moving images.
  • long-exposure images and short-exposure images are alternately photographed for each frame constituting a movie and image processing is performed, there are various problems such as a decrease in display frame rate, an increase in processing load, and difficulty in real-time display. This is because problems occur.
  • the identity between the captured image and the observed image is required. If multiple images are combined and displayed as described above, a time delay will occur in the display image. If real-time display is required, such as with an endoscope, applying multiple images is not possible. Can not.
  • An object is to provide an image processing apparatus, an image processing method, and a program for generating a high-quality image.
  • the first aspect of the present disclosure is: An image processing unit that inputs a RAW image corresponding to an output image of the image sensor and executes image processing on the input RAW image;
  • the image processing unit A demosaic processing unit that generates an R image, a G image, and a B image in which RGB colors are set for all pixels by demosaic processing on the RAW image;
  • a white balance processing execution unit that performs white balance processing on each RGB image generated by the demosaic processing unit;
  • a pixel value estimation unit that performs pixel value estimation processing of G pixels in a saturated pixel region of the G image after the white balance processing;
  • the pixel value estimating unit The image processing apparatus executes pixel value estimation processing by applying the pixel values of the R image and the B image after white balance processing at the same position as the pixel position of the G pixel that is the pixel value estimation target.
  • the second aspect of the present disclosure is: An image processing method for executing image processing in an image processing apparatus,
  • the image processing apparatus includes an image processing unit that inputs a RAW image corresponding to an output image of the image sensor and executes image processing on the input RAW image;
  • the image processing unit Demosaicing processing for generating R image, G image, and B image in which RGB colors are set for all pixels by demosaicing processing on the RAW image;
  • a white balance process for executing a white balance process for each of the RGB images generated by the demosaic process; Performing a pixel value estimation process for performing a G pixel value estimation process in a saturated pixel region of the G image after the white balance process;
  • the image processing unit in the pixel value estimation process,
  • the pixel value estimation processing is executed by applying the pixel values of the R image and the B image after white balance processing at the same position as the pixel position of the G pixel that is the pixel value estimation target.
  • the third aspect of the present disclosure is: A program for executing image processing in an image processing apparatus,
  • the image processing apparatus includes an image processing unit that inputs a RAW image corresponding to an output image of the image sensor and executes image processing on the input RAW image;
  • the program is stored in the image processing unit.
  • the program of the present disclosure is a program that can be provided by, for example, a storage medium or a communication medium provided in a computer-readable format to an information processing apparatus or a computer system that can execute various program codes.
  • a program in a computer-readable format, processing corresponding to the program is realized on the information processing apparatus or the computer system.
  • system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
  • the image processing unit includes an image processing unit that inputs a RAW image corresponding to the output image of the image sensor and executes image processing on the input RAW image.
  • the image processing unit executes demosaic processing for generating R images, G images, and B images in which RGB colors are set for all pixels by demosaic processing for the RAW image, and white balance processing for each RGB image after the demosaic processing. Furthermore, pixel value estimation processing of G pixels in the saturated pixel region of the G image after white balance processing is executed.
  • a pixel value estimation process that applies the pixel values of the R image and the B image after white balance processing at the same position as the pixel position of the G pixel that is the pixel value estimation target is executed.
  • the overexposed area is reduced, and it is possible to generate and output an image expressing the color and gradation of the subject with high accuracy.
  • FIG. 1 shows an example of an apple image taken by an imaging device which is an example of an image processing device. Light is irradiated from the front upper part of the apple shown in the figure, and a portion with a lot of reflected light is a “whiteout” region.
  • the “whiteout” area is an area where the original color and gradation of the subject is lost and output and displayed in pure white.
  • the example shown in the figure is an example in which a red apple is photographed, but the overexposed area is an area where the red color of the apple is not reproduced at all, and the color and gradation cannot be confirmed.
  • FIG. 2 shows an example of an image sensor of the image pickup apparatus.
  • the image sensor shown in FIG. 2 is an array in which RGB pixels are regularly arranged, and is called a Bayer array.
  • the imaging element has a configuration in which a filter that selectively transmits each color of RGB is provided on a semiconductor element that accumulates charges according to the amount of light.
  • the output image of the image sensor is an image having one pixel value of RGB for each pixel.
  • the output image of this image sensor is called a RAW image.
  • the RAW image one color per pixel, that is, a pixel value corresponding to any one of RGB is recorded.
  • An image processing unit of the imaging apparatus for example, a DSP (digital signal processor) inputs the output of the imaging device (A / D conversion data of the RAW image), and uses the input RAW image to each pixel of RGB colors. Process to set the value. This process is called demosaic process or debayer process. The demosaic process will be described with reference to FIG.
  • FIG. 4A is a diagram schematically showing an example of an image of an apple having a whiteout area described with reference to FIG. 1 and an enlarged view of the whiteout area.
  • the pixel positions of the R image, the G image, and the B image corresponding to one horizontal line PQ in the enlarged view of the whiteout region shown in FIG. 4A are the same as the RGB images shown in FIG. It is assumed that the pixel area is composed of the third white rectangular line from the top.
  • Each RGB image shown in FIG. 4B is an image generated from the RAW image by the demosaic process described with reference to FIG.
  • the pixel areas P to Q of the third white rectangular area from the top of each RGB image shown in FIG. 4B correspond to the horizontal line PQ in the enlarged view of the whiteout area shown in FIG.
  • FIG. 5B is the same diagram as FIG.
  • the R image and the B image have a pixel value of 100% or less at all pixel positions between P and Q, and no saturated pixel value is set.
  • the G image is 100% within a predetermined range in the central portion between P and Q. This section indicates that the pixel value is saturated.
  • FIG. 6D is a diagram illustrating an example of correction of pixel values in lines P to Q of each RGB image by white balance (WB) processing.
  • the white balance process is executed to bring the white area of the output image closer to the actual white color.
  • This white balance process is executed as a process of multiplying each RGB pixel value by a predetermined WB parameter according to the characteristics of the image sensor, for example.
  • the R pixel value after the WB processing is calculated by multiplying the R pixel value by the multiplication parameter 2.5.
  • the B pixel value after the WB processing is calculated by multiplying the B pixel value by the multiplication parameter 2.0.
  • the WB process is executed as a process of changing each RB pixel value by multiplying only R and B by a predetermined parameter using the G pixel as a reference.
  • the pixel value after the WB process is a value at which the maximum value of the R pixel value reaches approximately 200% and the maximum value of the B pixel reaches approximately 200%.
  • the image processing unit of the imaging apparatus further generates data for output to the display unit or image data for storage in the storage unit based on the image (RGB image) after the white balance processing. This process will be described with reference to FIG.
  • FIG. 7 (d) is the same diagram as FIG. 6 (d).
  • FIG. 7E is a diagram for explaining a processing example for generating display unit output or image data for storage unit storage based on the image (RGB image) after the white balance processing shown in FIG.
  • a display device capable of displaying an SDR (Standard Dynamic Range) image
  • RGB image image after white balance processing
  • the white balance (WB) processing described with reference to FIG. 6 generates a pixel value setting area of 100% or more, and the 100% or more pixel area is all made 100%. Execute the clip processing to be set.
  • RGB output pixel values shown in FIG. 7E are determined and output to the display unit.
  • RGB maximum output pixel values
  • this section is output as a whiteout area.
  • the original color and gradation of the subject cannot be identified at all, which is a major factor that degrades the image quality.
  • FIG. 8D is a diagram similar to that described with reference to FIG. 6D, and is a diagram illustrating an example of white balance (WB) processing for an RGB image after demosaicing.
  • WB white balance
  • FIG. 8F shows an example of processing for estimating the pixel value of the subject in a saturated pixel region of 100% or more of the G image using the RGB image after the white balance (WB) processing.
  • the R and B pixel values are multiplied by one or more white balance multiplication parameters.
  • a pixel value of 100% or more corresponding to the saturated pixel value of the image sensor is set in the R image and the B image.
  • the G image is often not subjected to pixel value conversion during the white balance process, and therefore, a pixel value of 100% or more does not occur.
  • processing for estimating the pixel value of the saturated pixel region (100% region) of the G image is executed based on the R image and the B image generated by the white balance processing.
  • the pixel value G (x, y) of the G pixel at each coordinate (x, y) position of the saturated pixel region (100% region) is A pixel value R (x, y) at the same pixel position (x, y) of the R image after white balance processing; Pixel value B (x, y) at the same pixel position (x, y) of the R image after white balance processing; Estimate using these.
  • the pixel sections G1 to G2 in the pixel sections P to Q are saturated pixel areas (100%).
  • G pixel values in the pixel sections G1 to G2 are estimated using the pixel value R (x, y) and the pixel value B (x, y) at the same pixel position (x, y) of the RB image after the white balance processing. To do.
  • FIG. 9 shows an example of (a) an occurrence region of a whiteout region in a conventional captured image, and (b) a corresponding pixel position of an RGB image applied to G pixel value estimation processing.
  • the pixel areas P to Q of the third white rectangular area from the top of each RGB image shown in FIG. 9B correspond to the horizontal line PQ in the enlarged view of the whiteout area shown in FIG. 9A.
  • a pixel value at one pixel position (x, y) (2, 3) indicated by a thick frame in the G image shown in FIG.
  • the pixel value G (2, 3) is a saturated pixel value (100%)
  • the original pixel value at this pixel position (2, 3) that is, the original pixel value G (2, 3) of 100% or more is set.
  • the pixel value G ( 2, 3) that is, an original pixel value of 100% or more is estimated.
  • This estimation process is a process based on the phenomenon that the color observed from the subject depends on the light source characteristics, the reflectance of the object, and the visual characteristics.
  • the color observed from the subject will be described with reference to FIG. As shown in FIG. 10, the color observed from the subject is defined by the following calculation formula.
  • Color light source characteristics x object reflectance x visual characteristics
  • FIG. 10A shows the sun as an example of a light source.
  • the solar light source S ( ⁇ ) has light having a wavelength of about 400 nm to 760 nm as light in the visible light range.
  • FIG. 10B shows a red apple as an example of the object. As shown in the figure, the reflectance of the red apple is high in the red part of the long wavelength region, but even in the short wavelength region corresponding to the blue region, the reflectance is not 0 and has a predetermined amount of reflectance. .
  • FIG. 10C shows the visual characteristics of the human eye.
  • the human eye has individual cells that transmit signals according to the input of RGB wavelength light.
  • the cell has three different visual sensitivity characteristics such as the R, G, and B curves in the lower graph of FIG. 10 (c), and the color is determined based on these outputs.
  • the color that people judge by observing the subject is Light source characteristics, Object reflectivity, Visual characteristics It depends on these three elements, and can be expressed by, for example, the following expression.
  • Color light source characteristics x object reflectance x visual characteristics
  • the process of the present disclosure is a process for estimating the original pixel value of the G pixel in the pixel value saturated area corresponding to the overexposed area from the actual pixel value of the RB pixel based on such prediction.
  • Step S1 The ratio (ratio) between R (x, y) and B (x, y) is determined according to the following formula within a range where the value of G (x, y) is valid.
  • GR_ratio (x, y) G (x, y) / R (x, y)
  • GB_ratio (x, y) G (x, y) / B (x, y)
  • Step S2 In a range where the value of G (x, y) is not valid, the pixel value G (x, y) is estimated according to the following equation using GR_ratio and GB_ratio.
  • G (x, y) max (G (x, y), (GR_ratio ⁇ R (x, y) + GB_ratio ⁇ G (x, y)) / 2.0)
  • max (a, b) indicates processing for selecting the maximum value from a and b.
  • step S1 is as follows: This is a process using RGB pixel values in a range where the value of G (x, y) has an effective value.
  • the P to G1 section of the G image and the P2 to G1 section and the G2 to Q section are sections having effective pixel values equal to or less than the saturated pixel value (100%), and the pixel values of these sections Is used to determine the ratio (ratio) between R (x, y) and B (x, y).
  • the RGB pixel positions used in the above equations are all the same coordinate position.
  • the process of step 2 is a process of calculating a new estimated pixel value in a range where the value of G (x, y) is not valid, that is, in a region where the pixel value of the G pixel is a saturated pixel value (100%).
  • GR ratio GR_ratio
  • GB_ratio GB ratio
  • an estimated pixel value G (x, y) in the saturated pixel value (100%) region is calculated according to the following equation.
  • G (x, y) max (G (x, y), (GR_ratio ⁇ R (x, y) + GB_ratio ⁇ G (x, y)) / 2.0)
  • the RGB pixel positions used in the above formula are all the same coordinate positions.
  • the pixel value of the region where the value of G (x, y) is not valid that is, the region where the pixel value of the G pixel is the saturated pixel value (100%) is estimated.
  • This result is the pixel value of the dotted line shown in the range of 100% to 200% of the G image shown in FIG.
  • image data in which pixel values in the range of 0 to 200% of pixel values are set for each of R, G, and B is generated.
  • the RGB image formed from the pixel values of 0 to 200% can be displayed on an HDR (High Dynamic Range) display device that can output a high dynamic range image, but a general SDR (Standard Dynamic) can be displayed. Range) It cannot be displayed on a display device.
  • tone mapping process In order to display on an SDR display device, it is necessary to perform processing for converting an RGB image having a pixel value of 0 to 200% shown in FIG. 11 into an image having a pixel value of 0 to 100%. This pixel value conversion process is called tone mapping process.
  • the tone mapping process will be described with reference to FIG.
  • the tone mapping process is a process of converting a high dynamic range (HDR) image into a normal SDR image having a low dynamic range, and generating an image composed of pixel values that can be output to a general SDR display device.
  • HDR high dynamic range
  • FIG. 12A shows an RGB image generated by performing the G pixel value estimation process using the RGB image after the white balance (WB) process described above with reference to FIG.
  • the pixel value of each RGB image is in the range of 0 to 200%, and corresponds to an HDR image having a dynamic range that cannot be expressed by a normal SDR display device.
  • a pixel value of 0 to 100% corresponds to a pixel value that can be expressed by 8-bit data of 0 to 255
  • a pixel value of 0 to 200% is a pixel value of 0 to 511, for example.
  • An SDR display device that can output 8-bit data can output a pixel value of 0 to 255, but cannot output a pixel value of 0 to 511.
  • Tone mapping processing is executed as processing for converting the RGB image corresponding to the HDR image having pixel values of 0 to 511 into an SDR image having pixel values of 0 to 255.
  • An example of tone mapping processing will be described.
  • the tone mapping process can be executed as, for example, a process using a photoelectric conversion function (OETF: Optical-Electro Transfer Function). Specifically, for example, according to the following formula, this is executed as a process of converting the pixel value.
  • OETF Optical-Electro Transfer Function
  • V output voltage
  • L luminance (Luminance)
  • a, b, c, d, e Conversion coefficients (conversion parameters)
  • a, b, c, d, and e are appropriately set according to, for example, the characteristics of the display unit.
  • the above expression is an example of an expression for calculating the output voltage (V) that defines the output pixel value in the SDR display device.
  • the pixel value conversion formula in the tone mapping process is not limited to the above formula, and various conversion formulas can be applied according to the characteristics of the display device.
  • the tone mapping process converts an HDR equivalent image having a pixel value of 0 to 200% into an SDR equivalent image having a pixel value of 0 to 100%.
  • the converted image signal is an image signal having a pixel value of 100% or less, for example, a pixel value in the range of 0 to 255 of 8-bit digital data, and can be displayed on the SDR display device.
  • FIG. 13 (3) shows an example of an RGB image signal generated by tone mapping processing. All of the RGB image signals are within a range of pixel values (0 to 100%) that can be expressed as, for example, 8-bit data that can be output as effective pixel values to the SDR display device.
  • this RGB image signal is displayed on the SDR display device, as shown in FIG. 13 (4), it is possible to display and output an image in which the whiteout region disappears or is reduced.
  • the process described above can be executed as a process for each captured image, and can be applied not only to still images but also to moving images.
  • the process of combining a plurality of long exposure images and short exposure images described above as a dynamic range expansion process for a still image requires processing time and is difficult to apply to a moving image.
  • the configuration using the G pixel value estimation process described above can be executed as a process for each captured image (frame) constituting the moving image, and the captured moving image can be processed without causing a large delay in processing time. Display can be performed.
  • this processing is optimal when it is necessary to check the captured image in real time and perform processing.
  • One specific example is an endoscope.
  • an endoscope When performing an operation using an endoscope, the sameness of the captured image and the observed image, that is, real-time property is required.
  • the configuration using the G pixel value estimation process described above can immediately correct and display a captured image, and is optimal for a shooting display process that requires real-time performance.
  • processing according to the flow shown in FIG. 14 is executed, for example, in an image processing unit (for example, DSP: Digital Signal Processor) having a program execution function.
  • the program is stored in a storage unit (memory), and is read and executed by the image processing unit.
  • a storage unit memory
  • the process of each step of the flow shown in FIG. 14 will be described in order.
  • Step S101 First, in step S101, the image processing unit of the image processing apparatus inputs a RAW image obtained as an output of the image sensor.
  • the RAW image is image data in which only one of RGB pixel values is set at each pixel position.
  • step S102 the image processing unit executes demosaic processing on the RAW image.
  • the demosaic process uses a RAW image in which only one color of one pixel, that is, only one pixel value of RGB is set, and all RGB colors are assigned to each pixel.
  • This is processing for generating a set image, that is, an R image, a G image, and a B image shown in FIGS.
  • the R pixel value at the G and B pixel positions in the RAW image is performed as an interpolation process using the pixel values of the surrounding R pixels.
  • interpolation processing using surrounding G pixel values and B pixel values is performed for pixels for which pixel values are not set, and G images and B images are generated.
  • step S103 the image processing unit executes white balance (WB) processing.
  • the white balance process is executed to bring the white area of the output image closer to the actual white color.
  • the white balance process is executed as a process of multiplying each RGB pixel value by a predetermined WB parameter in accordance with, for example, the characteristics of the image sensor.
  • the R pixel value after the WB processing is calculated by multiplying the R pixel value by the multiplication parameter 2.5.
  • the B pixel value after the WB processing is calculated by multiplying the B pixel value by the multiplication parameter 2.0.
  • the WB process is executed as a process of changing each RB pixel value by multiplying only R and B by a predetermined parameter using the G pixel as a reference.
  • the pixel value after the WB process is a value at which the maximum value of the R pixel value reaches approximately 200% and the maximum value of the B pixel reaches approximately 200%.
  • Step S104 the image processing unit executes a pixel value estimation process for a G pixel having a saturated pixel value (100%). This process is the process described above with reference to FIGS.
  • Step S1 The ratio (ratio) between R (x, y) and B (x, y) is determined according to the following formula within a range where the value of G (x, y) is valid.
  • GR_ratio (x, y) G (x, y) / R (x, y)
  • GB_ratio (x, y) G (x, y) / B (x, y)
  • Step S2 In a range where the value of G (x, y) is not valid, the pixel value G (x, y) is estimated according to the following equation using GR_ratio and GB_ratio.
  • G (x, y) max (G (x, y), (GR_ratio ⁇ R (x, y) + GB_ratio ⁇ G (x, y)) / 2.0)
  • max (a, b) indicates processing for selecting the maximum value from a and b.
  • the estimated pixel value is calculated in a range where the value of G (x, y) is not valid, that is, in a region where the pixel value of the G pixel is a saturated pixel value (100%).
  • This result is the pixel value of the dotted line shown in the range of 100% to 200% of the G image shown in FIG.
  • step S105 the image processing unit executes signal conversion processing corresponding to the characteristics of the output display unit, that is, tone mapping processing.
  • the image data generated by the white balance processing and the G pixel value estimation processing is 0 in which 0 to 100%, which is the output pixel value range of the image sensor, is increased as described with reference to FIGS. It has a pixel value of ⁇ 200%. If a pixel value of 0 to 100% that is an output pixel value range of the image sensor is an 8-bit pixel value of 0 to 255, for example, a pixel value of 0 to 200% corresponds to a pixel value of 0 to 511.
  • An SDR display device that can output 8-bit data can output a pixel value of 0 to 255, but cannot output a pixel value of 0 to 511.
  • Tone mapping is executed as a process of converting an RGB image corresponding to an HDR image having pixel values of 0 to 511 into an SDR image having pixel values of 0 to 255.
  • tone mapping can be executed as a process using a photoelectric conversion function (OETF: Optical-Electro Transfer Function).
  • Image data that can be output to the SDR display device is generated by the tone mapping process. This process corresponds to the process described above with reference to FIGS.
  • step S106 the image processing unit of the image processing apparatus outputs the generated signal generated by the tone mapping process in step S105 to the outside via the display unit or the output unit. Alternatively, it is stored in a memory. As described above with reference to FIG. 13, the image displayed on the display unit is an image in which the whiteout region disappears or decreases.
  • the processing described with reference to the flowchart shown in FIG. 14 is executed as processing for each captured image. If the captured image is a still image, it is executed as a process for one captured still image. If the captured image is a moving image, the processing is repeated for each frame as the processing of one frame unit constituting the moving image.
  • the processing according to the flow shown in FIG. 14 can be executed as processing for each captured image (frame) constituting the moving image, and the captured moving image can be displayed without causing a large delay in processing time. .
  • This processing is optimal when it is necessary to check the captured image in real time and perform processing as described above.
  • the identity between the captured image and the observed image, that is, real-time property is required, but the processing according to the flow shown in FIG. Can be immediately corrected and displayed, and is optimal for imaging display processing that requires real-time performance, such as when performing surgery while using an endoscope.
  • FIG. 15 is a diagram illustrating a configuration example of the imaging apparatus 10.
  • the imaging device 10 is roughly composed of an optical system, a signal processing system, a recording system, a display system, and a control system.
  • the optical system includes a lens 11 that collects an optical image of a subject, a diaphragm 12 that adjusts the amount of light of the optical image from the lens 11, and an imaging device (image) that photoelectrically converts the collected optical image into an electrical signal.
  • Sensor 13 is composed of, for example, a CCD (Charge Coupled Devices) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like.
  • the image sensor 13 is an image sensor having a color filter (color filter) having a Bayer array composed of RGB pixels described above with reference to FIG. 2, for example. For each pixel, a pixel value corresponding to one of RGB colors corresponding to the arrangement of the color filters is set.
  • the array shown in FIG. 2 is an example of the pixel array of the image sensor 13, and the image sensor 13 can have other various settings.
  • the signal processing system includes a sampling circuit 14, an A / D (Analog / Digital) conversion unit 15, and an image processing unit (DSP) 16.
  • a / D Analog / Digital
  • DSP image processing unit
  • the sampling circuit 14 is realized by, for example, a correlated double sampling circuit (CDS: Correlated Double Sampling), and generates an analog signal by sampling an electrical signal from the image sensor 13. Thereby, the noise which generate
  • the analog signal obtained in the sampling circuit 14 is an image signal for displaying a captured image of the subject.
  • the A / D conversion unit 15 converts the analog signal supplied from the sampling circuit 14 into a digital signal and supplies the digital signal to the image processing unit 16.
  • the image processing unit 16 performs predetermined image processing on the digital signal input from the A / D conversion unit 15. Specifically, image data (RAW image) composed of pixel value data of one of RGB colors is input in units of pixels described above with reference to FIG. 2, and noise included in the input RAW image is input. Execute noise reduction processing to reduce.
  • RAW image image data composed of pixel value data of one of RGB colors
  • the image processing unit 16 performs general processing such as demosaic processing for setting pixel values corresponding to all RGB colors at each pixel position of the RAW image, white balance (WB) adjustment, gamma correction, and the like. Also performs signal processing in a simple camera. Further, the G pixel estimation process having the saturated pixel value described above, the subsequent tone mapping process, and the like are executed.
  • the recording system includes an encoding / decoding unit 17 that encodes or decodes an image signal, and a memory 18 that records the image signal.
  • the encoding / decoding unit 17 encodes an image signal that is a digital signal processed by the image processing unit 16 and records the encoded image signal in the memory 18. Further, the image signal is read out from the memory 18, decoded, and supplied to the image processing unit 16.
  • the display system includes a D / A (Digital / Analog) conversion unit 19, a video encoder 20, and a display unit 21.
  • the D / A conversion unit 19 converts the image signal processed by the image processing unit 16 into an analog signal and supplies it to the video encoder 20.
  • the video encoder 20 adapts the image signal from the D / A conversion unit 19 to the display unit 21.
  • the display unit 21 is realized by, for example, an LCD (Liquid Crystal Display) or the like, and displays an image corresponding to the video signal based on the video signal obtained by encoding in the video encoder 20.
  • the display unit 21 also functions as a viewfinder when capturing an image of a subject.
  • the control system includes a timing generation unit 22, an operation input unit 23, a driver 24, and a control unit (CPU) 25.
  • the image processing unit 16, the encoding / decoding unit 17, the memory 18, the timing generation unit 22, the operation input unit 23, and the control unit 25 are connected to each other via a bus 26.
  • the timing generation unit 22 controls the operation timing of the image sensor 13, the sampling circuit 14, the A / D conversion unit 15, and the image processing unit 16.
  • the operation input unit 23 includes buttons, switches, and the like. The operation input unit 23 receives a shutter operation or other command input by the user, and supplies a signal corresponding to the user operation to the control unit 25.
  • a predetermined peripheral device is connected to the driver 24, and the driver 24 drives the connected peripheral device.
  • the driver 24 reads data from a recording medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory connected as a peripheral device and supplies the data to the control unit 25.
  • the control unit 25 controls the entire imaging apparatus 10.
  • the control unit 25 includes a CPU or the like having a program execution function, reads out a control program from a recording medium connected to the driver 24 via the memory 18 or the driver 24, and controls the control program and operation. Based on a command or the like from the input unit 23, the operation of the entire imaging apparatus 10 is controlled.
  • FIG. 16 is a diagram illustrating a configuration example of the image processing unit 16 of the imaging device 10 illustrated in FIG. 15.
  • the demosaic processing execution unit 31 inputs, for example, an image (RAW image) captured by the image sensor (image sensor) 13 having a color filter array having the array described with reference to FIG. 2, and signals all colors to each pixel.
  • a demosaic process to be restored by the process is executed.
  • the white balance (WB) process execution unit 32 executes the white balance (WB) process described above with reference to FIG. For example, a process of multiplying each RGB pixel value by a predetermined WB parameter according to the characteristics of the image sensor is executed.
  • the R pixel value after the WB processing is calculated by multiplying the R pixel value by the multiplication parameter 2.5.
  • the B pixel value after the WB processing is calculated by multiplying the B pixel value by the multiplication parameter 2.0.
  • the pixel value estimation unit 33 performs a process of estimating a pixel value of a G pixel having a saturated pixel value (100%). This process is the process described above with reference to FIGS. Specifically, the following steps 1 and 2 are executed.
  • Step S1 The ratio (ratio) between R (x, y) and B (x, y) is determined according to the following formula within a range where the value of G (x, y) is valid.
  • GR_ratio (x, y) G (x, y) / R (x, y)
  • GB_ratio (x, y) G (x, y) / B (x, y)
  • Step S2 In a range where the value of G (x, y) is not valid, the pixel value G (x, y) is estimated according to the following equation using GR_ratio and GB_ratio.
  • G (x, y) max (G (x, y), (GR_ratio ⁇ R (x, y) + GB_ratio ⁇ G (x, y)) / 2.0)
  • max (a, b) indicates processing for selecting the maximum value from a and b.
  • the pixel value of the subject is estimated in a range where the value of G (x, y) is not valid, that is, in a region where the pixel value of the G pixel is a saturated pixel value (100%).
  • the output signal generation unit 34 performs signal conversion processing according to the characteristics of the output display unit, that is, tone mapping processing.
  • the image data generated by the white balance process and the G pixel value estimation process is 0 to 100%, which is the output pixel value range of the image sensor, as described above with reference to FIGS.
  • the pixel value of 0 to 200% is increased.
  • a pixel value of 0 to 100% that is an output pixel value range of the image sensor is an 8-bit pixel value of 0 to 255, for example, a pixel value of 0 to 200% corresponds to a pixel value of 0 to 511.
  • An SDR display device that can output 8-bit data can output a pixel value of 0 to 255, but cannot output a pixel value of 0 to 511.
  • Tone mapping is executed as a process of converting an RGB image corresponding to an HDR image having pixel values of 0 to 511 into an SDR image having pixel values of 0 to 255.
  • tone mapping can be executed as a process using a photoelectric conversion function (OETF: Optical-Electro Transfer Function).
  • Image data that can be output to the SDR display device is generated by the tone mapping process. This process corresponds to the process described above with reference to FIGS.
  • the processing according to the above-described embodiment is not limited to the imaging apparatus, and can be executed by, for example, a PC that inputs a RAW image and executes image processing.
  • a PC that inputs a RAW image and executes image processing.
  • a hardware configuration example of an image processing apparatus such as a PC will be described with reference to FIG.
  • FIG. 17 is a diagram illustrating a hardware configuration example of an image processing apparatus such as a PC.
  • a CPU (Central Processing Unit) 71 functions as a data processing unit that executes various processes according to a program stored in a ROM (Read Only Memory) 72 or a storage unit 78. For example, processing according to the sequence described in the above-described embodiment is executed.
  • a RAM (Random Access Memory) 73 stores programs executed by the CPU 71, data, and the like. These CPU 71, ROM 72, and RAM 73 are connected to each other by a bus 74.
  • the CPU 71 is connected to an input / output interface 75 via a bus 74.
  • the input / output interface 75 is connected to an input unit 76 including various switches, a keyboard, a mouse, a microphone, and the like, and an output unit 77 including a display, a speaker, and the like. Yes.
  • the CPU 71 executes various processes in response to commands input from the input unit 76, and outputs processing results to the output unit 77, for example.
  • the storage unit 78 connected to the input / output interface 75 includes, for example, a hard disk, and stores programs executed by the CPU 71 and various data.
  • the communication unit 79 functions as a data communication transmission / reception unit via a network such as the Internet or a local area network, and further as a broadcast wave transmission / reception unit, and communicates with an external device.
  • the drive 80 connected to the input / output interface 75 drives a removable medium 81 such as a semiconductor memory such as a magnetic disk, an optical disk, a magneto-optical disk, or a memory card, and executes data recording or reading.
  • a removable medium 81 such as a semiconductor memory such as a magnetic disk, an optical disk, a magneto-optical disk, or a memory card, and executes data recording or reading.
  • An image processing unit that inputs a RAW image corresponding to the output image of the image sensor and executes image processing on the input RAW image;
  • the image processing unit A demosaic processing unit that generates an R image, a G image, and a B image in which RGB colors are set for all pixels by demosaic processing on the RAW image;
  • a white balance processing execution unit that performs white balance processing on each RGB image generated by the demosaic processing unit;
  • a pixel value estimation unit that performs pixel value estimation processing of G pixels in a saturated pixel region of the G image after the white balance processing;
  • the pixel value estimating unit An image processing apparatus that executes pixel value estimation processing by applying the pixel values of the R image and the B image after white balance processing at the same position as the pixel position of the G pixel that is a pixel value estimation target.
  • the pixel value estimation unit includes: In the pixel position (x, y) of the effective pixel area other than the saturated pixel area of the G image after the white balance processing, Ratio GR_ratio (x, y) between G pixel value and R pixel value, Ratio GB_ratio (x, y) between G pixel value and B pixel value, Calculate the above two pixel value ratios, The pixel value ratio is applied to the pixel values of the R image and the B image after white balance processing at the same position as the pixel position of the G pixel that is the pixel value estimation target, and the G pixel value in the saturated pixel region is estimated The image processing apparatus according to (1).
  • the pixel value estimation unit includes: The image processing apparatus according to (2), wherein an effective pixel position of a G image to be applied to the calculation of the pixel value ratio is selected from effective pixel areas close to a pixel position to be a G pixel value estimation target.
  • max (a, b) is a process of selecting the maximum value from a, b, The image processing apparatus according to (2) or (3), which is calculated according to the above formula.
  • the image processing unit further includes: A tone mapping process is performed on the R image, the B image after the white balance process, and the G image having the G pixel value calculated by the pixel value estimation unit to generate a pixel value correction to generate an output image.
  • the image processing apparatus according to any one of (1) to (4), further including an output signal generation unit.
  • the output signal generator is The image processing apparatus according to (5), wherein the pixel value correction is performed using an OETF (Optical-Electro Transfer Function).
  • OETF Optical-Electro Transfer Function
  • the white balance processing execution unit executes a pixel value correction by executing a multiplication process that applies a predetermined multiplication coefficient to the R image and the B image generated by the demosaic processing unit (1). ) To (6).
  • An image processing method for executing image processing in an image processing apparatus includes an image processing unit that inputs a RAW image corresponding to an output image of the image sensor and executes image processing on the input RAW image;
  • the image processing unit Demosaicing processing for generating R image, G image, and B image in which RGB colors are set for all pixels by demosaicing processing on the RAW image;
  • the image processing unit in the pixel value estimation process, An image processing method for executing pixel value estimation processing by applying pixel values of an R image and a B image after white balance processing at the same position as the pixel position of a G pixel that is a pixel value estimation target.
  • a program for executing image processing in an image processing apparatus includes an image processing unit that inputs a RAW image corresponding to an output image of the image sensor and executes image processing on the input RAW image;
  • the program is stored in the image processing unit.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be recorded in advance on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
  • the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary.
  • the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
  • the image processing unit includes an image processing unit that inputs a RAW image corresponding to the output image of the image sensor and executes image processing on the input RAW image.
  • the image processing unit executes demosaic processing for generating R images, G images, and B images in which RGB colors are set for all pixels by demosaic processing for the RAW image, and white balance processing for each RGB image after the demosaic processing. Furthermore, pixel value estimation processing of G pixels in the saturated pixel region of the G image after white balance processing is executed.
  • a pixel value estimation process that applies the pixel values of the R image and the B image after white balance processing at the same position as the pixel position of the G pixel that is the pixel value estimation target is executed.
  • the overexposed area is reduced, and it is possible to generate and output an image expressing the color and gradation of the subject with high accuracy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)

Abstract

白とび領域を減少させ、被写体の色、階調を高精度に表現した画像を生成する装置、方法を提供する。撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有する。画像処理部は、ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理と、デモザイク処理後のＲＧＢ各画像に対するホワイトバランス処理を実行し、さらに、ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する。画素値推定処理においては、画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用した画素値推定処理を実行する。

Description

画像処理装置、および画像処理方法、並びにプログラム
　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、例えば撮影画像内の白とび領域などの画素領域の階調や色を復元する処理を行なう画像処理装置、および画像処理方法、並びにプログラムに関する。
　ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのような固体撮像デバイスは入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。
　このような白とびを回避するための一つの手法は、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御する処理がある。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。
　しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。
　このような処理を実現する手法の１つとして、露光時間の異なる複数の画像を連続的に撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像、すなわち広ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。
　例えば特許文献１（特開２０００－５０１５１号公報）は、複数の異なる露光時間を設定した２枚の画像を撮影し、これらの画像を合成して広いダイナミックレンジの画像を得る構成を開示している。
　しかし、このように長時間露光画像と短時間露光画像の複数画像を用いる処理は、静止画に対する処理としては利用できるが、動画に適用することは困難である。動画を構成する各フレーム単位で長時間露光画像と短時間露光画像を交互に撮影して画像処理を行なうと、表示フレームレートの低下や、処理負荷の増大、リアルタイム表示の困難性等、様々な問題が発生するからである。
　カメラによって撮影された動画像をリアルタイムで確認して処理を行なうことが必要な場合、例えば内視鏡などを使用した手術を行う場合には、撮影画像と観察画像の同一性、すなわちリアルタイム性が要求される。
　上記のように複数画像の合成処理を行なって表示すると表示画像に時間遅れが発生することになり、内視鏡などリアルタイム表示が要求される場合には、複数画像の合成処理を適用することはできない。
特開２０００－５０１５１号公報
　本開示は、例えばこのような状況に鑑みてなされたものであり、動画、静止画を問わず、撮影画像に含まれる白とび等の高輝度領域の色や階調をより正確に再現し、高品質な画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
　本開示の第１の側面は、
　撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有し、
　前記画像処理部は、
　前記ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理部と、
　前記デモザイク処理部の生成したＲＧＢ各画像に対するホワイトバランス処理を実行するホワイトバランス処理実行部と、
　前記ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する画素値推定部を有し、
　前記画素値推定部は、
　画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用して画素値推定処理を実行する画像処理装置にある。
　さらに、本開示の第２の側面は、
　画像処理装置において、画像処理を実行する画像処理方法であり、
　前記画像処理装置は、撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有し、
　前記画像処理部が、
　前記ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理と、
　前記デモザイク処理によって生成したＲＧＢ各画像に対するホワイトバランス処理を実行するホワイトバランス処理と、
　前記ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する画素値推定処理を実行し、
　前記画像処理部は、前記画素値推定処理において、
　画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用して画素値推定処理を実行する画像処理方法にある。
　さらに、本開示の第３の側面は、
　画像処理装置において、画像処理を実行させるプログラムであり、
　前記画像処理装置は、撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有し、
　前記プログラムは、前記画像処理部に、
　前記ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理と、
　前記デモザイク処理によって生成したＲＧＢ各画像に対するホワイトバランス処理を実行するホワイトバランス処理と、
　前記ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する画素値推定処理を実行させ、
　前記プログラムは、前記画素値推定処理において、
　画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用して画素値推定処理を実行させるプログラムにある。
　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　本開示の一実施例の構成によれば、白とび領域を減少させ、被写体の色、階調を高精度に表現した画像を生成する装置、方法が実現される。
　具体的には、撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有する。画像処理部は、ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理と、デモザイク処理後のＲＧＢ各画像に対するホワイトバランス処理を実行し、さらに、ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する。画素値推定処理においては、画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用した画素値推定処理を実行する。
　本開示の処理により、白とび領域が減少し、被写体の色、階調を高精度に表現した画像を生成、出力することが可能となる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
撮像装置の撮影画像の一例として白とびの発生した画像について説明する図である。 撮像素子の画素配列の一例であるベイヤ配列について説明する図である。 デモザイク処理について説明する図である。 白とび領域と、デモザイク後の画像との対応について説明する図である。 デモザイク後のＲＧＢ画像の白とび発生領域における画素値の例について説明する図である。 ホワイトバランス（ＷＢ）処理について説明する図である。 クリップ処理について説明する図である。 Ｇ画素の画素値推定処理について説明する図である。 Ｇ画素の画素値推定処理について説明する図である。 人の観察する色について説明する図である。 Ｇ画素の画素値推定処理について説明する図である。 トーンマッピング処理について説明する図である。 トーンマッピング処理によって生成した出力画像について説明する図である。 本開示の画像処理装置が実行する画像処理のシーケンスについて説明するフローチャートについて説明する図である。 本開示の画像処理装置の構成例について説明する図である。 本開示の画像処理装置の構成例について説明する図である。 本開示の画像処理装置の構成例について説明する図である。
　以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
　　１．本開示の画像処理装置が実行する処理の概要について
　　２．画素値推定処理を実行して白とび領域を削減する実施例について
　　３．画像処理装置の実行する処理の処理シーケンスについて
　　４．画像処理装置の構成例について
　　５．本開示の構成のまとめ
　　［１．本開示の画像処理装置が実行する処理の概要について］
　まず、図１以下を参照して本開示の画像処理装置が実行する処理の概要について説明する。
　図１は、画像処理装置の一例である撮像装置によって撮影されたリンゴの画像の一例を示している。
　図に示すリンゴの前面上部から光が照射され、反射光が多い部分が「白とび」領域となっている。
　「白とび」領域は、本来の被写体の色や階調が失われ、まっ白に出力、表示される領域である。
　図に示す例は、赤いりんごを撮影した例であるが、白とび領域はりんごの赤い色が全く再現されず、色や階調を確認することができない領域となる。
　白とび領域の発生する要因について、以下簡単に説明する。
　図２に、撮像装置の撮像素子の例を示す。
　図２に示す撮像素子は、ＲＧＢの各画素が規則的に並んだ配列であり、ベイヤ配列と呼ばれる。
　撮像素子は、光量に応じて電荷を蓄積する半導体素子上にＲＧＢの各色を選択的に透過するフィルタが設けられた構成を持つ。
　撮像素子の出力画像は、各画素にＲＧＢのいずれか１つのの画素値を持つ画像となる。この撮像素子の出力画像をＲＡＷ画像と呼ぶ。
　ＲＡＷ画像には、１画素に１つの色、すなわちＲＧＢいずれか一色に対応する画素値が記録される。
　撮像装置の画像処理部、例えばＤＳＰ（デジタルシグナルプロセッサ）は、撮像素子の出力（ＲＡＷ画像のＡ／Ｄ変換データ）を入力し、入力したＲＡＷ画像を用いて、各画素にＲＧＢ全色の画素値を設定する処理を行なう。この処理は、デモザイク処理、あるいはデベイヤ処理と呼ばれる。
　図３を参照してデモザイク処理について説明する。
　デモザイク処理は、ＲＧＢいずれか一色の画素値のみが設定された図３（１）に示すＲＡＷ画像を用いて、各画素にＲＧＢの全色を設定した画像、すなわち、図３（２）～（４）に示すＲ画像、Ｇ画像、Ｂ画像を生成する処理として行われる。
　このデモザイク処理では、例えば図３（２）に示すＲ画像を生成する場合、ＲＡＷ画像中のＧ，Ｂ画素位置のＲ画素値を、周囲のＲ画素の画素値を用いた補間処理によって算出する処理が行われる。
　また、図３（３）に示すＧ画像を生成する場合には、ＲＡＷ画像中のＲ，Ｂ画素位置のＧ画素値を、周囲のＧ画素の画素値を用いた補間処理によって算出する処理が行われる。
　図３（４）に示すＢ画像を生成する場合には、ＲＡＷ画像中のＲ，Ｇ画素位置のＢ画素値を、周囲のＢ画素の画素値を用いた補間処理によって算出する処理が行われる。
　このような処理によって、ＲＡＷ画像に基づいて、全ての画素にＲＧＢ各画素値を設定するデモザイク処理が実行される。
　次に、ＲＡＷ画像に基づくデモザイク処理によって生成したＲ画像、Ｇ画像、Ｂ画像と、白とび領域との関係について、図４以下を参照して説明する。
　図４（ａ）は、図１を参照して説明した白とび領域を持つりんごの画像の例と、白とび領域の拡大図を模式的に示した図である。
　図４（ａ）に示す白とび領域の拡大図内の１つの水平ラインＰＱに対応する画素位置のＲ画像、Ｇ画像、Ｂ画像の画素位置が、図４（ｂ）に示すＲＧＢ各画像の上から３番目の白い矩形領域のラインからなる画素領域であるとする。
　図４（ｂ）に示すＲＧＢ各画像は、図３を参照して説明したデモザイク処理によってＲＡＷ画像から生成した画像である。
　図４（ｂ）に示すＲＧＢ各画像の上から３番目の白い矩形領域の画素領域Ｐ～Ｑが、図４（ａ）に示す白とび領域の拡大図内の水平ラインＰＱに対応する。
　このＰＱラインの画素値の例を図５に示す。
　図５（ｂ）は、図４（ｂ）と同じ図である。
　図５（ｃ）は、ＲＧＢ各画像のラインＰ～Ｑにおける画素値を示す図である。
　ＲＧＢ、各々についてＰ～Ｑ間の画素値を示している。
　縦軸は、各画素の画素値に相当する。１００％は、撮像素子の蓄積電荷率＝１００％を意味し、飽和画素値に相当する。例えば画素値を８ビットデジタルデータ（０～２５５）で表見した場合、ビット値＝２５５（１１１１１１１１）に相当する。
　図に示す例において、Ｒ画像、およびＢ画像は、Ｐ～Ｑ間の全ての画素位置において１００％以下の画素値を有しており、飽和画素値は設定されていない。
　しかし、Ｇ画像は、Ｐ～Ｑ間の中心部の所定範囲で１００％となっている。この区間は画素値が飽和状態であることを示している。
　撮像装置の画像処理部では、図５（ｃ）に示すデモザイク後のＲ画像、Ｇ画像、Ｂ画像を用いて、次にホワイトバランス（ＷＢ）処理を実行する。
　ホワイトバランス（ＷＢ）処理の例について図６を参照して説明する。
　図６（ｃ）は、図５（ｃ）と同じ図である。
　図６（ｄ）は、ホワイトバランス（ＷＢ）処理によるＲＧＢ各画像のラインＰ～Ｑにおける画素値の補正例を示す図である。
　ホワイトバランス処理は、出力画像の白領域を実際の白色に近づけるために実行される。
　このホワイトバランス処理は、例えば撮像素子の特性に応じてＲＧＢ各画素値に所定のＷＢパラメータを乗ずる処理として実行される。
　図６（ｄ）に示す例では、
　Ｒ画素値に乗算パラメータ２．５を乗じてＷＢ処理後のＲ画素値を算出している。
　さらに、Ｂ画素値に乗算パラメータ２．０を乗じてＷＢ処理後のＢ画素値を算出している。
　一般的にＷＢ処理は、Ｇ画素を基準としてＲ，Ｂのみに所定のパラメータを乗じてＲＢ各画素値を変更する処理として実行される。
　図６（ｄ）に示すように、ＷＢ処理後の画素値は、Ｒ画素値の最大値がほぼ２００％、Ｂ画素についても最大値がほぼ２００％に達する値となっている。
　なお、２００％とは、撮像素子の蓄積電荷率＝１００％の２倍の電荷蓄積量に相当し、８ビットデジタルデータ（０～２５５）で表見した場合、ビット値＝２５５（１１１１１１１１）の２倍、すなわちビット値＝５１０に相当し、８ビットデータでは表現できない値となる。
　撮像装置の画像処理部は、このホワイトバランス処理後の画像（ＲＧＢ画像）に基づいて、さらに表示部への出力用データ、または記憶部への格納用の画像データを生成する。
　この処理について、図７を参照して説明する。
　図７（ｄ）は、図６（ｄ）と同じ図である。
　図７（ｅ）は、図７（ｄ）に示すホワイトバランス処理後の画像（ＲＧＢ画像）に基づく表示部出力、または記憶部格納用の画像データを生成する処理例について説明する図である。
　例えば一般的な表示装置、具体的にはＳＤＲ（Ｓｔａｎｄａｒｄ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）画像を表示可能な表示装置では、図に示す０～１００％の範囲の画素値、例えば、８ビットデジタルデータ（０～２５５）を出力可能であり、図に示す１００％～２００％に相当する画素値（ビット値＝０～５１０）の出力ができない。
　従って、ホワイトバランス処理後の画像（ＲＧＢ画像）に基づく表示部出力、または記憶部格納用の画像データを生成する場合、ＲＧＢ各画素値の１００％以上の画素値を全て１００％に設定するクリップ処理を実行する。
　すなわち、図７（ｅ）に示すクリップ処理を実行する。
　Ｒ画像とＢ画像は、先に図６を参照して説明したホワイトバランス（ＷＢ）処理によって１００％以上の画素値の設定領域が発生したが、この１００％以上の画素領域をすべて１００％に設定するクリップ処理を実行する。
　この結果として、図７（ｅ）に示すＲＧＢの出力画素値が決定され、表示部に出力される。
　図７（ｅ）に示すＲＧＢ各画素値は、図４（ａ）に示す白とび領域の一ラインＰ～Ｑ区間の出力画素値ＲＧＢである。
　図７（ｅ）に示すように、ＲＧＢの全てにおいて、Ｐ～Ｑ区間の中心部が飽和画素値となっている。
　８ビットデジタルデータ（０～２５５）を出力する表示装置では、Ｒ＝Ｇ＝Ｂ＝２５５の最大出力がなされる。
　すなわち、ＲＧＢの全てが最大出力画素値となり、この区間が白飛び領域となって出力されることになる。
　白とび領域では、被写体の本来の色や階調が全く識別することができず、画像の品質を低下させる大きな要因となる。
　　［２．画素値推定処理を実行して白とび領域を削減する実施例について］
　次に、Ｇ画素の画素値推定処理を実行して、白とび領域を削減する実施例について説明する。
　図８（ｄ）は、図６（ｄ）を参照して説明したと同様の図であり、デモザイク後のＲＧＢ画像に対するホワイトバランス（ＷＢ）処理例を示した図である。
　図７を参照して説明したように、このホワイトバランス（ＷＢ）処理後のＲＧＢ画像の１００％以上の画素領域を切り取るクリップ処理を実行してしまうと、区間Ｐ～Ｑの中心領域において、所定長のＲ＝Ｇ＝Ｂ＝１００％の画素値飽和領域が発生し、これが白とび領域となってしまう。
　この白とび領域を削減するための本開示の処理例について、図８（ｆ）以下を参照して説明する。
　図８（ｆ）には、ホワイトバランス（ＷＢ）処理後のＲＧＢ画像を利用して、Ｇ画像の１００％以上の飽和画素領域における被写体の画素値を推定する処理例を示している。
　先に図６を参照して説明したように、ホワイトバランス（ＷＢ）処理では、Ｒ，Ｂの画素値に、１以上のホワイトバランス用の乗算パラメータを乗じている。この処理によって、Ｒ画像とＢ画像には、撮像素子の飽和画素値に相当する１００％以上の画素値が設定される。
　しかし、Ｇ画像はホワイトバランス処理に際して、画素値変換が行われないことが多く、そのため、１００％以上の画素値は発生しない。
　本開示の処理では、ホワイトバランス処理によって生成されたＲ画像とＢ画像とに基づいて、Ｇ画像の飽和画素領域（１００％領域）の画素値を推定する処理を実行する。
　具体的には、Ｇ画像において、飽和画素領域（１００％領域）の各座標（ｘ，ｙ）位置のＧ画素の画素値Ｇ（ｘ，ｙ）を、
　ホワイトバランス処理後のＲ画像の同一の画素位置（ｘ，ｙ）の画素値Ｒ（ｘ，ｙ）と、
　ホワイトバランス処理後のＲ画像の同一の画素位置（ｘ，ｙ）の画素値Ｂ（ｘ，ｙ）、
　これらを用いて推定する。
　図８（ｆ）においてＧ画像は、画素区間Ｐ～Ｑ中の画素区間Ｇ１～Ｇ２が、飽和画素領域（１００％）である。
　この画素区間Ｇ１～Ｇ２のＧ画素値をホワイトバランス処理後のＲＢ画像の同一の画素位置（ｘ，ｙ）の画素値Ｒ（ｘ，ｙ）、画素値Ｂ（ｘ，ｙ）を用いて推定する。
　具体的なＧ画素値推定処理例について、図９以下を参照して説明する。
　図９には、従来の撮影画像における（ａ）白とび領域の発生部位、（ｂ）Ｇ画素値の推定処理に適用するＲＧＢ画像の対応画素位置の例を示している。
　図９（ａ）の白とび領域を含む１つの画素ラインの区間をＰ～Ｑとしている。図９（ｂ）に示すＲＧＢ各画像の上から３番目の白い矩形領域の画素領域Ｐ～Ｑが、図９（ａ）に示す白とび領域の拡大図内の水平ラインＰＱに対応する。
　例えば、図９（ｂ２）に示すＧ画像内に太枠で示す１つの画素位置（ｘ，ｙ）＝（２，３）の画素値をＧ（２，３）とする。画素値Ｇ（２，３）が飽和画素値（１００％）である場合、この画素位置（２，３）の本来の画素値、すなわち１００％以上の本来の画素値Ｇ（２，３）を推定する。
　具体的には、座標位置（２，３）と同一位置のホワイトバランス（ＷＢ）処理後のＲＢ画像の画素値Ｒ（２，３）とＢ（２，３）を用いて、画素値Ｇ（２，３）の本来の画素値、すなわち１００％以上の本来の画素値を推定する。
　この推定処理は、被写体から観察される色は、光源特性と、物体の反射率と、視覚特性に依存するという現象に基づく処理である。
　図１０を参照して、被写体から観察される色について説明する。
　図１０に示すように、被写体から観察される色は以下の算出式によって規定される。
　色＝光源特性×物体の反射率×視覚特性

　図１０（ａ）には光源の一例として太陽を示している。
　太陽の光源Ｓ（λ）は、可視光範囲の光として、約４００ｎｍ～７６０ｎｍの波長光を有する。
　図１０（ｂ）には物体の例として赤いりんごを示している。赤いりんごの反射率は、すに示すように、長波長領域の赤い部分で高くなるが、青色領域に相当する短波長領域でも、反射率＝０にはならず、所定量の反射率を有する。
　図１０（ｃ）は、人の眼の視覚特性を示している。
　人の眼は、ＲＧＢそれぞれの波長光の入力に応じた信号を伝達する個別の細胞を有している。
　図１０（ｃ）下段に示すグラフのＲ，Ｇ，Ｂの各曲線のような３つの異なる視覚感度特性を持つ細胞を有しており、これらの出力に基づいて色を判断している。
　このように、人が被写体を観察して判断する色は、
　光源特性、
　物体の反射率、
　視覚特性
　これらの３要素に依存することになり、例えば、以下の式によって表すことができるる。
　色＝光源特性×物体の反射率×視覚特性
　図１０（ｂ）に示す物体の反射率から理解されることは、短波長（青）～長波長（赤）（Ｂ～Ｇ～Ｒ）まで０になることなく、連続的に所定量の反射率を維持していることである。
　中波長領域のＧの反射率は、短波長光（Ｂ）の反射率と、長波長光（Ｒ）の反射率から簡易的に求めても、大きくずれることは少ないと予測される。
　このような予測に基づいて、白とび領域に相当する画素値飽和領域のＧ画素の本来の画素値をＲＢ画素の実画素値から推定しようとする処理が本開示の処理である。
　具体的なＧ画素の画素値推定処理例について、図１１を参照して説明する。
　画素値飽和領域のＧ画素の画素値は、図１１に示すように、以下の２つのステップに従って算出する。
　　（ステップＳ１）
　Ｇ（ｘ，ｙ）の値が有効な範囲で、以下の式に従って、Ｒ（ｘ，ｙ），Ｂ（ｘ，ｙ）との比率（ｒａｔｉｏ）を求める。
　ＧＲ＿ｒａｔｉｏ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）／Ｒ（ｘ，ｙ）
　ＧＢ＿ｒａｔｉｏ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）／Ｂ（ｘ，ｙ）
　　（ステップＳ２）
　Ｇ（ｘ，ｙ）の値が有効でない範囲で、ＧＲ＿ｒａｔｉｏ，ＧＢ＿ｒａｔｉｏを用いて、以下の式に従って、画素値Ｇ（ｘ，ｙ）を推定する。
　Ｇ（ｘ，ｙ）＝ｍａｘ（Ｇ（ｘ，ｙ），（ＧＲ＿ｒａｔｉｏ×Ｒ（ｘ，ｙ）＋ＧＢ＿ｒａｔｉｏ×Ｇ（ｘ，ｙ））／２．０）
　なお、ｍａｘ（ａ，ｂ）はａ，ｂから最大値を選択する処理を示す。
　ステップＳ１の処理は、
　Ｇ（ｘ，ｙ）の値が有効値を持つ範囲のＲＧＢ各画素値を用いた処理である。例えば図１１において、Ｇ画像のＰ～Ｑ区間のＰ～Ｇ１区間や、Ｇ２～Ｑ区間が、飽和画素値（１００％）以下の有効な画素値を持つ区間であり、これらの区間の画素値を用いてＲ（ｘ，ｙ），Ｂ（ｘ，ｙ）との比率（ｒａｔｉｏ）を求める。
　比率（ｒａｔｉｏ）算出式、すなわち、
　ＧＲ＿ｒａｔｉｏ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）／Ｒ（ｘ，ｙ）
　ＧＢ＿ｒａｔｉｏ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）／Ｂ（ｘ，ｙ）
　上記各式において利用するＲＧＢの画素位置は、すべて同一の座標位置である。
　なお、Ｇ（ｘ，ｙ）の値が有効な範囲のどの部分の画素値を利用するかについては、様々な設定が可能であるが、推定しようとする画素位置に最も近い位置の有効画素値を持つ画素位置を利用する方法が１つの好ましい方法である。
　ステップ２の処理は、Ｇ（ｘ，ｙ）の値が有効でない範囲、すなわちＧ画素の画素値が飽和画素値（１００％）の領域で、新たな推定画素値を算出する処理となる。
　ステップ１で算出したＧＲ比率（ＧＲ＿ｒａｔｉｏ）と、ＧＢ比率（ＧＢ＿ｒａｔｉｏ）を用いて、以下の式に従って、飽和画素値（１００％）領域の推定画素値Ｇ（ｘ，ｙ）を算出する。
　Ｇ（ｘ，ｙ）＝ｍａｘ（Ｇ（ｘ，ｙ），（ＧＲ＿ｒａｔｉｏ×Ｒ（ｘ，ｙ）＋ＧＢ＿ｒａｔｉｏ×Ｇ（ｘ，ｙ））／２．０）
　上記式において利用するＲＧＢの画素位置は、すべて同一の座標位置である。
　このようにして、Ｇ（ｘ，ｙ）の値が有効でない範囲、すなわちＧ画素の画素値が飽和画素値（１００％）の領域の画素値を推定する。
　この結果が、図１１に示すＧ画像の１００％～２００％の範囲に示す点線の画素値である。
　このＧ画素値推定処理により、図１１に示すように、Ｒ，Ｇ，Ｂ各々について、画素値０～２００％の範囲の画素値が設定された画像データが生成される。
　しかし、この０～２００％の画素値からなねるＲＧＢ画像は、表示装置が高ダイナミックレンジ画像を出力可能なＨＤＲ（Ｈｉｇｈ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）表示装置では表示可能であるが、一般的なＳＤＲ（Ｓｔａｎｄａｒｄ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）表示装置では表示することができない。
　ＳＤＲ表示装置に表示するためには、図１１に示す０～２００％の画素値を持つＲＧＢ画像を０～１００％の画素値を持つ画像に変換する処理を行なう必要がある。この画素値変換処理は、トーンマッピング処理と呼ばれる。
　このトーンマッピング処理について図１２を参照して説明する。
　トーンマッピング処理は、高ダイナミックレンジ（ＨＤＲ）画像を、ダイナミックレンジの低い通常のＳＤＲ画像に変換して、一般的なＳＤＲ表示装置に出力可能な画素値からなる画像を生成する処理である。
　図１２（１）は、先に図１１を参照して説明したホワイトバランス（ＷＢ）処理後のＲＧＢ画像を用いてＧ画素値推定処理を行なって生成したＲＧＢ画像を示している。
　ＲＧＢ各画像の画素値は、０～２００％の範囲にあり、通常のＳＤＲ表示装置では表現できないダイナミックレンジを持つＨＤＲ画像に相当する。
　なお、具体的には、例えば、０～１００％の画素値は、０～２５５の８ビットデータで表現可能な画素値に相当し、０～２００％の画素値は、例えば０～５１１の画素値に相当する。
　８ビットデータを出力できるＳＤＲ表示装置は、０～２５５の画素値を出力できるが、０～５１１の画素値の出力ができない、
　この０～５１１の画素値を持つＨＤＲ画像相当のＲＧＢ画像を０～２５５の画素値を持つＳＤＲ画像に変換する処理としてトーンマッピング処理を実行する。
　トーンマッピング処理の一例について説明する。
　トーンマッピング処理は、例えば、光電変換関数（ＯＥＴＦ：Ｏｐｔｉｃａｌ－Ｅｌｅｃｔｒｏ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）を用いた処理として実行可能である。具体的には、例えば以下の式に従って、画素値を変換する処理として実行される。
Figure JPOXMLDOC01-appb-M000001
　上記式において、
　Ｖ：出力電圧
　Ｌ：輝度（Ｌｕｍｉｎａｎｃｅ）
　ａ，ｂ，ｃ，ｄ，ｅ：変換係数（変換パラメータ）
　なお、ａ，ｂ，ｃ，ｄ，ｅは、例えば表示部の特性等に応じて適宜、設定する。
　上記式は、ＳＤＲ表示装置において出力画素値を規定する出力電圧（Ｖ）の算出式の一例である。
　トーンマッピング処理における画素値変換式は、上記式に限らず表示装置の特性に応じて、様々な変換式が適用可能である。
　トーンマッピング処理により、図１２（２）に示すように、０～２００％の画素値を持つＨＤＲ相当の画像が０～１００％の画素値からなるＳＤＲ相当画像に変換される。
　この変換後の画像信号は画素値が全て１００％以下、例えば８ビットデジタルデータの０～２５５の範囲の画素値によって構成されね画像信号であり、ＳＤＲ表示装置に表示することができる。
　図１３（３）には、トーンマッピング処理によって生成されるＲＧＢ画像信号の例を示している。
　ＲＧＢ画像信号はいずれも、ＳＤＲ表示装置に有効画素値として出力可能な例えば８ビットデータで表現可能な画素値（０～１００％）の範囲に収まっている。
　このＲＧＢ画像信号をＳＤＲ表示装置に表示すると、図１３（４）に示すように、白とび領域が消失、または減少した画像を表示、出力することが可能となる。
　上述した処理は、撮影画像単位の処理として実行可能であり、静止画のみならず、動画に対する処理として適用することが可能である。
　先に静止画に対するダイナミックレンジ拡張処理として説明した長露光画像と短露光画像の複数画像の合成処理は、処理時間を要し、動画に適用することは困難である。
　しかし、上述したＧ画素値の推定処理を用いた構成は、動画を構成する撮影画像（フレーム）単位の処理として実行することが可能であり、処理時間に大きな遅延を発生させることなく撮影動画の表示を行うことが可能となる。
　特に撮影画像をリアルタイムで確認して処理を行なうことが必要な場合に最適な処理である。
　具体例の１つとして内視鏡がある。内視鏡を使用した手術を行う場合には、撮影画像と観察画像の同一性、すなわちリアルタイム性が要求される。
　上述したＧ画素値の推定処理を用いた構成は、撮影画像を即座に補正して表示することが可能であり、リアルタイム性が要求される撮影表示処理に最適である。
　　［３．画像処理装置の実行する処理の処理シーケンスについて］
　次に、本開示の画像処理装置の実行する処理のシーケンスについて、図１４に示すフローチャートを参照して説明する。
　図１４に示すフローチャートを参照して本開示の画像処理装置の実行する処理、具体的には、上述した飽和画素値を持つＧ画素の画素値推定処理を実行して表示部へ出力、あるいるはメモリ等に格納する画像データを生成するシーケンスについて説明する。
　なお、図１４に示すフローに従った処理は、例えばプログラム実行機能を持つ画像処理部（例えばＤＳＰ：Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）において実行される。プログラムは、記憶部（メモリ）に格納され、画像処理部が読み出して実行する。
　以下、図１４に示すフローの各ステップの処理について、順次、説明する。
　　（ステップＳ１０１）
　まず、ステップＳ１０１において、画像処理装置の画像処理部は、撮像素子の出力として得られるＲＡＷ画像を入力する。
　ＲＡＷ画像は、先に図２等を参照して説明したように、各画素位置にＲＧＢのいずれかの画素値のみが設定された画像データである。
　　（ステップＳ１０２）
　次に、ステップＳ１０２において、画像処理部は、ＲＡＷ画像に対するデモザイク処理を実行する。
　先に図３を参照して説明したように、デモザイク処理は、１画素の１つの色、すなわちＲＧＢいずれか一色の画素値のみが設定されたＲＡＷ画像を用いて、各画素にＲＧＢ全色を設定した画像、すなわち、図３（２）～（４）に示すＲ画像、Ｇ画像、Ｂ画像を生成する処理である。
　このデモザイク処理では、例えば図３（２）に示すＲ画像を生成する場合、ＲＡＷ画像中のＧ，Ｂ画素位置のＲ画素値を、周囲のＲ画素の画素値を用いた補間処理として行われる。
　Ｇ画像、Ｂ画像についても、それぞれ各画素値の設定されていない画素について周囲のＧ画素値、Ｂ画素値を用いた補間処理が実行され、Ｇ画像、Ｂ画像の生成が行われる。
　　（ステップＳ１０３）
　次に、ステップＳ１０３において、画像処理部はホワイトバランス（ＷＢ）処理を実行する。
　ホワイトバランス処理は、出力画像の白領域を実際の白色に近づけるために実行される。
　先に図６を参照して説明したように、ホワイトバランス処理は、例えば撮像素子の特性に応じてＲＧＢ各画素値に所定のＷＢパラメータを乗ずる処理として実行される。
　図６（ｄ）に示す例では、
　Ｒ画素値に乗算パラメータ２．５を乗じてＷＢ処理後のＲ画素値を算出している。
　さらに、Ｂ画素値に乗算パラメータ２．０を乗じてＷＢ処理後のＢ画素値を算出している。
　一般的にＷＢ処理は、Ｇ画素を基準としてＲ，Ｂのみに所定のパラメータを乗じてＲＢ各画素値を変更する処理として実行される。
　図６（ｄ）に示すように、ＷＢ処理後の画素値は、Ｒ画素値の最大値がほぼ２００％、Ｂ画素についても最大値がほぼ２００％に達する値となっている。
　　（ステップＳ１０４）
　次に、ステップＳ１０４において、画像処理部は、飽和画素値（１００％）を持つＧ画素の画素値の推定処理を実行する。
　この処理は、先に図８～図１１を参照して説明した処理である。
　具体的には、以下のステップ１～２の処理を実行する。
　　（ステップＳ１）
　Ｇ（ｘ，ｙ）の値が有効な範囲で、以下の式に従って、Ｒ（ｘ，ｙ），Ｂ（ｘ，ｙ）との比率（ｒａｔｉｏ）を求める。
　ＧＲ＿ｒａｔｉｏ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）／Ｒ（ｘ，ｙ）
　ＧＢ＿ｒａｔｉｏ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）／Ｂ（ｘ，ｙ）
　　（ステップＳ２）
　Ｇ（ｘ，ｙ）の値が有効でない範囲で、ＧＲ＿ｒａｔｉｏ，ＧＢ＿ｒａｔｉｏを用いて、以下の式に従って、画素値Ｇ（ｘ，ｙ）を推定する。
　Ｇ（ｘ，ｙ）＝ｍａｘ（Ｇ（ｘ，ｙ），（ＧＲ＿ｒａｔｉｏ×Ｒ（ｘ，ｙ）＋ＧＢ＿ｒａｔｉｏ×Ｇ（ｘ，ｙ））／２．０）
　なお、ｍａｘ（ａ，ｂ）はａ，ｂから最大値を選択する処理を示す。
　このようにして、Ｇ（ｘ，ｙ）の値が有効でない範囲、すなわちＧ画素の画素値が飽和画素値（１００％）の領域で、推定画素値を算出する。
　この結果が、図１１に示すＧ画像の１００％～２００％の範囲に示す点線の画素値である。
　　（ステップＳ１０５）
　次に、ステップＳ１０５において、画像処理部は、出力する表示部の特性に応じた信号変換処理、すなわちトーンマッピング処理を実行する。
　ホワイトバランス処理とＧ画素値推定処理によって生成した画像データは、先に図８～図１１を参照して説明したように、撮像素子の出力画素値範囲である０～１００％を増大させた０～２００％の画素値を有する。
　撮像素子の出力画素値範囲である０～１００％の画素値が、例えば０～２５５の８ビット画素値であるとすると、０～２００％の画素値は０～５１１の画素値に相当する。
　８ビットデータを出力できるＳＤＲ表示装置は、０～２５５の画素値を出力できるが、０～５１１の画素値の出力ができない、
　この０～５１１の画素値を持つＨＤＲ画像相当のＲＧＢ画像を０～２５５の画素値を持つＳＤＲ画像に変換する処理としてトーンマッピングを実行する。
　なお、先に説明したように、トーンマッピンングは、光電変換関数（ＯＥＴＦ：Ｏｐｔｉｃａｌ－Ｅｌｅｃｔｒｏ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）を用いた処理として実行可能である。
　トーンマッピング処理によって、ＳＤＲ表示装置に出力可能な画像データが生成される。
　この処理は、先に図１２、図１３を参照して説明した処理に相当する。
　　（ステップＳ１０６）
　最後に、ステップＳ１０６において、画像処理装置の画像処理部は、ステップＳ１０５のトーンマッピング処理によって生成した生成信号を表示部、あるいは出力部を介して外部に出力する。あるいはメモリに格納する。
　表示部に表示される画像は、先に図１３を参照して説明したように、白とび領域が消滅、あるいは減少した画像となる。
　なお、図１４に示すフローチャートを参照して説明した処理は、撮影画像単位の処理として実行する。撮影画像が静止画であれば、撮影された１枚の静止画に対する処理として実行する。撮影画像が動画であれば、動画を構成する１フレーム単位の処理として、フレーム毎に繰り返し実行する。
　図１４に示すフローに従った処理は、動画を構成する撮影画像（フレーム）単位の処理として実行可能であり、処理時間に大きな遅延を発生させることなく撮影動画の表示を行うことが可能となる。
　個の処理は、前述したように撮影画像をリアルタイムで確認して処理を行なうことが必要な場合に最適な処理である。具体的には、例えば内視鏡を使用した手術を行う場合には、撮影画像と観察画像の同一性、すなわちリアルタイム性が要求されるが、図１４に示すフローに従った処理は、撮影画像を即座に補正して表示することが可能であり、内視鏡を用いながら、手術を行う場合など、リアルタイム性が要求される撮影表示処理に最適である。
　　［４．画像処理装置の構成例について］
　次に、上述した実施例に従った処理を実行する画像処理装置の構成例について図１５以下を参照して説明する。
　なお、上述した実施例に従った処理は撮像装置に限らず、例えばＲＡＷ画像を入力して画像処理を実行するＰＣ等においても実行可能である。
　まず、図１５を参照して、述した実施例に従った処理を実行する画像処理装置の一例である撮像装置の構成例について説明する。
　図１５は、撮像装置１０の構成例を示す図である。撮像装置１０は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
　光学系は、被写体の光画像を集光するレンズ１１、レンズ１１からの光画像の光量を調整する絞り１２、および集光された光画像を光電変換して電気信号に変換する撮像素子（イメージセンサ）１３から構成される。
　撮像素子１３は、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅｓ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどからなる。
　撮像素子１３は、例えば先に図２を参照して説明したＲＧＢ各画素によって構成されたベイヤ（Ｂａｙｅｒ）配列を持つ色フィルタ（カラーフィルタ）を有する撮像素子である。
　各画素には、色フィルタの配列に応じたＲＧＢいずれかの色に対応する画素値が設定されることになる。
　なお、図２に示す配列は撮像素子１３の画素配列の一例であり、撮像素子１３は、この他の様々な設定の配列とすることが可能である。
　図１５に戻り、撮像装置１０の構成についての説明を続ける。
　信号処理系は、サンプリング回路１４、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１５、および画像処理部（ＤＳＰ）１６から構成される。
　サンプリング回路１４は、例えば、相関２重サンプリング回路（ＣＤＳ：Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ）によって実現され、撮像素子１３からの電気信号をサンプリングしてアナログ信号を生成する。これにより、撮像素子１３において発生するノイズが軽減される。サンプリング回路１４において得られるアナログ信号は、撮像された被写体の画像を表示させる画像信号である。
　Ａ／Ｄ変換部１５は、サンプリング回路１４から供給されるアナログ信号をデジタル信号に変換して、画像処理部１６に供給する。
　画像処理部１６は、Ａ／Ｄ変換部１５から入力されるデジタル信号に所定の画像処理を施す。
　具体的には、先に図２を参照して説明した各画素単位でＲＧＢのいずれかの一色の画素値データからなる画像データ（ＲＡＷ画像）を入力し、入力したＲＡＷ画像に含まれるノイズを低減するノイズ低減処理などを実行する。
　なお、画像処理部１６は、ノイズ低減処理の他、ＲＡＷ画像の各画素位置にＲＧＢの全色に対応する画素値を設定するデモザイク処理や、ホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理も実行する。
　さらに、上述した飽和画素値を持つＧ画素の推定処理や、その後のトーンマッピング処理等を実行する。
　記録系は、画像信号を符号化または復号する符号化／復号部１７と、画像信号を記録するメモリ１８とから構成される。
　符号化／復号部１７は、画像処理部１６によって処理されたデジタル信号である画像信号を符号化してメモリ１８に記録する。また、メモリ１８から画像信号を読み出して復号し、画像処理部１６に供給する。
　表示系は、Ｄ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換部１９、ビデオエンコーダ２０、および表示部２１から構成される。
　Ｄ／Ａ変換部１９は、画像処理部１６によって処理された画像信号をアナログ化してビデオエンコーダ２０に供給し、ビデオエンコーダ２０は、Ｄ／Ａ変換部１９からの画像信号を表示部２１に適合する形式のビデオ信号にエンコードする。
　表示部２１は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等により実現され、ビデオエンコーダ２０におけるエンコードで得られたビデオ信号に基づいて、ビデオ信号に対応する画像を表示する。また、表示部２１は、被写体の撮像時にはファインダとしても機能する。
　制御系は、タイミング生成部２２、操作入力部２３、ドライバ２４、および制御部（ＣＰＵ）２５から構成される。また、画像処理部１６、符号化／復号部１７、メモリ１８、タイミング生成部２２、操作入力部２３、および制御部２５は、バス２６を介して相互に接続されている。
　タイミング生成部２２は、撮像素子１３、サンプリング回路１４、Ａ／Ｄ変換部１５、および画像処理部１６の動作のタイミングを制御する。操作入力部２３は、ボタンやスイッチなどからなり、ユーザによるシャッタ操作やその他のコマンド入力を受け付けて、ユーザの操作に応じた信号を制御部２５に供給する。
　ドライバ２４には所定の周辺機器が接続され、ドライバ２４は接続された周辺機器を駆動する。例えばドライバ２４は、周辺機器として接続された磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記録媒体からデータを読み出して制御部２５に供給する。
　制御部２５は、撮像装置１０の全体を制御する。例えば、制御部２５は、プログラム実行機能を有するＣＰＵ等からなり、メモリ１８、あるいは、ドライバ２４を介して、ドライバ２４に接続されている記録媒体から制御用プログラムを読み出して、制御用プログラムや操作入力部２３からのコマンド等に基づいて、撮像装置１０全体の動作を制御する。
　図１６は、図１５に示す撮像装置１０の画像処理部１６の構成例を示す図である。
　デモザイク処理実行部３１は、例えば図２を参照して説明した配列からなる色フィルタ配列の撮像素子（イメージセンサ）１３で撮像された画像（ＲＡＷ画像）を入力し、各画素に全色を信号処理によって復元するデモザイク処理を実行する。
　ホワイトバランス（ＷＢ）処理実行部３２は、先に図６を参照して説明したホワイトバランス（ＷＢ）処理を実行する。例えば撮像素子の特性に応じてＲＧＢ各画素値に所定のＷＢパラメータを乗ずる処理を実行する。
　図６（ｄ）に示す例では、Ｒ画素値に乗算パラメータ２．５を乗じてＷＢ処理後のＲ画素値を算出している。さらに、Ｂ画素値に乗算パラメータ２．０を乗じてＷＢ処理後のＢ画素値を算出している。
　画素値推定部３３は、飽和画素値（１００％）を持つＧ画素の画素値の推定処理を実行する。
　この処理は、先に図８～図１１を参照して説明した処理である。
　具体的には、以下のステップ１～２の処理を実行する。
　　（ステップＳ１）
　Ｇ（ｘ，ｙ）の値が有効な範囲で、以下の式に従って、Ｒ（ｘ，ｙ），Ｂ（ｘ，ｙ）との比率（ｒａｔｉｏ）を求める。
　ＧＲ＿ｒａｔｉｏ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）／Ｒ（ｘ，ｙ）
　ＧＢ＿ｒａｔｉｏ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）／Ｂ（ｘ，ｙ）
　　（ステップＳ２）
　Ｇ（ｘ，ｙ）の値が有効でない範囲で、ＧＲ＿ｒａｔｉｏ，ＧＢ＿ｒａｔｉｏを用いて、以下の式に従って、画素値Ｇ（ｘ，ｙ）を推定する。
　Ｇ（ｘ，ｙ）＝ｍａｘ（Ｇ（ｘ，ｙ），（ＧＲ＿ｒａｔｉｏ×Ｒ（ｘ，ｙ）＋ＧＢ＿ｒａｔｉｏ×Ｇ（ｘ，ｙ））／２．０）
　なお、ｍａｘ（ａ，ｂ）はａ，ｂから最大値を選択する処理を示す。
　このようにして、Ｇ（ｘ，ｙ）の値が有効でない範囲、すなわちＧ画素の画素値が飽和画素値（１００％）の領域で、被写体の画素値を推定する。
　出力信号生成部３４は、出力する表示部の特性に応じた信号変換処理、すなわちトーンマッピング処理を実行する。
　前述したように、ホワイトバランス処理とＧ画素値推定処理によって生成した画像データは、先に図８～図１１を参照して説明したように、撮像素子の出力画素値範囲である０～１００％を増大させた０～２００％の画素値を有する。
　撮像素子の出力画素値範囲である０～１００％の画素値が、例えば０～２５５の８ビット画素値であるとすると、０～２００％の画素値は０～５１１の画素値に相当する。
　８ビットデータを出力できるＳＤＲ表示装置は、０～２５５の画素値を出力できるが、０～５１１の画素値の出力ができない、
　この０～５１１の画素値を持つＨＤＲ画像相当のＲＧＢ画像を０～２５５の画素値を持つＳＤＲ画像に変換する処理としてトーンマッピングを実行する。
　なお、先に説明したように、トーンマッピンングは、光電変換関数（ＯＥＴＦ：Ｏｐｔｉｃａｌ－Ｅｌｅｃｔｒｏ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）を用いた処理として実行可能である。
　トーンマッピング処理によって、ＳＤＲ表示装置に出力可能な画像データが生成される。
　この処理は、先に図１２、図１３を参照して説明した処理に相当する。
　なお、前述したように、上述した実施例に従った処理は撮像装置に限らず、例えばＲＡＷ画像を入力して画像処理を実行するＰＣ等においても実行可能である。
　ＰＣ等の画像処理装置のハードウェア構成例について、図１７を参照して説明する。
　図１７は、ＰＣ等の画像処理装置のハードウェア構成例を示す図である。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）７１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）７２、または記憶部７８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）７３には、ＣＰＵ７１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４により相互に接続されている。
　ＣＰＵ７１はバス７４を介して入出力インタフェース７５に接続され、入出力インタフェース７５には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部７６、ディスプレイ、スピーカなどよりなる出力部７７が接続されている。ＣＰＵ７１は、入力部７６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部７７に出力する。
　入出力インタフェース７５に接続されている記憶部７８は、例えばハードディスク等からなり、ＣＰＵ７１が実行するプログラムや各種のデータを記憶する。通信部７９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。
　入出力インタフェース７５に接続されているドライブ８０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア８１を駆動し、データの記録あるいは読み取りを実行する。
　　［５．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有し、
　前記画像処理部は、
　前記ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理部と、
　前記デモザイク処理部の生成したＲＧＢ各画像に対するホワイトバランス処理を実行するホワイトバランス処理実行部と、
　前記ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する画素値推定部を有し、
　前記画素値推定部は、
　画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用して画素値推定処理を実行する画像処理装置。
　（２）　前記画素値推定部は、
　前記ホワイトバランス処理後のＧ画像の飽和画素領域以外の有効画素領域の画素位置（ｘ，ｙ）において、
　Ｇ画素値とＲ画素値との比率ＧＲ＿ｒａｔｉｏ（ｘ，ｙ）、
　Ｇ画素値とＢ画素値との比率ＧＢ＿ｒａｔｉｏ（ｘ，ｙ）、
　上記２つの画素値比率を算出し、
　画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値に対して前記画素値比率を適用して、飽和画素領域におけるＧ画素値を推定する（１）に記載の画像処理装置。
　（３）　前記画素値推定部は、
　前記画素値比率の算出に適用するＧ画像の有効画素位置を、Ｇ画素値推定対象となる画素位置に近接する有効画素領域から選択する（２）に記載の画像処理装置。
　（４）　前記画素値推定部は、
　前記ホワイトバランス処理後のＧ画像の飽和画素領域の画素位置（ｘ，ｙ）の画素値Ｇ（ｘ，ｙ）を、
　Ｇ（ｘ，ｙ）＝ｍａｘ（Ｇ（ｘ，ｙ），（ＧＲ＿ｒａｔｉｏ×Ｒ（ｘ，ｙ）＋ＧＢ＿ｒａｔｉｏ×Ｇ（ｘ，ｙ））／２．０）
　ただし、ｍａｘ（ａ，ｂ）はａ，ｂから最大値を選択する処理、
　上記式に従って算出する（２）または（３）に記載の画像処理装置。
　（５）　前記画像処理部は、さらに、
　ホワイトバランス処理後のＲ画像、Ｂ画像、および、前記画素値推定部の算出したＧ画素値を持つＧ画像に対して、トーンマッピング処理を実行して画素値補正を実行し出力画像を生成する出力信号生成部を有する（１）～（４）いずれかに記載の画像処理装置。
　（６）　前記出力信号生成部は、
　ＯＥＴＦ（Ｏｐｔｉｃａｌ－Ｅｌｅｃｔｒｏ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）を用いて画素値補正を実行する（５）に記載の画像処理装置。
　（７）　前記ホワイトバランス処理実行部は、前記デモザイク処理部の生成したＲ画像と、Ｂ画像に対して、予め規定した乗算係数を適用した乗算処理を実行して画素値補正を実行する（１）～（６）いずれかに記載の画像処理装置。
　（８）　前記撮像素子はベイヤ配列を有する（１）～（７）いずれかに記載の画像処理装置。
　（９）　前記画像処理装置は、撮像素子を有する撮像装置である（１）～（８）いずれかに記載の画像処理装置。
　（１０）　前記画像処理装置は、撮像装置の撮影画像であるＲＡＷ画像を入力する入力部を有する（１）～（８）いずれかに記載の画像処理装置。
　（１１）　画像処理装置において、画像処理を実行する画像処理方法であり、
　前記画像処理装置は、撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有し、
　前記画像処理部が、
　前記ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理と、
　前記デモザイク処理によって生成したＲＧＢ各画像に対するホワイトバランス処理を実行するホワイトバランス処理と、
　前記ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する画素値推定処理を実行し、
　前記画像処理部は、前記画素値推定処理において、
　画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用して画素値推定処理を実行する画像処理方法。
　（１２）　画像処理装置において、画像処理を実行させるプログラムであり、
　前記画像処理装置は、撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有し、
　前記プログラムは、前記画像処理部に、
　前記ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理と、
　前記デモザイク処理によって生成したＲＧＢ各画像に対するホワイトバランス処理を実行するホワイトバランス処理と、
　前記ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する画素値推定処理を実行させ、
　前記プログラムは、前記画素値推定処理において、
　画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用して画素値推定処理を実行させるプログラム。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　以上、説明したように、本開示の一実施例の構成によれば、白とび領域を減少させ、被写体の色、階調を高精度に表現した画像を生成する装置、方法が実現される。
　具体的には、撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有する。画像処理部は、ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理と、デモザイク処理後のＲＧＢ各画像に対するホワイトバランス処理を実行し、さらに、ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する。画素値推定処理においては、画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用した画素値推定処理を実行する。
　本開示の処理により、白とび領域が減少し、被写体の色、階調を高精度に表現した画像を生成、出力することが可能となる。
　　１０　撮像装置
　　１１　レンズ
　　１２　絞り
　　１３　撮像素子
　　１４　サンプリング回路
　　１５　Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部
　　１６　画像処理部（ＤＳＰ）
　　１７　符号化／復号部
　　１８　メモリ
　　１９　Ｄ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換部
　　２０　ビデオエンコーダ
　　２１　表示部
　　２２　タイミング生成部
　　２３　操作入力部
　　２４　ドライバ
　　２５　制御部
　　３１　デモザイク処理実行部
　　３２　ホワイトバランス（ＷＢ）処理実行部
　　３３　画素値推定部
　　３４　出力信号生成部
　　７１　ＣＰＵ
　　７２　ＲＯＭ
　　７３　ＲＡＭ
　　７４　バス
　　７５　入出力インタフェース
　　７６　入力部
　　７７　出力部
　　７８　記憶部
　　７９　通信部
　　８０　ドライブ
　　８１　リムーバブルメディア

Claims (12)

  1. 　撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有し、
    　前記画像処理部は、
    　前記ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理部と、
    　前記デモザイク処理部の生成したＲＧＢ各画像に対するホワイトバランス処理を実行するホワイトバランス処理実行部と、
    　前記ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する画素値推定部を有し、
    　前記画素値推定部は、
    　画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用して画素値推定処理を実行する画像処理装置。
  2. 　前記画素値推定部は、
    　前記ホワイトバランス処理後のＧ画像の飽和画素領域以外の有効画素領域の画素位置（ｘ，ｙ）において、
    　Ｇ画素値とＲ画素値との比率ＧＲ＿ｒａｔｉｏ（ｘ，ｙ）、
    　Ｇ画素値とＢ画素値との比率ＧＢ＿ｒａｔｉｏ（ｘ，ｙ）、
    　上記２つの画素値比率を算出し、
    　画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値に対して前記画素値比率を適用して、飽和画素領域におけるＧ画素値を推定する請求項１に記載の画像処理装置。
  3. 　前記画素値推定部は、
    　前記画素値比率の算出に適用するＧ画像の有効画素位置を、Ｇ画素値推定対象となる画素位置に近接する有効画素領域から選択する請求項２に記載の画像処理装置。
  4. 　前記画素値推定部は、
    　前記ホワイトバランス処理後のＧ画像の飽和画素領域の画素位置（ｘ，ｙ）の画素値Ｇ（ｘ，ｙ）を、
    　Ｇ（ｘ，ｙ）＝ｍａｘ（Ｇ（ｘ，ｙ），（ＧＲ＿ｒａｔｉｏ×Ｒ（ｘ，ｙ）＋ＧＢ＿ｒａｔｉｏ×Ｇ（ｘ，ｙ））／２．０）
    　ただし、ｍａｘ（ａ，ｂ）はａ，ｂから最大値を選択する処理、
    　上記式に従って算出する請求項２に記載の画像処理装置。
  5. 　前記画像処理部は、さらに、
    　ホワイトバランス処理後のＲ画像、Ｂ画像、および、前記画素値推定部の算出したＧ画素値を持つＧ画像に対して、トーンマッピング処理を実行して画素値補正を実行し出力画像を生成する出力信号生成部を有する請求項１に記載の画像処理装置。
  6. 　前記出力信号生成部は、
    　ＯＥＴＦ（Ｏｐｔｉｃａｌ－Ｅｌｅｃｔｒｏ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）を用いて画素値補正を実行する請求項５に記載の画像処理装置。
  7. 　前記ホワイトバランス処理実行部は、前記デモザイク処理部の生成したＲ画像と、Ｂ画像に対して、予め規定した乗算係数を適用した乗算処理を実行して画素値補正を実行する請求項１に記載の画像処理装置。
  8. 　前記撮像素子はベイヤ配列を有する請求項１に記載の画像処理装置。
  9. 　前記画像処理装置は、撮像素子を有する撮像装置である請求項１に記載の画像処理装置。
  10. 　前記画像処理装置は、撮像装置の撮影画像であるＲＡＷ画像を入力する入力部を有する請求項１に記載の画像処理装置。
  11. 　画像処理装置において、画像処理を実行する画像処理方法であり、
    　前記画像処理装置は、撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有し、
    　前記画像処理部が、
    　前記ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理と、
    　前記デモザイク処理によって生成したＲＧＢ各画像に対するホワイトバランス処理を実行するホワイトバランス処理と、
    　前記ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する画素値推定処理を実行し、
    　前記画像処理部は、前記画素値推定処理において、
    　画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用して画素値推定処理を実行する画像処理方法。
  12. 　画像処理装置において、画像処理を実行させるプログラムであり、
    　前記画像処理装置は、撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有し、
    　前記プログラムは、前記画像処理部に、
    　前記ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理と、
    　前記デモザイク処理によって生成したＲＧＢ各画像に対するホワイトバランス処理を実行するホワイトバランス処理と、
    　前記ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する画素値推定処理を実行させ、
    　前記プログラムは、前記画素値推定処理において、
    　画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用して画素値推定処理を実行させるプログラム。
PCT/JP2016/056352 2015-03-26 2016-03-02 画像処理装置、および画像処理方法、並びにプログラム WO2016152414A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680016399.XA CN107431793A (zh) 2015-03-26 2016-03-02 图像处理装置和图像处理方法以及程序
US15/559,399 US10412356B2 (en) 2015-03-26 2016-03-02 Image processing apparatus and image processing method
EP16768317.6A EP3276956B1 (en) 2015-03-26 2016-03-02 Image processing device and image processing method, and program
JP2017508140A JP6702306B2 (ja) 2015-03-26 2016-03-02 画像処理装置、および画像処理方法、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015063983 2015-03-26
JP2015-063983 2015-03-26

Publications (1)

Publication Number Publication Date
WO2016152414A1 true WO2016152414A1 (ja) 2016-09-29

Family

ID=56978737

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/056352 WO2016152414A1 (ja) 2015-03-26 2016-03-02 画像処理装置、および画像処理方法、並びにプログラム

Country Status (5)

Country Link
US (1) US10412356B2 (ja)
EP (1) EP3276956B1 (ja)
JP (1) JP6702306B2 (ja)
CN (1) CN107431793A (ja)
WO (1) WO2016152414A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107369145A (zh) * 2017-06-16 2017-11-21 广东欧珀移动通信有限公司 图像处理方法、装置及终端设备
JP2022553909A (ja) * 2019-11-05 2022-12-27 グーグル エルエルシー 画像処理パイプラインのハイライト復元

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3424403B1 (en) * 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program
CN110009587B (zh) * 2019-04-09 2021-03-02 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
RU2712436C1 (ru) 2019-08-09 2020-01-28 Самсунг Электроникс Ко., Лтд. Способ обработки rccb-изображения
JP7437921B2 (ja) * 2019-11-22 2024-02-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR20220010285A (ko) 2020-07-17 2022-01-25 에스케이하이닉스 주식회사 디모자익 동작 회로, 이미지 센싱 장치 및 그 동작방법
CN115426449B (zh) * 2022-07-30 2023-07-11 荣耀终端有限公司 一种拍照方法和终端
CN116091364B (zh) * 2023-04-07 2023-06-06 天津汉云工业互联网有限公司 图像模糊处理方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008177872A (ja) * 2007-01-18 2008-07-31 Fujifilm Corp 画像処理方法、装置及びプログラム並びに撮像装置
JP2010068064A (ja) * 2008-09-09 2010-03-25 Ricoh Co Ltd 撮像装置及び撮像方法
JP2010103700A (ja) * 2008-10-22 2010-05-06 Ricoh Co Ltd 撮像装置および撮像方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050151A (ja) 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
JP4121493B2 (ja) * 2004-11-12 2008-07-23 富士フイルム株式会社 デジタルカメラとその信号処理方法及び信号処理装置
JP5803233B2 (ja) * 2011-02-14 2015-11-04 株式会社リコー 撮像装置および撮像方法
EP2683167B1 (en) * 2011-02-28 2018-05-02 Fujifilm Corporation Color imaging device
US8842912B2 (en) 2011-05-19 2014-09-23 Foveon, Inc. Method for processing highlights and saturated regions in a digital image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008177872A (ja) * 2007-01-18 2008-07-31 Fujifilm Corp 画像処理方法、装置及びプログラム並びに撮像装置
JP2010068064A (ja) * 2008-09-09 2010-03-25 Ricoh Co Ltd 撮像装置及び撮像方法
JP2010103700A (ja) * 2008-10-22 2010-05-06 Ricoh Co Ltd 撮像装置および撮像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3276956A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107369145A (zh) * 2017-06-16 2017-11-21 广东欧珀移动通信有限公司 图像处理方法、装置及终端设备
JP2022553909A (ja) * 2019-11-05 2022-12-27 グーグル エルエルシー 画像処理パイプラインのハイライト復元
JP7426480B2 (ja) 2019-11-05 2024-02-01 グーグル エルエルシー 画像処理パイプラインのハイライト復元

Also Published As

Publication number Publication date
US20180077397A1 (en) 2018-03-15
EP3276956A1 (en) 2018-01-31
JPWO2016152414A1 (ja) 2018-01-18
EP3276956B1 (en) 2021-07-21
EP3276956A4 (en) 2018-10-31
US10412356B2 (en) 2019-09-10
JP6702306B2 (ja) 2020-06-03
CN107431793A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
JP6702306B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
JP4293174B2 (ja) 撮像装置および画像処理装置
JP5321163B2 (ja) 撮像装置及び撮像方法
KR101099401B1 (ko) 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체
JP6019964B2 (ja) 画像処理装置及びそれを搭載した撮像装置、並びに画像処理方法
JP5123137B2 (ja) 撮像装置および撮像方法
JP4736792B2 (ja) 撮像装置及びそれに用いる画像処理方法
JP5948997B2 (ja) 撮像装置及び撮像方法
JP5609788B2 (ja) 画像処理装置及び画像処理方法
JP5146015B2 (ja) 撮像装置及び撮像方法
JP4687454B2 (ja) 画像処理装置および撮像装置
JP2006333113A (ja) 撮像装置
EP2515543B1 (en) Image capturing apparatus and image capturing method
JP2012134745A (ja) 画像信号処理装置
JP5310331B2 (ja) 撮像装置および撮像方法
JP5609787B2 (ja) 画像処理装置及び画像処理方法
JP2010147840A (ja) 画像処理装置及び撮像装置
JP2020036162A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6592293B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP5091734B2 (ja) 撮像装置および撮像方法
JP5145876B2 (ja) 撮像装置および撮像方法
JP5169540B2 (ja) 撮像装置および撮像方法
JP2010035120A (ja) ビデオカメラ撮像装置
JP2004297433A (ja) 合成画像データ調整装置および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16768317

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017508140

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2016768317

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15559399

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE