WO2016059887A1 - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2016059887A1
WO2016059887A1 PCT/JP2015/074191 JP2015074191W WO2016059887A1 WO 2016059887 A1 WO2016059887 A1 WO 2016059887A1 JP 2015074191 W JP2015074191 W JP 2015074191W WO 2016059887 A1 WO2016059887 A1 WO 2016059887A1
Authority
WO
WIPO (PCT)
Prior art keywords
gradation
saturation
image information
image processing
saturated
Prior art date
Application number
PCT/JP2015/074191
Other languages
English (en)
French (fr)
Inventor
徳井　圭
圭祐 大森
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US15/517,976 priority Critical patent/US10275860B2/en
Priority to CN201580040389.5A priority patent/CN106575434B/zh
Publication of WO2016059887A1 publication Critical patent/WO2016059887A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Definitions

  • the present invention relates to image processing technology.
  • a user automatically or manually focuses on a subject to be photographed, and obtains an image by performing a photographing operation.
  • a subject that is in focus is photographed clearly, and a subject that is not in focus is photographed blurred.
  • the degree of blur is determined by the imaging device, and the user can adjust it by changing the aperture.
  • the aperture cannot be adjusted or the depth of field is deep, so that the blur amount desired by the user may not be obtained.
  • a technique has been developed to obtain an image with a greater degree of blur than the photographed image by blurring the background of the main subject by image processing. For example, by continuously shooting multiple images with different focus positions, determining the focus level of each subject, estimating the distance, and averaging the subjects that are far from the focused main subject , Generate an image with a blurred background.
  • the captured image is subjected to gamma correction processing and the relationship with brightness is non-linear
  • the captured images are averaged as they are, the brightness blur that differs from when the actual subject is blurred is captured. It becomes an image.
  • the gradation value of the captured image may be saturated, and if the captured image is averaged as it is, a blurred image with a brightness different from that obtained when the actual subject is blurred End up.
  • Patent Document 1 when the value of the background image data in each pixel is high, conversion for amplifying the background image data in the pixel is performed, and after performing blurring processing, inverse conversion of the conversion is performed. This realizes a blurring process in which the brightness of the high gradation portion is emphasized.
  • Patent Document 1 since not only the saturated region but also the high gradation region is amplified, there is a possibility that the normal region where the subject can be photographed without being saturated becomes bright and an excessively bright blurred image is obtained. . Furthermore, since the conversion depends only on the gradation of the pixel of interest, in the area where the gradation is saturated, the conversion is uniform without considering the actual brightness of the subject. In other words, in an image having the maximum gradation of 255, a pixel that has been saturated with a gradation value of 511 and a pixel that has been saturated with a gradation value of 256. , Are converted to the same gradation value, which may result in an unnatural generated image different from the subject.
  • Patent Document 1 since gradation conversion is performed in the middle gradation region and the low gradation region, a subject having a brightness different from that of an actual subject is blurred, and thus an unnatural image is generated. There is a possibility that.
  • Patent Document 1 since the inverse transformation of Patent Document 1 performs the inverse transformation of the transformation that expands the gradation value, it is not possible to generate an image that has been subjected to blur processing with sufficient brightness. For example, when converting 8-bit data to 12-bit data, a pixel having a gradation value of 255 which is a saturated pixel is converted to a gradation value of 4095. Thereafter, when an averaging process, which is a blurring process, is performed, the saturated pixels are always 4095 or less. When inverse transformation is performed on this pixel, the pixel is at least 255 or less. That is, there is a possibility that the saturated pixel disappears from the saturated region by the blurring process, and the target high-brightness blurred image cannot be obtained.
  • an image processing apparatus including a blur processing unit that performs blur processing on input image information that is input, a saturation determination unit that calculates a saturation level of saturated pixels of the input image information.
  • a first gradation conversion unit that converts the gradation of the input image information based on the saturation calculated by the saturation determination unit, and the blurring processing unit performs gradation in the first gradation conversion unit.
  • a second gradation conversion unit that performs gradation processing on the converted image information, and converts the gradation using the gradation of the saturation region of the image information subjected to the blur processing as a saturation pixel.
  • the image processing apparatus and the image pickup apparatus of the present invention it is possible to synthesize a blurred image having a natural image quality, such as a photograph taken with an actual subject blurred, by image processing.
  • FIG. 1 is a functional block diagram illustrating a configuration example of the image processing apparatus according to the present embodiment.
  • FIG. 18 is a flowchart showing the flow of processing of the image processing method.
  • the image processing apparatus 100 includes a saturation determination unit 101, a first gradation conversion unit 102, a blurring processing unit 103, and a second gradation conversion unit 104.
  • Input image information is input to the image processing apparatus 100, and the result of image processing is output as output image information.
  • the saturation determination unit 101 determines the saturation of saturated pixels in the input image information.
  • the first gradation conversion unit 102 performs gradation conversion of input image information based on the result determined by the saturation determination unit 101.
  • the blurring processing unit 103 performs a blurring process on the image information that has been tone-converted by the first tone converting unit 102.
  • the second gradation conversion unit 104 performs gradation conversion of the image information that has been subjected to the blurring process by the blurring processing unit 103, and outputs it as output image information.
  • step S1 input image information is acquired.
  • step S2 the saturation determination unit 101 calculates the saturation for the saturated pixel.
  • the degree of saturation determines the degree of saturation of a saturated pixel, and the degree of saturation increases as the degree of saturation increases.
  • step S3 the first gradation conversion unit 102 performs the first gradation conversion using the calculated saturation. Conversion is performed so that the gradation value output by conversion increases as the degree of saturation increases.
  • step S4 the blurring processing unit 103 performs blurring processing on the image information on which the first gradation conversion has been performed. The blurring process is realized by averaging the target pixel and the surrounding pixels within a specific range.
  • step S5 the second gradation conversion unit 104 performs gradation conversion on the image information that has been subjected to the blurring process. Gradation conversion is performed so that the pixels in the saturation region are saturated to the maximum gradation value of the output image information.
  • step S6 image information subjected to image processing is output (FIG. 18).
  • Each part of the image processing apparatus 100 can be implemented by software processing by CPU (Central Processing Unit) or GPU (Graphics Processing Unit), ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Hardware) by FPGA (Filmable Programmable Hardware processing). .
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Hardware
  • the input image information is determined by the saturation determination unit 101 to determine the saturation level of each pixel. For example, in the case of image information of 0 to 255 gradations that is 8-bit data, a pixel having 255 gradations is a saturated pixel. However, when the gradation value to be saturated differs depending on the shooting condition and the storage condition, a gradation value that can be regarded as a saturated gradation value may be set as the saturation gradation value as appropriate. For example, 254 can be used as a saturated gradation value when noise is large, or 235 can be used as a saturated gradation value for image information using gradation values from 16 to 235.
  • the saturation level determined by the saturation level determination unit 101 is the brightness level of the subject indicating how much the gradation value of the saturated pixel was originally. That is, with respect to the saturation gradation value 255, a pixel that was originally 256 gradations became 255, or a pixel that was originally saturated with 511 gradations was 255. It is determined whether the pixel is greatly saturated.
  • the degree of saturation of the pixel of interest is determined not only based on whether the pixel of interest is saturated, but also by using the brightness of surrounding pixels.
  • the saturation level can be determined by calculating the number of saturated pixels around the pixel of interest and the average gradation value of a specific area including the pixel of interest as the saturation level.
  • the degree of saturation is determined by estimating a bright subject having a larger area as a brighter subject.
  • FIG. 2 is an example showing the gradation values of the pixel of interest and the peripheral pixels.
  • the gradation value of the pixel of interest arranged in the center is saturated at 255, Saturated pixels of the arranged peripheral pixels are 4 out of 8 pixels.
  • the gradation value of the pixel of interest arranged in the center is saturated at 255, and all the eight peripheral pixels arranged around the pixel of interest are saturated pixels. It has become.
  • FIG. 2B it can be determined that the image in FIG. 2B has higher saturation than the image in FIG. 2A, and the brightness of the actual subject is bright. This is because the peripheral portion of a bright subject is combined with light from other subjects and the brightness decreases, so that the central portion of a bright subject can be estimated to be brighter than the surroundings. Therefore, in FIG. 2B, since the peripheral pixels are brighter and saturated than in FIG. 2A, it can be estimated that FIG. 2B is a brighter subject than in FIG. .
  • To calculate the brightness of the surrounding pixels calculate the number of saturated pixels in the surrounding pixels, calculate the sum of the gradation values of the surrounding pixels, and calculate the average value of the gradation values of the surrounding pixels. Can be calculated.
  • the value of the target pixel may be included in the calculation of the brightness of each peripheral pixel.
  • FIG. 3 is another example showing the gradation values of the target pixel and the peripheral pixels, and the range of the peripheral pixels is different from that in FIG. 3A, as in FIG. 2B, the gradation value of the pixel of interest arranged in the center is saturated at 255, and among the peripheral pixels arranged around the pixel of interest, Eight pixels arranged nearby are saturated pixels, and 11 of the other 16 pixels are saturated pixels.
  • the gradation value of the pixel of interest arranged in the center is saturated at 255, and all of the 24 peripheral pixels arranged around the pixel of interest are saturated pixels. It has become.
  • FIG. 3B is higher in saturation than FIG. 3A and the actual brightness of the subject is bright.
  • the saturation of the pixel of interest can be determined by changing the range of the peripheral pixels. That is, FIG. 3 (b) is higher in saturation than FIG. 3 (a) or FIG. 2 (b), and FIG. 3 (a) or FIG. 2 (b) is higher in saturation than FIG. Can be determined.
  • the degree of saturation calculated in this way is transmitted to the first tone conversion unit 102.
  • the first gradation conversion unit 102 performs gradation conversion in consideration of the saturation determined by the saturation determination unit 101.
  • the gradation conversion can be performed by the characteristics shown in FIG. 4, for example.
  • the gradation value of the input image information in FIG. 4 is 0 to 255
  • the saturation calculated by the saturation determination unit 101 has 8 levels from 0 to 7.
  • the saturation level is calculated.
  • the saturation level is added to the gradation value 255 to input the gradation conversion input level.
  • the degree of saturation is 5
  • the input gradation for gradation conversion is 260.
  • Such gradation conversion can be realized by a LUT (Look Up Table) in which an input gradation value and an output gradation value are associated with each other.
  • LUT Look Up Table
  • the gradation is converted using the value obtained by adding the saturation to the gradation value of the input image information as input, but 0 to 254 uses the corresponding area in FIG. 4 and the gradation value is 255. Even if the output gradation value is assigned according to the degree of saturation, the same result is obtained.
  • the conversion of FIG. 4 is preferable.
  • compressed image information such as a JPEG (Joint Photographic Group) file is input image information and
  • gamma correction is performed, and the relationship between the brightness of the subject and the gradation value of the image information may not be linear.
  • the first tone conversion unit 102 performs tone conversion so that the relationship between the brightness of the subject and the tone value of the image information is linear.
  • FIG. 5 shows an example of gradation conversion. When the input gradation value is from 0 to 254, a conversion process is performed so that the brightness and the gradation value become linear by reversely correcting the gamma correction. When the gamma correction of the input image information is unknown, it can be performed on the assumption that the input image information is sRGB.
  • the resolution may be reduced due to the influence of quantization in the low gradation part of the input image information.
  • FIG. 6 it is possible to prevent gradation degradation by performing linear gradation conversion on the low gradation part.
  • FIG. 7A shows the input image information
  • FIG. 7B shows an example of the image information subjected to the gradation conversion by the first gradation conversion unit 102.
  • the gradation value of the input image information and the subject Brightness is a linear relationship.
  • FIG. 7A the brightness of the image is partially saturated.
  • FIG. 7B for the region saturated in FIG. 7A, the brightness of the subject is estimated and a gradation value is given. This is because the saturation level is calculated by the saturation level determination unit 101 based on the amount of saturated pixels in a specific range.
  • FIG. 8 shows a state when the state of FIG. 7A is converted by a conventional method
  • FIG. 8A expands the gradation value according to the gradation value of the input image information
  • FIG. 8B shows a case where conversion is performed to expand only saturated pixels.
  • the gradation value of the saturated pixel is estimated with the brightness of the subject as a smooth and natural gradation as shown in FIG. 7B. be able to.
  • FIG. 9 shows an example of gradation values of image information different from FIG.
  • the range of saturated pixels is narrower than that in FIG.
  • FIG. 9B shows image information subjected to gradation conversion by the first gradation conversion unit 102. Since the range of the saturated pixels in FIG. 9A is narrow, the saturation calculated by the saturation determination unit 101 does not become the maximum, and the gradation value after the gradation conversion does not become the maximum. The brightness of the subject can be estimated.
  • FIG. 10 shows a state when the state of FIG. 9A is converted by the conventional method, and FIG. 10A expands the gradation value according to the gradation value of the input image information.
  • FIG. 10B shows a case where conversion is performed to expand only saturated pixels.
  • the gradation is converted based only on the gradation value of the input image information, the relationship between the brightness from 0 to 254 and the gradation value is distorted, and the saturated pixels remain saturated. End up.
  • FIG. 10B since the gradation conversion is performed to expand only the gradation of the saturated pixel, only the saturated pixel becomes too bright and the saturated pixel remains saturated.
  • the brightness of the subject is made smooth and natural gradation as shown in FIG. Can be estimated.
  • the image information subjected to gradation conversion by the first gradation conversion unit 102 is subjected to blurring processing by the blurring processing unit 103.
  • the blurring process can be realized by averaging the target pixel and the surrounding pixels.
  • averaging process a method of making the weights of the respective pixels the same, a method of weighting according to the distance from the target pixel, and the like can be appropriately selected.
  • the intensity of the blur processing regarding how much blur processing is performed can be adjusted by changing the range to be averaged.
  • the range to be averaged is large, the blurring strength is increased, and when the range to be averaged is small, the blurring strength is decreased.
  • the shape of the blur it is possible to change the shape of the blur by adjusting the shape of the range to be averaged, such as a rectangle, hexagon, octagon, etc., based on the shape of the range to be averaged. is there. Therefore, if the blur shape is set so that the user can adjust it, it is possible to obtain the blur shape preferred by the user.
  • FIG. 11 shows an example of image information, in which the subject A, the subject B, and the subject C are arranged in the order close to the shooting location.
  • FIG. 12 is a diagram showing distance information corresponding to the image information shown in FIG.
  • distance information indicated by shading can be acquired by a conventional technique, and can be calculated from, for example, TOF (Time Of Flight) or a stereo camera.
  • the distance information can also be calculated from images taken at different focal positions, and the distance information can be calculated by comparing the degree of focus of each image at the target pixel.
  • Such distance information is input to the image processing apparatus 100 together with the image information in correspondence with the input image information.
  • the blur processing unit 103 performs blur processing based on the distance information. For example, when the subject A, which is a foreground focusing area, is focused and the background is blurred, the blurring process is performed by changing the blur intensity based on the difference between the distance of the subject A and the distance of each subject. That is, the subject A is not subjected to the blurring process, the subject B is subjected to the blurring process, and the subject C is subjected to the blurring process with a greater blur intensity than the subject B.
  • the averaging process may be performed by changing the averaging range based on the distance information so that the range becomes wider as the distance is longer. Images with different values may be created, and pixels may be selected from images with different averaging ranges based on distance information.
  • the example in which the blurring process is performed based on the distance information has been described.
  • other blurring processes may be used.
  • the image information that has been subjected to the blurring process in the blurring processing unit 103 is transmitted to the second tone converting unit 104, where tone conversion is performed.
  • the gradation conversion process can be performed based on the characteristics as shown in FIG.
  • the gradation value of the image information obtained by performing the first gradation conversion using the characteristics of FIG. 4 and then performing the blurring process is 0 to 4095, and the output image information from the image processing apparatus 100 is changed to 0.
  • the case of outputting as a gradation of 255 is illustrated.
  • 13 is a saturated pixel in the input image information of the image processing apparatus 100, and the gradations from 1023 to 4095 are output as 255.
  • the gradation smaller than 1023 is converted into a gradation between 0 and 255 while maintaining a linear relationship.
  • the image information subjected to the gradation conversion by the second gradation conversion unit 104 outputs the gradation that was a saturated pixel when it was input to the image processing apparatus 100 as a saturated pixel.
  • FIG. 15A illustrates image information input to the second gradation conversion unit 104
  • FIG. 15B illustrates an example of image information output from the second gradation conversion unit 104.
  • the gradation value of the image information and the brightness of the subject have a linear relationship.
  • FIG. 15A there is a pixel having a gradation value of 1023 or more corresponding to the gradation value of the saturated pixel.
  • FIG. 15B the pixel value is converted to a gradation value of 255 or less, and a pixel having a gradation value larger than 1023 is saturated and converted to a gradation value of 255.
  • the gradation value that has been expanded by estimating the brightness of the subject based on the saturation is converted back to the gradation before the expansion, and output image information corresponding to the brightness of the input image information is output. be able to.
  • FIG. 16 shows an example in which gradation conversion is performed based only on gradation values using a conventional method.
  • FIG. 16A shows the result of performing the blurring process after gradation conversion by the conventional method as shown in FIGS. 8 and 10, and the inverse conversion of FIGS. 8 and 10 based only on the gradation value.
  • FIG. 16B shows the case where the above is performed. As shown in FIG. 16B, the area that was a saturated pixel before gradation conversion for expanding the gradation does not become a saturated pixel when the output image information is output, and the image becomes dark. That is, in the conventional method, output image information corresponding to the brightness of the input image information cannot be output. Thus, by performing the conversion as shown in FIG. 15, output image information corresponding to the brightness of the input image information can be output.
  • the saturation of the saturated pixels of the input image information is calculated, and after performing gradation conversion, the blurring process is performed, so that the naturalness in consideration of the brightness of the subject is taken into account.
  • output image information corresponding to the brightness of the input image information can be obtained by converting the gradation of the blurred image in consideration of the saturation gradation of the input image.
  • the image processing apparatus 100 according to the present embodiment is different from the image processing apparatus 100 according to the first embodiment in the gradation conversion method in the first gradation conversion unit 102.
  • the input image information according to the second embodiment targets a color image, and gradation conversion in the first gradation conversion unit 102 is performed in different processes depending on whether saturation is performed with white and specific color.
  • FIG. 19 is a flowchart showing the flow of processing in the second embodiment, and corresponds to FIG.
  • the processing in step S1 is the same as that in FIG.
  • white saturation means that the red, green, and blue gradations are saturated, and specific color saturation means red,
  • the gray level of at least one channel of green and blue is saturated and at least one channel is not saturated.
  • the estimation of the saturation pixel gradation value can be performed with both white saturation and color saturation, but since white saturation is a subject that is brighter than color saturation, it has a different brightness. Need to be estimated. That is, tone conversion is performed by separately calculating the white saturation and the color saturation.
  • the saturation determination unit 101 can be realized by the same operation as in the first embodiment, but calculates the saturation for each of the white saturated pixel and the color saturated pixel (step S12). For example, the minimum gradation value of the channel of the pixel of interest is calculated, and if the minimum gradation value is saturated at 255, the pixel is processed as a white saturated pixel. A gradation value is calculated, and if the maximum gradation value is saturated at 255, it is processed as a color saturated pixel. By defining saturated pixels in this way, the saturation of white saturation and color saturation can be calculated.
  • the first gradation conversion unit 102 Based on the saturation calculated by the saturation determination unit 101, the first gradation conversion unit 102 performs gradation conversion (step S13).
  • FIG. 17 shows an example of gradation conversion characteristics of the first gradation conversion unit 102.
  • FIG. 17A shows the gradation conversion characteristics of white saturated pixels
  • FIG. 17B shows the gradation conversion characteristics of color saturated pixels. Since it is estimated that the white saturated pixel is a subject when it is brighter than the color saturated pixel, in FIG. 17, in order to correspond to the brightness of the subject, the maximum value of gradation conversion is set to the case of the white saturated pixel and the color saturated pixel. The case is different.
  • FIG. 17A shows gradation conversion characteristics of white saturated pixels, and the maximum output gradation value is 4095.
  • FIG. 17A shows gradation conversion characteristics of white saturated pixels
  • the maximum output gradation value is 4095.
  • the image information output from the first gradation conversion unit 102 is processed by the blur processing unit 103 (step S14) and the second gradation conversion unit 104 (step S15), as in the first embodiment, and the output image information (Step S16). Processing in each unit can be realized by performing processing independently for each channel. In other words, in the case of red, the gradation region averaged in the red channel and saturated in the input image information is subjected to gradation conversion as a saturated pixel in the red channel and output. The same applies to the other channels.
  • a saturated pixel is white-saturated, 2-channel color saturated, or 1-channel color saturated.
  • Three types of gradation conversion characteristics may be used. That is, gradation conversion is performed so that the brightness of the subject is estimated to be large in the order of white saturation, two-channel color saturation, and one-channel color saturation.
  • the conversion value of the color saturation region may be calculated using the gradation characteristics of white saturation.
  • the difference between the minimum value 1023 of the saturated pixel and the conversion value given according to the saturation degree is calculated, and 1/2 of the difference is added to the minimum value 1023 of the saturated pixel.
  • the gradation conversion value of the color saturation pixel is set.
  • the maximum gradation conversion value of the color saturated pixel is 2559. That is, a conversion value is calculated with the white saturation gradation characteristic, and a value smaller than the white saturation is converted as a conversion value based on the calculated value.
  • the saturation level of the saturated pixel of the input image information is calculated for each channel in the color image, and after performing gradation conversion for each channel, the blurring process is performed.
  • a more natural blurred image in consideration of the brightness and color of the subject can be obtained.
  • output image information corresponding to the brightness of the input image information can be obtained by converting the gradation of the blurred image in consideration of the saturation gradation of the input image.
  • FIG. 20 is a flowchart showing the flow of processing in the third embodiment, and corresponds to FIG.
  • the process of step S3 is the process of step S23.
  • the image processing apparatus 100 according to the present embodiment is different from the image processing apparatus 100 according to the first embodiment in that the gradation conversion of the first gradation conversion unit varies depending on the averaging range in the blurring processing unit 103. (Step S23).
  • the blur intensity changes when the averaging range is changed.
  • the brightness of the image after blurring changes depending on the brightness estimation value of the saturated pixel.
  • the degree of influence of saturated pixels changes when the averaging range is different. For example, when there is one saturated pixel and the gradation value is converted from 255 to 4095, depending on whether the range to be averaged is a 9 ⁇ 9 pixel range or a 9 ⁇ 9 81 pixel range. The degree is different. In the case where one of the nine pixels has an expanded gradation and the case in which one of the 81 pixels has an expanded gradation, the former has a larger average value.
  • the maximum gradation value converted by the first gradation conversion unit 102 is large.
  • an appropriate blurring process can be performed by increasing the maximum gradation value converted by the first gradation converting unit 102.
  • the range to be averaged changes based on the distance between the focused subject and the subject to be blurred.
  • Appropriate blurring processing can be performed by changing the maximum value of the gradation conversion in accordance with.
  • FIG. 21 is a flowchart showing the flow of processing in the fourth embodiment, and corresponds to FIG.
  • the process of step S3 is the process of step S33.
  • the image processing apparatus 100 adjusts the maximum gradation conversion value of the first gradation conversion unit 102 to be different depending on the gradation intensity of the gradation processing unit 103 (step S33).
  • the blur strength of the blur processing unit 103 represents the strength of the blur processing. As the strength increases, the blur increases, and as the strength decreases, the blur decreases. Also, the blur intensity is set automatically depending on the scene of the input image information, the distance to the in-focus subject, the distance from the foreground subject to the foreground subject, and manually by the user before or after shooting. There is a case.
  • ⁇ adjust the averaging range set for each distance. For example, when increasing the blur strength, the range to be averaged set based on the distance from the focused subject to the target subject is set wider by one step. On the other hand, when the blur intensity is weakened, the averaging range set based on the distance from the focused subject to the target subject is set to be narrowed by one step.
  • the blurring process can be performed with natural brightness. Therefore, if the setting to increase the intensity of blurring processing, the averaging range is set wider, so if the setting is to increase the maximum value of the converted gradation value and decrease the intensity of blurring processing, averaging is performed. Since the range is set narrower, the maximum value of the converted gradation value is reduced. For example, when the blur intensity is strong, the maximum value of the converted gradation value is set to 4095 as shown in FIG. 17A, and when the blur intensity is weak, the converted gradation value is changed as shown in FIG. The maximum value is 2047. Thus, by changing the maximum value of the gradation conversion value according to the set blurring intensity, natural blurring processing with appropriate brightness can be performed.
  • FIG. 22 is a flowchart showing the flow of processing in the fifth embodiment, and corresponds to FIG.
  • the process of step S3 is the process of step S43.
  • the image processing apparatus 100 in the present embodiment adjusts the maximum gradation conversion value of the first gradation conversion unit 102 to be different depending on the resolution of the input image information (step S43).
  • the range to be averaged by the blur processing unit 103 for blur processing is set in a range based on the subject. In other words, when the same scene is captured at the same angle of view, the number of pixels in an arbitrary averaging range is higher for image information with a higher resolution than for images with a lower resolution. This is because the pixel resolution of the same subject range is different. Therefore, when the input image information with a high resolution is blurred, the total number of pixels of the target pixel and the peripheral pixels to be averaged is larger than when the input image information with a low resolution is blurred.
  • the blurring process can be performed with natural brightness. Therefore, when the resolution of the input image information is high, the maximum value of the gradation conversion output value to be converted by the first gradation conversion unit 102 is increased, and when the resolution of the input image information is low, the first By reducing the maximum value of the gradation conversion output value to which gradation conversion is performed by the gradation conversion unit 102, it is possible to perform blurring processing with natural brightness. For example, when the resolution of the input image information is large, the gradation conversion characteristic is as shown in FIG. 17A, and when the resolution of the input image information is small, the gradation conversion characteristic is as shown in FIG. This is possible.
  • the image processing method for realizing the functions shown in the above embodiment is recorded in a storage medium as a program, for example, the image processing method for realizing the functions.
  • a storage medium an optical disk, a magnetic disk, a flash memory, or the like can be used. It is also possible to provide the program using a network line such as the Internet.
  • an image processing method can be recorded as circuit information usable in the FPGA. The circuit information is provided via a recording medium or a network, and is downloaded to the FPGA to realize image processing.
  • the image processing method of the present embodiment can be realized by the flow as shown in FIGS. 18 to 22 described above, and image information obtained by performing natural blurring processing corresponding to the brightness of the subject can be obtained. It becomes possible.
  • the image capturing apparatus 200 of the present embodiment includes the image processing apparatus 100, and a detailed description of each part common to the first embodiment is omitted.
  • FIG. 23 shows a configuration example of the image capturing apparatus 200 in the present embodiment.
  • the image capturing apparatus 200 includes an image capturing unit 201, a storage unit 202, and an image display unit 203 in addition to the image processing apparatus 100.
  • the image capturing unit 201 captures image information by capturing a subject and inputs the image information to the image processing apparatus 100. At this time, distance information corresponding to the image information is also input.
  • the distance information may be acquired by the imaging unit 201 using a distance sensor such as TOF, the distance information may be calculated by capturing a stereo image and calculating parallax information, or a plurality of images captured at different focal positions. The distance information may be calculated by calculating the degree of focus from these images.
  • the blurring process is performed after determining the saturation level of the saturated pixel and converting the gradation.
  • Image information output from the image processing apparatus 100 is stored in the storage unit 202 in an arbitrary format. Further, the image information subjected to the image processing can be displayed on the image display unit.
  • the brightness of the subject is estimated based on the saturation level of the saturated pixels, and the brightness of the subject is determined.
  • an image capturing apparatus capable of acquiring image information subjected to natural blurring processing.
  • Processing and control can be realized by software processing using a CPU or GPU, or hardware processing using an ASIC or FPGA.
  • Each component of the present invention can be arbitrarily selected, and an invention having a selected configuration is also included in the present invention.
  • a program for realizing the functions described in the present embodiment is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed to execute processing of each unit. May be performed.
  • the “computer system” here includes an OS and hardware such as peripheral devices.
  • the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
  • the “computer-readable recording medium” means a storage device such as a flexible disk, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included.
  • the program may be a program for realizing a part of the above-described functions, or may be a program that can realize the above-described functions in combination with a program already recorded in a computer system. At least a part of the functions may be realized by hardware such as an integrated circuit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

入力される入力画像情報に対してぼかし処理をするぼかし処理部を備えた画像処理装置において、前記入力画像情報の飽和画素の飽和度を算出する飽和度判定部と、前記飽和度判定部で算出された飽和度に基づいて前記入力画像情報の階調を変換する第一階調変換部と、前記ぼかし処理部は、前記第一階調変換部で階調変換された画像情報に対してぼかし処理を行い、ぼかし処理が行われた画像情報の飽和領域の階調を飽和画素として階調を変換する第二階調変換部と、を備えたことを特徴とする画像処理装置。

Description

画像処理装置、撮像装置、画像処理方法及びプログラム
　本発明は画像処理技術に関する。
　現在、デジタル画像を撮影する装置としてデジタルカメラが普及している。ユーザーは撮影したい被写体に対して自動または手動でフォーカスを合わせ、撮影操作を行うことで画像を取得する。フォーカスが合わされた被写体は鮮明に撮影され、フォーカスが合わされなかった被写体はぼけて撮影される。ぼけの度合いは撮像装置により決定され、ユーザーは絞りを変化させることで調整することができる。しかし、スマートフォンなどに搭載されるカメラモジュールやコンパクトデジタルカメラなどでは、絞りを調整できなかったり、被写界深度が深かったりするため、ユーザーが所望とするぼけ量が得られない場合がある。
　そこで、主要被写体の背景を画像処理によりぼかすことで、撮影画像よりもぼけ度合いが大きい画像を得る技術が開発されている。例えば、フォーカス位置の異なる複数の画像を連続的に撮影して、各被写体の合焦度合いを判定して距離を推定し、合焦した主要被写体との距離が離れた被写体を平均化することで、背景をぼかした画像を生成する。
　ところが、撮影した画像にはガンマ補正処理が行われており、明るさとの関係が非線形であるため、撮影画像をそのまま平均化すると、実際の被写体をぼかして撮影したときとは異なる明るさのぼかし画像となってしまう。また、被写体が明るい場合には、撮影画像の階調値が飽和してしまう可能性があり、撮影画像をそのまま平均化すると、実際の被写体をぼかして撮影したときとは異なる明るさのぼかし画像となってしまう。
　そこで、高画質なぼかし処理を行う方法として、撮影画像の階調値を変換した後で、平均化処理をする技術が提案されており、例えば、特許文献１がある。特許文献１では、各画素における背景画像データの値が高い場合には、当該画素における背景画像データを増幅する変換を行い、ぼかし処理をした後に前記変換の逆変換を行う。これにより、高階調部分の明るさを強調したぼかし処理を実現している。
特開２００９－２１８７０４号公報
　しかし、上記方法は以下のような課題を有する。
　特許文献１で開示されているような技術で、ぼかし処理を行ってしまうと、過度に高階調が強調された画像を生成してしまい、シーンによっては画質が劣化してしまう可能性がある。
　例えば、特許文献１では、飽和領域だけでなく高階調領域を増幅しているため、被写体を飽和せずに撮影できていた正常な領域まで明るくなり、過度に明るいぼかし画像となる可能性がある。さらに、注目画素の階調にのみ依存した変換となっているため、階調が飽和した領域では、実際の被写体の明るさを考慮せずに一様な変換となっている。つまり、最大階調が２５５の画像において、階調値を５１１として撮影したかった画素を２５５に飽和させた画素と、階調値を２５６として撮影したかった画素を２５５に飽和させた画素と、を同じ階調値に変換することになり、被写体とは異なる不自然な生成画像となる可能性がある。
　また、特許文献１では、中階調領域および低階調領域の階調変換も行うため、実際の被写体とは異なる明るさの被写体をぼかして撮影したことになるため、不自然な画像が生成される可能性がある。
　さらに、特許文献１の逆変換は、階調値を伸長する変換の逆変換を行うため、十分な明るさのぼかし処理をした画像を生成することができない。例えば、８ビットのデータを１２ビットのデータに変換する場合、飽和した画素である階調値２５５の画素は、階調値４０９５に変換される。この後、ぼかし処理である平均化処理を行うと、飽和した画素は必ず４０９５以下となる。この画素に対して逆変換を行うと、少なくとも２５５以下の画素となる。つまり、飽和した画素がぼかし処理によって飽和領域ではなくなり、目的である高輝度なぼかし画像を得られない可能性がある。
　本発明は、ぼかし処理を行う領域に飽和画素が存在しても、被写体の明るさに対応した自然なぼかし処理を行った画像を提供することを目的とする。
　本発明の一観点によれば、入力される入力画像情報に対してぼかし処理をするぼかし処理部を備えた画像処理装置において、前記入力画像情報の飽和画素の飽和度を算出する飽和度判定部と、前記飽和度判定部で算出された飽和度に基づいて前記入力画像情報の階調を変換する第一階調変換部と、前記ぼかし処理部は、前記第一階調変換部で階調変換された画像情報に対してぼかし処理を行い、ぼかし処理が行われた画像情報の飽和領域の階調を飽和画素として階調を変換する第二階調変換部と、を備えたことを特徴とする画像処理装置が提供される。
　本明細書は本願の優先権の基礎となる日本国特許出願番号２０１４－２０９５９３号の開示内容を包含する。
　本発明の画像処理装置および画像撮像装置によれば、実際の被写体をぼかして撮影したような、自然な画質となるぼかし画像を画像処理で合成することが可能となる。
本発明の実施の形態による画像処理装置の一構成例を示す機能ブロック図である。 注目画素と周辺画素の階調値の例を示す図である。 注目画素と周辺画素の階調値の例を示す図である。 階調変換特性の例を示す図である。 階調変換特性の例を示す図である。 階調変換特性の例を示す図である。 画素位置と階調の関係を示す図である。 画素位置と階調の関係を示す図である。 画素位置と階調の関係を示す図である。 画素位置と階調の関係を示す図である。 画像情報の例を示す図である。 画像情報に対応した距離情報の例を示す図である。 階調変換特性の例を示す図である。 階調変換特性の例を示す図である。 画素位置と階調の関係を示す図である。 画素位置と階調の関係を示す図である。 階調変換特性の例を示す図である。 本実施の形態による画像処理方法のフローチャートの一例を示す図である。 本発明の第２の実施の形態による画像処理方法のフローチャートの一例を示す図である。 本発明の第３の実施の形態による画像処理方法のフローチャートの一例を示す図である。 本発明の第４の実施の形態による画像処理方法のフローチャートの一例を示す図である。 本発明の第５の実施の形態による画像処理方法のフローチャートの一例を示す図である。 本発明の第７の実施の形態による画像撮像装置の一構成例を示す図である。
　以下、図面を使って本発明の実施の形態を詳細に説明する。なお、各図における表現は理解しやすいように誇張して記載しており、実際のものとは異なる場合がある。
（実施形態１）
　図１は、本実施形態による画像処理装置の一構成例を示す機能ブロック図である。図１８は、画像処理方法の処理の流れを示すフローチャート図である。本実施形態の画像処理装置１００は、飽和度判定部１０１、第一階調変換部１０２、ぼかし処理部１０３、第二階調変換部１０４、を備える。画像処理装置１００には入力画像情報が入力され、画像処理を行った結果を出力画像情報として出力する。飽和度判定部１０１は、入力画像情報の飽和画素の飽和度を判定する。第一階調変換部１０２は、飽和度判定部１０１で判定された結果に基づいて、入力画像情報の階調変換を行う。ぼかし処理部１０３は、第一階調変換部１０２で階調変換された画像情報に対してぼかし処理を行う。第二階調変換部１０４は、ぼかし処理部１０３でぼかし処理が行われた画像情報の階調変換を行い出力画像情報として出力する。
　ステップＳ１では、入力画像情報を取得する。ステップＳ２では、飽和度判定部１０１が、飽和画素に対する飽和度を算出する。飽和度は、飽和画素の飽和度合いを判定するものであり、飽和度が大きいほど飽和度合いが大きい。ステップＳ３では、第一階調変換部１０２が、算出した飽和度を使用して第一階調変換を行う。飽和度が大きいほど、変換により出力される階調値が大きくなるように変換する。ステップＳ４において、ぼかし処理部１０３が、第一階調変換が行われた画像情報に対してぼかし処理をする。ぼかし処理は、注目画素と周辺画素を特定範囲で平均化することで実現される。また、特定範囲は、合焦被写体とぼかす被写体との距離に応じて変化させることで、距離に応じた自然なぼかし処理ができる。ステップＳ５において、第二階調変換部１０４が、ぼかし処理が行われた画像情報に対して階調変換をする。飽和領域の画素を出力画像情報の最大階調値に飽和させるように階調変換を行う。ステップＳ６では、画像処理が行われた画像情報が出力される（図１８）。
　画像処理装置１００の各部は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）によるソフトウェア処理、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）によるハードウェア処理によって実現することができる。
　入力された画像情報は飽和度判定部１０１によって、各画素の飽和画素の飽和度合いを判定する。例えば、８ビットデータである０から２５５階調の画像情報であれば、２５５階調である画素が飽和画素となる。ただし、撮影条件や保存条件によって飽和する階調値が異なる場合には、飽和した階調値とみなすことが可能な階調値を、飽和階調値として適宜設定しても良い。例えば、ノイズが大きい場合等は２５４を飽和階調値としたり、１６から２３５の階調値を使用している画像情報であれば２３５を飽和階調値としたりすることができる。
　飽和度判定部１０１が判定する飽和度合いは、飽和画素の階調値が本来どの程度の明るさであったかを示す、被写体の明るさ度合いである。すなわち、飽和階調値２５５に対して、本来であれば２５６階調であった画素が２５５となった僅かに飽和した画素か、本来であれば５１１階調であった画素が２５５となった大きく飽和した画素か、を判定する。
　注目画素の飽和度合いは、注目画素が飽和しているかだけでなく、周囲の画素の明るさを利用して判定するのが好適である。例えば、注目画素の周囲の画素の飽和画素の数や注目画素を含む特定領域の平均階調値を飽和度として算出し、飽和度合いを判定することができる。つまり、明るい被写体の面積が大きい方を、より明るい被写体と推定して飽和度合いを判定する。
　図２は、注目画素と周辺画素の階調値を示す例であり、図２（ａ）では中央に配置されている注目画素の階調値が２５５で飽和しており、注目画素の周辺に配置されている周辺画素の飽和画素は８画素中４画素である。一方、図２（ｂ）では中央に配置されている注目画素の階調値が２５５で飽和しており、注目画素の周辺に配置されている８個の周辺画素も全ての画素が飽和画素となっている。
　このとき、図２（ｂ）の画像は図２（ａ）の画像よりも飽和度が高く、実際の被写体の明るさが明るかったと判定することができる。これは、明るい被写体の周辺部分は他の被写体からの光と合わさって明るさが低下するので、明るい被写体の中央部分は周辺よりも明るいと推定できるためである。したがって、図２（ｂ）は、図２（ａ）よりも周辺画素が明るく飽和しているため、図２（ｂ）は、図２（ａ）よりも明るい被写体であったと推定することができる。周辺画素の明るさの算出は、周辺画素の飽和画素の数を算出したり、周辺画素の階調値の和を算出したり、周辺画素の階調値の平均値を算出したり、することで算出することができる。ここで、各周辺画素の明るさの算出に注目画素の値が含まれていても構わない。
　また、図３は、注目画素と周辺画素の階調値を示す他の例で、図２とは周辺画素の範囲が異なっている。図３（ａ）は、図２（ｂ）と同様に、中央に配置している注目画素の階調値が２５５で飽和しており、注目画素に周辺に配置されている周辺画素のうち、近くに配置されている８画素が飽和画素で、その他の１６画素のうち１１画素が飽和画素となっている。一方、図３（ｂ）では中央に配置している注目画素の階調値が２５５で飽和しており、注目画素の周辺に配置されている２４個の周辺画素も全ての画素が飽和画素となっている。
　このとき、図３（ｂ）は図３（ａ）よりも飽和度が高く、実際の被写体の明るさが明るかったと判定する。これは、図３（ｂ）の方が、図３（ａ）よりも広範囲で飽和画素が配置されているためである。したがって、図２と図３の関係から、周辺画素の範囲を変えることによって、注目画素の飽和度を判定することもできる。すなわち、図３（ｂ）は図３（ａ）または図２（ｂ）よりも飽和度が高く、図３（ａ）または図２（ｂ）は図２（ａ）よりも飽和度が高いと判定することができる。このようにして算出した飽和度は、第一階調変換部１０２に伝達される。
　第一階調変換部１０２では、飽和度判定部１０１で判定した飽和度を考慮して階調変換を行う。
　階調変換は、例えば、図４に示した特性によって行うことができる。ここで、図４における入力画像情報の階調値は０から２５５であり、飽和度判定部１０１で算出した飽和度は０から７までの８段階としている。入力画像情報の注目画素の階調値が２５５である場合には、飽和度が算出されており、本実施形態の一例では、階調値２５５に飽和度を加算して階調変換の入力階調とする。例えば、飽和度が５であった場合には、階調変換の入力階調は２６０となる。このような処理により、飽和画素の明るさを推定した結果を反映した入力画像情報の階調値を得ることができる。出力階調値は０から４０９５としているが、これはぼかし処理による階調値の精度を向上するためであり、他の階調範囲でも構わない。このような階調変換は、入力階調値と出力階調値を関連付けたＬＵＴ（Ｌｏｏｋ　Ｕｐ　Ｔａｂｌｅ）により実現することができる。また、上記では、入力画像情報の階調値に飽和度を加算した値を入力として階調を変換したが、０から２５４は図４の対応領域を使用し、階調値が２５５である場合は飽和度にしたがって出力階調値を割り当てるようにしても同様の結果となる。
　ここで、被写体の明るさと画像情報の階調値の関係が線形であれば図４の変換が好ましいが、例えば、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）ファイルなどの圧縮された画像情報を入力画像情報とした場合、ガンマ補正が行われて、被写体の明るさと画像情報の階調値の関係が線形では無い場合がある。その場合には、被写体の明るさと画像情報の階調値の関係が線形となるよう、第一階調変換部１０２で階調変換を行う。図５に階調変換の例を示す。入力階調値が０から２５４の場合には、ガンマ補正を逆補正して明るさと階調値が線形になるような変換処理が行われる。入力画像情報のガンマ補正が不明な場合などは、入力画像情報がｓＲＧＢであると仮定して行うことも可能である。
　さらに、ガンマ補正に対応した変換を行うときに、入力画像情報の低階調部分では量子化の影響で分解能が低下する可能性が有る。このとき、図６に示すように、低階調部分は線形関係の階調変換を行うことで、階調の劣化を防ぐことができる。
　第一階調変換部１０２により階調変換された画像情報は、飽和画素が被写体の明るさに応じて推定されている。図７（ａ）は入力画像情報であり、図７（ｂ）は第一階調変換部１０２により階調変換された画像情報の例を示しており、入力画像情報の階調値と被写体の明るさは線形関係である。図７（ａ）では、画像の明るさが一部飽和している。一方、図７（ｂ）では、図７（ａ）で飽和していた領域について、被写体の明るさを推定して階調値が与えられている。これは、飽和度判定部１０１により、特定範囲の飽和画素の量などによって飽和度を算出したためである。
　図８は、図７（ａ）の状態を従来の方法で階調変換したときの状態を示しており、図８（ａ）は、入力画像情報の階調値に応じて階調値を伸長する変換をする場合を、図８（ｂ）は、飽和画素だけを伸長する変換をする場合を示している。図８（ａ）では、入力画像情報の階調値のみに基づいて階調を変換しているため、０から２５４の明るさと階調値の関係が歪み、飽和画素は飽和したままとなってしまう。一方、図８（ｂ）では、飽和画素の階調のみを伸長する階調変換であるため、飽和画素のみが明るくなり過ぎ、飽和画素も飽和したままとなってしまう。本実施形態のように、飽和度に応じて階調変換を行うことにより、図７（ｂ）のように被写体の明るさを、滑らかで自然な階調として飽和画素の階調値を推定することができる。
　図９には、図７とは異なる画像情報の階調値の例を示す。図９（ａ）は、図７（ａ）と比べて、飽和画素の範囲が狭くなっている。図９（ｂ）は第一階調変換部１０２で階調変換された画像情報を示している。図９（ａ）の飽和画素の範囲が狭いため、飽和度判定部１０１で算出された飽和度が最大とならず、階調変換後の階調値も最大とならないため、自然な明るさ変化として被写体の明るさが推定できている。
　図１０には図９（ａ）の状態を従来の方法で階調変換したときの状態を示しており、図１０（ａ）は、入力画像情報の階調値に応じて階調値を伸長する変換をする場合を、図１０（ｂ）は、飽和画素だけを伸長する変換をする場合を示している。図１０（ａ）では、入力画像情報の階調値のみに基づいて階調を変換しているため、０から２５４の明るさと階調値の関係が歪み、飽和画素は飽和したままとなってしまう。一方、図１０（ｂ）では、飽和画素の階調のみを伸長する階調変換であるため、飽和画素のみが明るくなり過ぎ、飽和画素も飽和したままとなってしまう。
　したがって、本実施形態のように、飽和度に応じて階調変換を行うことにより、図９（ｂ）のように被写体の明るさを、滑らかで自然な階調として飽和画素の階調値を推定することができる。
　第一階調変換部１０２により階調変換された画像情報は、ぼかし処理部１０３によりぼかし処理が行われる。ぼかし処理は、注目画素と周辺画素との平均化によって実現することが可能である。平均化処理としては、各画素の重みを同一とする方法、注目画素からの距離に応じて重み付けをする方法、など適宜選択することができる。
　どの程度ぼかし処理を行うかに関するぼかし処理の強度は、平均化する範囲を変化させることで調整することが可能である。平均化する範囲が大きい場合には、ぼかし強度が大きくなり、平均化する範囲が小さい場合には、ぼかし強度が小さくなる。
　また、ぼかしの形状に関しては、平均化する範囲の形状に基づき、例えば、四角形、六角形、八角形、など平均化する範囲の形状を調整することで、ぼかしの形状も変化させることが可能である。したがって、ぼかしの形状をユーザーが調整できるように設定しておくと、ユーザーが好むぼかしの形状を得ることが可能となる。
　図１１は、画像情報の例であり、撮影した場所から近い順番に、被写体Ａ、被写体Ｂ、被写体Ｃの順に配置されている。
　図１２は、図１１に示す画像情報に対応した距離情報を示す図である。図１２では濃淡により示される距離情報は従来の技術により取得することができ、例えば、ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）やステレオカメラなどから算出することができる。また、距離情報は、異なる焦点位置で撮影された画像からも算出することができ、注目画素における各画像の合焦度を比較することで、距離情報を算出することができる。このような距離情報は、入力画像情報と対応して画像処理装置１００に画像情報とともに入力される。
　ぼかし処理部１０３は、距離情報に基づいてぼかし処理を行う。例えば、近景合焦領域である被写体Ａを合焦させ背景をぼかす場合には、被写体Ａの距離と、各被写体の距離と、の差に基づいてぼかし強度を変化させてぼかし処理を行う。つまり、被写体Ａはぼかし処理を行わず、被写体Ｂはぼかし処理を行い、被写体Ｃは被写体Ｂよりも大きいぼかし強度でぼかし処理をする。ここで、ぼかし処理強度が複数ある場合の処理方法は、距離情報に基づいて平均化範囲を距離が遠いほど範囲を広くするように変化させて平均化処理を行っても良いし、平均化範囲が異なる画像を作成して距離情報に基づいて、平均化範囲が異なる画像の中から画素を選択するようにしても良い。
　被写体Ａとは異なる他の被写体を合焦させてぼかし処理をすることも可能であり、例えば、被写体Ｂを合焦させて、他の被写体をぼかす場合には、被写体Ｂの距離と、他の被写体の距離と、の差に基づいて、ぼかし処理のぼかし強度を変化させてぼかし処理を行う。したがって、ユーザーが合焦する被写体を指定できるようにしておくと、ユーザーが好むぼかし処理を行った画像を得ることができる。
　尚、本実施形態では距離情報に基づいてぼかし処理を行う例について説明したが、他のぼかし処理を用いることもできる。例えば、ユーザーが指定した領域、または、ユーザーが指定しなかった領域をぼかすぼかし処理を行うことも可能である。
　ぼかし処理部１０３においてぼかし処理が行われた画像情報は、第二階調変換部１０４に伝達され階調変換が行われる。例えば、図１３のような特性に基づいて階調変換処理を行うことができる。図４の特性を利用して第一階調変換を行い、次いでぼかし処理が行われた画像情報の階調値は０から４０９５となっており、画像処理装置１００からの出力画像情報を０から２５５の階調として出力する場合を例示している。
　図１３における入力階調値が１０２３以上の階調は、画像処理装置１００の入力画像情報では飽和画素であったため、１０２３から４０９５までの階調を２５５として出力する。１０２３より小さい階調は、線形関係を保って０から２５５の間の階調へ変換される。
　尚、ガンマ補正を考慮して出力画像情報を出力する場合には、図１４に示す特性のように、１０２３より小さい値を変換するときに、ガンマ補正を考慮した変換を行うと良い。さらに、第一階調変換部１０２において、図６のような特性で階調変換を行っている場合には、線形関係で変換された低階調領域は、線形関係を保持して変換し、その他の領域でガンマ補正を考慮した変換とすることで、入力画像情報の明るさと対応した出力画像を生成することができる。このような変換を行うことにより、入力画像情報に対する出力画像情報の明るさの関係を維持することができ、自然なぼかし処理を行った画像情報を出力することが可能となる。
　第二階調変換部１０４により階調変換された画像情報は、画像処理装置１００に入力されたときに飽和画素であった階調を飽和画素として出力している。
　図１５（ａ）は、第二階調変換部１０４に入力される画像情報であり、図１５（ｂ）は、第二階調変換部１０４から出力される画像情報の例を示しており、画像情報の階調値と被写体の明るさは線形関係である。図１５（ａ）では、飽和画素の階調値に対応していた１０２３以上の階調値を有している画素が存在している。一方、図１５（ｂ）では、２５５以下の階調値に変換されるとともに、１０２３より大きい階調を有する画素が、２５５の階調値に飽和して変換されている。これにより、飽和度によって被写体の明るさが推定されて伸長されていた階調値が、伸長前の階調に戻る変換が行われ、入力画像情報の明るさに対応した出力画像情報を出力することができる。
　図１６には、従来の方法を使って、階調値のみに基づいて階調変換をした場合の例を示す。例えば、図８や図１０のような従来の方法で階調変換した後でぼかし処理を行った結果が図１６（ａ）であり、階調値のみに基づいて図８および図１０の逆変換をした場合が図１６（ｂ）となる。図１６（ｂ）のように、階調を伸長する階調変換の前には飽和画素であった領域が、出力画像情報となったときに飽和画素とならず、画像が暗くなってしまう。つまり、従来の方法では、入力画像情報の明るさに対応した出力画像情報を出力することができていない。このように、図１５のような変換をすることにより、入力画像情報の明るさに対応した出力画像情報を出力することができる。
　上記で説明したように、本実施の形態によれば、入力画像情報の飽和画素の飽和度を算出して、階調変換をした後にぼかし処理をすることで、被写体の明るさを考慮した自然なぼかし画像を得ることができる。さらに、入力画像の飽和階調を考慮して、ぼかし画像を階調変換することにより、入力画像情報の明るさに対応した出力画像情報を得ることができる。
　上記実施形態では、１枚の画像情報の処理について説明したが、連続的した画像情報として入力し、各画像情報がフレームに対させることで、動画の画像処理としても適用することも可能である。
（実施形態２）
　本実施形態における画像処理装置１００の構成は、実施形態１と同様であるため、共通する各部の詳細な説明は省略する。
　本実施形態における画像処理装置１００は、実施形態１の画像処理装置１００と比較して、第一階調変換部１０２での階調変換の方法が異なる。実施形態２での入力画像情報はカラー画像を対象とし、第一階調変換部１０２における階調変換を、白色での飽和と特定色での飽和とで異なる処理とする。
　図１９は、実施形態２における処理の流れを示すフローチャート図であり、図１８に対応する図である。ステップＳ１の処理は、図１８と同様である。
　例えば、赤色、緑色、青色、の３チャネルで構成されるカラー画像において、白色での飽和は、赤色、緑色、青色の階調が飽和している状態で、特定色での飽和は、赤色、緑色、青色のうち少なくとも１チャネルの階調が飽和し、少なくとも１チャネルが飽和していない状態である。
　飽和画素の階調値の推定は、白色の飽和、および、色の飽和、の両方で行うことが可能であるが、白色の飽和は、色の飽和よりも明るい被写体であるので、異なる明るさとして推定する必要がある。つまり、白色の飽和度と色の飽和度を別々に算出して階調変換を行う。
　飽和度判定部１０１では、実施形態１と同様の動作で実現できるが、白色飽和画素と色飽和画素のそれぞれで飽和度を算出する（ステップＳ１２）。例えば、注目画素のチャネルの最小階調値を算出して、最小階調値が２５５で飽和していれば白色飽和画素として処理を行い、白色飽和画素でなく、かつ、注目画素のチャネルの最大階調値を算出して、最大階調値が２５５で飽和していれば色飽和画素として処理をする。このように飽和画素を定義することで、白色飽和と色飽和の飽和度を算出することができる。
　飽和度判定部１０１で算出した飽和度に基づいて、第一階調変換部１０２において階調変換を行う（ステップＳ１３）。
　図１７は、第一階調変換部１０２の階調変換の特性の例を示している。図１７（ａ）は白色飽和画素の階調変換の特性であり、図１７（ｂ）は色飽和画素の階調変換の特性である。白色飽和画素は色飽和画素よりも明るいと被写体であったと推定されるため、図１７では、被写体の明るさと対応させるために、階調変換の最大値を、白色飽和画素の場合と色飽和画素の場合とで異ならせている。図１７（ａ）は白色飽和画素の階調変換特性で、出力階調値の最大値を４０９５としている。一方、図１７（ｂ）は色飽和画素の階調変換特性で、飽和度が同じでも白色飽和画素より暗くなるように、出力階調値の最大値を２０４７としている。第一階調変換部１０２から出力された画像情報は、実施形態１と同様に、ぼかし処理部１０３（ステップＳ１４）と第二階調変換部１０４（ステップＳ１５）にて処理され出力画像情報とされる（ステップＳ１６）。各部における処理は、チャネル毎に独立して処理をすることで実現可能である。つまり、赤色であれば、赤色のチャネル内で平均化され、入力画像情報において飽和であった階調領域を、赤色のチャネルにおいて飽和画素として階調変換し出力する。他のチャネルも同様である。
　以上で説明した処理を行うことにより、飽和画素を被写体の明るさに応じて自然なぼかし処理を実現できるとともに、白色飽和画素と色飽和画素とで異なる階調変換を行うことにより、色飽和より白色飽和の方が明るく、被写体の明るさに対応した出力画像を得ることが可能となる。
　ここで、本実施形態では、図１７（ａ）および図１７（ｂ）の２種類の階調変換特性で説明したが、例えば、飽和画素を白色飽和、２チャネル色飽和、１チャネル色飽和の３種類とし、階調変換特性を３種類としても良い。つまり、白色飽和、２チャネル色飽和、１チャネル色飽和の順で、被写体の明るさが大きいと推定するように階調変換を行う。
　また、２種類の階調変換特性は、入力階調が０から２５４までは共通であるので、色飽和領域の変換値を白色飽和の階調特性を使って算出するようにしても良い。例えば、図１７（ａ）において、飽和画素の最小値である１０２３と、飽和度に応じて与えられる変換値との差分を算出し、その１／２を飽和画素の最小値である１０２３に加算して色飽和画素の階調変換値とする。このとき、色飽和画素の階調変換値の最大値は２５５９となる。つまり、白色飽和の階調特性で変換値を算出し、その値に基づいて、白色飽和より小さい値が変換値として変換されるようにする。
　本実施の形態によれば、カラー画像において、入力画像情報の飽和画素の飽和度をチャネル毎に算出して、それぞれのチャネル毎に階調変換をした後にぼかし処理をすることで、カラー画像において、被写体の明るさと色を考慮した、より自然なぼかし画像を得ることができる。さらに、入力画像の飽和階調を考慮して、ぼかし画像を階調変換することにより、入力画像情報の明るさに対応した出力画像情報を得ることができる。
（実施形態３）
　本実施形態における画像処理装置１００の構成は、実施形態１と同様であるため、共通する各部の詳細な説明は省略する。
　図２０は、実施形態３における処理の流れを示すフローチャート図であり、図１８に対応する図である。ステップＳ３の処理をステップＳ２３の処理としている。
　本実施形態における画像処理装置１００は、実施形態１の画像処理装置１００と比較して、ぼかし処理部１０３における平均化の範囲によって、第一階調変換部の階調変換を異ならせるようにする（ステップＳ２３）。
　実施形態１において、平均化をする範囲を異ならせるとぼかし強度が変化することを説明した。このとき、飽和画素の明るさ推定値の大きさによって、ぼかし処理後の画像の明るさが変化する。これは、平均化する範囲が異なると飽和画素の影響度合いが変化するためである。例えば、飽和画素が１つで、階調値が２５５から４０９５に変換されるとき、平均化する範囲が３×３の９画素の範囲か、９×９の８１画素の範囲か、によって、影響度合いが異なる。９画素中の１画素が伸長された階調である場合と、８１画素中の１画素が伸長された階調である場合とでは、前者の方が平均化した値が大きくなる。
　したがって、飽和画素の推定値が過度に大きすぎると明るくぼかし過ぎてしまう可能性があるため、平均化する範囲が小さくなる場合には、第一階調変換部１０２で変換する階調値の最大値を小さくし、平均化する範囲が大きくなる場合には、第一階調変換部１０２で変換する階調値の最大値を大きくすると、適切なぼかし処理が可能となる。
　このように、本実施形態では、画像情報に対応した距離情報に基づいてぼかし処理を行うときに、合焦被写体とぼかし対象の被写体との距離に基づいて平均化する範囲が変化するので、距離に応じて階調変換の最大値を変化させることで、適切なぼかし処理が可能となる。
（実施形態４）
　本実施形態における画像処理装置１００の構成は、実施形態１と同様であるため、共通する各部の詳細な説明は省略する。
　図２１は、実施形態４における処理の流れを示すフローチャート図であり、図１８に対応する図である。ステップＳ３の処理をステップＳ３３の処理としている。
　本実施形態における画像処理装置１００は、ぼかし処理部１０３のぼかし強度によって第一階調変換部１０２の階調変換値の最大値を異なるように調整する（ステップＳ３３）。ぼかし処理部１０３のぼかし強度は、ぼかし処理の強さを表し、強度が強いほどぼけが大きくなり、強度が弱いほどぼけが小さくなる。また、ぼかし強度は、入力画像情報のシーン、合焦被写体までの距離、近景被写体から遠景被写体までの距離、などによって自動で設定する場合と、ユーザーが撮影前、または、撮影後に手動で設定する場合がある。
　ぼかし強度を変化させるためには、各距離で設定されている平均化する範囲を調整する。例えば、ぼかし強度を強くする場合、合焦被写体から対象被写体のまでの距離に基づいて設定されている平均化する範囲を、それぞれ１段階広く設定する。一方、ぼかし強度を弱くする場合、合焦被写体から対象被写体のまでの距離に基づいて設定されている平均化する範囲を、それぞれ１段階狭く設定する。
　ここで、実施形態３で説明したように、平均化する範囲に基づいて階調変換値の最大値を変化させると、自然な明るさでぼかし処理が行える。したがって、ぼかし処理の強度を強くする設定であれば、平均化範囲がより広く設定されるので、変換階調値の最大値を大きくし、ぼかし処理の強度を弱くする設定であれば、平均化範囲がより狭く設定されるので、変換階調値の最大値を小さくする。例えば、ぼかし強度が強い場合には、図１７（ａ）のように変換階調値の最大値を４０９５とし、ぼかし強度が弱い場合には、図１７（ｂ）のように変換階調値の最大値を２０４７とする。このように、設定されたぼかし強度によって、階調変換値の最大値を変化させることにより、適切な明るさで自然なぼかし処理が可能となる。
（実施形態５）
　本実施形態における画像処理装置１００の構成は、実施形態１と同様であるため、共通する各部の詳細な説明は省略する。
　図２２は、実施形態５における処理の流れを示すフローチャート図であり、図１８に対応する図である。ステップＳ３の処理をステップＳ４３の処理としている。
　本実施形態における画像処理装置１００は、入力画像情報の解像度によって、第一階調変換部１０２の階調変換値の最大値を異なるように調整する（ステップＳ４３）。ぼかし処理部１０３で、ぼかし処理のために平均化する範囲は、被写体を基準とした範囲で設定されている。つまり、同じシーンを同じ画角で撮影した場合における任意の平均化する範囲の画素数は、解像度が高い画像情報の方が、解像度が低い画像上よりも多くなる。これは、同一の被写体の範囲の画素分解能が異なるためである。したがって、解像度が高い入力画像情報をぼかし処理する場合には、解像度が低い入力画像情報をぼかし処理する場合より、平均化する注目画素と周辺画素の合計画素数が多くなる。
　ここで、実施形態３で説明したように、平均化する範囲に基づいて階調変換値の最大値を変化させると、自然な明るさでぼかし処理が行える。したがって、入力画像情報の解像度が高い場合には、第一階調変換部１０２で階調変換する階調変換出力値の最大値を大きくし、入力画像情報の解像度が低い場合には、第一階調変換部１０２で階調変換する階調変換出力値の最大値を小さくすることで、自然な明るさでぼかし処理を行うことが可能となる。例えば、入力画像情報の解像度が大きい場合には、図１７（ａ）のような階調変換特性とし、入力画像情報の解像度が小さい場合には、図１７（ｂ）のような階調変換特性とすることで実現可能である。
（実施形態６）
　本実施形態では、図１８から図２２までのように上記実施形態で示した機能を実現する画像処理方法を、例えば、機能を実現する画像処理方法をプログラムとして記憶媒体に記録しておく。コンピュータにより記憶媒体に記録されたプログラムを読み込み、実行させることで実現できる。記憶媒体としては、光ディスク、磁気ディスク、フラッシュメモリ、などが使用可能である。また、上記プログラムをインターネットなどのネットワーク回線を利用して提供することも可能である。さらに、ＦＰＧＡで使用可能な回路情報として画像処理方法を記録しておくこともできる。回路情報は記録媒体やネットワークを介して提供され、ＦＰＧＡにダウンロードして画像処理を実現する。
　上記図１８から図２２までのようなフローにより、本実施形態の画像処理方法を実現することが可能であり、被写体の明るさに対応し、自然なぼかし処理を行った画像情報を得ることが可能となる。
（実施形態７）
　本実施形態の画像撮像装置２００は、画像処理装置１００を備え、実施形態１と共通する各部の詳細な説明は省略する。
　本実施形態における画像撮像装置２００の構成例を図２３に示す。画像撮像装置２００は、画像処理装置１００に加え、撮像部２０１、記憶部２０２、画像表示部２０３を備える。撮像部２０１は、被写体を撮影して画像情報を取得し、画像処理装置１００に画像情報を入力する。このとき、画像情報と対応した距離情報も入力する。距離情報は、撮像部２０１でＴＯＦなどの距離センサにより取得しても良いし、ステレオ画像を撮影して視差情報を算出して距離情報を算出しても良いし、異なる焦点位置で撮影した複数の画像から合焦度を算出して距離情報を算出しても良い。
　画像処理装置１００では、飽和画素の飽和度を判定して階調変換した後で、ぼかし処理が行われる。画像処理装置１００から出力された画像情報は、任意の形式で記憶部２０２に保存される。また、画像処理が行われた画像情報は、画像表示部に表示することができる。
　以上で説明したように、画像処理装置１００を備えた画像撮像装置２００により、被写体が飽和して撮影された場合でも、飽和画素の飽和度により被写体の明るさを推定し、被写体の明るさに対応し、自然なぼかし処理が行われた画像情報を取得することが可能な、画像撮像装置を実現することができる。
　処理および制御は、ＣＰＵやＧＰＵによるソフトウェア処理、ＡＳＩＣやＦＰＧＡによるハードウェア処理によって実現することができる。
　また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
　また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。
　また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。
１００　画像処理装置
１０１　飽和度判定部
１０２　第一階調変換部
１０３　ぼかし処理部
１０４　第二階調変換部
２００　画像撮像装置
２０１　撮像部
２０２　記憶部
２０３　画像表示部
　本明細書で引用した全ての刊行物、特許及び特許出願はそのまま引用により本明細書に組み入れられるものとする。
 

Claims (13)

  1. 　入力される入力画像情報に対してぼかし処理をするぼかし処理部を備えた画像処理装置において、
    　前記入力画像情報の飽和画素の飽和度を算出する飽和度判定部と、
    　前記飽和度判定部で算出された飽和度に基づいて前記入力画像情報の階調を変換する第一階調変換部と、
    　前記ぼかし処理部は、前記第一階調変換部で階調変換された画像情報に対してぼかし処理を行い、ぼかし処理が行われた画像情報の飽和領域の階調を飽和画素として階調を変換する第二階調変換部と、を備えたことを特徴とする画像処理装置。
  2. 　前記飽和度は、注目画素の周辺画素の明るさに基づいて算出することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記飽和度は、注目画素の周辺画素のうち、飽和している画素の数に基づいて算出することを特徴とする請求項１に記載の画像処理装置。
  4. 　前記飽和度は、注目画素の周辺画素の階調値の和に基づいて算出することを特徴とする請求項１に記載の画像処理装置。
  5. 　前記第一階調変換部は、
    　前記飽和度判定部により算出された飽和度が大きいほど、変換により出力される階調値が大きくなるように変換することを特徴とする請求項１または請求項２に記載の画像処理装置。
  6. 　前記入力画像情報の解像度が大きいほど、前記第一階調変換部の出力階調値の最大値が大きくなるように変化することを特徴とする、請求項１または請求項２に記載の画像処理装置。
  7. 　前記第一階調変換部が、前記入力画像情報の白色飽和画素と色飽和画素との階調変換を異ならせることを特徴とする、請求項１または請求項２に記載の画像処理装置。
  8. 　前記飽和度が同じ程度である場合には、前記白色飽和画素の出力階調値が前記色飽和画素の出力階調値よりも大きくなるように階調変換を行うことを特徴とする、請求項７に記載の画像処理装置。
  9. 　前記ぼかし処理部は、
    　設定されたぼかし強度によってぼかし処理の強度を変化させ、
    　前記ぼかし強度が強いほど、前記第一階調変換部の出力階調値の最大値が大きくなるように変化することを特徴とする、請求項１または請求項２に記載の画像処理装置。
  10. 　前記ぼかし処理部は、
    　前記入力画像情報に対応した距離情報に基づいて、ぼかし処理をする範囲を変化させ、前記ぼかし処理の範囲が広いほど、前記第一階調変換部の出力階調値の最大値が大きくなるように変化することを特徴とする、請求項１または請求項２に記載の画像処理装置。
  11. 　画像情報を取得する撮像部を備えた撮像装置において、
    　請求項１から請求項１０までのいずれか１項に記載の画像処理装置を備えたことを特徴とする、撮像装置。
  12. 　入力される入力画像情報に対してぼかし処理をするぼかし処理ステップを備えた画像処理方法において、
    　前記入力画像情報の飽和画素の飽和度を算出する飽和度判定ステップと、
    　前記飽和度判定ステップで算出された飽和度に基づいて前記入力画像情報の階調を変換する第一階調変換ステップと、
    　前記ぼかし処理ステップは、前記第一階調変換ステップで階調変換された画像情報に対してぼかし処理を行い、ぼかし処理が行われた画像情報の飽和領域の階調を飽和画素として階調を変換する第二階調変換ステップと、を備えたことを特徴とする画像処理方法。
  13. 　請求項１２に記載の画像処理方法をコンピュータに実行させるためのプログラム。
PCT/JP2015/074191 2014-10-14 2015-08-27 画像処理装置、撮像装置、画像処理方法及びプログラム WO2016059887A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/517,976 US10275860B2 (en) 2014-10-14 2015-08-27 Image processing device, image capturing device, image processing method, and program
CN201580040389.5A CN106575434B (zh) 2014-10-14 2015-08-27 图像处理装置、摄像装置以及图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-209593 2014-10-14
JP2014209593A JP6376934B2 (ja) 2014-10-14 2014-10-14 画像処理装置、撮像装置、画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2016059887A1 true WO2016059887A1 (ja) 2016-04-21

Family

ID=55746435

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/074191 WO2016059887A1 (ja) 2014-10-14 2015-08-27 画像処理装置、撮像装置、画像処理方法及びプログラム

Country Status (4)

Country Link
US (1) US10275860B2 (ja)
JP (1) JP6376934B2 (ja)
CN (1) CN106575434B (ja)
WO (1) WO2016059887A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6771977B2 (ja) * 2016-07-21 2020-10-21 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
JP6965132B2 (ja) * 2017-12-05 2021-11-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
DE102019107853B4 (de) * 2019-03-27 2020-11-19 Schölly Fiberoptic GmbH Verfahren zur Inbetriebnahme einer Kamerasteuerungseinheit (CCU)
JP7451443B2 (ja) * 2021-02-09 2024-03-18 キヤノン株式会社 画像処理方法および装置、機械学習モデルの訓練方法および装置、並びにプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284423A (ja) * 2004-03-29 2005-10-13 Seiko Epson Corp 画像処理装置、および、画像処理方法
JP2009527059A (ja) * 2006-02-14 2009-07-23 フォトネーション アイルランド リミテッド 画像ぼかし処理
JP2012114849A (ja) * 2010-11-26 2012-06-14 Canon Inc 画像処理装置、及び画像処理方法
JP2014102614A (ja) * 2012-11-19 2014-06-05 Sharp Corp 画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100506086B1 (ko) * 2002-12-26 2005-08-03 삼성전자주식회사 영상의 재현 품질 향상 장치 및 그 방법
US8682097B2 (en) 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7295233B2 (en) 2003-09-30 2007-11-13 Fotonation Vision Limited Detection and removal of blemishes in digital images utilizing original images of defocused scenes
IES20060559A2 (en) 2006-02-14 2006-11-01 Fotonation Vision Ltd Automatic detection and correction of non-red flash eye defects
WO2007095556A2 (en) 2006-02-14 2007-08-23 Fotonation Vision Limited Digital image acquisition device with built in dust and sensor mapping capability
JP4643715B2 (ja) 2006-02-14 2011-03-02 テセラ テクノロジーズ アイルランド リミテッド 赤目ではない目の閃光による不良の自動的な検知および補正
JP2009218704A (ja) 2008-03-07 2009-09-24 Ricoh Co Ltd 画像処理装置及び画像処理方法
US8203582B2 (en) * 2009-08-24 2012-06-19 Samsung Electronics Co., Ltd. Subpixel rendering with color coordinates' weights depending on tests performed on pixels
US8810691B2 (en) * 2010-09-03 2014-08-19 Olympus Imaging Corp. Imaging apparatus, imaging method and computer-readable recording medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284423A (ja) * 2004-03-29 2005-10-13 Seiko Epson Corp 画像処理装置、および、画像処理方法
JP2009527059A (ja) * 2006-02-14 2009-07-23 フォトネーション アイルランド リミテッド 画像ぼかし処理
JP2012114849A (ja) * 2010-11-26 2012-06-14 Canon Inc 画像処理装置、及び画像処理方法
JP2014102614A (ja) * 2012-11-19 2014-06-05 Sharp Corp 画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
US10275860B2 (en) 2019-04-30
JP6376934B2 (ja) 2018-08-22
US20170293999A1 (en) 2017-10-12
JP2016081149A (ja) 2016-05-16
CN106575434A (zh) 2017-04-19
CN106575434B (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
US9270888B2 (en) Image processing apparatus and control method thereof
JP6833415B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6720881B2 (ja) 画像処理装置及び画像処理方法
JP2015195498A (ja) 画像装置、画像処理方法、制御プログラム及び記憶媒体
US9961319B2 (en) Image processing apparatus and control method thereof
US9892497B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2015186247A (ja) 画像処理装置及びその制御方法、並びに、プログラム
JP6376934B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2015032966A (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP6887853B2 (ja) 撮像装置、その制御方法、プログラム
JP7077100B2 (ja) 撮像装置およびその制御方法、並びにプログラム
JP6742231B2 (ja) 画像処理装置及び方法、及び撮像装置
JP2009200743A (ja) 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置
JP2010183460A (ja) 撮像装置およびその制御方法
JP2014232994A (ja) 画像処理装置及び方法、及び撮像装置
KR102282464B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP5365881B2 (ja) 画像処理装置、画像処理方法
JP2020005084A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016010121A (ja) 画像処理装置および画像処理方法
JP2015080157A (ja) 画像処理装置、画像処理方法及びプログラム
US20200294198A1 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP2018181070A (ja) 画像処理装置および画像処理方法
JP2010183461A (ja) 撮像装置およびその制御方法
JP6514577B2 (ja) 画像処理装置および画像処理方法ならびに撮像装置
JP2015041869A (ja) 撮像装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15851126

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15517976

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15851126

Country of ref document: EP

Kind code of ref document: A1