WO2014045915A1 - 画像処理装置、画像表示装置、画像撮像装置、画像印刷装置、階調変換方法、及びプログラム - Google Patents

画像処理装置、画像表示装置、画像撮像装置、画像印刷装置、階調変換方法、及びプログラム Download PDF

Info

Publication number
WO2014045915A1
WO2014045915A1 PCT/JP2013/074228 JP2013074228W WO2014045915A1 WO 2014045915 A1 WO2014045915 A1 WO 2014045915A1 JP 2013074228 W JP2013074228 W JP 2013074228W WO 2014045915 A1 WO2014045915 A1 WO 2014045915A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
correction coefficient
illumination light
unit
pixel
Prior art date
Application number
PCT/JP2013/074228
Other languages
English (en)
French (fr)
Inventor
徳井 圭
圭祐 大森
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2012206866A external-priority patent/JP5745482B2/ja
Priority claimed from JP2012211022A external-priority patent/JP5975819B2/ja
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to EP13839632.0A priority Critical patent/EP2899688A4/en
Priority to US14/429,488 priority patent/US20150242701A1/en
Priority to CN201380047134.2A priority patent/CN104620280A/zh
Publication of WO2014045915A1 publication Critical patent/WO2014045915A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H04N1/4074Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive

Definitions

  • the present invention relates to an image processing apparatus, an image display apparatus, an image capturing apparatus, an image printing apparatus, a gradation conversion method, and a program, and more particularly to an image processing technique for improving image visibility.
  • This application claims priority based on Japanese Patent Application No. 2012-206866 filed in Japan on September 20, 2012 and Japanese Patent Application No. 2012-211022 filed in Japan on September 25, 2012. The contents are incorporated here.
  • the contrast enhancement is a process for improving the contrast of the entire image by performing gradation conversion so that the lightness of pixels having high lightness is higher and the lightness of pixels having low lightness is lower.
  • it is generally realized by holding a LUT (Look Up Table) and making the output gradation value correspond to the input gradation value.
  • the dynamic range compression is a process of performing gradation conversion so that the maximum value and the minimum value of the brightness of the image are narrowed.
  • the dynamic range compression is also realized by holding an LUT having the gradation value of an HDR (High Dynamic Range) image as an input gradation value and the gradation value after the dynamic range compression as an output gradation value.
  • the HDR image is an image having a dynamic range larger than a standard dynamic range that can be displayed on a normal monitor.
  • Patent Document 1 discloses a method of calculating a luminance distribution and performing gradation conversion for each pixel.
  • the luminance value of the input image is averaged by the averaging filter, and the correction gain of the image processing is calculated from the average luminance of the target pixel of the image processing.
  • the relationship between the average luminance and the correction gain is a monotonically decreasing relationship.
  • the correction gains of each pixel and its peripheral pixels are close to each other. Can be maintained. Further, by reducing the correction gain of the bright area gradation and increasing the correction gain of the dark area gradation, the saturation of the bright area is reduced and the visibility of the dark area is improved.
  • Patent Document 2 describes that the luminance signal component is enhanced to reduce the power consumption of the image display device by reducing the light amount of the backlight without impairing the apparent brightness of the screen of the image display device. Has been.
  • JP 2008-72450 A Japanese Patent Laid-Open No. 2004-246099
  • the brightness of the dark area is increased.
  • the contrast of the entire image may be reduced. This is because the brightness of the dark area is increased, so that the brightness distribution is reduced when the entire image is viewed.
  • “contrast” refers to the contrast that the person who has observed the image actually receives from the image, such as the overall brightness difference of the entire image, the distribution of bright and dark parts in the image, and the distribution of light and darkness in the subject of interest. It is a subjective feeling about.
  • the present invention provides an image processing device, an image display device, an image imaging device, an image printing device, a gradation conversion method, and a program capable of generating an image with improved contrast and improved visibility. provide.
  • the image processing apparatus calculates the brightness of the illumination light intensity in the input image by calculating the brightness of each pixel of the input image in a first region that is a predetermined region centered on the pixel.
  • a first illumination light distribution calculating unit that calculates a first illumination light distribution indicating a distribution, and for each pixel of the input image, based on the first illumination light distribution, the illumination light intensity is greater than or equal to a predetermined threshold value
  • a first correction coefficient calculating unit that calculates a first correction coefficient that is a coefficient that monotonously decreases with respect to the illumination light intensity; and converting a gradation value of each pixel of the input image according to the first correction coefficient.
  • a first gradation conversion unit that performs gradation conversion of the input image, and each pixel of the image that has undergone gradation conversion by the first gradation conversion unit is an area smaller than the first region with the pixel as a center. Calculate the brightness in the second region
  • the second illumination light distribution calculation unit that calculates the second illumination light distribution indicating the distribution of the illumination light intensity in the input image, and for each pixel of the image subjected to gradation conversion by the first gradation conversion unit,
  • a second correction coefficient calculation unit that calculates a second correction coefficient that is a coefficient that monotonously increases with respect to the illumination light intensity based on the second illumination light distribution; and the first gradation according to the second correction coefficient
  • a second gradation conversion unit that performs gradation conversion of the image subjected to gradation conversion by the first gradation conversion unit by converting the gradation value of each pixel of the image subjected to gradation conversion by the conversion unit.
  • the first correction coefficient calculation unit may calculate the illumination light intensity for each pixel of the input image based on the first illumination light distribution when the illumination light intensity is equal to or greater than a predetermined threshold.
  • the first correction coefficient which is a coefficient that monotonously decreases and monotonously increases with respect to the illumination light intensity when the illumination light intensity is less than a predetermined threshold, may be calculated.
  • the first correction coefficient calculation unit and the second correction coefficient calculation unit may be configured such that the average value of the gradation of the output image is larger than the average value of the gradation of the input image.
  • the correction coefficient and the second correction coefficient may be calculated respectively.
  • the first illumination light distribution calculation unit calculates, for each pixel of the input image, brightness in a plurality of first regions that are larger than the second region around the pixel. Then, the plurality of first illumination light distributions are calculated, and the first correction coefficient calculation unit calculates the first correction coefficient for each pixel of the input image based on the plurality of first illumination light distributions. It may be configured as follows.
  • the second illumination light distribution calculation unit includes a plurality of second regions that are smaller than the first region around the pixel for each pixel of the image subjected to gradation conversion by the first gradation conversion unit.
  • the second illumination light distribution is calculated by calculating the brightness at, and the second correction coefficient calculation unit calculates a plurality of pixels for each pixel of the image subjected to gradation conversion by the first gradation conversion unit.
  • the second correction coefficient may be calculated based on the second illumination light distribution.
  • the first correction coefficient calculation unit may be configured to calculate the first correction coefficient so that the first correction coefficient for a pixel having the maximum illumination light intensity is 1. Good. Further, the second correction coefficient calculation unit may be configured to calculate the second correction coefficient so that the second correction coefficient for a pixel having the maximum illumination light intensity is 1.
  • the image processing apparatus includes: a calculation method storage unit that stores a plurality of first correction coefficient calculation methods and a plurality of second correction coefficient calculation methods; and a calculation method stored in the calculation method storage unit. And a calculation method selection unit that selects one of the first correction coefficient calculation method and the second correction coefficient calculation method.
  • the first correction coefficient calculation unit may be configured to calculate the first correction coefficient using the calculation method of the first correction coefficient selected by the calculation method selection unit.
  • the second correction coefficient calculation unit may be configured to calculate the second correction coefficient using the calculation method of the second correction coefficient selected by the calculation method selection unit.
  • the calculation method selection unit includes a calculation method for the first correction coefficient and a calculation method for the second correction coefficient among the calculation methods stored in the calculation method storage unit in accordance with a user instruction. Each may be selected.
  • the image processing apparatus may further include an image analysis unit that analyzes the input image or the image subjected to gradation conversion by the first gradation conversion unit.
  • the calculation method selection unit is configured to calculate the first correction coefficient and the second correction coefficient among the calculation methods stored in the calculation method storage unit according to the analysis result of the image analysis unit. Each may be selected.
  • an image display device includes the above-described image processing device and an image display unit that displays an image obtained by gradation conversion by the second gradation conversion unit.
  • the first correction coefficient calculation unit and the second correction coefficient calculation unit calculate the first correction coefficient and the second correction coefficient, respectively, according to the brightness of the image display unit. It may be configured.
  • the image display unit may include an illumination unit that emits light.
  • the first correction coefficient calculation unit and the second correction coefficient calculation unit output the light amount of light emitted from the illumination unit, which is a ratio of the light amount to the maximum light amount of light that can be emitted by the illumination unit.
  • the first correction coefficient and the second correction coefficient that increase the product of the first correction coefficient and the second correction coefficient as the coefficient decreases may be calculated.
  • the first correction coefficient calculation unit and the second correction coefficient calculation unit may be configured such that a product of the output coefficient, the first correction coefficient, and the second correction coefficient is greater than 1 or 1.
  • the first correction coefficient and the second correction coefficient may be respectively calculated.
  • the image display device further includes an image analysis unit that calculates a statistic related to a gradation value of the input image, and an illumination device control unit that calculates the output coefficient based on the statistic calculated by the image analysis unit. You may prepare.
  • the first correction coefficient calculation unit and the second correction coefficient calculation unit calculate each of a plurality of partial regions obtained by dividing a display region for displaying an image on the image display unit as the output coefficient.
  • the first correction coefficient and the second correction coefficient may be calculated based on the output coefficient.
  • the image display device stores, in advance, a correction coefficient indicating a relationship between luminance and gradation value for each light source corresponding to the partial area for each pixel, and the second gradation conversion unit calculates a gradation based on the correction coefficient. You may further provide the image correction part which correct
  • An image capturing apparatus includes the image processing apparatus and an image sensor that captures the input image.
  • an image printing apparatus includes the image processing apparatus and an image printing unit that prints an image that has undergone gradation conversion by the second gradation conversion unit.
  • the brightness in the first area which is a predetermined area centered on the pixel.
  • Calculating a first correction coefficient which is a coefficient that monotonously decreases with respect to light intensity, and converting a gradation value of each pixel of the input image according to the first correction coefficient
  • the program according to another aspect of the present invention calculates, for each pixel of the input image, brightness in a first region that is a predetermined region centered on the pixel, thereby illuminating light in the input image.
  • the brightness of the illumination light in the input image is calculated by calculating the brightness in the second region that is smaller than the first region centered on the pixel.
  • Distribution of A second correction coefficient that is a coefficient that monotonously increases with respect to the illumination light intensity based on the second illumination light distribution for each pixel of the gradation-converted image;
  • a step of performing gradation conversion of the gradation-converted image by converting a gradation value of each pixel of the gradation-converted image according to the second correction coefficient. Let it run.
  • the image processing apparatus can improve the visibility of the dark area in the input image and also improve the contrast.
  • FIG. 1 is a schematic block diagram illustrating a configuration of an image processing apparatus according to a first embodiment of the present invention.
  • 3 is a flowchart illustrating an operation of the image processing apparatus according to the first embodiment. It is a figure which shows the example of illumination light distribution Y1 which the 1st illumination light distribution calculation part computed. It is a figure which shows the example of the relationship between illumination light distribution and a correction coefficient. It is a figure which shows the example of the state of the pixel value of a local area
  • FIG. 1 is a schematic block diagram illustrating a configuration of an image printing apparatus including an image processing apparatus according to a first embodiment.
  • FIG. 1 is a schematic block diagram illustrating a configuration of an image processing apparatus 100 according to the first embodiment.
  • the image processing apparatus 100 according to the present embodiment includes a first illumination light distribution calculation unit 101, a first correction coefficient calculation unit 102, a first gradation conversion unit 103, a second illumination light distribution calculation unit 104, and a second correction coefficient calculation.
  • Unit 105 and second gradation conversion unit 106 which performs image processing on the input image S1 and outputs an image obtained by the image processing.
  • the image processing apparatus 100 performs software processing using CPU (Central Processing Unit) or GPU (Graphics Processing Unit), ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Processing) using FPGA (Field Programmable Processing).
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Processing
  • the first illumination light distribution calculation unit 101 calculates an illumination light distribution Y1 (first illumination light distribution) indicating the illumination light intensity of each pixel of the input image S1 based on the input image S1. Based on the illumination light distribution Y1, the first correction coefficient calculation unit 102 monotonously decreases with respect to the illumination light intensity when the illumination light intensity is equal to or greater than a predetermined threshold for each pixel of the input image S1, and the illumination light intensity A correction coefficient ⁇ (first correction coefficient) that monotonously increases with respect to the illumination light intensity when is less than a predetermined threshold value is calculated.
  • “monotonic decrease” refers to a relationship of f (x 1 ) ⁇ f (x 2 ) when x 1 ⁇ x 2 (broad monotonic decrease, monotonic non-increase).
  • the first gradation conversion unit 103 performs gradation conversion of the input image S1 by multiplying the gradation value of each pixel of the input image S1 by the correction coefficient ⁇ .
  • the second illumination light distribution calculation unit 104 calculates an illumination light distribution Y2 (second illumination light distribution) indicating the illumination light intensity of each pixel of the image based on the image subjected to gradation conversion by the first gradation conversion unit 103. calculate. Based on the illumination light distribution Y2, the second correction coefficient calculation unit 105 performs a correction coefficient ⁇ (second) that monotonously increases with respect to the illumination light intensity for each pixel of the image subjected to gradation conversion by the first gradation conversion unit 103. Correction coefficient) is calculated.
  • “monotonically increasing” refers to a relationship of f (x 1 ) ⁇ f (x 2 ) when x 1 ⁇ x 2 (broad monotonic increase, monotonic non-decrease).
  • the second gradation conversion unit 106 performs gradation conversion by the first gradation conversion unit 103 by multiplying the gradation value of each pixel of the image subjected to gradation conversion by the first gradation conversion unit 103 by the correction coefficient ⁇ . Perform tone conversion of the image. In this way, the second gradation conversion unit 106 generates the output image T1.
  • FIG. 2 is a flowchart showing the operation of the image processing apparatus 100 according to the first embodiment.
  • the first illumination light distribution calculation unit 101 calculates the illumination light distribution Y1 of the input image S1 input to the image processing apparatus 100, and outputs the result to the first correction coefficient calculation unit 102 (step S1). Specifically, the first illumination light distribution calculation unit 101 averages the brightness Y of each pixel based on the assumption that the illumination light distribution changes continuously in the image, thereby obtaining the illumination light distribution. Y1 is calculated.
  • Y R + G + B
  • Y 0.25 ⁇ R + 0.5 ⁇ G + 0.25 ⁇ B, or the like may be used.
  • the maximum value of the pixel values of red, green, and blue (brightness shown in the HSV color space) may be used as the brightness Y.
  • the averaging of the brightness Y by the first illumination light distribution calculation unit 101 uses, for example, an average value of each pixel of the input image S1 and its surrounding pixels, or a weighted average.
  • the area to be averaged (first area) is preferably of a size that allows the brightness to be compared within the area when the user gazes at the display, and therefore depends on the assumed viewing distance and display size. Set as appropriate.
  • FIG. 3 is a diagram illustrating an example of the illumination light distribution Y1 calculated by the first illumination light distribution calculation unit 101.
  • the first illumination light distribution calculation unit 101 sets each pixel of the input image S1 shown in FIG. Is averaged to calculate the illumination light distribution Y1. Note that the calculated illumination light distribution Y1 is converted into an image as shown in FIG.
  • the first correction coefficient calculation unit 102 determines the illumination light intensity when the illumination light intensity is equal to or greater than a predetermined threshold Yth.
  • a correction coefficient ⁇ that monotonously decreases and monotonously increases with respect to the illumination light intensity when the illumination light intensity is less than the predetermined threshold Yth is calculated (step S2).
  • the first correction coefficient calculation unit 102 corrects the visibility of the subject when the illumination light intensity of the illumination light distribution Y1 is large, that is, when the illumination light is sufficiently present and the subject is photographed brightly.
  • the coefficient ⁇ is set to a small value.
  • the first correction coefficient calculation unit 102 has a low correction factor ⁇ because the visibility of the subject is low. Increase the value. Thereby, visibility can be improved by increasing the gradation value of the dark area.
  • the first correction coefficient calculation unit 102 sets the correction coefficient ⁇ for a region where the illumination light intensity of the illumination light distribution Y1 is less than a predetermined threshold Yth to a small value. For example, in a region where Y1 is smaller than Yth and close to 0, ⁇ is set to a value smaller than 1. In the input image S1, in a region where the illumination light intensity of the illumination light distribution Y1 is very low, dark part noise may occur at the time of shooting, and subject information may not be identified by noise. Therefore, by reducing the correction coefficient ⁇ , tone conversion is performed with a small correction coefficient for noise, and noise can be reduced from being noticeable.
  • the first correction coefficient calculation unit 102 changes the correction coefficient ⁇ according to the illumination light intensity at each pixel indicated by the illumination light distribution Y1, thereby maintaining the visibility of the dark area while maintaining local contrast.
  • a correction coefficient ⁇ for improvement is calculated. This is because the illumination light intensity of the illumination light distribution Y1 is calculated by averaging the brightness Y, so that the illumination light intensity of the illumination light distribution Y1 of two adjacent pixels becomes a close value. This is because the correction coefficient ⁇ in FIG. That is, since the correction coefficient ⁇ for the two adjacent pixels becomes a close value, the relationship between the gradation values of the two pixels before the conversion is maintained as a similar relationship after the conversion. Therefore, by determining the correction coefficient ⁇ using the illumination light distribution Y1, it is possible to perform gradation conversion while maintaining local contrast without requiring image quality degradation such as compression of gradation in bright areas. Can do.
  • the first correction coefficient calculation unit 102 sets the correction coefficient ⁇ for a pixel having the maximum illumination light intensity of the illumination light distribution Y1 to 1. However, the first correction coefficient calculation unit 102 obtains the gradation value obtained by multiplying the gradation value of the brightest pixel by the correction coefficient ⁇ , and the gradation value obtained by multiplying the gradation value of the other pixel by the correction coefficient ⁇ .
  • the correction coefficient ⁇ is set so as to be larger than the value.
  • FIG. 4 is a diagram illustrating an example of the relationship between the illumination light distribution Y1 and the correction coefficient ⁇ .
  • the correction coefficient ⁇ is the maximum value.
  • the correction coefficient ⁇ increases monotonously with respect to the illumination light intensity.
  • the correction coefficient ⁇ decreases monotonously with respect to the illumination light intensity.
  • the correction coefficient ⁇ may be saturated to a specific value in a region where the illumination light intensity of the illumination light distribution Y1 is large. That is, when the illumination light intensity of the illumination light distribution Y1 is small, the inclination of the correction coefficient ⁇ with respect to the illumination light intensity is 0 or more, and when the illumination light intensity of the illumination light distribution Y1 is large, the correction coefficient for the illumination light intensity. This is realized by setting the slope of ⁇ to 0 or less.
  • the first correction coefficient calculation unit 102 may use a function as shown in FIG. 4B in order to calculate the correction coefficient ⁇ .
  • the maximum value ⁇ max of the correction coefficient ⁇ is set for the illumination light intensity of the illumination light distribution Y1.
  • the relationship between the illumination light intensity of the illumination light distribution Y1 and the correction coefficient ⁇ can be set as appropriate, but the maximum value can be set as appropriate. In this way, by determining the relationship between the illumination light intensity of the illumination light distribution Y1 and the correction coefficient ⁇ , each pixel can be brightened with gradations other than the noisy dark part gradation.
  • the first gradation conversion unit 103 performs gradation conversion processing on the input image S1 using the correction coefficient ⁇ (step S3).
  • the first gradation conversion unit 103 does not change the ratio of each color, that is, the hue, by multiplying each color by the same correction coefficient ⁇ .
  • the first gradation conversion unit 103 converts each pixel of the input image S1 to the HSV color space, and multiplies the brightness component of each color space by multiplying only the brightness component by the correction coefficient ⁇ . You can also convert.
  • FIG. 5 is a diagram illustrating an example of a state of pixel values in a local area when gradation conversion is performed using the correction coefficient ⁇ .
  • the horizontal axis indicates the position in the image
  • the vertical axis indicates the pixel value.
  • FIG. 5A shows the state of the pixel value of the input image S1
  • FIG. 5B shows the state of the pixel value of the image output by the first gradation conversion unit 103. Since these are local regions, the illumination light distribution is substantially the same, that is, the correction coefficients are also substantially the same. Therefore, the change from FIG. 5A to FIG. 5B is a change in which the brightness of the region is improved while the fine pixel value fluctuation is maintained.
  • FIG. 6 is a diagram illustrating an example of an image output from the first gradation conversion unit 103.
  • the image output from the first gradation converting unit 103 shown in FIG. 6 is improved in visibility of the dark region while maintaining local contrast as compared with the input image S1 shown in FIG. It has become.
  • the impression of the entire image is image processing that brightens the entire image.
  • the correction coefficient ⁇ which is a coefficient that monotonously decreases with respect to the illumination light intensity when the illumination light intensity calculated by averaging the brightness is equal to or greater than a predetermined threshold value.
  • the visibility of the dark area can be improved while maintaining local contrast.
  • the second illumination light distribution calculation unit 104 calculates the illumination light distribution Y2 based on the image processed by the first gradation changing unit (step S4).
  • the second illumination light distribution calculation unit 104 is similar to the second illumination light distribution calculation unit 104, such as an average value of each pixel of the image processed by the first gradation changing unit and its surrounding pixels, or a weighted average. To average the brightness.
  • the region (second region) used by the second illumination light distribution calculation unit 104 for averaging is smaller than the first region used for the averaging by the first illumination light distribution calculation unit 101. This is because the local contrast of the image is enhanced by the gradation conversion by the second gradation conversion unit 106.
  • FIG. 7 is a diagram illustrating an example of the illumination light distribution Y2 calculated by the second illumination light distribution calculation unit 104.
  • the second illumination light distribution calculation unit 104 averages each pixel of the image shown in FIG. Y2 is calculated.
  • the calculated illumination light distribution Y2 is converted into an image as shown in FIG.
  • the illumination light distribution Y2 has a smaller area to be averaged than the illumination light distribution Y1 shown in FIG. That is, the influence of the target pixel on the illumination light distribution Y2 becomes large.
  • the brightness calculation method used in the first illumination light distribution calculation unit 101 and the brightness calculation method used in the second illumination light distribution calculation unit 104 may be the same. This is to reduce the influence of the reflectance (color) of the subject by converting the brightness instead of the color when performing gradation conversion using the illumination light distribution. By sharing, it is possible to reduce the influence of the difference in pixel color due to conversion, which is preferable.
  • the second correction coefficient calculation unit 105 calculates a correction coefficient ⁇ that monotonously increases with respect to the illumination light intensity based on the illumination light distribution Y2 calculated by the second illumination light distribution calculation unit 104 (step S5).
  • the second region used for the calculation of the illumination light distribution Y2 by the second illumination light distribution calculation unit 104 is smaller than the first region used for the calculation of the illumination light distribution Y1 by the first illumination light distribution calculation unit 101. Therefore, the second gradation conversion unit 106 performs conversion in consideration of a region narrower than the region changed by maintaining the local contrast of the process in the first gradation conversion unit 103.
  • FIG. 8 is a diagram illustrating the relationship between the illumination light distribution Y2 and the correction coefficient ⁇ .
  • the second correction coefficient calculation unit 105 sets the correction coefficient ⁇ for the pixel having the maximum illumination light intensity of the illumination light distribution Y2 to 1. However, the second correction coefficient calculation unit 105 obtains a gradation value obtained by multiplying the gradation value of the brightest pixel by the correction coefficient ⁇ , and a gradation value obtained by multiplying the gradation value of the other pixel by the correction coefficient ⁇ .
  • the correction coefficient ⁇ is set so as to be larger than the value. Note that the correction coefficient may be saturated in a region where the illumination light distribution value is large and a region where the illumination light distribution value is small.
  • the second gradation conversion unit 106 uses the illumination light distribution Y2 calculated by the second illumination light distribution calculation unit 104 to perform an image conversion on which the gradation conversion has been performed by the first gradation conversion unit 103. Tone conversion is performed (step S6).
  • the second gradation conversion unit 106 does not change the ratio of each color, that is, the hue, by multiplying each color by the same correction coefficient ⁇ .
  • the second tone conversion unit 106 converts each pixel of the input image to the HSV color space, and performs tone conversion on the brightness component of each color space, such as multiplying only the brightness component by the correction coefficient ⁇ . You can also
  • the second gradation conversion unit 106 enhances the local contrast maintained by the first gradation conversion unit 103 by multiplication of the correction coefficient ⁇ .
  • the area of the peripheral pixel of the target pixel to be considered is the smallest when the illumination light distribution Y2 is the brightness of the target pixel and the area of the peripheral pixel to be referred to is 0 and averaging is not performed.
  • the correction coefficient between the pixels is determined only by the brightness of the pixel of interest, and is not affected by adjacent pixels. Therefore, when the brightness between adjacent pixels is greatly different, the correction coefficient ⁇ is also greatly different. When the brightness between pixels is close, the correction coefficient ⁇ is also close. As a result, local contrast is enhanced.
  • FIG. 9 is a diagram illustrating an example of a state of pixel values in a local area when gradation conversion is performed using the correction coefficient ⁇ .
  • the horizontal axis indicates the position in the image
  • the vertical axis indicates the pixel value.
  • FIG. 9A shows the state of the pixel value of the image output by the first gradation conversion unit 103
  • FIG. 9B shows the state of the pixel value of the image output by the second gradation conversion unit 106. is there.
  • the second area to be referred to when calculating the illumination light distribution Y2 is smaller than the first area, the variation of each pixel is increased and the local contrast is enhanced.
  • the second correction coefficient calculation unit 105 sets the correction coefficient ⁇ such that the gradation value is small, but the first correction coefficient calculation unit 102 makes the input image S1 brighter. Since the correction coefficient ⁇ is set, the entire image does not become extremely dark. That is, the first correction coefficient calculation unit 102 and the second correction coefficient calculation unit 105 need to set the correction coefficient ⁇ and the correction coefficient ⁇ in consideration of the magnitudes of the correction coefficient ⁇ and the correction coefficient ⁇ . For example, there is a method of setting the correction coefficient ⁇ and the correction coefficient ⁇ so that the product of the correction coefficient ⁇ and the correction coefficient ⁇ is 1 or more excluding the dark area of the illumination light distribution. In addition, there is a method of setting the correction coefficient ⁇ and the correction coefficient ⁇ so that the product of the correction coefficient ⁇ and the correction coefficient ⁇ that are larger than the center of the possible values of the illumination light distribution is 1 or more.
  • FIG. 10 is a diagram illustrating an example of an image output from the second gradation conversion unit 106.
  • the image output from the second gradation conversion unit 106 illustrated in FIG. 10 is an image in which local contrast is enhanced as compared with the image output from the first gradation conversion unit 103 illustrated in FIG. 6. .
  • the image output from the second gradation conversion unit 106 shown in FIG. 10 has improved visibility of the dark area and local contrast compared to the input image S1 shown in FIG. It is an image.
  • the contrast of the whole image is improved by improving the local contrast by the process of the second gradation conversion unit 106 for the image in which the contrast of the entire image is reduced by the process of the first gradation conversion unit 103. Can be improved.
  • the image processing apparatus 100 can improve the visibility of the dark area and generate an image having a contrast feeling.
  • the gradation conversion using the illumination light distribution improves the visibility of the dark area and improves the local contrast.
  • a suitable image can be generated.
  • FIG. 11 is a schematic block diagram illustrating a configuration of an image display apparatus 110 including the image processing apparatus 100 according to the first embodiment.
  • the image display device 110 includes an image display unit 111 in addition to the image processing device 100 according to the first embodiment.
  • the image display unit 111 displays an image generated by the image processing apparatus 100.
  • the image display unit 111 can be configured by various display devices such as a liquid crystal display and an organic EL display. Accordingly, it is possible to realize the image display device 110 that can improve the visibility of the dark area and display a high-quality image with high local contrast and high visibility.
  • general image processing such as ⁇ correction, color conversion, and edge enhancement may be appropriately executed before an image is input to the image processing apparatus 100 or after an image is output from the image processing apparatus 100. it can.
  • FIG. 12 is a schematic block diagram illustrating a configuration of an image capturing apparatus 120 including the image processing apparatus 100 according to the first embodiment.
  • the image capturing device 120 includes an image display unit 111, an image sensor 121, and an image storage unit 122 in addition to the image processing device 100 according to the first embodiment.
  • the imaging element 121 is configured by an imaging device such as a CCD (Charge Coupled Device), and outputs the captured image to the image processing apparatus 100 as an input image S1.
  • the input image S1 is input to the image processing apparatus 100 after appropriately performing general image processing such as demosaic.
  • the image generated by the image processing apparatus 100 is transmitted to the image display unit 111 and the image storage unit 122 to display the image and store the image.
  • the image storage unit 122 can be configured by various storage devices such as a flash memory and a hard disk. Thereby, while improving the visibility of a dark part area
  • general image processing such as ⁇ correction, color conversion, and edge enhancement can be appropriately executed after the image is output from the image processing apparatus 100.
  • FIG. 13 is a schematic block diagram illustrating a configuration of an image printing apparatus 130 including the image processing apparatus 100 according to the first embodiment.
  • the image printing apparatus 130 includes an image printing unit 131 in addition to the image processing apparatus 100 according to the first embodiment.
  • the image printing unit 131 prints an image generated by the image processing apparatus 100.
  • the image printing unit 131 can be configured by various printing devices such as an inkjet printer and a laser printer. Accordingly, it is possible to realize the image printing apparatus 130 that can improve the visibility of the dark area and display a high-quality image with high locality and high visibility.
  • general image processing such as ⁇ correction, color conversion, and edge enhancement may be appropriately executed before an image is input to the image processing apparatus 100 or after an image is output from the image processing apparatus 100. it can.
  • FIG. 14 is a schematic block diagram showing the configuration of the image processing apparatus 200 according to the second embodiment.
  • the first illumination light distribution calculation unit 101 and the second illumination light distribution calculation unit 104 each calculate one illumination light distribution has been described.
  • the first illumination light distribution calculation unit 201 and the second illumination light distribution calculation unit 204 according to the second embodiment each calculate a plurality of illumination light distributions using a plurality of regions having different sizes.
  • the first illumination light distribution calculation unit 201 and the second illumination light distribution calculation unit 204 each calculate two types of illumination light distributions. At this time, the smallest one among the plurality of first regions used for averaging by the first illumination light distribution calculation unit 201 is the largest among the plurality of second regions used by the second illumination light distribution calculation unit 204 for averaging. The first region and the second region are determined so as to be larger than the one.
  • the first correction coefficient calculation unit 202 and the second correction coefficient calculation unit 205 set a correction coefficient ⁇ and a correction coefficient ⁇ as products or sums of correction coefficients calculated from the illumination light distributions.
  • the first gradation converting unit 203 can adjust the region for maintaining the local contrast. That is, the first gradation conversion unit 203 can perform conversion that maintains the contrast of a smaller region. This is because by calculating the illumination light distribution in a small area, conversion can be performed with a large correction coefficient when the dark area is small, which is suitable for improving the visibility when the dark area is small.
  • the second gradation conversion unit 206 can adjust the frequency for enhancing the local contrast. In other words, the second gradation conversion unit 206 can further enhance the contrast for each small area by slightly changing the contrast between adjacent pixels. This is suitable for a noisy image because local contrast can be enhanced and excessive enhancement of noise can be reduced. In this way, the second gradation conversion unit 206 generates the output image T2.
  • the 1st illumination light distribution calculation part 201 and the 2nd illumination light distribution calculation part 204 each calculate several illumination light distribution, it is not restricted to this.
  • only one of the first illumination light distribution calculation unit 201 and the second illumination light distribution calculation unit 204 may calculate a plurality of illumination light distributions.
  • FIG. 15 is a schematic block diagram illustrating a configuration of an image processing apparatus 300 according to the third embodiment.
  • the first correction coefficient calculation unit 102 and the second correction coefficient calculation unit 105 calculate the correction coefficient ⁇ and the correction coefficient ⁇ based on one predetermined calculation method has been described.
  • the first correction coefficient calculation unit 302 and the second correction coefficient calculation unit 305 according to the third embodiment specify an appropriate calculation method from among a plurality of calculation methods, and use the calculation method to correct the correction coefficient ⁇ and A correction coefficient ⁇ is calculated.
  • the image processing apparatus 300 includes an image analysis unit 307, a calculation method storage unit 308, and a calculation method selection unit 309 in addition to the same configuration as the image processing apparatus 100 according to the first embodiment.
  • the image analysis unit 307 analyzes the input image S1 and the image subjected to gradation conversion by the first gradation conversion unit 303.
  • the image analysis unit 307 analyzes, for example, average luminance, the number of pixels in the dark area, a luminance histogram, and the like.
  • the calculation method storage unit 308 stores a plurality of LUTs (calculation methods) used for calculation of the correction coefficient ⁇ by the first correction coefficient calculation unit 302 and LUTs used for calculation of the correction coefficient ⁇ by the second correction coefficient calculation unit 305.
  • the plurality of LUTs are different in the magnitude of the correction coefficient, that is, how much the brightness is increased.
  • the calculation method selection unit 309 specifies the LUT used for calculating the correction coefficient ⁇ and the LUT used for calculation of the correction coefficient ⁇ based on the analysis result of the image analysis unit 307. For example, when the average luminance of the input image S1 is low, the number of pixels in the dark area is large, or the luminance histogram is biased toward the dark area, the calculation method selection unit 309 corrects the correction coefficient ⁇ that makes the dark area brighter. Select the LUT for calculating. On the other hand, the calculation method selection unit 309 slightly brightens the dark area when the average luminance of the input image S1 is high, the number of pixels in the dark area is small, or the luminance histogram is biased toward the bright area. An LUT for calculating the correction coefficient ⁇ is selected.
  • the calculation method selection unit 309 increases the local contrast when the contrast of the image subjected to gradation conversion by the first gradation conversion unit 303 is low, the high frequency component is small, the luminance histogram is biased, or the like.
  • the LUT for calculating the correction coefficient ⁇ to be emphasized is selected.
  • the calculation method selection unit 309 when the contrast of the image subjected to the gradation conversion by the first gradation conversion unit 103 is high, there are many high-frequency components, the luminance histogram is not biased, etc., the local contrast is only slightly increased.
  • the LUT for calculating the correction coefficient ⁇ to be emphasized is selected.
  • the second gradation conversion unit 306 performs the same processing as the second gradation conversion unit 106 of the first embodiment, and generates an output image T3.
  • the calculation method storage unit 308 stores the LUT as the correction coefficient calculation method.
  • the present invention is not limited to this.
  • Other calculation methods may be stored.
  • FIG. 16 is a schematic block diagram illustrating a configuration of an image processing apparatus 400 according to the fourth embodiment.
  • the LUT for calculating the correction coefficient ⁇ and the correction coefficient ⁇ is selected based on the analysis result of the image analysis unit 307.
  • the image processing apparatus 400 according to the fourth embodiment selects an LUT for calculating the correction coefficient ⁇ and the correction coefficient ⁇ in accordance with a user instruction.
  • the image processing apparatus 400 includes an input unit 407 instead of the image analysis unit 307 of the image processing apparatus 300 according to the third embodiment.
  • the input unit 407 receives input of user instructions.
  • the calculation method selection unit 409 selects the calculation method of the correction coefficient ⁇ and the correction coefficient ⁇ stored in the calculation method storage unit 408 in accordance with the user instruction received by the input unit.
  • the second gradation conversion unit 406 performs the same processing as the second gradation conversion unit 106 of the first embodiment, and generates an output image T4.
  • calculation method storage unit 408 stores the LUT as the correction coefficient calculation method has been described.
  • the present invention is not limited to this. Other calculation methods may be stored.
  • FIG. 17 is a schematic diagram illustrating the configuration of the image display apparatus 140 according to the present embodiment.
  • the image display device 140 includes an image processing device 500 and an image display unit 141.
  • the image processing apparatus 500 includes a lighting device control unit 501, an image processing unit 502, and an image analysis unit 503.
  • An image processing unit 502 corresponds to the image processing apparatus 100 of the first embodiment.
  • the illumination device control unit 501 determines the light amount of the illumination device (not shown) of the image display unit 141 based on the image analysis result R1 input from the image analysis unit 503, and sets the illumination device so that the determined light amount can be obtained.
  • a lighting device control signal C1 to be controlled is generated.
  • the illumination device control signal C1 is a signal indicating an output coefficient ⁇ , for example.
  • the output coefficient ⁇ is the ratio of the amount of light emitted by the lighting device to the maximum amount of light that can be emitted by the lighting device.
  • the lighting device control unit 501 outputs the generated lighting device control signal C1 to the image processing unit 502 and the image display unit 141.
  • the image processing unit 502 receives the illumination device control signal C1 from the illumination device control unit 501 and the image analysis result R1 from the image analysis unit 503. Based on the illumination device control signal C1 and the image analysis result R1, the image processing unit 502 performs gradation conversion on the input image signal S2 input to the image processing device 500 to generate an output image signal T5.
  • the input image signal S2 corresponds to the input image S1 of the first to fourth embodiments.
  • the input image signal S2 is a signal indicating an image composed of a plurality of predetermined pixels, and a signal indicating a gradation value for each pixel.
  • the gradation value is a value indicating that the larger the value is, the brighter the display is, and the smaller the value is, the darker the image is displayed.
  • the image processing unit 502 does not reduce the visibility or contrast of the image displayed on the image display unit 141 even if the amount of light emitted from the lighting device is different from a predetermined reference value (for example, the maximum value). Gradation conversion is performed as follows.
  • the image processing unit 502 outputs the generated output image signal T5 to the image display unit 141.
  • the image processing unit 502 may be realized by executing a program by hardware such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit) provided in the image display device 140.
  • the image processing unit 502 may be configured by hardware such as ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), and the like.
  • the image display unit 141 displays an image indicated by the output image signal T5 input from the image processing unit 502.
  • the image display unit 141 is, for example, a liquid crystal display (Liquid Crystal Display).
  • the image display unit 141 includes the above-described illumination device as a light source such as a backlight, and displays image light obtained by modulating light emitted from the illumination device as an image.
  • the lighting device may include, for example, a cold cathode fluorescent lamp (CCFL) or a light emitting diode (LED).
  • the LED may include a white LED that emits white light, or an LED that emits light of different colors, for example, a combination of LEDs that emit light of each color of red, green, and blue. Also good.
  • the position where the illumination device is installed may be the back of the image display surface that displays an image in the image display unit 141, or may be a part of the outer edge of the image display surface, for example, an end.
  • the lighting device controls the amount of light emitted based on the lighting device control signal C ⁇ b> 1 input from the lighting device control unit 501.
  • the image analysis unit 503 calculates the statistic of the gradation value of the input image signal S2 input to the image processing apparatus 500.
  • the statistics calculated by the image analysis unit 503 include, for example, average luminance, variance, the number of pixels in the dark area, and a luminance histogram.
  • the average luminance is a gradation value that gives an average of luminance between pixels.
  • the dark area is an area composed of pixels whose gradation value is smaller than a predetermined threshold value (for example, 1/4 of the maximum value).
  • the luminance histogram is a set of the number of pixels belonging to each predetermined gradation value range.
  • the image analysis unit 503 outputs the calculated statistic to the illumination device control unit 501 and the image processing unit 502 as the image analysis result R1.
  • a lighting device light quantity selection unit (not shown) may be provided.
  • the illumination device light quantity selection unit is preset with a plurality of light quantity candidate values, and accepts an operation input by the user and selects one of the set candidate values.
  • the illuminating device light quantity selection unit generates an illuminating device control signal C1 for controlling the illuminating device so that the selected candidate value is obtained, and the generated illuminating device control signal C1 is sent to the image processing unit 502 and the image display unit 141.
  • the image analysis unit 503 may be configured to include one or both of the lighting device control unit 501 and the image processing unit 502.
  • the image processing unit 502 increases the average value of the gradation values of the input image signal S2 in the gradation conversion and enhances the local contrast.
  • the local contrast is a spatial variation in luminance within a predetermined range with a certain pixel as a reference.
  • the local contrast may refer to a spatial variation of the gradation value for each pixel within a predetermined range with a certain pixel as a reference.
  • FIG. 18 is a conceptual diagram showing an example of the gradation value of the input image signal S2.
  • the horizontal axis indicates the position of a pixel on one horizontal line
  • the vertical axis indicates the gradation value.
  • the origin O is one point on the image display surface of the image display unit 141, for example, the upper left corner.
  • the gradation value 1801 shown in FIG. 2 indicates the gradation value of the input image signal S2.
  • the gradation value 1801 indicates that the gradation value tends to increase as the pixel is located farther from the origin O.
  • FIG. 19 is a conceptual diagram illustrating an example of luminance of an input image.
  • the horizontal axis indicates the pixel position on one horizontal line
  • the vertical axis indicates the luminance.
  • the luminance is the degree of brightness of light emitted from each pixel by the image display unit 141, and depends on the signal value (gradation value) for each pixel and the light amount of the illumination device.
  • “brightness” indicating the degree of brightness for each pixel and “tone value” indicating the signal value are distinguished from each other.
  • the luminance 1901 shown in FIG. 19 is the luminance when the signal value for each pixel is the gradation value 1801 shown in FIG. 18 and the light amount of the lighting device is the maximum value.
  • the luminance 1901 also shows a tendency that the luminance increases as the pixel is located farther from the origin.
  • FIG. 20 is a conceptual diagram illustrating another example of the luminance of the input image.
  • the horizontal axis indicates the pixel position on one horizontal line
  • the vertical axis indicates the luminance.
  • the luminance 2001 indicated by the solid line in FIG. 20 is the luminance when the signal value for each pixel is the value shown in FIG. 18 and the light amount of the illumination device is 3/4 of the maximum value.
  • FIG. 20 shows luminance 1901 (see FIG. 19) with a broken line.
  • the maximum value of the luminance 2001 is lower than the maximum value (MAX) of the luminance 1901 (see FIG. 19).
  • the average value and local variation (contrast) of the luminance 2001 are smaller than the average value and local variation of the luminance 1901, respectively.
  • the image processing unit 502 performs gradation conversion on the input image signal S2 to generate an output image signal T5.
  • FIG. 21 is a conceptual diagram showing an example of the gradation value of the output image signal T5.
  • the horizontal axis indicates the position of a pixel on one horizontal line
  • the vertical axis indicates the gradation value.
  • a gradation value 2101 indicated by a solid line in FIG. 21 indicates a gradation value of the output image signal T5 when gradation conversion is performed.
  • the gradation value 1801 is shown by a broken line in FIG.
  • FIG. 21 shows that the average value of the gradation values in the low gradation region is increased in the gradation conversion, and the local contrast is enhanced for the entire gradation value from the low gradation region to the high gradation region. .
  • the low gradation area is an area of a pixel having a gradation value lower than a predetermined gradation value (for example, half the maximum gradation value).
  • a high gradation area is an area of a pixel having a gradation value higher than a predetermined gradation value.
  • FIG. 22 is a conceptual diagram illustrating an example of the luminance of an output image when gradation conversion is performed.
  • the horizontal axis indicates the pixel position on one horizontal line
  • the vertical axis indicates the luminance.
  • the brightness 2201 shown in FIG. 22 is displayed on the image display unit 141 when the signal value for each pixel is the gradation value 2101 shown in FIG. 21 and the light amount of the illumination device is 3/4 of the maximum value.
  • the brightness of the image Compared with the luminance 1901 (see FIG. 19), the luminance 2201 has a higher average luminance in the low gradation region. This indicates that the visibility of the dark area is improved.
  • the human visual angle characteristic has a characteristic of perceiving the difference between the luminance at the gazing point and the luminance around the gazing point, that is, contrast as brightness. In this embodiment. By using this visual characteristic, even if the maximum luminance value is reduced by reducing the light amount of the lighting device, the perceived brightness does not decrease.
  • FIG. 23 is a schematic diagram illustrating a configuration of the image processing unit 502 according to the present embodiment.
  • the image processing unit 502 includes a first illumination light distribution calculation unit 5021, a first correction coefficient calculation unit 5022, a first gradation conversion unit 5023, a second illumination light distribution calculation unit 5024, a second correction coefficient calculation unit 5025, and a second.
  • a gradation conversion unit 5026 is included.
  • the image processing unit 502 of the present embodiment corresponds to the image processing apparatus 100 of the first embodiment. Since the internal configuration of the image processing unit 502 is the same as the internal configuration of the image processing apparatus 100, the description of the same internal configuration is omitted.
  • the first illumination light distribution calculation unit 5021 calculates the illumination light distribution Y1 (first illumination light distribution) for each pixel based on the input image signal S2 input to the image processing unit 502.
  • the first illumination light distribution calculation unit 5021 outputs the calculated illumination light distribution Y1 to the first correction coefficient calculation unit 5022.
  • the first correction coefficient calculation unit 5022 calculates the correction coefficient ⁇ for each pixel based on the illumination light distribution Y1 input from the first illumination light distribution calculation unit 5021.
  • the first correction coefficient calculation unit 5022 outputs the calculated correction coefficient ⁇ to the first gradation conversion unit 5023 and the second correction coefficient calculation unit 5025.
  • the first gradation conversion unit 5023 performs gradation conversion processing on the input image signal S2 input to the image processing unit 502 based on the correction coefficient ⁇ input from the first correction coefficient calculation unit 5022, and performs first conversion.
  • a gradation conversion image signal is generated.
  • the first gradation conversion unit 5023 outputs the first gradation conversion image signal generated by performing the gradation conversion processing to the second illumination light distribution calculation unit 5024 and the second gradation conversion unit 5026.
  • the second illumination light distribution calculation unit 5024 calculates the illumination light distribution Y2 (second illumination light distribution) for each pixel based on the first gradation conversion image signal input from the first gradation conversion unit 5023.
  • the second illumination light distribution calculation unit 5024 outputs the calculated illumination light distribution Y2 to the second correction coefficient calculation unit 5025.
  • the second correction coefficient calculation unit 5025 calculates the correction coefficient ⁇ for each pixel based on the illumination light distribution Y2 input from the second illumination light distribution calculation unit 5024.
  • the first correction coefficient calculation unit 5022 and the second correction coefficient calculation unit 5025 further calculate the correction coefficient ⁇ and the correction coefficient ⁇ in consideration of the output coefficient ⁇ indicated by the lighting device control signal C1 input from the lighting device control unit 501. Determine each.
  • the first correction coefficient calculation unit 5022 and the second correction coefficient calculation unit 5025 cause the correction coefficient ⁇ and the correction coefficient ⁇ to increase as the product of the correction coefficient ⁇ and the correction coefficient ⁇ increases as the output coefficient ⁇ decreases.
  • the first correction coefficient calculation unit 5022 and the second correction coefficient calculation unit 5025 exclude a dark area that is an area composed of pixels whose gradation values of the illumination light distribution Y1 and the illumination light distribution Y2 are lower than predetermined values. In the pixel region, the correction coefficient ⁇ and the correction coefficient ⁇ may be determined so that the product of the output coefficient ⁇ , the correction coefficient ⁇ , and the correction coefficient ⁇ is 1 or more.
  • the first correction coefficient calculation unit 5022 and the second correction coefficient calculation unit 5025 correct the output coefficient ⁇ and the correction in the pixel region where the gradation values of the illumination light distribution Y1 and the illumination light distribution Y2 are lower than the center values.
  • the correction coefficient ⁇ and the correction coefficient ⁇ may be determined so that the product of the coefficient ⁇ and the correction coefficient ⁇ is 1 or more.
  • the central value is a central value between the maximum value and the minimum value that can be taken by the gradation values of the illumination light distribution Y1 and the illumination light distribution Y2. In this way, the first correction coefficient calculation unit 5022 and the second correction coefficient calculation unit 5025 determine the output coefficient ⁇ , the correction coefficient ⁇ , and the correction coefficient ⁇ in conjunction with each other. As a result, the brightness of the output image is increased or the decrease in the brightness of the output image is suppressed, so that it is avoided that the entire image becomes extremely dark and the visibility is lost.
  • the first correction coefficient calculation unit 5022 and the second correction coefficient calculation unit 5025 set the average luminance when the light amount of the lighting device is set to a value smaller than the reference value, and the light amount of the lighting device as the reference value.
  • the correction coefficients ⁇ and ⁇ may be determined so as to be equal to or higher than the average luminance in the case of
  • the second correction coefficient calculation unit 5025 outputs the calculated correction coefficient ⁇ to the second gradation conversion unit 5026.
  • the second gradation conversion unit 5026 performs gradation conversion processing on the first gradation conversion image signal input from the first gradation conversion unit 5023 using the correction coefficient ⁇ input from the second correction coefficient calculation unit 5025. To generate a second gradation conversion image signal.
  • the second gradation conversion unit 5026 outputs the second gradation conversion image signal generated by performing the gradation conversion processing to the image display unit 141 as the output image signal T5.
  • the second area in the second illumination light distribution calculation unit 5024 is smaller than the first area in the first illumination light distribution calculation unit 5021. Therefore, in the second gradation conversion unit 5026, gradation conversion is performed in consideration of gradation values in a region narrower than the region in which the first gradation conversion unit 5023 performs gradation conversion while maintaining local contrast. . As a result, the local contrast in the output image is enhanced. For example, when the pixel area (second area) to be averaged by the second illumination light distribution calculation unit 5024 is the smallest, there is no peripheral pixel in a predetermined area from the target pixel, and averaging is not performed. It is.
  • the correction coefficient ⁇ of each pixel is determined only by the brightness of the target pixel and is not affected by the brightness of the surrounding pixels (adjacent pixels). Therefore, if the brightness difference between adjacent pixels is greatly different, the correction coefficient ⁇ is also greatly different. If the brightness difference between adjacent pixels is approximated, the correction coefficient ⁇ is also approximated. Since the second region is smaller than the first region and the correction coefficient ⁇ monotonously increases according to the gradation value of the illumination light distribution Y2, the local contrast is enhanced.
  • the first correction coefficient calculation unit 5022 and the second correction coefficient calculation unit 5025 have a difference between the correction coefficient ⁇ and the correction coefficient ⁇ as the average luminance or variance indicated by the image analysis result R1 input from the image analysis unit 503 decreases.
  • the correction coefficient ⁇ and the correction coefficient ⁇ may be determined so as to increase. This increases the degree of contrast enhancement in the output image. Therefore, the brightness perceived by the user becomes brighter. For example, when the correction coefficients ⁇ and ⁇ are 1.5 and 0.8, respectively, and when the correction coefficients ⁇ and ⁇ are 2.0 and 0.6, respectively, the product of the correction coefficients ⁇ and ⁇ is 1. 2.
  • the average values of the signal values of the output image signal T5 obtained by performing gradation conversion between the two are substantially equal. On the other hand, the visibility is improved because the latter has a higher degree of local contrast enhancement than the former.
  • the first correction coefficient calculation unit 5022 stores in advance an LUT (Look Up Table) used for calculating the correction coefficient ⁇ .
  • the LUT is information in which an input value and an output value are associated with each other. Its use is not limited to signal value conversion.
  • the LUT stored in the first correction coefficient calculation unit 5022 is associated with the gradation value of the illumination light distribution Y1 as an input value and the correction coefficient ⁇ as an output value.
  • the first correction coefficient calculation unit 5022 reads the correction coefficient ⁇ corresponding to the input gradation value of the illumination light distribution Y1 from the LUT, and outputs the read correction coefficient ⁇ to the first gradation conversion unit 5023. It may be.
  • the first correction coefficient calculation unit 5022 may store a plurality of LUTs. Each LUT has a different correction coefficient ⁇ as an output value associated with an input value. In other words, the degree to which the brightness of the output pixel is changed by gradation conversion differs between LUTs.
  • the first correction coefficient calculation unit 5022 is based on the statistical amount which is the image analysis result R1 input from the image analysis unit 503 or the output coefficient ⁇ indicated by the lighting device control signal C1 input from the lighting device control unit 501. Thus, one of the plurality of LUTs is selected.
  • the first correction coefficient calculation unit 5022 selects an LUT that makes the dark area brighter.
  • the LUT that brightens the dark area is, for example, a value (dark area) where the gradation value of the illumination light distribution Y1 is smaller than a predetermined value, a value larger than 1, and larger than a predetermined value.
  • the LUT is associated with the correction coefficient ⁇ .
  • the first correction coefficient calculation unit 5022 selects an LUT that slightly brightens the dark area.
  • the LUT that slightly darkens the dark area is, for example, a correction in which the gradation value of the illumination light distribution Y1 is smaller than a predetermined value (dark area), larger than 1, and smaller than a predetermined value.
  • the LUT is associated with the coefficient ⁇ .
  • the correction coefficient ⁇ is a value smaller than the correction coefficient ⁇ related to the LUT that brightens the dark area in the gradation value of the same illumination light distribution Y1.
  • the second correction coefficient calculation unit 5025 is based on the image analysis result R1 input from the image analysis unit 503, the lighting device control signal C1 input from the lighting device control unit 501, or the LUT selected by the first correction coefficient calculation unit 5022. Thus, one of the plurality of LUTs is selected.
  • the reason why the LUT selected by the first correction coefficient calculation unit 5022 is referred to is to refer to the correction coefficient ⁇ in addition to the output coefficient ⁇ when determining the correction coefficient ⁇ as described above.
  • the second correction coefficient calculation unit 5025 An LUT that further enhances local contrast is selected.
  • the image analysis unit 503 may calculate a statistic for the first tone conversion image signal generated by the first tone conversion unit 5023 instead of the input image signal S2. Whether the contrast is low is determined based on, for example, whether the difference between the maximum value and the minimum value of the gradation value in a predetermined range is smaller than a predetermined value.
  • Whether or not the high frequency component is small is determined by the ratio of the power value in the high frequency component higher than the predetermined spatial frequency to the power value in the low frequency component lower than the spatial frequency (power ratio) than the predetermined value. Judgment is made based on whether or not there are few. Whether or not the luminance histogram is biased is determined based on whether or not the ratio of the maximum value to the minimum value in the frequency for each luminance range divided at regular intervals is greater than a predetermined value. Whether or not there are many high gradation regions is determined based on whether or not the ratio of pixels whose gradation values (signal values) are larger than a predetermined value is larger than a predetermined ratio.
  • the LUT that further enhances the local contrast is, for example, an LUT in which the increase rate of the correction coefficient ⁇ is increased as the gradation value in the high gradation region increases.
  • the LUT that enhances the local contrast is selected by reducing the light quantity of the lighting device below the reference value so that the visibility is reduced even when the luminance is reduced. This is to prevent damage.
  • the second correction coefficient calculation unit 5025 selects an LUT that slightly enhances the local contrast.
  • the LUT that slightly enhances the local contrast is, for example, an LUT in which the increase rate of the correction coefficient ⁇ is smaller as the gradation value in the high gradation region increases.
  • the increase rate of the correction coefficient ⁇ associated with the change in the gradation value of the high gradation region in the LUT is higher than the increase rate of the correction coefficient ⁇ associated with the increase of the gradation value of the high gradation region in the LUT that emphasizes the local contrast described above. small.
  • the first correction coefficient calculation unit 5022 and the second correction coefficient calculation unit 5025 are respectively suitable gradation conversions based on the statistical values of the gradation values obtained by analyzing the input image signal S2 and the first gradation conversion image signal. Can be selected.
  • the LUT described above may be stored in a calculation method storage unit (not shown) included in the image display device 140 separately from the first correction coefficient calculation unit 5022 and the second correction coefficient calculation unit 5025. In that case, the first correction coefficient calculation unit 5022 selects an LUT corresponding to the statistic and the output coefficient ⁇ from the calculation method storage unit, and selects the correction coefficient ⁇ or ⁇ corresponding to the gradation value in the selected LUT. read out.
  • the first correction coefficient calculation unit 5022 and the second correction coefficient calculation unit 5025 select the LUT, and use the correction coefficient ⁇ or ⁇ related to the selected LUT. Good. Further, the lighting device control unit 501 may select the output coefficient ⁇ based on an operation input by the user. In this case, the first correction coefficient calculation unit 5022 may determine the correction coefficient ⁇ based on the selected output coefficient ⁇ , and the second correction coefficient calculation unit 5025 calculates the selected output coefficient ⁇ and the first correction coefficient. The correction coefficient ⁇ may be determined using the correction coefficient ⁇ calculated by the unit 5022 as described above.
  • the second illumination light distribution calculation unit 5024 it is assumed that the pixel region (second region) that averages the signal value for each pixel included in the first gradation-converted image signal is a fixed value. However, it may be variable according to the image analysis result R1. As described above, the image analysis unit 503 calculates a statistical value for the first gradation conversion image signal input from the first gradation conversion unit 5023, and supplies the calculated statistical value to the second illumination light distribution calculation unit 5024. Output.
  • the second illumination light distribution calculation unit 5024 stores a plurality of sizes (for example, the number of pixels) of the second region in advance. For example, when the contrast in the first gradation-converted image is low, the high-frequency component is small, or the luminance histogram is biased, the second illumination light distribution calculation unit 5024 selects a smaller second region. As a result, an output image in which the contrast is enhanced up to a high frequency component is obtained by gradation conversion. For example, when the contrast in the first gradation conversion image is high, there are many high frequency components, the luminance histogram is not biased, etc., the second illumination light distribution calculation unit 5024 selects a larger second region.
  • an output image in which the contrast in the high frequency component is maintained and the degree of enhancement is suppressed is obtained by gradation conversion. Therefore, the degree of enhancement of the contrast of the high frequency component of the output image is adjusted according to the distribution of the signal value of the first gradation conversion image, and the visibility of the output pixel can be improved.
  • the illumination light distribution Y1 calculated by the first illumination light distribution calculation unit 5021 and one illumination light distribution Y2 calculated by the second illumination light distribution calculation unit 5024 may be plural, for example, two.
  • the first correction coefficient calculation unit 5022 calculates an average value of all or a part of the correction coefficient ⁇ calculated based on each illumination light distribution Y1, and the first gradation conversion unit 5023 uses the calculated average value. Tone conversion may be performed.
  • the second correction coefficient calculation unit 5025 calculates an average value of all or part of the correction coefficients ⁇ calculated based on the respective illumination light distributions Y2, and the second gradation conversion unit 5026 uses the calculated average value. Tone conversion may be performed.
  • the first illumination light distribution calculation unit 5021 calculates the illumination light distribution Y1 in a plurality of ways
  • the region in which the first region is the smallest among the plurality of ways is referred to as a first reference image region.
  • the second illumination light distribution calculation unit 5024 determines a pixel region (second region) in which signal values for each pixel are averaged to be smaller than the first reference image region.
  • a plurality of illumination light distributions Y2 are calculated, an area having the largest second area is referred to as a second reference image area. Therefore, the second reference image area is determined to be smaller than the first reference image area.
  • the first illumination light distribution calculation unit 5021 can adjust the size of a region in which local contrast is maintained by gradation conversion by selecting all or part of the first regions having different sizes. it can. As described above, the first illumination light distribution calculation unit 5021 may select the first region based on the statistical value input from the image analysis unit 503. In view of the fact that the correction coefficient ⁇ is approximated to a substantially constant value in the first area, and the correction coefficient ⁇ in the dark area is larger than the correction coefficient ⁇ in the other areas, the first gradation conversion unit 5023 Contrast is maintained in a smaller area by the gradation conversion performed. Therefore, visibility is improved even in a small dark area.
  • the second illumination light distribution calculation unit 5024 can adjust the spatial frequency for enhancing the local contrast by gradation conversion by selecting all or part of the second regions having different sizes. .
  • the second illumination light distribution calculation unit 5024 may select the second region based on the statistical value input from the image analysis unit 503.
  • the gradation conversion performed by the second gradation conversion unit 5026 performs local conversion in a smaller region.
  • the contrast can be enhanced.
  • the correction coefficient ⁇ for a gradation value close to zero is preferable in that noise distributed in the vicinity of zero is not excessively emphasized in order to reduce the gradation value in gradation conversion.
  • the first illumination light distribution calculation unit 5021 and the second illumination light distribution calculation unit 5024 instead of selecting the first region and the second region, respectively, based on the statistical values input from the image analysis unit 503, respectively. You may make it change the magnitude
  • the first illumination light distribution calculation unit 5021 may change the size of the first region according to the resolution of the input image signal S2.
  • the first illumination light distribution calculation unit 5021 determines, for example, the number of pixels on one side of the first area so as to be proportional to the resolution of the input image signal S2, that is, the number of pixels on one side of the display area.
  • the second illumination light distribution calculation unit 5024 may change the size of the second region according to the resolution of the first gradation conversion image signal.
  • the second illumination light distribution calculation unit 5024 determines the number of pixels on one side of the second region so as to be proportional to the resolution, for example. Thereby, the size of the local area where the contrast is maintained or enhanced is the same regardless of the resolution of the input image, and the effect of improving the image quality can be made equal.
  • the illumination device control unit 501 determines the output coefficient ⁇ based on the statistical value indicated by the image analysis result R1 input from the image analysis unit 503. For example, the lighting device control unit 501 sets the output coefficient ⁇ to a larger value as the average value of the signal values of the input image is larger. The illumination device control unit 501 sets the output coefficient ⁇ to a smaller value as the average value of the signal values of the input image is smaller.
  • the determined output coefficient ⁇ is a real number between 0 and 1.
  • the lighting device control unit 501 may determine the output coefficient ⁇ based on the gradation histogram. For example, when the number of pixels in the high gradation region and the low gradation region is larger than the number of pixels in the intermediate region (intermediate gradation region), the illumination device control unit 501 gives the output coefficient ⁇ as a reference value for the light amount. The value is determined within a predetermined range from the value. As a result, a decrease in the maximum value of the luminance is suppressed, so that it is possible to reduce image quality deterioration mainly in a high gradation region that gives high luminance.
  • the lighting device control unit 501 sets the value of the output coefficient ⁇ to a smaller value as the number of pixels in the intermediate gradation region increases. Even if the amount of light of the lighting device is less than the reference value, gradation conversion can be performed by enhancing the local contrast without reducing the maximum luminance value. Thereby, it is suitable at the point which can reduce power consumption, without impairing visibility.
  • the illumination light intensity in the input image is calculated by calculating the average value of the brightness in the first region that is a predetermined region centered on the pixel for each pixel of the input image.
  • the first illumination light distribution indicating the distribution of the input image is calculated, and the input image is calculated based on the first illumination light distribution and a first correction coefficient that monotonously decreases with respect to the illumination light intensity when the illumination light intensity is greater than a predetermined threshold.
  • the gradation value of each pixel is converted. Further, in the present embodiment, for each pixel of the image obtained by converting the input image, the average value of the gradation values in the second area that is smaller than the first area centered on the pixel is calculated.
  • the second illumination light distribution indicating the distribution of the illumination light intensity in the image after the tone conversion is calculated, and the image after the conversion is based on the second illumination light distribution and the second correction coefficient that monotonously decreases with respect to the illumination light intensity.
  • the tone value of is converted.
  • the first correction coefficient and the first correction coefficient increase the product of the first correction coefficient and the second correction coefficient as the output coefficient related to the light amount of the illumination unit included in the image display unit that displays an image decreases. 2 Calculate the correction coefficient.
  • the local contrast of the image signal is enhanced in the gradation conversion, and the visibility of the dark area is improved. Further, even when the light amount of the lighting device is less than the reference value, the same visibility as when the light amount is the reference value can be obtained, and the power consumption can be reduced.
  • FIG. 24 is a schematic diagram illustrating a configuration of the image capturing apparatus 150 according to the present embodiment.
  • the image imaging apparatus 150 includes an imaging element 151, an image display unit 152, and an image storage unit 153.
  • the image sensor 151 captures an image of a subject and generates an original image signal indicating the captured image.
  • the imaging element 151 includes an imaging device such as a CCD (Charge Coupled Device).
  • the image sensor 151 performs general image processing such as de-mosaic on the generated image signal, and uses the generated signal as the input image signal S2 to the image processing unit 502 and the image analysis unit 503 of the image processing apparatus 500.
  • Output. Demosaicing is a process of generating an image signal indicating a color image by complementing color information that was not in the original image signal.
  • the illumination device control signal C1 is input from the illumination device control unit 501 and the output image signal T5 is input from the image processing unit 502 to the image display unit 152.
  • the image display unit 153 adjusts the light amount of the lighting device based on the output coefficient ⁇ indicated by the lighting device control signal C1, and displays an image indicated by the output image signal T5.
  • the image storage unit 153 stores the output image signal T5 input from the image processing unit 502.
  • the image storage unit 153 includes, for example, a storage device such as a flash memory or a hard disk. Thereby, the image pickup apparatus 150 that can improve the visibility of the dark region and can capture a high-quality image with high locality and improved local contrast is realized.
  • the image capturing apparatus 150 may perform general image processing such as gamma correction, color conversion, and edge enhancement on the output image signal T5 output from the image processing unit 502.
  • first correction coefficient calculation unit 5022 and the second correction coefficient calculation unit 5025 described above may be configured as an integrated correction coefficient calculation unit. Further, the first correction coefficient calculation unit 5022 may be included as a part of the first gradation conversion unit 5023. Further, the second correction coefficient calculation unit 5025 may be included as a part of the second gradation conversion unit 5026. As described above, according to this embodiment, the same effect as that of the fifth embodiment can be obtained.
  • the schematic configuration of an image display device (not shown) according to the present embodiment is the same as that of the image display device 140 (see FIG. 17).
  • the image display part 141 (refer FIG. 17) which concerns on this embodiment is provided with a some light source as an illuminating device.
  • the image display unit 141 can independently control the amount of light emitted from each light source for each of a plurality of regions into which a display surface for displaying an image is divided.
  • FIG. 25 is a diagram illustrating an arrangement example of light sources of the illumination device according to the present embodiment.
  • a horizontally long rectangular outer frame indicates the outer frame of the lighting device.
  • Each circle arranged in a two-dimensional plane inside the outer frame indicates a light source.
  • a light source 2500 at the upper left end of the outer frame is one of a plurality of light sources provided in the illumination device.
  • the unit capable of independently controlling the amount of light may be for each light source or for a predetermined number of light sources.
  • the plurality of light sources may be arranged on a one-dimensional line segment in all or a part of the upper, lower, left, and right ends of the lighting device.
  • FIG. 26 is a diagram illustrating an arrangement example of pixels of the image display unit 141 according to the present embodiment.
  • a horizontally long rectangular outer frame indicates the outer frame of the image display surface in the image display unit 141.
  • Each fine rectangle arranged in a two-dimensional plane inside the outer frame represents a pixel.
  • a region 2600 filled in at the upper left corner of FIG. 26 is a region corresponding to the light source 2500 capable of independently controlling the amount of light. That is, the region 2600 is a region where light is mainly supplied from the light source 2500.
  • the brightness of the image displayed in the region 2600 is controlled mainly by the light amount of the light source 2500.
  • the lighting device control unit 501 determines the light amount for each light amount control region.
  • the light quantity control area refers to an area corresponding to each unit of the light source that can control the light quantity independently. That is, the light amount control area corresponds to each of partial areas obtained by dividing a display area for displaying an image into a plurality of parts.
  • the illumination device control unit 501 calculates the illumination light distribution for each light quantity control region based on the input image signal S2 input to the image processing device 500.
  • the illumination device control unit 501 calculates a gradation value obtained by averaging the signal values belonging to each light quantity control region as an illumination light distribution.
  • the illumination device control unit 501 determines a larger output coefficient ⁇ as the calculated illumination light distribution is larger. For example, when the calculated illumination light distribution is larger than a predetermined value, the illumination device control unit 501 determines the output coefficient ⁇ so that the light amount of the light source related to the light amount control region is larger than the reference value. When the calculated illumination light distribution is smaller than a predetermined value, the illumination device control unit 501 determines the output coefficient ⁇ so that the light amount of the light source related to the light amount control region is smaller than the reference value. However, when the reference value is a predetermined maximum value and the calculated illumination light distribution is larger than the predetermined value, the illumination device control unit 501 determines that the light amount of the light source in the light amount control region is the reference value. The output coefficient ⁇ is determined so that
  • the first correction coefficient calculation unit 5022 calculates the correction coefficient ⁇ based on the illumination light distribution Y1 of the input image signal S2 and the correction coefficient ⁇ determined for each light quantity control region. Then, the first gradation conversion unit 5023 performs gradation conversion on the input image signal S2 using the correction coefficient ⁇ .
  • the second correction coefficient calculation unit 5025 calculates the correction coefficient ⁇ based on the illumination light distribution Y2 of the first gradation conversion signal and the correction coefficient ⁇ determined for each light quantity control region, and the second gradation conversion unit 5026. Converts the gradation of the first gradation conversion signal using the correction coefficient ⁇ .
  • the image processing unit 502 performs gradation conversion on the region as described above. As a result, an image with good local visibility and good visibility is displayed on the image display unit 152.
  • the light amount of the light source provided in the illumination device is independently controlled for each of the plurality of light amount control regions, and the gradation processing in the image processing unit 502 is also performed.
  • the power consumption can be reduced as compared with the case where all the light amounts of the light source are uniformly controlled without impairing the visibility. This is because, in the present embodiment, the light amount of the light source related to the light amount control region having a low gradation value of the illumination light distribution can be reduced.
  • the luminance becomes lower than expected even if gradation conversion is performed if the light amount of the light source is too small. For this reason, if the light quantity of the light source is extremely reduced, the visibility may be impaired.
  • the light amount control region dark region
  • the light amount decrease is suppressed in the light amount control region (bright region) where the gradation value of the illumination light distribution is high. Then, the amount of light is reduced sufficiently. As a result, while the brightness is maintained high in the bright area, the light amount of the light source corresponding to the dark area is greatly reduced.
  • the illumination device control unit 501 may determine the output coefficient ⁇ based on the contrast in the light amount control region.
  • the output coefficient ⁇ is a parameter for controlling the light amount of the light source as described above.
  • the illumination device control unit 501 calculates an index value indicating the degree of local contrast based on the gradation value of the input image signal S2 for each light amount control region. Examples of the index value include a difference between a maximum value and a minimum value of gradation values, a dispersion of gradation values, and the like.
  • the illumination device control unit 501 determines an output coefficient ⁇ that reduces the light amount of the light source as the local contrast indicated by the calculated index value is stronger.
  • the light amount control region with a strong local contrast has a smaller light amount of the light source than the light amount control region with a low local contrast. Therefore, the power consumption can be reduced by reducing the light amount of the light source while maintaining the visibility of the output image for each light amount control region.
  • FIG. 27 is a conceptual diagram illustrating an example of the brightness of an output image.
  • the horizontal axis indicates the gradation value
  • the vertical axis indicates the luminance.
  • a curve 2700 is a curve indicating the luminance when the light amount is a reference value.
  • the brightness indicated by the curve 2700 indicates the expected brightness.
  • a curve 2701 is a curve indicating the luminance when the amount of light is 1 ⁇ 4 of the reference value.
  • the gradation value X1 is a gradation value at which MAX / 4 is obtained as the luminance value when the light amount is the reference value.
  • MAX is a luminance value obtained when the light amount is a reference value and the gradation value is the maximum value XMAX.
  • MAX / 4 is obtained as the luminance value. That is, in FIG. 27, even if the light amount is reduced to 1 ⁇ 4 of the reference value, MAX / 4 can be obtained as the expected luminance value by converting the gradation value of X1 to the maximum value XMAX. Indicates.
  • FIG. 28 is a conceptual diagram showing an example of the gradation value of the output image signal T5.
  • the horizontal axis indicates the pixel position
  • the vertical axis indicates the gradation value.
  • the origin is one point on the image display surface of the image display unit 141, for example, the upper left corner.
  • gradation values that are significantly larger than other gradation values are shown.
  • the other gradation values take values smaller than 0 than the maximum value XMAX. That is, the distribution of gradation values shown in FIG. 28 indicates that pixels having gradation values that are significantly larger than other gradation values are included in the dark area. In such a case, if the light amount of the light source is reduced, the pixel having this large gradation value is displayed with a lower brightness than expected. However, this gradation value has a large difference from the surrounding gradation values, that is, local contrast. Therefore, a pixel having this large gradation value is perceived brightly by human vision.
  • the first correction coefficient and the second correction coefficient are calculated as output coefficients based on the output coefficients calculated for each of a plurality of partial areas obtained by dividing the display area for displaying an image. . That is, the illumination light distribution is calculated based on the image signal for each region corresponding to each of the plurality of light sources that can control the light amount independently, and the light amount is controlled based on the calculated illumination light distribution. Further, gradation conversion is performed based on the calculated illumination light distribution. As a result, the local contrast of the output image is enhanced, and the visibility of the dark area can be improved even if the light amount of the light source is less than the reference value. Moreover, power consumption can be further reduced by reducing the amount of light from the light source.
  • FIG. 29 is a schematic diagram illustrating a configuration of the image display device 160 according to the present embodiment.
  • the image display device 160 includes an image processing device 600 and an image display unit 161.
  • the image processing device 600 includes an illumination device control unit 601, an image processing unit 602, an image correction unit 603, and an image analysis unit 604.
  • the image processing unit 602 and the image analysis unit 604 have the same configuration as the image processing unit 502 and the image analysis unit 503 (see FIG. 17), respectively.
  • the illumination device control unit 601 includes a plurality of light sources included in the illumination device based on the statistics indicated by the image analysis result R2 input from the image analysis unit 604. Determine the amount of light.
  • the illuminating device control unit 601 determines an output coefficient ⁇ for obtaining a light amount determined for each light source that can be independently controlled with respect to the plurality of light sources.
  • the illumination device control unit 601 outputs an illumination device control signal C2 indicating the output coefficient ⁇ to the image processing unit 602, the image display unit 161, and the image correction unit 603.
  • the image correction unit 603 performs correction processing on the output image signal input from the image processing unit 602 based on the lighting device control signal C2 input from the lighting device control unit 601.
  • the correction processing performed by the image correction unit 603 is processing for reducing unevenness in luminance of the output image displayed by the image display unit 161 when the output image signal is directly input from the image processing unit 602.
  • Luminance unevenness refers to a change in luminance caused by the positional relationship between the light source corresponding to the light amount control region and the pixel, and cannot be explained only by the gradation value for each pixel. An example of “brightness unevenness” and processing for reducing “brightness unevenness” will be described later.
  • the image correction unit 603 outputs the output image signal T6 corrected by the correction process to the image display unit 161.
  • FIG. 30 is a conceptual diagram illustrating another example of the gradation value of the output image signal.
  • the horizontal axis indicates the pixel position
  • the vertical axis indicates the gradation value.
  • Two double-headed arrows shown directly below the horizontal axis indicate the light amount control areas 3000 and 3001, respectively.
  • the light quantity control areas 3000 and 3001 are arranged adjacent to each other. In other words, the pixels shown on the horizontal axis are pixels belonging to one of the light quantity control areas 3000 and 3001, respectively.
  • FIG. 30 is a conceptual diagram illustrating another example of the gradation value of the output image signal.
  • the horizontal axis indicates the pixel position
  • the vertical axis indicates the gradation value.
  • Two double-headed arrows shown directly below the horizontal axis indicate the light amount control areas 3000 and 3001, respectively.
  • the light quantity control areas 3000 and 3001 are arranged adjacent to each other.
  • the pixels shown on the horizontal axis are pixels belonging to one of the light quantity control
  • the gradation values of the pixels belonging to the light quantity control region 3000 are values closer to zero than the maximum value XMAX.
  • the gradation values of the pixels belonging to the light quantity control region 3001 are values closer to the maximum value XMAX than zero. There is a significant difference in the gradation value between the light amount control areas 3000 and 3001.
  • FIG. 31 is a conceptual diagram illustrating an example of the luminance of the lighting device.
  • FIG. 31 shows the pixel position on the horizontal axis and the luminance of the lighting device on the vertical axis. Two double-headed arrows shown directly below the horizontal axis indicate the above-described light amount control areas 3000 and 3001, respectively.
  • the luminance shown in this example is the luminance distribution of the lighting device obtained when the light amount of the light source related to the light amount control region 3001 is larger than that of the light source related to the light amount control region 3000.
  • the brightness shown in FIG. 31 differs between the light quantity control areas 3000 and 3001, and changes gently at the boundary between the light quantity control areas 3000 and 3001.
  • This change is more gradual than the change in gradation value shown in FIG. That is, the luminance of the lighting device near the boundary is affected by light emitted from the light sources related to the plurality of adjacent light quantity control regions, and a gradual change in luminance occurs near the boundary of the light quantity control region.
  • This change in brightness is “brightness unevenness”.
  • FIG. 32 is a conceptual diagram illustrating another example of the brightness of the output image.
  • the vertical axis represents the luminance of the output image
  • the horizontal axis represents the pixel position
  • the arrows shown directly below the horizontal axis indicate the light amount control areas 3000 and 3001, respectively.
  • the arrows shown are the same as those in FIGS.
  • the light quantity of each light source is the same as that shown in FIG. 31, and the output image signal is the same as that shown in FIG.
  • the luminance shown in FIG. 32 has the most remarkable change in value at the boundary between the light quantity control areas 3000 and 3001. However, this change in value is more gradual than the change in gradation value shown in FIG. This gradual change in luminance occurs as “brightness unevenness”.
  • the image correction unit 603 performs a correction process so as to emphasize the difference between the gradation values straddling the boundary of the light amount control region. Thereby, the influence which the light which the light source concerning the adjacent light quantity control area radiates gives is reduced. Therefore, “brightness unevenness” due to a difference in light amount between the light amount control regions is reduced.
  • FIG. 33 is a conceptual diagram showing an example of the gradation value of the corrected output image signal T6.
  • the gradation value shown in FIG. 33 is a gradation value of a signal generated by performing correction processing on the output image signal having the gradation value shown in FIG.
  • the gradation value of the pixel belonging to the light amount control area 3000 decreases as the boundary with the light amount control area 3001 is closer.
  • the gradation value of the pixel belonging to the light amount control area 3001 increases as the boundary with the light amount control area 3000 is closer.
  • the gradation value difference across the boundary between the light quantity control areas 3000 and 3001 is emphasized.
  • the average value of the gradation values across the boundary hardly changes before and after the correction process.
  • FIG. 34 is a conceptual diagram showing an example of the luminance of the corrected output image.
  • the luminance shown in FIG. 34 is the luminance of the output image related to the output image signal T6 shown in FIG.
  • the change in luminance is as steep as the change in gradation value in FIG. 30 at the boundary between the light quantity control regions 3000 and 3001. That is, FIG. 34 shows that “brightness unevenness” shown in FIG.
  • the image correction unit 603 stores in advance a correction coefficient obtained by converting the luminance for each pixel shown in FIG. 31 into a gradation value, and divides by the correction coefficient stored in the gradation value for each pixel.
  • the correction process can be realized.
  • the image correction unit 603 stores a correction coefficient obtained by normalizing the gradation value for each pixel shown in FIG. 33 in advance, and multiplies the correction coefficient stored in the gradation value for each pixel.
  • correction processing can be realized.
  • luminance information indicating a luminance relationship for each pixel (pixel position) for a light source (light source position) related to a certain light amount control region may be acquired in advance.
  • the image correction unit 603 performs a correction process on the output image signal so as to reduce “brightness unevenness” indicated by the luminance information.
  • the image correction unit 603 refers to, for example, an LUT stored in advance, and performs gradation conversion on the gradation value for each pixel included in the output image signal.
  • the intensity of light reaching from the light source varies depending on the position of the pixel, resulting in a difference in luminance.
  • Differences in luminance due to differences in pixel positions are another aspect of luminance unevenness. That is, in gradation conversion, a correction coefficient that compensates for a difference in luminance is acquired for each pixel in advance, and the image correction unit 603 multiplies the gradation value by the correction coefficient acquired in gradation conversion.
  • FIG. 35 is a conceptual diagram showing an example of the arrangement of light sources and pixels according to the present embodiment.
  • FIG. 35A shows a light source 3500 and a light amount control region 3501 corresponding to the light source 3500.
  • a plurality of fine rectangles included in the rectangle indicating the light amount control region 3501 each indicate a pixel.
  • the light source 3500 is disposed substantially at the center of the light amount control region 3501.
  • FIG. 35B shows an example of luminance for each pixel.
  • the horizontal axis indicates the pixel position
  • the vertical axis indicates the luminance. The luminance shown in FIG.
  • 35B is the luminance for each pixel that passes through the line segment 3502 in FIG.
  • the horizontal position of each pixel in FIG. 35 (b) is associated with the horizontal position of each pixel in FIG. 35 (a).
  • the luminance is highest at the center of the light source 3500, and the luminance change is gentle in the pixels adjacent to the luminance.
  • the change in luminance becomes significant and approximates zero.
  • the image correction unit 603 has a constant brightness value (flat) regardless of the pixel (position) under a constant gradation value and a constant light amount (output coefficient ⁇ , for example, 1) over the entire light amount control region.
  • a correction coefficient for each pixel giving a tone value is stored in advance as an LUT.
  • the image correction unit 603 reads the correction coefficient for each pixel from the stored LUT, and performs gradation conversion by multiplying the gradation value by the read correction coefficient for each pixel included in the output image signal. Further, the image correction unit 603 further multiplies the converted gradation value by the output coefficient ⁇ .
  • the image correction unit 603 may store the reciprocal number instead of the correction coefficient described above. In that case, the image correction unit 603 divides the reciprocal stored in the gradation value in the gradation conversion.
  • the image correction unit 603 calculates a combined value by combining gradation values that cause luminance components from light sources related to different light amount control regions, and performs gradation conversion so that the calculated combined value gives the target luminance. You may do it. Thereby, the influence of “brightness unevenness” caused by the light sources related to different light quantity control regions is reduced.
  • FIG. 36 is a conceptual diagram illustrating another example of the arrangement of light sources and pixels according to the present embodiment.
  • four circles indicate the light sources 3600, 3602, 3604, and 3606, respectively.
  • the quadrangular areas including the four circles at the centers are light amount control areas 3601, 3603, 3605, 3607 corresponding to the light sources 3600, 3602, 3604, 3606, respectively.
  • a pixel 3608 relating to a small rectangular area filled with diagonal lines at the lower right end of the light amount control area 3601.
  • the pixel 3608 is irradiated with light emitted from the light sources 3602, 3604, and 3606 in addition to the light source 3600 related to the light amount control region 3601 to which the pixel belongs.
  • the image correcting unit 603 measures in advance the luminance by the light source in each of the other light quantity control areas (for example, adjacent light quantity control areas) in a predetermined range from the target light quantity control area. The measurement is performed for each pixel (target pixel) in the target light amount control region under a predetermined gradation value and light amount (output coefficient ⁇ , for example, 1).
  • the measured luminance indicates the degree of influence of the light emitted from the light sources related to the other light quantity control regions on the luminance of the target pixel.
  • a synthesis coefficient (correction coefficient) obtained by converting the luminance measured under a predetermined light amount into a gradation value is previously stored as an LUT for each light source in each pixel and other light amount control regions.
  • the image correction unit 603 associates the combined value with the gradation value (target gradation value) that gives the target luminance and stores it in the LUT in advance.
  • the composite value is a value obtained by converting the luminance due to light reaching from another light amount control region under a predetermined light amount into a gradation value.
  • the image correction unit 603 reads the synthesis coefficient for each pixel in the light amount control region of interest and for each light source in the other light amount control region from the stored LUT.
  • the image correction unit 603 multiplies the read synthesis coefficient by the output coefficient ⁇ to calculate a luminance component for each light source in the other light quantity control region.
  • the image correction unit 603 adds the calculated luminance components over the other light quantity control regions, and calculates a composite value that is the sum of the added components.
  • the image correction unit 603 performs gradation conversion by reading out the target gradation value corresponding to the calculated composite value from the LUT. As a result, the influence of the luminance of each light source in the other light amount control areas is corrected to the target luminance, and thus “brightness unevenness” that tends to occur near the boundary of the light amount control area is reduced.
  • the “unevenness in brightness” of the output image can also occur in the image display device 140 (see FIG. 17) that uniformly controls the amount of light of the illumination device.
  • This “unevenness in brightness” is caused by, for example, individual differences in input / output characteristics of the light source or the positional relationship between the light amount control region and the corresponding light source. Therefore, the image display device 140 may include the above-described image correction unit 603, and output an output image signal obtained by performing the above-described correction processing on the output image signal generated by the image processing unit 502 to the image display unit 141. Thereby, “brightness unevenness” can be reduced.
  • the image correction unit 603 may perform the above-described correction processing on the input image signal S2, and output the input image signal subjected to the correction processing to the image processing unit 602.
  • the image processing unit 602 outputs the generated output image signal to the image display unit 161.
  • the illumination light distribution is calculated based on the input image signal subjected to the correction process, unlike the original input image signal S2, it is affected by the gradation value of a pixel other than the target pixel. Therefore, it is preferable that the image processing unit 602 performs processing based on only the gradation value of the original input image signal S2, as described above.
  • the correction coefficient indicating the relationship between the luminance and the gradation value for each light source corresponding to the partial area is stored in advance for each pixel, and the gradation is determined based on the correction coefficient.
  • the converted gradation value is corrected.
  • the image processing apparatuses 100, 200, 300, 400, 500, 600, the image display apparatuses 110, 140, 160, the image imaging apparatuses 120, 150, and the image printing apparatus 130 in the above-described embodiment are computers. It may be realized by. In that case, the program for realizing the control function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by a computer system and executed.
  • the “computer system” here is a computer system built in an image processing apparatus, an image display apparatus, an image capturing apparatus, or an image printing apparatus, and includes hardware such as an OS and peripheral devices.
  • the “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” is a medium that dynamically holds a program for a short time, such as a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line, In such a case, a volatile memory inside a computer system serving as a server or a client may be included and a program that holds a program for a certain period of time.
  • the program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
  • the reference pixel area variable when calculating the illumination light distribution based on the input image because the processing amount can be reduced.
  • the number of pixels of the subject increases if the subject is photographed with a high resolution image, and the number of pixels of the subject decreases when the subject is photographed with a low resolution image.
  • the area occupied by the subject in the image has the same value regardless of the resolution.
  • the illumination light distribution can be calculated according to the area occupied by the image, and this is a local area that maintains and enhances the contrast regardless of the resolution of the input image. And the same image quality improvement effect can be obtained.
  • the image processing apparatuses 100, 200, 300, 400, 500, 600, the image display apparatuses 110, 140, 160, the image imaging apparatuses 120, 150, and the image printing apparatus 130 in the above-described embodiment are used.
  • it may be realized as an integrated circuit such as LSI (Large Scale Integration).
  • LSI Large Scale Integration
  • Each functional block of the image processing apparatus, the image display apparatus, the image capturing apparatus, and the image printing apparatus may be individually made into a processor, or a part or all of them may be integrated into a processor.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. Further, in the case where an integrated circuit technology that replaces LSI appears due to progress in semiconductor technology, an integrated circuit based on the technology may be used.
  • the present invention can be applied to liquid crystal televisions, mobile phones, digital cameras, personal computers, tablet personal computers, printers, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

 本発明の一態様に係る画像処理装置は、入力画像から照明光分布を算出する第1照明光分布算出部と、第1照明光分布算出部が算出した照明光分布により階調変換を行う第1階調変換部と、第1階調変換部で階調変換された画像の照明光分布を算出する第2照明光分布算出部と、前記第2照明光分布算出部により階調変換を行う第2階調変換部とを備え、第1照明光分布算出部の参照画素領域を、第2照明光分布算出部の参照画素領域よりも大きくする。

Description

画像処理装置、画像表示装置、画像撮像装置、画像印刷装置、階調変換方法、及びプログラム
 本発明は画像処理装置、画像表示装置、画像撮像装置、画像印刷装置、階調変換方法、及びプログラムに関する技術であり、特に、画像の視認性を向上する画像処理技術に関する。
 本願は、2012年9月20日に日本に出願された特願2012-206866号と、2012年9月25日に日本に出願された特願2012-211022号とに基づき優先権を主張し、その内容をここに援用する。
 画像のコントラスト強調やダイナミックレンジ圧縮を行う処理として階調変換技術がある。コントラスト強調は、明度が高い画素の明度がより高く、明度が低い画素の明度がより低くなるように階調変換を行うことで、画像全体のコントラストを向上させる処理である。コントラスト強調をする場合、一般に、LUT(Look Up Table)を保有しておき、入力階調値に対して出力階調値を対応させておくことで実現する。
 また、ダイナミックレンジ圧縮は、画像の明度の最大値と最小値の幅が狭くなるように階調変換を行う処理である。ダイナミックレンジ圧縮をする場合も、HDR(High Dynamic Range)画像の階調値を入力階調値とし、ダイナミックレンジ圧縮後の階調値を出力階調値としたLUTを保有することで実現する。HDR画像とは、通常のモニタで表示可能な標準的なダイナミックレンジより大きいダイナミックレンジを有する画像のことである。
 なお、入力画像がHDR画像で無い場合には、明部領域の階調を圧縮して暗部領域の視認性を向上する効果がある。
 しかし、上記のコントラスト強調処理を用いた場合、暗部領域および明部領域の階調が飽和してしまうことがある。また、ダイナミックレンジ圧縮により暗部領域の視認性を向上する場合、明部領域の階調が飽和してしまうことがある。
 そこで、明部領域の飽和を低減しながら暗部領域の視認性を向上する方法として、特許文献1には、輝度分布を算出して画素ごとに階調変換を行う方法が開示されている。
 特許文献1に係る発明によれば、入力画像について平均化フィルタにより輝度値を平均化し、画像処理の注目画素の平均輝度から画像処理の補正利得を算出する。このとき、平均輝度と補正利得の関係は、単調減少の関係となる。特許文献1に係る発明によれば、入力画像の各画素の周辺を含めた平均輝度に基づいて階調変換を行うため、各画素とその周辺画素の補正利得が近い値となるため、コントラストを維持することができる。また、明部領域階調の補正利得を小さくし、暗部領域階調の補正利得を大きくすることで、明部領域の飽和を低減し、暗部領域の視認性を向上している。
 また、近年、大型の画面を備えるテレビジョン受像機が商品化されている。画面の大型化に伴い消費電力が増加するため、消費電力を低減することが期待されている。また、いわゆるタブレット端末やスマートフォンをはじめとする小型の携帯端末装置では、バッテリーに蓄えられた電力を供給できる時間を持続させるうえでも、消費電力を低減することが重要である。
 特許文献2には、輝度信号成分を強調することにより、画像表示装置の画面の見かけ上の明るさを損なうことなくバックライトの光量を下げて、画像表示装置の消費電力を低減させることが記載されている。
特開2008-72450号公報 特開2004-246099号公報
 特許文献1に係る方法によれば、周辺画素との局所的コントラストを維持しながら暗部領域の視認性を向上させるために、暗部領域の明度を高くする。これにより、画像全体のコントラスト感が低下してしまうことがある。これは、暗部領域の明度が高くなったために、画像全体を見たときに、明暗の分布が少なくなるためである。ここで、「コントラスト感」とは、画像全体の大局的な明暗差、画像中における明部と暗部の分布、注目する被写体における明暗の分布等、画像を観察した人間が実際に画像から受けるコントラストに関する主観的な感覚のことである。
 また、元々明るい画像に対して特許文献1に係る方法を実行すると、明部領域の明るさが微小に向上するだけで、視認性の向上がなく画像全体のコントラスト感だけが減少してしまう。
 特許文献2に記載の画像表示方法では、消費電力の低減は図られるものの、画像のコントラストが低下し視認性が損なわれてしまうことがある。
 そこで、本発明は、コントラスト感を向上し、かつ視認性を高めた画像を生成することが可能な画像処理装置、画像表示装置、画像撮像装置、画像印刷装置、階調変換方法、及びプログラムを提供する。
 本発明の一態様に係る画像処理装置は、入力画像の各画素について、当該画素を中心とした所定の領域である第1領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第1照明光分布を算出する第1照明光分布算出部と、前記入力画像の各画素について、前記第1照明光分布に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少する係数である第1補正係数を算出する第1補正係数算出部と、前記第1補正係数に応じて、前記入力画像の各画素の階調値を変換することで、前記入力画像の階調変換を行う第1階調変換部と、前記第1階調変換部が階調変換した画像の各画素について、当該画素を中心とした前記第1領域より小さい領域である第2領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第2照明光分布を算出する第2照明光分布算出部と、前記第1階調変換部が階調変換した画像の各画素について、前記第2照明光分布に基づいて、照明光強度に対して単調増加する係数である第2補正係数を算出する第2補正係数算出部と、前記第2補正係数に応じて、前記第1階調変換部が階調変換した画像の各画素の階調値を変換することで、前記第1階調変換部が階調変換した画像の階調変換を行う第2階調変換部とを備える。
 前記画像処理装置において、前記第1補正係数算出部は、前記入力画像の各画素について、前記第1照明光分布に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少し、照明光強度が所定の閾値未満であるときに照明光強度に対して単調増加する係数である第1補正係数を算出するように構成されていてもよい。
 前記画像処理装置において、前記第1補正係数算出部および前記第2補正係数算出部は、出力画像の階調の平均値が前記入力画像の階調の平均値よりも大きくなるように前記第1補正係数および前記第2補正係数をそれぞれ算出するように構成されていてもよい。
 前記画像処理装置において、前記第1照明光分布算出部は、入力画像の各画素について、当該画素を中心とした前記第2領域より大きい領域である複数の第1領域における明るさを算出することで、複数の前記第1照明光分布を算出し、前記第1補正係数算出部は、前記入力画像の各画素について、複数の前記第1照明光分布に基づいて前記第1補正係数を算出するように構成されていてもよい。また、前記第2照明光分布算出部は、前記第1階調変換部が階調変換した画像の各画素について、当該画素を中心とした前記第1領域より小さい領域である複数の第2領域における明るさを算出することで、複数の前記第2照明光分布を算出し、前記第2補正係数算出部は、前記第1階調変換部が階調変換した画像の各画素について、複数の前記第2照明光分布に基づいて前記第2補正係数を算出するように構成されていてもよい。
 前記画像処理装置において、前記第1補正係数算出部は、照明光強度が最大の画素についての前記第1補正係数が1となるように前記第1補正係数を算出するように構成されていてもよい。また、前記第2補正係数算出部は、照明光強度が最大の画素についての前記第2補正係数が1となるように前記第2補正係数を算出するように構成されていてもよい。
 前記画像処理装置は、複数の前記第1補正係数の算出方法と、複数の前記第2補正係数の算出方法とを記憶する算出方法記憶部と、前記算出方法記憶部が記憶する算出方法の中から、前記第1補正係数の算出方法と前記第2補正係数の算出方法とをそれぞれ1つ選択する算出方法選択部とを備えてもよい。この場合、前記第1補正係数算出部は、前記算出方法選択部が選択した前記第1補正係数の算出方法を用いて前記第1補正係数を算出するように構成されていてもよい。また、前記第2補正係数算出部は、前記算出方法選択部が選択した前記第2補正係数の算出方法を用いて前記第2補正係数を算出するように構成されていてもよい。
 前記画像処理装置において、前記算出方法選択部は、利用者の指示に従って、前記算出方法記憶部が記憶する算出方法の中から前記第1補正係数の算出方法と前記第2補正係数の算出方法とをそれぞれ1つ選択するように構成されていてもよい。
 前記画像処理装置は、前記入力画像または前記第1階調変換部が階調変換した画像を解析する画像解析部をさらに備えてもよい。この場合、前記算出方法選択部は、前記画像解析部の解析結果に従って、前記算出方法記憶部が記憶する算出方法の中から前記第1補正係数の算出方法と前記第2補正係数の算出方法とをそれぞれ1つ選択するように構成されていてもよい。
 また、本発明の他の一態様に係る画像表示装置は、上記画像処理装置と、前記第2階調変換部が階調変換した画像を表示する画像表示部とを備える。
 前記画像表示装置において、前記第1補正係数算出部および前記第2補正係数算出部は、前記画像表示部の明るさに応じて、前記第1補正係数および前記第2補正係数をそれぞれ算出するように構成されていてもよい。
 前記画像表示装置において、前記画像表示部は、光を放出する照明部を備えてもよい。この場合、前記第1補正係数算出部および前記第2補正係数算出部は、前記照明部が放出する光の光量について、前記照明部が放出可能な光の最大光量に対する前記光量の比率である出力係数の減少に伴って、前記第1補正係数と前記第2補正係数との積が増加する前記第1補正係数と前記第2補正係数をそれぞれ算出するように構成されていてもよい。
 前記画像表示装置において、前記第1補正係数算出部および前記第2補正係数算出部は、前記出力係数と前記第1補正係数と前記第2補正係数の積が1又は1よりも大きくなる前記第1補正係数および前記第2補正係数をそれぞれ算出するように構成されていてもよい。
 前記画像表示装置は、前記入力画像の階調値に係る統計量を算出する画像解析部と、前記画像解析部が算出した統計量に基づいて前記出力係数を算出する照明装置制御部とをさらに備えてもよい。
 前記画像表示装置において、前記第1補正係数算出部および前記第2補正係数算出部は、前記出力係数として、前記画像表示部に画像を表示する表示領域を分割した複数の部分領域のそれぞれについて算出した出力係数に基づいて前記第1補正係数および前記第2補正係数をそれぞれ算出するように構成されていてもよい。
 前記画像表示装置は、前記部分領域に対応した光源毎の輝度と階調値の関係を示す補正係数を予め画素毎に記憶しておき、前記補正係数に基づいて第2階調変換部が階調変換した階調値を補正する画像補正部をさらに備えてもよい。
 また、本発明の他の一態様に係る画像撮像装置は、上記画像処理装置と、前記入力画像を撮像する撮像素子とを備える。
 また、本発明の他の一態様に係る画像印刷装置は、上記画像処理装置と、前記第2階調変換部が階調変換した画像を印刷する画像印刷部とを備える。
 また、本発明の他の一態様に係る階調変換方法は、入力画像の各画素について、当該画素を中心とした所定の領域である第1領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第1照明光分布を算出する工程と、前記入力画像の各画素について、前記第1照明光分布に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少する係数である第1補正係数を算出する工程と、前記第1補正係数に応じて、前記入力画像の各画素の階調値を変換することで、前記入力画像の階調変換を行う工程と、前記階調変換した画像の各画素について、当該画素を中心とした前記第1領域より小さい領域である第2領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第2照明光分布を算出する工程と、前記階調変換した画像の各画素について、前記第2照明光分布に基づいて、照明光強度に対して単調増加する係数である第2補正係数を算出する工程と、前記第2補正係数に応じて、前記階調変換した画像の各画素の階調値を変換することで、前記階調変換した画像の階調変換を行う工程とを含む。
 また、本発明の他の一態様に係るプログラムは、入力画像の各画素について、当該画素を中心とした所定の領域である第1領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第1照明光分布を算出する工程と、前記入力画像の各画素について、前記第1照明光分布に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少する係数である第1補正係数を算出する工程と、前記第1補正係数に応じて、前記入力画像の各画素の階調値を変換することで、前記入力画像の階調変換を行う工程と、前記階調変換した画像の各画素について、当該画素を中心とした前記第1領域より小さい領域である第2領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第2照明光分布を算出する工程と、前記階調変換した画像の各画素について、前記第2照明光分布に基づいて、照明光強度に対して単調増加する係数である第2補正係数を算出する工程と、前記第2補正係数に応じて、前記階調変換した画像の各画素の階調値を変換することで、前記階調変換した画像の階調変換を行う工程とをコンピュータに実行させる。
 本発明の態様によれば、画像処理装置は、入力画像における暗部領域の視認性を向上するとともに、コントラスト感も向上させることができる。
本発明の第1の実施形態に係る画像処理装置の構成を示す概略ブロック図である。 第1の実施形態に係る画像処理装置の動作を示すフローチャートである。 第1照明光分布算出部が算出した照明光分布Y1の例を示す図である。 照明光分布と補正係数の関係の例を示す図である。 補正係数を使用して階調変換を行ったときの局所的な領域の画素値の状態の例を示す図である。 第1階調変換部が出力する画像の例を示す図である。 第2照明光分布算出部が算出した照明光分布Y2の例を示す図である。 照明光分布と補正係数との関係を示す図である。 補正係数を使用して階調変換を行ったときの局所的な領域の画素値の状態の例を示す図である。 第2階調変換部から出力される画像の例を示す図である。 第1の実施形態に係る画像処理装置を備える画像表示装置の構成を示す概略ブロック図である。 第1の実施形態に係る画像処理装置を備える画像撮像装置の構成を示す概略ブロック図である。 第1の実施形態に係る画像処理装置を備える画像印刷装置の構成を示す概略ブロック図である。 本発明の第2の実施形態に係る画像処理装置の構成を示す概略ブロック図である。 本発明の第3の実施形態に係る画像処理装置の構成を示す概略ブロック図である。 本発明の第4の実施形態に係る画像処理装置の構成を示す概略ブロック図である。 本発明の第5の実施形態に係る画像表示装置の構成を示す概略図である。 入力画像信号の階調値の一例を示す概念図である。 入力画像の輝度の一例を示す概念図である。 入力画像の輝度のその他の例を示す概念図である。 出力画像信号の階調値の一例を示す概念図である。 階調変換を行った場合の出力画像の輝度の一例を示す概念図である。 第5の実施形態に係る画像処理部の構成を示す概略図である。 本発明の第6の実施形態係る画像撮像装置の構成を示す概略図である。 本発明の第7の実施形態に係る照明装置の光源の配置例を示す図である。 第7の実施形態に係る画像表示部の画素の配置例を示す図である。 出力画像の輝度の一例を示す概念図である。 出力画像信号の階調値の一例を示す概念図である。 本発明の第8の実施形態に係る画像表示装置の構成を示す概略図である。 出力画像信号の階調値の他の例を示す概念図である。 照明装置の輝度の例を示す概念図である。 出力画像の輝度の他の例を示す概念図である。 補正された出力画像信号の階調値の一例を示す概念図である。 補正された出力画像の輝度の一例を示す概念図である。 第8の実施形態に係る光源と画素の配置の一例を示す概念図である。 第8の実施形態に係る光源と画素の配置のその他の例を示す概念図である。
(第1の実施形態)
 以下、図面を使って本発明の第1の実施形態について詳細に説明する。
 図1は、第1の実施形態に係る画像処理装置100の構成を示す概略ブロック図である。
 本実施形態に係る画像処理装置100は、第1照明光分布算出部101、第1補正係数算出部102、第1階調変換部103、第2照明光分布算出部104、第2補正係数算出部105、第2階調変換部106を備え、入力画像S1に対して画像処理を行い、画像処理によって得られた画像を出力する。
 画像処理装置100は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)によるソフトウエア処理、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)によるハードウェア処理によって画像処理を行う。
 第1照明光分布算出部101は、入力画像S1に基づいて、入力画像S1の各画素の照明光強度を示す照明光分布Y1(第1照明光分布)を算出する。
 第1補正係数算出部102は、照明光分布Y1に基づいて、入力画像S1の画素ごとに、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少し、照明光強度が所定の閾値未満であるときに照明光強度に対して単調増加する補正係数α(第1補正係数)を算出する。なお、本実施形態において「単調減少」とは、x<xである場合に、f(x)≧f(x)となる関係を言う(広義単調減少、単調非増加)。
 第1階調変換部103は、入力画像S1の各画素の階調値に補正係数αを乗じることで、入力画像S1の階調変換を行う。
 第2照明光分布算出部104は、第1階調変換部103が階調変換した画像に基づいて、当該画像の各画素の照明光強度を示す照明光分布Y2(第2照明光分布)を算出する。
 第2補正係数算出部105は、照明光分布Y2に基づいて、第1階調変換部103が階調変換した画像の画素ごとに、照明光強度に対して単調増加する補正係数β(第2補正係数)を算出する。なお、本実施形態において「単調増加」とは、x<xである場合に、f(x)≦f(x)となる関係を言う(広義単調増加、単調非減少)。
 第2階調変換部106は、第1階調変換部103が階調変換した画像の各画素の階調値に補正係数βを乗じることで、第1階調変換部103が階調変換した画像の階調変換を行う。このようにして、第2階調変換部106は、出力画像T1を生成する。
 次に、第1の実施形態に係る画像処理装置100の動作について説明する。
 図2は、第1の実施形態に係る画像処理装置100の動作を示すフローチャートである。
 まず、第1照明光分布算出部101は、画像処理装置100に入力された入力画像S1の照明光分布Y1を算出し、結果を第1補正係数算出部102に出力する(ステップS1)。具体的には、第1照明光分布算出部101は、照明光分布は画像内で連続的に変化するものという仮定に基づいて、各画素の明るさYを平均化することにより、照明光分布Y1を算出する。なお本実施形態において明るさYは、例えば、赤色R、緑色G、青色Bの各色の画素値から、Y=0.299×R+0.587×G+0.114×Bとして算出しても良い。また、計算を単純化するために、Y=R+G+B、Y=0.25×R+0.5×G+0.25×Bなどにより算出しても良い。さらに、赤色、緑色、青色の画素値の最大値(HSV色空間で示される明度)を明るさYとして使用しても良い。
 第1照明光分布算出部101による明るさYの平均化は、例えば、入力画像S1の各画素とその周辺画素の平均値、または重み付き平均などを用いる。なお、平均化する領域(第1領域)は、ユーザがディスプレイを注視したときに、当該領域内で明るさを比較できる程度の大きさであることが好ましいため、想定する視距離とディスプレイサイズによって適宜設定する。
 図3は、第1照明光分布算出部101が算出した照明光分布Y1の例を示す図である。
 図3(a)に示す画像が入力画像S1として画像処理装置100に入力されると、第1照明光分布算出部101は、図3(a)に示す入力画像S1の各画素を第1領域で平均化することで、照明光分布Y1を算出する。なお、算出した照明光分布Y1を画像に変換すると図3(b)のようになる。
 次に、第1補正係数算出部102は、第1照明光分布算出部101が算出した照明光分布Y1に基づいて、照明光強度が所定の閾値Yth以上であるときに照明光強度に対して単調減少し、照明光強度が所定の閾値Yth未満であるときに照明光強度に対して単調増加する補正係数αを算出する(ステップS2)。
 つまり、第1補正係数算出部102は、照明光分布Y1の照明光強度が大きい場合、すなわち照明光が十分に有り被写体が明るく撮影されている場合、被写体の視認性は十分であるため、補正係数αを小さい値にする。他方、第1補正係数算出部102は、照明光分布Y1の照明光強度が小さい場合、つまり、照明光が不十分で被写体が暗く撮影されている場合、被写体の視認性が低いため補正係数αを大きい値にする。これにより、暗部領域の階調値を大きくして視認性を向上させることができる。
 また、第1補正係数算出部102は、照明光分布Y1の照明光強度が所定の閾値Yth未満となる領域についての補正係数αを小さい値にする。例えば、Y1がYthより小さく、0に近い領域ではαを1よりも小さい値に設定しておく。入力画像S1のうち、照明光分布Y1の照明光強度が非常に低い領域では、撮影時に暗部ノイズが発生し、被写体の情報がノイズで判別できないおそれがある。そのため、補正係数αを小さくすることで、ノイズに対して小さな補正係数で階調変換をすることになり、ノイズが目立つことを低減することができる。
 このように、第1補正係数算出部102は、照明光分布Y1が示す各画素における照明光強度によって補正係数αを変化させることにより、局所的なコントラストを維持しつつ、暗部領域の視認性を向上するための補正係数αを算出する。これは、照明光分布Y1の照明光強度が明るさYを平均化して算出されることにより、隣接する2つの画素の照明光分布Y1の照明光強度は近い値となり、隣接する2つの画素についての補正係数αも近い値となるためである。つまり、隣接する2つの画素についての補正係数αが近い値となることで、変換前の2つの画素の階調値の関係は、変換後も似たような関係として保たれる。したがって、照明光分布Y1を使用して補正係数αを決定することで、明るい領域の階調を圧縮する等の画質劣化を必要とせず、局所的なコントラストを維持しながら階調変換を行うことができる。
 なお、第1補正係数算出部102は、照明光分布Y1の照明光強度が最大値となる画素についての補正係数αを1とする。ただし、第1補正係数算出部102は、最も明るい画素の階調値に補正係数αを乗じて得られる階調値が、他の画素の階調値に補正係数αを乗じて得られる階調値より大きくなるよう、補正係数αを設定する。
 図4は、照明光分布Y1と補正係数αの関係の例を示す図である。
 図4(a)に示すように、照明光分布Y1の照明光強度が閾値Ythのときに、補正係数αが最大値となる。そして、照明光分布Y1の照明光強度が閾値Yth未満である場合、補正係数αは、照明光強度に対して単調増加する。他方、照明光分布Y1の照明光強度が閾値Yth以上である場合、補正係数αは、照明光強度に対して単調減少する。
 なお、照明光分布Y1の照明光強度が大きくなる領域では補正係数αを特定値に飽和させても良い。つまり、照明光分布Y1の照明光強度が小さい場合には、照明光強度に対する補正係数αの傾きが0以上とし、照明光分布Y1の照明光強度が大きい場合には、照明光強度に対する補正係数αの傾きが0以下とすることで実現される。
 また、第1補正係数算出部102は、補正係数αを算出するために、図4(b)に示すような関数を用いても良い。図4(b)では照明光分布Y1の照明光強度に対して補正係数αの最大値αmaxを設定している。このように補正係数αの最大値を設定することで、過度の補正がなされてしまうことを防ぐことができる。照明光分布Y1の照明光強度と補正係数αとの関係は、適宜設定することができるが、このように最大値を設けることも適宜設定することができる。このように、照明光分布Y1の照明光強度と補正係数αとの関係を決定することで、ノイズの多い暗部階調を除く階調で各画素を明るくすることができる。ここで、照明光分布の階調値Yと補正係数αの関係をLUTとして設定しておくことで、補正係数αの算出が容易となるので、好適である。
 次に、第1階調変換部103は、入力画像S1に対して補正係数αを用いて階調変換処理を行う(ステップS3)。階調変換は、入力階調値P0と出力階調値P1の関係がP1=P0×αとなるように行う。また、赤色、緑色、青色などカラー画像である場合、第1階調変換部103は、それぞれの色に対して同一の補正係数αを乗算することで、各色の比、つまり色相を変化させずに変換することができる。このほかに、第1階調変換部103は、入力画像S1の各画素をHSV色空間に変換し、明度成分にのみ補正係数αを乗算するなど、各色空間の明るさ成分に対して階調変換をすることもできる。
 図5は、補正係数αを使用して階調変換を行ったときの局所的な領域の画素値の状態の例を示す図である。
 ここで、横軸は画像内の位置、縦軸は画素値を示す。図5(a)は、入力画像S1の画素値の状態であり、図5(b)は、第1階調変換部103が出力する画像の画素値の状態である。これらは局所的な領域であるため、照明光分布は略同一、つまり、補正係数も略同一となる。したがって、図5(a)から図5(b)への変化は、細かな画素値変動を維持したまま、領域の明るさが向上するような変化となる。
 図6は、第1階調変換部103が出力する画像の例を示す図である。
 図6に示す第1階調変換部103が出力する画像は、図2(a)に示す入力画像S1と比較して、局所的なコントラストを維持しながら、暗部領域の視認性を向上したものとなっている。なお、画像全体の印象としては、全体が明るくなるような画像処理となる。このように、明るさを平均化して算出される照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少する係数である補正係数αを用いて階調変換を行うことにより、局所的なコントラストを維持しつつ暗部領域の視認性を向上することができる。
 次に、第2照明光分布算出部104は、第1階調変化部で処理された画像に基づいて照明光分布Y2を算出する(ステップS4)。なお、第2照明光分布算出部104は、第2照明光分布算出部104と同様に、第1階調変化部で処理された画像の各画素とその周辺画素の平均値、または重み付け平均などにより明るさを平均化する。ここで、第2照明光分布算出部104が平均化に用いる領域(第2領域)は、第1照明光分布算出部101の平均化に用いた第1領域に比べ小さいものとする。これは、第2階調変換部106による階調変換により、画像の局所コントラストを強調するためである。
 図7は、第2照明光分布算出部104が算出した照明光分布Y2の例を示す図である。
 第1階調変換部103が、図6に示す画像を出力すると、第2照明光分布算出部104は、図6に示す画像の各画素を第2領域で平均化することで、照明光分布Y2を算出する。なお、算出した照明光分布Y2を画像に変換すると図7のようになる。このように、照明光分布Y2は、図3(b)に示す照明光分布Y1に比べ、平均化する領域が小さいため、ぼかし量が小さくなる。つまり、照明光分布Y2に対する注目画素の影響が大きくなることになる。
 また、第1照明光分布算出部101で使用した明るさの算出方法と、第2照明光分布算出部104で使用する明るさの算出方法は同じにすると良い。これは、照明光分布を使用して階調変換を行うときに、色ではなく明るさによって変換させることで、被写体の反射率(色)の影響を低減するためで、明るさの算出方法を共通化することで変換による画素の色の違いによる影響を低減することができるため、好適である。
 次に、第2補正係数算出部105は、第2照明光分布算出部104が算出した照明光分布Y2に基づいて、照明光強度に対して単調増加する補正係数βを算出する(ステップS5)。上述したように、第2照明光分布算出部104による照明光分布Y2の算出に用いる第2領域は、第1照明光分布算出部101による照明光分布Y1の算出に用いる第1領域より小さい。したがって、第2階調変換部106は、第1階調変換部103で処理の局所コントラストを維持して変化した領域より狭い領域を考慮した変換をすることとなる。
 図8は、照明光分布Y2と補正係数βとの関係を示す図である。
 第2補正係数算出部105は、照明光分布Y2の照明光強度が最大値となる画素についての補正係数βを1とする。ただし、第2補正係数算出部105は、最も明るい画素の階調値に補正係数βを乗じて得られる階調値が、他の画素の階調値に補正係数βを乗じて得られる階調値より大きくなるよう、補正係数βを設定する。なお、照明光分布の値が大きい領域、および、照明光分布の値が小さい領域は、補正係数が飽和するようにしても良い。
 次に、第2階調変換部106は、第2照明光分布算出部104が算出した照明光分布Y2を用いて、第1階調変換部103で階調変換が行われた画像に対して階調変換を行う(ステップS6)。階調変換は、入力階調値P1と出力階調値P2の関係がP2=P1×βとなるように行う。また、赤色、緑色、青色などカラー画像である場合、第2階調変換部106は、それぞれの色に対して同一の補正係数βを乗算することで、各色の比、つまり色相を変化させずに変換することができる。このほかに、第2階調変換部106は、入力画像の各画素をHSV色空間に変換し、明度成分にのみ補正係数βを乗算するなど、各色空間の明るさ成分に対して階調変換をすることもできる。
 なお、図8に示すように、補正係数βは1以下の値であるため、補正係数βの乗算は、入力画像の画素値を小さくするような階調変換となる。つまり、第2階調変換部106は、補正係数βの乗算により、第1階調変換部103で維持した局所コントラストを強調する。例えば、考慮する注目画素の周辺画素の領域が最も小さくなるのは、照明光分布Y2を注目画素の明るさとし、参照する周辺画素の領域を0として平均化を行わないときである。このとき、各画素間の補正係数は注目画素の明るさによってのみ決定され、隣接する画素において互いに影響を受けない。したがって、隣接する画素間の明るさが大きく異なれば、補正係数βも大きく異なり、画素間の明るさが近ければ、補正係数βも近くなる。これにより、局所的なコントラストが強調されることになる。
 図9は、補正係数βを使用して階調変換を行ったときの局所的な領域の画素値の状態の例を示す図である。
 ここで、横軸は画像内の位置、縦軸は画素値を示す。図9(a)は、第1階調変換部103が出力する画像の画素値の状態であり、図9(b)は、第2階調変換部106が出力する画像の画素値の状態である。図9に示すように、照明光分布Y2を算出するときに参照する第2領域が第1領域より小さいため、各画素の変動が大きくなり、局所的なコントラストが強調される。
 また、本実施形態に係る第2補正係数算出部105は、階調値が小さくなるような補正係数βを設定しているが、第1補正係数算出部102で入力画像S1が明るくなるように補正係数αを設定しているため、画像全体が極端に暗くなるようなことはない。
 つまり、第1補正係数算出部102及び第2補正係数算出部105は、補正係数αと補正係数βの互いの大きさを考慮して補正係数α及び補正係数βを設定する必要がある。例えば、照明光分布の暗部領域を除いて補正係数αと補正係数βの積が1以上になるように、補正係数αと補正係数βを設定する方法が挙げられる。そのほかにも、照明光分布の取りうる値の中心より大きい値の補正係数αと補正係数βの積が1以上になるように、補正係数αと補正係数βを設定する方法が挙げられる。
 図10は、第2階調変換部106から出力される画像の例を示す図である。
 図10に示す第2階調変換部106が出力する画像は、図6に示す第1階調変換部103が出力する画像と比較して、局所的なコントラストが強調された画像となっている。また、図10に示す第2階調変換部106が出力する画像は、図2(a)に示す入力画像S1と比べて、暗部領域の視認性が向上するとともに、局所的なコントラストが向上した画像となっている。
 このように、第1階調変換部103の処理により画像全体のコントラストが低下した画像に対して、第2階調変換部106の処理により局所的なコントラストを向上することで、画像全体のコントラストを向上させることができる。これにより、画像処理装置100は、暗部領域の視認性を向上し、かつコントラスト感のある画像を生成することができる。
 以上で説明したように、本実施形態の画像処理装置100によれば、照明光分布を利用した階調変換をすることで暗部領域の視認性を向上させるとともに、局所的なコントラストを向上させ、好適な画像を生成することができる。
 以下、第1の実施形態に係る画像処理装置100の用途について説明する。
 図11は、第1の実施形態に係る画像処理装置100を備える画像表示装置110の構成を示す概略ブロック図である。
 画像表示装置110は、第1の実施形態に係る画像処理装置100に加えて、画像表示部111を備える。
 画像表示部111は、画像処理装置100が生成した画像を表示する。画像表示部111は、液晶ディスプレイや有機ELディスプレイなど各種表示デバイスにより構成することができる。これにより、暗部領域の視認性を向上するとともに、局所的なコントラストを向上した視認性の高い高画質な画像を表示することが可能な画像表示装置110を実現することができる。ここで、γ補正や色変換や輪郭強調などの一般的な画像処理は、画像処理装置100に画像が入力される前、または、画像処理装置100から画像が出力された後に適宜実行することができる。
 図12は、第1の実施形態に係る画像処理装置100を備える画像撮像装置120の構成を示す概略ブロック図である。
 画像撮像装置120は、第1の実施形態に係る画像処理装置100に加えて、画像表示部111、撮像素子121、画像記憶部122を備える。
 撮像素子121は、CCD(Charge Coupled Device)などの撮像デバイスにより構成され、撮像した画像を入力画像S1として画像処理装置100に出力する。このとき入力画像S1は、デモザイクなどの一般的な画像処理を適宜行ってから画像処理装置100に入力される。
 画像処理装置100が生成した画像は、画像表示部111や画像記憶部122に伝達して、画像を表示したり画像を記憶したりする。画像記憶部122はフラッシュメモリやハードディスクなど各種記憶デバイスにより構成することができる。これにより、暗部領域の視認性を向上するとともに、局所的なコントラストを向上した視認性の高い高画質な画像を撮影することが可能な画像撮影装置を実現することができる。ここで、γ補正や色変換や輪郭強調などの一般的な画像処理は、画像処理装置100から画像が出力された後に適宜実行することができる。
 図13は、第1の実施形態に係る画像処理装置100を備える画像印刷装置130の構成を示す概略ブロック図である。
 画像印刷装置130は、第1の実施形態に係る画像処理装置100に加えて、画像印刷部131を備える。
 画像印刷部131は、画像処理装置100が生成した画像を印刷する。画像印刷部131は、インクジェットプリンタやレーザープリンタなど各種印刷デバイスにより構成することができる。これにより、暗部領域の視認性を向上するとともに、局所的なコントラストを向上した視認性の高い高画質な画像を表示することが可能な画像印刷装置130を実現することができる。ここで、γ補正や色変換や輪郭強調などの一般的な画像処理は、画像処理装置100に画像が入力される前、または、画像処理装置100から画像が出力された後に適宜実行することができる。
(第2の実施形態)
 図14は、第2の実施形態に係る画像処理装置200の構成を示す概略ブロック図である。
 第1の実施形態では、第1照明光分布算出部101及び第2照明光分布算出部104が、それぞれ照明光分布を1つ算出する場合について説明した。第2の実施形態に係る第1照明光分布算出部201及び第2照明光分布算出部204は、大きさが異なる複数の領域を用いて、それぞれ複数の照明光分布を算出する。
 第1照明光分布算出部201及び第2照明光分布算出部204は、それぞれ2種類の照明光分布を算出する。このとき、第1照明光分布算出部201が平均化に用いる複数の第1領域のうち最も小さいものが、第2照明光分布算出部204が平均化に用いる複数の第2領域のうち最も大きいものより大きくなるよう、第1領域及び第2領域を決定する。
 第1補正係数算出部202及び第2補正係数算出部205は、各照明光分布から算出される補正係数の積または和を、補正係数α及び補正係数βとする。
 これにより、第1階調変換部203は、局所的なコントラストを維持する領域を調整することができる。つまり、第1階調変換部203は、より小さい領域のコントラストを維持する変換が可能となる。これは、小さい領域で照明光分布を算出することで、暗部領域が小さいときに大きな補正係数で変換ができるようになるためであり、暗部領域が小さいときの視認性向上に好適である。
 また、第2階調変換部206は、局所的なコントラストを強調する周波数を調整することができる。つまり、第2階調変換部206は、隣接する画素間の変動は少しのコントラスト強調として、小領域ごとのコントラストをより強調することができる。これは、局所的なコントラストを強調するとともに、ノイズを過度に強調することを低減することができるためノイズの多い画像に好適である。このようにして、第2階調変換部206は、出力画像T2を生成する。
 なお、本実施形態では、第1照明光分布算出部201と第2照明光分布算出部204とが、それぞれ複数の照明光分布を算出する場合について説明したが、これに限られない。例えば、第1照明光分布算出部201か第2照明光分布算出部204の何れか一方のみが、複数の照明光分布を算出するようにしても良い。
(第3の実施形態)
 図15は、第3の実施形態に係る画像処理装置300の構成を示す概略ブロック図である。
 第1の実施形態では、第1補正係数算出部102及び第2補正係数算出部105が、予め定められた1つの算出方法に基づいて補正係数α及び補正係数βを算出する場合について説明した。第3の実施形態に係る第1補正係数算出部302及び第2補正係数算出部305は、複数の算出方法の中から適切な算出方法を特定し、当該算出方法を用いて、補正係数α及び補正係数βを算出する。
 画像処理装置300は、第1の実施形態に係る画像処理装置100と同様の構成に加え、画像解析部307、算出方法記憶部308、算出方法選択部309を備える。
 画像解析部307は、入力画像S1と第1階調変換部303が階調変換した画像とを解析する。画像解析部307は、例えば平均輝度、暗部領域の画素数、輝度ヒストグラムなどを解析する。
 算出方法記憶部308は、第1補正係数算出部302による補正係数αの算出に用いるLUT(算出方法)及び第2補正係数算出部305による補正係数βの算出に用いるLUTを複数記憶する。なお、当該複数のLUTは、補正係数の大小、つまり、どの程度明るくするかを異ならせたものである。
 算出方法選択部309は、画像解析部307の解析結果に基づいて、補正係数αの算出に用いるLUT及び補正係数βの算出に用いるLUTを特定する。例えば算出方法選択部309は、入力画像S1の平均輝度が低い、暗部領域の画素数が多い、輝度ヒストグラムが暗部領域側に偏っている、などの場合には暗部領域をより明るくする補正係数αを算出するためのLUTを選択する。他方、算出方法選択部309は、入力画像S1の平均輝度が高い、暗部領域の画素数が少ない、輝度ヒストグラムが明部領域側に偏っている、などの場合には暗部領域を少しだけ明るくする補正係数αを算出するためのLUTを選択する。
 また、例えば算出方法選択部309は、第1階調変換部303が階調変換した画像のコントラストが低い、高周波成分が少ない、輝度ヒストグラムに偏りがある、などの場合には、局所コントラストをより強調する補正係数βを算出するためのLUTを選択する。他方、算出方法選択部309は、第1階調変換部103が階調変換した画像のコントラストが高い、高周波成分が多い、輝度ヒストグラムに偏りが無い、などの場合には、局所コントラストを少しだけ強調する補正係数βを算出するためのLUTを選択する。
 第2階調変換部306は、第1の実施形態の第2階調変換部106と同様の処理を行って、出力画像T3を生成する。
 このように、画像解析を行った結果により、照明光分布算出時の参照周辺画素の領域を変化させると、入力画像S1により適したLUTが選択できるようになり好適である。
 なお、本実施形態では、算出方法記憶部308が補正係数の算出方法としてLUTを記憶する場合について説明したが、これに限られず、例えば照明光強度を入力として補正係数を出力とする関数など、その他の算出方法を記憶していても良い。
(第4の実施形態)
 図16は、第4の実施形態に係る画像処理装置400の構成を示す概略ブロック図である。
 第3の実施形態では、画像解析部307の解析結果に基づいて補正係数α及び補正係数βを算出するためのLUTを選択する場合について説明した。第4の実施形態に係る画像処理装置400は、利用者の指示に従って、補正係数α及び補正係数βを算出するためのLUTを選択する。
 画像処理装置400は、第3の実施形態に係る画像処理装置300の画像解析部307に代えて、入力部407を備える。
 入力部407は、利用者の指示の入力を受け付ける。
 そして、算出方法選択部409は、入力部が受け付けた利用者の指示に従って、算出方法記憶部408が記憶する補正係数α及び補正係数βの算出方法を選択する。
 第2階調変換部406は、第1の実施形態の第2階調変換部106と同様の処理を行って、出力画像T4を生成する。
 なお、本実施形態では、算出方法記憶部408が補正係数の算出方法としてLUTを記憶する場合について説明したが、これに限られず、例えば照明光強度を入力として補正係数を出力とする関数など、その他の算出方法を記憶していても良い。
(第5の実施形態)
 以下、図面を参照しながら本発明の第5の実施形態について説明する。
 図17は、本実施形態に係る画像表示装置140の構成を示す概略図である。
 画像表示装置140は、画像処理装置500及び画像表示部141を含んで構成される。
 画像処理装置500は、照明装置制御部501、画像処理部502及び画像解析部503を含んで構成される。画像処理部502は、第1の実施形態の画像処理装置100に対応する。
 照明装置制御部501は、画像解析部503から入力された画像解析結果R1に基づいて画像表示部141の照明装置(図示せず)の光量を定め、定めた光量が得られるように照明装置を制御する照明装置制御信号C1を生成する。照明装置制御信号C1は、例えば、出力係数γを示す信号である。出力係数γは、照明装置が光を放射する光量の当該照明装置が放射することができる最大光量に対する比率である。照明装置制御部501は、生成した照明装置制御信号C1を画像処理部502及び画像表示部141に出力する。
 画像処理部502には、照明装置制御部501から照明装置制御信号C1が入力され、画像解析部503から画像解析結果R1が入力される。画像処理部502は、照明装置制御信号C1と画像解析結果R1に基づいて、画像処理装置500に入力された入力画像信号S2に対して階調変換を行って出力画像信号T5を生成する。入力画像信号S2は、第1~第4の実施形態の入力画像S1に対応する。入力画像信号S2は、予め定めた複数の画素からなる画像を示す信号であって、画素毎の階調値を示す信号である。階調値は、その値が大きいほど明るく表示し、小さいほど暗く表示することを示す値である。ここで、画像処理部502は、照明装置が放射する光量が予め定めた基準値(例えば、最大値)とは異なっても、画像表示部141に表示される画像の視認性やコントラストが低下しないように階調変換を行う。画像処理部502は、生成した出力画像信号T5を画像表示部141に出力する。
 画像処理部502は、画像表示装置140に備えられたCPU(Central Processing Unit)、GPU(Graphics Processing Unit)等のハードウェアがプログラムを実行することで、実現されるようにしてもよい。また、画像処理部502は、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等のハードウェアで構成されていてもよい。
 画像表示部141は、画像処理部502から入力された出力画像信号T5が示す画像を表示する。画像表示部141は、例えば、液晶ディスプレイ(Liquid Crystal Display)である。画像表示部141は、上述の照明装置をバックライト等の光源として備え、この照明装置が放射した光を変調した画像光を画像として表示する。照明装置は、例えば、冷陰極蛍光管(CCFL:Cold Cathode Fluorescent Lamp)、又は発光ダイオード(LED:Liquid Emitting Diode)を備えていてもよい。LEDとして、白色光を放射する白色LEDを備えていてもよいし、それぞれ異なる色の光を放射するLED、例えば、赤、緑、青の各色の光をそれぞれ放射するLEDの組み合わせを備えていてもよい。
 照明装置が設置される位置は、画像表示部141において画像を表示する画像表示面の背面であってもよいし、画像表示面の外縁の一部、例えば、端部であってもよい。
 照明装置は、照明装置制御部501から入力された照明装置制御信号C1に基づいて放射する光量を制御する。
 画像解析部503は、画像処理装置500に入力された入力画像信号S2の階調値の統計量を算出する。これにより入力画像を解析する。画像解析部503が算出する統計量は、例えば、平均輝度、分散、暗部領域の画素数、輝度ヒストグラム等がある。平均輝度は、画素間の輝度の平均を与える階調値である。暗部領域とは、階調値が予め定めた閾値(例えば、最大値の1/4)よりも小さい画素からなる領域である。輝度ヒストグラムとは、予め定めた階調値の範囲それぞれに属する画素数のセットである。画像解析部503は、算出した統計量を画像解析結果R1として照明装置制御部501及び画像処理部502に出力する。
 なお、本実施形態では、照明装置光量選択部(図示せず)を備えてもよい。照明装置光量選択部は、予め複数の光量の候補値が設定されており、利用者による操作入力を受け付けて設定された候補値のうち1つを選択する。照明装置光量選択部は、選択した候補値の光量が得られるように照明装置を制御する照明装置制御信号C1を生成し、生成した照明装置制御信号C1を画像処理部502及び画像表示部141に出力する。
 また、画像解析部503が、照明装置制御部501又は画像処理部502のうちの何れか一方もしくは両方を備える構成であってもよい。
(階調変換の概念)
 次に、画像処理部502が行う階調変換の概念について説明する。
 画像処理部502は、階調変換において入力画像信号S2の階調値の平均値を増加させ、かつ、局所的コントラストを強調する。局所的コントラストとは、ある画素を基準として予め定めた範囲内にある輝度の空間的な変動である。また、局所的コントラストとは、ある画素を基準として予め定めた範囲内にある画素毎の階調値の空間的変動を指すこともある。これにより、照明装置の光量を予め定めた基準値よりも少なくした場合でも、画像表示部141が表示する画像の視認性とコントラストの低下を緩和することができる。
 図18は、入力画像信号S2の階調値の一例を示す概念図である。
 図18は、横軸に一つの水平方向のライン上の画素の位置を示し、縦軸に階調値を示す。原点Oは、画像表示部141の画像表示面上の1点、例えば、左上端である。図2に示される階調値1801は、入力画像信号S2の階調値を示す。階調値1801は、原点Oから離れた位置にある画素ほど階調値が大きくなる傾向を示す。
 図19は、入力画像の輝度の一例を示す概念図である。
 図19は、横軸に一つの水平方向のライン上の画素の位置を示し、縦軸に輝度を示す。輝度は、画像表示部141が各画素から放射される光の明るさの度合いであり、画素毎の信号値(階調値)と照明装置の光量に依存する。図18、図19において、画素毎の明るさの度合いを示す「輝度」と、信号値を示す「階調値」とは互いに区別されて示されている。
 図19に示される輝度1901は、画素毎の信号値が図18に示される階調値1801であって、照明装置の光量が最大値である場合の輝度である。輝度1901も、原点から離れた位置にある画素ほど輝度が大きくなる傾向を示す。
 図20は、入力画像の輝度のその他の例を示す概念図である。
 図20は、横軸に一つの水平方向のライン上の画素の位置を示し、縦軸に輝度を示す。図20に実線で示される輝度2001は、画素毎の信号値が図18に示される値であって、照明装置の光量が最大値の3/4である場合の輝度である。比較のため、図20には輝度1901(図19参照)を破線で示す。
 輝度2001の最大値は、輝度1901(図19参照)の最大値(MAX)よりも低い。また、輝度2001の平均値や局所的変動(コントラスト)も、それぞれ輝度1901の平均値や局所的変動よりも小さくなる。
 このように、単純に照明装置の光量を減少させると、輝度やその局所的変動が小さくなり、画像の視認性やコントラストが低下してしまう。
 これに対して、画像処理部502は、入力画像信号S2について階調変換を行って出力画像信号T5を生成する。
 図21は、出力画像信号T5の階調値の一例を示す概念図である。
 図21は、横軸に一つの水平方向のライン上の画素の位置を示し、縦軸に階調値を示す。図21の実線で示される階調値2101は、階調変換を行った場合の出力画像信号T5の階調値を示す。比較のため図21には階調値1801(図18参照)を破線で示す。図21は、階調変換において低階調領域における階調値の平均値を大きくし、かつ、低階調領域から高階調領域まで階調値全体について局所的コントラストが強調されていることを示す。低階調領域とは、予め定めた階調値(例えば、階調値の最大値の半分の値)よりも低い階調値をとる画素の領域である。高階調領域とは、予め定めた階調値よりも高い階調値をとる画素の領域である。
 図22は、階調変換を行った場合の出力画像の輝度の一例を示す概念図である。
 図22は、横軸に一つの水平方向のライン上の画素の位置を示し、縦軸に輝度を示す。図22に示される輝度2201は、画素毎の信号値が図21に示される階調値2101であって、照明装置の光量が最大値の3/4である場合の画像表示部141で表示される画像の輝度である。
 輝度1901(図19参照)と比較すると、輝度2201は低階調領域において平均輝度が高くなる。このことは、暗部領域の視認性が向上することを示す。また、照明装置の光量を最大値よりも減少させたにもかかわらず、輝度2201では低階調領域から高階調領域までの全体にわたり、局所的コントラストが高くなる。そのため、輝度2201の最大値は輝度1901の最大値よりも小さくなるが、人間の視覚において明るく知覚される効果が得られる。これは、人間の視角特性には、注視している注視点における輝度と注視点の周辺における輝度との差、つまりコントラストを明るさとして知覚するという特性があることに起因する。本実施形態では。この視覚特性を利用することで、照明装置の光量を減少させることにより輝度の最大値を低下させても、知覚される明るさが低下しないという効果が得られる。
(画像処理部の構成)
 次に、本実施形態に係る画像処理部502の構成について説明する。
 図23は、本実施形態に係る画像処理部502の構成を示す概略図である。
 画像処理部502は、第1照明光分布算出部5021、第1補正係数算出部5022、第1階調変換部5023、第2照明光分布算出部5024、第2補正係数算出部5025及び第2階調変換部5026を含んで構成される。ここで、本実施形態の画像処理部502は、第1の実施形態の画像処理装置100に対応する。画像処理部502の内部構成は、画像処理装置100の内部構成と同様のため、同一の内部構成については説明を省略する。
 第1照明光分布算出部5021は、画像処理部502に入力された入力画像信号S2に基づいて画素毎に照明光分布Y1(第1照明光分布)を算出する。第1照明光分布算出部5021は、算出した照明光分布Y1を第1補正係数算出部5022に出力する。
 第1補正係数算出部5022は、第1照明光分布算出部5021から入力された照明光分布Y1に基づいて、画素毎に補正係数αを算出する。第1補正係数算出部5022は、算出した補正係数αを第1階調変換部5023及び第2補正係数算出部5025に出力する。
 第1階調変換部5023は、画像処理部502に入力された入力画像信号S2に対して第1補正係数算出部5022から入力された補正係数αに基づいて階調変換処理を行って第1階調変換画像信号を生成する。第1階調変換部5023は、階調変換処理を行って生成した第1階調変換画像信号を第2照明光分布算出部5024及び第2階調変換部5026に出力する。
 第2照明光分布算出部5024は、第1階調変換部5023から入力された第1階調変換画像信号に基づいて画素毎に照明光分布Y2(第2照明光分布)を算出する。第2照明光分布算出部5024は、算出した照明光分布Y2を第2補正係数算出部5025に出力する。
 第2補正係数算出部5025は、第2照明光分布算出部5024から入力された照明光分布Y2に基づいて画素毎に補正係数βを算出する。
 第1補正係数算出部5022と第2補正係数算出部5025は、さらに、照明装置制御部501から入力された照明装置制御信号C1が示す出力係数γを考慮して補正係数αと補正係数βをそれぞれ定める。
 ここで、第1補正係数算出部5022と第2補正係数算出部5025は、出力係数γの減少に伴い、補正係数αと補正係数βとの積が増加するように補正係数αと補正係数βをそれぞれ定める。例えば、第1補正係数算出部5022と第2補正係数算出部5025は、照明光分布Y1と照明光分布Y2の階調値が予め定めた値よりも低い画素からなる領域である暗部領域を除く画素の領域において、出力係数γ、補正係数α及び補正係数βの積が1以上となるように補正係数αと補正係数βをそれぞれ定めるようにしてもよい。
 また、第1補正係数算出部5022と第2補正係数算出部5025は、照明光分布Y1、照明光分布Y2の階調値がそれぞれの中心値よりも低い画素の領域において、出力係数γ、補正係数α及び補正係数βの積が1以上となるように補正係数αと補正係数βをそれぞれ定めるようにしてもよい。中心値とは、照明光分布Y1と照明光分布Y2の階調値が取りうるそれぞれの最大値と最小値との中心の値である。
 このようにして、第1補正係数算出部5022と第2補正係数算出部5025は、出力係数γと、補正係数αならびに補正係数βを連動して定める。これにより、出力画像の輝度が高くなるか、又は出力画像の輝度の低下が抑制されるので画像全体が極端に暗くなり視認性が失われることが回避される。
 なお、第1補正係数算出部5022、第2補正係数算出部5025は、照明装置の光量が基準値よりも小さい値に設定された場合の平均輝度が、照明装置の光量が基準値に設定された場合の平均輝度と同一か、それよりも高くなるように補正係数α、βの値をそれぞれ定めてもよい。
 第2補正係数算出部5025は、算出した補正係数βを第2階調変換部5026に出力する。
 第2階調変換部5026は、第1階調変換部5023から入力された第1階調変換画像信号について、第2補正係数算出部5025から入力された補正係数βを用いて階調変換処理を行って第2階調変換画像信号を生成する。第2階調変換部5026は、階調変換処理を行って生成した第2階調変換画像信号を出力画像信号T5として画像表示部141に出力する。
 第1の実施形態で説明したように、第2照明光分布算出部5024における第2領域は、第1照明光分布算出部5021における第1領域に比べて小さい。そのため、第2階調変換部5026では、第1階調変換部5023が局所コントラストを維持して階調変換を行った領域よりも狭い領域における階調値を考慮して階調変換が行われる。これによって出力画像における局所コントラストが強調される。例えば、第2照明光分布算出部5024が平均化する画素の領域(第2領域)が最も小さい場合には、注目画素から予め定めた領域内の周辺画素がなく、平均化が行われない場合である。このとき、各画素の補正係数βは、注目画素の明るさによってのみ決定され、周辺画素(隣接画素)の明るさの影響を受けない。従って、隣接する画素間の明るさの差が大きく異なれば補正係数βも大きく異なり、隣接する画素間の明るさの差が近似していれば補正係数βも近似する。第1領域よりも第2領域が小さく、補正係数βが照明光分布Y2の階調値に応じて単調増加するため、局所コントラストが強調される。
 なお、第1補正係数算出部5022と第2補正係数算出部5025は、画像解析部503から入力された画像解析結果R1が示す平均輝度又は分散が小さいほど補正係数αと補正係数βの差が大きくなるように補正係数αと補正係数βをそれぞれ定めてもよい。これにより、出力画像においてコントラストの強調度合いが高くなる。そのため、利用者に知覚される明るさが明るくなる。例えば、補正係数α、βがそれぞれ1.5、0.8である場合、補正係数α、βがそれぞれ2.0、0.6である場合、補正係数αとβの積は、ともに1.2である。両者間で階調変換を行って得られた出力画像信号T5の信号値の平均値は、ほぼ同等にある。これに対して、前者よりも後者のほうが局所的なコントラストの強調度合いが高くなるため視認性が向上する。
(補正係数α、βの算出例)
 次に、第1補正係数算出部5022、第2補正係数算出部5025において、それぞれ補正係数α、βを算出するための構成例について説明する。
 第1補正係数算出部5022には、補正係数αの算出に用いるLUT(Look Up Table、ルックアップテーブル)が予め記憶されている。LUTとは、入力値と出力値が対応付けられた情報である。その用途は、信号値の変換に限られない。第1補正係数算出部5022に記憶されているLUTには、入力値として照明光分布Y1の階調値と出力値として補正係数αが対応付けられている。従って、第1補正係数算出部5022は、入力された照明光分布Y1の階調値に対応する補正係数αをLUTから読み出し、読み出した補正係数αを第1階調変換部5023に出力するようにしてもよい。
 第1補正係数算出部5022には、複数のLUTが記憶されていてもよい。それぞれのLUTでは、入力値と対応づけられた出力値として補正係数αの大きさがそれぞれ異なる。つまり、LUT間において、階調変換によって出力画素の明るさをどの程度変化させるかが異なる。
 ここで、第1補正係数算出部5022は、画像解析部503から入力された画像解析結果R1である統計量又は照明装置制御部501から入力された照明装置制御信号C1が示す出力係数γに基づいて、複数のLUTのうちいずれかを選択する。例えば、平均輝度が予め定めた値よりも低い場合、暗部領域の画素数が予め定めた数よりも多い場合、輝度ヒストグラムにおいて輝度分布が予め定めた値よりも低い領域に偏っている場合、又は出力係数γが予め定めた値よりも小さい場合等では、第1補正係数算出部5022は、暗部領域をより明るくするLUTを選択する。暗部領域をより明るくするLUTとは、例えば、照明光分布Y1の階調値が予め定めた値よりも小さい値(暗部領域)と、1よりも大きい値であって予め定めた値よりも大きい補正係数αとが対応付けられているLUTである。
 平均輝度が予め定めた値よりも高い場合、暗部領域の画素数が予め定めた値よりも少ない場合、輝度ヒストグラムにおいて輝度分布が予め定めた値よりも高い領域に偏っている場合、又は出力係数γが基準値より小さく予め定めた値よりも大きい場合等では、第1補正係数算出部5022は、暗部領域を少しだけ明るくするLUTを選択する。暗部領域を少しだけ明るくするLUTとは、例えば、照明光分布Y1の階調値が予め定めた値よりも小さい値(暗部領域)と、1よりも大きく、かつ予め定めた値よりも小さい補正係数αとが対応付けられているLUTである。また、この補正係数αは、同一の照明光分布Y1の階調値においては暗部領域をより明るくするLUTに係る補正係数αよりも小さい値である。
 第2補正係数算出部5025は、画像解析部503から入力された画像解析結果R1、照明装置制御部501から入力された照明装置制御信号C1又は第1補正係数算出部5022が選択したLUTに基づいて、複数のLUTのうちいずれかを選択する。第1補正係数算出部5022において選択したLUTを参照するのは、上述のように補正係数βを定める際に出力係数γの他、補正係数αを参照するためである。
 例えば、第1階調変換画像におけるコントラストが低い場合、高周波成分が少ない場合、輝度ヒストグラムに偏りがある場合、又は入力画像に高階調領域が多い場合等では、第2補正係数算出部5025は、局所コントラストをより強調するLUTを選択する。ここで、画像解析部503は、入力画像信号S2の代わりに、第1階調変換部5023が生成した第1階調変換画像信号について統計量を算出するようにしてもよい。コントラストが低いか否かは、例えば、予め定めた範囲における階調値の最大値と最小値の差が予め定めた値よりも小さいか否かに基づいて判断される。高周波成分が少ないか否かは、予め定めた空間周波数よりも高い高域成分におけるパワー値の、その空間周波数よりも低い低域成分におけるパワー値に対する比(パワー比)が予め定めた値よりも少ないか否かに基づいて判断される。輝度ヒストグラムに偏りがあるか否かは、一定間隔で分割された輝度の範囲毎の度数における最大値の最小値に対する比が予め定めた値よりも大きいか否かに基づいて判断される。高階調領域が多いか否かは、階調値(信号値)が予め定めた値よりも大きい画素の割合が、予め定めた割合よりも大きいか否かに基づいて判断される。
 局所コントラストをより強調するLUTとは、例えば、高階調領域の階調値の増加に伴う補正係数βの増加率がより大きいLUTである。上述のように、入力画像に高階調領域が多い場合に、局所コントラストをより強調するLUTを選択するのは、照明装置の光量を基準値より小さくすることで輝度が低下しても視認性を損なわないようにするためである。
 また、コントラストが高い場合、高周波成分が多い場合、又は輝度ヒストグラムに偏りが無い場合等では、第2補正係数算出部5025は、局所コントラストを少しだけ強調するLUTを選択する。局所コントラストを少しだけ強調するLUTとは、例えば、高階調領域の階調値の増加に伴う補正係数βの増加率がより小さいLUTである。このLUTにおける高階調領域の階調値の変化に伴う補正係数βの増加率は、上述の局所コントラストを強調するLUTにおける高階調領域の階調値の増加に伴う補正係数βの増加率よりも小さい。
 従って、第1補正係数算出部5022、第2補正係数算出部5025は、入力画像信号S2や第1階調変換画像信号を解析した階調値の統計値に基づいて、それぞれ好適な階調変換を実現するLUTを選択することができる。
 なお、上述のLUTは、第1補正係数算出部5022や第2補正係数算出部5025とは別途、画像表示装置140が備える算出方法記憶部(図示せず)に記憶されていてもよい。その場合には、第1補正係数算出部5022は、統計量や出力係数γに応じたLUTを算出方法記憶部から選択し、選択したLUTにおいて、階調値に対応した補正係数α又はβを読み出す。
 また、利用者による操作入力に基づいて、第1補正係数算出部5022、第2補正係数算出部5025は、それぞれLUTを選択し、選択したLUTに係る補正係数α又はβを用いるようにしてもよい。さらに、利用者による操作入力に基づいて、照明装置制御部501は、出力係数γを選択してもよい。この場合、第1補正係数算出部5022は、選択した出力係数γに基づいて補正係数αを定めてもよいし、第2補正係数算出部5025は、選択した出力係数γと第1補正係数算出部5022が算出した補正係数αを用いて、上述したように、補正係数βを定めてもよい。
(平均化する領域の調整)
 上述の説明では、第2照明光分布算出部5024において、第1階調変換画像信号に含まれる画素毎の信号値を平均化する画素の領域(第2領域)は固定値であることを前提にしていたが、画像解析結果R1に応じて可変であってもよい。
 上述したように、画像解析部503は、第1階調変換部5023から入力された第1階調変換画像信号について統計値を算出し、算出した統計値を第2照明光分布算出部5024に出力する。
 第2照明光分布算出部5024には、第2領域の大きさ(例えば、画素数)を予め複数通り記憶しておく。例えば、第1階調変換画像におけるコントラストが低い場合、高周波成分が少ない場合、輝度ヒストグラムに偏りがある場合等では、第2照明光分布算出部5024では、より小さい第2領域を選択する。これにより、高周波数成分までコントラストが強調された出力画像が階調変換によって得られる。例えば、第1階調変換画像におけるコントラストが高い、高周波成分が多い、輝度ヒストグラムに偏りがない等の場合には、第2照明光分布算出部5024は、より大きい第2領域を選択する。これにより、高周波数成分におけるコントラストが維持され、強調の度合いが抑制された出力画像が階調変換によって得られる。よって、第1階調変換画像の信号値の分布に応じて出力画像の高周波数成分のコントラストの強調の度合いが調整されて出力画素の視認性を向上させることができる。
 上述では、第1照明光分布算出部5021が算出する照明光分布Y1、第2照明光分布算出部5024が算出する照明光分布Y2が、それぞれ1通りである場合を例にとって説明したが、本実施形態ではこれには限られない。例えば、第1照明光分布算出部5021が算出する照明光分布Y1、第2照明光分布算出部5024が算出する照明光分布Y2が、それぞれ複数通り、例えば、2通りであってもよい。第1補正係数算出部5022がそれぞれの照明光分布Y1に基づいて算出した補正係数αの全部もしくは一部の平均値を算出し、第1階調変換部5023は算出された平均値を用いて階調変換を行ってもよい。第2補正係数算出部5025がそれぞれの照明光分布Y2に基づいて算出した補正係数βの全部もしくは一部の平均値を算出し、第2階調変換部5026は算出された平均値を用いて階調変換を行ってもよい。
 また、第1照明光分布算出部5021が照明光分布Y1を複数通り算出する場合には、その複数通りのうち第1領域が最も小さい領域を第1参照画像領域と呼ぶ。第2照明光分布算出部5024は、照明光分布Y2を算出する際に画素毎の信号値を平均化する画素の領域(第2領域)を第1参照画像領域よりも小さくなるように定める。照明光分布Y2を複数通り算出する場合には、その複数通りのうち第2領域が最も大きい領域を第2参照画像領域と呼ぶ。よって、第2参照画像領域は第1参照画像領域よりも小さくなるように定められる。
 第1照明光分布算出部5021は、それぞれ大きさが異なる第1領域の全部又は一部を選択することによって、階調変換によって局所的なコントラストが維持される領域の大きさを調整することができる。上述のように、第1照明光分布算出部5021は、画像解析部503から入力された統計値に基づいて第1領域を選択してもよい。第1領域内では補正係数αがほぼ一定値と近似され、暗部領域における補正係数αは、他の領域における補正係数αよりも大きい値をとることを鑑みると、第1階調変換部5023が行う階調変換によって、より小さい領域でコントラストが維持される。そのため、小さい暗部領域であっても視認性が向上する。
 他方、第2照明光分布算出部5024は、それぞれ大きさが異なる第2領域の全部又は一部を選択することによって、階調変換によって局所的なコントラストを強調する空間周波数を調整することができる。上述のように、第2照明光分布算出部5024は、画像解析部503から入力された統計値に基づいて第2領域を選択してもよい。第2領域よりも広い領域では補正係数βが有意に変動するためコントラストが強調されることを鑑みると、第2階調変換部5026が行う階調変換によって、より小さい領域内での局所的なコントラストを強調することができる。また、ゼロに近い階調値について補正係数βは、階調変換において階調値を低減するため、階調値がゼロ付近で分布するノイズが過度に強調されない点においても好ましい。
 なお、第1照明光分布算出部5021、第2照明光分布算出部5024は、それぞれ画像解析部503から入力された統計値に基づいて、それぞれ第1領域、第2領域を選択する代わりに、それらの領域の大きさを変更するようにしてもよい。
 また、第1照明光分布算出部5021は、入力画像信号S2の解像度に応じて第1領域の大きさを変更してもよい。ここで、第1照明光分布算出部5021は、例えば、入力画像信号S2の解像度、つまり、表示領域の一辺の画素数と比例するように第1領域の一辺の画素数を定める。同様に、第2照明光分布算出部5024は、第1階調変換画像信号の解像度に応じて第2領域の大きさを変更してもよい。ここで、第2照明光分布算出部5024は、例えば、その解像度と比例するように第2領域の一辺の画素数を定める。これにより、入力画像の解像度によらずコントラストが維持又は強調される局所領域の大きさが同一となり、画質を向上する効果を同等にすることができる。
(出力係数γの決定方法)
 次に、照明装置制御部501における出力係数γの決定方法について説明する。
 上述したように、照明装置制御部501は、画像解析部503から入力された画像解析結果R1が示す統計値に基づいて出力係数γを決定する。例えば、照明装置制御部501は、入力画像の信号値の平均値が大きいほど、出力係数γをより大きい値に定める。照明装置制御部501は、入力画像の信号値の平均値が小さいほど、出力係数γをより小さい値に定める。但し、定められた出力係数γは、0から1の間の実数である。これにより入力画像信号S2の信号値が大きく、かつ照明装置の光量を基準値よりも小さく設定する場合、階調変換を行っても画像表示部141に表示される画像の輝度が低下するという問題を回避することができる。
 また、照明装置制御部501は、階調ヒストグラムに基づいて出力係数γを定めてもよい。例えば、高階調領域と低階調領域の画素数が、その中間の領域(中間階調領域)における画素数よりも多い場合、照明装置制御部501は、出力係数γを光量の基準値を与える値から予め定めた範囲内の値に定める。これにより、輝度の最大値の低下が抑制されるため高い輝度を与える高階調領域が主である画質の劣化を低減することができる。この場合と信号値の平均値が同一又は近似する場合であっても、照明装置制御部501は、中間階調領域における画素数が多いほど、より小さい値に出力係数γの値を定める。照明装置の光量を基準値よりも少なくしても、輝度の最大値を低下させずに局所的なコントラストを強調して階調変換を行うことができる。これにより、視認性を損なわず、消費電力を低減することができる点で好適である。
 以上説明したように、本実施形態は、入力画像の各画素について当該画素を中心とした所定の領域である第1領域における明るさの平均値を算出することで、前記入力画像における照明光強度の分布を示す第1照明光分布を算出し、第1照明光分布と、照明光強度が所定の閾値よりも大きいとき照明光強度に対して単調減少する第1補正係数に基づいて、入力画像の各画素の階調値を変換する。更に、本実施形態は、入力画像を変換した画像の各画素について、当該画素を中心とした第1領域よりも小さい領域である第2領域における階調値の平均値を算出することで、階調変換後の画像における照明光強度の分布を示す第2照明光分布を算出し、第2照明光分布と、照明光強度に対して単調減少する第2補正係数に基づいて、変換後の画像の階調値を変換する。また、本実施形態は、画像を表示する画像表示部が備える照明部の光量に係る出力係数の減少に伴い、第1補正係数と第2補正係数との積が増加する第1補正係数と第2補正係数を算出する。
 これにより、階調変換において画像信号の局所的なコントラストが強調され、暗部領域の視認性が向上する。また、照明装置の光量を基準値よりも少なくしても、その光量が基準値である場合と同様な視認性が得られ、電力の消費量を低減することができる。
(第6の実施形態)
 次に、本発明の第6の実施形態について説明する。
 図24は、本実施形態に係る画像撮像装置150の構成を示す概略図である。第5の実施形態の画像表示装置140(図17参照)と同一の構成については、同一の符号を付して説明を援用する。
 画像撮像装置150は、画像処理装置500に加えて、撮像素子151、画像表示部152、及び画像記憶部153を含んで構成される。
 撮像素子151は、被写体の画像を撮像し、撮像した画像を示す原画像信号を生成する。撮像素子151は、例えば、CCD(Charge Coupled Device、電荷結合素子)等の撮像デバイスを含んで構成される。撮像素子151は、生成した画像信号についてデモザイク(de-mosaic)等の一般的な画像処理を行い、生成した信号を入力画像信号S2として画像処理装置500の画像処理部502及び画像解析部503に出力する。デモザイクとは、原画像信号にはなかった色情報を補完してカラーの画像を示す画像信号を生成する処理である。
 画像表示部152には、照明装置制御部501から照明装置制御信号C1が入力され、画像処理部502から出力画像信号T5が入力される。画像表示部153は、照明装置制御信号C1が示す出力係数γに基づいて照明装置の光量を調整し、出力画像信号T5が示す画像を表示する。
 画像記憶部153には、画像処理部502から入力された出力画像信号T5が記憶される。画像記憶部153は、例えば、フラッシュメモリやハードディスク等の記憶デバイスを含んで構成される。
 これにより、暗部領域の視認性を向上するとともに、局所的なコントラストを向上した視認性の高い高画質の画像を撮影することが可能な画像撮像装置150が実現される。画像撮像装置150は、ガンマ補正、色変換、輪郭強調などの一般的な画像処理を、画像処理部502が出力した出力画像信号T5について実行してもよい。
 なお、上述した第1補正係数算出部5022と第2補正係数算出部5025は、一体化した補正係数算出部として構成されていてもよい。また、第1補正係数算出部5022は、第1階調変換部5023の一部として含まれていてもよい。また、第2補正係数算出部5025は、第2階調変換部5026の一部として含まれていてもよい。
 以上に説明したように、本実施形態によれば、上記第5の実施形態と同様の効果を得ることができる。
(第7の実施形態)
 次に、本発明の第7の実施形態について説明する。
 本実施形態に係る画像表示装置(図示せず)の概略構成は、画像表示装置140(図17参照)と同様である。但し、本実施形態に係る画像表示部141(図17参照)は、照明装置として複数の光源を備える。この画像表示部141は、画像を表示する表示面が分割された複数の領域毎に、それぞれの光源が放射する光量を独立に制御することができる。
 図25は、本実施形態に係る照明装置の光源の配置例を示す図である。
 図25において、横長の長方形の外枠は、照明装置の外枠を示す。
 外枠の内部における二次元平面内に配列されている円は、それぞれ光源を示す。外枠の左上端の光源2500は、照明装置が備える複数の光源のうちの1つである。
 なお、本実施形態では、光量を独立に制御できる単位は、1個の光源毎であってもよいし、予め定めた数の複数の光源毎であってもよい。また、複数の光源は、照明装置の上下左右における端の全部又は一部における一次元の線分上に配置されていてもよい。
 図26は、本実施形態に係る画像表示部141の画素の配置例を示す図である。
 図26において、横長の長方形の外枠は、画像表示部141における画像表示面の外枠を示す。外枠の内部における二次元平面内に配列されている細かい四角形は、それぞれ画素を示す。図26の左上端において塗りつぶされた領域2600は、光量を独立に制御可能な光源2500に対応する領域である。つまり、領域2600は、主に光源2500から光が供給される領域である。領域2600が表示する画像の明るさは、主に光源2500の光量によって制御される。
 そこで、本実施形態では、照明装置制御部501(図17参照)が、光量制御領域毎に光量を決定する。光量制御領域とは、光量を独立に制御できる光源の各単位に対応した領域を指す。つまり、光量制御領域は、画像を表示する表示領域を複数に分割した部分領域のそれぞれに相当する。照明装置制御部501は、例えば、画像処理装置500に入力された入力画像信号S2に基づいて光量制御領域毎に照明光分布を算出する。照明装置制御部501は、それぞれの光量制御領域に属する信号値を平均化して得られる階調値を照明光分布として算出する。照明装置制御部501は、算出した照明光分布が大きいほど、大きい出力係数γを定める。照明装置制御部501は、例えば、算出した照明光分布が予め定めた値よりも大きい場合、その光量制御領域に係る光源の光量が基準値よりも多くなるように出力係数γを定める。照明装置制御部501は、算出した照明光分布が予め定めた値よりも小さい場合、その光量制御領域に係る光源の光量が基準値よりも少なくなるように出力係数γを定める。
 但し、基準値が予め定めた最大値であって、算出した照明光分布が予め定めた値よりも大きい場合には、照明装置制御部501は、その光量制御領域に係る光源の光量が基準値となるように出力係数γを定める。
 つまり、画像処理部502(図23参照)において、第1補正係数算出部5022は入力画像信号S2の照明光分布Y1と光量制御領域毎に定められた補正係数γに基づいて補正係数αを算出し、第1階調変換部5023は、補正係数αを用いて入力画像信号S2を階調変換する。また、第2補正係数算出部5025は第一階調変換信号の照明光分布Y2と光量制御領域毎に定められた補正係数γに基づいて補正係数βを算出し、第2階調変換部5026は、補正係数βを用いて第1階調変換信号を階調変換する。
 照明装置制御部501が算出した照明光分布が小さい光量制御領域では、照明装置の光量が基準値より小さくなるが、画像処理部502は、その領域について、上述のように階調変換を行うことにより、局所的なコントラストが強調され視認性が良好な画像が画像表示部152に表示される。
(消費電力について)
 次に、本実施形態に係る画像表示装置140の消費電力について説明する。
 本実施形態では、複数の光量制御領域毎に照明装置が備える光源の光量を独立に制御し、併せて画像処理部502における階調処理を行う。視認性を損なうことなく光源の全ての光量を一様に制御する場合よりも消費電力を削減することができる。本実施形態では、照明光分布の階調値が低い光量制御領域に係る光源の光量を低減できるためである。
 一般に、入力画像信号S2の信号値が大きいと、光源の光量を少なくし過ぎると階調変換を行っても、期待される輝度よりも輝度が低くなる。そのため、光源の光量を極端に減少させると視認性を損なうおそれがある。光源の全ての光量を一様に制御する場合には、全ての光源について光量を極端に減少させることができず、消費電力の削減量が限られる。
 これに対し、本実施形態では、照明光分布の階調値が高い光量制御領域(明部領域)では光量の低下が抑制され、照明光分布の階調値が低い光量制御領域(暗部領域)では光量を十分に低下させる。これによって、明部領域では輝度が高い状態に維持されるのに対し、暗部領域に対応する光源の光量がより大きく低減される。
 なお、照明装置制御部501は、光量制御領域内のコントラストに基づいて出力係数γを定めるようにしてもよい。出力係数γは、上述したように光源の光量を制御するパラメータである。ここで、照明装置制御部501は、光量制御領域毎に入力画像信号S2の階調値に基づいて局所的なコントラストの度合いを示す指標値を算出する。この指標値として、例えば、階調値の最大値と最小値との差分、階調値の分散、等がある。照明装置制御部501は、算出した指標値が示す局所的なコントラストが強いほど、より光源の光量を少なくする出力係数γを定める。照明光分布の階調値が同じ値であっても、局所的なコントラストが強い光量制御領域の方が、局所的なコントラストが弱い光量制御領域よりも光源の光量が少なくなる。そのため、光量制御領域毎に出力画像の視認性を維持しながら光源の光量を少なくして消費電力を低減することができる。
 一般には、階調値が大きいほど、又は光源の光量が多いほど輝度が高くなる。ここで、出力画素の輝度の一例を示す。
 図27は、出力画像の輝度の一例を示す概念図である。
 図27において、横軸は階調値を示し、縦軸は輝度を示す。図27において、曲線2700は、光量が基準値である場合の輝度を示す曲線である。この曲線2700が示す輝度が期待される輝度を示している。曲線2701は、光量が基準値の1/4である場合の輝度を示す曲線である。ここで、階調値X1は、光量が基準値である場合に輝度の値としてMAX/4が得られる階調値である。MAXは、光量が基準値であって、階調値がその最大値XMAXである場合に得られる輝度の値である。光量が基準値の1/4であって、階調値がその最大値XMAXの場合にも輝度の値としてMAX/4が得られる。つまり、図27は、光量を基準値の1/4に減少させても、X1の階調値を最大値XMAXに階調変換することで期待される輝度の値としてMAX/4が得られることを示す。
 しかし、上述のように局所的なコントラストが強い領域、特に階調値が周辺画素の階調値よりも有意に高い画素は、人間の視覚特性上、明るく知覚される。ここで、出力画像信号T5の階調値の一例を示す。
 図28は、出力画像信号T5の階調値の一例を示す概念図である。
 図28は、横軸に画素の位置、縦軸に階調値を示す。原点は、画像表示部141の画像表示面上の1点、例えば、左上端である。図28の中央部には、他の階調値よりも著しく大きい階調値が示されている。これに対し、他の階調値は、最大値XMAXよりも0に近い小さい値をとる。つまり、図28が示す階調値の分布は、暗部領域に他の階調値よりも著しく大きい階調値を有する画素が含まれていることを示す。このような場合には、光源の光量を少なくすると、この大きい階調値を有する画素は、期待される輝度よりも低い輝度で表示される。しかし、この階調値は周辺の階調値との差、つまり局所的なコントラストが大きい。そのため、この大きい階調値を有する画素は人間の視覚上明るく知覚される。
 このように、本実施形態によれば、出力係数として、画像を表示する表示領域を分割した複数の部分領域のそれぞれについて算出した出力係数に基づいて第1補正係数と第2補正係数を算出する。即ち、光量を独立に制御できる複数の光源にそれぞれ対応した領域毎に、画像信号に基づいて照明光分布を算出し、算出した照明光分布に基づいて光量を制御する。また、算出した照明光分布に基づいて階調変換を行う。これにより、出力画像の局所的コントラストを強調し、光源の光量を基準値よりも少なくしても暗部領域の視認性を向上させることができる。また、光源の光量を少なくすることで消費電力をさらに低減することができる。
(第8の実施形態)
 次に、本発明の第8の実施形態について説明する。
 本実施形態に係る画像表示装置160の構成について説明する。
 図29は、本実施形態に係る画像表示装置160の構成を示す概略図である。
 画像表示装置160は、画像処理装置600及び画像表示部161を含んで構成される。画像処理装置600は、照明装置制御部601、画像処理部602、画像補正部603及び画像解析部604を含んで構成される。
 画像処理部602及び画像解析部604は、それぞれ、画像処理部502及び画像解析部503(図17参照)と同様の構成を備える。照明装置制御部601は、第7の実施形態に係る照明装置制御部501と同様に、画像解析部604から入力された画像解析結果R2が示す統計量に基づいて照明装置が備える複数の光源の光量を定める。照明装置制御部601は、その複数の光源について独立に制御可能な光源毎に定めた光量を得るための出力係数γを定める。照明装置制御部601は、出力係数γを示す照明装置制御信号C2を画像処理部602、画像表示部161及び画像補正部603に出力する。
 以下では、主に上述の実施形態との差異点について説明する。
 画像補正部603は、画像処理部602から入力された出力画像信号について照明装置制御部601から入力された照明装置制御信号C2に基づいて補正処理を行う。画像補正部603が行う補正処理は、画像処理部602から出力画像信号が直接入力されたときに画像表示部161が表示する出力画像の輝度のむらを低減する処理である。「輝度のむら」とは、光量制御領域に対応した光源と画素との位置関係に起因する輝度の変化であって、画素毎の階調値だけでは説明できないものを指す。「輝度のむら」の例や、「輝度のむら」を低減する処理については後述する。画像補正部603は、補正処理で補正した出力画像信号T6を画像表示部161に出力する。
(出力画像信号の輝度の例)
 ここで、画像処理部602から入力された出力画像信号の階調値の例について説明する。
 図30は、出力画像信号の階調値の他の例を示す概念図である。
 図30は、横軸に画素の位置、縦軸に階調値を示す。横軸の真下に示されている2本の両矢印は、それぞれ光量制御領域3000、3001を示す。光量制御領域3000、3001は、互いに隣接して配置されている。つまり、横軸に示されている画素は、それぞれ、光量制御領域3000、3001のいずれかに属する画素である。
 図30に示す例では、光量制御領域3000に属する画素の階調値は、それぞれ最大値XMAXよりもゼロに近い値である。これに対し、光量制御領域3001に属する画素の階調値は、それぞれゼロよりも最大値XMAXに近い値である。光量制御領域3000と3001との間では、階調値に顕著な差がある。
 次に、照明装置の輝度の例について説明する。
 図31は、照明装置の輝度の例を示す概念図である。
 図31は、横軸に画素の位置、縦軸に照明装置の輝度を示す。横軸の真下に示されている2本の両矢印は、それぞれ上述の光量制御領域3000、3001を示す。
 この例が示す輝度は、光量制御領域3000に係る光源よりも光量制御領域3001に係る光源の光量が多い場合に得られた照明装置の輝度分布である。図31に示す輝度は、光量制御領域3000、3001間で光量が異なり、光量制御領域3000と3001の境界において緩やかに変化する。この変化は、図30に示す階調値の変化よりも緩やかである。つまり、境界付近の照明装置の輝度は、隣接する複数の光量制御領域に係る光源が放射する光の影響を受け、この光量制御領域の境界付近における輝度の緩やかな変化を生じる。この輝度の変化が「輝度のむら」である。
 次に、出力画像の輝度の他の例について説明する。
 図32は、出力画像の輝度の他の例を示す概念図である。
 図32において、縦軸は出力画像の輝度、横軸は画素の位置、横軸の真下に示されている矢印はそれぞれ光量制御領域3000、3001を示しており、横軸と横軸の真下に示す矢印は図30、31におけるものと同様である。この例では、各光源の光量は図31に示す例と同様であり、出力画像信号は図30に示す例と同様である。
 図32が示す輝度は、光量制御領域3000、3001間の境界において、値の変化の度合いが最も著しい。しかし、この値の変化は、図30に示す階調値の変化よりも緩やかになる。この緩やかな輝度の変化が、「輝度のむら」として生じる。
 そこで、画像補正部603は、例えば、光量制御領域の境界を跨ぐ階調値の差分を強調するように補正処理を行う。これにより、隣接する光量制御領域に係る光源が放射する光が与える影響が低減する。そのため、光量制御領域間での光量の差分に起因する「輝度のむら」が低減する。
 次に、補正された出力画像信号T6の階調値の一例について説明する。
 図33は、補正された出力画像信号T6の階調値の一例を示す概念図である。
 図33において、縦軸、横軸、横軸の真下に示されている矢印は、それぞれ図30におけるものと同様である。
 図33が示す階調値は、図30が示す階調値を有する出力画像信号について補正処理を行って生成された信号の階調値である。図33において、光量制御領域3000に属す画素の階調値は、光量制御領域3001との境界に近いほど減少する。これに対して、光量制御領域3001に属す画素の階調値は、光量制御領域3000との境界に近いほど増加する。その結果、光量制御領域3000、3001間の境界を跨ぐ階調値の差分が強調されている。ここで、この境界を跨ぐ階調値の平均値は、補正処理の前後で、ほとんど変化しない。
 次に、補正された出力画像に係る輝度の一例について説明する。
 図34は、補正された出力画像の輝度の一例を示す概念図である。
 図34において、縦軸、横軸、横軸の真下に示されている矢印は、それぞれ図31におけるものと同様である。
 図34が示す輝度は、図33が示す出力画像信号T6に係る出力画像の輝度である。図34では、光量制御領域3000、3001間の境界において、輝度の変化が図30における階調値の変化と同様に急峻である。即ち、図34は、光量制御領域3000、3001間の境界において階調値の変化を強調するように補正処理を行うことで、図32が示す「輝度のむら」を低減、ひいては解消できることを示す。例えば、画像補正部603には、予め図31に示す画素毎の輝度を階調値に換算した補正係数を記憶しておき、画素毎の階調値に記憶しておいた補正係数で除算することで補正処理を実現することができる。また、画像補正部603には、予め図33に示す画素毎の階調値を正規化した補正係数を記憶しておき、画素毎の階調値に記憶しておいた補正係数を乗算することでも補正処理を実現することができる。
 本実施形態では、ある光量制御領域に係る光源(光源の位置)について画素(画素の位置)毎の輝度の関係を示す輝度情報を予め取得しておいてもよい。画像補正部603は、この輝度情報が示す「輝度のむら」を低減するように出力画像信号について補正処理を行う。画像補正部603は、補正処理において、例えば、予め記憶させておいたLUTを参照して、出力画像信号に含まれる画素毎の階調値について階調変換を行う。後述するように、1つの光量制御領域においても画素の位置によって、光源から到達する光の強度が異なるため輝度の差異が生じる。画素の位置の違いによる輝度の差異も輝度のむらの一態様である。つまり、階調変換において、輝度の差異を補償する補正係数を予め画素毎に取得しておき、画像補正部603は、階調変換において取得した補正係数を階調値に乗算する。
 ここで、本実施形態に係る光源と画素の配置の一例を示す。
 図35は、本実施形態に係る光源と画素の配置の一例を示す概念図である。
 図35(a)は、光源3500と、光源3500に対応する光量制御領域3501を示す。光量制御領域3501を示す四角形に含まれる複数の細かい四角形は、それぞれ画素を示す。光源3500は、光量制御領域3501のほぼ中央に配置されている。
 図35(b)は、画素毎の輝度の一例を示す。図35(b)において、横軸は画素の位置、縦軸は輝度を示す。図35(b)が示す輝度は、図35(a)の線分3502を通過する画素毎の輝度である。図35(b)における各画素の水平方向の位置は、図35(a)における各画素の水平方向の位置と対応付けられている。図35(b)において、光源3500の中央において輝度が最も高く、これに近接する画素では輝度の変化は、なだらかである。これに対して、光量制御領域3501の端部に近接する画素では、輝度の変化が著しくなりゼロに近似する。
 そこで、画像補正部603は、光量制御領域全体にわたり一定の階調値、一定の光量(出力係数γ、例えば1)のもとで輝度が画素(位置)によらず一定(平坦)となる階調値を与える画素毎の補正係数をLUTとして予め記憶させておく。画像補正部603には、記憶させておいたLUTから画素毎の補正係数を読み出し、出力画像信号に含まれる画素毎に階調値と読み出した補正係数を乗算することによって階調変換を行う。さらに、画像補正部603は、変換された階調値にさらに出力係数γを乗算する。
 上述では補正係数を乗算する場合を例にとって説明したが、画像補正部603には、上述の補正係数の代わりに、その逆数を記憶させてもよい。その場合には、画像補正部603には、階調変換において階調値に記憶させておいた逆数を除算する。
 なお、上述したように、特に光量制御領域の境界付近の画素では、その画素が属する光量制御領域に係る光の他、異なる光量制御領域に係る光源が放射する光が照射される。そこで、画像補正部603は、異なる光量制御領域に係る光源による輝度の成分をもたらす階調値を合成して合成値を算出し、算出した合成値が目標輝度を与えるように階調変換を行うようにしてもよい。これにより、異なる光量制御領域に係る光源に起因する「輝度のむら」の影響が低減される。
 ここで、本実施形態に係る光源と画素の配置のその他の例について説明する。
 図36は、本実施形態に係る光源と画素の配置のその他の例を示す概念図である。
 図36において、4つの円は、それぞれ光源3600、3602、3604、3606を示す。4つの円をそれぞれ中心に含む四角形の領域は、光源3600、3602、3604、3606にそれぞれ対応する光量制御領域3601、3603、3605、3607である。ここで、光量制御領域3601の右下端において斜線で塗りつぶされた小さい四角形の領域に係る画素3608に注目する。
 画素3608には、その画素が属する光量制御領域3601に係る光源3600の他、光源3602、3604、3606が放射する光が照射される。
 画像補正部603は、注目する光量制御領域から予め定めた範囲の他の光量制御領域(例えば、隣接光量制御領域)のそれぞれに係る光源による輝度を予め計測しておく。計測は、予め一定の階調値、光量(出力係数γ、例えば1)のもとで、その注目する光量制御領域における画素(注目画素)毎に行う。計測された輝度(輝度の成分)は、注目画素における輝度に対して、他の光量制御領域のそれぞれに係る光源が放射する光が与える影響の度合いを示す。画像補正部603には、所定の光量のもとで計測した輝度を階調値に換算して得られる合成係数(補正係数)を、各画素及び他の光量制御領域の光源毎にLUTとして予め記憶させておく。また、画像補正部603は、合成値と目標輝度を与える階調値(目標階調値)とを対応付けて予めLUTに記憶させておく。合成値は、所定の光量のもとで他の光量制御領域から到達する光による輝度を階調値に換算した値である。
 画像補正部603は、記憶させておいたLUTから注目する光量制御領域における画素毎、他の光量制御領域の光源毎に合成係数を読み出す。画像補正部603は、読み出した合成係数と出力係数γを乗算して、他の光量制御領域の光源毎の輝度の成分を算出する。画像補正部603は、算出した輝度の成分を他の光量制御領域にわたり加算し、その総和である合成値を算出する。画像補正部603は、算出した合成値に対応する目標階調値をLUTから読み出すことで階調変換を行う。
 これにより、他の光量制御領域の光源毎の輝度の影響が目標輝度に補正されるため、光量制御領域の境界付近に生じがちな「輝度のむら」が低減する。
 なお、出力画像の「輝度のむら」は、照明装置の光量を一様に制御する画像表示装置140(図17参照)でも起こりうる。この「輝度のむら」は、例えば、光源の入出力特性の個体差や、光量制御領域と対応する光源との位置関係、に起因する。そこで、画像表示装置140において上述の画像補正部603を備え、画像処理部502が生成する出力画像信号について上述の補正処理を行った出力画像信号を画像表示部141に出力してもよい。
これにより、「輝度のむら」を低減することができる。
 本実施形態では、画像補正部603において入力画像信号S2について上述の補正処理を行い、補正処理を行った入力画像信号を画像処理部602に出力してもよい。画像処理部602は、生成した出力画像信号を画像表示部161に出力する。但し、補正処理を行った入力画像信号に基づいて照明光分布が算出されるため、もとの入力画像信号S2とは異なり、注目画素とは別の画素の階調値の影響を受ける。そのため、画像処理部602は、上述のように、もとの入力画像信号S2の階調値のみに基づいて、処理を行うことが好適である。
 このように、本実施形態では、部分領域(光量制御領域)に対応した光源毎の輝度と階調値の関係を示す補正係数を予め画素毎に記憶しておき、補正係数に基づいて階調変換した階調値を補正する。これにより、部分領域に対応した光源と画素との位置関係に起因する輝度の変化(輝度のむら)を低減して視認性に優れた出力画像を表示することができる。
 なお、上述した実施形態における画像処理装置100、200、300、400、500、600、画像表示装置110、140、160、画像撮像装置120、150、及び画像印刷装置130の一部または全部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像処理装置、画像表示装置、画像撮像装置、又は画像印刷装置に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
 プログラムにより上記第1~第8の実施形態を実現する場合、入力される画像によって照明光分布を算出するときの参照画素領域を可変にすると、処理量を削減することができるため好適である。同一シーンを同一画角である被写体を撮影した場合、高解像度な画像で撮影されていれば被写体の画素数は多くなり、低解像度な画像で撮影されていれば被写体の画素数は少なくなる。一方、被写体が画像に占める面積は解像度によらず同じような値となる。つまり、画像の解像度によって参照画素領域を可変にすると、画像に占める面積に応じて照明光分布を算出することができ、これには入力画像の解像度によらず、コントラストを維持、強調する局所領域を同一にし、同様な画質向上効果が得られるようになるという効果がある。
 また、上述した実施形態における画像処理装置100、200、300、400、500、600、画像表示装置110、140、160、画像撮像装置120、150、及び画像印刷装置130の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。画像処理装置、画像表示装置、画像撮像装置、及び画像印刷装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
 以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
 本発明は、液晶テレビ、携帯電話、デジタルカメラ、パーソナルコンピュータ、タブレット型パーソナルコンピュータ、プリンタなどに適用できる。
 100、200、300、400、500、600  画像処理装置
 101、201、301、401、5021  第1照明光分布算出部
 102、202、302、402、5022  第1補正係数算出部
 103、203、303、403、5023  第1階調変換部
 104、204、304、404、5024  第2照明光分布算出部
 105、205、305、405、5025  第2補正係数算出部
 106、206、306、406、5026  第2階調変換部
 110、140、160  画像表示装置
 111  画像表示部
 120、150  画像撮像装置
 121、151  撮像素子
 122、153  画像記憶部
 130  画像印刷装置
 131  画像印刷部
 141、152、161  画像表示部
 154  画像補正部
 307  画像解析部
 308  算出方法記憶部
 309  算出方法選択部
 407  入力部
 408  算出方法記憶部
 409  算出方法選択部
 501、601  照明装置制御部
 502、602  画像処理部
 503、604  画像解析部

Claims (15)

  1.  入力画像の各画素について、当該画素を中心とした所定の領域である第1領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第1照明光分布を算出する第1照明光分布算出部と、
     前記入力画像の各画素について、前記第1照明光分布に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少する係数である第1補正係数を算出する第1補正係数算出部と、
     前記第1補正係数に応じて、前記入力画像の各画素の階調値を変換することで、前記入力画像の階調変換を行う第1階調変換部と、
     前記第1階調変換部が階調変換した画像の各画素について、当該画素を中心とした前記第1領域より小さい領域である第2領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第2照明光分布を算出する第2照明光分布算出部と、
     前記第1階調変換部が階調変換した画像の各画素について、前記第2照明光分布に基づいて、照明光強度に対して単調増加する係数である第2補正係数を算出する第2補正係数算出部と、
     前記第2補正係数に応じて、前記第1階調変換部が階調変換した画像の各画素の階調値を変換することで、前記第1階調変換部が階調変換した画像の階調変換を行う第2階調変換部と、
     を備える画像処理装置。
  2.  前記第1補正係数算出部は、前記入力画像の各画素について、前記第1照明光分布に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少し、照明光強度が所定の閾値未満であるときに照明光強度に対して単調増加する係数である第1補正係数を算出する請求項1に記載の画像処理装置。
  3.  前記第1補正係数算出部および前記第2補正係数算出部は、出力画像の階調の平均値が前記入力画像の階調の平均値よりも大きくなるように前記第1補正係数および前記第2補正係数をそれぞれ算出する請求項1または請求項2に記載の画像表示装置。
  4.  前記第1照明光分布算出部は、入力画像の各画素について、当該画素を中心とした前記第2領域より大きい領域である複数の第1領域における明るさを算出することで、複数の前記第1照明光分布を算出し、
     前記第1補正係数算出部は、前記入力画像の各画素について、複数の前記第1照明光分布に基づいて前記第1補正係数を算出し、
     前記第2照明光分布算出部は、前記第1階調変換部が階調変換した画像の各画素について、当該画素を中心とした前記第1領域より小さい領域である複数の第2領域における明るさを算出することで、複数の前記第2照明光分布を算出し、
     前記第2補正係数算出部は、前記第1階調変換部が階調変換した画像の各画素について、複数の前記第2照明光分布に基づいて前記第2補正係数を算出する請求項1から請求項3の何れか1項に記載の画像処理装置。
  5.  前記第1補正係数算出部は、照明光強度が最大の画素についての前記第1補正係数が1となるように前記第1補正係数を算出し、
     前記第2補正係数算出部は、照明光強度が最大の画素についての前記第2補正係数が1となるように前記第2補正係数を算出する請求項1から請求項3の何れか1項に記載の画像処理装置。
  6.  複数の前記第1補正係数の算出方法と、複数の前記第2補正係数の算出方法とを記憶する算出方法記憶部と、
     前記算出方法記憶部が記憶する算出方法の中から、前記第1補正係数の算出方法と前記第2補正係数の算出方法とをそれぞれ1つ選択する算出方法選択部と、
     をさらに備え、
     前記第1補正係数算出部は、前記算出方法選択部が選択した前記第1補正係数の算出方法を用いて前記第1補正係数を算出し、
     前記第2補正係数算出部は、前記算出方法選択部が選択した前記第2補正係数の算出方法を用いて前記第2補正係数を算出する請求項1から請求項5の何れか1項に記載の画像処理装置。
  7.  前記算出方法選択部は、利用者の指示に従って、前記算出方法記憶部が記憶する算出方法の中から前記第1補正係数の算出方法と前記第2補正係数の算出方法とをそれぞれ1つ選択する請求項6に記載の画像処理装置。
  8.  前記入力画像または前記第1階調変換部が階調変換した画像を解析する画像解析部をさらに備え、
     前記算出方法選択部は、前記画像解析部の解析結果に従って、前記算出方法記憶部が記憶する算出方法の中から前記第1補正係数の算出方法と前記第2補正係数の算出方法とをそれぞれ1つ選択する請求項6に記載の画像処理装置。
  9.  請求項1に記載の画像処理装置と、
     前記第2階調変換部が階調変換した画像を表示する画像表示部と、
     を備える画像表示装置。
  10.  前記第1補正係数算出部および前記第2補正係数算出部は、前記画像表示部の明るさに応じて、前記第1補正係数および前記第2補正係数をそれぞれ算出する請求項9に記載の画像表示装置。
  11.  前記画像表示部は、光を放出する照明部を備え、
     前記第1補正係数算出部および前記第2補正係数算出部は、前記照明部が放出する光の光量について、前記照明部が放出可能な光の最大光量に対する前記光量の比率である出力係数の減少に伴って、前記第1補正係数と前記第2補正係数との積が増加する前記第1補正係数および前記第2補正係数をそれぞれ算出する請求項9に記載の画像表示装置。
  12.  請求項1に記載の画像処理装置と、
     前記入力画像を撮像する撮像素子と、
     を備える画像撮像装置。
  13.  請求項1に記載の画像処理装置と、
     前記第2階調変換部が階調変換した画像を印刷する画像印刷部と、
     を備える画像印刷装置。
  14.  入力画像の各画素について、当該画素を中心とした所定の領域である第1領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第1照明光分布を算出する工程と、
     前記入力画像の各画素について、前記第1照明光分布に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少する係数である第1補正係数を算出する工程と、
     前記第1補正係数に応じて、前記入力画像の各画素の階調値を変換することで、前記入力画像の階調変換を行う工程と、
     前記階調変換した画像の各画素について、当該画素を中心とした前記第1領域より小さい領域である第2領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第2照明光分布を算出する工程と、
     前記階調変換した画像の各画素について、前記第2照明光分布に基づいて、照明光強度に対して単調増加する係数である第2補正係数を算出する工程と、
     前記第2補正係数に応じて、前記階調変換した画像の各画素の階調値を変換することで、前記階調変換した画像の階調変換を行う工程と、
     を含む階調変換方法。
  15.  入力画像の各画素について、当該画素を中心とした所定の領域である第1領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第1照明光分布を算出する工程と、
     前記入力画像の各画素について、前記第1照明光分布に基づいて、照明光強度が所定の閾値以上であるときに照明光強度に対して単調減少する係数である第1補正係数を算出する工程と、
     前記第1補正係数に応じて、前記入力画像の各画素の階調値を変換することで、前記入力画像の階調変換を行う工程と、
     前記階調変換した画像の各画素について、当該画素を中心とした前記第1領域より小さい領域である第2領域における明るさを算出することで、前記入力画像における照明光強度の分布を示す第2照明光分布を算出する工程と、
     前記階調変換した画像の各画素について、前記第2照明光分布に基づいて、照明光強度に対して単調増加する係数である第2補正係数を算出する工程と、
     前記第2補正係数に応じて、前記階調変換した画像の各画素の階調値を変換することで、前記階調変換した画像の階調変換を行う工程と、
     をコンピュータに実行させるためのプログラム。
PCT/JP2013/074228 2012-09-20 2013-09-09 画像処理装置、画像表示装置、画像撮像装置、画像印刷装置、階調変換方法、及びプログラム WO2014045915A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13839632.0A EP2899688A4 (en) 2012-09-20 2013-09-09 IMAGE PROCESSING DEVICE, IMAGE DISPLAY DEVICE, IMAGE DEVICE, IMAGE PRINTING DEVICE, GRAD CONVERTING PROCESS AND PROGRAM
US14/429,488 US20150242701A1 (en) 2012-09-20 2013-09-09 Image processing device, image display device, image capture device, image printing device, gradation conversion method, and computer readable medium
CN201380047134.2A CN104620280A (zh) 2012-09-20 2013-09-09 图像处理装置、图像显示装置、图像摄像装置、图像印刷装置、灰度变换方法及程序

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012-206866 2012-09-20
JP2012206866A JP5745482B2 (ja) 2012-09-20 2012-09-20 画像処理装置、画像表示装置、画像撮像装置及び画像印刷装置、階調変換方法並びにプログラム
JP2012211022A JP5975819B2 (ja) 2012-09-25 2012-09-25 画像処理装置
JP2012-211022 2012-09-25

Publications (1)

Publication Number Publication Date
WO2014045915A1 true WO2014045915A1 (ja) 2014-03-27

Family

ID=50341230

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/074228 WO2014045915A1 (ja) 2012-09-20 2013-09-09 画像処理装置、画像表示装置、画像撮像装置、画像印刷装置、階調変換方法、及びプログラム

Country Status (4)

Country Link
US (1) US20150242701A1 (ja)
EP (1) EP2899688A4 (ja)
CN (1) CN104620280A (ja)
WO (1) WO2014045915A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539935A (zh) * 2015-01-19 2015-04-22 北京京东方多媒体科技有限公司 图像亮度的调节方法及调节装置、显示装置
EP3115990A1 (en) * 2015-07-08 2017-01-11 Canon Kabushiki Kaisha Image display apparatus and control method thereof
CN111462001A (zh) * 2020-03-18 2020-07-28 宁波江丰生物信息技术有限公司 一种用于荧光切片扫描仪的平场校正方法
CN111492399A (zh) * 2018-01-29 2020-08-04 Eizo株式会社 图像处理装置、图像处理方法以及图像处理程序
US11572589B2 (en) 2018-04-16 2023-02-07 Icahn School Of Medicine At Mount Sinai Method for prediction of acute rejection and renal allograft loss using pre-transplant transcriptomic signatures in recipient blood
US11572587B2 (en) 2014-06-26 2023-02-07 Icahn School Of Medicine At Mount Sinai Method for diagnosing subclinical and clinical acute rejection by analysis of predictive gene sets
US11674181B2 (en) 2014-03-12 2023-06-13 Icahn School Of Medicine At Mount Sinai Method for identifying kidney allograft recipients at risk for chronic injury

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9396571B2 (en) * 2014-02-10 2016-07-19 International Business Machines Corporation Simplified lighting compositing
CN106134181B (zh) * 2014-03-24 2019-03-01 富士胶片株式会社 摄影装置
US10594902B2 (en) * 2014-12-01 2020-03-17 Eizo Corporation Image conversion method
KR102336685B1 (ko) * 2015-01-20 2021-12-08 삼성디스플레이 주식회사 유기발광표시장치 및 그 구동방법
US10008167B2 (en) * 2015-03-03 2018-06-26 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device, method for driving semiconductor device, and program
EP3096519A1 (en) * 2015-05-18 2016-11-23 Thomson Licensing A method for encoding/decoding a picture block
JP6380763B2 (ja) 2015-09-25 2018-08-29 京セラドキュメントソリューションズ株式会社 画像形成装置、色変換プログラムおよび色変換方法
JP6705237B2 (ja) * 2016-03-18 2020-06-03 株式会社リコー 画像圧縮装置、画像形成装置、画像圧縮方法およびプログラム
JP6817789B2 (ja) * 2016-06-10 2021-01-20 ラピスセミコンダクタ株式会社 表示ドライバ及び半導体装置
JP6779695B2 (ja) * 2016-07-28 2020-11-04 キヤノン株式会社 画像処理装置及びその制御方法、表示装置
JP6877936B2 (ja) * 2016-09-28 2021-05-26 キヤノン株式会社 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
US10692196B2 (en) * 2017-10-18 2020-06-23 Gopro, Inc. Color correction integrations for global tone mapping
CN108053371B (zh) * 2017-11-30 2022-04-19 努比亚技术有限公司 一种图像处理方法、终端及计算机可读存储介质
JP6995598B2 (ja) * 2017-12-12 2022-01-14 株式会社ジャパンディスプレイ 表示装置
JP7212466B2 (ja) * 2018-07-06 2023-01-25 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246099A (ja) 2003-02-14 2004-09-02 Toshiba Corp 画像表示方法、画像表示装置及び電子機器
JP2008072450A (ja) 2006-09-14 2008-03-27 Mitsubishi Electric Corp 画像処理装置及び画像処理方法
JP2011014958A (ja) * 2009-06-30 2011-01-20 Hitachi Ltd 画像信号処理装置
JP2011120299A (ja) * 2004-09-17 2011-06-16 Nikon Corp 階調変換装置、プログラム、電子カメラ、及びその方法
JP2012134745A (ja) * 2010-12-21 2012-07-12 Hitachi Consumer Electronics Co Ltd 画像信号処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7599578B2 (en) * 2004-09-17 2009-10-06 Nikon Corporation Apparatus, program, and method for image tone transformation, and electronic camera
JP4218723B2 (ja) * 2006-10-19 2009-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP4402710B2 (ja) * 2007-09-18 2010-01-20 オリンパス株式会社 撮像装置
JP5157753B2 (ja) * 2008-08-27 2013-03-06 カシオ計算機株式会社 画像処理装置、画像処理方法、画像処理プログラム
JP4818351B2 (ja) * 2008-12-25 2011-11-16 株式会社東芝 画像処理装置及び画像表示装置
CN101833754B (zh) * 2010-04-15 2012-05-30 青岛海信网络科技股份有限公司 图像增强方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246099A (ja) 2003-02-14 2004-09-02 Toshiba Corp 画像表示方法、画像表示装置及び電子機器
JP2011120299A (ja) * 2004-09-17 2011-06-16 Nikon Corp 階調変換装置、プログラム、電子カメラ、及びその方法
JP2008072450A (ja) 2006-09-14 2008-03-27 Mitsubishi Electric Corp 画像処理装置及び画像処理方法
JP2011014958A (ja) * 2009-06-30 2011-01-20 Hitachi Ltd 画像信号処理装置
JP2012134745A (ja) * 2010-12-21 2012-07-12 Hitachi Consumer Electronics Co Ltd 画像信号処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2899688A4

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11674181B2 (en) 2014-03-12 2023-06-13 Icahn School Of Medicine At Mount Sinai Method for identifying kidney allograft recipients at risk for chronic injury
US11572587B2 (en) 2014-06-26 2023-02-07 Icahn School Of Medicine At Mount Sinai Method for diagnosing subclinical and clinical acute rejection by analysis of predictive gene sets
CN104539935A (zh) * 2015-01-19 2015-04-22 北京京东方多媒体科技有限公司 图像亮度的调节方法及调节装置、显示装置
CN104539935B (zh) * 2015-01-19 2017-05-31 北京京东方多媒体科技有限公司 图像亮度的调节方法及调节装置、显示装置
US10178369B2 (en) 2015-01-19 2019-01-08 Boe Technology Group Co., Ltd. Image brightness adjustment device and method, and display device
EP3115990A1 (en) * 2015-07-08 2017-01-11 Canon Kabushiki Kaisha Image display apparatus and control method thereof
US10102809B2 (en) 2015-07-08 2018-10-16 Canon Kabushiki Kaisha Image display apparatus and control method thereof
CN111492399A (zh) * 2018-01-29 2020-08-04 Eizo株式会社 图像处理装置、图像处理方法以及图像处理程序
US11572589B2 (en) 2018-04-16 2023-02-07 Icahn School Of Medicine At Mount Sinai Method for prediction of acute rejection and renal allograft loss using pre-transplant transcriptomic signatures in recipient blood
CN111462001A (zh) * 2020-03-18 2020-07-28 宁波江丰生物信息技术有限公司 一种用于荧光切片扫描仪的平场校正方法
CN111462001B (zh) * 2020-03-18 2023-06-09 宁波江丰生物信息技术有限公司 一种用于荧光切片扫描仪的平场校正方法

Also Published As

Publication number Publication date
CN104620280A (zh) 2015-05-13
US20150242701A1 (en) 2015-08-27
EP2899688A4 (en) 2016-04-27
EP2899688A1 (en) 2015-07-29

Similar Documents

Publication Publication Date Title
WO2014045915A1 (ja) 画像処理装置、画像表示装置、画像撮像装置、画像印刷装置、階調変換方法、及びプログラム
US11056050B2 (en) Display unit, image processing unit, and display method for improving image quality
US9218653B2 (en) Method and apparatus for dynamic range enhancement of an image
US7969480B2 (en) Method of controlling auto white balance
WO2013118321A1 (ja) 映像表示装置およびテレビ受信装置
JP4966383B2 (ja) 液晶表示装置
CN1951101A (zh) 用于处理彩色图像数据的方法
TWI519151B (zh) 影像處理方法以及影像處理裝置
KR102522423B1 (ko) 디스플레이 장치 및 그의 영상 처리 방법
JP2008072692A (ja) 統合ヒストグラム自動適応型コントラスト制御(acc)
JP2010085524A (ja) 液晶表示装置
JP5165076B2 (ja) 映像表示装置
US10249031B2 (en) Image processing apparatus, image processing method, program, and non-transitory computer-readable storage medium
JP2004326082A5 (ja)
JP6265710B2 (ja) 画像処理装置、コンピュータプログラム及び画像処理方法
JP5975819B2 (ja) 画像処理装置
JP5663914B2 (ja) 画像表示装置
JP5745482B2 (ja) 画像処理装置、画像表示装置、画像撮像装置及び画像印刷装置、階調変換方法並びにプログラム
US20140146089A1 (en) Controller, display device having the same, and computer readable medium for the same
US10777167B2 (en) Color image display adaptation to ambient light
JP6548516B2 (ja) 画像表示装置、画像処理装置、画像表示装置の制御方法、及び、画像処理装置の制御方法
JP5896834B2 (ja) 画像調整ユニット、画像表示装置、コンピュータプログラム、記録媒体及び画像調整方法
KR20120041372A (ko) 로컬 디밍 백라이트 유닛의 하이 다이나믹 레인지를 이용한 이미지 개선 방법
JP2011203438A (ja) 画像表示装置およびプログラム
JP2023110416A (ja) 表示制御装置、表示装置、表示制御方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13839632

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14429488

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2013839632

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013839632

Country of ref document: EP