WO2009093324A1 - 画像処理装置、画像処理方法、画像処理プログラムおよび画像補正装置 - Google Patents

画像処理装置、画像処理方法、画像処理プログラムおよび画像補正装置 Download PDF

Info

Publication number
WO2009093324A1
WO2009093324A1 PCT/JP2008/051004 JP2008051004W WO2009093324A1 WO 2009093324 A1 WO2009093324 A1 WO 2009093324A1 JP 2008051004 W JP2008051004 W JP 2008051004W WO 2009093324 A1 WO2009093324 A1 WO 2009093324A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
control point
pixels
calculating
image processing
Prior art date
Application number
PCT/JP2008/051004
Other languages
English (en)
French (fr)
Inventor
Shanshan Yu
Masayoshi Shimizu
Original Assignee
Fujitsu Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Limited filed Critical Fujitsu Limited
Priority to JP2009550403A priority Critical patent/JP5152203B2/ja
Priority to PCT/JP2008/051004 priority patent/WO2009093324A1/ja
Publication of WO2009093324A1 publication Critical patent/WO2009093324A1/ja
Priority to US12/805,210 priority patent/US8300934B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H04N1/4074—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties

Definitions

  • the present invention relates to an image processing apparatus that calculates control points that specify the shape of a correction curve for correcting an image in accordance with the characteristics of an input image.
  • image correction for correcting images such as moving images and still images has been performed according to the characteristics of the input image, thereby outputting beautiful and easy-to-view images corresponding to various scenes.
  • image correction is performed to brighten the dark portion for each pixel of the image.
  • Non-Patent Document 1 image correction is performed so that the histogram after the image correction processing has a uniform distribution.
  • the histogram calculated from the input image is divided into a plurality of bins such as a dark part, an intermediate part, and a bright part according to the degree of brightness, and the scale is determined according to the ratio of the number of pixels in each bin to the total number of pixels.
  • the image is corrected so that the histogram after image processing has a uniform distribution by enlarging the tone or reducing the gradation.
  • FIGS. 17 and 18 are diagrams for explaining histogram equalization in image correction according to the related art.
  • Non-Patent Document 1 after equalizing the histogram, as shown in FIGS. 19 and 20, a correction curve used for image correction is calculated to perform image correction. More specifically, image correction is performed using a correction curve calculated along with the ratio of the number of pixels in each bin to the total number of pixels.
  • image correction is performed using a correction curve calculated along with the ratio of the number of pixels in each bin to the total number of pixels.
  • the ratio of the number of dark pixels is large with respect to the entire image, as shown in FIG. 19, the correction amount of the dark part is the largest and the correction direction is corrected in a brighter direction.
  • the ratio of the number of bright pixels is large with respect to the entire image, as shown in FIG. 20, the correction amount in the bright portion is the largest and the correction direction is also darkened.
  • Is done. 19 and 20 are diagrams for explaining image correction processing by histogram equalization according to the conventional technique.
  • An object of the present invention is to provide an image processing apparatus that calculates points.
  • an image processing apparatus disclosed in the present application is an image processing apparatus that calculates control points that specify the shape of a correction curve for correcting an image according to the characteristics of an input image.
  • a dividing unit that divides the luminance histogram of the input image into a plurality of value ranges for each gradation; and calculates the number of pixels in each range divided by the dividing unit and the number of pixels of the input image, respectively.
  • a ratio calculating means for calculating the ratio or magnitude relationship of the number of pixels in each range with respect to the number of pixels, and a control point calculation for calculating the control point based on the ratio or magnitude relation of each range calculated by the ratio calculating means And means.
  • the image processing device disclosed in the present application it is possible to calculate a control point that specifies the shape of a correction curve whose correction amount is limited only from information obtained from a luminance histogram.
  • a control point of a correction curve that can perform image correction with high quality.
  • FIG. 1 is a diagram illustrating an overview and features of the image processing apparatus according to the first embodiment.
  • FIG. 2 is a block diagram illustrating the configuration of the image processing apparatus according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of an equation for calculating the ordinates of the inflection points between the bright part and the intermediate part according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of an expression for calculating the ordinate of the music point between the intermediate portion and the dark portion according to the first embodiment.
  • FIG. 5 is a diagram showing an example of a Look-UpTable indicating the magnitude relationship of the brightness frequency.
  • FIG. 6 is a diagram illustrating an example of equations used when calculating control points based on the Look-UpTable.
  • FIG. 1 is a diagram illustrating an overview and features of the image processing apparatus according to the first embodiment.
  • FIG. 2 is a block diagram illustrating the configuration of the image processing apparatus according to the first embodiment.
  • FIG. 3 is a diagram illustrating
  • FIG. 7 is a diagram illustrating an example of an equation for calculating the curvature correction amount according to the first embodiment.
  • FIG. 8 is a diagram for explaining a case where the correction amount of the music point according to the first embodiment is limited.
  • FIG. 9 is a diagram illustrating an example of an equation for calculating a correction curve according to the first embodiment.
  • FIG. 10 is a diagram illustrating an example of a correction curve according to the first embodiment.
  • FIG. 11 is a flowchart illustrating processing performed by the image processing apparatus according to the first embodiment.
  • FIG. 12 is a diagram for explaining a process of calculating a music point with a limited change range according to the second embodiment.
  • FIG. 13 is a diagram for explaining processing by the divided bin frequency calculation unit when the dark part and the bright part according to the third embodiment are further divided.
  • FIG. 14 is a diagram for explaining processing by the control point calculation unit when the dark part and the bright part according to the third embodiment are further divided.
  • FIG. 15 is a diagram for explaining processing for calculating the correction amount from the music point by linear interpolation.
  • FIG. 16 is a diagram illustrating a computer that executes an image processing program.
  • FIG. 17 is a diagram for explaining histogram equalization in image correction according to the related art.
  • FIG. 18 is a diagram for explaining histogram equalization in image correction according to the related art.
  • FIG. 19 is a diagram for explaining image correction processing by histogram equalization according to the related art.
  • FIG. 20 is a diagram for explaining image correction processing by histogram equalization according to the related art.
  • FIG. 1 is a diagram illustrating an overview and features of the image processing apparatus according to the first embodiment.
  • the image quality depends on how the dark part of the image is output.
  • the image processing apparatus controls the shape of a correction curve for correcting an image according to the characteristics of an image such as a moving image or a still image input from another apparatus connected to the image processing apparatus. Calculate points.
  • the image processing apparatus outlines calculating control points that specify the shape of a correction curve for image correction according to the characteristics of the input image.
  • the main feature is that it is possible to calculate a control point of a correction curve that can perform image correction stably and with high quality without applying.
  • the image processing apparatus calculates a luminance histogram of the image (see (1) in FIG. 1), and divides the luminance histogram of the image into a plurality of value ranges for each gradation. (See (2) in FIG. 1).
  • the image processing apparatus when an image such as a moving image or a still image is received, the image processing apparatus reads the image, calculates a luminance component for each pixel, and calculates the appearance frequency of the calculated luminance component.
  • the luminance histogram of the image is calculated from the above.
  • the image processing apparatus displays a plurality of calculated luminance histograms in a dark part (for example, 0 to 84 gradations), an intermediate part (for example, 85 to 168 gradations), and a bright part (for example, 169 to 255 gradations). Divide into range.
  • the image processing device calculates the number of pixels of each divided range and the number of pixels of the input image, and calculates the ratio or magnitude relationship of the number of pixels of each range with respect to the number of pixels of the input image. Then, control points for designating the shape of the correction curve for correcting the image are calculated based on the ratio or the magnitude relationship of each value range (see (3) in FIG. 1).
  • the image processing apparatus counts the number of pixels in each range such as the divided dark part, intermediate part, and bright part. Then, the image processing apparatus calculates a ratio or a magnitude relationship of the counted number of pixels in each range with respect to the total number of pixels. Subsequently, the image processing apparatus calculates a curvature point (control point) that is a change point of a correction curve used for image correction, using the calculated ratio or magnitude relationship of each value range such as a dark part, an intermediate part, and a bright part. To do. Thereafter, the image processing apparatus calculates a final music point in which the calculated music point is further limited to a correction amount within a predetermined range.
  • the image processing apparatus calculates a correction curve based on the calculated control point, and corrects the input image based on the calculated correction curve (see (4) in FIG. 1). Specifically, in the above example, the image processing apparatus calculates a correction curve based on the inflection point where the calculated correction amount is limited. Then, the image processing apparatus corrects the input image by obtaining an output value from the input value based on the calculated correction curve, and outputs a corrected image.
  • the image processing apparatus uses the ratio of the number of pixels in each range divided only from the luminance histogram information of the input image such as a moving image or a still image, to adjust the gradation.
  • the curve point of the correction curve to be corrected it is possible to calculate the control point of the correction curve that can stably perform high-quality image correction without cost.
  • FIG. 2 is a block diagram illustrating the configuration of the image processing apparatus according to the first embodiment.
  • the image processing apparatus 10 includes an I / F unit 11, a storage unit 20, and a control unit 30, and controls a correction curve used for image correction according to an input image that is input. Calculate points.
  • the I / F unit 11 receives an input image such as a moving image or a still image input from another device connected to the image processing device 10 and inputs the input image to the luminance histogram calculation unit 31 described later.
  • moving images and still images may be input from a storage medium such as a CD-R as well as other connected devices.
  • the storage unit 20 stores data necessary for various types of processing by the control unit 30 and various types of processing results by the control unit 30, and particularly those closely related to the present invention include an input image storage unit 21 and a correction curve. And a storage unit 22.
  • the input image storage unit 21 stores input images such as moving images and still images input to the image processing apparatus 10.
  • the correction curve storage unit 22 stores a correction curve (see FIG. 10) used for image correction calculated by a correction curve calculation unit 34 described later.
  • FIG. 10 is a diagram illustrating an example of a correction curve according to the first embodiment.
  • the control unit 30 has an internal memory for storing a control program, a program assuming various processing procedures, and necessary data, and particularly as closely related to the present invention, a luminance histogram calculation unit 31; A divided bin frequency calculation unit 32, a control point calculation unit 33, a correction curve calculation unit 34, and an image correction unit 35 are provided, and various processes are executed by these units.
  • the divided bin frequency calculation unit 32 divides the luminance histogram of the input image into a plurality of value ranges for each gradation, calculates the number of pixels of each divided value range and the number of pixels of the input image, respectively, The ratio or the magnitude relationship of the number of pixels in each range with respect to the number is calculated. Specifically, in the above example, the divided bin frequency calculation unit 32 uses the luminance histogram calculated by the luminance histogram calculation unit 31 as “0 to 84 gradations: dark part” and “85 to 168 gradations: intermediate. Part ”,“ 169 to 255 gradations: bright part ”, etc., are divided into multiple value ranges.
  • the divided bin frequency calculation unit 32 counts the number of pixels in each of the divided dark area, intermediate area, and bright area (for example, dark area “5”, intermediate area “1”, bright area “4”, etc.). Then, the ratio (for example, dark portion “5/10”, intermediate portion “1/10”, bright portion “4/10”, etc.) with respect to the total number of pixels “10” is calculated.
  • the control point calculation unit 33 calculates a control point that designates the shape of the correction curve for correcting the image based on the calculated ratio or magnitude relationship of each value range.
  • control point calculation part 33 uses the inflection point (168,204) between the calculated bright part and the intermediate part, and based on an equation as shown in FIG. 4, between the intermediate part and the dark part.
  • the control point calculation unit 33 calculates the light point (168, 204) between the bright part and the intermediate part which are bright parts in the image, and uses the calculated bright part music point as the dark part. Since the inflection point (84, 153) between the dark part and the dark part is calculated, it is possible to correct the dark part reflecting the correction value of the bright part in the correction of the overall dark image such as the backlight image.
  • 3 is a diagram illustrating an example of an expression for calculating the ordinates of the inflection points between the bright part and the intermediate part according to the first embodiment
  • FIG. 4 illustrates the intermediate part and the dark part according to the first embodiment. It is a figure which shows the example of the type
  • the calculation of the control point that specifies the shape of the correction curve is one of the control point (curved point) calculation using the magnitude relationship between the bright part, the intermediate part, and the dark part.
  • the control point can also be calculated based on the magnitude relationship of the brightness frequency stored in advance. More specifically, as shown in FIG. 5, the control point calculation unit 33 performs control based on a LUT (Look-Up Table) indicating the magnitude relationship between the bright part frequency, the intermediate part frequency, and the total frequency stored in advance. Calculate points.
  • FIG. 5 is a diagram illustrating an example of a Look-UpTable indicating the magnitude relationship of the brightness frequency.
  • FIG. 6 is a diagram illustrating an example of equations used when calculating control points based on the Look-UpTable.
  • control point calculation unit 33 further limits the calculated music points within a predetermined range.
  • control point calculation unit 33 sets the correction amount to Th5 and the change range “36” or “69” to Th5 and Th6 when the change range “36” or “69” is equal to or less than Th5 for the calculated music point. If the correction amount is between “36” or “69”, and the change range “36” or “69” is equal to or greater than Th6, the correction amount is Th6, and the final inflection point (84, 84 + Th5), (84,153) or (84,84 + Th6) and (168,168 + Th5), (168,204) or (168,168 + Th6) are calculated.
  • the control point calculation unit 33 calculates the curved point for correcting the image in the bright direction adjusted to “Th5” at the minimum, and “Th6” at the maximum, so that it looks like a backlight image.
  • Correction curve control points for stable and high-quality image correction without correcting dark areas more than necessary or correcting bright areas more than necessary even when correcting dark images Can be calculated.
  • FIG. 7 is a diagram illustrating an example of an equation for calculating the correction amount of the music point according to the first embodiment
  • FIG. 8 illustrates a case where the correction amount of the music point according to the first embodiment is limited. It is a figure for doing.
  • the correction curve calculation unit 34 calculates a correction curve based on the music point calculated by the control point calculation unit 33.
  • the correction curve calculation unit 34 is a curved point calculated from a bright part and an intermediate part whose correction amount is limited by the control point calculation unit 33.
  • a correction curve indicated by a straight line based on an equation as shown in FIG. (A) is calculated.
  • the correction curve calculation unit 34 includes a curved point 1 (x1, y1) calculated from the bright part and the intermediate part, the correction amount of which is limited by the control point calculation part 33, and the intermediate part.
  • the correction curve (B) indicated by the curve may be calculated based on the equation shown in FIG. 9B based on the music point 2 (x2, y2) calculated from the dark portion and the dark portion.
  • FIG. 9 is a diagram illustrating an example of an equation for calculating the correction curve according to the first embodiment
  • FIG. 10 is a diagram illustrating an example of the correction curve according to the first embodiment.
  • the image correction unit 35 corrects the input image based on the correction curve calculated by the correction curve calculation unit 34.
  • the image correction unit 35 determines whether the received image or the reduced image is based on the correction curve (A) or the correction curve (B) calculated by the correction curve calculation unit 34. Make corrections.
  • a curve may be applied to the Y component of the image and then inverse conversion to the RGB component, or a curve may be applied directly to the RGB component.
  • FIG. 11 is a flowchart illustrating processing performed by the image processing apparatus 10 according to the first embodiment.
  • the image processing apparatus 10 reads the image or the reduced image and calculates a Y component for each pixel from the RGB components. The frequency of the calculated Y component is counted, and a luminance histogram of the image or reduced image is calculated based on the Y value of each pixel (step S102).
  • the image processing apparatus 10 divides the calculated luminance histogram into a plurality of value ranges for each gradation such as a dark portion, an intermediate portion, and a bright portion (step S103), and each of the divided dark portion, intermediate portion, and bright portion is divided.
  • the number of pixels in the range is counted, and a ratio or a magnitude relationship with respect to the total number of pixels in each range is calculated (step S104).
  • the image processing apparatus 10 uses the calculated ratios or magnitude relationships of the respective ranges of the dark part, the intermediate part, and the bright part to convert the inflection points of the bright part, the intermediate part, the intermediate part, and the dark part into the bright part. While calculating each while reflecting a correction value, the music point which limited the change range of the calculated music point is calculated (step S105).
  • the image processing apparatus 10 calculates a correction curve based on the calculated curvature point (step S106), and corrects the input image or the reduced image based on the calculated correction curve (step S107).
  • the correction curve is generated by a “polyline” that connects the control points with a straight line, but a curve such as “spline” may be used.
  • the image processing apparatus 10 calculates the control point that specifies the shape of the correction curve in which the change range used for correcting the image is limited from the information of the luminance histogram of the input image that is input. Therefore, it is possible to calculate a control point of a correction curve that can stably perform high-quality image correction without incurring costs.
  • the image processing apparatus 10 calculates a luminance histogram of the input image and divides the luminance histogram into a plurality of value ranges such as a dark part, an intermediate part, and a bright part for each gradation. Then, the image processing apparatus 10 calculates a ratio or a magnitude relationship with respect to the total number of pixels in each divided value range. Subsequently, the image processing apparatus 10 calculates the control points (curvature points) between the bright part and the intermediate part and the intermediate part and the dark part while limiting the correction amount, using the calculated ratio or magnitude relationship of each range. To do. Thereafter, the image processing apparatus 10 calculates a correction curve using the calculated control points, and corrects the input image input based on the calculated correction curve.
  • a correction curve using the calculated control points
  • the image processing apparatus 10 can calculate a control point with a limited correction amount from only information obtained from the luminance histogram, and as a result, can stably perform high-quality image correction without incurring costs. It is possible to calculate a control point of a correction curve that can be obtained.
  • the inflection point with a limited change range is calculated using a predetermined fixed value such as “Th5” or “Th6”, but the present invention is not limited to this.
  • the music point correction amount curve may be stored in advance in a predetermined storage unit, and the music point may be calculated using the music point correction amount curve.
  • FIG. 12 is a diagram for explaining a process of calculating a music point with a limited change range according to the second embodiment.
  • the processing other than the process of calculating the inflection point with the limited change range is the same as that of the first embodiment, and therefore the description thereof is omitted.
  • the inflection point with the limited change range is calculated. Processing to be performed will be described.
  • a curvature correction amount curve indicating a correction amount with a limited change range is stored in association with the correction amount. Specifically, as shown in FIG. 12, using a curvature correction curve for which a predetermined fixed value is not defined, the range of change of the correction amount calculated based on the equation shown in FIG. A typical music point is calculated.
  • the image processing apparatus 10 holds the curve point correction amount curve indicating the correction amount in which the change range is limited in association with the curvature point correction amount, and the final music piece is based on the calculated correction amount. Since the points are calculated, it is possible to calculate the correction amount of the curvature point with higher accuracy and to calculate the curvature point of the correction curve for performing image correction with high quality.
  • the present invention is not limited to this, and the dark part and the dark part are calculated. It is also possible to calculate the inflection point by further dividing the bright part.
  • FIG. 13 is a diagram for explaining processing by the divided bin frequency calculation unit 32 when the dark part and the bright part according to the third embodiment are further divided
  • FIG. 14 is a diagram illustrating the dark part and the bright part according to the third embodiment. It is a figure for demonstrating the process by the control point calculation part 33 when these are further divided
  • variable “i” used in FIG. 13 indicates the gradation of 0 to 255
  • “Hist (i)” indicates the gradation value of each pixel of the luminance histogram to be processed.
  • the divided bin frequency calculation unit 32 sets the pixel to the dark frequency. (Step S204).
  • the gradation value “Hist (i)” of the pixel of the histogram is compared with the predetermined value “Th2” (step S210).
  • the divided bin frequency calculation unit 32 when counting the gradation values of all the pixels, performs the same processing as in the first embodiment, and calculates the ratio of the number of pixels in each value range to the number of pixels of the input image. That is, the divided bin frequency calculation unit 32 calculates the ratio of the number of pixels of the dark part A, the dark part B, the intermediate part, the bright part A, and the bright part B to the number of pixels of the input image.
  • control point calculation unit 33 calculates a music point in which the change range between the intermediate part and the dark part is limited (step S304, step S305). Subsequently, the control point calculation unit 33 calculates a music point with a limited change range between the dark part A and the dark part B based on the music point with a limited change range between the intermediate part and the dark part (step S306, Step S307). Thereafter, the control point calculation unit 33 calculates the inflection point in which the change range between the bright part A and the bright part B is restricted based on the inflection point in which the change range between the bright part and the intermediate part is restricted (step). S308, step S309).
  • the image processing apparatus 10 further divides the dark portion and the bright portion based on the gradation value of the input pixel, and calculates the ratio of the divided value ranges to the number of pixels of the input image. Since the inflection point with a limited change range is calculated based on the calculated ratio of each range, it is possible to calculate the inflection point of the correction curve for performing image correction with higher quality. .
  • the image processing apparatus 10 calculates the origin (0, 0) and the curvature point 1 when the curvature point 1 (x1, y1) and the curvature point 2 (x2, y2) are calculated. a point located between the (x0, y0) and a point located between the inflection point 1 and Kyokuten 2 (x n, y n) by such as a linear interpolation of "x n and each input value" x0 " , The output values “y0” and “y n ” are calculated, and image correction processing is performed using the output values as the correction amount of the input image.
  • FIG. 15 is a diagram for explaining processing for calculating a correction amount from a music point by linear interpolation.
  • each component of each illustrated apparatus is functionally conceptual and does not necessarily need to be physically configured as illustrated. That is, the specific form of distribution / integration of each device is not limited to the illustrated one.
  • the luminance histogram calculation unit 31 receives an input image and stores it in the input image storage unit 21, and a luminance histogram. All or a part of the luminance histogram calculation unit to be calculated can be configured to be functionally or physically distributed / integrated in arbitrary units according to various loads or usage conditions.
  • all or a part of each processing function performed in each device may be realized by a CPU and a program that is analyzed and executed by the CPU, or may be realized as hardware by wired logic.
  • FIG. 16 is a diagram illustrating a computer that executes an image processing program.
  • a computer 110 as an image processing apparatus is configured by connecting an HDD 130, a CPU 140, a ROM 150, and a RAM 160 through a bus 180 or the like.
  • the ROM 150 has an image processing program that exhibits the same function as that of the image processing apparatus 10 shown in the first embodiment, that is, a division program 150a, a ratio / size relationship calculation program 150b, and a control as shown in FIG.
  • a point calculation program 150c is stored in advance. Note that these programs 150a to 150c may be appropriately integrated or distributed in the same manner as each component of the image processing apparatus 10 shown in FIG.
  • the CPU 140 reads out these programs 150a to 150c from the ROM 150 and executes them, so that the programs 150a to 150c are divided into a division process 140a, a ratio / magnitude relationship calculation process 140b, and a control as shown in FIG. It functions as the point calculation process 140c.
  • the processes 140a to 140c correspond to the luminance histogram calculation unit 31, the divided bin frequency calculation unit 32, and the control point calculation unit 33 shown in FIG.
  • the CPU 140 executes an image processing program based on the data recorded in the RAM 160.
  • the programs 150a to 150c are not necessarily stored in the ROM 150 from the beginning.
  • a flexible disk (FD) a CD-ROM, a DVD disk, a magneto-optical disk
  • It is connected to the computer 110 via a “portable physical medium” such as an IC card, or a “fixed physical medium” such as an HDD provided inside or outside the computer 110, and further via a public line, the Internet, a LAN, a WAN, etc.
  • a “portable physical medium” such as an IC card, or a “fixed physical medium” such as an HDD provided inside or outside the computer 110, and further via a public line, the Internet, a LAN, a WAN, etc.
  • Each program may be stored in “another computer (or server)” or the like, and the computer 110 may read and execute each program from now on.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

　画像処理装置は、入力画像の特徴に応じて画像補正するための補正カーブの形状を指定する制御点を算出する場合に、入力画像の輝度ヒストグラムを階調ごとに複数値域に分割し、分割された各値域の画素数と入力画像の画素数とを算出して、入力画像の画素数に対する各値域の画素数の割合または大小関係を算出し、算出された各値域の割合または大小関係に基づいて制御点を算出することで、コストをかけることなく、安定して高品質に画像補正を行なうことができる補正カーブの制御点を算出する。

Description

画像処理装置、画像処理方法、画像処理プログラムおよび画像補正装置
　この発明は、入力画像の特徴に応じて画像補正するための補正カーブの形状を指定する制御点を算出する画像処理装置に関する。
　従来より、動画や静止画などの画像を補正する画像補正は、入力される画像の特徴に応じて補正を行なうことで、様々なシーンに対応して綺麗で見やすい画像を出力している。例えば、デジタルカメラなどで撮影された画像において、逆光画像のような暗部の階調が見えにくい画像を補正する場合には、画像の各画素ごとに、暗い部分を明るくする補正を行なう。
　また、非特許文献１では、図１７および図１８に示すように、画像補正処理後のヒストグラムが均等分布になるように画像補正を行なう。具体的に説明すると、入力された画像から算出されるヒストグラムを明るさの度合いによって暗部、中間部および明部などの複数ビンに分割し、全体の画素数に対する各ビンの画素数の割合によって階調の拡大または階調の縮小を行なって、画像処理後のヒストグラムが均等分布になるように画像補正を行なう。なお、図１７および図１８は、従来技術に係る画像補正におけるヒストグラム均等化を説明するための図である。
　そして、非特許文献１では、ヒストグラムを均等化した後、図１９および図２０に示すように、画像補正に用いる補正カーブを算出して画像補正を行なう。具体的に説明すると、全体の画素数に対する各ビンの画素数の割合に伴って算出された補正カーブを用いて画像補正を行なう。つまり、非特許文献１では、画像全体に対して暗い画素数の割合が大きい場合に、図１９に示すように、暗部の補正量が最も大きくなり、かつ、補正方向も明るくする方向に補正される。一方、非特許文献１では、画像全体に対して明るい画素数の割合が大きい場合に、図２０に示すように、明部の補正量が最も大きくなり、かつ、補正方向も暗くする方向に補正される。なお、図１９および図２０は、従来技術に係るヒストグラム均等化による画像補正処理を説明するための図である。
R．C．Gonzalez、R．E．Woods、「Digital　Image　Processing」、Ｐ９１～Ｐ９４
　しかしながら、上記した従来の技術では、コストがかかるという課題があった。また、出力された画像の安定性が低いという課題があった。
　具体的には、逆光画像のような暗部の階調が見えにくい画像を補正する場合には、画素ごとに補正量を制御する必要があり、処理が多くなるために、コストがかかるという課題があった。また、非特許文献１のように画像補正後のヒストグラムを均等分布にする場合には、補正量および補正方向について制限することなく補正しているために、画像によっては暗部をさらに暗くする補正をして階調が不自然になり、出力された画像の安定性が低いという課題があった。
　そこで、この発明は、上記した従来技術の課題を解決するためになされたものであり、コストをかけることなく、安定して高品質に画像補正を行なうことができる補正カーブの形状を指定する制御点を算出する画像処理装置を提供することを目的とする。
　上述した課題を解決し、目的を達成するため、本願の開示する画像処理装置は、入力画像の特徴に応じて画像補正するための補正カーブの形状を指定する制御点を算出する画像処理装置であって、前記入力画像の輝度ヒストグラムを階調ごとに複数値域に分割する分割手段と、前記分割手段により分割された各値域の画素数と入力画像の画素数とをそれぞれ算出して、入力画像の画素数に対する各値域の画素数の割合または大小関係を算出する割合算出手段と、前記割合算出手段により算出された各値域の割合または大小関係に基づいて、前記制御点を算出する制御点算出手段と、を備えたことを要件とする。
　本願の開示する画像処理装置によれば、輝度ヒストグラムから得られる情報のみから補正量が制限された補正カーブの形状を指定する制御点を算出することができる結果、コストをかけることなく、安定して高品質に画像補正を行なうことができる補正カーブの制御点を算出できるという効果を奏する。
図１は、実施例１に係る画像処理装置の概要および特徴を示す図である。 図２は、実施例１に係る画像処理装置の構成を示すブロック図である。 図３は、実施例１に係る明部と中間部との曲点の縦座標を算出するための式の例を示す図である。 図４は、実施例１に係る中間部と暗部との曲点の縦座標を算出するための式の例を示す図である。 図５は、明るさの度数の大小関係を示すＬｏｏｋ－ＵｐＴａｂｌｅの例を示す図である。 図６は、Ｌｏｏｋ－ＵｐＴａｂｌｅに基づいて制御点を算出する際に用いる式の例を示す図である。 図７は、実施例１に係る曲点の補正量を算出するための式の例を示す図である。 図８は、実施例１に係る曲点の補正量を制限する場合について説明するための図である。 図９は、実施例１に係る補正カーブを算出するための式の例を示す図である。 図１０は、実施例１に係る補正カーブの例を示す図である。 図１１は、実施例１に係る画像処理装置による処理を示すフローチャートである。 図１２は、実施例２に係る変化範囲が制限された曲点を算出する処理について説明するための図である。 図１３は、実施例３に係る暗部と明部とをさらに分割した場合の分割ビン度数算出部による処理を説明するための図である。 図１４は、実施例３に係る暗部と明部とをさらに分割した場合の制御点算出部による処理を説明するための図である。 図１５は、曲点から線形補間により補正量を算出する処理を説明するための図である。 図１６は、画像処理プログラムを実行するコンピュータを示す図である。 図１７は、従来技術に係る画像補正におけるヒストグラム均等化を説明するための図である。 図１８は、従来技術に係る画像補正におけるヒストグラム均等化を説明するための図である。 図１９は、従来技術に係るヒストグラム均等化による画像補正処理を説明するための図である。 図２０は、従来技術に係るヒストグラム均等化による画像補正処理を説明するための図である。
符号の説明
　１０　画像処理装置
　１１　Ｉ／Ｆ部
　２０　記憶部
　２１　入力画像記憶部
　２２　補正カーブ記憶部
　３０　制御部
　３１　輝度ヒストグラム算出部
　３２　分割ビン度数算出部
　３３　制御点算出部
　３４　補正カーブ算出部
　３５　画像補正部
　以下に添付図面を参照して、この発明に係る画像処理装置の実施例を詳細に説明する。なお、以下では、実施例１に係る画像処理装置の概要および特徴、画像処理装置の構成および処理の流れを順に説明し、最後に本実施例による効果を説明する。なお、以下の実施例においては、補正カーブの形状を指定する制御点として、補正カーブの曲点を例に挙げて説明するが、本実施例の制御点の算出対象は補正カーブの曲点に限られるものではない。
［画像処理装置の概要および特徴］
　次に、実施例１に係る画像処理装置の概要および特徴を説明する。図１は、実施例１に係る画像処理装置の概要および特徴を示す図である。
　一般的に、逆光画像などの画像処理は、画像の暗い部分をいかに出力するかによって、画像の画質が左右される。そして、この画像処理装置は、当該画像処理装置に接続される他の装置などから入力される動画や静止画などの画像の特徴に応じて、画像補正するための補正カーブの形状を指定する制御点を算出する。
　このような構成において、画像処理装置は、入力画像の特徴に応じて画像補正するための補正カーブの形状を指定する制御点を算出することを概要とし、特に、画像を補正するのに際して、コストをかけることなく、安定して高品質に画像補正を行なうことができる補正カーブの制御点を算出することが可能である点を主たる特徴とする。
　この主たる特徴について説明すると、画像処理装置は、入力画像を受け付けると、当該画像の輝度ヒストグラムを算出し（図１の（１）参照）、画像の輝度ヒストグラムを階調ごとに複数値域に分割する（図１の（２）参照）。
　具体的に例を挙げると、画像処理装置は、入力される動画や静止画などの画像を受け付けると、当該画像を読み込んで画素ごとの輝度成分を算出して、算出された輝度成分の出現度数から画像の輝度ヒストグラムを算出する。続いて、画像処理装置は、算出された輝度ヒストグラムを暗部（例えば、０～８４階調）、中間部（例えば、８５～１６８階調）、明部（例えば、１６９～２５５階調）の複数値域に分割する。
　そして、画像処理装置は、分割された各値域の画素数と入力画像の画素数とをそれぞれ算出して、入力画像の画素数に対する各値域の画素数の割合または大小関係を算出し、算出された各値域の割合または大小関係に基づいて画像補正するための補正カーブの形状を指定する制御点を算出する（図１の（３）参照）。
　上記した例で具体的に説明すると、画像処理装置は、分割された暗部、中間部、明部などの各値域の画素数をカウントする。そして、画像処理装置は、カウントされた各値域の画素数の全体画素数に対する割合または大小関係を算出する。続いて、画像処理装置は、算出された暗部、中間部、明部などの各値域の割合または大小関係を用いて、画像補正に用いる補正カーブの変化点となる曲点（制御点）を算出する。その後、画像処理装置は、算出された曲点をさらに所定の範囲内の補正量に制限した最終的な曲点を算出する。
　続いて、画像処理装置は、算出された制御点に基づいて補正カーブを算出し、算出された補正カーブに基づいて入力画像を補正する（図１の（４）参照）。上記した例で具体的に説明すると、画像処理装置は、算出された補正量が制限された曲点に基づいて補正カーブを算出する。そして、画像処理装置は、算出された補正カーブに基づいて入力値から出力値を求めることで入力画像を補正して、補正された画像を出力する。
　このように、実施例１に係る画像処理装置は、入力される動画や静止画などの画像の輝度ヒストグラム情報のみから、複数値域に分割した各値域の画素数の割合を用いて、階調を補正する補正カーブの曲点を算出することができる結果、コストをかけることなく、安定して高品質に画像補正を行なうことができる補正カーブの制御点を算出することが可能である。
［画像処理装置の構成］
　次に、図２を用いて、実施例１に係る画像処理装置の構成を説明する。図２は、実施例１に係る画像処理装置の構成を示すブロック図である。図２に示すように、画像処理装置１０は、Ｉ／Ｆ部１１と、記憶部２０と、制御部３０とから構成され、入力される入力画像に応じて画像補正に用いられる補正カーブの制御点を算出する。
　Ｉ／Ｆ部１１は、画像処理装置１０に接続される他の装置から入力された動画や静止画などの入力画像を受け付けて後述する輝度ヒストグラム算出部３１に入力する。なお、動画や静止画は、接続される他の装置だけでなく、ＣＤ－Ｒなどの記憶媒体から入力されることとしてもよい。
　記憶部２０は、制御部３０による各種処理に必要なデータや、制御部３０による各種処理結果を記憶するとともに、特に本発明に密接に関連するものとしては、入力画像記憶部２１と、補正カーブ記憶部２２とを備える。
　入力画像記憶部２１は、画像処理装置１０に入力される動画や静止画などの入力画像を記憶する。また、補正カーブ記憶部２２は、後述する補正カーブ算出部３４により算出される画像補正に用いられる補正カーブ（図１０参照）を記憶する。なお、図１０は、実施例１に係る補正カーブの例を示す図である。
　制御部３０は、制御プログラム、各種の処理手順などを想定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に本発明に密接に関連するものとしては、輝度ヒストグラム算出部３１と、分割ビン度数算出部３２と、制御点算出部３３と、補正カーブ算出部３４と、画像補正部３５とを備え、これらによって種々の処理を実行する。
　輝度ヒストグラム算出部３１は、入力画像を受け付けて、当該画像の輝度ヒストグラムを算出する。具体的に例を挙げると、輝度ヒストグラム算出部３１は、入力画像を受け付けると、当該画像または縮小画像を入力画像記憶部２１に格納する。そして、輝度ヒストグラム算出部３１は、入力画像記憶部２１に格納された画像または縮小画像を読み込んでＲＧＢ成分から画素ごとのＹ成分（輝度成分）を「Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ」などの変換式から算出する。続いて、輝度ヒストグラム算出部３１は、算出されたＹ成分の度数をカウントして、各画素のＹ値に基づいて画像または縮小画像の輝度ヒストグラムを算出する。
　分割ビン度数算出部３２は、入力画像の輝度ヒストグラムを階調ごとに複数値域に分割して、分割された各値域の画素数と入力画像の画素数とをそれぞれ算出して、入力画像の画素数に対する各値域の画素数の割合または大小関係を算出する。上記した例で具体的に例を挙げると、分割ビン度数算出部３２は、輝度ヒストグラム算出部３１により算出された輝度ヒストグラムを「０～８４階調：暗部」、「８５～１６８階調：中間部」、「１６９～２５５階調：明部」などの階調ごとに複数値域に分割する。そして、分割ビン度数算出部３２は、分割された暗部、中間部および明部の各値域の画素数（例えば、暗部「５」、中間部「１」、明部「４」など）をカウントして、全体の画素数「１０」に対する割合（例えば、暗部「５／１０」、中間部「１／１０」、明部「４／１０」など）を算出する。
　制御点算出部３３は、算出された各値域の割合または大小関係に基づいて画像補正するための補正カーブの形状を指定する制御点を算出する。上記した例で具体的に例を挙げると、制御点算出部３３は、分割ビン度数算出部３２により算出された暗部、中間部および明部の各値域の割合を用いて、図３に示すような式に基づいて明部と中間部との間における曲点の縦座標「２５５×（１－４／（２×１０））＝２０４」を算出する。ここで、明部と中間部との間における曲点の横座標は、「Ｔｈ２＝１６８」、重みＷ１は、「Ｗ１＝２」とする。そして、制御点算出部３３は、算出された明部と中間部との間における曲点（１６８，２０４）を用いて、図４に示すような式に基づいて中間部と暗部との間における曲点の縦座標「２０４－２５５×（１／（０．５×１０））＝１５３」を算出する。ここで、中間部と暗部との間における曲点の横座標は、「Ｔｈ１＝８４」、重みＷ２は、「Ｗ２＝０．５」とする。
　つまり、制御点算出部３３は、画像において明るい部分となる明部と中間部との曲点（１６８，２０４）を算出して、算出された明るい部分の曲点を用いて暗い部分となる中間部と暗部との曲点（８４，１５３）を算出するので、逆光画像などの全体的に暗い画像の補正において、明るい部分の補正値を反映した暗い部分の補正を行なうことが可能である。なお、図３は、実施例１に係る明部と中間部との曲点の縦座標を算出するための式の例を示す図であり、図４は、実施例１に係る中間部と暗部との曲点の縦座標を算出するための式の例を示す図である。
　また、補正カーブの形状を指定する制御点の算出は、明部、中間部および暗部の大小関係を利用した制御点（曲点）算出の一つとして、上記したように、各値域の割合から算出する場合を説明したが、予め保存された明るさの度数の大小関係に基づいて制御点を算出することもできる。具体的に説明すると、制御点算出部３３は、図５に示すように、予め保存された明部度数、中間部度数および総度数の大小関係を示すＬＵＴ（Look－Up　Table）に基づいて制御点を算出する。なお、図５は、明るさの度数の大小関係を示すＬｏｏｋ－ＵｐＴａｂｌｅの例を示す図である。
　このＬＵＴを用いた制御点の算出は、例えば、図６の（Ａ）と（Ｂ）とに示す式を用いて算出することとなる。また、ＬＵＴを用いた制御点の算出式においては、図３および図４で示した曲点の算出式の例と同様に、明部と中間部との制御点を算出した後に、当該明部と中間部との制御点算出結果を用いつつ、中間部と暗部との制御点を算出する。なお、図６は、Ｌｏｏｋ－ＵｐＴａｂｌｅに基づいて制御点を算出する際に用いる式の例を示す図である。
　続いて、制御点算出部３３は、算出された曲点をさらに所定の範囲内に制限する。上記した例で具体的に例を挙げると、制御点算出部３３は、算出された曲点（１６８，２０４）および（８４，１５３）を、図７に示すような式に基づいて補正量「２０４－１６８＝３６」および「１５３－８４＝６９」を算出する。また、制御点算出部３３は、曲点の補正量を図８に示すような制限に基づいて算出する。
　つまり、制御点算出部３３は、算出された曲点について変化範囲「３６」または「６９」がＴｈ５以下である場合に補正量をＴｈ５、変化範囲「３６」または「６９」がＴｈ５とＴｈ６との間である場合に補正量を「３６」または「６９」、変化範囲「３６」または「６９」がＴｈ６以上である場合に補正量をＴｈ６として、最終的な曲点（８４，８４＋Ｔｈ５）、（８４，１５３）または（８４，８４＋Ｔｈ６）と、（１６８，１６８＋Ｔｈ５）、（１６８，２０４）または（１６８，１６８＋Ｔｈ６）とを算出する。この結果、制御点算出部３３は、曲点の変化範囲が最小でも「Ｔｈ５」、最大でも「Ｔｈ６」に調整された明るい方向に画像補正するための曲点を算出するので、逆光画像のような暗い画像を補正する場合でも、暗部を必要以上に暗くする補正、または、明部を必要以上に明るくする補正を行なうことなく安定して高品質に画像補正を行なうための補正カーブの制御点を算出することが可能である。なお、図７は、実施例１に係る曲点の補正量を算出するための式の例を示す図であり、図８は、実施例１に係る曲点の補正量を制限する場合について説明するための図である。
　その後、補正カーブ算出部３４は、制御点算出部３３により算出された曲点に基づいて補正カーブを算出する。上記した例で具体的に例を挙げると、補正カーブ算出部３４は、図１０に示すように、制御点算出部３３により補正量が制限された明部と中間部とから算出された曲点１（ｘ１，ｙ１）と、中間部と暗部とから算出された曲点２（ｘ２，ｙ２）とに基づいて、図９の（Ａ）に示すような式に基づいて直線で示される補正カーブ（Ａ）を算出する。
　また、補正カーブ算出部３４は、図１０に示すように、制御点算出部３３により補正量が制限された明部と中間部とから算出された曲点１（ｘ１，ｙ１）と、中間部と暗部とから算出された曲点２（ｘ２，ｙ２）とに基づいて、図９の（Ｂ）に示すような式に基づいて曲線で示される補正カーブ（Ｂ）を算出することとしてもよい。なお、図９は、実施例１に係る補正カーブを算出するための式の例を示す図であり、図１０は、実施例１に係る補正カーブの例を示す図である。
　そして、画像補正部３５は、補正カーブ算出部３４により算出された補正カーブに基づいて入力画像を補正する。上記した例で具体的に例を挙げると、画像補正部３５は、補正カーブ算出部３４により算出された補正カーブ（Ａ）や補正カーブ（Ｂ）などに基づいて、受け付けた画像または縮小画像の補正を行なう。なお、画像補正においては、画像のＹ成分にカーブをかけてからＲＧＢ成分に逆変換してもよいし、直接ＲＧＢ成分にカーブをかけてもよい。
［実施例１に係る画像処理装置による処理］
　次に、図１１を用いて、実施例１に係る画像処理装置１０による処理を説明する。図１１は、実施例１に係る画像処理装置１０による処理を示すフローチャートである。
　図１１に示すように、画像処理装置１０は、当該画像処理装置１０に画像が入力されると（ステップＳ１０１肯定）、当該画像または縮小画像を読み込んでＲＧＢ成分から画素ごとのＹ成分を算出し、算出されたＹ成分の度数をカウントして、各画素のＹ値に基づいて画像または縮小画像の輝度ヒストグラムを算出する（ステップＳ１０２）。
　そして、画像処理装置１０は、算出された輝度ヒストグラムを暗部、中間部および明部などの階調ごとに複数値域に分割して（ステップＳ１０３）、分割された暗部、中間部および明部の各値域の画素数をカウントして、各値域の全体の画素数に対する割合または大小関係を算出する（ステップＳ１０４）。
　続いて、画像処理装置１０は、算出された暗部、中間部および明部の各値域の割合または大小関係を用いて、明部および中間部と中間部および暗部との曲点を、明るい部分の補正値を反映しつつそれぞれ算出するとともに、算出された曲点の変化範囲を制限した曲点を算出する（ステップＳ１０５）。
　その後、画像処理装置１０は、算出された曲点に基づいて補正カーブを算出して（ステップＳ１０６）、算出された補正カーブに基づいて入力された画像または縮小画像の補正を行なう（ステップＳ１０７）。なお、具体的には、制御点を直線で結ぶ「折れ線」によって補正カーブを生成することとするが、「スプライン」などの曲線を用いてもかまわない。
［実施例１による効果］
　このように、画像処理装置１０は、入力される入力画像の輝度ヒストグラムの情報から、画像を補正するために用いる変化範囲が制限された補正カーブの形状を指定する制御点を算出することとしたので、コストをかけることなく、安定して高品質に画像補正を行なうことができる補正カーブの制御点を算出することが可能である。
　例えば、画像処理装置１０は、入力画像の輝度ヒストグラムを算出して、当該輝度ヒストグラムを階調ごとに暗部、中間部および明部などの複数値域に分割する。そして、画像処理装置１０は、分割された各値域の全体画素数に対する割合または大小関係を算出する。続いて、画像処理装置１０は、算出された各値域の割合または大小関係を用いて明部および中間部と、中間部および暗部との制御点（曲点）を、補正量を制限しつつ算出する。その後、画像処理装置１０は、算出された制御点を用いて補正カーブを算出し、算出された補正カーブに基づいて入力された入力画像の補正を行なう。つまり、画像処理装置１０は、輝度ヒストグラムから得られる情報のみから補正量が制限された制御点を算出することができる結果、コストをかけることなく、安定して高品質に画像補正を行なうことができる補正カーブの制御点を算出することが可能である。
　ところで、実施例１では、「Ｔｈ５」や「Ｔｈ６」などの所定の固定値を用いて変化範囲が制限された曲点を算出する場合を説明したが、本発明はこれに限定されるものではなく、所定の記憶部に予め曲点補正量カーブを記憶して、当該曲点補正量カーブを用いて曲点を算出することもできる。
［実施例２に係る変化範囲が制限された曲点を算出する処理］
　そこで、以下の実施例２では、図１２を用いて、実施例２に係る画像処理装置１０による変化範囲が制限された曲点を算出する処理について説明する。図１２は、実施例２に係る変化範囲が制限された曲点を算出する処理について説明するための図である。なお、変化範囲が制限された曲点を算出する処理以外の処理は、上記した実施例１と同様の処理となるので説明を省略して、ここでは、変化範囲が制限された曲点を算出する処理について説明する。
　実施例１と異なる点は、補正量に対応付けて、変化範囲が制限された補正量を示す曲点補正量カーブを記憶している点である。具体的には、図１２に示すように、所定の固定値が定められていない曲点補正カーブを用いて、図７に示す式に基づいて算出された補正量の変化範囲を制限しつつ最終的な曲点を算出する。
［実施例２による効果］
　このように、画像処理装置１０は、曲点の補正量に対応付けて変化範囲が制限された補正量を示す曲点補正量カーブを保持し、算出された補正量に基づいて最終的な曲点を算出することとしたので、より高精度に曲点の補正量を算出して、高品質に画像補正を行なうための補正カーブの曲点を算出することが可能である。
　ところで、実施例１では、輝度ヒストグラムを階調ごとに暗部、中間部および明部に分割して曲点を算出する場合を説明したが、本発明はこれに限定されるものではなく、暗部と明部とをさらに細かく分割して曲点を算出することもできる。
［実施例３に係る分割ビン度数算出部による処理］
　そこで、以下の実施例３では、図１３と図１４とを用いて、実施例３に係る画像処理装置１０による処理について説明する。図１３は、実施例３に係る暗部と明部とをさらに分割した場合の分割ビン度数算出部３２による処理を説明するための図であり、図１４は、実施例３に係る暗部と明部とをさらに分割した場合の制御点算出部３３による処理を説明するための図である。
　また、図１３において用いる変数「ｉ」は、０～２５５の階調を示しており、「Ｈｉｓｔ（ｉ）」は、処理される輝度ヒストグラムの各画素の階調値を示している。また、図１３において用いる所定の値「Ｔｈ１～Ｔｈ４」は、例えば、「Ｔｈ１＝８４」、「Ｔｈ２＝１６８」、「Ｔｈ３＝４２」および「Ｔｈ４＝２１２」などの値である。なお、実施例３に係る画像処理装置１０の構成や一部の機能については、実施例１と同様のものとなるのでその説明を省略して、ここでは、実施例１とは異なる分割ビン度数算出部３２と制御点算出部３３とによる処理について説明する。
　図１３に示すように、分割ビン度数算出部３２は、輝度ヒストグラム算出部３１により入力画像の輝度ヒストグラムが算出されると（ステップＳ２０１肯定）、変数ｉを「ｉ＝０」にして（ステップＳ２０２）、輝度ヒストグラムの画素の階調値「Ｈｉｓｔ（ｉ）」と所定値「Ｔｈ１」とを比較する（ステップＳ２０３）。
　そして、分割ビン度数算出部３２は、輝度ヒストグラムの画素の階調値「Ｈｉｓｔ（ｉ）＝３０」が所定値「Ｔｈ１＝８４」よりも小さい場合に（ステップＳ２０３肯定）、当該画素を暗部度数としてカウントする（ステップＳ２０４）。
　続いて、分割ビン度数算出部３２は、輝度ヒストグラムの画素の階調値「Ｈｉｓｔ（ｉ）＝３０」が所定値「Ｔｈ３＝４２」よりも小さい場合に（ステップＳ２０５肯定）、当該画素を暗部度数Ａとしてカウントして（ステップＳ２０６）、輝度ヒストグラムの画素の階調値「Ｈｉｓｔ（ｉ）＝５０」が所定値「Ｔｈ３＝４２」以上である場合に（ステップＳ２０５否定）、当該画素を暗部度数Ｂとしてカウントする（ステップＳ２０７）。
　その後、分割ビン度数算出部３２は、変数ｉを「ｉ＝ｉ＋１」として（ステップＳ２０８）、当該変数ｉが「２５５」以上である場合に処理を終了する（ステップＳ２０９否定）。なお、分割ビン度数算出部３２は、変数ｉが「２５５」より小さい場合には（ステップＳ２０９肯定）、ステップＳ２０３の処理を行なう。
　また、分割ビン度数算出部３２は、ステップＳ２０３において、輝度ヒストグラムの画素の階調値「Ｈｉｓｔ（ｉ）＝９０」が所定値「Ｔｈ１＝８４」以上である場合に（ステップＳ２０３否定）、輝度ヒストグラムの画素の階調値「Ｈｉｓｔ（ｉ）」と所定値「Ｔｈ２」とを比較する（ステップＳ２１０）。
　そして、分割ビン度数算出部３２は、輝度ヒストグラムの画素の階調値「Ｈｉｓｔ（ｉ）＝１００」が所定値「Ｔｈ２＝１６８」よりも小さい場合に（ステップＳ２１０肯定）、当該画素を中間部度数としてカウントして（ステップＳ２１１）、ステップＳ２０８の処理を行なう。
　また、分割ビン度数算出部３２は、ステップＳ２１０において、輝度ヒストグラムの画素の階調値「Ｈｉｓｔ（ｉ）＝２００」が所定値「Ｔｈ２＝１６８」以上である場合に（ステップＳ２１０否定）、当該画素を明部度数としてカウントする（ステップＳ２１２）。
　そして、分割ビン度数算出部３２は、輝度ヒストグラムの画素の階調値「Ｈｉｓｔ（ｉ）＝２００」が所定値「Ｔｈ４＝２１２」よりも小さい場合に（ステップＳ２１３肯定）、当該画素を明部度数Ａとしてカウントして（ステップＳ２１４）、輝度ヒストグラムの画素の階調値「Ｈｉｓｔ（ｉ）＝２３０」が所定値「Ｔｈ４＝２１２」以上である場合に（ステップＳ２１３否定）、当該画素を明部度数Ｂとしてカウントして（ステップＳ２１５）、ステップＳ２０８の処理を行なう。
　なお、分割ビン度数算出部３２は、全ての画素の階調値をカウントすると、実施例１と同様の処理を行なって、入力画像の画素数に対する各値域の画素数の割合を算出する。つまり、分割ビン度数算出部３２は、入力画像の画素数に対する暗部Ａ、暗部Ｂ、中間部、明部Ａおよび明部Ｂの画素数の割合を算出する。
［実施例３に係る制御点算出部による処理］
　次に、実施例３に係る制御点算出部３３による処理について説明する。図１４に示すように、制御点算出部３３は、分割ビン度数算出部３２により各値域の画素数の割合が算出されると（ステップＳ３０１肯定）、実施例１と同様の処理を行なって、明部と中間部との変化範囲が制限された曲点を算出する（ステップＳ３０２、ステップＳ３０３）。
　そして、制御点算出部３３は、中間部と暗部との変化範囲が制限された曲点を算出する（ステップＳ３０４、ステップＳ３０５）。続いて、制御点算出部３３は、暗部Ａと暗部Ｂとの変化範囲が制限された曲点を、中間部と暗部との変化範囲が制限された曲点に基づいて算出する（ステップＳ３０６、ステップＳ３０７）。その後、制御点算出部３３は、明部Ａと明部Ｂとの変化範囲が制限された曲点を、明部と中間部との変化範囲が制限された曲点に基づいて算出する（ステップＳ３０８、ステップＳ３０９）。
［実施例３による効果］
　このように、画像処理装置１０は、入力される画素の階調値に基づいて、暗部と明部とをさらに細かく分割し、分割された各値域の入力画像の画素数に対する割合を算出して、算出された各値域の割合に基づいて変化範囲が制限された曲点を算出することとしたので、さらに高品質に画像補正を行なうための補正カーブの曲点を算出することが可能である。
　さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、（１）線形補間により補正量を算出、（２）システム構成、（３）プログラムに区分けして異なる実施例を説明する。
（１）線形補間により補正量を算出
　上記実施例１～３では、算出された曲点に基づいて補正カーブを算出し、算出された補正カーブに基づいて入力画像を補正する場合を説明したが、本発明はこれに限定されるものではなく、算出された各曲点を線形補間することにより補正量を算出することもできる。
　例えば、画像処理装置１０は、図１５に示すように、曲点１（ｘ１，ｙ１）と曲点２（ｘ２，ｙ２）とが算出されると、原点（０，０）と曲点１との間に位置する点（ｘ０，ｙ０）や、曲点１と曲点２との間に位置する点（ｘｎ，ｙｎ）などを線形補間により、各入力値「ｘ０」と「ｘｎ」とから各出力値「ｙ０」と「ｙｎ」とを算出して、当該各出力値を入力画像の補正量として画像補正処理を行なう。つまり、画像処理装置１０は、画像補正するための補正カーブの曲点が算出されると、画像補正するための補正カーブを算出することなく画像補正を行なうので、処理負荷を削減した画像補正処理を実施することが可能である。なお、図１５は、曲点から線形補間により補正量を算出する処理を説明するための図である。
（２）システム構成
　また、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメタを含む情報（例えば、図２に示した補正カーブ記憶部２２に格納される補正カーブなどの情報）については、特記する場合を除いて任意に変更することができる。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、例えば、輝度ヒストグラム算出部３１を、入力画像を受け付けて入力画像記憶部２１に格納する画像受付部と、輝度ヒストグラムを算出する輝度ヒストグラム算出部として分散するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
（３）プログラム
　なお、本実施例で説明した画像処理装置は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１６を用いて、上記の実施例に示した画像処理装置と同様の機能を有する画像処理プログラムを実行するコンピュータの一例を説明する。図１６は、画像処理プログラムを実行するコンピュータを示す図である。
　図１６に示すように、画像処理装置としてのコンピュータ１１０は、ＨＤＤ１３０、ＣＰＵ１４０、ＲＯＭ１５０およびＲＡＭ１６０をバス１８０などで接続して構成される。
　ＲＯＭ１５０には、上記の実施例１に示した画像処理装置１０と同様の機能を発揮する画像処理プログラム、つまり、図１６に示すように分割プログラム１５０ａと、割合／大小関係算出プログラム１５０ｂと、制御点算出プログラム１５０ｃとが、あらかじめ記憶されている。なお、これらのプログラム１５０ａ～１５０ｃについては、図２に示した画像処理装置１０の各構成要素と同様、適宜統合または、分散してもよい。
　そして、ＣＰＵ１４０がこれらのプログラム１５０ａ～プログラム１５０ｃをＲＯＭ１５０から読み出して実行することで、図１６に示すように、プログラム１５０ａ～プログラム１５０ｃは、分割プロセス１４０ａと、割合／大小関係算出プロセス１４０ｂと、制御点算出プロセス１４０ｃとして機能するようになる。なお、プロセス１４０ａ～プロセス１４０ｃは、図２に示した、輝度ヒストグラム算出部３１と、分割ビン度数算出部３２と、制御点算出部３３とにそれぞれ対応する。
　そして、ＣＰＵ１４０はＲＡＭ１６０に記録されたデータに基づいて画像処理プログラムを実行する。
　なお、上記した各プログラム１５０ａ～１５０ｃについては、必ずしも最初からＲＯＭ１５０に記憶させておく必要はなく、例えば、コンピュータ１１０に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、またはコンピュータ１１０の内外に備えられるＨＤＤなどの「固定用の物理媒体」、さらには公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１１０に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておき、コンピュータ１１０がこれから各プログラムを読み出して実行するようにしてもよい。

Claims (8)

  1. 　入力画像の特徴に応じて画像補正するための補正カーブの形状を指定する制御点を算出する画像処理装置であって、
    　前記入力画像の輝度ヒストグラムを階調ごとに複数値域に分割する分割手段と、
    　前記分割手段により分割された各値域の画素数と入力画像の画素数とをそれぞれ算出して、入力画像の画素数に対する各値域の画素数の割合または大小関係を算出する割合算出手段と、
    　前記割合算出手段により算出された各値域の割合または大小関係に基づいて、前記制御点を算出する制御点算出手段と、
    　を備えたことを特徴とする画像処理装置。
  2. 　前記分割手段は、前記入力画像の輝度ヒストグラムを階調ごとに暗部、中間部および明部の複数値域に分割することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記分割手段は、前記入力画像の輝度ヒストグラムを階調ごとに暗部、中間部および明部の複数値域に分割して、暗部と明部とをさらに複数値域に分割することを特徴とする請求項２に記載の画像処理装置。
  4. 　前記制御点算出手段は、前記割合算出手段により算出された各値域の割合または大小関係に基づいて前記制御点を算出し、算出された制御点をさらに所定の範囲内に制限することを特徴とする請求項１に記載の画像処理装置。
  5. 　前記制御点算出手段は、前記割合算出手段により算出された各値域の割合または大小関係に基づいて、階調値の大きな明るい部分から階調値の小さな暗い部分の順序で前記制御点を算出し、さらに、階調値の小さな暗い部分の制御点を階調値の大きな明るい部分の制御点に基づいて算出することを特徴とする請求項１に記載の画像処理装置。
  6. 　入力画像の特徴に応じて画像を補正する画像補正装置であって、
    　前記入力画像の輝度ヒストグラムを階調ごとに複数値域に分割する分割手段と、
    　前記分割手段により分割された各値域の画素数と入力画像の画素数とをそれぞれ算出して、入力画像の画素数に対する各値域の画素数の割合または大小関係を算出する割合算出手段と、
    　前記割合算出手段により算出された各値域の割合または大小関係に基づいて画像を補正するための補正カーブの形状を指定する制御点を算出し、算出された制御点をさらに所定の範囲内に制限して補正した制御点を算出する制御点算出手段と、
    　前記制御点算出手段により算出された制御点に基づいて、補正カーブを算出する補正カーブ算出手段と、
    　前記補正カーブ算出手段により算出された補正カーブに基づいて前記入力画像を補正する画像補正手段と、
    　を備えたことを特徴とする画像補正装置。
  7. 　入力画像の特徴に応じて画像補正するための補正カーブの形状を指定する制御点を算出する画像処理装置に適した画像処理方法であって、
    　前記入力画像の輝度ヒストグラムを階調ごとに複数値域に分割する分割工程と、
    　前記分割工程により分割された各値域の画素数と入力画像の画素数とをそれぞれ算出して、入力画像の画素数に対する各値域の画素数の割合または大小関係を算出する割合算出工程と、
    　前記割合算出工程により算出された各値域の割合または大小関係に基づいて、前記制御点を算出する制御点算出工程と、
    　を含んだことを特徴とする画像処理方法。
  8. 　入力画像の特徴に応じて画像補正するための補正カーブの形状を指定する制御点を算出する画像処理装置としてのコンピュータに実行させる画像処理プログラムであって、
    　前記入力画像の輝度ヒストグラムを階調ごとに複数値域に分割する分割手順と、
    　前記分割手順により分割された各値域の画素数と入力画像の画素数とをそれぞれ算出して、入力画像の画素数に対する各値域の画素数の割合または大小関係を算出する割合算出手順と、
    　前記割合算出手順により算出された各値域の割合または大小関係に基づいて、前記制御点を算出する制御点算出手順と、
    　をコンピュータに実行させることを特徴とする画像処理プログラム。
PCT/JP2008/051004 2008-01-24 2008-01-24 画像処理装置、画像処理方法、画像処理プログラムおよび画像補正装置 WO2009093324A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009550403A JP5152203B2 (ja) 2008-01-24 2008-01-24 画像処理装置、画像処理方法、画像処理プログラムおよび画像補正装置
PCT/JP2008/051004 WO2009093324A1 (ja) 2008-01-24 2008-01-24 画像処理装置、画像処理方法、画像処理プログラムおよび画像補正装置
US12/805,210 US8300934B2 (en) 2008-01-24 2010-07-19 Image processing device and image correction device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/051004 WO2009093324A1 (ja) 2008-01-24 2008-01-24 画像処理装置、画像処理方法、画像処理プログラムおよび画像補正装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/805,210 Continuation US8300934B2 (en) 2008-01-24 2010-07-19 Image processing device and image correction device

Publications (1)

Publication Number Publication Date
WO2009093324A1 true WO2009093324A1 (ja) 2009-07-30

Family

ID=40900841

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/051004 WO2009093324A1 (ja) 2008-01-24 2008-01-24 画像処理装置、画像処理方法、画像処理プログラムおよび画像補正装置

Country Status (3)

Country Link
US (1) US8300934B2 (ja)
JP (1) JP5152203B2 (ja)
WO (1) WO2009093324A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011097465A (ja) * 2009-10-30 2011-05-12 Dainippon Printing Co Ltd 画像処理装置、画像処理方法、および、画像処理用プログラム
US8896702B2 (en) 2011-10-25 2014-11-25 Guangzhou Sat Infrared Technology Co. Ltd. System and method for processing digital signals of an infrared image

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8774554B1 (en) * 2011-05-09 2014-07-08 Exelis, Inc. Bias and plateau limited advanced contrast enhancement
US8774553B1 (en) * 2011-05-09 2014-07-08 Exelis, Inc. Advanced adaptive contrast enhancement
US8942484B2 (en) * 2011-09-06 2015-01-27 Qualcomm Incorporated Text detection using image regions
US10129511B2 (en) * 2016-08-01 2018-11-13 Ricoh Company, Ltd. Image processing apparatus, image projection apparatus, and image processing method
CN113781968A (zh) * 2021-09-08 2021-12-10 深圳创维－Rgb电子有限公司 背光调节方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06332399A (ja) * 1993-05-19 1994-12-02 Fujitsu General Ltd 電子ディスプレイの制御方法およびその装置
JPH089197A (ja) * 1994-06-20 1996-01-12 Fujitsu General Ltd 画像表示装置
JP2000102033A (ja) * 1998-09-18 2000-04-07 Victor Co Of Japan Ltd 自動階調補正方法
JP2006013742A (ja) * 2004-06-24 2006-01-12 Seiko Epson Corp 階調変換のための変換曲線の生成
JP2006098614A (ja) * 2004-09-29 2006-04-13 Pioneer Electronic Corp コントラスト補正方法、コントラスト補正回路及び表示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5410418A (en) * 1992-06-24 1995-04-25 Dainippon Screen Mfg. Co., Ltd. Apparatus for converting image signal representing image having gradation
JP3779400B2 (ja) * 1996-11-28 2006-05-24 株式会社東芝 画像処理方法
TW518882B (en) * 2000-03-27 2003-01-21 Hitachi Ltd Liquid crystal display device for displaying video data
JP2002204353A (ja) * 2000-12-28 2002-07-19 Fujitsu Ltd 画像状態推定方法、画像補正方法および補正装置
JP3928704B2 (ja) 2002-02-26 2007-06-13 セイコーエプソン株式会社 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体および画像処理プログラム
AU2003227506A1 (en) * 2003-04-15 2004-11-04 Fujitsu Limited Code recognizing method and device
JP4533330B2 (ja) 2005-04-12 2010-09-01 キヤノン株式会社 画像形成装置及び画像形成方法
JP4218723B2 (ja) * 2006-10-19 2009-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
WO2010116478A1 (ja) * 2009-03-30 2010-10-14 富士通株式会社 画像処理装置および画像処理方法、画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06332399A (ja) * 1993-05-19 1994-12-02 Fujitsu General Ltd 電子ディスプレイの制御方法およびその装置
JPH089197A (ja) * 1994-06-20 1996-01-12 Fujitsu General Ltd 画像表示装置
JP2000102033A (ja) * 1998-09-18 2000-04-07 Victor Co Of Japan Ltd 自動階調補正方法
JP2006013742A (ja) * 2004-06-24 2006-01-12 Seiko Epson Corp 階調変換のための変換曲線の生成
JP2006098614A (ja) * 2004-09-29 2006-04-13 Pioneer Electronic Corp コントラスト補正方法、コントラスト補正回路及び表示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011097465A (ja) * 2009-10-30 2011-05-12 Dainippon Printing Co Ltd 画像処理装置、画像処理方法、および、画像処理用プログラム
US8896702B2 (en) 2011-10-25 2014-11-25 Guangzhou Sat Infrared Technology Co. Ltd. System and method for processing digital signals of an infrared image

Also Published As

Publication number Publication date
US20100290702A1 (en) 2010-11-18
JP5152203B2 (ja) 2013-02-27
JPWO2009093324A1 (ja) 2011-05-26
US8300934B2 (en) 2012-10-30

Similar Documents

Publication Publication Date Title
JP6443857B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
US7760961B2 (en) Adaptive contrast enhancement
JP5152203B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像補正装置
CN100362847C (zh) 图像处理装置、方法、程序及图像显示装置
JP3956887B2 (ja) 画像処理装置および画像処理方法並びに画像処理プログラム
US7554557B2 (en) Device and method for image compression and decompression
WO2012017946A1 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP2008067373A (ja) 映像補正方法及び装置
CN109313796B (zh) 一种图像处理方法以及装置
JP6485068B2 (ja) 画像処理方法および画像処理装置
JP4406443B2 (ja) 画像補正装置
JP2012028937A (ja) 映像信号補正装置および映像信号補正プログラム
JP5447614B2 (ja) 画像処理装置および画像処理プログラム
CN103793892B (zh) 图像处理装置和图像处理方法
US20200059573A1 (en) Image processing device, image processing method, and program
CN109417616B (zh) 用于图像处理的方法和装置
JP4232831B2 (ja) 画像処理装置および画像処理方法並びに画像処理プログラム
JP4455554B2 (ja) 画像処理装置及び画像処理方法
JP6135937B2 (ja) 画像処理方法および画像処理装置
JP2003256830A (ja) コントラスト強調方式
JP5111310B2 (ja) 画像処理方法及び画像処理装置
JP5499765B2 (ja) 画像処理装置および画像処理方法
JP6575742B2 (ja) 画像処理方法および画像処理装置
JP2010026690A (ja) 画像処理装置
US20240119573A1 (en) Image processing apparatus, image processing method and computer-readable storage medium for direct memory accesses

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08703831

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009550403

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08703831

Country of ref document: EP

Kind code of ref document: A1