WO2005106789A1 - 階調補正装置、携帯端末機器、撮像装置、携帯電話、階調補正方法及びプログラム - Google Patents

階調補正装置、携帯端末機器、撮像装置、携帯電話、階調補正方法及びプログラム Download PDF

Info

Publication number
WO2005106789A1
WO2005106789A1 PCT/JP2005/005850 JP2005005850W WO2005106789A1 WO 2005106789 A1 WO2005106789 A1 WO 2005106789A1 JP 2005005850 W JP2005005850 W JP 2005005850W WO 2005106789 A1 WO2005106789 A1 WO 2005106789A1
Authority
WO
WIPO (PCT)
Prior art keywords
correction amount
correction
gradation
luminance
block
Prior art date
Application number
PCT/JP2005/005850
Other languages
English (en)
French (fr)
Inventor
Yoshiki Ono
Kazuhiro Sugiyama
Original Assignee
Mitsubishi Denki Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Denki Kabushiki Kaisha filed Critical Mitsubishi Denki Kabushiki Kaisha
Priority to EP05727555.4A priority Critical patent/EP1746539B1/en
Priority to US11/587,903 priority patent/US8107123B2/en
Publication of WO2005106789A1 publication Critical patent/WO2005106789A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628—Memory colours, e.g. skin or sky
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Definitions

  • Gradation correction device mobile terminal device, imaging device, mobile phone, gradation correction method and program
  • the present invention relates to a technique for correcting a gradation of a digitized image.
  • a luminance value or a density value of each pixel is calculated over the entire screen of an input image, and a pixel having the same gradation value or a gradation quantifier is calculated.
  • a histogram that indicates the appearance frequency of the pixels included in the same section divided into sections smaller than the number of conversions is generated, and tone correction processing that optimizes the shape of the created histogram is performed over the entire screen.
  • tone correction processing that optimizes the shape of the created histogram is performed over the entire screen.
  • Patent Document 1 JP 2003-69825 A
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2003-299107
  • Patent Document 3 JP-A-9 65252
  • Non-patent Document 1 ANIL K. JAIN, "Fundamentals of Digital Image Processing Prentice-Hall International, Inc., 1989, pp. 241—244
  • the histogram 601 of the low-luminance area becomes a wider gradation distribution 611 after the conversion, and the local contrast in the low-luminance area increases.
  • the histogram 602 in the high-luminance area has a wider gradation distribution 612 after the conversion, and the local contrast in the high-luminance area increases.
  • the power of the dark area in the bright area inside was either brighter than the light area in another dark area in the same screen, or was rounded to be the same. For this reason, there is a limit on the amount of correction between the dark part of the bright area and the bright part of the dark area.When improving the local contrast in the bright area on the screen or the dark area in the screen, Inevitably, a limit was created.
  • the local contrast correction is effective for all the gradations.
  • the backlight correction effect for the entire area or the entire dark area has a limit. For example, when the brightness! /, Area or dark V, area continues over an area that exceeds a predetermined multiple of the size of the divided block or the divided block determined by the filter shape in block units As for the continuous brightness, the brightness level of the area or the average brightness level of the entire area, the gradation level is maintained even after the correction, and the average brightness level after the correction does not change much compared with the level before the correction. Although the contrast of the local area is improved, the backlight compensation effect of the entire bright area or the entire dark area is limited.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to make it possible to further improve local contrast in a bright area or a dark area during backlight correction. .
  • the subject of the present invention is a gradation correction device that divides one screen of a digital image into a plurality of local regions and then performs gradation correction.
  • An average brightness calculation unit for obtaining an average brightness for each local region
  • a correction amount calculation unit for obtaining a correction amount for each local region from the average brightness for each local region
  • a correction unit for each pixel from the correction amount for each local region.
  • An interpolation unit for performing interpolation to a correction amount; a magnitude of the correction amount for each local region and a correction amount corresponding to a median value of all luminance gradation levels; or a correction amount for each pixel unit and the total luminance.
  • One gradation conversion function is selected from a plurality of gradation conversion functions prepared in advance based on the magnitude of the correction amount corresponding to the median of the gradation levels, and the correction amount for each local region and the pixel are selected. Either the deviation of the correction amount for each unit is used as a parameter, and the brightness of each pixel is Characterized by comprising a gradation conversion unit for performing gradation correction for correcting by the selected gradation conversion function.
  • the subject of the present invention has the following effects 1) to 3).
  • FIG. 1 is a block diagram showing a configuration example of a tone correction device according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram showing block division of an image.
  • FIG. 3 is a diagram showing that a correction amount is controlled by a block average luminance value.
  • FIG. 4 is a diagram showing a state of interpolation for obtaining a correction amount for each pixel.
  • FIG. 5 is a diagram showing a gradation conversion curve in a low luminance area.
  • FIG. 6 is a diagram showing a gradation conversion curve in a high luminance region.
  • FIG. 7 is a flowchart showing a gradation correction method according to Embodiment 1 of the present invention.
  • FIG. 8 is a block diagram showing a configuration example of a gradation correction device according to Embodiment 2 of the present invention.
  • FIG. 9 is a flowchart showing a gradation correction method according to Embodiment 2 of the present invention.
  • FIG. 10 is a diagram showing a histogram of an input image.
  • FIG. 11 is a diagram showing a histogram of a converted image.
  • FIG. 12 is a diagram showing a histogram of an image after conversion.
  • FIG. 13 is a block diagram showing a configuration example of a tone correction device according to a third embodiment of the present invention.
  • FIG. 14 is a diagram showing a mapping curve according to Embodiment 3 of the present invention.
  • FIG. 15 is a view showing a straight line mapping curve.
  • the feature of the present embodiment is that, after the screen is divided into a plurality of blocks, the amount of change from the average luminance level of each local region divided as a block to the corrected luminance level is calculated for the local region.
  • the feature point of the present embodiment is that the average luminance level of each local region is controlled so as to be increased when the average luminance level of the local region is relatively low when viewed from the median of the ⁇ degree gradation level. The point is.
  • a feature point of the present embodiment is that the average luminance level of each local region is lowered when the average luminance level of the local region is relatively high in view of the median value of all luminance gradation levels. Control in the same way.
  • the feature of this embodiment is that (1) when the average luminance level of the local area is relatively low when viewed from the median of the gray scale levels, the correction amount in the luminance correction of the local area (2) When the average luminance level is high at the median power of the gray scale level, the amount of correction in the luminance correction of the local area is greatly controlled, while (3) the local area When the average luminance level of the local area is medium (approximately the entire luminance gradation level), the control is performed to reduce the correction amount in the luminance correction of the local area.
  • the correction amount in the luminance correction of the local region is increased, and when the average luminance level is medium, The amount of correction in the brightness correction of the local region is reduced, and when the average brightness level is higher than the median of all the brightness gradation levels, control is performed so that the amount of correction in the brightness correction of the local region is medium.
  • FIG. 1 is a block diagram illustrating a configuration or a functional unit of a tone correction device according to the present embodiment.
  • digital image data input to the tone correction device is input to a correction amount calculation unit 101 and a storage unit 106.
  • the correction amount calculation unit 101 performs processing in block units (local region units) under the control of the included block timing generation unit 102.
  • the average luminance calculation unit 103 calculates an average luminance value for each block from the input image data.
  • the block-based correction amount calculation unit 104 calculates a correction amount in block units from the input average luminance value in block units.
  • the pixel unit correction amount calculation unit 105 calculates a pixel unit correction amount from the input block unit correction amount. That is, the pixel unit correction amount calculation unit 105 functions as an “interpolation unit” that performs interpolation from the correction amount for each block unit to the correction amount based on the pixel unit.
  • the gradation conversion unit 107 converts the correction amount input from the pixel unit correction amount calculation unit 105 and the conversion table value of the gradation conversion table unit 108 based on the control signal output from the block timing generation unit 102. With the use of this, the same unit 107 performs gradation conversion on the image data (brightness value data) read from the storage unit 106.
  • the storage unit 106 Since a delay of only one to several block lines occurs in the entire correction amount calculation unit 101, the storage unit 106 is normally configured with a line memory that generates an equivalent delay of one to several block lines. If a delay occurs in the unit of frame on the side of the correction amount calculation unit 101, the storage unit 106 is also configured by a frame memory that generates an equivalent delay of the frame unit.
  • the average luminance calculating unit 103 generates an average luminance value (in units of blocks) for each block number generated by the block timing generating unit 102. (Also referred to as average luminance in a block). If the image data format is not in the luminance / chrominance format when the image data is input to the average luminance calculation unit 103, format conversion to the luminance / chrominance format is performed before calculating the average luminance. There is a need to do. In such a case, it is provided before the block for performing such format conversion or the functional unit power correction amount calculation unit 101.
  • the average luminance calculation unit 103 determines the average value of RGB as the “average luminance value in block units”. Good, but in the following description, digital The image data is converted into a luminance / chrominance format in advance, and then handled as input to the correction amount calculation unit 101.
  • the block timing generator 102 1) When the digital image input into the correction amount calculator 101 is a television video signal or an image signal of a digital camera module, the block timing generator 102 Synchronously, it outputs first to fourth control signals for controlling the processing of the respective units 103, 104, 105, 107. On the other hand, 2) a digital image to be input is already stored in a memory (not shown) in a certain memory (not shown), and the CPU (not shown) reads the digital image and calculates a correction amount. In the case of inputting to the unit 101, the block timing generating unit 102 controls the processing of each of the units 103, 104, 105, 107 in synchronization with the read start clock of the memory of the CPU. Outputs control signal.
  • FIG. 2 is a diagram showing block division of an image.
  • reference numeral 501 indicates the entire screen, and the entire screen 501 is divided into a plurality of blocks by boundary lines 502 extending vertically and horizontally. If backlight correction is performed, for example, if a large bright area and a large dark area exist in the input image, the block 503 included in the bright area in the image and the image The block 504 included in the dark area exists within the entire screen 501.
  • the average luminance calculation unit 103 accumulatively adds the luminance values of the input image data in the same block area, and finally divides the luminance value of the input image data by the number of pixels in the block to calculate the average luminance value in block units. calculate.
  • the number of pixels of powers of 2 in both the vertical and horizontal directions is often used for the block size. Since the block 503 in FIG. 2 is a bright area, the average luminance value of each block 503 obtained by the average luminance calculation unit 103 is a relatively high value. Conversely, since the block 504 in FIG. 2 is a dark area, the average luminance value of each block 504 obtained by the average luminance calculation unit 103 is a relatively low value.
  • “information on the number of pixels” in the block to be processed (the block number is specified by the first control signal) in the same unit 103 is: 1) If it is variable information, individual For each block of the above, “information on the number of pixels” is given from the CPU (not shown) to both units 102 and 103. On the other hand, if it is a fixed value, Is stored in both parts 102 and 103.
  • the average luminance value in block units obtained by the average luminance calculation unit 103 is input to the block unit correction amount calculation unit 104.
  • the block unit correction amount calculation unit (also simply referred to as a correction amount calculation unit) 104 performs correction in block units according to the timing generated by the block timing generation unit 102 (processing start timing instructed by the second control signal). Calculate the direction and correction amount.
  • the method for calculating the correction amount is as follows. That is, the average luminance value of a certain block (unit) to be processed in one screen, which is input to the block unit correction amount calculation unit 104, is relatively low in view of the median value of all luminance gradation levels. In this case, as shown in FIG.
  • the block unit correction amount calculation unit 104 sets a large correction amount for the average luminance value of the block (unit) (in this case, sets the correction direction to plus. ), And outputs the correction amount for the relatively large block (unit) generated in this way.
  • the average luminance value of each block input to the block-unit correction amount calculating unit 104 is relatively high in view of the above-mentioned median power, as shown in FIG.
  • Sets the correction amount for the average luminance value of the block (unit) to be small in this case, the direction of correction is set to minus
  • the correction amount in a relatively small block unit generated in this way Is output.
  • FIG. 3 shows, as an example, a case where the calculation formula for controlling the correction amount based on the input average luminance value in the block is a straight line.
  • the force is changed to such a straight line. May be used in the above correction formula.
  • the control curve of the curve is used, the processing amount in the block unit correction amount calculation unit 104 increases, and therefore, the block unit correction amount calculation unit 104 usually includes the straight line or the straight lines.
  • the processing operation of the correction direction and the correction amount is executed by the correction calculation formula including the combination.
  • the “correction direction” obtained by the block-unit correction amount calculation unit 104 is set in the opposite direction, the setting of a correction curve (FIGS. 5 and 6) described later also needs to be inverted.
  • the correction amount of the block (current processing target block designated by the first control signal) (block unit) output from the block unit correction amount calculation unit 104 is output to the pixel unit correction amount calculation unit 105. It is input and interpolated to the correction amount for each pixel in the block. That is, the pixel The unit correction amount calculation unit 105 includes a block unit correction amount input from the block unit correction amount calculation unit 104, and a “block number” and “block offset position” (block) input together from the block timing generation unit 102.
  • the internal offset position is the position of each pixel belonging to the block defined by the position coordinate axis set at one of the four corners of each block as the origin. Correction amount "is calculated. FIG.
  • reference numeral 221 denotes a position 225 of the “target pixel” to be interpolated (the positional relationship of the target pixel position 225 with respect to the center of gravity of the block is the offset position in the block to which the target pixel belongs. (Specified) is the correction amount of the block whose center of gravity is located on the upper left side.
  • reference numeral 222 is on the upper right side of the target pixel position 225
  • reference numeral 223 is on the lower left side of the target pixel position 225
  • reference numeral 224 is on the lower right side of the target pixel position 225. This is the correction amount.
  • the correction amount 226 at the position 225 of the target pixel is obtained by linear interpolation from the correction amount in block units in the four surrounding blocks, using the intra-block offset position input from the block timing generation unit 102.
  • the offset coordinate of the barycentric position of the block to which the code 221 belongs is set to (0, 0)
  • the offset coordinate of the barycentric position of the other three surrounding blocks is also defined based on the offset coordinate.
  • the same unit 105 can calculate the coefficient value of the linear interpolation, whereby the same unit 105 can calculate the correction amount of the pixel of interest at the position 225. I can do it.
  • the process of calculating the correction amount by such linear interpolation is executed for all the target pixels in the block to which the position 225 belongs.
  • An example of simple linear interpolation is shown here.
  • the force pixel unit correction amount calculation unit 105 may use spline interpolation, multi-order polynomial interpolation, or another interpolation method using a curve. .
  • the "block unit”, which defines one block as a "local area”, is adopted.
  • an integer multiple of the block size based on the block unit, or an integral multiple of the block size is used.
  • an integral multiple of the integer may be used as one unit of the processing in each of the units 103 and 104.
  • these units when dividing one screen of a digital image into a plurality of screens are defined as “local regions”. Therefore, one screen of a digital image
  • a point that has been expressed as “pixel unit” is an integer multiple of the pixel size based on the pixel unit, or the same. May be set as "one unit” in the processing operation of the part 105.
  • the correction amount for each pixel output from the pixel unit correction amount calculation unit 105 is input to the gradation conversion unit 107.
  • the gradation conversion unit 107 calculates the correction amount of the pixel in the pixel unit and the luminance level of the pixel read from the storage unit 106 by the unit 107.
  • the corresponding data is read from the gradation conversion table unit 108 to obtain corrected luminance data. If the correction amount obtained by the (A) pixel unit correction amount calculation unit 105 is relatively high when viewed from the central value of all luminance gradation levels, for example, FIG.
  • the first conversion curve is shown in FIG.
  • the first conversion curve is calculated by the pixel-unit correction amount calculation unit 105.
  • the correction amount is low, for example, a second conversion curve shown in FIG. 6, which increases the gradation of the high-brightness part and widens the dynamic range of the high-brightness part, is stored.
  • the gradation conversion curves of the curves as shown in FIG. 5 and FIG. 6 are illustrated, but in order to reduce the circuit scale and power consumption by simplifying the calculation, or to improve the processing speed, A combination of straight lines may be applied for gradation conversion.
  • the gradation conversion section 107 may be configured to obtain the conversion table by sequential calculation by itself, or may be configured without using the conversion table.
  • the correction may be performed such that the correction is performed by direct calculation from the correction amount input by the gradation conversion unit 107.
  • the gradation conversion table unit 108 is an optional component, rather than an essential component.
  • the gradation conversion table unit 108 is configured by, for example, a storage device or a gate circuit.
  • FIG. 7 is a flowchart showing the principle of the above-described gradation correction processing.
  • FIG. 7 shows each processing step in a computer-executable software program.
  • an average luminance calculation step 301 an average luminance value is calculated for each block in the input image, and in a next block unit correction amount calculation step 302, the average luminance value is calculated in the correction direction.
  • the next pixel unit correction amount calculation step 303 the pixel unit correction amount is calculated (interpolated) from the input block unit correction amount, and then the final gradation is calculated.
  • the conversion step 304 final gradation conversion for each pixel is performed using the input correction amount for each pixel.
  • the direction and amount of correction in block units are controlled by an average luminance value in block units of an input image, for example, as shown in FIG.
  • the calculation of the correction amount in block units and the correction amount in pixel units are executed by, for example, linear interpolation shown in FIG.
  • the gradation conversion step 304 the gradation is converted using, for example, a mating curve as shown in FIG. 5 or FIG.
  • the average luminance value of a certain local area 1S which is obtained by dividing the input image into a plurality of blocks, as shown in the block 504 shown in FIG.
  • the mapping curve shown in FIG. 5 is selected.
  • the pixels in which the correction amount in the pixel unit calculated in the functional unit 105 or the step 303 is equal to the average luminance value 201 of the block are higher than the level 201. It is converted to a luminance level 202 corresponding to a high gradation level.
  • the gradation levels of the other pixels are higher by applying FIG.
  • the average luminance value 203 is converted to a luminance level 204 corresponding to a gradation level lower than the level 203.
  • the tone levels near the average luminance value 203 are also converted to lower tone levels, respectively.
  • the correction amount when performing the gradation correction using the mapping curves shown in FIGS. 5 and 6 is such that the average luminance value of the local area formed by dividing the input image into blocks is medium.
  • the average luminance value is low, that is, when it is near the center of the grayscale level, that is, when it is near the lower limit of the grayscale level, and when the average luminance value is high, It is set to be smaller than when it is near the upper limit of the gradation level.
  • the effect of the correction is reduced in the halftone level area where the gradation level was originally appropriate, and the visibility of the dark area is greatly improved. The effect is that the visibility can be improved while reducing the subjective adverse effect of the image.
  • the absolute value of the correction amount when the average luminance value is low is larger than the absolute value of the correction amount when the average luminance value is high! This is particularly effective when applied to backlight correction, and is particularly effective for securing a correction amount to a dark area while making a bright area such as an image of a daytime sky look more natural.
  • an image is divided into a plurality of blocks as shown in FIG.
  • the image is processed after being divided into areas (local areas), and further, in step 303 (FIG. 7), a correction amount is assigned to each pixel independently, and then the gradation conversion is performed.
  • step 304 (FIG. 7), a mapping curve for tone correction is selected independently for each pixel, so if the location is different, even if the tone levels are originally the same, different tone levels will be obtained after tone conversion. Can be output as
  • a histogram of an input image when a low-luminance region 601 and a high-luminance region 602 are each concentrated near a specific gradation, a conventional histogram equalization method is used.
  • the solid line distribution shown in FIG. 11 is obtained, and the histogram 611 of the converted low-luminance area and the histogram 612 of the high-luminance area each have a reversal of the up-down relationship of the gradation level in some gradations. Will not cause.
  • the histogram 621 of the low-luminance region and the histogram 622 of the high-luminance region after conversion are partially different from each other.
  • the tone can cause the up-down inversion of the gradation level.
  • the dynamic range of the gradation is not changed depending on the location, but the local dynamic range is increased. Will be more widespread.
  • the optimal mapping curve can be used for each of the low and high luminance areas of the image. Therefore, the dynamic range can be expanded in the low-luminance area of the image without being aware of the deterioration of the gradation characteristics in the high-luminance area.
  • the dynamic range can be expanded without being conscious of the gradation characteristic deterioration in the luminance region. That is, the effect of the backlight correction can be improved.
  • the degree of freedom in setting the mapping curve is increased, and it is possible to omit the processing for adjusting both the low luminance region and the high luminance region.
  • the method described in the present embodiment merely changes the backlight correction method of the entire screen using the conventional histogram equalization method to the backlight correction processing in block units. It also means that it is not something.
  • the conventional technique of detecting the backlight condition in the screen based on the histogram of the entire screen and correcting the backlight condition in the screen is simply a block diagram.
  • the lock unit is changed, the backlight condition in the block is detected and the backlight condition in the block is corrected.
  • the above-described method adopted by the apparatus according to the present embodiment does not detect the backlight state in the block and does not correct the backlight state in the block. This method corrects the backlight state between a plurality of blocks based on the average luminance value in a block. Therefore, the backlight state of the entire screen can be reduced without creating a histogram. It can be corrected.
  • the entire screen can be corrected only by sequentially using the information of the local area, it is necessary to wait until the preprocessing of one entire screen is completed. It is possible to perform real-time processing without frame delay by using only a line memory that contains blocks or a line memory that is about twice or three times that of a block without the need for a frame memory in a linking circuit.
  • the screen is divided into a plurality of blocks, and when the average luminance level of the local area divided into blocks is low, the correction amount in the luminance correction of the local area is increased, and the average luminance level becomes medium.
  • the amount of correction in the luminance correction of the local area is reduced, so that in the area of the halftone level where the gradation level was originally appropriate, the influence of the correction is reduced while the visibility of the dark area is reduced. Can be improved.
  • the correction amount in the luminance correction of the local area is increased, and the average luminance level is moderate.
  • the amount of correction in local area luminance correction is reduced, and when the average luminance level is high, the amount of correction in local area luminance correction is increased. In the area of, the visibility of the dark area and the bright area can be improved while reducing the influence of the correction.
  • the screen is divided into a plurality of blocks, and when the average luminance level of the local area divided into blocks is low, the correction amount in the luminance correction of the local area is increased.
  • the correction amount in the local area luminance correction may be reduced, and when the average luminance level is high, the correction amount in the local area luminance correction may be set to a medium level.
  • the effect of the correction is reduced in the region of the halftone level where the gradation level was originally appropriate, and the visibility of the dark region is greatly improved. In a bright area, there is an advantage that visibility can be improved while reducing a subjective adverse effect on humans due to a decrease in luminance.
  • the feature of this embodiment is that the amount of change from the average luminance level of the local area to the corrected luminance level is controlled also by the average color difference vector of the local area. Furthermore, the present embodiment also controls the amount of change from the average luminance level of the local area to the corrected luminance level so that the average color difference vector of the local area becomes small when the approximate local skin color is present. It has that characteristic point.
  • FIG. 8 is a diagram showing a block configuration of a tone correction device according to the present embodiment.
  • the configuration of FIG. 8 differs from that of FIG. 1 only in each of the sections 109 and 110 in FIG. 8, and the other components are the same as the corresponding components in FIG.
  • image data input to the tone correction device is input to the correction amount calculation unit 101A and the storage unit 106.
  • the block timing generation unit 102 performs processing in block units. First, in the average luminance calculation unit 103, an average luminance value for each block of the image data is calculated. At the same time, the average color calculating unit 109 calculates an average color in block units from the image data. Next, the block-unit correction amount calculation unit 110 calculates a correction amount in block units from the average luminance value and the average color in block units. Further, the pixel unit correction amount calculation unit 105 calculates a pixel unit correction amount from the block unit correction amount. In the gradation conversion unit 107, gradation conversion is performed on the image data read from the storage unit 106 using the correction amount from the pixel unit correction amount calculation unit 105 and the gradation conversion table 108.
  • the storage unit 106 Since a delay of only one to several block lines occurs in the entire correction amount calculating unit 101, the storage unit 106 is usually configured with a line memory that generates an equivalent delay of one to several block lines. If a delay in frame units occurs in the correction amount calculation unit 101, the storage unit 106 is also formed of a frame memory that generates an equivalent delay in frame units.
  • the image data input to the correction amount calculation unit 101A is stored in the block timing generation unit 1
  • the average luminance calculation section 103 calculates the average luminance in the block.
  • the average color calculating unit 109 calculates the average color in the block. If the image data format is not in the luminance / chrominance format when the image data is input to the average luminance calculation unit 103, format conversion to the luminance / chrominance format is performed before calculating the average luminance and the average color. I do. If the RGB format is used as it is, the average value of RGB may be used as a pseudo-luminance value.However, in the following description, it is assumed that the image data is input in the luminance 'color difference format in advance. I will deal with it.
  • reference numeral 501 denotes an entire screen, and the entire screen 501 is divided into a plurality of blocks by a boundary line 502. If the backlight correction is performed, for example, if the input image includes a large bright area and a dark area, a block 503 included in a bright area in the image and a block 504 included in a dark area in the image are used. Will exist.
  • the average luminance calculation unit 103 calculates the average luminance in the block by cumulatively adding the luminance values of the input image data in the same block area, and finally dividing by the number of pixels in the block. .
  • the number of pixels of a power of 2 is often used both in the vertical and horizontal directions as the block size. Since the block 503 in FIG. 2 is a bright area, the average luminance value output from the average luminance calculation unit 103 is a high value. Since the block 504 in FIG. 2 is a dark area, the average luminance value output by the average luminance calculation unit 103 is a low value.
  • the average color calculation unit 109 calculates the average color in the block by calculating the cumulative calories of the colors of the input image data in the same block area, and finally dividing by the number of pixels in the block. .
  • the number of pixels in the vertical and horizontal directions is often a power of 2 in many cases.
  • a color difference in a luminance / color difference format is usually used. If the luminance 'chrominance format is Y, Cb, Cr, for example, the average value of each of Cb and Cr is obtained using two components of Cb and Cr, and the obtained average value of Cb and the average of Cr are obtained. Outputs a color vector consisting of two component values.
  • this color vector is simply referred to as an average color.
  • a scalar amount of a difference between the specific color and the average color in the block is obtained in advance.
  • a scalar value of a specific color degree may be output instead of the color vector.
  • the difference between the specific color and the color of the pixel is calculated more finely, for example, in pixel units, and finally the average of the difference values is calculated.
  • the difference value may be output as a scalar value of a specific color degree.
  • the scalar value of the specific color degree is simply referred to as an average color in the same manner as the color vector.
  • the average color including the luminance information is calculated using both the color difference and the luminance. Is also good.
  • the correction amount is calculated using both the information of the average luminance for which the luminance force was also obtained and the average color of which the color difference force was obtained.
  • the luminance information and the chrominance information may be combined in the unit 110.However, if it is better to combine the luminance information and the chrominance information in pixel units in advance, the average color An average color including luminance information must be obtained in advance using both.
  • the average luminance value in the block calculated by the average luminance calculation unit 103 and the average color calculated by the average color calculation unit 109 are input to the block unit correction amount calculation unit 110.
  • the block-based correction amount calculation unit 110 calculates the correction amount in block units at the timing specified by the block timing generation unit 102. When the average luminance value in a block input to the block unit correction amount calculation unit 110 is low, the correction amount output from the block unit correction amount calculation unit 110 is increased as shown in FIG. Conversely, when the average intra-block luminance value input to the block unit correction amount calculation unit 110 is high, the correction amount output from the block unit correction amount calculation unit 110 is reduced as shown in FIG. Here, FIG.
  • the straight line may be a curve.
  • the amount of processing increases, so that control is usually performed by a straight line or a combination of straight lines. If the direction of correction is set to be reversed here, the correction curve described later must also be reversed.
  • the correction amount output from the block unit correction amount calculation unit 110 is reduced as in the case of the average luminance value. .
  • the correction amount output from the block unit correction amount calculation unit 110 is increased.
  • This calculation formula may be a straight line, a combination of straight lines, or a curve. However, if a control curve of a curve is used, the processing amount increases. Control is performed by a combination of straight lines.
  • the block-based correction amount output from the block-based correction amount calculation unit 110 is input to the pixel-based correction amount calculation unit 105.
  • the pixel unit correction amount calculation unit 105 calculates the pixel unit correction amount based on the block unit correction amount input from the block unit correction amount calculation unit 110, the block number and the offset position in the block input from the block timing generation unit 102. Calculate the correction amount of.
  • Figure 4 shows how interpolation is performed to determine the amount of correction for each pixel.
  • Reference numeral 221 denotes a correction amount of a block whose center of gravity is located on the upper left side of the target pixel position 225.
  • the upper right rule of the pixel position 222 of interest 225 and the lower left rule of the pixel position 225 of interest 223 are the correction amounts of the blocks whose centroids are located on the lower right side of the pixel position 225, respectively. It is.
  • the correction amount 226 is obtained by linear interpolation from the correction amounts of the four surrounding blocks using the intra-block offset position input from the block timing generator 102.
  • simple linear interpolation has been described here, spline interpolation, multi-order polynomial interpolation, or another interpolation method using a curve may be used.
  • an integral multiple of the block size based on the power block unit expressed as a block unit, a fraction of an integer, or an integral multiple of an integer may be regarded as one unit.
  • a point expressed as a pixel unit may be an integral multiple of a pixel size based on the pixel unit, a fraction of an integer, or an integral multiple of an integer, as one unit.
  • the pixel-unit correction amount output from the pixel-unit correction amount calculation unit 105 is input to the gradation conversion unit 107.
  • the gradation conversion unit 107 reads out the correction amount for each pixel and the luminance level of the pixel read from the storage unit 106 as an address of a gradation conversion table unit 108 prepared in advance, so that the corrected Data can be obtained.
  • the gradation conversion table section 108 increases the gradation property of the low-luminance section as shown in FIG. 5, for example.
  • the correction amount is low, the gradation range of the high-brightness part is increased and the dynamic range of the high-brightness part is widened, as shown in Fig. 6, for example.
  • Various conversion curves are stored.
  • FIGS. 5 and 6 the gradation conversion curves of the curves are shown. May be used. Although an example in which a conversion table is prepared in advance is shown here, a configuration in which the conversion table is obtained by sequential calculation may be used. May be performed. In addition, when the graph of the correction amount shown in FIG. 3 is reversed in the positive and negative directions, the characteristics in FIG. 5 and FIG.
  • FIG. 9 is a flowchart showing the principle of the tone correction processing according to the present embodiment. Only steps 305 and 302 below are different from the processing steps in the flowchart of FIG. That is, in an average luminance and average color calculation step 305, an average luminance value and an average color are calculated for the input image in block units, and in a block unit correction amount calculation step 302, the average luminance value and the average color are calculated. A block-based correction amount is calculated, and in a pixel-based correction amount calculation step 303, a pixel-based correction amount is calculated from the input block-based correction amount, and in a gradation conversion step 304, the input pixel-based correction amount is calculated. The gradation conversion is performed using the quantity.
  • the correction amount for each block is controlled by the average brightness value of each block of the input image as shown in FIG. 3, and also controlled by the average color of each block. Then, when calculating the correction amount on a block-by-block basis, the linear interpolation shown in FIG. 4 is used.
  • the gradation conversion step 304 when performing gradation conversion, for example, a mapping curve as shown in FIGS. 5 and 6 is used. At this time, if the average brightness value power of each local region obtained by dividing the input image into a plurality of blocks is low as in the block 504 shown in FIG. 2, the mapping curve shown in FIG. 5 is used.
  • the average luminance value 201 of the block is converted to a luminance value 202 having a higher gradation level.
  • the gray level near the average luminance value is also converted to a higher gray level.
  • the mapping curve shown in Fig. 6 is used.
  • the average luminance value 203 of the block is converted to a luminance value 204 having a gradation level lower than that level.
  • the tone levels near the average luminance value are also converted to lower tone levels, respectively.
  • the average luminance level in a block is also changed, the entire high-luminance area of the image is converted to be dark, and the intuitive recognition of bright parts is improved. Can be done. That is, the effect of the backlight correction can be improved.
  • the amount of correction when performing correction using the mapping curves shown in FIGS. 5 and 6 is determined when the average luminance value of a region obtained by dividing the input image into blocks is medium, When it is near the center of the gradation level, when the average luminance value is low, that is, when it is near the lower limit of the gradation level, and when the average luminance value is high, that is, it is near the upper limit of the gradation level. Set to be smaller than usual. As a result, the visibility of dark areas is greatly improved while the effect of correction is reduced in the area of the halftone level where the gradation level was originally appropriate. The effect is that visibility can be improved while reducing adverse effects.
  • the absolute value of the correction amount when the average luminance value is low and larger than the absolute value of the correction amount when the average luminance value is high ! is useful when applying backlight compensation. This is particularly effective in securing a correction amount for a dark area such as a bright area such as a sky image in the daytime, while allowing the image to look more natural.
  • the method described in the present embodiment performs processing by dividing an image into small regions of a plurality of blocks as shown in FIG. 2, and further, by a pixel unit correction amount calculation step 303, for each pixel.
  • a correction amount is assigned independently, and in the subsequent gradation conversion step 304, a mapping curve for gradation correction is selected independently for each pixel. After the gradation conversion, they can be output as different gradation levels.
  • the histogram of the input image has low-luminance regions and high-luminance regions concentrated near specific gradations
  • the conventional histogram equalization method when used. Shows the distribution as shown by the solid line in FIG.
  • the histogram 621 in the low-luminance area and the histogram 622 in the high-luminance area after conversion are partially gray scales, respectively. May cause the upper and lower relations of the gradation levels to be reversed.
  • the conventional method using the same continuous and non-gradation-inverting mapping curve for one entire screen has a local dynamic range as compared with the case where the order of gradations does not change depending on the location. Will be more widespread.
  • the optimal mapping force can be used for each of the low-brightness area and the high-brightness area of the image.
  • the dynamic range can be expanded without being aware of the gradation characteristic degradation in the high brightness area, and the dynamic range can be expanded in the high luminance area of the image without being aware of the gradation characteristic degradation in the low luminance area. Can be achieved. That is, the effect of the backlight correction can be improved.
  • the degree of freedom in setting the mapping curve is increased, and it is possible to omit the processing of adding a curve to both the low luminance region and the high luminance region.
  • the method described in the present embodiment is obtained by simply changing the conventional backlight correction method using the histogram equalization method to a block-by-block backlight correction process. It also means that it is not. That is, conventionally, based on the histogram of the entire screen, Instead of detecting the backlight condition in the screen and correcting the backlight condition in the screen, by simply changing the block unit, the backlight condition in the block is detected and the backlight condition in the block is corrected. Will do.
  • the method described in the present embodiment does not detect a backlight state in a block, nor does it correct a backlight state in a block.
  • the method described in the present embodiment corrects the backlight state between a plurality of blocks based on the average luminance value in a block. Therefore, without creating a histogram, the backlight state of the entire screen is obtained as a result. Can be corrected.
  • real-time processing can be performed without a frame delay by using only a line memory that includes a block or a line memory that is about twice or three times that of a block without using a frame memory in a circuit.
  • the amount of correction is also controlled by the average color difference vector of the local area! / ⁇ , so that the subjective effect perceived by humans due to gradation correction for the area having a specific color is controlled. It has the effect of being able to do it.
  • the subjective effect felt by humans is particularly remarkable for the flesh color of a person. Therefore, when the average color difference vector of the local region is close to the approximate flesh color, the correction amount should be set to be small. In addition, even when the image includes a portrait, there is an effect that the subjective effect of human perception on the human skin image due to the gradation correction can be reduced.
  • the screen is divided into a plurality of blocks, and the amount of change from the average luminance level of the local area divided into blocks to the corrected luminance level is calculated as the local area Since the control is also made by the average color difference vector, it is possible to control the subjective effect perceived by humans due to the gradation correction over the entire area where the area having a specific color is continuously large in area. There is an advantage to say.
  • the screen is divided into a plurality of blocks, and the amount of change from the average luminance level of the local region divided into blocks to the corrected luminance level is represented by the average color difference vector of the local region. Since the control is performed so as to be small when the color is near the color, there is an advantage that the subjective effect that the human perceives on the human skin image by the gradation correction can be reduced.
  • the gradation conversion unit 107 performs conversion by using a conversion table corresponding to the number of levels of the correction amount.
  • conversion is performed using only two types of conversion data tables.
  • FIG. 13 is a diagram showing a block configuration of the tone correction device according to the present embodiment.
  • the configuration of FIG. 13 differs from that of FIG. 1 in the device configuration of the portion that performs gradation conversion.
  • the parts for performing the gradation conversion include a first gradation conversion unit 107A having a first conversion table unit 108A, a second gradation conversion unit 107B having a second conversion table unit 108B, and a gradation interpolation unit 1 07C power is also configured.
  • the first conversion table unit 108A is provided with a mapping curve 246 in the case where the correction amount is the maximum value in the positive direction
  • the second conversion table unit 108B is provided with a negative curve.
  • a mapping curve 247 for the case where the correction amount becomes the maximum value in the direction is prepared.
  • a luminance level for each pixel is input from storage section 106 to first gradation conversion section 107A and second gradation conversion section 107B.
  • the first gradation conversion unit 107A obtains an output value corresponding to 241 shown in FIG. 14 with reference to the first conversion table unit 108A.
  • the second gradation conversion unit 107B refers to the second conversion table unit 108B and obtains an output value corresponding to 242 shown in FIG.
  • the tone interpolation unit 107C interpolates the tone according to the correction amount by performing weighted averaging based on the correction amount in pixel units output from the pixel unit correction amount calculation unit 105, An output level corresponding to 243 in FIG. 14 is obtained.
  • a conversion table adapted to the gradation characteristics of the system can be used, and the number of conversion tables is reduced to two, so that there is an effect that the circuit scale or the program size can be reduced.
  • the operation is simplified to reduce the circuit scale and power consumption.
  • a combination of straight lines may be used for gradation conversion instead of a gradation conversion curve.
  • the gradation conversion unit may be configured to obtain the conversion table by sequential calculation by itself, or the gradation conversion unit may receive the input without using the conversion table. The correction may be performed so that the correction is performed by direct calculation from the corrected amount.
  • the calculation and comparison of the straight lines can be performed without using the first and second conversion table units 108A and 108B shown in FIG.
  • the circuit scale or the program size can be reduced by the arithmetic circuit that performs the above. Specifically, the input data is subjected to gradation conversion by calculation using linear equations 256 and 257, and the smaller gradation of the output result is the converted gradation when the correction amount in the positive direction is the maximum (the first gradation conversion unit).
  • the larger of the conversion results obtained by the linear equations 258 and 259 can be used as the converted gradation (the output of the second gradation converter) when the amount of correction in the negative direction is the maximum.
  • the conversion table is also fixed as a calculation formula, the degree of freedom of the gradation characteristics is reduced, but the circuit scale or the program size can be further reduced as compared with the above method.
  • the tone correction device according to the present invention embodied in the first or second embodiment can be realized not only as a hardware device but also as a software process as a function execution of each unit by a program. It is also possible to realize this.
  • FIG. 7 or FIG. 9 of the present application also shows an application example of such a program.
  • the present invention can be applied to a correction process of an image photographed in a backlight state by an imaging device. However, even when the image is not in a backlight state, the gradation is partially lost in black or white.
  • the present invention can also be applied to the correction processing of a flying image.
  • the present invention can also be applied to improve the visibility of a display device having a poor display.
  • the present invention can be applied to any device that performs an image correction process without having an imaging device and a display device. More specifically, the tone correction device according to the present invention can be applied to a portable terminal device such as a mobile phone or a PDA, or a digital device such as a personal computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

　本発明は、デジタル化された画像の階調を補正するための技術に関し、携帯端末機器等に用いられる。従来の画像階調補正技術を逆光補正に適用した場合には、明るい領域又は暗い領域内の局所的なコントラストを改善するのに限界があった。本発明では、ブロックタイミング発生部（１０２）は１画面内を複数のブロックに分割し、平均輝度算出部（１０３）は同部１０２で指定されたブロック単位での平均輝度レベルを算出し、ブロック単位補正量算出部（１０４）はブロック単位での平均輝度レベルから補正の方向及び補正量を算出し、画素単位補正量算出部（１０５）はブロック単位の補正量を当該ブロック内の各画素単位での補正量に補間し、階調変換部（１０７）は、画素単位の補正量とメモリ（１０６）から読み出した当該画素の輝度データとをアドレスとして、最終的な補正量を階調変換テーブル（１０８）から読み出して、階調変換を行う。

Description

明 細 書
階調補正装置、携帯端末機器、撮像装置、携帯電話、階調補正方法及 びプログラム
技術分野
[0001] 本発明は、デジタル化された画像の階調を補正するための技術に関する。
背景技術
[0002] 画像の階調を補正するための従来技術として、入力画像の画面全体にわたって各 画素の輝度値もしくは濃度値を算出し、同じ階調の値を持つ画素、または、階調の量 子化数よりも少ない区間に区切った同じ区間に含まれる画素の出現頻度を示すヒスト グラムを作成し、この作成したヒストグラムの形状が最適になるような階調補正処理を 画面全体にわたって行う「ヒストグラム均等化法」が、一般的に良く知られている（例え ば、非特許文献 1参照)。このヒストグラムを用いて画像の階調を補正するヒストグラム 均等化法を用いることで、画面内の階調があるレベルに偏っている場合に、階調の 分布を最適化することで、画面全体の階調特性を改善することが出来る。
[0003] 更に、この様な「ヒストグラム均等化法」を逆光補正に応用した技術も、提案されてい る（例えば、特許文献 1及び特許文献 2参照)。これらの技術においては、画面全体 のヒストグラムを基にして逆光状態を判断し、最適なヒストグラムに近づく様に、階調 補正を行っている。
[0004] 他方で、画面全体ではなぐ画面内を複数のブロックに分割し、分割したブロック内 の平均輝度値を基にして、局所的なコントラストである局所コントラストの補正を行う「 局所コントラスト補正法」を用いた技術も、提案されている (例えば、特許文献 3参照） 。この「局所コントラスト補正法」を用いると共に、輪郭に輝度勾配を持たせると人間の 目の特性により錯視が起こるクレイク'オブライエン効果をも利用することで、擬似的 にダイナミックレンジを拡大することが出来る。
[0005] 特許文献 1 :特開 2003— 69825号公報
特許文献 2：特開 2003 - 299107号公報
特許文献 3：特開平 9 65252号公報 非特許文献 1 : ANIL K. JAIN著、「Fundamentals of Digital Image Proc essingj Prentice -Hall International, Inc.出版、 1989年、 pp. 241— 244
[0006] し力しながら、既述した、画像の階調を補正するための従来技術である「ヒストグラム 均等化法」あるいは「局所コントラスト補正法」を、そのまま逆光補正に適用する場合 には、明るい領域又は暗い領域内の局所コントラストを改善する際に限界が生じると 言う問題点がある。この点の理由を、以下に、詳細に記載する。
[0007] 即ち、従来の「ヒストグラム均等化法」を用いた技術では、 1画面内の全体にわたつ て同一の階調補正カーブを用いるため、階調補正カーブの傾きが負の値をとらない 限り、あるいは、不連続の階調補正カーブを用いない限り、 1画面内で、階調レベル の上下関係が入れ替わることは起こらな力つた。例えば、入力画像のヒストグラムが図 10に示す様に、低輝度領域と高輝度領域とがそれぞれ特定階調付近に集中してい る場合には、「ヒストグラム均等化法」を用いて階調補正を行うと、図 11に示す実線の 様な分布となる。即ち、低輝度領域のヒストグラム 601は、変換後にはより広がった階 調分布 611と成り、低輝度領域内の局所コントラストは上がる。高輝度領域のヒストグ ラム 602も同様に、変換後にはより広がった階調分布 612と成り、高輝度領域内の局 所コントラストが上がる。し力しながら、上記先行技術は何れも、図 12に示す様な、変 換後の低輝度領域のヒストグラム 621と高輝度領域のヒストグラム 622とが、それぞれ 一部の階調で階調レベルの上下関係の逆転を引き起こす様な変換を行うことは出来 なかった。従って、 1画面内の明るい領域の暗部の方力 同一画面内の別の暗い領 域の明部よりも明るい場合には、補正後もその階調レベルの上下関係が保存される ため、 1画面内の明るい領域の暗部の方力 同一画面内の別の暗い領域の明部より も明るいか、もしくは、丸められて同一となるかの何れかであった。このため、明るい 領域の暗部と暗い領域の明部との補正量の限界が存在しており、画面内の明るい領 域内、又は、画面内の暗い領域内の、局所コントラストを改善する際に、必然的に限 界が発生していた。
[0008] 又、従来の「局所コントラスト補正法」を用いた技術では、場所によって階調レベル の上下関係の逆転現象があり得るものの、全階調にわたって局所コントラスト補正を 効かせるために、局所領域の平均輝度値をある程度維持するように働くので、明るい 領域全体または暗い領域全体としての逆光補正効果には、限界があった。例えば、 分割したブロックの大きさ、又は、ブロック単位のフィルタ形状によって決定する分割 したブロックの大きさの所定倍の大きさを超える領域にわたって、明る!/、領域又は暗 V、領域が連続する場合には、その連続する明る 、領域又は喑 、領域全体の平均輝 度レベルに関しては、補正後にも階調レベルが維持され、補正後の平均輝度レベル も補正前と比較して大きくは変化しないので、局所領域のコントラストは改善されるも のの、明るい領域全体又は暗い領域全体としての逆光補正効果には、限界があった
[0009] 更に、従来の「局所コントラスト補正法」を用いた技術は、全階調に渡って局所コント ラスト補正を効力せるので、当該補正法を逆光補正に適用した場合に、そのままでは 、暗い領域や明るい領域への補正効果を上げようとすると、本来の目的ではない中 間階調レベルのブロックの局所コントラストも上げてしまうため、中間階調レベルが過 補正にならない程度にしか局所コントラストを改善することは出来な力つた。
発明の開示
[0010] この発明は、上述の様な課題を解消するために成されたものであり、その目的は、 逆光補正時に明るい領域又は暗い領域内の局所コントラストをより一層改善可能と する点にある。
[0011] 本発明の主題は、デジタル画像の一画面内を複数の局所領域に分割した上で階 調補正を行う階調補正装置であって、前記デジタル画像の前記一画面に渡って、前 記局所領域毎の平均輝度を求める平均輝度算出部と、前記局所領域毎の平均輝度 より当該局所領域毎の補正量を求める補正量算出部と、前記局所領域毎の補正量 から画素単位毎の補正量への補間を行う補間部と、前記局所領域毎の補正量と全 輝度階調レベルの中央値に対応する補正量との大小、又は、前記画素単位毎の補 正量と前記全輝度階調レベルの中央値に対応する補正量との大小に基づいて、予 め用意した複数の階調変換関数からひとつの階調変換関数を選択し、前記局所領 域毎の補正量と前記画素単位毎の補正量の 、ずれか一方をパラメータとし、画素毎 の輝度を前記選択された階調変換関数により補正する階調補正を行う階調変換部と を備えたことを特徴とする。 [0012] 本発明の主題は、以下に述べる 1)〜3)の効果を奏する。
[0013] 1)画面内を複数の局所領域 (例えばブロック）に分割した上で、局所領域の平均輝 度レベルから補正後の輝度レベルへの変化量を、局所領域の平均輝度レベルによ つて制御する様にしているので、局所コントラストを改善しながら、明るい領域や暗い 領域の様な、同程度の階調レベルが面積的に広く連続する様な部分の全体におい ても、全体的に良好な階調補正結果が得られると言う効果がある。
[0014] 2)各局所領域の平均輝度レベルを、当該局所領域の平均輝度レベルが低!ヽとき にはレベルを上げる様に制御しているので、暗い領域が面積的に広く連続する様な 部分全体においても、全体的に良好な階調補正結果が得られると言う効果がある。
[0015] 3)各局所領域の平均輝度レベルを、当該局所領域の平均輝度レベルが高いとき にはレベルを下げる様に制御しているので、明るい領域が面積的に広く連続する様 な部分全体においても、全体的に良好な階調補正結果が得られると言う効果がある
[0016] 以下、この発明の目的、特徴、局面及び利点は、以下の詳細な説明と添付図面と によって、より明白となる。
図面の簡単な説明
[0017] [図 1]この発明の実施の形態 1に係る階調補正装置の構成例を示すブロック図である [図 2]画像のブロック分割を示す図である。
[図 3]ブロック平均輝度値によって補正量を制御することを示す図である。
[図 4]画素毎の補正量を求めるための補間の様子を示す図である。
[図 5]低輝度領域における階調変換カーブを示す図である。
[図 6]高輝度領域における階調変換カーブを示す図である。
[図 7]この発明の実施の形態 1に係る階調補正方法を示すフローチャートである。
[図 8]この発明の実施の形態 2に係る階調補正装置の構成例を示すブロック図である
[図 9]この発明の実施の形態 2に係る階調補正方法を示すフローチャートである。
[図 10]入力画像のヒストグラムを示す図である。 [図 11]変換後の画像のヒストグラムを示す図である。
[図 12]変換後の画像のヒストグラムを示す図である。
[図 13]この発明の実施の形態 3に係る階調補正装置の構成例を示すブロック図であ る。
[図 14]この発明の実施の形態 3に係るマッピングカーブを示す図である。
[図 15]直線のマッピングカーブを示す図である。
発明を実施するための最良の形態
[0018] (実施の形態 1)
本実施の形態の特徴点は、画面内を複数のブロックに分割した上で、ブロックとし て分割された各局所領域の平均輝度レベルからその補正後の輝度レベルへの変化 量を、当該局所領域の平均輝度レベルによって制御する点にある。特に、本実施の 形態の特徴点は、各局所領域の平均輝度レベルを、当該局所領域の平均輝度レべ ルが^度階調レベルの中央値から見て相対的に低いときには上げる様に制御す る点にある。逆に、本実施の形態の特徴点は、各局所領域の平均輝度レベルを、当 該局所領域の平均輝度レベルが全輝度階調レベルの中央値カゝら見て相対的に高 いときには下げる様に制御する点にある。更には、本実施の形態の特徴点は、（1)局 所領域の平均輝度レベルが 度階調レベルの中央値から見て相対的に低いとき には、当該局所領域の輝度補正における補正量を大きく制御し、（2)平均輝度レべ ルが 度階調レベルの中央値力 見て高いときにも、当該局所領域の輝度補正 における補正量を大きく制御する一方で、 (3)局所領域の平均輝度レベルが中程度 (全輝度階調レベル程度)の時には、当該局所領域の輝度補正における補正量を小 さくする様に制御する点にある。あるいは、本実施の形態では、局所領域の平均輝度 レベルが 度階調レベルの中央値力 見て低いときには、当該局所領域の輝度 補正における補正量を大きくし、平均輝度レベルが中程度の時には、当該局所領域 の輝度補正における補正量を小さくし、平均輝度レベルが全輝度階調レベルの中央 値から見て高いときには、当該局所領域の輝度補正における補正量を中程度にする 様に制御される。以下、添付の図面に基づき、本実施の形態の特徴点を詳述する。
[0019] 図 1は、本実施の形態に係る階調補正装置の構成ないしは機能部を示すブロック 図である。図 1において、階調補正装置に入力されたデジタル画像データは、補正 量算出部 101と、記憶部 106とに入力される。補正量算出部 101は、その内包する ブロックタイミング発生部 102の制御の下で、ブロック単位（局所領域単位）の処理を 行う。先ず、（1)平均輝度算出部 103は、入力した画像データから、ブロック単位の 平均輝度値を算出する。次に、（2)ブロック単位補正量算出部 104は、入力したプロ ック単位の平均輝度値から、ブロック単位での補正量を算出する。更に、（3)画素単 位補正量算出部 105は、入力したブロック単位の補正量から、画素単位の補正量を 算出する。即ち、画素単位補正量算出部 105は、ブロック単位毎の補正量から画素 単位に基づく補正量への補間を行う「補間部」として、機能する。
[0020] 階調変換部 107は、ブロックタイミング発生部 102から出力される制御信号に基づ き、画素単位補正量算出部 105から入力される補正量と階調変換テーブル部 108の 変換テーブル値とを用いて、同部 107が記憶部 106から読み出した画像データ (輝 度値データ）に対して階調変換を行う。
[0021] 次に、各処理ブロックの詳細な動作について記載する。先ず、記憶部 106について 記載する。補正量算出部 101全体では、 1〜数ブロックラインだけの遅延が発生する ので、通常、記憶部 106は、同等の 1〜数ブロックラインの遅延を発生するラインメモ リで構成されている。若し補正量算出部 101の側においてフレーム単位の遅延が発 生する場合には、記憶部 106も、同等のフレーム単位の遅延を発生するフレームメモ ジで構成される c
[0022] 他方、補正量算出部 101内に入力された画像データに対しては、ブロックタイミング 発生部 102で発生されたブロック番号毎に、平均輝度算出部 103は、ブロック単位の 平均輝度値 (ブロック内平均輝度とも称す)を求める。若し画像データが平均輝度算 出部 103に入力される際に、その画像データ形式が輝度 ·色差形式になっていない 場合には、平均輝度を求める前に輝度 ·色差形式へのフォーマット変換を行う必要が ある。その場合には、その様なフォーマット変換を行うブロックないしは機能部力 補 正量算出部 101の前段階に設けられる。これに対して、若し RGB形式のままで入力 画像データを使用する場合には、平均輝度算出部 103は、 RGBの平均値を擬似的 に「ブロック単位の平均輝度値」として決定しても良いが、以下の記載では、デジタル 画像データは予め輝度 ·色差形式に変換された上で、補正量算出部 101内に入力 されたものとして、扱うことにする。
[0023] 尚、ブロックタイミング発生部 102は、 1)補正量算出部 101内に入力するデジタル 画像がテレビ映像信号やデジタルカメラモジュールの撮像信号である場合には、当 該画像信号の同期信号に同期して、各部 103, 104, 105, 107の処理を制御する 第 1〜第 4制御信号を出力する。それに対して、 2)あるメモリ（図示せず）内に補正量 算出部 101内に入力すべきデジタル画像が既に格納されており、そのデジタル画像 を CPU (図示せず）が読み出して補正量算出部 101に入力する様なケースにおいて は、ブロックタイミング発生部 102は、上記 CPUの上記メモリの読み出し開始クロック に同期して、各部 103, 104, 105, 107の処理を制御する第 1〜第 4制御信号を出 力する。
[0024] ここで、ブロックタイミング発生部 102の指令 (第 1制御信号）によって指定される、 1 画面を分割するブロックについて、図 2を用いて説明する。図 2は、画像のブロック分 割を示す図である。図 2において、符号 501は 1画面全体を示し、縦横に延びる境界 線 502によって、 1画面全体 501は、複数のブロックに分割されている。若し逆光補 正を行うときには、例えば、入力画像に、大きく明るい領域と、大きく暗い領域とが存 在していた場合には、画像内の明るい領域に含まれるブロック 503、及び、画像内の 暗い領域に含まれるブロック 504が、 1画面全体 501内に存在することになる。
[0025] 平均輝度算出部 103は、入力された画像データの輝度値を同じブロック領域内で 累積加算していき、最後にブロック内の画素数で割ることで、ブロック単位の平均輝 度値を算出する。ここで、割り算処理の簡略ィ匕のために、通常、ブロックサイズには、 縦'横ともそれぞれ 2のべき乗の画素数を用いることが多い。図 2におけるブロック 50 3は明るい領域であるため、平均輝度算出部 103によって求められた各ブロック 503 の平均輝度値は、比較的に高い値となる。逆に、図 2におけるブロック 504は暗い領 域であるため、平均輝度算出部 103によって求められた各ブロック 504の平均輝度 値は、比較的に低い値となる。
[0026] 尚、同部 103の上記処理対象のブロック（当該ブロック番号は上記第 1制御信号で 指定される）における「画素数の情報」は、 1)それが可変情報である場合には、個々 のブロック毎に、 CPU (図示せず）から「画素数の情報」が両部 102, 103に与えられ 、他方、 2)それが固定値である場合には、当該固定の「画素数の情報」が両部 102, 103内に格納されている。
[0027] 平均輝度算出部 103で求められたブロック単位の平均輝度値は、ブロック単位補 正量算出部 104に入力される。ブロック単位補正量算出部 (単に補正量算出部とも 言う） 104は、ブロックタイミング発生部 102で発生されるタイミング (第 2制御信号が 指示する処理開始タイミング）に応じて、ブロック単位での、補正の方向及び補正量 を算出する。その補正量算出方法は、次の通りである。即ち、ブロック単位補正量算 出部 104に入力された、 1画面内の処理対象の或るブロック（単位)の平均輝度値が 、全輝度階調レベルの中央値カゝら見て比較的低い場合には、図 3に示す様に、プロ ック単位補正量算出部 104は、当該ブロック (単位)の平均輝度値に対する補正量を 大きく設定し (この場合、補正の方向をプラスに設定する）、この様にして生成された 比較的大きな当該ブロック（単位）に関する補正量を出力する。逆に、ブロック単位補 正量算出部 104に入力されたブロック単位の平均輝度値が上記中央値力も見て比 較的高い場合には、図 3に示す様に、ブロック単位補正量算出部 104は、当該ブロッ ク (単位)の平均輝度値に対する補正量を小さく設定し (この場合、補正の方向をマイ ナスに設定する）、この様にして生成された比較的小さなブロック単位での補正量を 出力する。ここで、図 3には、一例として、入力されたブロック内平均輝度値によって 補正量を制御するための算出式が直線である場合が図示されている力 この様な直 線に変えて、曲線を上記補正用算出式に用いても構わない。し力しながら、若し曲線 の制御曲線を用いた場合には、ブロック単位補正量算出部 104における処理量が増 大するため、通常、ブロック単位補正量算出部 104は、直線又は直線同士の組み合 わせより成る補正用算出式で以つて、補正方向及び補正量の処理動作を実行する。 尚、ブロック単位補正量算出部 104が求める「補正の方向」を逆に設定した場合には 、後述の補正カーブ（図 5及び図 6)の設定も逆転させる必要がある。
[0028] ブロック単位補正量算出部 104から出力された当該ブロック（上記第 1制御信号で 指定された現処理対象のブロック）（ブロック単位)の補正量は、画素単位補正量算 出部 105に入力されて、当該ブロック内の画素毎の補正量に補間される。即ち、画素 単位補正量算出部 105は、ブロック単位補正量算出部 104から入力されるブロック 単位の補正量と、ブロックタイミング発生部 102から共に入力される「ブロック番号」及 び「ブロック内オフセット位置」（ブロック内オフセット位置とは、各ブロックの 4隅のある 一つを原点に設定した位置座標軸により規定される、当該ブロック内に属する各画 素の位置である）の情報とに基づき、「画素単位の補正量」を算出する。その際の、画 素毎に補正量を求めるための補間の様子を、一例として、図 4に示す。図 4において 、符号 221は、補間対象である「注目画素」の位置 225 (当該注目画素位置 225の、 当該ブロックの重心に対する位置関係自体は、当該注目画素が属する当該ブロック 内のオフセット位置で以つて、規定される）の左上側に重心が位置するブロックの補 正量である。同様に、符号 222は注目画素位置 225の右上側に、符号 223は注目 画素位置 225の左下側に、符号 224は注目画素位置 225の右下側に、それぞれ重 心が位置する、各ブロックの補正量である。そして、注目画素の位置 225における補 正量 226は、周囲 4個のブロックにおけるブロック単位の補正量から、ブロックタイミン グ発生部 102から入力されるブロック内オフセット位置を用いて、線形補間により求め られる。例えば、符号 221が属するブロックの重心位置のオフセット座標を (0, 0)に 設定すると、そのオフセット座標を基準として、その他の周囲 3個のブロックの重心位 置のオフセット座標も規定されるので、これら 4個のオフセット座標を基に線形補間の 係数値を、同部 105は求めることが出来、これによつて、同部 105は、位置 225にお ける注目画素の補正量を算出することが出来る。この様な線形補間による補正量の 算出処理は、位置 225が属する当該ブロック内の全ての注目画素に対して、実行さ れる。尚、ここでは単純な線形補間の例を示している力 画素単位補正量算出部 10 5は、スプライン補間や、多次多項式補間や、あるいは、その他の曲線を用いた補間 方法を用いても良い。
以上の記載では、 1ブロックを「局所領域」として規定する「ブロック単位」を採用して いるが、これに変えて、ブロック単位に基づくブロックサイズの整数倍を、又はその整 数分の 1倍を、あるいは、その整数分の整数倍を、各部 103及び 104における処理 の 1つの単位としても良い。その意味で、デジタル画像の一画面を複数個に分割す る際の、これらの単位を、「局所領域」と定義する。従って、デジタル画像の一画面は 、ブロックタイミング発生部 102による指定制御の下で、複数の局所領域に分割され た上で、局所領域単位でのタイミングで、各部 103, 104の演算が行われると、言い 換え得る。
[0030] 同様に、画素単位補正量算出部 105の処理動作の単位として、これまで「画素単 位」と表現して来た点についても、画素単位に基づく画素サイズの整数倍、又は、そ の整数分の 1倍、あるいは、その整数分の整数倍を、同部 105の処理動作における「 1つの単位」として設定しても良い。
[0031] 画素単位補正量算出部 105から出力される画素単位毎の補正量は、階調変換部 107〖こ入力される。階調変換部 107は、ブロックタイミング発生部 102によって指定さ れる当該画素に関して、当該画素の上記画素単位の補正量と、同部 107が記憶部 1 06内から読み出した当該画素の輝度レベルとを、予め用意されている階調変換テー ブル部 108のアドレスとして用いることで、階調変換テーブル部 108から該当するデ ータを読み出すことにより、補正後の輝度データを得る。階調変換テーブル部 108に は、（A)画素単位補正量算出部 105で求められた補正量が全輝度階調レベルの中 央値から見て相対的に高い場合には、例えば図 5に示す、低輝度部の階調性を高 めて低輝度部のダイナミックレンジを広げる様な第 1変換カーブが記憶されており、 ( B)逆に、画素単位補正量算出部 105で求められた補正量が低い場合には、例えば 図 6に示す、高輝度部の階調性を高めて高輝度部のダイナミックレンジを広げる様な 第 2変換カーブが記憶されている。ここでは、図 5及び図 6に示す様な、曲線の階調 変換カーブを例示しているが、演算を簡略ィ匕して回路規模や消費電力を抑えるか、 若しくは処理速度向上のために、直線を組み合わせたものを階調変換用として適用 しても良い。あるいは、階調変換テーブル部 108を予め用意しておく本例に変えて、 階調変換部 107が逐次計算によって自ら変換テーブルを求める様に構成しても良く 、又は、変換テーブルを用いずに、階調変換部 107が入力した補正量カゝら直接演算 によって補正を実行する様に、修正を行っても良い。その意味で、階調変換テープ ル部 108は、必須の構成要素と言うよりは、任意の構成要素であると、言える。尚、既 述した通り、図 3に示す補正量のグラフが正負逆転している変形の場合には、その様 な変形例は、図 5及び図 6の階調変換特性をも逆転させることで、本例と等価となる。 階調変換テーブル部 108は、例えば、ストレージデバイスあるいはゲート回路より構 成される。
[0032] ここで、図 7は、既述した階調補正処理の原理を示すフローチャートである。ある!/ヽ は、図 7は、コンピュータで実行可能なソフトウェアのプログラムにおける各処理過程 を示す。先ず、平均輝度算出ステップ 301において、入力された画像に対してブロッ ク単位で平均輝度値を算出し、次のブロック単位補正量算出ステップ 302にお 、て、 平均輝度値から、補正の方向に基づいてブロック単位の補正量を算出し、更に次の 画素単位補正量算出ステップ 303において、入力されたブロック単位の補正量から 画素単位の補正量を算出 (補間）した上で、最後の階調変換ステップ 304において、 入力された画素単位の補正量を用いて、最終的な画素毎の階調変換を行う。
[0033] ブロック単位での、補正の方向及び補正量は、例えば図 3に示す様に、入力された 画像のブロック単位の平均輝度値によって制御される。そして、ブロック単位の補正 量力も画素単位の補正量の算出は、例えば図 4に示す線形補間によって実行される 。更に、階調変換ステップ 304においては、例えば図 5又は図 6に示される様なマツ ビングカーブを用いて、階調が変換される。
[0034] このとき、入力画像を複数のブロックに分割して成る、或る局所領域の平均輝度値 1S 図 2に示されるブロック 504の様に^度階調レベルの中央値力 見て低い場 合には、図 5に示されるマッピングカーブが選択'使用される。この場合、当該ブロッ ク 504内の全画素中で、機能部 105ないしはステップ 303で算出された画素単位の 補正量が当該ブロックの平均輝度値 201に等しくなる画素に関しても、当該レベル 2 01よりも高い階調レベルに該当する輝度レベル 202に変換される。同様に、機能部 105で算出された画素単位の補正量が平均輝度値 201の付近にある他の画素に関 しても、図 5の適用により、その階調レベルは、それぞれ、より高い階調レベルに変換 される。この点、従来の特許文献 3に示された方法では、ブロック内平均輝度レベル が保存されるため、画像の低輝度領域の平均輝度もそれに伴って保存され、画像の 低輝度領域全体としては、階調変換後も暗いままであった。これに対して、本実施の 形態に示す方法では、上記の通り、ブロック内平均輝度レベルも変化させるため、画 像の低輝度領域は全体としても明るく変換され、直感的な暗い部分の認識性を向上 させることが出来る。即ち、逆光補正の効果を上げることが可能である。
[0035] 逆に、入力画像を複数のブロックに分割して成る、或る局所領域の平均輝度値が、 図 2に示されるブロック 503の様に高い場合には、図 6に示されるマッピングカーブが 選択'使用され、当該ブロック 503内の全画素中で、機能部 105ないしはステップ 30 3で算出された画素単位の補正量が当該ブロックの平均輝度値 203に等しくなる画 素に関しても、ブロックの平均輝度値 203は、当該レベル 203よりも低い階調レベル に該当する輝度レベル 204に変換される。同様に、平均輝度値 203の付近の階調レ ベルも、それぞれ、より低い階調レベルに変換される。この点、従来の特許文献 3に 示された方法では、ブロック内平均輝度レベルが保存されるため、画像の高輝度領 域の平均輝度もそれに伴って保存され、画像の高輝度領域全体としては、階調変換 後も明るいままであった。これに対して、本実施の形態に示す方法では、上記の通り 、ブロック内平均輝度レベルも変化させるため、画像の高輝度領域は全体としても暗 く変換され、直感的な明るい部分の認識性を向上させることが出来る。即ち、逆光補 正の効果を上げることが可能である。
[0036] ここで、図 5及び図 6に示されるマッピングカーブを用いて階調補正を行う際の補正 量は、入力画像をブロックに分割して成る局所領域の平均輝度値が中程度にあると き、つまり、 度階調レベルの中央付近にあるときには、平均輝度値が低いとき、 つまり、 度階調レベルの下限付近にあるとき、及び、平均輝度値が高いとき、つ まり、 ^度階調レベルの上限付近にあるときと比べて、小さくなる様に設定する。こ の様な設定により、元々階調レベルが適切であった中間調レベルの領域では補正に よる影響を小さくしながら、暗い領域の視認性を大きく向上させ、明るい領域に関して は、輝度低下による人間の主観的な悪影響を低減しながら視認性も向上させること が出来ると言う効果が得られる。
[0037] 更に、平均輝度値が低 、ときの補正量の絶対値を、平均輝度値が高!、ときの補正 量の絶対値よりも大きくした方がより望ましい。これは、逆光補正に適用する場合に特 に有効であり、特に昼間の空の画像等の明るい領域に関して、より自然に見せながら 、暗い領域への補正量を確保するのに有効である。
[0038] 又、本実施の形態に示す方法では、画像を図 2に示す様に複数のブロックの小領 域 (局所領域）に区切った上で当該画像の処理が行われ、更に、画素単位補正量算 出ステップ 303 (図 7)によって、 1画素ごと独立に補正量が割り当てられ、その後の階 調変換ステップ 304 (図 7)において、 1画素ごと独立に階調補正のためのマッピング カーブが選ばれるため、場所が異なると、元々同じ階調レベルであっても、階調変換 後には異なる階調レベルとして出力されうる。
[0039] 例えば、入力画像のヒストグラムに関して、図 10に示す様に、低輝度領域 601と高 輝度領域 602とがそれぞれ特定階調付近に集中している場合に、従来のヒストグラム 均等化法を用いる場合には、図 11に示す実線の分布が得られ、変換後の低輝度領 域のヒストグラム 611と高輝度領域のヒストグラム 612とは、それぞれ一部の階調で階 調レベルの上下関係の逆転を引き起こさない。し力しながら、本実施の形態に示す 方法を用いた場合には、図 12に示す様に、変換後の低輝度領域のヒストグラム 621 と高輝度領域のヒストグラム 622とが、それぞれ一部の階調で、階調レベルの上下関 係の逆転を引き起こすことが有り得る。
[0040] これは、従来の 1画面全体で同じ連続で階調反転のないマッピングカーブを用いる 方法では、場所による階調の順番の入れ替わりがな力 たことと比べて、局所的なダ イナミックレンジがより広げられていることになる。つまり、画像の 1画面を複数のブロッ クに分割した上で上記の一連の処理を実行したことによって、画像の低輝度領域、 高輝度領域にそれぞれ最適なマッピングカーブを使用することが出来る様になった ため、画像の低輝度領域に対しては、高輝度領域の階調特性劣化を意識することな くダイナミックレンジの拡大を行うことが出来ると共に、画像の高輝度領域に対しては 、低輝度領域の階調特性劣化を意識することなくダイナミックレンジの拡大が図ること が出来る。即ち、逆光補正の効果を上げることが出来る。又、その他にも、マッピング カーブの設定の自由度が広がり、低輝度領域と高輝度領域との両方に折り合いをつ けるための付カ卩的な処理を省くことが出来る。
[0041] このことは、更に、本実施の形態に示す方法が、従来のヒストグラム均等化法を使つ た画面全体の逆光補正方法を、単純にブロック単位の逆光補正処理に変更しただ けのものではないことをも、意味している。つまり、画面全体のヒストグラムを元にして 画面内の逆光状態を検出して画面内の逆光状態を補正する従来技術を、単純にブ ロック単位に変更すると、ブロック内の逆光状態を検出してブロック内の逆光状態を 補正すること〖こなる。しかしながら、本実施の形態に係る装置が採用する既述の方式 では、ブロック内の逆光状態を検出するものではなぐし力も、ブロック内の逆光状態 を補正するものでもない。本方式は、ブロック内の輝度平均値を元にして、複数ブロ ック間の逆光状態を補正するものであり、このため、ヒストグラムを作成することなしに 、結果的に画面全体の逆光状態を補正することが出来るものである。
[0042] 又、本実施の形態に示す方法によれば、局所領域の情報を逐次使用することだけ で画面全体の補正をすることができるため、 1画面全体の前処理が終わるまで待つ 必要がなぐ回路におけるフレームメモリを必要とせずに、ブロックが含まれる程度の ラインメモリ又はその 2倍ないし 3倍程度のラインメモリのみを用いるだけで、フレーム 遅延無ぐリアルタイム処理をすることが出来る。
[0043] 以上の通り、画面内を複数のブロックに分割し、ブロックに分割した局所領域の平 均輝度レベルが低いときには、局所領域の輝度補正における補正量を大きくし、平 均輝度レベルが中程度の時には、局所領域の輝度補正における補正量を小さくする 様にしているので、元々階調レベルが適切であった中間調レベルの領域では補正に よる影響を小さくしながら、暗い領域の視認性を向上させることが出来る。
[0044] 又、画面内を複数のブロックに分割し、ブロックに分割した局所領域の平均輝度レ ベルが低いときには、局所領域の輝度補正における補正量を大きくし、平均輝度レ ベルが中程度の時には、局所領域の輝度補正における補正量を小さくし、平均輝度 レベルが高いときには、局所領域の輝度補正における補正量を大きくする様にして いるので、元々階調レベルが適切であった中間調レベルの領域では補正による影響 を小さくしながら、暗い領域と明るい領域の視認性を向上させることが出来る。
[0045] あるいは、画面内を複数のブロックに分割し、ブロックに分割した局所領域の平均 輝度レベルが低いときには、局所領域の輝度補正における補正量を大きくし、平均 輝度レベルが中程度の時には、局所領域の輝度補正における補正量を小さくし、平 均輝度レベルが高いときには、局所領域の輝度補正における補正量を中程度に設 定する様にしても良い。このときには、元々階調レベルが適切であった中間調レベル の領域では補正による影響を小さくしながら、暗い領域の視認性を大きく向上させ、 明るい領域に関しては、輝度低下による人間の主観的な悪影響を低減しながら視認 性も向上させることが出来ると言う利点がある。
[0046] (実施の形態 2)
本実施の形態の特徴点は、局所領域の平均輝度レベルから補正後の輝度レベル への変化量を、局所領域の平均色差ベクトルによっても制御する点にある。更に、本 実施の形態は、局所領域の平均輝度レベルから補正後の輝度レベルへの変化量を 、局所領域の平均色差ベクトルが概肌色付近である際に小さくなる様に制御する点 にも、その特徴点を有する。以下、本実施の形態の特徴点を添付の図面に基づいて 詳述する。
[0047] 図 8は、本実施の形態に係る階調補正装置のブロック構成を示す図である。図 8の 構成が図 1のそれと相違する点は、図 8における各部 109及び 110だけであり、その 他の構成要素は図 1中の対応する構成要素と同じである。
[0048] 図 8において、階調補正装置に入力された画像データは、補正量算出部 101Aと、 記憶手段 106とに入力される。補正量算出部 101Aでは、ブロックタイミング発生部 1 02によって、ブロック単位の処理が行われる。まず、平均輝度算出部 103において、 画像データカゝらブロック単位の平均輝度値が求められる。それに併行して、平均色算 出部 109において、画像データからブロック単位の平均色が求められる。次に、ブロ ック単位補正量算出部 110において、ブロック単位での、平均輝度値と平均色とから 、ブロック単位の補正量が求められる。さらに、画素単位補正量算出部 105において 、ブロック単位の補正量カゝら画素単位の補正量が求められる。階調変換部 107にお いて、画素単位補正量算出部 105からの補正量と階調変換テーブル 108とを用いて 、記憶部 106から読み出した画像データに対して階調変換が行われる。
[0049] 次に、各処理ブロックの詳細な動作について記載する。まず、記憶部 106について 記載する。補正量算出部 101全体では、 1〜数ブロックラインだけの遅延が発生する ので、通常、記憶部 106は、同等の 1〜数ブロックラインの遅延を発生するラインメモ リで構成される。もし補正量算出部 101でフレーム単位の遅延が発生する場合には、 記憶部 106も、同等のフレーム単位の遅延を発生するフレームメモリで構成される。
[0050] 他方、補正量算出部 101Aに入力された画像データは、ブロックタイミング発生部 1 02で発生されたブロック番号毎に、平均輝度算出部 103において、ブロック内平均 輝度が求められる。同様に、平均色算出部 109において、ブロック内平均色が求めら れる。もし平均輝度算出部 103に画像データが入力される際に、画像データ形式が 輝度 ·色差形式になっていない場合には、平均輝度と平均色とを求める前に、輝度' 色差形式にフォーマット変換を行う。若し RGB形式のままで使用する場合には、 RG Bの平均値を擬似的に輝度値として用いても良いが、以下の記載では、予め輝度' 色差形式で画像データが入力されたものとして扱うことにする。
[0051] ここで、ブロックタイミング発生部 102で発生されるブロックについて、図 2を用いて 説明する。図 2において、 501が 1画面全体を示し、境界線 502によって、 1画面全体 501が複数のブロックに分割されている。もし逆光補正を行うときには、例えば、入力 画像に、大きく明るい領域と暗い領域とが存在していた場合、画像内の明るい領域に 含まれるブロック 503、および、画像内の暗い領域に含まれるブロック 504が存在す ることになる。
[0052] 平均輝度算出部 103は、入力された画像データの輝度値を同じブロック領域内で 累積加算していき、最後にブロック内の画素数で割ることで、ブロック内の平均輝度 を算出する。ここで、割り算の簡略ィ匕のために、通常、ブロックサイズとしては、縦'横 ともそれぞれ 2のべき乗の画素数を用いることが多い。図 2におけるブロック 503は、 明るい領域であるため、平均輝度算出部 103から出力される平均輝度値は高い値と なる。また、図 2におけるブロック 504は、暗い領域であるため、平均輝度算出部 103 力 出力される平均輝度値は低い値となる。
[0053] 平均色算出部 109は、入力された画像データの色を同じブロック領域内で累積カロ 算していき、最後にブロック内の画素数で割ることで、ブロック内の平均色を算出する 。ここで、割り算の簡略ィ匕のために、通常、ブロックサイズとしては、縦'横ともそれぞ れ 2のべき乗の画素数を用いることが多!、。平均色を求めるための色のデータとして は、通常、輝度 ·色差形式のうちの色差を用いる。輝度'色差形式が、例えば、 Y, Cb , Crの場合には、 Cbと Crの 2成分を用いて Cbと Crそれぞれについての平均値を求 め、求められた Cbの平均値と Crの平均値の 2成分力 成る色ベクトルを出力する。 但し、以下では、この色ベクトルを指して、単に平均色と述べることにする。 [0054] ここで、色の情報として、肌色等の特定の色の成分のみし力利用しない場合には、 その特定の色と、ブロック内の平均色との差分のスカラ量を予め求めることによって、 色ベクトルの代わりに、特定色度合いのスカラ値として出力しても良い。又、ブロック 内の平均色を求めて力 差分を求めるのではなくて、より細かぐ例えば画素単位に 特定色と画素の色との差分を求めていき、最後に差分値の平均を求め、その差分値 を特定色度合いのスカラ値として出力しても良い。特定色度合いのスカラ値も、上記 色ベクトルと同様、以下では、単に平均色と述べることにする。
[0055] ここでは、平均色を求めるために色差のみを用いたが、例えば、明るい肌色のみを 対象とする場合等で、色差と輝度の両方を用いて、輝度情報も含む平均色を求めて も良い。後段のブロック単位補正量算出部 110において、輝度力も求めた平均輝度 と色差力 求めた平均色の両方の情報を用いて補正量を算出するため、ブロック単 位であれば、ブロック単位補正量算出部 110において輝度情報と色差情報との合成 をしても良いが、予め画素単位で輝度情報と色差情報との合成をした方が良い場合 には、平均色算出部 109において、色差と輝度の両方を用いて輝度情報も含む平 均色を予め求めておくことになる。
[0056] 平均輝度算出部 103で求められたブロック内の平均輝度値と、平均色算出部 109 で求められた平均色は、ブロック単位補正量算出部 110に入力される。ブロック単位 補正量算出部 110では、ブロックタイミング発生部 102で指定されるタイミングにおい て、ブロック単位での補正量が算出される。ブロック単位補正量算出部 110に入力さ れたブロック内平均輝度値が低い場合には、図 3に示す様に、ブロック単位補正量 算出部 110から出力する補正量を大きくする。逆に、ブロック単位補正量算出部 110 に入力されたブロック内平均輝度値が高い場合には、図 3に示す様に、ブロック単位 補正量算出部 110から出力する補正量を小さくする。ここで、図 3には、入力された ブロック内平均輝度値によって補正量を制御するための算出式が直線の場合を図示 したが、この直線が曲線であっても構わない。しかしながら、もし曲線の制御曲線を用 いた場合には、処理量が増大するため、通常は直線または直線の組み合わせで制 御を行う。また、ここで補正の方向を逆に設定した場合には、後述の補正カーブも逆 転する必要がある。 [0057] 一方、平均色算出部 109から入力された平均色がおよそ肌色付近である場合には 、輝度平均値の場合と同様に、ブロック単位補正量算出部 110から出力する補正量 を小さくする。逆に、平均色算出部 109から入力された平均色が肌色から色度図上 で離れている場合には、ブロック単位補正量算出部 110から出力する補正量を大き くする。この算出式も、直線または直線の組み合わせであっても、曲線であっても、構 わないが、もし曲線の制御曲線を用いた場合には、処理量が増大するため、通常は 、直線または直線の組み合わせで制御を行う。
[0058] ブロック単位補正量算出部 110から出力されたブロック単位の補正量は、画素単位 補正量算出部 105に入力される。画素単位補正量算出部 105では、ブロック単位補 正量算出部 110から入力されたブロック単位の補正量と、ブロックタイミング発生部 1 02から入力されたブロック番号及びブロック内オフセット位置とにより、画素単位の補 正量を算出する。画素ごとの補正量を求めるための補間の様子を、図 4に示す。 221 は注目画素位置 225の左上側に重心が位置するブロックの補正量である。同様に、 222ίま注目画素位置 225の右上ィ則【こ、 223ίま注目画素位置 225の左下ィ則【こ、 224 は注目画素位置 225の右下側に、それぞれ重心が位置するブロックの補正量である 。注目画素位置 225における補正量 226を求める際には、周囲 4個のブロックの補正 量から、ブロックタイミング発生部 102から入力されるブロック内オフセット位置を用い て、線形補間により求められる。ここでは単純な線形補間の例を示したが、スプライン 補間や多次多項式補間や、その他の曲線を用いた補間方法を用いても良い。又、こ こで、ブロック単位と表現した力 ブロック単位に基づくブロックサイズの整数倍、整数 分の 1倍、または、整数分の整数倍を、 1つの単位としても良い。同様に、画素単位と 表現した点も、画素単位に基づく画素サイズの整数倍、整数分の 1倍、または、整数 分の整数倍を、 1つの単位としても良い。
[0059] 画素単位補正量算出部 105から出力された画素単位の補正量は、階調変換部 10 7に入力される。階調変換部 107では、画素単位の補正量と記憶部 106から読み出 された画素の輝度レベルとを、予め用意しておいた階調変換テーブル部 108のアド レスとして読み出すことにより、補正後のデータを得ることができる。階調変換テープ ル部 108には、補正量が高い場合には、例えば図 5に示す、低輝度部の階調性を高 め低輝度部のダイナミックレンジを広げる様な変換カーブが記憶され、逆に補正量が 低い場合には、例えば図 6に示す、高輝度部の階調性を高め高輝度部のダイナミツ クレンジを広げる様な変換カーブが記憶されている。ここで、図 5及び図 6においては 、曲線の階調変換カーブを示したが、演算を簡略化して回路規模や消費電力を抑え る力、もしくは処理速度向上のために、直線を組み合わせたものを用いても良い。ま た、ここでは変換テーブルを予め用意しておく例を示したが、逐次計算によって変換 テーブルを求める様に構成しても良ぐまた、変換テーブルを用いずに、補正量から 直接演算によって補正を行っても良い。また、図 3に示す補正量のグラフが正負逆転 している場合には、図 5と図 6の特性も逆転することで等価となる。
[0060] 図 9は、本実施の形態に係る階調補正処理の原理を示すフローチャートである。以 下のステップ 305及び 302のみ力 図 7のフローチャートにおける処理過程と相違す るにすぎない。即ち、平均輝度および平均色算出ステップ 305において、入力された 画像に対してブロック単位で平均輝度値と平均色を算出し、ブロック単位補正量算 出ステップ 302において、平均輝度値と平均色とからブロック単位の補正量を算出し 、画素単位補正量算出ステップ 303において、入力されたブロック単位の補正量から 画素単位の補正量を算出し、階調変換ステップ 304において、入力された画素単位 の補正量を用いて、階調変換を行う。
[0061] ブロック単位の補正量は、図 3に示す様に入力された画像のブロック単位の平均輝 度値によって制御され、又、同様に当該ブロック単位の平均色によっても制御される 。そして、ブロック単位の補正量力 画素単位の補正量を算出する際には、図 4に示 す線形補間が用いられる。
[0062] 階調変換ステップ 304において、階調変換を行う際には、例えば図 5や図 6に示さ れる様なマッピングカーブが用いられる。このとき、入力画像を複数のブロックに分割 して成る個々の局所領域の平均輝度値力 図 2に示されるブロック 504の様に低い 場合には、図 5に示されるマッピングカーブが用いられ、或る画素単位の補正量が当 該画素の属するブロックの平均輝度値に等しいときには、そのブロックの平均輝度値 201は、より高い階調レベルを有する輝度値 202のレベルに変換される。同様に、平 均輝度値付近の階調レベルも、それぞれより高 、階調レベルに変換される。 [0063] 従来の特許文献 3に示された方法では、ブロック内平均輝度レベルが保存されるた め、画像の低輝度領域の平均輝度もそれに伴って保存され、画像の低輝度領域全 体としては、階調変換後も暗いままであった。
[0064] これに対して、本実施の形態に示す方法では、ブロック内平均輝度レベルも変化さ せるため、画像の低輝度領域全体としても、明るく変換され、直感的な暗い部分の認 識性を向上させることが出来る。即ち、逆光補正の効果を上げることが出来る。
[0065] 逆に、入力画像をブロックに分割して成る局所領域の平均輝度値力 図 2に示され るブロック 503の様に比較的に高い場合にも、図 6に示されるマッピングカーブが用 いられ、ブロックの平均輝度値 203は、当該レベルよりも低い階調レベルを持つ輝度 値 204のレベルに変換される。同様に、平均輝度値付近の階調レベルも、それぞれ 、より低い階調レベルに変換される。
[0066] 従来の特許文献 3に示された方法では、ブロック内平均輝度レベルが保存されるた め、画像の高輝度領域の平均輝度もそれに伴って保存され、画像の高輝度領域全 体としては、階調変換後も明るいままであった。
[0067] 一方、本実施の形態に示す方法では、ブロック内平均輝度レベルも変化させるた め、画像の高輝度領域全体としても、暗く変換され、直感的な明るい部分の認識性を 向上させることが出来る。即ち、逆光補正の効果を上げることが出来る。
[0068] ここで、図 5および図 6に示されるマッピングカーブを用いて補正を行う際の補正量 は、入力画像をブロックに分割した領域の平均輝度値が中程度にあるとき、つまり、 度階調レベルの中央付近にあるときには、平均輝度値が低いとき、つまり、 度階調レベルの下限付近にあるとき、および、平均輝度値が高いとき、つまり、 度階調レベルの上限付近にあるときと比べて小さくなる様に設定する。このことにより 、元々階調レベルが適切であった中間調レベルの領域では補正による影響を小さく しながら、暗い領域の視認性を大きく向上させ、明るい領域に関しては、輝度低下に よる人間の主観的な悪影響を低減しながら視認性も向上させることが出来ると言う効 果がある。
[0069] 更に、平均輝度値が低 、ときの補正量の絶対値を、平均輝度値が高!、ときの補正 量の絶対値よりも大きく設定する方がより望ましい。これは、逆光補正に適用する場 合に特に有効であり、特に昼間の空の画像等の明るい領域に関して、より自然に見 せながら、暗い領域への補正量を確保するのに有効である。
[0070] 又、本実施の形態に示す方法は、画像を図 2に示す様に複数のブロックの小領域 に区切って処理を行い、更に、画素単位補正量算出ステップ 303によって、 1画素ご と独立に補正量が割り当てられ、その後の階調変換ステップ 304において、 1画素ご と独立に階調補正のためのマッピングカーブが選ばれるため、場所が異なると、元々 同じ階調レベルであっても、階調変換後には異なる階調レベルとして出力されうる。
[0071] 例えば、入力画像のヒストグラムが図 10に示す様に、低輝度領域と高輝度領域とが それぞれ特定階調付近に集中している場合に、従来のヒストグラム均等化法を用い た場合には、図 11に示す実線の様な分布となり、変換後の低輝度領域のヒストグラム 611と高輝度領域のヒストグラム 612とは、それぞれ一部の階調で階調レベルの上下 関係の逆転を引き起こさな力つた力 本実施の形態に示す方法を用いた場合には、 図 12に示す様に、変換後の低輝度領域のヒストグラム 621と高輝度領域のヒストグラ ム 622とが、それぞれ一部の階調で階調レベルの上下関係の逆転を起こすことが有 り得る。
[0072] これは、従来の 1画面全体で同じ連続で階調反転のないマッピングカーブを用いる 方法では、場所による階調の順番の入れ替わりがな力 たことと比べて、局所的なダ イナミックレンジがより広げられていることになる。つまり、画像をブロックに分割して処 理したことによって、画像の低輝度領域、高輝度領域にそれぞれ最適なマッピング力 ーブを使用することが出来る様になつたため、画像の低輝度領域に対しては、高輝 度領域の階調特性劣化を意識することなくダイナミックレンジの拡大が出来、画像の 高輝度領域に対しては、低輝度領域の階調特性劣化を意識することなくダイナミック レンジの拡大が図ることが出来る。即ち、逆光補正の効果を上げることが出来る。又、 その他にも、マッピングカーブの設定の自由度が広がり、低輝度領域と高輝度領域と の両方に折り合いをつけるための付カ卩的な処理を省くことが出来る。
[0073] このことはさらに、本実施の形態に示す方法が、従来のヒストグラム均等化法を使つ た画面全体の逆光補正方法を、単純にブロック単位の逆光補正処理に変更しただ けのものではないことも意味している。つまり、従来、画面全体のヒストグラムを元にし て画面内の逆光状態を検出して画面内の逆光状態を補正していたのを、単純にプロ ック単位に変更すると、ブロック内の逆光状態を検出してブロック内の逆光状態を補 正することになる。しかしながら、本実施の形態に示す方法では、ブロック内の逆光 状態を検出するものではなぐ又、ブロック内の逆光状態を補正するものでもない。本 実施の形態に示す方法は、ブロック内の輝度平均値を元にして、複数ブロック間の 逆光状態を補正するものであるため、ヒストグラムを作成することなしに、結果として画 面全体の逆光状態を補正することが出来る。
[0074] 又、本実施の形態に示す方法では、局所領域の情報を逐次使用することだけで画 面全体の補正をすることが出来るため、 1画面全体の前処理が終わるまで待つ必要 がなく、回路におけるフレームメモリを必要とせずに、ブロックが含まれる程度のライン メモリ又はその 2倍又は 3倍程度のラインメモリのみを用いるだけで、フレーム遅延無 くリアルタイム処理をすることが出来る。
[0075] 又、実施の形態 1に示した方法では、補正処理に色情報を用いて!/、なかったため、 特定の色に関して、補正が力かりすぎるという問題点があった力 本実施の形態に示 す方法では、補正量を局所領域の平均色差ベクトルによっても制御する様にして!/ヽ るので、特定の色を有する領域についての階調補正による人間が感じる主観的な影 響を制御出来ると言う効果がある。
[0076] 人間が感じる主観的な影響は、人物の肌色に対して特に顕著であるため、局所領 域の平均色差ベクトルが概肌色付近である際には補正量を小さくする様に設定すれ ば、画像に人物画が含まれていた場合であっても、階調補正による人肌画像への人 間が感じる主観的な影響を低減出来ると言う効果がある。
[0077] 以上の通り、本実施の形態によれば、画面内を複数のブロックに分割し、ブロックに 分割した局所領域の平均輝度レベルから補正後の輝度レベルへの変化量を、局所 領域の平均色差ベクトルによっても制御する様にして 、るので、特定の色を持つ領 域が面積的に広く連続する様な部分全体において、階調補正による人間が感じる主 観的な影響を制御出来ると言う利点がある。
[0078] 又、画面内を複数のブロックに分割し、ブロックに分割した局所領域の平均輝度レ ベルから補正後の輝度レベルへの変化量を、局所領域の平均色差ベクトルが概肌 色付近である際に小さくなる様に制御しているので、階調補正による人肌画像への 人間が感じる主観的な影響を低減出来ると言う利点がある。
[0079] (実施の形態 3)
実施の形態 1においては、階調変換部 107において、画素単位の補正量から補正 後の輝度データを得る際、補正量のレベル数に応じた変換テーブルを持って、変換 を行う手法を述べたが、本実施の形態では、 2種類の変換データテーブルのみを用 いて変換を行う。
[0080] 図 13は、本実施の形態に係る階調補正装置のブロック構成を示す図である。図 13 の構成が図 1のそれと相違する点は、階調変換を行う部分の装置構成である。階調 変換を行う部分は、第 1の変換テーブル部 108Aを有する第 1の階調変換部 107A、 第 2の変換テーブル部 108Bを有する第 2の階調変換部 107B、および階調補間部 1 07C力も構成されている。図 14に示すように、第 1の変換テーブル部 108Aには、正 の方向に補正量が最大値となる場合のマッピングカーブ 246が予め用意され、第 2 の変換テーブル部 108Bには、負の方向に補正量が最大値となる場合のマッピング カーブ 247が用意されて 、る。
[0081] 階調変換以外の動作は、実施の形態 1と同様であるため、以下において、本実施 例における階調変換の動作のみについて説明を行う。
[0082] 図 13において、記憶部 106から、第 1の階調変換部 107Aと第 2の階調変換部 10 7Bに画素毎の輝度レベルが入力される。第 1の階調変換部 107Aは、第 1の変換テ 一ブル部 108Aを参照し、図 14に示す 241に相当する出力値を得る。他方、第 2の 階調変換部 107Bは、第 2の変換テーブル部 108Bを参照し、図 14に示す 242に相 当する出力値を得る。これら 2つの出力を受けた階調補間部 107Cは、画素単位補 正量算出部 105から出力された画素単位の補正量により、重み付け平均を行うこと で補正量に応じて階調を補間し、図 14における 243に相当する出力レベルを得る。
[0083] この方法では、システムの階調特性に適応した変換テーブルを用いることができ、 かつ、変換テーブルを 2種類に削減したため、回路規模またはプログラムサイズを削 減できるという効果がある。
[0084] 実施の形態 1においても述べたが、演算を簡略ィ匕して回路規模や消費電力を抑え る力、若しくは処理速度向上のために、曲線の階調変換カーブの代わりに、直線を 組み合わせたものを階調変換用として適用しても良い。あるいは、階調変換テーブル を予め用意する代わりに、階調変換部が逐次計算によって自ら変換テーブルを求め る様に構成しても良ぐ又は、変換テーブルを用いずに、階調変換部が入力した補 正量から直接演算によって補正を実行する様に、修正を行っても良い。
[0085] 例えば、マッピングカーブとして、図 15〖こ示す直線 256〜259を用いることで、図 1 3に示す第 1および第 2の変換テーブル部 108A、 108Bを使わずに、直線の計算と 比較を行う演算回路によって回路規模またはプログラムサイズを削減することもできる 。具体的には、入力データを直線式 256と 257で演算による階調変換を行い、出力 結果の小さい方を正方向の補正量最大となる場合の変換後階調 (第 1の階調変換部 の出力）とし、同様に直線式 258、 259による変換結果の大きい方を負方向の補正量 最大となる場合の変換後階調 (第 2の階調変換部の出力）とすることもできる。この方 法は、変換テーブルも計算式として固定ィ匕することで、階調特性の自由度は低くなる ものの、上記方法よりもさらに回路規模またはプログラムサイズを削減できるものであ る。
[0086] (付記）
以上、本発明の実施の形態を詳細に開示し記述した力 以上の記述は本発明の 適用可能な局面を例示したものであって、本発明はこれに限定されるものではない。 即ち、記述した局面に対する様々な修正や変形例を、この発明の範囲力も逸脱する ことの無い範囲内で考えることが可能である。
[0087] 例えば、実施の形態 1あるいは実施の形態 2で具現化された本発明に係る階調補 正装置は、ハードウェアの装置として実現出来るのみならず、プログラムによる各部の 機能実行としてソフトウェア処理で以つて実現することも可能である。本願の図 7又は 図 9の例示は、その様なプログラムの適用例をも示すものである。
産業上の利用の可能性
[0088] 本発明は、その活用例として、撮像装置によって逆光状態で撮影された画像の補 正処理に適用出来るが、逆光状態でなくても、部分的に階調が黒つぶれ、あるいは 、白飛びしている画像の補正処理にも適用出来る。その他にも、本発明は、コントラス トの乏しい表示装置の視認性向上のためにも適用出来る。又、撮像装置や表示装置 を備えていなくても、画像の補正処理を行う装置であれば、本発明を適用出来る。 より具体的には、本発明に係る階調補正装置を、携帯電話や PDA等の携帯端末 機器やパーソナルコンピュータ等のデジタル機器にも適用可能である。

Claims

請求の範囲
[1] デジタル画像の一画面内を複数の局所領域に分割した上で階調補正を行う階調補 正装置であって、
前記デジタル画像の前記一画面に渡って、前記局所領域毎の平均輝度を求める 平均輝度算出部と、
前記局所領域毎の平均輝度より当該局所領域毎の補正量を求める補正量算出部 と、
前記局所領域毎の補正量から画素単位毎の補正量への補間を行う補間部と、 前記局所領域毎の補正量と全輝度階調レベルの中央値に対応する補正量との大 小、又は、前記画素単位毎の補正量と前記全輝度階調レベルの中央値に対応する 補正量との大小に基づいて、予め用意した複数の階調変換関数からひとつの階調 変換関数を選択し、前記局所領域毎の補正量と前記画素単位毎の補正量の!、ずれ か一方をパラメータとし、画素毎の輝度を前記選択された階調変換関数により補正 する階調補正を行う階調変換部とを備えたことを特徴とする、
階調補正装置。
[2] 請求項 1記載の階調補正装置において、
前記複数の階調変換関数は、低輝度部の階調性を高める作用を有する第 1の変 換関数と、高輝度部の階調を高める作用を有する第 2の変換関数力 なることを特徴 とする、
階調補正装置。
[3] 請求項 1記載の階調補正装置において、
前記局所領域毎の平均色を求める平均色算出部を更に備えており、
前記補正量算出部は、前記平均輝度と前記平均色とを用いて前記局所領域毎の 輝度補正量を求めることを特徴とする、
階調補正装置。
[4] 請求項 3記載の階調補正装置において、
前記補正量算出部は、前記平均色が予め設定された特定色の付近である場合に は、補正による変動幅を変化させることを特徴とする、 階調補正装置。
[5] 請求項 4記載の階調補正装置にぉ 、て、
予め設定された前記特定色は概肌色であることを特徴とする、
階調補正装置。
[6] 請求項 5記載の階調補正装置において、
前記補正量算出部は、前記平均色が前記概肌色の付近である場合には、前記補 正による変動幅を小さくすることを特徴とする、
階調補正装置。
[7] 請求項 1記載の前記階調補正装置を有することを特徴とする、
携帯端末機器。
[8] 請求項 1記載の前記階調補正装置を有することを特徴とする、
撮像装置。
[9] 請求項 8に記載の前記撮像装置を有することを特徴とする、
携帯電話。
[10] デジタル画像の一画面内を複数の局所領域に分割する分割ステップと、
前記デジタル画像の前記一画面にわたり前記局所領域毎の平均輝度を求める平 均輝度算出ステップと、
前記局所領域毎の平均輝度より当該局所領域毎の補正量を求める補正量算出ス テツプと、
前記局所領域毎の補正量から画素毎の補正量への補間を行う補間ステップと、 前記局所領域毎の補正量と全輝度階調レベルの中央値に対応する補正量との大 小、又は、前記画素単位毎の補正量と前記全輝度階調レベルの中央値に対応する 補正量との大小に基づいて、予め用意した複数の階調変換関数からひとつの階調 変換関数を選択し、前記局所領域毎の補正量と前記画素単位毎の補正量の!、ずれ か一方をパラメータとし、画素毎の輝度を前記選択された階調変換関数により補正 する階調変換ステップとを有することを特徴とする、
階調補正方法。
[11] 請求項 10記載の階調補正方法であって、 前記複数の階調変換関数は、低輝度部の階調性を高める作用を有する第 1の変 換関数と、高輝度部の階調を高める作用を有する第 2の変換関数力 なることを特徴 とする、
階調補正方法。
[12] 請求項 10記載の階調補正方法であって、
前記局所領域毎の平均色を求める平均色算出ステップを更に備えており、 前記補正量算出ステップは、前記平均輝度と前記平均色とを用いて前記局所領域 毎の輝度補正量を求めることを特徴とする、
階調補正方法。
[13] 請求項 12記載の階調補正方法であって、
前記補正量算出ステップは、前記平均色が概肌色の付近である場合には、前記補 正による変動幅を小さくすることを特徴とする、
階調補正方法。
[14] 電子情報処理装置に階調補正処理を実行させるプログラムであって、
前記階調補正処理は、
デジタル画像の一画面内を複数の局所領域に分割する分割処理と、
前記デジタル画像の前記一画面にわたり前記局所領域毎の平均輝度を求める平 均輝度算出処理と、
前記局所領域毎の平均輝度より当該局所領域毎の補正量を求める補正量算出処 理と、
前記局所領域毎の補正量から画素毎の補正量への補間を行う補間処理と、 前記局所領域毎の補正量と全輝度階調レベルの中央値に対応する補正量との大 小、又は、前記画素単位毎の補正量と前記全輝度階調レベルの中央値に対応する 補正量との大小に基づいて、予め用意した複数の階調変換関数からひとつの階調 変換関数を選択し、前記局所領域毎の補正量と前記画素単位毎の補正量の!、ずれ か一方をパラメータとし、画素毎の輝度を前記選択された階調変換関数により補正 する階調変換処理を有することを特徴とする、
プログラム。
[15] 請求項 14記載のプログラムであって、
前記複数の階調変換関数は、低輝度部の階調性を高める作用を有する第 1の変 換関数と、高輝度部の階調を高める作用を有する第 2の変換関数力 なることを特徴 とする、
プログラム。
[16] 請求項 14記載のプログラムであって、
前記局所領域毎の平均色を求める平均色算出処理を更に備えており、 前記補正量算出処理は、前記平均輝度と前記平均色とを用いて前記局所領域毎 の輝度補正量を求めることを特徴とする、
プログラム。
[17] 請求項 16記載のプログラムであって、
前記補正量算出処理は、前記平均色が概肌色の付近である場合には、前記補正 による変動幅を小さくすることを特徴とする、
プログラム。
PCT/JP2005/005850 2004-04-30 2005-03-29 階調補正装置、携帯端末機器、撮像装置、携帯電話、階調補正方法及びプログラム WO2005106789A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP05727555.4A EP1746539B1 (en) 2004-04-30 2005-03-29 Gradation correcting apparatus, mobile terminal device, image pickup apparatus, mobile telephone, gradation correcting method, and program
US11/587,903 US8107123B2 (en) 2004-04-30 2005-03-29 Tone correction apparatus, mobile terminal, image capturing apparatus, mobile phone, tone correction method and program for improve local contrast in bright and dark regions

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004-135978 2004-04-30
JP2004135978 2004-04-30
JP2004348180A JP3949684B2 (ja) 2004-04-30 2004-12-01 階調補正装置、階調補正用プログラム、携帯端末機器及びパーソナルコンピュータ
JP2004-348180 2004-12-01

Publications (1)

Publication Number Publication Date
WO2005106789A1 true WO2005106789A1 (ja) 2005-11-10

Family

ID=35241880

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/005850 WO2005106789A1 (ja) 2004-04-30 2005-03-29 階調補正装置、携帯端末機器、撮像装置、携帯電話、階調補正方法及びプログラム

Country Status (4)

Country Link
US (1) US8107123B2 (ja)
EP (1) EP1746539B1 (ja)
JP (1) JP3949684B2 (ja)
WO (1) WO2005106789A1 (ja)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4240023B2 (ja) * 2005-08-31 2009-03-18 ソニー株式会社 撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラム
US7684640B2 (en) * 2005-10-20 2010-03-23 Sharp Laboratories Of America, Inc. Methods and systems for automatic digital image enhancement with local adjustment
JP4655947B2 (ja) * 2006-01-20 2011-03-23 株式会社デンソー 車両用表示装置、プログラム
JP4652992B2 (ja) * 2006-02-23 2011-03-16 ルネサスエレクトロニクス株式会社 色補正装置、色補正方法及びプログラム
KR100809347B1 (ko) 2006-07-31 2008-03-05 삼성전자주식회사 쉐도우 영역 보상 방법 및 장치
KR100815588B1 (ko) 2006-08-16 2008-03-20 삼성전자주식회사 디스플레이장치 및 그 밝기조정방법
JP2008085634A (ja) * 2006-09-27 2008-04-10 Konica Minolta Holdings Inc 撮像装置及び画像処理方法
KR100827239B1 (ko) 2006-10-17 2008-05-07 삼성전자주식회사 영상의 시인성을 향상시키는 장치 및 방법
JP4831340B2 (ja) * 2006-11-14 2011-12-07 オムロン株式会社 画像処理装置、画像処理方法、プログラム、および記録媒体
US20080122857A1 (en) * 2006-11-29 2008-05-29 Chih-Lin Hsuan Methods and devices for adjusting display characteristic of a video frame according to luminance statistics
US8761504B2 (en) * 2006-11-29 2014-06-24 President And Fellows Of Harvard College Spatio-spectral sampling paradigm for imaging and a novel color filter array design
JP4054360B1 (ja) 2007-03-30 2008-02-27 三菱電機株式会社 画像処理装置およびプログラム記録媒体
JP5171434B2 (ja) * 2007-09-13 2013-03-27 パナソニック株式会社 撮像装置、撮像方法、プログラム、および集積回路
KR20100099686A (ko) * 2007-12-04 2010-09-13 소니 주식회사 화상 처리 장치 및 방법, 프로그램, 및 기록 매체
JP2009171182A (ja) * 2008-01-16 2009-07-30 Panasonic Corp 映像信号処理装置
JP2009290660A (ja) 2008-05-30 2009-12-10 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび印刷装置
KR20100028247A (ko) * 2008-09-04 2010-03-12 엘지전자 주식회사 영상 표시 기기의 명암 보정 장치 및 방법
KR101092646B1 (ko) * 2008-09-22 2011-12-13 솔로몬 시스테크 리미티드 로컬 콘트라스트 강화를 위한 방법 및 장치
WO2010116522A1 (ja) * 2009-04-10 2010-10-14 パイオニア株式会社 画像処理装置、その方法、そのプログラム、そのプログラムを記録した記録媒体、および表示装置
US8311355B2 (en) * 2009-06-05 2012-11-13 Apple Inc. Skin tone aware color boost for cameras
JP5299867B2 (ja) * 2009-06-30 2013-09-25 日立コンシューマエレクトロニクス株式会社 画像信号処理装置
US20110044552A1 (en) * 2009-08-24 2011-02-24 Jonathan Yen System and method for enhancement of images in a selected region of interest of a captured image
JP5493717B2 (ja) * 2009-10-30 2014-05-14 大日本印刷株式会社 画像処理装置、画像処理方法、および、画像処理用プログラム
JP5569042B2 (ja) * 2010-03-02 2014-08-13 株式会社リコー 画像処理装置、撮像装置及び画像処理方法
US8560585B2 (en) * 2010-10-08 2013-10-15 Xerox Corporation Method for dequantization of 1-D LUT correction curves
US8774554B1 (en) * 2011-05-09 2014-07-08 Exelis, Inc. Bias and plateau limited advanced contrast enhancement
JP5810628B2 (ja) 2011-05-25 2015-11-11 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP5782838B2 (ja) 2011-05-27 2015-09-24 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
TWI497320B (zh) * 2011-11-14 2015-08-21 Novatek Microelectronics Corp 色調對應方法及影像處理裝置
JP5855224B2 (ja) 2012-03-02 2016-02-09 三菱電機株式会社 画像処理装置及び方法
JP6029344B2 (ja) 2012-06-20 2016-11-24 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
JP2014021782A (ja) * 2012-07-19 2014-02-03 Canon Inc 画像処理装置、その制御方法及びプログラム
US9135684B2 (en) 2012-11-12 2015-09-15 Marvell World Trade Ltd. Systems and methods for image enhancement by local tone curve mapping
US8958658B1 (en) * 2013-09-10 2015-02-17 Apple Inc. Image tone adjustment using local tone curve computation
KR102148967B1 (ko) 2013-11-22 2020-08-31 삼성디스플레이 주식회사 좌우 감마차 보상 방법, 이를 수행하는 비전 검사 장치 및 이를 사용한 표시 장치
JP6358441B2 (ja) * 2013-12-20 2018-07-18 パナソニックＩｐマネジメント株式会社 表示むら補正装置、表示装置、表示むら補正方法および表示装置の製造方法
US9818331B2 (en) * 2014-03-20 2017-11-14 Tronxyz Technology Co., Ltd. Image flipping processing method and system
CN104021773B (zh) * 2014-05-30 2015-09-09 京东方科技集团股份有限公司 一种显示器件的亮度补偿方法、亮度补偿装置及显示器件
CN104021761B (zh) 2014-05-30 2016-03-09 京东方科技集团股份有限公司 一种显示器件的亮度补偿方法、装置及显示器件
JP6600216B2 (ja) * 2015-09-29 2019-10-30 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
KR101696609B1 (ko) * 2015-10-26 2017-01-16 주식회사 홍익기술 디스플레이 패널 보정방법 및 보정모듈
JP6732440B2 (ja) * 2015-12-04 2020-07-29 キヤノン株式会社 画像処理装置、画像処理方法、及びそのプログラム
US10129511B2 (en) * 2016-08-01 2018-11-13 Ricoh Company, Ltd. Image processing apparatus, image projection apparatus, and image processing method
HUE050807T2 (hu) * 2017-02-15 2021-01-28 Dolby Laboratories Licensing Corp Árnyalatgörbe-leképezés nagy dinamikus tartományú képek számára
CN110494913A (zh) 2017-04-07 2019-11-22 李承源 具有校正功能的驱动器ic装置
KR102317601B1 (ko) 2017-07-27 2021-10-26 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
JP2022068750A (ja) * 2020-10-22 2022-05-10 キヤノン株式会社 表示装置及びその制御方法
CN115761658B (zh) * 2023-01-07 2023-04-07 山东高速股份有限公司 基于人工智能的高速公路路面状况检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328211A (ja) * 1991-08-30 1993-12-10 Matsushita Electric Ind Co Ltd 画像処理装置
JPH07220066A (ja) * 1994-01-28 1995-08-18 Matsushita Electric Ind Co Ltd 画像処理装置
JPH1021386A (ja) * 1996-07-02 1998-01-23 Fuji Xerox Co Ltd 画像処理装置
JP2000059629A (ja) * 1998-08-05 2000-02-25 Minolta Co Ltd 画像処理装置のための画像補正装置、画像補正方法及び画像補正プログラムを記録した機械読取り可能な記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3438032B2 (ja) * 1994-03-15 2003-08-18 松下電器産業株式会社 空間周波数適応補間方法および空間周波数適応補間装置
US5715377A (en) * 1994-07-21 1998-02-03 Matsushita Electric Industrial Co. Ltd. Gray level correction apparatus
JP3501252B2 (ja) * 1995-06-16 2004-03-02 三菱電機株式会社 階調補正装置
US6643398B2 (en) * 1998-08-05 2003-11-04 Minolta Co., Ltd. Image correction device, image correction method and computer program product in memory for image correction
US7440612B2 (en) * 1998-11-13 2008-10-21 Sony Corporation Image processing apparatus and method capable of correcting gradation of image data
JP3772133B2 (ja) 2001-06-14 2006-05-10 松下電器産業株式会社 自動階調補正装置，自動階調補正方法および自動階調補正プログラム記録媒体
US6826310B2 (en) * 2001-07-06 2004-11-30 Jasc Software, Inc. Automatic contrast enhancement
JP4197858B2 (ja) * 2001-08-27 2008-12-17 富士通株式会社 画像処理プログラム
JP4281311B2 (ja) * 2001-09-11 2009-06-17 セイコーエプソン株式会社 被写体情報を用いた画像処理
JP2003299107A (ja) 2002-03-29 2003-10-17 Matsushita Electric Ind Co Ltd 撮像装置
JP3698118B2 (ja) * 2002-06-05 2005-09-21 三菱電機株式会社 色変換装置および色変換方法
AU2002950210A0 (en) * 2002-07-11 2002-09-12 Mediaware Solutions Pty Ltd Mosaic construction from a video sequence
JP4347105B2 (ja) * 2003-04-03 2009-10-21 富士フイルム株式会社 画像処理方法および装置並びにデータベース並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328211A (ja) * 1991-08-30 1993-12-10 Matsushita Electric Ind Co Ltd 画像処理装置
JPH07220066A (ja) * 1994-01-28 1995-08-18 Matsushita Electric Ind Co Ltd 画像処理装置
JPH1021386A (ja) * 1996-07-02 1998-01-23 Fuji Xerox Co Ltd 画像処理装置
JP2000059629A (ja) * 1998-08-05 2000-02-25 Minolta Co Ltd 画像処理装置のための画像補正装置、画像補正方法及び画像補正プログラムを記録した機械読取り可能な記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1746539A4 *

Also Published As

Publication number Publication date
US20070229863A1 (en) 2007-10-04
EP1746539B1 (en) 2014-05-28
EP1746539A1 (en) 2007-01-24
JP2005341527A (ja) 2005-12-08
US8107123B2 (en) 2012-01-31
EP1746539A4 (en) 2008-07-09
JP3949684B2 (ja) 2007-07-25

Similar Documents

Publication Publication Date Title
WO2005106789A1 (ja) 階調補正装置、携帯端末機器、撮像装置、携帯電話、階調補正方法及びプログラム
KR100843817B1 (ko) 계조 보정 장치, 휴대 단말 기기, 촬상 장치, 휴대 전화 및 계조 보정 방법
JP4577621B2 (ja) 画像補正処理システム及び画像補正処理方法
JP5157753B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP5527931B2 (ja) 映像の視認性を向上させる装置及び方法
JP4622899B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP4810473B2 (ja) 画像処理装置および画像処理プログラム
JP5392560B2 (ja) 画像処理装置および画像処理方法
KR101113483B1 (ko) 컬러 영상의 가시성 향상 장치 및 방법
JP2004326082A5 (ja)
JP2004326082A (ja) 表示制御装置及び表示装置
JP4054360B1 (ja) 画像処理装置およびプログラム記録媒体
JP2004007202A (ja) 画像処理装置
JP2014010776A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP4664938B2 (ja) 画像処理装置、画像処理方法及びプログラム
US8498332B2 (en) Chroma supression features
JP2017126885A (ja) 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
JP4769332B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2003162715A (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体、並びに画像入力装置および画像出力装置
KR20170000869A (ko) 영상 처리 방법, 영상 처리 방법을 수행하는 영상 처리 장치, 및 영상 처리 장치를 포함하는 표시 장치
JP4345026B2 (ja) 画像処理プログラムおよび画像処理装置
JP2006135628A (ja) 色調整方法および色調整装置
JP3816642B2 (ja) 画像データの輪郭補正方法および装置
JP2011022779A (ja) 画像補正装置、画像補正方法及びプログラム
JP2024078844A (ja) 映像処理装置及び映像表示装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11587903

Country of ref document: US

Ref document number: 2007229863

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 2005727555

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020067024786

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2005727555

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020067024786

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 11587903

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP