WO2005122552A1 - 画像処理装置および方法、並びにプログラム - Google Patents

画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2005122552A1
WO2005122552A1 PCT/JP2005/010350 JP2005010350W WO2005122552A1 WO 2005122552 A1 WO2005122552 A1 WO 2005122552A1 JP 2005010350 W JP2005010350 W JP 2005010350W WO 2005122552 A1 WO2005122552 A1 WO 2005122552A1
Authority
WO
WIPO (PCT)
Prior art keywords
component
illumination component
gain
signal
luminance signal
Prior art date
Application number
PCT/JP2005/010350
Other languages
English (en)
French (fr)
Inventor
Ryota Kosakai
Hiroyuki Kinoshita
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP05751456A priority Critical patent/EP1755331A4/en
Priority to US11/629,152 priority patent/US20080284878A1/en
Priority to JP2006514495A priority patent/JP4497160B2/ja
Publication of WO2005122552A1 publication Critical patent/WO2005122552A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums

Definitions

  • the present invention relates to an image processing apparatus and method, and a program that can appropriately compress a captured digital image.
  • a representative example of this contrast enhancement method is, for example, a tone for converting a pixel level of each pixel of an image by a function having a predetermined input / output relationship (hereinafter referred to as a level conversion function).
  • a method called a curve adjustment method or a histogram equalization that adaptively changes a level conversion function according to a pixel level frequency distribution has been proposed.
  • Patent Document 1 JP 2001-298621 A
  • the present invention has been made in view of such circumstances, and aims to improve the contrast without impairing sharpness by appropriately compressing a captured digital image. It is.
  • a captured digital image can be appropriately compressed.
  • FIG. 1 is a diagram showing a configuration example of a recording system of a digital video camera to which the present invention is applied.
  • FIG. 2 is a block diagram showing an example of an internal configuration of a dynamic range compression unit.
  • FIG. 3A is a diagram illustrating details of edge detection of an LPF with an edge detection function.
  • FIG. 3B is a diagram illustrating details of edge detection of an LPF with an edge detection function.
  • FIG. 4 is a diagram showing a level in an edge direction.
  • FIG. 5A is a diagram showing an example of an offset table.
  • FIG. 5B is a diagram showing an example of an offset table.
  • FIG. 6A is a diagram showing another example of the offset table.
  • FIG. 6B is a diagram showing another example of the offset table.
  • FIG. 7A is a diagram showing an example of a reflectance gain coefficient table.
  • FIG. 7B is a diagram showing an example of a reflectance gain coefficient table.
  • FIG. 8A is a diagram showing an example of a chroma gain coefficient table.
  • FIG. 8B is a diagram showing an example of a chroma gain coefficient table.
  • FIG. 9 is a diagram showing an example of a determination area.
  • FIG. 10 is a flowchart illustrating compression processing of a luminance signal.
  • FIG. 11 is a flowchart illustrating a chroma signal compression process.
  • FIG. 12A is a diagram showing a processing result of a luminance signal.
  • FIG. 12B is a diagram showing a processing result of a luminance signal.
  • FIG. 12C is a diagram showing a processing result of a luminance signal.
  • FIG. 13A is a diagram showing a processing result of a chroma signal.
  • FIG. 13B is a diagram showing a processing result of a chroma signal.
  • FIG. 14 is a block diagram showing a configuration example of a computer.
  • FIG. 1 is a diagram showing a configuration example of a recording system of a digital video camera 1 to which the present invention is applied.
  • the solid-state imaging device 11 is composed of, for example, a CCD (Charge Coupled Device) or a C-MOS (Complementary Metal Oxide Semiconductor), and photoelectrically converts an incident light image of a subject into input image data S1. Is generated, and the generated input image data S 1 is Output to the processing unit 12.
  • the camera signal processing unit 12 performs signal processing such as sampling processing and YC separation processing on the input image data S1 input from the solid-state imaging device 11, and converts the luminance signal Y1 and the chroma signal C1 into a dynamic range compression unit 13 Output to
  • the dynamic range compression unit 13 compresses the luminance signal Y1 and the chroma signal C1 input from the camera signal processing unit 12 into a recording range so as to improve contrast without losing sharpness.
  • the compressed luminance signal Y2 and chroma signal C2 are output to the recording format processing unit 14.
  • the recording format processing unit 14 performs predetermined processing such as addition and modulation of an error correction code on the luminance signal Y2 and the chroma signal C2 input from the dynamic range compression unit 13, and records the signal S2 on the recording medium 15.
  • the recording medium 15 is composed of, for example, a compact disc-read only memory (CD-ROM), a digital versatile disc (DVD), or a semiconductor memory.
  • FIG. 2 is a block diagram showing an example of the internal configuration of the dynamic range compression unit 13.
  • the example of FIG. 2 is roughly divided into a block for processing the luminance signal Y1 and a block for processing the chroma signal C1.
  • the adders 25 to 34 are blocks that perform processing on the dark part of the luminance signal Y1, and the adder 22, the aperture controller 23, the reflectance gain coefficient calculator 35, and the adder 36 , A block for processing the bright portion of the luminance signal Y1.
  • the luminance signal Y1 output from the camera signal processing unit 12 is input to an LPF (Lowpass Filter) 21 with an edge detection function, a power calculator 22, and an aperture controller (aper-computer) 23, and the chroma signal C1 Is input to the multiplier 39.
  • LPF Lowpass Filter
  • the LPF 21 with the edge detection function extracts an illumination component (smoothed signal L with preserved edges) from the input luminance signal Y1, and adds the extracted smoothed signal L to the adders 22, 25, 29 and 34, a reflectance gain coefficient calculation unit 35, a chroma gain coefficient calculation unit 38, and a chroma area determination unit 40.
  • the smoothing signal L with the preserved edges is abbreviated as signal L.
  • the details of the edge detection of the LPF 21 with an edge detection function will be described with reference to FIG.
  • the uppermost left pixel is described as a pixel (1, 1)
  • the m-th pixel in the horizontal direction and the n-th pixel in the vertical direction are described as (m, n) pixels.
  • the LPF 21 with the edge detection function processes the target pixel 51 (the pixel of (4, 4)) with 7 vertical pixels and 7 horizontal pixels around it.
  • the LPF21 with edge detection function is the median processing target pixel, (4, 1), (4, 2), (4, 3), (4, 5), (4, 6), (4, Calculate the pixel values of 7), (1, 4), (2, 4), (3, 4), (5, 4), (6, 4), and (7, 4).
  • pixel P ⁇ pixel X lZ64 ⁇ of (1, 1) + ⁇ pixel X 6Z64 ⁇ of (2, 1) + ⁇ pixel X 15Z64 ⁇ of ⁇ (3, 1) + pixel X of (4, 1) 20/64 ⁇ + ⁇ (5, 1) pixel X 15Z64 ⁇ + ⁇ (6, 1) pixel X 6Z64 ⁇ + ⁇ (7, 1) pixel X 1/64 ⁇ .
  • the LPF 21 with the edge detection function calculates a median value based on the pixel of interest 51 and the three pixel groups 54 that are left-side median processing target pixels, and averages the median two values to the left average.
  • the luminance component be 64.
  • an upper average luminance component 61, a lower average luminance component 62, and a right average luminance component 63 are calculated.
  • an average luminance component in four directions around the target pixel 51 is obtained.
  • the LPF 21 with the edge detection function calculates the difference ⁇ of the average luminance component in the vertical direction and the difference Ah of the average luminance component in the horizontal direction, and determines the one with the larger difference, that is, the one with the smaller correlation as the edge direction. After the edge direction is determined, the edge direction and the target pixel 51 are compared.
  • the target pixel 51 is set in the range B (that is, the level of the average luminance component of the higher level) within the level difference in the edge direction. (Between L1 and the level L2 of the lower average luminance component), the target pixel 51 is output as it is. In contrast, the target pixel 51 is in the range A (higher level !, higher than the level L1 of the average luminance component! Or the range C (lower level average luminance When the level is lower than the component level L2), the LPF 21 with the edge detection function replaces and outputs the smoothed signal L (for example, the average value of a 7 ⁇ 7 pixel low-pass filter).
  • the smoothed signal L for example, the average value of a 7 ⁇ 7 pixel low-pass filter
  • the microcomputer 24 supplies the adder 25 with an input adjustment la representing an offset amount to be subtracted from the input luminance level value of the illumination component offset table 27, and multiplies the input luminance level of the illumination component offset table 27.
  • the input adjustment lb indicating the gain amount to be supplied is supplied to the multiplier 26.
  • the microcomputer 24 supplies the adder 29 with an input adjustment 2a representing an offset amount to be subtracted from the input luminance level value of the illumination component offset table 31, and a gain by which the input luminance level of the illumination component offset table 31 is multiplied.
  • the input adjustment 2b representing the quantity is supplied to the multiplier 30.
  • the microcomputer 24 supplies a gain lc representing the maximum gain amount to be multiplied to the output luminance level of the illumination component offset table 27 to the multiplier 28, and multiplies the output luminance level of the illumination component offset table 31.
  • the gain 2c representing the maximum gain amount is supplied to the multiplier 32.
  • the microcomputer 24 includes an input adjustment add representing an offset amount by which the input luminance level power of the reflectance gain coefficient table is also reduced, and an output representing an amount of gain multiplied by the output luminance level of the reflectance gain coefficient table.
  • the adjustment offset is supplied to the reflectance gain coefficient calculator 35.
  • the microcomputer 24 judges the histogram, and adjusts the values of the input adjustment la, lb, 2a, 2b, the gain lc, 2c, the input adjustment add, and the output adjustment offset, or These values are adjusted based on the user's instruction. Further, the input adjustments la, lb, 2a, 2b and the gains lc, 2c may be determined in advance in the manufacturing process.
  • the adder 25 adds the input adjustment la supplied from the microcomputer 24 to the signal L supplied from the LPF 21 with the edge detection function, and supplies the signal L to the multiplier 26.
  • the multiplier 26 multiplies the signal L supplied from the adder 25 by the input adjustment lb supplied from the microcomputer 24, and supplies the signal L to the illumination component offset table 27.
  • the illumination component offset table 27 is based on the input adjustments la and lb supplied from the adder 25 and the multiplier 26. Adjust the amount and keep it. Also, the illumination component offset table 27 refers to the held offset table, and the adder 25 and the The offset amount ofstl according to the luminance level of the signal L supplied via the multiplier 26 is supplied to the multiplier 28. The multiplier 28 multiplies the offset amount ofstl supplied from the illumination component offset table 27 by the gain lc supplied also by the microcomputer 24, and supplies the result to the adder 33.
  • FIG. 5A shows an example of an offset table held by the illumination component offset table 27.
  • the horizontal axis represents the input luminance level
  • the vertical axis represents the offset amount of stl (the same applies to FIG. 5B described later).
  • the offset table shown in FIG. 5A assuming that the input luminance level (horizontal axis) normalized to 8 bits is X, the offset amount ofstl (vertical axis) is given by, for example, the following equation. It is represented by (1).
  • FIG. 5B is a diagram for explaining the relationship between the offset table held by the illumination component offset table 27 and the adjustment parameters.
  • the input adjustment la (arrow la in the figure) represents the offset amount subtracted from the input luminance level force to the offset table. That is, when the input is fixed, the input adjustment la is an amount by which the offset table is shifted rightward.
  • the input adjustment lb (arrow lb in the figure) indicates the amount of gain multiplied by the input luminance level to the offset table. That is, when the input is fixed, the input adjustment lb is an amount for increasing or decreasing the area width of the offset table, and corresponds to the adjustment of the luminance level range to be processed.
  • the gain lc (arrow lc in the figure) represents the maximum gain amount that is multiplied by the output luminance level from the offset table. That is, the gain lc is an amount that increases or decreases the vertical axis of the offset table, and is a value that directly affects the boost amount of the processing.
  • the adder 29 adds the input adjustment 2a supplied from the microcomputer 24 to the signal L supplied from the LPF 21 with the edge detection function, and supplies the result to the multiplier 30.
  • the multiplier 30 multiplies the signal L supplied from the adder 29 by the input adjustment 2b supplied from the microcomputer 24, and supplies the signal L to the illumination component offset table 31.
  • the illumination component offset table 31 is based on the input adjustments 2a and 2b supplied from the adder 29 and the multiplier 30, and determines the offset amount of the offset table for determining the boost amount of the low-frequency luminance level, and Adjust the gain amount and keep it. Further, the illumination component offset table 31 refers to the held offset table, and supplies an offset amount ofst2 corresponding to the luminance level of the signal L supplied via the adder 29 and the multiplier 30 to the multiplier 32. I do. The multiplier 32 multiplies the offset amount ofst2 supplied from the illumination component offset table 31 by the gain 2c supplied with the power of the microcomputer 24 and supplies the multiplied value to the adder 33.
  • FIG. 6A shows an example of an offset table held by the illumination component offset table 31.
  • the horizontal axis represents the input luminance level
  • the vertical axis represents the offset amount of st2 (the same applies to FIG. 6B described later).
  • the offset table shown in FIG. 6A assuming that the input luminance level (horizontal axis) normalized to 8 bits is X, the offset amount ofst2 (vertical axis) is given by, for example, the following equation. It is represented by (2).
  • FIG. 6B is a diagram for explaining the relationship between the offset table held by the illumination component offset table 31 and the adjustment parameters.
  • the input adjustment 2a (arrow 2a in the figure) represents an offset amount by which the input luminance level force to the offset table is also subtracted. That is, when the input is fixed, the input adjustment 2a is the amount by which the offset table is shifted rightward.
  • Input adjustment 2b (arrow 2b in the figure) indicates a gain amount to be multiplied by the input luminance level to the offset table. That is, when the input is fixed, the input adjustment 2b is the amount by which the area width of the offset table is increased or decreased. This corresponds to the adjustment of the luminance level range to be processed.
  • the gain 2c (arrow 2c in the figure) represents the maximum gain that is multiplied by the output luminance level from the offset table. That is, the gain 2c is an amount that increases or decreases the vertical axis of the offset table, and is a value that directly affects the boost amount of the process.
  • the adder 33 adjusts the maximum gain amount supplied to the multiplier 32 to the offset amount ofstl, which determines the boost amount of the luminance level in the ultra-low frequency range where the maximum gain amount is adjusted, supplied from the multiplier 28.
  • the offset amount ofst2 that determines the boost amount of the low-frequency luminance level obtained is added, and the obtained offset amount (lighting component adjustable remaining amount T (L)) is supplied to the adder 34.
  • the adder 34 adds the illumination component adjustment remaining amount T (L) supplied from the adder 33 to the signal L (original illumination component) supplied from the LPF 21 with the edge detection function, and obtains the obtained gain optimization.
  • the illumination component (signal T (L) ′) is supplied to the adder 37.
  • the adder 22 subtracts the signal L (illumination component) supplied from the LPF 21 with the edge detection function from the luminance signal Y1 (original signal) input from the camera signal processing unit 12, and obtains the obtained texture.
  • the feeder component (signal R) is supplied to the adder 36.
  • the reflectance gain coefficient calculating unit 35 refers to the reflectance gain coefficient table, determines out of the boost area of the ultra-low luminance and the low luminance out of the boosted luminance signal as the adaptive area, and uses the determined area as the aperture controller 23. To supply. When determining the adaptation area, the reflectance gain coefficient calculation unit 35 adjusts the offset amount and the gain amount of the reflectance gain coefficient table based on the input adjustment add and the output adjustment offset supplied from the microcomputer 24. I do.
  • FIG. 7A shows an example of a reflectivity gain coefficient table held by the reflectivity gain coefficient calculator 35.
  • the horizontal axis represents the input luminance level
  • the vertical axis represents the reflectance gain amount (the same applies to FIG. 7B described later).
  • FIG. 7B is a diagram for explaining the relationship between the reflectance gain coefficient table held by the reflectance gain coefficient calculator 35 and the adjustment parameter.
  • the output adjustment offset (the arrow offset in the figure) represents a gain amount to be multiplied by the output luminance level of the reflectance gain coefficient table. That is, the output adjustment offset increases the vertical axis of the reflectance gain coefficient table! Is the amount to be done.
  • Adjustment parameter Data A (arrow A in the figure) represents a parameter for determining the maximum gain amount of the aperture controller 23.
  • the input adjustment add (arrow add in the figure) represents an offset amount by which the input luminance level power to the reflectance gain coefficient table is also subtracted. That is, when the input is fixed, the input adjustment add is the amount by which the reflectance gain coefficient table is shifted to the right.
  • the limit level indicates the maximum limit (maximum gain amount) set to avoid adding an extra aperture signal in the aperture controller 23! /
  • the aperture control amount apgain (vertical axis) is, for example, Is represented by the following equation (3).
  • A represents the maximum gain amount of the aperture controller 23
  • offset represents the amount of shifting the reflectance gain coefficient table upward
  • add represents the amount of shifting the reflectance gain coefficient table rightward.
  • the aperture controller 23 is input from the camera signal processing unit 12 based on the adaptation area determined by the reflectance gain coefficient calculation unit 35 so as to be adapted outside the ultra-low luminance and low luminance boost areas.
  • the illumination component level-dependent aperture correction of the luminance signal Y1 is performed and supplied to the adder 36.
  • the adder 36 adds the aperture-corrected luminance signal supplied from the aperture controller 23 to the signal R (the original signal strength is also a texture component from which the illumination component has been subtracted) supplied from the adder 22, and Supply to vessel 37.
  • the adder 37 adds the gain-optimized illumination component (signal T (L) ′) supplied from the adder 34 to the aperture-corrected texture component supplied from the adder 36, and obtains the obtained dynamic range.
  • the compressed luminance signal Y2 is output to the recording format processing unit 14.
  • the chroma gain coefficient calculating unit 38 refers to the chroma gain coefficient table, determines a gain amount to be multiplied with a chroma signal having a particularly low luminance level among the boosted luminance signals, and multiplies the gain amount. Supply to container 39.
  • FIG. 8A shows an example of a chroma gain coefficient table held by the chroma gain coefficient calculating section 38.
  • the horizontal axis represents the input luminance level
  • the vertical axis represents the amount of chroma gain
  • the value of this vertical axis is offset by 1 (the same applies to FIG. 8B described later).
  • FIG. 8B is a diagram for explaining the relationship between the coefficient table held by the chroma gain coefficient calculation unit 38 and the adjustment parameters.
  • adjustment parameter B represents a parameter for determining the maximum gain amount in the chroma gain coefficient table (arrow B in the figure).
  • the chroma gain amount cgain (vertical axis) is obtained by, for example, the following equation (4). expressed.
  • B represents the maximum gain in the chroma gain coefficient table.
  • the multiplier 39 multiplies the input chroma signal C1 by the gain amount supplied from the chroma gain coefficient calculator 38, and supplies the same to an HPF (Highpass Filter) 41 and an adder 43.
  • HPF Highpass Filter
  • the value on the vertical axis has an offset of 1, so for example, when the adjustment parameter B is 0.0, the chroma signal remains at the input value. Output from multiplier 39.
  • the HPF 41 extracts a high-frequency component of the chroma signal supplied from the multiplier 39 and supplies it to the multiplier 42.
  • the chroma area discriminating unit 40 selects an area on which the LPF is applied to the chroma signal on the luminance signal of the boosted area, and supplies the selected area to the multiplier 42.
  • FIG. 9 shows an example of a discrimination area used by the chroma area discrimination unit 40 for selection.
  • the horizontal axis represents the input luminance level
  • the vertical axis represents the chroma area.
  • the boost area and the non-boost area are linearly changed. This adjusts the strength of the LPF.
  • the discrimination area shown in FIG. 9 if the input luminance level (horizontal axis) normalized to 8 bits is X, the chroma area carea (vertical axis) is expressed by, for example, the following equation (5). Is done.
  • the multiplier 42 multiplies the chroma signal of the high frequency component supplied from the HPF 41 by an area to be multiplied by the LPF supplied from the chroma area discriminating unit 40, and supplies the result to the adder 43.
  • the adder 43 converts the chroma signal supplied from the multiplier 39 Chroma noise is reduced by subtracting the chroma signal of the high-frequency component supplied from it (that is, LPF processing is performed on the chroma signal of the low-frequency part), and the obtained chroma signal C2 after dynamic range compression is recorded Output to the format processing unit 14.
  • the adder 25, the multiplier 26, the illumination component offset table 27, and the multiplier 28 form a block for determining the boost amount of the luminance level in the ultra-low frequency range.
  • the multiplier 30, the illumination component offset table 31, and the multiplier 32 constitute a block that determines the boost amount of the low-frequency luminance level.This is only an example. If one block is determined, the number may be one or two or more (plural).
  • step S1 the LPF 21 with an edge detection function detects an edge in the image data input from the camera signal processing unit 12 where the pixel value of the luminance signal Y1 changes sharply (FIG. 3B).
  • the luminance signal Y1 is smoothed while keeping the edge, and the illumination component (signal L) is extracted.
  • the LPF 21 with the edge detection function smoothes the luminance signal Y1 depending on whether or not the target pixel 51 is within the level difference in the edge direction (range B). Judge whether it is strong or not.
  • step S2 the adder 22 subtracts the illumination component extracted by the processing in step S1 from the luminance signal Y1 (original signal) input from the camera signal processing unit 12, and separates a texture component (signal R). .
  • step S3 based on the adaptation area (FIG. 7B) determined by the reflectance gain coefficient calculation unit 35, the aperture controller 23 adapts to outside the ultra-low luminance and low luminance boost areas.
  • the illumination component level-dependent aperture correction of the luminance signal Y1 input from the camera signal processing unit 12 is performed.
  • step S4 the adder 33 determines the boost amount of the luminance level in the ultra-low frequency range in which the offset amount, the gain amount, and the maximum gain amount are supplied from the illumination component offset table 27 via the multiplier 28.
  • step S5 the adder 34 adds the illumination component adjustment remaining amount T (L) calculated in step S4 to the illumination component extracted in step S1 to obtain a gain-optimized illumination. Get the component (signal T (L) ').
  • step S6 the adder 37 adds the gain-optimized illumination component (signal T (L) ') obtained in step S5 to the texture component aperture-corrected in step S3, and obtains the dynamic range. Obtain the output luminance signal Y2 after compression.
  • the output luminance signal Y 2 after the dynamic range compression obtained by the above processing is output to the recording format processing unit 14.
  • step S21 the chroma gain coefficient calculator 38 converts the chroma signal of the luminance data Y1 extracted from the image data input from the camera signal processor 12 by the processing of step S1 in FIG. Calculate the amplification (gain) of C1 (Fig. 8B).
  • step S22 the chroma area determination unit 40 selects a noise reduction area of the chroma signal C1 (that is, an area to which the LPF is applied) from the illumination components of the luminance signal Y1 extracted by the processing of step S1 in FIG. ( Figure 9).
  • step S23 the calo calculator 43 reduces the chroma noise of the gain-applied low-luminance chroma signal based on the noise reduction area selected by the processing in step S22, Obtain the compressed chroma signal C2.
  • the output chroma signal C2 after the dynamic range compression obtained by the above processing is output to the recording format processing unit 14.
  • FIG. 12A is a histogram of a luminance component when low-luminance boost processing is simply performed on input image data in an 8-bit range that fluctuates in a range of 0 to 255 without considering the influence of bit compression. Is shown.
  • FIG. 12B is a histogram of luminance components when the input image data of the 8-bit range that fluctuates in the range of 0 to 255 is compressed according to the present invention. 9 shows an example of a gram.
  • FIG. 12C shows an example of the cumulative histogram of FIGS. 12A and 12B. In the figure, HI indicates the cumulative histogram of FIG. 12A, and H2 indicates the cumulative histogram of FIG. 12B.
  • FIG. 13A shows the chroma component of the input image data in the 8-bit range that fluctuates in the range of 128 to 127, when the low luminance is simply boosted without considering the influence of bit compression.
  • 9 shows an example of a histogram.
  • FIG. 13B shows an example of a histogram of chroma components when the input image data in the 8-bit range that varies in the range of 128 to 127 is compressed according to the present invention.
  • FIGS. 13A and 13B show histograms in the 50 to 50 level range.
  • the low-level chroma component (the center in the horizontal axis direction in the figure) does not transition in the histogram due to the influence of noise, but forms a comb shape. ( Figure 13A).
  • an appropriate gain is applied to the chroma component corresponding to the boost region of the luminance component, and the noise is reduced.
  • the level transitions smoothly outward from the level area (Fig. 13B).
  • the contrast can be improved without impairing the sharpness, and the captured digital image can be appropriately compressed.
  • the low-luminance part may have potential gradations, but the compression processing of the present invention is applied. thing Accordingly, an image with a smoother gradation can be obtained even for the boost portion.
  • the luminance value of a digital image captured by the solid-state imaging device 11 is conventionally lower than that of a digital image.
  • the image data of the brilliant part where the contrast cannot be obtained the image data of the part other than the edge can be amplified while preserving the edge.
  • the dynamic range compression unit 13 is realized by a computer 100 as shown in FIG.
  • a CPU (Central Processing Unit) 101 executes various processes according to a program stored in a ROM 102 or a program loaded from a storage unit 108 into a RAM (Random Access Memory) 103.
  • the RAM 103 also appropriately stores data necessary for the CPU 101 to execute various processes.
  • the CPU 101, the ROM 102, and the RAM 103 are mutually connected via a bus 104.
  • An input / output interface 105 is also connected to the bus 104.
  • the input / output interface 105 is connected to an input unit 106 including a keyboard and a mouse, an output unit 107 including a display, a storage unit 108, and a communication unit 109.
  • the communication unit 109 performs communication processing via a network.
  • a drive 110 is connected to the input / output interface 105 as necessary, and the removable medium 1 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is used.
  • the removable medium 1 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is used.
  • a computer program which is appropriately mounted and whose power is read out is installed in the storage unit 108 as necessary.
  • a recording medium that is installed in a computer and records a program that can be executed by the computer is distributed in order to provide the user with the program separately from the apparatus main body.
  • Magnetic disks including flexible disks
  • optical disks including CD-ROMs (Compact Disc-Read Only Memory), DVDs (Digital Versatile Discs)), magneto-optical disks (MD (Mini -Disc) (including registered trademark)) or a program that is provided to the user in a state where it is built in the main body of the device, which is not only composed of removable media 111 composed of semiconductor memory, etc., but is recorded. It is configured by a hard disk or the like included in the ROM 103 or the storage unit 108.
  • the step of describing the program stored in the recording medium may be performed not only in a time-series manner but also in a time-series manner in the order in which the program is included. , And also includes processing executed in parallel or individually.
  • the system represents the entire device including a plurality of devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

　本発明は、鮮鋭度を損なうことなくコントラストを向上させるように圧縮する画像処理装置および方法、並びにプログラムに関する。加算器３３は、加算器２５乃至乗算器３２により、照明成分の加減残量Ｔ（Ｌ）を算出する。加算器３４は、元々の照明成分にＴ（Ｌ）を加算し、ゲイン最適化照明成分Ｔ（Ｌ）’を算出する。アパーチャコントローラ２３は、反射率ゲイン係数算出部３５により決定された適応エリアに基づいて、照明成分レベル依存のアパーチャ補正を行う。加算器３７は、アパーチャ補正後のテクスチャ成分にＴ（Ｌ）’を加算する。これにより、ダイナミックレンジ圧縮後の輝度信号Ｙ２が得られる。HPF４１乃至加算器４３は、低域レベル部分のクロマ信号に対してLPF処理する。これにより、ダイナミックレンジ圧縮後のクロマ信号Ｃ２が得られる。本発明は、ディジタルビデオカメラに適用することができる。

Description

明 細 書
画像処理装置および方法、並びにプログラム
技術分野
[0001] 本発明は、撮像されたディジタル画像を適切に圧縮することができるようにした画像 処理装置および方法、並びにプログラムに関するものである。
背景技術
[0002] 従来、例えば、ディジタルビデオカメラ等のディジタル画像記録装置にぉ 、ては、 固体撮像素子によって撮像され、 A/D (Analog to Digital)変換されたディジタル画像 の入力レンジを適切に圧縮し、コントラスト感（明暗の差)や鮮鋭度 (境界の明確さ）を 損なうことなく記録レンジへと変換する手法として、階調変換によるコントラスト強調手 法が考えられていた。
[0003] このコントラスト強調手法の代表的なものとしては、例えば、画像の各画素に対して 、その画素レベルを所定の入出力関係を持つ関数 (以下、レベル変換関数と称する )で変換するトーンカーブ調整法、または、画素レベルの頻度分布に応じてレベル変 換関数を適応的に変化させるヒストグラムィコライゼーシヨンと呼ばれる手法が提案さ れている。
[0004] これらのコントラスト強調手法を用いると、画像の全ダイナミックレンジ (最大レベルと 最小レベルの差)のうち、一部の輝度域しかコントラストを向上させることができない課 題があった。また、トーンカーブ調整の場合には、画像の最明部と最暗部において、 ヒストグラムィコライゼーシヨンの場合には、頻度分布の少な ヽ輝度域付近にぉ 、て、 コントラストが逆に低下してしまうという課題があった。さらに、コントラスト強調手法で は、高周波信号を含むエッジ付近のコントラストも強調されることになり、不自然な増 幅が誘発され、画質劣化を避けることができない問題があった。
[0005] そこで、例えば、特許文献 1にお 、ては、入力画像データのうち、画素値の変化が 急峻なエッジを保存したまま当該エッジ以外の部分を増幅することにより、エッジ以外 の部分を強調して、画像鮮鋭度を損なうことなく全体のコントラスト及び鮮鋭度を向上 させる技術が提案されて ヽる。 特許文献 1 :特開 2001— 298621号公報
発明の開示
発明が解決しょうとする課題
[0006] し力しながら、上述した特許文献 1の技術をカメラ信号処理システムに適用した場 合、処理負荷が非常に高くなる問題があった。
[0007] また、 Y/C分離されたカラー画像に対して適用した場合、 Y信号には適切な処理が 施されるものの、対応する C信号に対しては、何ら処理が施されず、所望する結果が 得られない問題があった。
課題を解決するための手段
[0008] 本発明はこのような状況に鑑みてなされたものであり、撮像されたディジタル画像を 適切に圧縮することにより、鮮鋭度を損なうことなくコントラストを向上させることができ るようにするものである。
発明の効果
[0009] 本発明によれば、撮像されたディジタル画像を適切に圧縮することができる。特に、 鮮鋭度を損なうことなくコントラストを向上させるとともに、処理負荷を低減しつつ、撮 像されたディジタル画像を適切に圧縮することが可能となる。
図面の簡単な説明
[0010] [図 1]本発明を適用したディジタルビデオカメラの記録系の構成例を示す図である。
[図 2]ダイナミックレンジ圧縮部の内部の構成例を示すブロック図である。
[図 3A]エッジ検出機能付 LPFのエッジ検出の詳細を説明する図である。
[図 3B]エッジ検出機能付 LPFのエッジ検出の詳細を説明する図である。
[図 4]エッジ方向のレベルを示す図である。
[図 5A]オフセットテーブルの例を示す図である。
[図 5B]オフセットテーブルの例を示す図である。
[図 6A]オフセットテーブルの他の例を示す図である。
[図 6B]オフセットテーブルの他の例を示す図である。
[図 7A]反射率ゲイン係数テーブルの例を示す図である。 [図 7B]反射率ゲイン係数テーブルの例を示す図である。
[図 8A]クロマゲイン係数テーブルの例を示す図である。
[図 8B]クロマゲイン係数テーブルの例を示す図である。
[図 9]判別エリアの例を示す図である。
[図 10]輝度信号の圧縮処理を説明するフローチャートである。
[図 11]クロマ信号の圧縮処理を説明するフローチャートである。
[図 12A]輝度信号の処理結果を示す図である。
[図 12B]輝度信号の処理結果を示す図である。
[図 12C]輝度信号の処理結果を示す図である。
[図 13A]クロマ信号の処理結果を示す図である。
[図 13B]クロマ信号の処理結果を示す図である。
[図 14]コンピュータの構成例を示すブロック図である。
符号の説明
[0011] 1 ディジタルビデオカメラ， 11 固体撮像素子， 12 カメラ信号処理部， ダイ ナミックレンジ圧縮部， 14 記録フォーマット処理部， 15 記録メディア， 21 ェ ッジ検出機能付 LPF, 22 加算器， 23 アパーチャコントローラ， 24 マイクロコ ンピュータ, 25, 26 加算器， 27 照明成分オフセットテーブル， 28 乗算器，
29 加算器， 30 乗算器， 31 照明成分オフセットテーブル， 32 乗算器， 3334 加算器， 35 反射率ゲイン係数算出部， 36, 37 加算器， 38 クロマゲ イン係数算出部， 39 乗算器， 40 クロマエリア判別部， 41 HPF, 42 乗算 器， 43 加算器
発明を実施するための最良の形態
[0012] 以下に、本発明の実施の形態について図面を参照して説明する。
[0013] 図 1は、本発明を適用したディジタルビデオカメラ 1の記録系の構成例を示す図で ある。
[0014] 固体撮像素子 11は、例えば、 CCD (Charge Coupled Devices)や C-MOS (Comple mentary Metal Oxide Semiconductor)等で構成され、入射された被写体の光像を光 電変換して入力画像データ S1を生成し、生成した入力画像データ S 1をカメラ信号 処理部 12に出力する。カメラ信号処理部 12は、固体撮像素子 11より入力された入 力画像データ S1に対し、サンプリング処理や YC分離処理などの信号処理を施し、 輝度信号 Y1およびクロマ信号 C 1をダイナミックレンジ圧縮部 13に出力する。
[0015] ダイナミックレンジ圧縮部 13は、カメラ信号処理部 12より入力された輝度信号 Y1お よびクロマ信号 C1を、鮮鋭度を損なうことなくコントラストを向上させるようにして、記 録レンジに圧縮し、圧縮された輝度信号 Y2およびクロマ信号 C2を記録フォーマット 処理部 14に出力する。記録フォーマット処理部 14は、ダイナミックレンジ圧縮部 13よ り入力された輝度信号 Y2およびクロマ信号 C2に対し、誤り訂正符号の付加や変調 など所定の処理を施し、信号 S2を記録メディア 15に記録させる。記録メディア 15は、 例えば、 CD-ROM (Compact Disc-Read Only Memory)、 DVD (Digital Versatile Disc )、あるいは半導体メモリなどで構成される。
[0016] 図 2は、ダイナミックレンジ圧縮部 13の内部の構成例を示すブロック図である。
[0017] 図 2の例の場合、大きく分けて、輝度信号 Y1の処理を行うブロックとクロマ信号 C1 の処理を行うブロックで構成されている。また、加算器 25乃至加算器 34は、輝度信 号 Y1の暗い部分に対する処理を行うブロックであり、加算器 22、アパーチャコント口 ーラ 23、反射率ゲイン係数算出部 35、および加算器 36は、輝度信号 Y1の明るい部 分に対する処理を行うブロックである。
[0018] カメラ信号処理部 12より出力された輝度信号 Y1は、エッジ検出機能付 LPF (Lowpa ss Filter) 21、力卩算器 22、およびアパーチャコントローラ（アパコン） 23に入力され、ク ロマ信号 C1は、乗算器 39に入力される。
[0019] エッジ検出機能付 LPF21は、入力された輝度信号 Y1から照明成分 (エッジが保存 された平滑ィ匕信号 L)を抽出し、抽出された平滑ィ匕信号 Lを加算器 22, 25, 29、およ び 34、反射率ゲイン係数算出部 35、クロマゲイン係数算出部 38、並びに、クロマエリ ァ判別部 40にそれぞれ供給する。以下、エッジが保存された平滑ィ匕信号 Lを、信号 Lと略称する。
[0020] ここで、図 3を参照して、エッジ検出機能付 LPF21のエッジ検出の詳細について説 明する。なお、図 3において、最上左部の画素を（1, 1)の画素と記載し、その横方向 m番目、縦方向 n番目の画素を (m, n)の画素と記載する。 [0021] エッジ検出機能付 LPF21は、図 3Aに示されるように、注目画素 51 ( (4, 4)の画素） に対して、その周囲の縦 7個 X横 7個の画素を処理対象に設定する。まず、エッジ検 出機能付 LPF21は、メディアン処理対象画素である、 (4, 1)、 (4, 2)、 (4, 3)、 (4, 5)、 (4, 6)、 (4, 7)、 (1, 4)、 (2, 4)、 (3, 4)、 (5, 4)、 (6, 4)、および（7, 4)の各 画素値を算出する。
[0022] 例えば、画素 p ( (4, 1)の画素）の画素値を算出する場合には、水平方向の 7つの 画素群 53が用いられ、例えば、（1,6, 15, 20,15,6,1) 764のローパスフィルタにより 加算平均値が算出される。すなわち、画素 P= { (1, 1)の画素 X lZ64} + { (2, 1) の画素 X 6Z64} + { (3, 1)の画素 X 15Z64} + { (4, 1)の画素 X 20/64} + { (5 , 1)の画素 X 15Z64} + { (6, 1)の画素 X 6Z64} + { (7, 1)の画素 X 1/64}によ り算出される。
[0023] 次に、エッジ検出機能付 LPF21は、注目画素 51と左側メディアン処理対象画素で ある 3つの画素群 54に基づいて、メディアン値を算出し、その中央 2値の平均値を左 側平均輝度成分 64とする。同様に、上側平均輝度成分 61、下側平均輝度成分 62、 右側平均輝度成分 63も算出する。これにより、図 3Bに示されるように、注目画素 51 の周囲 4方向の平均輝度成分が得られる。エッジ検出機能付 LPF21は、縦方向の平 均輝度成分の差分 Δνおよび横方向の平均輝度成分の差分 Ahを算出し、差分の 大きい方、すなわち、相関の小さい方をエッジ方向と判断する。エッジ方向が判断さ れた後は、エッジ方向と注目画素 51が比較される。
[0024] そして、エッジ検出機能付 LPF21は、図 4に示されるように、注目画素 51が、エッジ 方向のレベル差内である範囲 B (すなわち、レベルの高い方の平均輝度成分のレべ ル L1とレベルの低い方の平均輝度成分のレベル L2の間）にある場合、注目画素 51 をそのまま出力する。これに対し、注目画素 51が、エッジ方向のレベル差外である範 囲 A (レベルの高!、方の平均輝度成分のレベル L1より高!、)または範囲 C (レベルの 低い方の平均輝度成分のレベル L2より低い）にある場合、エッジ検出機能付 LPF21 は、平滑化信号 L (例えば、 7 X 7画素のローパスフィルタによる加算平均値)で置き 換えて出力する。
[0025] なお、図 3の例では、注目画素 51に対して、その周囲の縦 7個 X横 7個の画素を処 理対象とするようにしたが、これに限らず、縦 9個 X横 9個の画素、縦 11個 X横 11個 の画素、またはそれ以上の数の画素を処理対象とするようにしてもよ!、。
[0026] 図 2の説明に戻る。マイクロコンピュータ (マイコン） 24は、照明成分オフセットテー ブル 27の入力輝度レベルカゝら減算されるオフセット量を表す入力調整 laを加算器 2 5に供給し、照明成分オフセットテーブル 27の入力輝度レベルに乗算されるゲイン量 を表す入力調整 lbを乗算器 26に供給する。またマイクロコンピュータ 24は、照明成 分オフセットテーブル 31の入力輝度レベルカゝら減算されるオフセット量を表す入力 調整 2aを加算器 29に供給し、照明成分オフセットテーブル 31の入力輝度レベルに 乗算されるゲイン量を表す入力調整 2bを乗算器 30に供給する。またマイクロコンピュ ータ 24は、照明成分オフセットテーブル 27の出力輝度レベルに乗算される最大ゲイ ン量を表すゲイン lcを乗算器 28に供給し、照明成分オフセットテーブル 31の出力 輝度レベルに乗算される最大ゲイン量を表すゲイン 2cを乗算器 32に供給する。さら にマイクロコンピュータ 24は、反射率ゲイン係数テーブルの入力輝度レベル力も減 算されるオフセット量を表す入力調整 add、および、反射率ゲイン係数テーブルの出 力輝度レベルに乗算されるゲイン量を表す出力調整 offsetを反射率ゲイン係数算出 部 35に供給する。
[0027] ここで、マイクロコンピュータ 24は、ヒストグラムを判断して、入力調整 la, lb, 2a, 2 b、ゲイン lc, 2c、入力調整 add、および出力調整 offsetの値を調整する力、あるいは 、ユーザ力もの指示に基づいて、これらの値を調整する。また、入力調整 la, lb, 2a , 2b、ゲイン lc, 2cは、製造過程において予め決められるようにしても良い。
[0028] 加算器 25は、エッジ検出機能付 LPF21から供給された信号 Lに、マイクロコンピュ ータ 24から供給された入力調整 laを加算し、乗算器 26に供給する。乗算器 26は、 加算器 25から供給された信号 Lに、マイクロコンピュータ 24から供給された入力調整 lbを乗算し、照明成分オフセットテーブル 27に供給する。
[0029] 照明成分オフセットテーブル 27は、加算器 25および乗算器 26から供給された入 力調整 la, lbに基づいて、超低域の輝度レベルのブースト量を決定するオフセット テーブルのオフセット量およびゲイン量を調整し、それを保持する。また照明成分ォ フセットテーブル 27は、保持しているオフセットテーブルを参照し、加算器 25および 乗算器 26を介して供給された信号 Lの輝度レベルに応じたオフセット量 ofstlを乗算 器 28に供給する。乗算器 28は、照明成分オフセットテーブル 27から供給されたオフ セット量 ofstlに、マイクロコンピュータ 24力も供給されたゲイン lcを乗算し、加算器 3 3に供給する。
[0030] 図 5Aは、照明成分オフセットテーブル 27が保持するオフセットテーブルの例を示 している。同図において、横軸は、入力輝度レベルを表わし、縦軸は、オフセット量 of stlを表わしている（後述する図 5Bにおいても同様とする）。ここで、図 5Aに示される オフセットテーブルにお 、て、 8ビットに正規ィ匕された入力輝度レベル (横軸）を Xとす ると、オフセット量 ofstl (縦軸）は、例えば、次式（1)で表される。
[数 1] ，(0≤ χ<17)
°fstl = x-5,l) ,(17≤x<85)
Figure imgf000009_0001
f(85≤x<255) '" (I)
[0031] 図 5Bは、照明成分オフセットテーブル 27が保持するオフセットテーブルと調整パラ メータの関係を説明するための図である。図 5Bに示されるように、入力調整 la (図中 矢印 la)は、オフセットテーブルへの入力輝度レベル力 差し引かれるオフセット量 を表わしている。すなわち、入力が固定である場合、入力調整 laは、オフセットテー ブルを右方向にシフトさせる量である。入力調整 lb (図中矢印 lb)は、オフセットテー ブルへの入力輝度レベルに乗算されるゲイン量を表わしている。すなわち、入力が 固定である場合、入力調整 lbは、オフセットテーブルのエリア幅を増減させる量であ つて、処理を施す輝度レベル範囲の調整に相当する。ゲイン lc (図中矢印 lc)は、ォ フセットテーブルからの出力輝度レベルに乗算される最大ゲイン量を表わして ヽる。 すなわち、ゲイン lcは、オフセットテーブルの縦軸を増減させる量であって、処理の ブースト量に直接効いてくる値とされる。
[0032] 図 2の説明に戻る。加算器 29は、エッジ検出機能付 LPF21から供給された信号 L に、マイクロコンピュータ 24から供給された入力調整 2a加算し、乗算器 30に供給す る。乗算器 30は、加算器 29から供給された信号 Lに、マイクロコンピュータ 24から供 給された入力調整 2bを乗算し、照明成分オフセットテーブル 31に供給する。
[0033] 照明成分オフセットテーブル 31は、加算器 29および乗算器 30から供給された入 力調整 2a, 2bに基づいて、低域の輝度レベルのブースト量を決定するオフセットテ 一ブルのオフセット量およびゲイン量を調整し、それを保持する。また照明成分オフ セットテーブル 31は、保持しているオフセットテーブルを参照し、加算器 29および乗 算器 30を介して供給された信号 Lの輝度レベルに応じたオフセット量 ofst2を乗算器 32に供給する。乗算器 32は、照明成分オフセットテーブル 31から供給されたオフセ ット量 ofst2に、マイクロコンピュータ 24力も供給されたゲイン 2cを乗算し、加算器 33 に供給する。
[0034] 図 6Aは、照明成分オフセットテーブル 31が保持するオフセットテーブルの例を示 している。同図において、横軸は、入力輝度レベルを表わし、縦軸は、オフセット量 of st2を表わしている（後述する図 6Bにおいても同様とする）。ここで、図 6Aに示される オフセットテーブルにお 、て、 8ビットに正規ィ匕された入力輝度レベル (横軸）を Xとす ると、オフセット量 ofst2 (縦軸）は、例えば、次式（2)で表される。
[数 2]
Figure imgf000010_0001
0fSt2 = ( x + 7,8) ，(86≤xく 128)
0 i(12S≤x<255) "(2)
[0035] 図 6Bは、照明成分オフセットテーブル 31が保持するオフセットテーブルと調整パラ メータの関係を説明するための図である。図 6Bに示されるように、入力調整 2a (図中 矢印 2a)は、オフセットテーブルへの入力輝度レベル力も差し引かれるオフセット量 を表わしている。すなわち、入力が固定である場合、入力調整 2aは、オフセットテー ブルを右方向にシフトさせる量である。入力調整 2b (図中矢印 2b)は、オフセットテー ブルへの入力輝度レベルに乗算されるゲイン量を表わしている。すなわち、入力が 固定である場合、入力調整 2bは、オフセットテーブルのエリア幅を増減させる量であ つて、処理を施す輝度レベル範囲の調整に相当する。ゲイン 2c (図中矢印 2c)は、ォ フセットテーブルからの出力輝度レベルに乗算される最大ゲイン量を表わして ヽる。 すなわち、ゲイン 2cは、オフセットテーブルの縦軸を増減させる量であって、処理の ブースト量に直接効いてくる値とされる。
[0036] 図 2の説明に戻る。加算器 33は、乗算器 28から供給された、最大ゲイン量が調整 された超低域の輝度レベルのブースト量を決定するオフセット量 ofstlに、乗算器 32 力 供給された、最大ゲイン量が調整された低域の輝度レベルのブースト量を決定 するオフセット量 ofst2を加算し、得られたオフセット量 (照明成分加減残量 T(L) )を 加算器 34に供給する。加算器 34は、エッジ検出機能付 LPF21から供給された信号 L (元々の照明成分）に、加算器 33から供給された照明成分加減残量 T(L)を加算し 、得られたゲイン最適化照明成分 (信号 T(L) ' )を加算器 37に供給する。
[0037] 加算器 22は、カメラ信号処理部 12から入力された輝度信号 Y1 (原信号)から、エツ ジ検出機能付 LPF21から供給された信号 L (照明成分)を減算し、得られたテクスチ ャ成分 (信号 R)を加算器 36に供給する。
[0038] 反射率ゲイン係数算出部 35は、反射率ゲイン係数テーブルを参照し、ブーストした 輝度信号のうち、超低輝度および低輝度のブーストエリア外を適応エリアに決定し、 それをアパーチャコントローラ 23に供給する。また反射率ゲイン係数算出部 35は、 適応エリアを決定する際、マイクロコンピュータ 24から供給された入力調整 addおよび 出力調整 offsetに基づ 、て、反射率ゲイン係数テーブルのオフセット量およびゲイン 量を調整する。
[0039] 図 7Aは、反射率ゲイン係数算出部 35が保持する反射率ゲイン係数テーブルの例 を示している。同図において、横軸は、入力輝度レベルを表わし、縦軸は、反射率ゲ イン量を表わしている（後述する図 7Bにおいても同様とする）。図 7Bは、反射率ゲイ ン係数算出部 35が保持する反射率ゲイン係数テーブルと調整パラメータの関係を説 明するための図である。
[0040] 図 7Bに示されるように、出力調整 offset (図中矢印 offset)は、反射率ゲイン係数テ 一ブル力ゝらの出力輝度レベルに乗算されるゲイン量を表わしている。すなわち、出力 調整 offsetは、反射率ゲイン係数テーブルの縦軸を増力！]させる量である。調整パラメ ータ A (図中矢印 A)は、アパーチャコントローラ 23の最大ゲイン量を決定するパラメ ータを表わしている。入力調整 add (図中矢印 add)は、反射率ゲイン係数テーブルへ の入力輝度レベル力も差し引かれるオフセット量を表わしている。すなわち、入力が 固定である場合、入力調整 addは、反射率ゲイン係数テーブルを右方向にシフトさせ る量である。 limit levelは、アパーチャコントローラ 23において余分なアパーチャ信号 をつけな!/、ようにするために設定されたマックスリミット (最大ゲイン量)を表わして!/、る
[0041] ここで、図 7Bに示される反射率ゲイン係数テーブルにおいて、 8ビットに正規ィ匕され た入力輝度レベル (横軸）を Xとすると、アパーチャコントロール量 apgain (縦軸）は、例 えば、次式（3)で表される。ただし、 Aは、アパーチャコントローラ 23の最大ゲイン量 を表わし、 offsetは、反射率ゲイン係数テーブルを上方向にシフトさせる量を表わし、 a ddは、反射率ゲイン係数テーブルを右方向にシフトさせる量を表わして！/ヽる。
[数 3] offset ，(0≤x≤180)
Figure imgf000012_0001
(x+ add- 180)+ offset f(180 <x <210) A + offset ，(210≤x≤ 255)
apgain if (apgain く limit level)
apgain =
limit level else
Figure imgf000012_0002
[0042] なお、上記式（3)による算出の結果、アパーチャコントロール量 apgain'カ¾!^ level より小さい場合（図 7Bにおいて、実線で示す反射率ゲイン係数テーブル）は、 apgain ，がアパーチャコントロール量 apgainとして出力される。一方、アパーチャコントロール 量 apgain，が limit leveはり大きい場合（図 7Bにおいて、点線で示す反射率ゲイン係 数テーブルの limit leveはり大きくなる部分）は、 limit levelがアパーチャコントロール 量 apgainとして出力される。 [0043] 図 2の説明に戻る。アパーチャコントローラ 23は、反射率ゲイン係数算出部 35によ り決定された適応エリアに基づいて、超低輝度および低輝度のブーストエリア外に適 応されるように、カメラ信号処理部 12から入力された輝度信号 Y1の照明成分レベル 依存のアパーチャ補正を行 、、加算器 36に供給する。
[0044] 加算器 36は、加算器 22から供給された信号 R (原信号力も照明成分が差し引かれ たテクスチャ成分）に、アパーチャコントローラ 23から供給されたアパーチャ補正され た輝度信号を加算し、加算器 37に供給する。加算器 37は、加算器 36から供給され たアパーチャ補正後のテクスチャ成分に、加算器 34から供給されたゲイン最適化照 明成分 (信号 T(L) ' )を加算し、得られたダイナミックレンジ圧縮後の輝度信号 Y2を 記録フォーマット処理部 14に出力する。
[0045] クロマゲイン係数算出部 38は、クロマゲイン係数テーブルを参照し、ブーストした輝 度信号のうち、特に低輝度レベルにのったクロマ信号に対して乗算するゲイン量を決 定し、それを乗算器 39に供給する。
[0046] 図 8Aは、クロマゲイン係数算出部 38が保持するクロマゲイン係数テーブルの例を 示している。同図において、横軸は、入力輝度レベルを表わし、縦軸は、クロマゲイン 量を表わし、この縦軸の値には、 1のオフセットがはかされている（後述する図 8Bにお いても同様とする)。図 8Bは、クロマゲイン係数算出部 38が保持する係数テーブルと 調整パラメータの関係を説明するための図である。図 8Bに示されるように、調整パラ メータ Bは、クロマゲイン係数テーブルの最大ゲイン量を決定するパラメータを表わし ている（図中矢印 B)。ここで、図 8Bに示されるクロマゲイン係数テーブルにおいて、 8 ビットに正規ィ匕された入力輝度レベル (横軸）を Xとすると、クロマゲイン量 cgain (縦軸 )は、例えば、次式 (4)で表される。ただし、 Bは、クロマゲイン係数テーブルの最大ゲ イン量を表わしている。
[数 4] cgain =
Figure imgf000014_0001
[0047] 図 2の説明に戻る。乗算器 39は、入力されたクロマ信号 C1に、クロマゲイン係数算 出部 38から供給されたゲイン量を乗算し、 HPF (Highpass Filter) 41および加算器 43 に供給する。なお、図 8Bに示したクロマゲイン係数テーブルにおいて、縦軸の値に は、 1のオフセットがは力されているため、例えば、調整パラメータ Bが 0. 0の場合、ク ロマ信号が入力値のまま乗算器 39から出力される。
[0048] HPF41は、乗算器 39から供給されたクロマ信号の高域成分を抽出し、それを乗算 器 42に供給する。クロマエリア判別部 40は、ブーストしたエリアの輝度信号にのった クロマ信号に対し、 LPFをかけるエリアを選択し、それを乗算器 42に供給する。
[0049] 図 9は、クロマエリア判別部 40が選択に用いる判別エリアの例を示している。同図 において、横軸は、入力輝度レベルを表わし、縦軸は、クロマエリアを表わしている。 図 9に示されるように、判別エリアは、ブーストエリアと非ブーストエリアがリニアに変化 されている。これにより、 LPFの力かり具合が調整される。ここで、図 9に示される判別 エリアにおいて、 8ビットに正規ィ匕された入力輝度レベル (横軸）を Xとすると、クロマエ リア carea (縦軸）は、例えば、次式（5)で表される。
[数 5]
carea二
Figure imgf000014_0002
図 2の説明に戻る。乗算器 42は、 HPF41から供給された高域成分のクロマ信号に 、クロマエリア判別部 40から供給された LPFをかけるエリアを乗算し、それを加算器 4 3に供給する。加算器 43は、乗算器 39から供給されたクロマ信号から、乗算器 42か ら供給された高域成分のクロマ信号を減算 (すなわち、低域レベル部分のクロマ信号 に対して LPF処理)することでクロマノイズを低減し、得られたダイナミックレンジ圧縮 後のクロマ信号 C2を記録フォーマット処理部 14に出力する。
[0051] 図 2の例では、加算器 25、乗算器 26、照明成分オフセットテーブル 27、および乗 算器 28が、超低域の輝度レベルのブースト量を決定するブロックを構成し、加算器 2 9、乗算器 30、照明成分オフセットテーブル 31、および乗算器 32が、低域の輝度レ ベルのブースト量を決定するブロックを構成している力 これは一例であり、少なくとも 、低輝度のブースト量を決定する 1つのブロックが構成されていれば、その数は、 1つ でも、 2つ以上 (複数)でもよい。
[0052] 次に、図 10のフローチャートを参照して、ダイナミックレンジ圧縮部 13が実行する、 輝度信号の圧縮処理にっ 、て説明する。
[0053] ステップ S1において、エッジ検出機能付 LPF21は、カメラ信号処理部 12より入力さ れた画像データのうち、輝度信号 Y1の画素値の変化が急峻なエッジを検出し（図 3 B)、そのエッジを保存したまま輝度信号 Y1を平滑ィ匕し、照明成分 (信号 L)を抽出す る。ここで、エッジ検出機能付 LPF21は、図 4に示したように、注目画素 51がエッジ方 向のレベル差内（範囲 B)である力否かに応じて、輝度信号 Y1を平滑ィ匕する力否か を判断する。ステップ S2において、加算器 22は、カメラ信号処理部 12より入力され た輝度信号 Y1 (原信号)から、ステップ S1の処理により抽出された照明成分を減算 し、テクスチャ成分 (信号 R)を分離する。
[0054] ステップ S3において、アパーチャコントローラ 23は、反射率ゲイン係数算出部 35に より決定された適応エリア（図 7B)に基づいて、超低輝度および低輝度のブーストエリ ァ外に適応されるように、カメラ信号処理部 12から入力された輝度信号 Y1の照明成 分レベル依存のアパーチャ補正を行う。ステップ S4において、加算器 33は、乗算器 28を介して照明成分オフセットテーブル 27から供給された、オフセット量、ゲイン量、 および最大ゲイン量が調整された超低域の輝度レベルのブースト量を決定するオフ セット量 ofstl (図 5B)と、乗算器 32を介して照明成分オフセットテーブル 31から供給 された、オフセット量、ゲイン量、および最大ゲイン量が調整された低域の輝度レベル のブースト量を決定するオフセット量 0fst2 (図 6B)を加算し、照明成分加減残量 T(L )を算出する。
[0055] ステップ S5において、加算器 34は、ステップ S1の処理により抽出された照明成分 に、ステップ S4の処理により算出された照明成分加減残量 T(L)を加算し、ゲイン最 適化照明成分 (信号 T(L) ' )を取得する。ステップ S6において、加算器 37は、ステツ プ S3の処理によりアパーチャ補正されたテクスチャ成分に、ステップ S5の処理により 取得されたゲイン最適化照明成分 (信号 T(L) ' )を加算し、ダイナミックレンジ圧縮後 の出力輝度信号 Y2を取得する。
[0056] 以上の処理により取得されたダイナミックレンジ圧縮後の出力輝度信号 Y2が、記録 フォーマット処理部 14に出力される。
[0057] 次に、図 11のフローチャートを参照して、ダイナミックレンジ圧縮部 13が実行する、 クロマ信号の圧縮処理にっ 、て説明する。
[0058] ステップ S21において、クロマゲイン係数算出部 38は、カメラ信号処理部 12より入 力された画像データのうち、図 10のステップ S1の処理により抽出された輝度信号 Y1 の照明成分から、クロマ信号 C1の増幅量 (ゲイン量)を算出する（図 8B)。ステップ S 22において、クロマエリア判別部 40は、図 10のステップ S1の処理により抽出された 輝度信号 Y1の照明成分から、クロマ信号 C1のノイズ低減エリア (すなわち、 LPFをか けるエリア）を選択する（図 9)。
[0059] ステップ S23において、カロ算器 43は、ステップ S22の処理により選択されたノイズ 低減エリアに基づ 、て、ゲインがかけられた低輝度レベルのクロマ信号のクロマノイズ を低減し、ダイナミックレンジ圧縮後のクロマ信号 C2を取得する。
[0060] 以上の処理により取得されたダイナミックレンジ圧縮後の出力クロマ信号 C2が、記 録フォーマット処理部 14に出力される。
[0061] 次に、以上の圧縮処理を施した場合の処理結果について、図 12および図 13を参 照して説明する。
[0062] 図 12Aは、 0乃至 255の範囲で変動する 8ビットレンジの入力画像データに対して、 ビット圧縮による影響を考慮せずに単純に低輝度をブースト処理した場合の輝度成 分のヒストグラムの例を示している。図 12Bは、 0乃至 255の範囲で変動する 8ビットレ ンジの入力画像データに対して、本発明により圧縮処理した場合の輝度成分のヒスト グラムの例を示している。図 12Cは、図 12Aおよび図 12Bの累積ヒストグラムの例を 示しており、同図において、 HIは、図 12Aの累積ヒストグラムを示し、 H2は、図 12B の累積ヒストグラムを示して 、る。
[0063] 単純なヒストグラムィコライゼーシヨンの処理の場合、低輝度（図中、横軸方向の左 側部分）にデータが集中している（図 12A)。これに対して、本発明の圧縮処理を適 用することにより、高輝度側（図中、横軸方向の右側部分)のヒストグラム形状は保た れたまま、低輝度側の画素データがヒストグラム上で適切に右方向にシフトされて ヽ る（図 12B)。すなわち、図 12Cに示されるように、高輝度側（図中、横軸方向の右側 部分)では、累積ヒストグラム HIと累積ヒストグラム H2の形状がほぼ同じとされている 力 低輝度側（図中、横軸方向の左側部分)では、累積ヒストグラム HIより累積ヒスト グラム H2の方が、右方向にシフトされて 、ることがわ力る。
[0064] 図 13Aは、 128乃至 127の範囲で変動する 8ビットレンジの入力画像データに対 して、ビット圧縮による影響を考慮せずに単純に低輝度をブースト処理した場合のク ロマ成分のヒストグラムの例を示している。図 13Bは、 128乃至 127の範囲で変動 する 8ビットレンジの入力画像データに対して、本発明により圧縮処理した場合のクロ マ成分のヒストグラムの例を示している。ただし、ブーストされるレベル域の変動を詳 細に示すため，図 13Aおよび図 13Bでは、 50乃至 50のレベル範囲のヒストグラム が図示されている。
[0065] 単純なヒストグラムィコライゼーシヨンの処理の場合、低レベル（図中、横軸方向の 中央部分)のクロマ成分は、ノイズの影響によりヒストグラムが遷移せず、くし型の形状 をなしている（図 13A)。これに対して、本発明の圧縮処理を適用することにより、輝 度成分のブースト域に対応してクロマ成分に適切なゲインアップがかけられるとともに 、ノイズが低減されるため、ヒストグラムが中心 (低レベル域)から外側に向カゝつて滑ら かに遷移している（図 13B)。
[0066] これらの結果からも判る通り、鮮鋭度を損なうことなくコントラストを向上し、撮像され たディジタル画像を適切に圧縮することができる。
[0067] また、図示は省略するが、例えば、 10ビットレンジなどのように入力レンジが増える と、低輝度部も潜在的に階調を持つことになるが、本発明の圧縮処理を適用すること により、ブースト部分に対しても、より滑らかな階調の画像を得ることができる。
[0068] 以上のように、ディジタルビデオカメラなどのディジタル画像記録装置にぉ 、て、本 発明を適用することにより、固体撮像素子 11によって撮像されたディジタル画像に対 し、従来では輝度値が低くコントラストが得られな力つた部分の画像データのうち、ェ ッジを保存したまま、そのエッジ以外の部分の画像データを増幅することができる。こ れにより、記録レンジよりも広い入力レンジを持つカメラ信号処理システムの輝度信号 およびクロマ信号に対しても、鮮鋭度を損なうことなくコントラストを向上し、記録レン ジへと適切に圧縮することが可能となる。
[0069] また、本発明を適用することにより、輝度成分を増幅したエリアにのっているクロマ 信号に対しても、適切な増幅が行われる。これにより、同時にクロマノイズの低減を図 ることができるため、単に白浮きした画像ではない、自然なダイナミックレンジ画像が 獲得できる。さらに、輝度成分の増幅部分をオフセット量のテーブルとして保持するこ とにより、低輝度および超低輝度部分のブースト処理を加算処理で実現することがで きるため、処理負荷を低減することが可能となる。
[0070] 上述したように、これらの一連の処理は、ハードウェアにより実行させることもできる 力 ソフトウェア〖こより実行させることもできる。この場合、例えば、ダイナミックレンジ 圧縮部 13は、図 14に示されるようなコンピュータ 100により実現される。
[0071] 図 14において、 CPU(Central Processing Unit)101は、 ROM102に記憶されている プログラム、または記憶部 108から RAM(Random Access Memory) 103にロードされた プログラムに従って、各種の処理を実行する。 RAM103にはまた、 CPU101が各種の 処理を実行する上において必要なデータなども適宜記憶される。
[0072] CPU101、 ROM102、および RAM103は、バス 104を介して相互に接続されている 。このバス 104にはまた、入出力インタフェース 105も接続されている。
[0073] 入出力インタフェース 105には、キーボード、マウスなどよりなる入力部 106、デイス プレイなどよりなる出力部 107、記憶部 108、通信部 109が接続されている。
通信部 109は、ネットワークを介しての通信処理を行う。
[0074] 入出力インタフェース 105にはまた、必要に応じてドライブ 110が接続され、磁気デ イスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア 1 11が適宜装着され、それら力も読み出されたコンピュータプログラムが、必要に応じ て記憶部 108にインストールされる。
[0075] コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプロ グラムを記録する記録媒体は、図 14に示されるように、装置本体とは別に、ユーザに プログラムを提供するために配布される、プログラムが記録されて ヽる磁気ディスク（ フレキシブルディスクを含む）、光ディスク（CD- ROM (Compact Disc-Read Only Mem ory)、 DVD(Digital Versatile Disc)を含む）、光磁気ディスク (MD(Mini-Disc) (登録商 標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア 111により構成さ れるだけでなぐ装置本体に予め組み込まれた状態でユーザに提供される、プロダラ ムが記録されている ROM103または記憶部 108に含まれるハードディスクなどで構成 される。
[0076] なお、本明細書にぉ 、て、記録媒体に記憶されるプログラムを記述するステップは 、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理 されなくとも、並列的あるいは個別に実行される処理をも含むものである。
[0077] また、本明細書において、システムとは、複数の装置により構成される装置全体を 表わすものである。

Claims

請求の範囲
[1] 入力画像のうち、輝度信号の画素値の変化が急峻なエッジを保存したまま輝度信 号を平滑化し、照明成分を抽出する抽出手段と、
前記輝度信号、および前記抽出手段により抽出された前記照明成分に基づいて、 テクスチャ成分を分離する分離手段と、
前記抽出手段により抽出された前記照明成分に基づいて、照明成分加減残量を 算出する第 1の算出手段と、
前記照明成分、および前記第 1の算出手段により算出された前記照明成分加減残 量に基づいて、ゲイン最適化照明成分を取得する第 1の取得手段と、
前記分離手段により分離された前記テクスチャ成分、および前記第 1の取得手段に より取得された前記ゲイン最適化照明成分に基づいて、出力輝度信号を取得する第
2の取得手段と
を備えることを特徴とする画像処理装置。
[2] 前記抽出手段により抽出された前記照明成分に基づいて、前記入力画像のうち、 クロマ信号に対するクロマ信号増幅量を算出する第 2の算出手段と、
前記抽出手段により抽出された前記照明成分に基づいて、前記クロマ信号のノイズ 低減エリアを選択する選択手段と、
前記第 2の算出手段により算出された前記クロマ信号増幅量によって増幅された前 記クロマ信号、および前記選択手段により選択された前記ノイズ低減エリアに基づい て、出力クロマ信号を取得する第 3の取得手段と
をさらに備えることを特徴とする請求項 1に記載の画像処理装置。
[3] 前記抽出手段は、注目画素を含む周囲の画素の上方向、下方向、左方向、および 右方向の代表値を算出し、算出された前記上方向と下方向の代表値の差分値、およ び前記左方向と右方向の代表値の差分値に基づいて、エッジ方向を検出し、検出さ れた前記エッジ方向に関し、前記輝度信号を平滑化するか否かを判断する
ことを特徴とする請求項 1に記載の画像処理装置。
[4] 前記抽出手段により抽出された前記照明成分から、アパーチャ補正のゲイン量を 算出するゲイン算出手段と、 前記ゲイン算出手段により算出された前記ゲイン量に基づいて、前記分離手段に より分離された前記テクスチャ成分をアパーチャ補正する補正手段と
をさらに備えることを特徴とする請求項 1に記載の画像処理装置。
[5] 前記第 1の算出手段は、固定の入出力関数を有し、前記固定の入出力関数に基 づいて、前記照明成分加減残量を算出する
ことを特徴とする請求項 1に記載の画像処理装置。
[6] 前記第 1の算出手段は、前記固定の入出力関数を可変に調整する調整手段を有 する
ことを特徴とする請求項 5に記載の画像処理装置。
[7] 前記第 1の算出手段は、入力信号のレベル毎に、 1つの処理ブロックまたは複数の 処理ブロックで構成されて ヽる
ことを特徴とする請求項 1に記載の画像処理装置。
[8] 入力画像のうち、輝度信号の画素値の変化が急峻なエッジを保存したまま輝度信 号を平滑化し、照明成分を抽出する抽出ステップと、
前記輝度信号、および前記抽出ステップの処理により抽出された前記照明成分に 基づいて、テクスチャ成分を分離する分離ステップと、
前記抽出ステップの処理により抽出された前記照明成分に基づいて、照明成分加 減残量を算出する第 1の算出ステップと、
前記照明成分、および前記第 1の算出ステップの処理により算出された前記照明 成分加減残量に基づいて、ゲイン最適化照明成分を取得する第 1の取得ステップと 前記分離ステップの処理により分離された前記テクスチャ成分、および前記第 1の 取得ステップの処理により取得された前記ゲイン最適化照明成分に基づ 、て、出力 輝度信号を取得する第 2の取得ステップと
を含むことを特徴とする画像処理方法。
[9] 入力画像のうち、輝度信号の画素値の変化が急峻なエッジを保存したまま輝度信 号を平滑化し、照明成分を抽出する抽出ステップと、
前記輝度信号、および前記抽出ステップの処理により抽出された前記照明成分に 基づいて、テクスチャ成分を分離する分離ステップと、
前記抽出ステップの処理により抽出された前記照明成分に基づいて、照明成分加 減残量を算出する第 1の算出ステップと、
前記照明成分、および前記第 1の算出ステップの処理により算出された前記照明 成分加減残量に基づいて、ゲイン最適化照明成分を取得する第 1の取得ステップと 前記分離ステップの処理により分離された前記テクスチャ成分、および前記第 1の 取得ステップの処理により取得された前記ゲイン最適化照明成分に基づ 、て、出力 輝度信号を取得する第 2の取得ステップと
をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2005/010350 2004-06-10 2005-06-06 画像処理装置および方法、並びにプログラム WO2005122552A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP05751456A EP1755331A4 (en) 2004-06-10 2005-06-06 PROGRAM, METHOD AND IMAGE PROCESSING DEVICE
US11/629,152 US20080284878A1 (en) 2004-06-10 2005-06-06 Image Processing Apparatus, Method, and Program
JP2006514495A JP4497160B2 (ja) 2004-06-10 2005-06-06 画像処理装置および方法、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004172212 2004-06-10
JP2004-172212 2004-06-10

Publications (1)

Publication Number Publication Date
WO2005122552A1 true WO2005122552A1 (ja) 2005-12-22

Family

ID=35503493

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/010350 WO2005122552A1 (ja) 2004-06-10 2005-06-06 画像処理装置および方法、並びにプログラム

Country Status (6)

Country Link
US (1) US20080284878A1 (ja)
EP (1) EP1755331A4 (ja)
JP (1) JP4497160B2 (ja)
KR (1) KR20070026571A (ja)
CN (1) CN1965570A (ja)
WO (1) WO2005122552A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4574457B2 (ja) * 2005-06-08 2010-11-04 キヤノン株式会社 画像処理装置およびその方法
JP4524711B2 (ja) * 2008-08-04 2010-08-18 ソニー株式会社 ビデオ信号処理装置、ビデオ信号処理方法、プログラム
JP5569042B2 (ja) * 2010-03-02 2014-08-13 株式会社リコー 画像処理装置、撮像装置及び画像処理方法
US8766999B2 (en) * 2010-05-20 2014-07-01 Aptina Imaging Corporation Systems and methods for local tone mapping of high dynamic range images
CN102095496B (zh) * 2010-12-06 2012-09-05 宁波耀泰电器有限公司 一种测量动态照度分布的方法
JP5488621B2 (ja) 2012-01-11 2014-05-14 株式会社デンソー 画像処理装置、画像処理方法、及びプログラム
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
US20160111063A1 (en) * 2014-10-20 2016-04-21 Trusight, Inc. System and method for optimizing dynamic range compression image processing color
CN110278425A (zh) * 2019-07-04 2019-09-24 潍坊学院 图像增强方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051661A (ja) * 1996-05-21 1998-02-20 Samsung Electron Co Ltd 低域フィルタリングとヒストグラム等化を用いた画質改善方法及びその回路
JP2000032482A (ja) * 1998-07-14 2000-01-28 Canon Inc 信号処理装置、信号処理方法及び記憶媒体
JP2001024907A (ja) * 1999-07-06 2001-01-26 Matsushita Electric Ind Co Ltd 撮像装置
JP2001298621A (ja) * 2000-02-07 2001-10-26 Sony Corp 画像処理装置及びその方法
JP2003101815A (ja) * 2001-09-26 2003-04-04 Fuji Photo Film Co Ltd 信号処理装置及び信号処理方法
JP2004120224A (ja) * 2002-09-25 2004-04-15 Fuji Photo Film Co Ltd 画像補正処理装置及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07231396A (ja) * 1993-04-19 1995-08-29 Mitsubishi Electric Corp 画質補正回路
KR0170657B1 (ko) * 1994-08-31 1999-03-30 김광호 색신호에 있는 윤곽을 보정하는 방법 및 이를 칼라 비디오기기에서 구현하기 위한 회로
JP3221291B2 (ja) * 1995-07-26 2001-10-22 ソニー株式会社 画像処理装置、画像処理方法、ノイズ除去装置及びノイズ除去方法
DE19637613C2 (de) * 1996-09-16 2000-02-24 Heidelberger Druckmasch Ag Druckmaschine zum Erzeugen eines Bildes mittels Tonpartikeln
US6694051B1 (en) * 1998-06-24 2004-02-17 Canon Kabushiki Kaisha Image processing method, image processing apparatus and recording medium
JP4131348B2 (ja) * 1998-11-18 2008-08-13 ソニー株式会社 画像処理装置及び画像処理方法
EP1075140A1 (en) * 1999-08-02 2001-02-07 Koninklijke Philips Electronics N.V. Video signal enhancement
US6724943B2 (en) * 2000-02-07 2004-04-20 Sony Corporation Device and method for image processing
JP4556276B2 (ja) * 2000-03-23 2010-10-06 ソニー株式会社 画像処理回路及び画像処理方法
WO2002102086A2 (en) * 2001-06-12 2002-12-19 Miranda Technologies Inc. Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal
JP3750797B2 (ja) * 2001-06-20 2006-03-01 ソニー株式会社 画像処理方法および装置
US7139036B2 (en) * 2003-01-31 2006-11-21 Samsung Electronics Co., Ltd. Method and apparatus for image detail enhancement using filter bank

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051661A (ja) * 1996-05-21 1998-02-20 Samsung Electron Co Ltd 低域フィルタリングとヒストグラム等化を用いた画質改善方法及びその回路
JP2000032482A (ja) * 1998-07-14 2000-01-28 Canon Inc 信号処理装置、信号処理方法及び記憶媒体
JP2001024907A (ja) * 1999-07-06 2001-01-26 Matsushita Electric Ind Co Ltd 撮像装置
JP2001298621A (ja) * 2000-02-07 2001-10-26 Sony Corp 画像処理装置及びその方法
JP2003101815A (ja) * 2001-09-26 2003-04-04 Fuji Photo Film Co Ltd 信号処理装置及び信号処理方法
JP2004120224A (ja) * 2002-09-25 2004-04-15 Fuji Photo Film Co Ltd 画像補正処理装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1755331A4 *

Also Published As

Publication number Publication date
EP1755331A1 (en) 2007-02-21
US20080284878A1 (en) 2008-11-20
CN1965570A (zh) 2007-05-16
EP1755331A4 (en) 2009-04-29
KR20070026571A (ko) 2007-03-08
JP4497160B2 (ja) 2010-07-07
JPWO2005122552A1 (ja) 2008-04-10

Similar Documents

Publication Publication Date Title
JP4497160B2 (ja) 画像処理装置および方法、並びにプログラム
JP4894595B2 (ja) 画像処理装置および方法、並びに、プログラム
US8144985B2 (en) Method of high dynamic range compression with detail preservation and noise constraints
EP2216988B1 (en) Image processing device and method, program, and recording medium
KR100782845B1 (ko) 비로그 도메인 조도 수정을 이용한 디지털 영상 개선방법과 시스템
US8520134B2 (en) Image processing apparatus and method, and program therefor
US20120301050A1 (en) Image processing apparatus and method
JP2001275015A (ja) 画像処理回路及び画像処理方法
US20100074521A1 (en) Image Processing Apparatus, Image Processing Method, and Program
US20070103570A1 (en) Apparatus, method, recording medium and program for processing signal
US20090073278A1 (en) Image processing device and digital camera
JP2007049540A (ja) 画像処理装置および方法、記録媒体、並びに、プログラム
JP4320572B2 (ja) 信号処理装置および方法、記録媒体、並びにプログラム
US20100128332A1 (en) Image signal processing apparatus and method, and program
US20090002562A1 (en) Image Processing Device, Image Processing Method, Program for Image Processing Method, and Recording Medium Having Program for Image Processing Method Recorded Thereon
JP3184309B2 (ja) 階調補正回路及び撮像装置
JP2000156797A (ja) 画像処理装置及び画像処理方法
JP2010130150A (ja) 階調補正装置および撮像装置
US8693799B2 (en) Image processing apparatus for emphasizing details of an image and related apparatus and methods
US7894686B2 (en) Adaptive video enhancement gain control
JP5295854B2 (ja) 画像処理装置及び画像処理プログラム
JP4479600B2 (ja) 画像処理装置および方法、並びにプログラム
US7773824B2 (en) Signal processing device and method, recording medium, and program
JP4304609B2 (ja) 信号処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005751456

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2006514495

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11629152

Country of ref document: US

Ref document number: 1020067025938

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 200580019056.0

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Ref document number: DE

WWP Wipo information: published in national office

Ref document number: 2005751456

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020067025938

Country of ref document: KR