WO2006075472A1 - 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置 - Google Patents

画像処理方法、画像処理装置、画像処理プログラム及び撮像装置 Download PDF

Info

Publication number
WO2006075472A1
WO2006075472A1 PCT/JP2005/022915 JP2005022915W WO2006075472A1 WO 2006075472 A1 WO2006075472 A1 WO 2006075472A1 JP 2005022915 W JP2005022915 W JP 2005022915W WO 2006075472 A1 WO2006075472 A1 WO 2006075472A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
index
correction
calculated
input
Prior art date
Application number
PCT/JP2005/022915
Other languages
English (en)
French (fr)
Inventor
Hiroaki Takano
Daisuke Sato
Original Assignee
Konica Minolta Photo Imaging, Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Photo Imaging, Inc. filed Critical Konica Minolta Photo Imaging, Inc.
Publication of WO2006075472A1 publication Critical patent/WO2006075472A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628—Memory colours, e.g. skin or sky
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control

Definitions

  • Image processing method image processing apparatus, image processing program, and imaging apparatus
  • the present invention relates to an image processing method, an image processing device, an image processing program, and an imaging device.
  • Patent Document 1 For the above problem, a method for calculating an additional correction value instead of the discriminant regression analysis method has been disclosed (for example, see Patent Document 1).
  • the method described in Patent Document 1 deletes the high-brightness region and the sub-brightness region from the luminance histogram indicating the cumulative number of luminance pixels (frequency number). An average value is calculated, and a difference between the average value and the reference luminance is obtained as a correction value.
  • Patent Document 2 a method of determining the light source state at the time of shooting has been proposed (for example, see Patent Document 2).
  • a face candidate area is extracted, and the deviation of the average luminance of the extracted face candidate area with respect to the entire image is calculated. If the deviation amount is large, shooting conditions (backlight shooting power, strobe proximity) Whether the image is taken or not is adjusted, and the tolerance of the criterion for determination as a face area is adjusted.
  • Patent Document 2 as a method for extracting a face candidate region, a method using a two-dimensional histogram of hue and saturation described in JP-A-6-67320, JP-A-8-122944, JP-A-8- The pattern matching and pattern search methods described in Japanese Patent No. 184925 and Japanese Patent Laid-Open No. 9-138471 are cited. [0005] Further, in Patent Document 2, as a method for removing a background region other than a face, the ratio of the straight line portion, the line object property, the image described in JP-A-8-122944 and JP-A-8-184925 are disclosed. Citing methods using the contact ratio with the outer edge, density contrast, density change pattern and periodicity are cited.
  • a method that uses a one-dimensional histogram of density is described to determine shooting conditions. This method is based on an empirical rule that the face area is dark and the background area is bright in the case of backlight, and that the face area is bright and the background area is dark in the case of close-up flash photography.
  • Patent Document 1 JP 2002-247393 A
  • Patent Document 2 Japanese Unexamined Patent Publication No. 2000-148980
  • Patent Document 1 and Patent Document 2 are used as the average luminance value of the skin color region (face region) based on whether or not the method is applicable to typical backlighting and strobe close-up photography. Since it is determined whether or not it can be adopted, density discontinuity occurs at the boundary between a typical shooting scene and a shooting scene that is not, or the shooting scene is misidentified. There was a possibility that the brightness of the skin color area was not properly corrected.
  • the photographer may set shooting conditions such as backlight that intentionally darkens the person, close-up of a strobe that causes the person to blow out white, or under that darkens the entire image. There was a case that was not done.
  • the present invention provides an image processing method and an image processing apparatus that continuously and appropriately corrects (corrects) the brightness of the skin color area of photographed image data as intended by the photographer.
  • the purpose is to do.
  • the object of the present invention can be achieved by the following means.
  • An input process for inputting image data generated by capturing an image of a subject, a threshold setting process for setting a threshold for determining a shooting condition, and an index representing the shooting condition of the input image data An index calculation step to calculate, an imaging condition determination step to determine an imaging condition of the image data based on the calculated index and a set threshold, and the determined imaging And a correction processing step of performing correction processing on the input image data based on the shadow condition.
  • the photographing condition discriminated in the photographing condition discriminating step is at least one selected from backlight, strobe proximity, under and over, and in the threshold setting step, the photographing condition is backlight, strobe proximity, 2.
  • a correction amount setting step of setting a correction amount for each shooting condition is included, and the correction processing step is performed on input image data based on the determined shooting condition and the set correction amount. 4. The image processing method according to any one of 1 to 3, wherein correction processing is performed.
  • An input step for inputting image data generated by imaging a subject, a correction amount setting step for setting a correction amount for each shooting condition, and an index representing the shooting condition of the input image data An index calculation process to be calculated, an imaging condition determination process for determining the imaging condition of the image data based on the calculated index, and the input image data based on the determined imaging condition and the set correction amount
  • An index calculation process to be calculated, an imaging condition determination process for determining the imaging condition of the image data based on the calculated index, and the input image data based on the determined imaging condition and the set correction amount A correction processing step of performing correction processing on the image processing method.
  • the photographing condition discriminated in the photographing condition discriminating step is at least one selected from backlight, strobe proximity, under and over.
  • the photographing condition is backlight, strobe proximity, 6.
  • the image processing method according to any one of four of 1 to 8, further comprising a shooting condition display step of displaying the shooting condition determined in the shooting condition determination step.
  • a shooting condition display step of displaying the shooting condition determined in the shooting condition determination step.
  • the index calculation step when the input image data is classified into a plurality of classes divided by a predetermined brightness and hue for each predetermined area, the images belonging to the classified class Any one of 1 to 9, wherein a first occupancy ratio indicating a ratio of data to the entire image data is calculated, and an index representing a light source condition is calculated based on the calculated first occupancy ratio.
  • the image processing method as described in one.
  • the input image data is classified into a predetermined class composed of a combination of the distance from the outer edge of the image represented by the image data and the brightness for each predetermined area. Calculating a second occupancy ratio indicating the ratio of the image data belonging to the classified class to the entire image data, and calculating an index representing the light source condition based on the calculated second occupancy ratio.
  • the image processing method according to any one of four of the features 1 to 10, which is characterized.
  • the index calculating step calculates a deviation amount indicating a deviation in gradation distribution of input image data, and calculates an index representing an exposure condition based on the calculated deviation amount.
  • the image processing method according to any one of 1 to 11.
  • the deviation amount of the input image data is calculated as the deviation amount, the average value of the brightness of the input image data at the center of the screen, and different conditions.
  • the image processing method according to 12 comprising at least one of brightness difference values.
  • Input means for inputting image data generated by capturing an image of a subject, threshold setting means for setting a threshold for determining a shooting condition, and photographing of image data input by the input means
  • An index calculating means for calculating an index representing a condition; an imaging condition determining means for determining an imaging condition of image data based on the index calculated by the index calculating means and the threshold set by the threshold setting means; and the imaging An image processing apparatus comprising: a correction processing unit that performs correction processing on the image data input by the input unit based on the imaging condition determined by the condition determination unit.
  • the photographing condition discriminated by the photographing condition discriminating means is at least one selected from backlight, strobe proximity, under and over
  • the threshold setting means includes the threshold setting means in which the photographing condition is backlight, strobe proximity and under.
  • a correction amount setting unit that sets a correction amount for each shooting condition is provided, and the correction processing unit is set by the shooting condition determined by the shooting condition determination unit and the correction amount setting unit. 17.
  • the image processing apparatus according to any one of 14 to 16, wherein a correction process is performed on the image data input by the input unit based on a correction amount.
  • Input means for inputting image data generated by imaging a subject, correction amount setting means for setting a correction amount for each shooting condition, and photographing of image data input by the input means
  • An index calculating means for calculating an index representing a condition; a shooting condition determining means for determining a shooting condition of image data based on the index calculated by the index calculating means; and a shooting condition determined by the shooting condition determining means
  • An image processing apparatus comprising: correction processing means for performing correction processing on the image data input by the input means based on the correction amount set by the correction amount setting means.
  • the photographing condition discriminated by the photographing condition discriminating means is at least one selected from backlight, strobe proximity, under and over, and the correction amount setting means has the photographing condition of backlight, strobe proximity, 19.
  • the recording apparatus according to claim 18 or 19, further comprising: a recording unit that records the correction amount set by the correction amount setting unit in association with the image data subjected to the correction process by the correction processing unit.
  • a recording unit that records the correction amount set by the correction amount setting unit in association with the image data subjected to the correction process by the correction processing unit.
  • the image processing apparatus according to any one of 14 to 21, further comprising a display unit configured to display a shooting condition determined by the shooting condition determination unit.
  • the index calculating unit classifies the image data input by the input unit into a plurality of classes divided by a predetermined brightness and hue for each predetermined area. Calculate the first occupancy ratio indicating the ratio of image data belonging to The image processing apparatus according to any one of 14 to 22, wherein an index representing a light source condition is calculated based on the calculated first occupation ratio.
  • the index calculation means classifies the image data input by the input means into a predetermined class consisting of a combination of the distance from the outer edge of the image represented by the image data and the brightness for each predetermined area. And calculating a second occupancy ratio indicating the ratio of the image data belonging to the classified class to the entire image data, and calculating an index representing the light source condition based on the calculated second occupancy ratio.
  • the image processing apparatus according to any one of 14 to 23, characterized in that:
  • the index calculation means calculates a bias amount indicating a bias in the gradation distribution of the image data input by the input means, and calculates an index representing an exposure condition based on the calculated bias amount.
  • the index calculation means as the deviation amount, the brightness deviation amount of the image data input by the input means, the average value of the brightness at the center of the screen of the image data input by the input means 26.
  • the image processing device according to 25 including at least one of brightness difference values calculated under different conditions.
  • An imaging apparatus comprising the image processing apparatus according to any one of 14 to 26.
  • the index of the image data calculated based on the input image data and the image data based on the threshold for determining the set imaging condition Since the shooting conditions are determined and the input image data is corrected based on the determined shooting conditions, the input image data is input according to the index indicating the shooting conditions of the input image data.
  • the input image data is input according to the index indicating the shooting conditions of the input image data.
  • the imaging condition of the input image data is determined based on an index that quantitatively represents the imaging condition, and the brightness of the skin color area is corrected based on the determination result. Appropriate gradation conversion processing can be performed.
  • a threshold value for determining at least one selected from backlight, strobe proximity, under and over is set as a shooting condition, at least one shooting condition is set. In this case, the presence / absence and level of correction can be made as intended by the photographer.
  • the imaging condition of the image data is determined based on an index representing the imaging condition calculated based on the input image data, and the determined imaging condition is satisfied.
  • the input image data is subjected to the correction processing of the correction amount set for each shooting condition, so that the skin color area of the input image data is determined according to the index indicating the shooting condition of the input image data.
  • the correction amount is set in at least one shooting condition selected from backlight, strobe proximity, under and over, the degree of correction should be as intended by the photographer Is possible.
  • the set correction amount is converted into an image subjected to correction processing. Since it is recorded in association with data, for example, the amount of image processing applied when creating a print from corrected image data can be set based on the recorded threshold value. It is possible to create a print whose degree is as intended by the photographer.
  • the backlight is caused by the difference between the brightness of the skin color area and the brightness of the background area. It is possible to quantify the likelihood (degree) of the scene close to the flash in a continuous and appropriate manner, and it is possible to increase the accuracy of determining the shooting conditions.
  • the backlight is caused by the difference between the brightness of the center of the screen and the brightness of the surrounding area. It is possible to continuously and appropriately quantify the likelihood of a scene close to a strobe and an underscene, and to increase the accuracy of shooting condition determination.
  • the index representing the exposure condition is calculated based on the deviation amount indicating the deviation of the gradation distribution of the input image data, the intermediate brightness and other ( It is possible to continuously and appropriately quantify the likelihood (extent) of backlight scenes and stove-proximal scenes due to the uneven distribution of brightness against shadows (highlights). It becomes possible to make it higher.
  • the deviation amount the deviation amount of the brightness of the input image data, the average value of the brightness at the center of the screen of the input image data, and different conditions. Since at least one of the calculated brightness differences is included, the under and oversceneness (degrees) caused by the bias in the distribution of shadow, medium and highlight brightness are continuously and appropriately determined. It becomes possible to quantify, and it is possible to increase the accuracy of the imaging condition discrimination.
  • FIG. 1 is a block diagram showing a main functional configuration of an imaging apparatus to which an image processing apparatus according to the present invention is applied.
  • FIG. 2 is a block diagram showing the internal configuration of the image processing unit.
  • FIG. 3 is a flowchart showing a flow of correction level setting processing executed by an imaging apparatus to which the image processing apparatus according to the present invention is applied.
  • FIG. 4 is a display example of a threshold setting screen of the imaging apparatus according to the present embodiment.
  • FIG. 5 is a flowchart showing a flow of photographing processing executed by a printing apparatus to which the image processing apparatus according to the present invention is applied.
  • FIG. 6 is a flowchart showing a flow of imaging condition determination processing executed in FIG.
  • FIG. 7 is a diagram showing regions nl to n4 determined according to the distance from the outer edge of the image of the image data.
  • FIG. 8 is a diagram showing a curve representing a first coefficient for multiplying the first occupancy for calculating index 1;
  • FIG. 9 is a diagram showing a curve representing a second coefficient for multiplying the first occupancy for calculating index 2;
  • FIG. 10 is a diagram showing, for each region (nl to n4), a curve representing a third coefficient for multiplying the second occupancy rate for calculating the index 3.
  • FIG. 11 is a flowchart showing a flow of correction processing executed in FIG. 5.
  • FIG. 12 is a diagram showing a gradation conversion curve corresponding to the gradation adjustment method selected in FIG. 13] Diagrams describing the deletion of low- and high-brightness areas from the luminance frequency distribution (histogram) (a), normalized histogram (b), and block-divided histogram ((c) and (d)) and diagrams ((e) and (f)) for explaining the limitation of the luminance frequency.
  • FIG. 14 is a diagram showing a relationship between an index and a correction value ⁇ of a parameter (reproduction target value, skin color average luminance value, etc.) used in the gradation adjustment amount calculation process.
  • FIG. 15 is a diagram showing a gradation conversion curve representing gradation processing conditions when the photographing condition is backlight or under.
  • FIG. 16 is a flowchart showing a flow of imaging processing according to another embodiment executed by the imaging device to which the image processing device according to the present invention is applied.
  • FIG. 17 is a screen display example of the index and the determined photographing condition in the processing of FIG. Explanation of symbols [0052] 1 Imaging device
  • FIG. 1 is a block diagram showing a functional configuration of a digital camera which is an embodiment of an imaging apparatus to which the image processing apparatus according to the present invention is applied.
  • the digital camera 1 includes a lens 2, an aperture 3, an image sensor 4, a control unit 5, an analog processing circuit 6, Temporary storage memory 7, storage device 8, image sensor drive circuit 9, image processing unit 10, A / D converter 11, operation unit 12, display unit 13, strobe drive circuit 14, strobe 15, focal length adjustment circuit 16 And an autofocus driving circuit 17, a motor 18, and the like.
  • the optical system of the digital camera 1 includes a lens 2, a diaphragm 3, and an image sensor 4.
  • the lens 2 adjusts the focus and forms an optical image of the subject.
  • Aperture 3 adjusts the amount of light beam that has passed through lens 2.
  • the image sensor 4 photoelectrically converts the subject light imaged on the light receiving surface by the lens 2 into an electrical signal (imaging signal) of an amount corresponding to the amount of incident light for each sensor in the image sensor 4. .
  • the image pickup device 4 is controlled in a timingless manner outputted from the image pickup device driving circuit 9 and sequentially outputs this image pickup signal to the analog processing circuit 6.
  • the image sensor 4 may be any device such as a two-dimensional CCD type image sensor, a C-MOS type image sensor, a CID type image sensor, etc., but in the following embodiment, a primary color filter is used.
  • the interline CCD image sensor used will be described as an example.
  • the control unit 5 includes a CPU (Central Processing Unit) and the like, and is a storage device.
  • CPU Central Processing Unit
  • the control program for digital camera 1 stored in 8 is read, and the entire digital camera 1 is controlled according to the read program.
  • the control unit 5 includes an automatic focus driving circuit 17 that controls the motor 18 that adjusts the focal length and focus (focus) of the lens 2 in accordance with an operation signal from the operation unit 12, and a focal length.
  • the adjustment circuit 16, image sensor drive circuit 9, analog processing circuit 6, temporary storage memory 7, image processing unit 10, operation unit 12, display unit 13, and strobe drive circuit 14 are controlled to perform shooting.
  • control unit 5 divides an image into a plurality of blocks, for example, and adjusts the aperture diameter of the diaphragm 3 and the charge accumulation time by the image sensor 4 based on the representative luminance value of each block, so-called automatic exposure control. I do.
  • the analog processing circuit 6 performs R, G, B signal amplification, noise reduction processing, and the like on the image signal input from the image sensor 4.
  • the temporary storage memory 7 is a buffer memory or the like, and the digital output from the A / D converter 11 Temporarily store image data.
  • the storage device 8 functioning as a recording means is configured by a nonvolatile semiconductor memory or the like, and an information recording medium such as a memory card for recording photographed digital image data, and a control program for the digital camera 1 And a readable memory in which is stored.
  • the information recording medium may be, for example, a compact flash (registered trademark), a memory stick, a smart medium, a multimedia card, a hard disk, a floppy (registered trademark) disk, a magnetic information recording medium (MO), or a CD-R. It may be.
  • the writing unit is connected in a wired state via a cord, or is independent or remotely connected in a wireless state via communication or the Internet. Any form such as an installed unit may be used.
  • the image processing device and the image recording device directly from the imaging device “reproduction auxiliary data when performing imaging device characteristic correction processing” and “required It may be a mode that has a function that can read out “data”.
  • the file format when recording to media is preferably recorded in a standardized general-purpose file format such as TIFF or JPEG, which is not a format specific to the imaging device.
  • the image sensor drive circuit 9 outputs a timing pulse based on the control signal output from the control unit 5 and controls the drive of the image sensor 4.
  • the image processing unit 10 has image quality such as gradation correction of digital image data used for display on the display unit 13, crosstalk correction of spectral sensitivity, dark current noise suppression, sharpening, white balance adjustment, and saturation adjustment.
  • image quality such as gradation correction of digital image data used for display on the display unit 13, crosstalk correction of spectral sensitivity, dark current noise suppression, sharpening, white balance adjustment, and saturation adjustment.
  • processing such as image size change, trimming, aspect conversion, and correction based on the determination of shooting conditions related to the present invention is performed.
  • the image processing content can be switched via the control unit 5 in response to an operation signal from the operation unit 12.
  • the AZD converter 11 converts the imaging signal input from the analog processing circuit 6 into digital image data and outputs the digital image data.
  • the operation unit 12 includes a release button (not shown), a power ON / OFF button, and a zoom button.
  • Various function buttons such as buttons and cursor keys are provided, and operation signals corresponding to the buttons and keys are output to the control unit 5 as input signals.
  • the display unit 13 that functions as a display unit displays digital image data in accordance with a control signal from the control unit 5, and also provides information for the user of the digital camera 1 to confirm settings and conditions related to shooting. indicate.
  • the strobe driving circuit 14 drives and controls the strobe 15 to emit light when the subject brightness is low by a control signal from the control unit 5.
  • the strobe 15 boosts the battery voltage to a predetermined high voltage and stores it as a charge in a capacitor.
  • the xenon tube is caused to emit light by the electric charge stored in the capacitor, and the subject is irradiated with auxiliary light.
  • the focal length adjustment circuit 16 controls the motor 18 for adjusting the focal length by moving the lens 2 in accordance with a control signal from the control unit 5.
  • the automatic focus driving circuit 17 controls the motor 20 for adjusting the focus (focus) by moving the lens 2 in accordance with a control signal from the control unit 5.
  • the image processing unit 10, the control unit 5, and the operation unit 12 function in cooperation with each other as an image processing apparatus according to the present invention.
  • the control unit 5 and the operation unit 12 function as threshold setting means and correction amount setting means in cooperation.
  • FIG. 2 is a block diagram showing an internal configuration of the image processing unit 10 of the digital camera 1 shown in FIG.
  • the image processing unit 10 includes an image processing control unit 100, an input unit 101, an input / output processing unit 102, an imaging condition determination unit 103, a correction processing unit 104, a storage unit 105, and an output unit 106.
  • the image processing control unit 100 controls the operation of each unit of the image processing unit 10 and functions as an image processing control unit.
  • the input unit 101 functioning as an input unit receives image data output from the temporary storage memory 7 and the storage device 8 and various control data output from the overall control unit 5.
  • the input / output processing unit 102 decompresses the compression code and converts the color data expression method as necessary according to the data format of the image data input from the input unit 101. Are converted into a data format suitable for computation in the image processing unit 10.
  • the input / output processing unit 102 performs processing such as calibration processing, change of the number of pixels, color matching, and the like on the image data processed by each unit in the image processing unit 10 according to the output destination. In response to this, it converts to various general-purpose image formats represented by JPEG, TIFF, etc., and outputs the processed image data to the output unit 106. Further, if necessary, information stored in the storage unit 105 (for example, a determination result of the imaging condition determination unit 103) is added as tag data to the header portion of the image data, or image data and Create an associated metafile.
  • processing such as calibration processing, change of the number of pixels, color matching, and the like on the image data processed by each unit in the image processing unit 10 according to the output destination. In response to this, it converts to various general-purpose image formats represented by JPEG, TIFF, etc., and outputs the processed image data to the output unit 106. Further, if necessary, information stored in the storage unit 105 (for example, a determination result of the imaging condition determination
  • the imaging condition determination unit 103 includes an occupancy ratio calculation unit 1031 and an index calculation unit 1032, and sets imaging conditions (hereinafter also referred to as imaging scenes) based on the image data converted by the input / output processing unit 102. It functions as a photographing condition discriminating means for discriminating.
  • the occupancy rate calculation unit 1031 is a class divided by a combination of parameters related to image data such as brightness, hue, and distance from the outer edge of an image reproduced with image data (hereinafter also simply referred to as an image). It functions as an occupancy ratio calculating means for calculating an occupancy ratio indicating the ratio of the cumulative number of pixels to the total number of pixels (the entire image data).
  • the index calculation unit 1032 functions as index calculation means for calculating, for example, the following index 1 to 6 for specifying a shooting scene. A specific method for calculating the indices 1 to 6 will be described in detail in the operation description of the present embodiment described later.
  • (Indicator 1) An index indicating characteristics at the time of flash photography, such as indoor photographing degree, close-up photographing degree, and high facial color brightness.
  • (Indicator 2) An indicator that combines the characteristics of backlit shooting, such as outdoor shooting, sky blue high brightness, and low facial color, and separates images that should be identified as “backlighting” from other shooting scenes. It is for.
  • Indicators 4 and 5 are indicators for discriminating each shooting scene of forward light, backlight, and strobe proximity
  • the correction processing unit 104 that functions as a correction processing unit includes a correction processing selection unit 1041, a correction processing amount adjustment unit 1042, and a correction processing execution unit 1043, and the shooting scene determined by the shooting condition determination unit 103. A correction process corresponding to is performed on the image data.
  • the correction processing selection unit 1041 selects a correction processing method according to the shooting scene determined by the shooting condition determination unit 103 from, for example, predetermined correction processes stored in advance in the storage unit 105.
  • the shooting scene (light source condition and exposure condition) of the image data is determined and determined.
  • the gradation adjustment method for the preset image data is determined in accordance with the photographed scene.
  • the correction processing amount adjustment unit 1042 calculates (determines), for example, a gradation adjustment amount for image data based on the values of the index 4, the index 5, and the index 6 calculated by the index calculation unit 1032. Specifically, an offset value and a gamma value are set in accordance with the gradation adjustment method determined by the correction processing selection unit 1041.
  • the correction processing execution unit 1043 performs image processing on the image data based on the correction processing amount selected by the correction processing selection unit 1041 and adjusted by the correction processing adjustment unit 1042.
  • the storage unit 105 stores parameters, tables, and the like necessary for processing executed by each unit of the image processing unit 10. Specifically, a table for associating threshold values of various indexes calculated by the index calculation unit 1032 with the shooting scenes for determining the shooting scene by the shooting condition determination unit 103, and the shooting determined by the shooting condition determination unit 103 A correspondence table of scene and index values and the gradation adjustment method selected by the correction processing selection unit 1041 is stored.
  • the output unit 106 outputs the image data and various control data processed by each unit of the image processing unit 10 to each unit connected to the image processing unit 10.
  • each unit illustrated in FIG. 2 is a section provided to assist understanding of the function of the image processing unit 10, and does not necessarily need to be realized as a physically independent device. It is realized as a classification of the type of software processing by the CPU.
  • the correction level is set, and based on the set correction level, the shooting condition is determined and corrected during shooting. Is.
  • FIG. 3 is a flowchart showing the flow of the correction level setting process executed by the digital camera 1 shown in FIG.
  • the main switch of the digital camera 1 is turned on, and the correction level setting mode is set by performing a predetermined operation on the operation unit 12.
  • a correction level is selected.
  • the selection of the correction level is based on the “light source correction mode” in which the power related to the type of light source is corrected as if it was taken with a standard light source, and the effect of the light source is reflected in the image. Soon, it is selected by performing a predetermined operation on the operation unit 12 from two types of “natural mode” that corrects the image to the photographer's intention.
  • step S12 it is determined whether or not the correction level selected in step S11 is the “light source correction mode”. If it is “light source correction mode” (step S12; YES), the process of step S13 is executed. If it is “natural mode” (step S12; NO), the process of step S15 is executed.
  • a threshold is set for the photographing condition determining unit 103 of the image processing unit 10 to determine the photographing condition in the "light source correction mode" (threshold setting step).
  • the threshold is set for the index calculated by the index calculation unit 1032 of the image processing unit 10, for example, for the index 4, the index 5, and the index 6.
  • a threshold value is set for discriminating the shooting scene from “backlight” or “front light” and other shooting scenes.
  • Indicator 5 Is set to a threshold value for discriminating the photographing scene as one of “backlight”, “front light”, and “between front light and back light”.
  • a threshold is set for determining whether the shooting scene is “strobe close”, “under” or “strobe close to under”.
  • a threshold setting screen is displayed on the monitor 131 so that the photographing scene area frame divided by the set threshold can be seen at a glance.
  • the set threshold value is stored in the storage unit 106 of the image processing unit 10.
  • step S 14 the correction processing amount in the “light source correction mode” is set (correction processing amount setting step).
  • the correction processing amount is set for each shooting scene.
  • the correction processing amount is selected from three levels of “high”, “normal”, and “low”, and is stored in the storage unit 106 of the image processing unit 10 for each shooting scene. Is remembered.
  • the stored setting is executed by the correction processing amount adjustment unit 1042.
  • a threshold is set for the shooting condition determination unit 103 of the image processing unit 10 to determine the shooting condition in the “natural mode” (threshold setting step).
  • the threshold value to be set is the same as the threshold value set in step S 13 and is stored in the storage unit 106 of the image processing unit 10 and a screen is displayed on the monitor 131.
  • step S16 the correction processing amount in the “natural mode” is set (correction processing amount setting step).
  • the set correction processing amount is the same as in step S14, and is stored in the storage unit 106 of the image processing unit 10.
  • the correction level is set by selecting either one of two types of mode force.
  • the threshold and correction may be selected from three or more modes. Let's be able to adjust the amount of processing arbitrarily.
  • Fig. 4 is a display example of the threshold setting screen displayed on the monitor 131 in step S13 and step S15 in Fig. 3, and Fig. 4 (a) shows the threshold when ⁇ light source correction mode '' is selected in step SI 1.
  • FIG. 4 (b) shows the setting screen when the “natural mode” is selected in step S11.
  • the threshold setting screen 30 is composed of a first screen 31 and a second screen 32.
  • the first screen 31 is a screen for setting a threshold value for discriminating the shooting scene as “backlight” or “forward light”.
  • the first screen 31 is a screen for setting the threshold values of the index 4 and the index 5. is there.
  • the second screen 32 is a screen for setting a threshold value for discriminating the shooting scene as “strobe close” or “under”, and specifically, a screen for setting the threshold value of the index 6.
  • the display on the first screen 31 and the display on the second screen 32 are displayed in conjunction with each other.
  • the first screen 31 in FIG. 4 (a) displays the coordinate axis 312 of the index 4 and the coordinate axis 311 of the index 5, and the threshold line 313 of the index 4 is on the coordinate axis 311 and the backlight threshold of the index 5 Line 314 is displayed on the coordinate axis 312.
  • the backlight area frame 3 16 surrounded by the threshold line 313 of the index 4 and the backlight threshold line 314 of the index 5 is a combination area of the index 4 and the index 5 in which the imaging condition is determined to be “backlight”. If the area of the frame 316 is large, the number of images that are identified as “backlight” is relatively increased, and if the area of the backlight region frame 316 is decreased, the number of images that are determined as “backlight” is relatively decreased. To do. Similar to the backlight region frame 316, the backlight region frame 317 surrounded by the threshold line 313 of the index 4 and the threshold light threshold line 315 of the index 5 is an index in which the imaging condition is determined to be “forward light”. 4 and index 5 combination area, and the area surrounded by the threshold line 313 of index 4, the backlight threshold line 314 of index 5 and the threshold threshold line 315 of index 5 is the area frame 318 between the backlight and backlight .
  • the coordinate axis 321 of the index 4 and the coordinate axis 322 of the index 6 are displayed, and the strobe proximity threshold line 323 of the index 6 and the underline of the index 6 are displayed on the coordinate axis 322.
  • Threshold line 324 is displayed.
  • the strobe proximity area frame 325 is a combination area of the index 4 and the index 6 in which the shooting condition is determined as “strobe proximity”. If the area of the strobe proximity area frame 325 is increased, the shooting condition is determined as “strobe proximity”. The number of images increases relatively.
  • An area below the under threshold line 324 of the index 6 in the figure, that is, an area where the index 6 is smaller than the under threshold is an under area frame 326.
  • the area of the under region frame 326 is increased, the number of images for which the shooting condition is determined to be “under” is relatively increased.
  • the area surrounded by the strobe proximity threshold line 323 of the index 6, the under threshold line 324 of the index 6 and the threshold line 313 of the index 4 is displayed on the second screen 32 as the strobe proximity “under” area frame 327.
  • the over region frame 328 is a combination region of the index 4 and the index 6 in which the shooting condition is determined to be “over”.
  • the area of the over region frame 328 is increased, the number of images in which the shooting condition is determined to be “over” is increased. Increase relatively.
  • the backlight region frame 316 is a region surrounded by the backlight threshold line 313a of the index 4 and the backlight threshold line 314 of the index 5, and the backlight region frame 317 is ,index The area is surrounded by the 4 following light threshold line 313b and the 5 following light threshold line 315. That is, in the “natural mode”, the threshold value for determining the shooting scene as “front light” and the threshold value for determining “backlight” are set in the index 4 as well.
  • the strobe proximity area frame 325 is on the right side of the area surrounded by the strobe proximity threshold line 323 of index 6 and the forward light threshold line 313b of index 4 and is underlined.
  • the area frame 326 is on the right side of the area surrounded by the under threshold line 324 of the index 6 and the forward light threshold line 313b of the index 4.
  • the over region frame 328 is on the left side of the region surrounded by the strobe proximity threshold line 323 of the index 6 and the follow light threshold line 313b of the index 4.
  • FIG. 5 is a flowchart showing a flow of photographing processing executed by the digital camera 1 shown in FIG. In the flowchart shown in FIG. 5, it is assumed that the main switch of the digital camera 1 is turned on and set to the photographing mode.
  • step S21 imaging by the image sensor 4 is started, and live view display is performed on the monitor 131.
  • step S22 it is determined whether release switch 121 has been half-pressed, and the process waits in step S22 until release switch 121 is half-pressed.
  • step S22 the process waits in step S22 until release switch 121 is half-pressed.
  • step S23 the process of step S23 is executed.
  • step S23 the control unit 5 performs autofocus control (AF) and exposure amount control (AE).
  • step S24 it is determined whether or not the release switch 121 is turned on. Steps S22 to S24 are repeated until the release switch 121 is turned on. When the release switch 121 is turned on (step S24; YES), the process of step S25 is executed.
  • AF autofocus control
  • AE exposure amount control
  • step S25 photographing is performed by the image sensor 4, and in step S26, the image data photographed in step S25 is temporarily stored in the temporary storage memory 7 (input process).
  • step S27 an index is calculated based on the image data stored in the temporary storage memory 7 in step S26 (index calculation process), and the shooting condition determination is performed based on the calculated index. Performed (shooting condition determination step).
  • step S28 correction processing corresponding to the photographing condition determined in step S27 is performed on the image data (correction processing step).
  • step S29 the image captured on the monitor 131 is displayed (after-view display).
  • step S30 the image data corrected in step S28 is recorded in the storage device 8 (recording step).
  • the shooting condition determined in step S27 and the threshold for determining the shooting condition set in the correction level setting process described in FIG. 3 are also recorded in association with the image data.
  • step S31 the after-view display on the monitor 131 is turned off, and in step S32, the live view display is performed again on the monitor 131, and shooting corresponding to one image (one frame) is completed.
  • step S33 it is determined whether or not the main switch is turned off.
  • turning off the main switch includes the case where it is turned off by the auto power off function that automatically turns off the power when no operation is performed for a specified time. If the main switch is not turned off (step S33; NO), the process of step S34 is executed. If the main switch is turned off (step S33; YES), the live view on the monitor 131 is turned off (step S35), and the shooting process is performed. Exit.
  • step S34 it is determined whether or not the shooting mode has been completed, that is, whether or not the operation mode has been changed from the shooting mode to another mode. If not changed (step S34; NO), the process returns to step S21 and repeats the above sequence. If the operation mode has been changed (step S34; YES), the live view on the monitor 131 is turned off (step S35), and the control shifts to the changed mode.
  • FIG. 6 is a flowchart showing the flow of the shooting condition determination process executed by the shooting condition determination unit 103 of FIG.
  • the occupancy rate is calculated in steps S101 to S105
  • the index is calculated in steps S106 to S110
  • the shooting conditions are determined in steps S111 to S124. Done.
  • step S101 the occupancy calculating unit 1031 in FIG. 2 performs RGB (Red, Green, Blue) values are converted to the HSV color system.
  • RGB Red, Green, Blue
  • the HSV color system means that image data is represented by three elements of hue (Hue), saturation (Saturation), and brightness (Value or Brightness), and was proposed by Munsell. It was devised based on the color system.
  • “brightness” means “brightness” that is generally used unless otherwise noted.
  • the power of using V (0 to 255) of the HSV color system as “brightness” may be a unit system that represents the brightness of any other color system. At that time, it goes without saying that numerical values such as various coefficients described in this embodiment are recalculated.
  • the image data in the present embodiment is assumed to be image data having a person as a main subject.
  • step S102 the image data converted into the HSV color system in step S101 by the occupancy calculating unit 1031 is a combination of a predetermined brightness range and a hue range for each predetermined area, for example, for each pixel.
  • a first two-dimensional histogram is created by calculating the cumulative number of pixels for each classified class (first histogram creation step).
  • Lightness (V) ⁇ Lightness Value S0 ⁇ 25 (vl), 26 ⁇ 50 (v2), 51 ⁇ 84 (v3), 85 ⁇ : 169 (v4), 170 ⁇ 199 (v5), 200 It is classified into 7 classes of ⁇ 224 (v6) and 225 ⁇ 255 (v7).
  • Hue (H) Hue value 0 to 39, 330 to 359 skin tone hue class (HI and H2), Hue value force S40 to: Green hue class (H3) of 160, Blue hue of hue value 161 to 250 It is classified into four classes: class (H4) and red hue class (H5).
  • the flesh color phase is further divided into a flesh color class (HI) and another class (H2).
  • H flesh color class
  • H2 another class
  • the hue '(H) that satisfies the following formula (1) is defined as the skin color class (HI), and the formula (1) is not satisfied.
  • the class is (H2).
  • Hue '(H) Hue (H) + 60 (when 0 ⁇ Hue (H) ⁇ 300),
  • Hue, (H) Hue (H) _300 (when 300 ⁇ Hue (H) 360 360),
  • Luminance (Y) InRX0.30 + InGXO.59 + InBXO.11 (A)
  • step S103 the occupancy calculating unit 1031 calculates the ratio of the calculated cumulative frequency to the total frequency (the entire image) for each class classified in the first two-dimensional histogram created in step S102.
  • the first occupancy shown is calculated (first occupancy calculation step).
  • Table 3 shows the first occupancy in each class, where Ri j is the first occupancy calculated in the class consisting of the combination of lightness class vi and hue class Hj.
  • step S104 the image data converted into the HSV color system in step S101 by the occupancy calculating unit 1031 has a distance and brightness from the outer edge of the image screen for each predetermined area, for example, for each pixel.
  • a second two-dimensional histogram is created by classifying the classes into combinations and calculating the cumulative number of pixels for each classified class (second histogram creation process).
  • the distance from the outer edge of the image is, for example, as shown in FIGS. 7 (a) to (d), according to the distance from the outer edge of one image represented by the image data, four regions nl to Classified as n4.
  • Region nl shown in FIG. 7 (a) is an outer frame
  • region n2 shown in FIG. 7 (b) is an inner region of the outer frame
  • the inner region, the region n4 shown in FIG. 7 (d) is the central region of the image.
  • step S105 the occupancy calculating unit 1031 calculates all the cumulative frequencies calculated for each class classified in the second two-dimensional histogram created in step S104.
  • a second occupancy ratio indicating the ratio in the frequency (the entire image) is calculated (second occupancy ratio calculating step). If the second occupancy calculated in the class consisting of the combination of brightness class vi and screen area nj is Qij, the second occupancy in each class is shown in Table 4.
  • step S106 the first coefficient preset by the index calculation unit 1032 for each class in step S103 according to the shooting scene (for example, by discriminant analysis).
  • the index 1 for specifying the shooting scene is calculated by multiplying and summing (index 1 calculation step).
  • the shooting scene refers to light source conditions such as direct light, backlight, and strobe proximity, and exposure conditions such as under shooting.
  • Index 1 indicates the characteristics of close-up flash photography, such as indoor photography, close-up photography, and facial color high brightness, and is used to separate image data that should be identified as ⁇ strobe proximity '' from other shooting scenes. Is.
  • Table 5 shows an example of the first coefficient by class.
  • the coefficient of each class shown in Table 5 is a weighting coefficient that is multiplied by the first occupancy ratio Rij of each class shown in Table 3, and is preset according to the shooting conditions.
  • the first coefficient in the flesh tone class (HI) and the first coefficient in the other classes are continuous over the entire brightness.
  • Figure 8 shows the curve (coefficient curve) that changes with time.
  • the sign of the first coefficient in the flesh color class (HI) is positive (+)
  • the other classes For example, the sign of the first coefficient in the green hue class (H3) is set to be negative (one).
  • H1 class sum RllX (-44.0) + R21X (-16.0) + (omitted) ... + R71X (-11.3) (2-1)
  • H2 class sum R12X0.0 + R22X8.6 + (omitted) ... + R72X (-11.1) (2-2)
  • Sum of H3 class R13X0.0 + R23X (-6.3) + (omitted) ... + R73X (_10.0) (2-3)
  • H4 class Sum R14X0.0 + R24X (-1.8) + (Omitted) ... + R74X (-14.6) (2-4)
  • Index 1 is expressed by the formulas (2— :!) to (2—4) Using the sum of the H1 to H4 classes, it is defined as in equation (3).
  • Indicator 1 Sum of H1 class + Sum of H2 class + Sum of H3 class + Sum of H4 class + 4.424 (3)
  • the index calculation unit 1032 causes each floor in step S106.
  • the shooting ratio is specified by multiplying the first occupancy calculated for each class by the second coefficient set in advance according to the shooting scene (for example, by discriminant analysis) and taking the sum.
  • Indicator 2 is calculated for this purpose.
  • Indicator 2 is a composite indication of backlight shooting characteristics such as outdoor shooting level, sky blue high brightness, and facial color low brightness, and is used to separate images that should be identified as ⁇ backlighting '' from other shooting scenes. Is.
  • Table 6 shows an example of the second coefficient by class.
  • the coefficient of each class shown in Table 6 is a weighting coefficient that is multiplied by the first occupancy ratio Rij of each class shown in Table 3. Is set.
  • the second coefficient in the flesh color hue class (HI) is shown in Fig. 9 as a curve (coefficient curve) that continuously changes over the entire brightness.
  • the sign of the second coefficient of skin color hue class, intermediate lightness class v4 is negative (one), and the second coefficient of low lightness (shadow) class v2, v3
  • the sign of is positive (+), and the sign of the coefficient in both classes is set differently.
  • H2 class sum R11X (_27.0) + R21X4.5 + (omitted) ... + R71X (_24.0) (4-1)
  • H2 class sum R12X0.0 + R22X4.7 + (omitted) ... + R72X (-8.5) (4-2)
  • Sum of H3 class R13X0.0 + R23X0.0 + (omitted) ... + R73X0.0 (4-3)
  • Sum of H4 class R14X0.0 + R24X (-5.1) + (Omitted) ... + R74X7.2 (4-4)
  • Index 2 is defined as equation (5) using the sum of H1 to H4 classes shown in equations (4_ :!) to (4_4).
  • Indicator 2 Sum of H1 class + Sum of H2 class + Sum of H3 class + Sum of H4 class + 1.554 (5)
  • the index 1 and the index 2 are calculated based on the brightness of the image data and the distribution amount of the hue. Therefore, it is effective for discriminating a shooting scene when the image data is a color image.
  • step S 108 the index calculation unit 1032 sets the second occupancy calculated for each class in step S 105 in advance according to the shooting scene (eg, discrimination). Calculate index 3 to identify the shooting scene by multiplying by the third coefficient set (by analysis) and taking the sum. Indicator 3 indicates the difference in the contrast between the center and outside of the image data screen between “backlight” and “close to strobe”, and the image to be identified as “backlight” or “close to strobe”. Only quantitatively.
  • Table 7 shows an example of the third coefficient by class.
  • the coefficient of each class shown in Table 7 is a weighting coefficient that is multiplied by the second occupation ratio Qij of each class shown in Table 4, and is set in advance according to the shooting conditions.
  • the third coefficients in the screen areas nl to n4 are shown in Fig. 10 as curves (coefficient curves) that change continuously over the entire brightness.
  • the third coefficient has a different value depending on the distance from the outer edge of the image data screen.
  • Index 3 Sum of nl class + Sum of n2 class + Sum of n3 class + Sum one of n4 class 12.6201 (7)
  • Index 3 is a compositional feature based on lightness distribution position of image data (in image data Therefore, it is effective for discriminating not only the color image but also the shooting scene of the monochromatic image.
  • step S109 the index calculation unit 1032 sets the average luminance value of the skin color in the center of the screen of the image data in advance (for example, by discriminant analysis) according to the shooting scene.
  • the index 6 for specifying the shooting scene is calculated by multiplying the fourth coefficient to obtain the sum (index 6 calculation step).
  • Indicator 6 is distribution information in the luminance histogram that simply indicates the difference between the contrast between the center of the image and the outside in the shooting scene "Over” and the shooting scene “Under”. This is a quantitative indication of only images that should be identified as “over”, “close to strobe” or “under”.
  • a deviation amount indicating a deviation in gradation distribution of the input image data is calculated, and is calculated based on the calculated deviation amount.
  • Examples of the deviation amount include a difference value between the maximum luminance value and the average luminance value of the image data (brightness difference value calculated under different conditions), and a luminance standard deviation (brightness deviation of the image data).
  • Average brightness value in the center of the screen (average brightness of the image data in the center of the screen), comparison value between the difference between the maximum skin color brightness value and the minimum skin color brightness value, and the skin color average brightness value, etc. Raised.
  • Each of these deviation amounts is multiplied by a fourth coefficient preset in accordance with the shooting scene to obtain a sum, thereby calculating an index 6 for specifying the shooting scene. It goes without saying that the fourth coefficient is changed depending on the variable used.
  • the luminance Y (brightness) of each pixel is calculated from the RGB (Red, Green, Blue) value of the image data using the formula (A) used in step SI 02, and the standard deviation of the luminance is calculated. (xl) is calculated.
  • the standard deviation (xl) of luminance is expressed as shown in Equation (8).
  • the pixel luminance value is the luminance of each pixel of the image data
  • the average luminance value is the average value of the luminance of the image data.
  • the total number of pixels is the number of pixels in the entire image data.
  • the maximum luminance value is the maximum luminance value of the image data.
  • the average luminance value (x3) of the skin color area in the center of the screen of the image data is calculated, and further, the average luminance value (x4) in the center of the screen is calculated.
  • the center of the screen is, for example, a region composed of a region n3 and a region n4 in FIG.
  • the skin color luminance distribution value (x5) is calculated.
  • the maximum brightness value of the skin color area of the image data is Yskin_max
  • the minimum brightness value of the skin color area is Yskin_min
  • the average brightness value of the skin color area is Yskin_ave
  • x5 (Yskin ⁇ max— Yskin ⁇ mm) / 2 — Yskm ⁇ ave, 10)
  • the index 6 is calculated by multiplying each of the deviation amounts xl to x5 calculated above by a fourth coefficient set in advance according to the photographing condition and taking the sum.
  • the index 6 is expressed as shown in Equation (1 1). Note that the weighting coefficient multiplied by each value of the deviation amounts xl to x5 is set in advance according to the photographing condition.
  • Indicator 6 xl X 0.02 + x2 X I.13 + x3 X 0.06 + x4 X (-0.01) + x5 X 0.03— 6.49
  • This index 6 is a luminance histogram distribution that consists of only the compositional features of the image data screen. It has information and is particularly useful for distinguishing between flash photography and under photography.
  • the index calculation unit 1042 calculates the average brightness value of the skin color at the center of the image, the difference value between the maximum brightness value and the average brightness value of the image, the brightness standard deviation, and the center of the screen.
  • the average brightness value, the difference value between the skin color maximum brightness value and the skin color minimum brightness value, and the comparison value of the skin color average brightness value are used.
  • the brightness value is an index representing brightness. Yes, other brightness indicators (for example, the brightness value of the HSV color system) may be used.
  • the maximum luminance value, the flesh color maximum luminance value, and the flesh color minimum luminance value are the luminance values of pixels in which the cumulative number of pixels from the maximum luminance value and the minimum luminance value has reached a predetermined ratio with respect to all pixels. Good.
  • step S110 the index calculation unit 1042 calculates the index 4 and the index 5.
  • the index 4 is obtained by multiplying the index 1 calculated in step S106 and the index 3 calculated in step S108 by a coefficient set in advance (for example, by discriminant analysis) according to the shooting scene. It is calculated by taking The skin tone average brightness value x6 in index 1, index 3 and the center of the screen (for example, the area composed of area n2, area n3, and area n4 in FIG. 6) is set in advance according to the shooting scene. Indicator 4 may be calculated by multiplying the set coefficient to obtain the sum.
  • the index 5 is calculated by multiplying the index 2 calculated in step S107 and the index 3 calculated in step S108 by a coefficient set in advance according to the shooting scene. .
  • the index 5 may be calculated by multiplying the index 2, the index 3 and the x6 by a coefficient set in advance according to the shooting scene, and taking the sum.
  • index 4 is defined as in equation (12) using index 1
  • index 3 is defined as in equation (13) using index 2, index 3, and x6. Defined.
  • Indicator 4 0.46 X Indicator 1 + 0.61 Indicator 3 + 0.01 6 _0.79 (12)
  • step S111 the threshold values LA to L set in the correction level setting process shown in FIG. LA is read from the storage unit 105.
  • the mode selected in step S11 in Figure 3 is selected from the storage unit 105.
  • Table 8 shows examples of thresholds LA to LA set by
  • thresholds LA to LA are various light source conditions and exposure conditions.
  • step S112 the imaging condition determination unit 103 determines whether or not the index 4 calculated in step S110 is larger than the threshold LA set in step S111. Indicator 4 is
  • step S113 If greater than LA (step S112; YES), the process of step S113 is executed and the index
  • step S118 When 4 is LA or less (step S112; NO), the process of step S118 is executed.
  • step S113 it is determined whether or not the index 6 calculated in step S109 is larger than the threshold LA set in step S111, that is, the shooting scene is determined as “close to strobe” with high accuracy.
  • index 6 is greater than LA (step S113; YES)
  • Step S114 is executed and index 6 is below LA (step S113; N ⁇ )
  • step S115 The process of step S115 is executed.
  • step S 114 it is determined that the shooting scene is “proximity strobe proximity” with high accuracy, and the process ends.
  • step S115 it is determined whether or not the index 6 calculated in step S109 is less than or equal to the threshold LA set in step S111, that is, whether the shooting scene is “under” with high accuracy.
  • step S116 When the process of step S116 is executed and index 6 is greater than LA (step S115; NO),
  • step S117 is executed. Is done.
  • step SI 16 it is determined that the shooting scene is “under” with high accuracy, and in step S 117, it is determined that the shooting scene is “low strobe proximity“ under ””, and the processing ends.
  • step S118 it is determined whether or not the index 5 calculated in step S110 is greater than the threshold LA set in step SI11, that is, whether or not the photographic scene can be determined as “backlight” with high accuracy. If index 5 is greater than LA (step S118; YES), the process of step S119 is executed, and if index 5 is LA or less (step S118; NO), step S1
  • step S 119 it is determined that the shooting scene is “backlight” with high accuracy, and the process ends.
  • step S120 whether or not the index 5 calculated in step S110 is less than or equal to the threshold LA set in step S111, that is, the shooting scene can be determined as “following light” or “over” with high accuracy. It is determined whether or not. If indicator 5 is below LA (step S120;
  • step S121 if the process of step S121 is executed and index 5 is greater than LA (step S12
  • step S124 is executed.
  • step S121 it is determined whether or not the index 6 calculated in step S109 is larger than the threshold LA set in step S111, that is, whether or not the shooting scene can be determined to be “over”. If index 6 is greater than LA (step S121; YES), the shooting scene force S is determined to be “over” (step S122), and if index 6 is LA or less (step S121).
  • step S123 “forward light” is determined, and the process of step S123 is executed.
  • step S123 it is determined that the shooting scene has a high accuracy "forward light”, and in step S124, the shooting scene is determined to have a low accuracy "between front light and backlight", and the process ends.
  • steps S111 to S121 enables quantitative determination of the light source condition based on the values of index 4 and index 5, and quantitative determination of the exposure condition based on the values of index 4 and index 6. can do.
  • threshold value of index 4 other low accuracy such as a low accuracy region between backlight and strobe proximity is used. Although there is a degree region, it is omitted in this embodiment.
  • FIG. 11 is a flowchart showing the flow of correction processing executed by the correction processing unit 104 in FIG.
  • step S201 the correction processing selection unit 1041 determines a preset correction processing method according to the shooting scene determined in step S27 of FIG.
  • the gradation adjustment processing for image data will be described as an example.
  • step S201a When the shooting scene is "normal light”, “over”, or “strobe proximity”, a method for correcting translation (offset) as shown in FIG. 12 (a) is applied (step S201a).
  • FIG. 12 is a diagram showing a gradation conversion curve corresponding to each gradation adjustment method.
  • the horizontal axis represents the value of the image data input, and the vertical axis represents the value of the image data output. It is indicated by 8 bits from 0 to 255.
  • Fig. 12 (a), Fig. 12 (b), and Fig. 12 (c) indicates that the value of the input image data is not corrected.
  • the relationship between the value of input image data and the value of output image data is shown.
  • a gamma correction method as shown in FIG. 12B is applied (step S201b).
  • the gamma correction and offset correction methods are applied as shown in FIG. 12 (c) (step S201c).
  • the adjusted The positive processing amount is an offset value and a gamma value.
  • step S202 the correction processing amount adjustment unit 1042 calculates parameters (tone adjustment parameters) necessary for gradation adjustment based on the various indexes calculated in step S27 of FIG.
  • parameters tone adjustment parameters
  • a method for calculating the gradation adjustment parameter calculated in step S202 will be described. In the following, it is assumed that 8-bit image data is converted to 16-bit in advance, and the unit of the image data value is 16-bit.
  • step S202 for example, the following parameters P1 to P5 are calculated as tone adjustment parameters.
  • the parameter P1 (average luminance of the entire shooting screen) is an average value of the luminance of the entire image data, and can be calculated from, for example, the first histogram created in step S102 of FIG.
  • the parameter P2 (block division average luminance) is calculated by the following procedure, for example.
  • a CDF cumulative density function
  • the maximum value and the minimum value are determined from the obtained CDF.
  • the maximum and minimum values are obtained for each RGB.
  • the obtained maximum and minimum values for each RGB are Rmax, Rmin, Gmax, Gmm, Bmax, and Bmin, respectively.
  • Rx normalization data in the R plane is Rpoint
  • Gx normalization data in the G plane is Gpoint
  • Bx normalization data in the B plane is Bpoint
  • Rpoint ⁇ (Rx-Rmin) / (Rmax-Rmin) ⁇ X 65535 (14)
  • Gpoint ⁇ (Gx-Gmin) / (Gmax-Gmin) ⁇ X 65535 (15)
  • Npoint (Bpoint + Gpoint + Rpoint) / 3 (17)
  • Fig. 13 (a) shows the frequency distribution (histogram) of luminance of RGB pixels before normalization.
  • the horizontal axis represents luminance
  • the vertical axis represents pixel frequency. This histogram is created for each RGB. Once the luminance histogram is created, normalization is performed for each plane on the image data using equations (14) to (: 16).
  • Fig. 13 (b) shows a histogram of the brightness calculated by equation (17). Since the image data is normalized by 65535, each pixel takes an arbitrary value between the maximum value of 65535 and the minimum value of 0.
  • FIG. 13 A frequency distribution as shown in (c) is obtained.
  • the horizontal axis is the block number (luminance) and the vertical axis is the frequency.
  • an area having a frequency greater than a predetermined threshold is deleted from the luminance histogram. This is because if there is a part with an extremely high frequency, the data in this part has a strong influence on the average brightness of the entire image, so that erroneous correction is likely to occur. Therefore, as shown in FIG. 13 (e), the number of pixels equal to or greater than the threshold is limited in the luminance histogram.
  • Fig. 13 (f) shows the luminance histogram after the pixel number limiting process.
  • Each block number of the luminance histogram (Fig. 13 (f)) obtained by deleting the high luminance region and the low luminance region from the normalized luminance histogram and further limiting the cumulative number of pixels,
  • the parameter P2 is the average luminance value calculated based on each frequency.
  • Parameter P3 luminance correction value 1 is a parameter that is calculated for convenience. Is the value obtained by subtracting the parameter P2 from the parameter PI. For example, it is used as a value to correct the average luminance value in scenes with uneven luminance.
  • Parameter P4 (reproduction target correction value) is a parameter used for offset correction, and is a value obtained by subtracting parameter P3 from a predetermined luminance reproduction target value (30360 for 16-bit image data). It is.
  • Parameter P5 (brightness correction value 2) is a parameter calculated for convenience, and a constant (eg, 17500 for 16-bit image data) is obtained by normalizing index 4 with the maximum value 6 of index 4. Multiplyed value.
  • the likelihood of strobe (strobe degree) is determined by index 4, so the reproduction target correction value can be further corrected according to the value of index 4, and more accurate correction is performed. Will be able to.
  • step S203 the correction processing amount adjustment unit 1052 determines the correction processing amount for each correction processing method selected in step S201.
  • step S201 When offset correction is selected in step S201 (step S203a), the amount of correction processing is determined as follows.
  • offset value P1-P2 (step S203b).
  • step S201 When gamma correction is selected in step S201 (step S203d), the correction processing amount is determined by the following procedure.
  • the correction target value correction value ⁇ of the target parameter (skin color average brightness, etc.) in the correction processing according to the present embodiment ⁇ minimum value ⁇ min and the maximum value ⁇ max are determined (step S203e).
  • the minimum value ⁇ min of the correction value ⁇ is a correction value corresponding to the minimum value Imin of the corresponding index
  • the maximum value ⁇ max of the correction value ⁇ is the maximum value Imax of the corresponding index. This is a correction value corresponding to.
  • the difference ( ⁇ max ⁇ min) between the maximum value ⁇ max and the minimum value ⁇ min is preferably at least an 8-bit value of 35.
  • index 5 or index 6 calculated in step S109 or step S110 in Fig. 6 is normalized in the range of 0 to 1 (step S203f). Determined in step S27 in Fig. 5. If the captured scene is “backlit”, index 5 is normalized, and if it is “under”, index 6 is normalized. Assuming that the index is I, the normalized index is expressed by the following equation (18). Note that the minimum value Imin and the maximum value Imax of the index depend on the mode set in step S11 in FIG. 3 and the shooting scene determined in step S27 in FIG. Is set in advance.
  • the correction value ⁇ mod of the reproduction target value corresponding to the value (I) of the index 5 or index 6 is Calculated (step S203g).
  • the correction value ⁇ mod of the reproduction target value is expressed as the following equation (19).
  • the corrected reproduction target value is calculated from the reproduction target value and its correction value ⁇ mod as shown in the equation (20) (step S203h).
  • the gradation adjustment amount P6 is calculated from the difference between the luminance average value (skin color average luminance value) of the skin color area (HI) of the image data and the corrected reproduction target value (step S21). S203i).
  • the reproduction target value of the flesh color average luminance is set to 30360 (16 bit), and the flesh color average luminance value is set to 21500 (16 bit). Also, reverse the determined shooting conditions.
  • the value of index 5 calculated by the index calculation process is 2.7.
  • the normalization index, the correction value A mod, the correction reproduction target value, and the gradation adjustment amount P6 are as follows.
  • a key correction value Q is calculated from the gradation adjustment amount P6 as in the following equation (22), and a gamma value corresponding to the key correction value Q is determined as a correction processing amount (step S203j).
  • Figure 15 shows a specific example of the gradation conversion curve in Fig. 12 (b).
  • Table 10 shows the correspondence between the key correction value Q, the gradation conversion curve selected in Fig. 15, and the gamma value.
  • step S201 When offset correction and gamma correction are selected in step S201 (step S203k), the correction processing amount is determined by the following procedure.
  • step S2031 normalization is performed in the range of the values SO to 1 of the index 5 or the index 6 calculated in step S109 or step S110 in FIG. 6 (step S2031). For example, if the shooting scene identified in step S27 in FIG. 5 is “between front light and back light”, index 5 is “between strobe proximity and under”. ", The index 6 is converted into a normalized index normalized in the range of 0 to 1.
  • the normalization index is defined as in equation (23).
  • Normalized index (Standard index Minimum index value) / (Maximum index value Minimum index value) (23)
  • the maximum index value and the minimum index value are the indexes that are normalized. In this embodiment, the maximum index value is 1.5 and the minimum index value is ⁇ 0.5 for both index 5 and index 6.
  • an offset value is calculated (step S203m).
  • the offset value is calculated by using the normalization index of Expression (23) and the correction amount / / 3 calculated in advance using the reproduction target value of the target parameter (skin color average brightness, etc.) in the correction processing according to this embodiment. It is expressed as shown in equation (24).
  • Offset value (j3- ⁇ ) X normalization index + a (24)
  • the correlation between the normalization index and the correction amount is a linear relationship, but it may be a curve relationship in which the correction amount shifts more gradually.
  • the key correction value Q is calculated in the same manner as the processing executed in steps S203e to S203j, and the gamma value is determined as the correction processing amount (step S203n).
  • step S204 the correction processing amount adjustment unit 1042 adjusts the correction processing amount determined in step S203.
  • the correction processing amount set in the correction level setting processing of FIG. 3 is read from the storage unit 105, and the read correction processing amount is determined by the offset value and gamma determined in step S203. This is done by multiplying the value.
  • step S205 the image data is corrected and corrected by the correction processing execution unit 1043 using the correction method to which the correction processing amount selected in step S201 and determined in step S203 or step S204 is applied.
  • Image data was output with thresholds LA to LA
  • the indexes 4, 5, and 6 are calculated based on the image data, and the calculated indexes are compared to the threshold value set in the correction level setting process.
  • ⁇ Backlight '', ⁇ Front light 'between backlight'', ⁇ Strobe proximity'', ⁇ Under'', ⁇ Strobe proximity' under '' and ⁇ Over '' are determined, and based on the determined shooting conditions, Input image data Therefore, the brightness of the skin color area of the input image data is corrected (corrected) according to the index that represents the shooting conditions of the input image data.
  • the threshold for determining the shooting condition can be set, the presence or absence of the correction and the degree thereof can be made as intended by the photographer.
  • the shooting conditions of the input image data are determined based on an index that quantitatively represents the shooting conditions, and the brightness of the skin color area is corrected based on the determination results, so that the corresponding to the determination results. Appropriate gradation conversion processing can be performed.
  • FIG. 16 is a flowchart showing a flow of imaging processing according to another embodiment executed by the digital camera 1 shown in FIG.
  • the main switch of the digital camera 1 is turned on and set to the shooting mode. The same processes as those in the flowchart shown in FIG.
  • pre-shooting is performed every time one frame is shot, and an index is calculated based on the pre-shot image data, and the calculated index is used.
  • the shooting conditions are determined, the calculated index and the determined shooting conditions are displayed on the monitor 131, and the correction level setting can be changed for each frame.
  • step S22 When release switch 121 is pressed halfway (step S22; YES), autofocus control (AF) and exposure control (AE) are performed in the same way as the shooting process shown in Fig. 6 (step S2). 3).
  • step S41 pre-photographing is performed by the image sensor 4, and image data is temporarily stored in the temporary storage memory 7 (input process).
  • step S42 the photographing condition of the image data stored in the temporary storage memory 7 in step S41 is determined (imaging condition determining step).
  • the shooting conditions are determined in the same manner as shown in FIG.
  • step S43 the index 4 calculated in the shooting condition discrimination process in step S42,
  • the values 5 and 6 and the determined shooting conditions are displayed on the monitor 131 (index display process, shooting condition display process).
  • the index values and shooting conditions displayed on the monitor 131 are displayed on the index display screen 40 as shown in FIG.
  • the index display screen 40 is obtained by displaying the calculated index on the position corresponding to the calculated index on the threshold value setting screen 30 shown in FIG. 4, and is the same as described in FIG. Constituent elements are denoted by the same reference numerals.
  • the index display screen 40 is displayed so that the shooting conditions can also be determined based on the positional relationship between the displayed area frame of each shooting condition and the displayed index 41.
  • step S44 the correction level is set based on the index value and the shooting conditions displayed in step S43.
  • the correction level is set in the same way as described with reference to FIG.
  • step S44 After the processing of step S44 is executed, the processing after step S24 described in Fig. 6 is performed.
  • the index display screen 40 is displayed on the monitor 131 every time one frame is shot, and the force is set in the form of setting the correction level.
  • the index display screen 40 is displayed together with a warning display in the case of a predetermined shooting condition (for example, “under”, “over”, “close to strobe”, or “backlight”). It is also possible to display the index display screen 40 under the shooting conditions. In this case, the photographer can take an image without the trouble of displaying the index display screen 40 under any shooting conditions.
  • the index is calculated based on the pre-captured image data
  • the shooting condition is determined based on the calculated index
  • the calculated index and the determined shooting condition are determined.
  • the image processing device such as a liquid crystal display device or a plasma display device, a printer, a multifunction peripheral, or an ID photo It can also be applied to an image forming apparatus such as a human photographing apparatus and an information recording apparatus such as an image storage apparatus for storing image data.
  • the object of the present invention is to supply a recording medium on which a software program for realizing the functions of the above-described embodiments is recorded to a system or apparatus, and the computer (CPU or MPU) of the system or apparatus records it. Needless to say, this can also be achieved by reading and executing the program stored on the medium.
  • the program itself read from the recording medium realizes the functions of the above-described embodiments, and the program and the recording medium storing the program constitute the present invention.
  • Recording media for supplying the program include, for example, floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, magnetic tape, nonvolatile memory card, ROM Etc. can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

本発明は、撮影者の意図どおりに撮影画像データの肌色領域の明るさを連続的且つ適正に補正（修正）する画像処理方法及び画像処理装置を提供する。 入力された画像データに基づいて算出された撮影条件を表す指標及び設定された撮影条件の判別に係る閾値に基づいて画像データの撮影条件を判別し、判別された撮影条件に基づいて、入力された画像データに対して補正処理を施す。

Description

明 細 書
画像処理方法、画像処理装置、画像処理プログラム及び撮像装置 技術分野
[0001] 本発明は、画像処理方法、画像処理装置、画像処理プログラム及び撮像装置に関 する。
背景技術
[0002] 従来、フィルムスキャン画像やデジタルカメラ画像の輝度補正は、画像全体の平均 輝度をユーザが希望する値へと補正することで行われてレ、た。また通常の撮影では 、順光、逆光、ストロボ等の光源条件が様々に変動し、画像中に輝度の偏りの大きい 大面積の領域が生じるため、平均輝度の補正に加えて、判別分析、重回帰分析によ り算出される値を用いた追加補正が必要であった。しかしながら、判別回帰分析方法 では、ストロボシーン及び逆光シーンから算出されるパラメータが非常に類似してい るため、撮影条件 (撮影シーン)の判別が困難であるという問題があった。
[0003] 上記の課題に対して、判別回帰分析方法に代わる追加補正値の算出方法が開示 されている（例えば、特許文献 1参照）。特許文献 1に記載の方法は、輝度の累積画 素数 (頻度数)を示す輝度ヒストグラムから、高輝度領域と抵輝度領域を削除し、さら に、頻度数を制限したものを用いて、輝度の平均値を算出し、この平均値と基準輝度 との差分を補正値として求めるものである。
[0004] また、顔領域の抽出精度を補償するために、撮影時の光源状態の判別を行う方法 が提案されている（例えば、特許文献 2参照）。特許文献 2に記載の方法は、まず、顔 候補領域を抽出し、抽出した顔候補領域の平均輝度の画像全体に対する偏りを算 出し、偏倚量が大きい場合、撮影条件 (逆光撮影力、ストロボ近接撮影か)の判別を行 レ、、顔領域としての判断基準の許容幅を調整する。特許文献 2には、顔候補領域の 抽出方法として、特開平 6— 67320号公報に記載の、色相と彩度の 2次元ヒストグラ ムを用いる方法、特開平 8— 122944号公報、特開平 8— 184925号公報及び特開 平 9— 138471号公報に記載のパターンマッチング、パターン検索方法などが引用 されている。 [0005] また、特許文献 2には、顔以外の背景領域除去方法としては、特開平 8— 122944 号公報及び特開平 8— 184925号公報に記載の、直線部分の比率、線対象性、画 面外縁との接触率、濃度コントラスト、濃度変化のパターンや周期性を用いて判別す る方法が引用されている。撮影条件の判別には、濃度の 1次元ヒストグラムを用いる 方法が記載されている。この方法は、逆光の場合は顔領域が暗く背景領域が明るい 、ストロボ近接撮影の場合は顔領域が明るく背景領域が暗いという経験則に基づい ている。
特許文献 1 :特開 2002— 247393号公報
特許文献 2：特開 2000— 148980号公報
発明の開示
発明が解決しょうとする課題
[0006] しかしながら、特許文献 1及び特許文献 2に記載の方法は、典型的な逆光やスト口 ボ近接撮影に当てはまるか否かに基づいて、肌色領域 (顔領域）の平均輝度値とし ての採用可否を判断しているため、典型的な撮影シーンとそうでない撮影シーンとの 境界における濃度の不連続性が生じたり、撮影シーンを誤判別したりすることによつ て、撮影画像データの肌色領域の明るさが適切に補正されない可能性があった。
[0007] また、撮影者は、意図的に人物を暗くする逆光、人物を白飛びさせるストロボ近接、 或いは画像全体を暗くするアンダーといった撮影条件に設定することがあり、撮影者 の意図どおりの補正が行われない場合があった。
[0008] 本発明は、上記の課題に鑑みて、撮影者の意図どおりに撮影画像データの肌色領 域の明るさを連続的且つ適正に補正 (修正）する画像処理方法及び画像処理装置を 提供することを目的とする。
課題を解決するための手段
[0009] 本発明の目的は、下記の手段により達成することができる。
[0010] 1.被写体を撮像することにより生成された画像データを入力する入力工程と、撮影 条件の判別に係る閾値を設定する閾値設定工程と、入力された画像データの撮影 条件を表す指標を算出する指標算出工程と、算出された指標及び設定された閾値 に基づレ、て画像データの撮影条件を判別する撮影条件判別工程と、判別された撮 影条件に基づレ、て、入力された画像データに対して補正処理を施す補正処理工程 とを含むことを特徴とする画像処理方法。
[0011] 2.前記撮影条件判別工程において判別される撮影条件は、逆光、ストロボ近接、 アンダー及びオーバーから選ばれる少なくとも 1つであり、前記閾値設定工程は、撮 影条件が逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも 1つを判 別するための閾値を設定することを特徴とする 1に記載の画像処理方法。
[0012] 3.設定された閾値を、補正処理が施された画像データと対応付けて記録する記録 工程を含むことを特徴とする 1又は 2に記載の画像処理方法。
[0013] 4.撮影条件毎に補正量を設定する補正量設定工程を含み、前記補正処理工程 は、判別された撮影条件及び設定された補正量に基づいて、入力された画像データ に対して補正処理を施すことを特徴とする 1乃至 3の何れか 1つに記載の画像処理方 法。
[0014] 5.被写体を撮像することにより生成された画像データを入力する入力工程と、撮影 条件毎に補正量を設定する補正量設定工程と、入力された画像データの撮影条件 を表す指標を算出する指標算出工程と、算出された指標に基づいて画像データの 撮影条件を判別する撮影条件判別工程と、判別された撮影条件及び設定された補 正量に基づいて、入力された画像データに対し補正処理を施す補正処理工程とを 含むことを特徴とする画像処理方法。
[0015] 6.前記撮影条件判別工程において判別される撮影条件は、逆光、ストロボ近接、 アンダー及びオーバーから選ばれる少なくとも 1つであり、前記補正量設定工程は、 撮影条件が逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも 1つ の撮影条件における補正量を設定することを特徴とする 5に記載の画像処理方法。
[0016] 7.設定された補正量を、補正処理が施された画像データと対応付けて記録する記 録工程を含むことを特徴とする 5又は 6に記載の画像処理方法。
[0017] 8.前記指標算出工程で算出された指標を表示する指標表示工程を含むことを特 徴とする 1乃至 7の何れ力 4つに記載の画像処理方法。
[0018] 9.前記撮影条件判別工程で判別された撮影条件を表示する撮影条件表示工程 を含むことを特徴とする 1乃至 8の何れ力 4つに記載の画像処理方法。 [0019] 10.前記指標算出工程は、入力された画像データを所定領域毎に、所定の明度と 色相とで分割された複数の階級に分類したときの、当該分類された階級に属する画 像データが画像データ全体に占める割合を示す第 1の占有率を算出し、算出された 第 1の占有率に基づいて光源条件を表す指標を算出することを特徴とする 1乃至 9の 何れか 1つに記載の画像処理方法。
[0020] 11.前記指標算出工程は、入力された画像データを所定領域毎に、当該画像デ ータで表される画像の外縁からの距離と明度の組み合わせからなる所定の階級に分 類し、当該分類された階級に属する画像データが画像データ全体に占める割合を示 す第 2の占有率を算出し、算出された第 2の占有率に基づいて光源条件を表す指標 を算出することを特徴とする 1乃至 10の何れ力 4つに記載の画像処理方法。
[0021] 12.前記指標算出工程は、入力された画像データの階調分布の偏りを示す偏倚 量を算出し、算出された偏倚量に基づいて露出条件を表す指標を算出することを特 徴とする 1乃至 11の何れか 1つに記載の画像処理方法。
[0022] 13.前記指標算出工程は、偏倚量として、入力された画像データの明るさの偏差 量、入力された画像データの画面中央部における明るさの平均値、異なる条件で算 出された明るさの差分値のうちの少なくとも 1つを含むことを特徴とする 12に記載の 画像処理方法。
[0023] 14.被写体を撮像することにより生成された画像データを入力する入力手段と、撮 影条件の判別に係る閾値を設定する閾値設定手段と、前記入力手段で入力された 画像データの撮影条件を表す指標を算出する指標算出手段と、前記指標算出手段 で算出された指標及び前記閾値設定手段で設定された閾値に基づいて画像データ の撮影条件を判別する撮影条件判別手段と、前記撮影条件判別手段で判別された 撮影条件に基づいて、前記入力手段で入力された画像データに対して補正処理を 施す補正処理手段とを有することを特徴とする画像処理装置。
[0024] 15.前記撮影条件判別手段において判別される撮影条件は、逆光、ストロボ近接 、アンダー及びオーバーから選ばれる少なくとも 1つであり、前記閾値設定手段は、 撮影条件が逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも 1つを 判別するための閾値を設定することを特徴とする 14に記載の画像処理装置。 [0025] 16.前記閾値設定手段で設定された閾値を、前記補正処理手段で補正処理が施 された画像データと対応付けて記録する記録手段を有することを特徴とする 14又は 15に記載の画像処理装置。
[0026] 17.撮影条件毎に補正量を設定する補正量設定手段を有し、前記補正処理手段 は、前記撮影条件判別手段で判別された撮影条件及び前記補正量設定手段で設 定された補正量に基づいて、前記入力手段で入力された画像データに対して補正 処理を施すことを特徴とする 14乃至 16の何れか 1つに記載の画像処理装置。
[0027] 18.被写体を撮像することにより生成された画像データを入力する入力手段と、撮 影条件毎に補正量を設定する補正量設定手段と、前記入力手段で入力された画像 データの撮影条件を表す指標を算出する指標算出手段と、前記指標算出手段で算 出された指標に基づいて画像データの撮影条件を判別する撮影条件判別手段と、 前記撮影条件判別手段で判別された撮影条件及び前記補正量設定手段で設定さ れた補正量に基づいて、前記入力手段で入力された画像データに対して補正処理 を施す補正処理手段とを有することを特徴とする画像処理装置。
[0028] 19.前記撮影条件判別手段において判別される撮影条件は、逆光、ストロボ近接 、アンダー及びオーバーから選ばれる少なくとも 1つであり、前記補正量設定手段は 、撮影条件が逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも 1つ の撮影条件における補正量を設定することを特徴とする 18に記載の画像処理装置。
[0029] 20.前記補正量設定手段で設定された補正量を、前記補正処理手段で補正処理 が施された画像データと対応付けて記録する記録手段を有することを特徴とする 18 又は 19に記載の画像処理装置。
[0030] 21.表示手段を有し、前記指標算出手段で算出された指標を表示する表示手段を 有することを特徴とする 14乃至 20の何れか 1つに記載の画像処理装置である。
[0031] 22.前記撮影条件判別手段で判別された撮影条件を表示する表示手段を有する ことを特徴とする 14乃至 21の何れか 1つに記載の画像処理装置である。
[0032] 23.前記指標算出手段は、前記入力手段で入力された画像データを所定領域毎 に、所定の明度と色相とで分割された複数の階級に分類したときの、当該分類された 階級に属する画像データが画像データ全体に占める割合を示す第 1の占有率を算 出し、算出された第 1の占有率に基づいて光源条件を表す指標を算出することを特 徴とする 14乃至 22の何れか 1つに記載の画像処理装置である。
[0033] 24.前記指標算出手段は、前記入力手段で入力された画像データを所定領域毎 に、当該画像データで表される画像の外縁からの距離と明度の組み合わせからなる 所定の階級に分類し、当該分類された階級に属する画像データが画像データ全体 に占める割合を示す第 2の占有率を算出し、算出された第 2の占有率に基づいて光 源条件を表す指標を算出することを特徴とする 14乃至 23の何れ力、 1つに記載の画 像処理装置。
[0034] 25.前記指標算出手段は、前記入力手段で入力された画像データの階調分布の 偏りを示す偏倚量を算出し、算出された偏倚量に基づいて露出条件を表す指標を算 出することを特徴とする 14乃至 24の何れか 1つに記載の画像処理装置である。
[0035] 26.前記指標算出手段は、偏倚量として、前記入力手段で入力された画像データ の明るさの偏差量、前記入力手段で入力された画像データの画面中央部における 明るさの平均値、異なる条件で算出された明るさの差分値のうちの少なくとも 1つを含 むことを特徴とする 25に記載の画像処理装置。
[0036] 27. 1乃至 13の何れか 1つに記載の画像処理方法をコンピュータに実行させること を特徴とする画像処理プログラム。
[0037] 28. 14乃至 26の何れか 1つに記載の画像処理装置を備えたことを特徴とする撮像 装置。
発明の効果
[0038] 1又は 14に記載の手段によれば、入力された画像データに基づいて算出された撮 影条件を表す指標及び設定された撮影条件の判別に係る閾値に基づいて画像デ ータの撮影条件を判別し、判別された撮影条件に基づいて、入力された画像データ に対して補正処理を施すので、入力された画像データの撮影条件を表す指標に応 じて、入力された画像データの肌色領域の明るさを補正 (修正）することにより、肌色 領域としての確度検証結果に基づく採用可否判断や、肌色領域の明るさの算出値 に依存しすぎることなぐ被写体の明るさを適切且つ連続的に補正することが可能と なる。しかも、撮影条件の判別に係る閾値が設定できるので、補正の有無やその程 度を撮影者の意図どおりとすることが可能となる。
[0039] また、撮影条件を定量的に表す指標に基づいて入力された画像データの撮影条 件を判別し、判別結果に基づいて肌色領域の明るさを補正することにより、判別結果 に応じた適切な階調変換処理を行うことが可能となる。
[0040] 2又は 15に記載の手段によれば、撮影条件として逆光、ストロボ近接、アンダー及 びオーバーから選ばれる少なくとも 1つを判別するための閾値を設定するので、少な くとも 1つの撮影条件において、補正の有無やその程度を撮影者の意図どおりとする ことが可能となる。
[0041] 3又は 16に記載の手段によれば、設定された閾値を、補正処理が施された画像デ ータと対応付けて記録するので、例えば、補正処理済みの画像データからプリントを 作成する際に適用される画像処理の適用量を、記録された闘値に基づいて設定でき るので、補正の有無やその程度が撮影者の意図どおりであるプリントを作成すること が可能となる。
[0042] 4又は 17に記載の手段によれば、撮影条件毎に補正量を設定するので、判別され た撮影条件において、補正の程度を撮影者の意図どおりとすることが可能となる。
[0043] 5又は 18に記載の手段によれば、入力された画像データに基づいて算出された撮 影条件を表す指標に基づいて画像データの撮影条件を判別し、判別された撮影条 件に基づいて、入力された画像データに対して撮影条件毎に設定された補正量の 補正処理を施すので、入力された画像データの撮影条件を表す指標に応じて、入力 された画像データの肌色領域の明るさを補正 (修正）することにより、肌色領域として の確度検証結果に基づく採用可否判断や、肌色領域の明るさの算出値に依存しす ぎることなぐ被写体の明るさを適切且つ連続的に補正することが可能となる。し力、も 、判別された撮影条件毎に補正量が設定できるので、補正の程度を撮影者の意図ど おりとすることが可能となる。
[0044] 6又は 19に記載の手段によれば、逆光、ストロボ近接、アンダー及びオーバーから 選ばれる少なくとも 1つの撮影条件における補正量を設定するので、補正の程度を 撮影者の意図どおりとすることが可能となる。
[0045] 7又は 20に記載の手段によれば、設定された補正量を、補正処理が施された画像 データと対応付けて記録するので、例えば、補正処理済みの画像データからプリント を作成する際に適用される画像処理の適用量を、記録された闘値に基づいて設定 できるので、補正の有無やその程度が撮影者の意図どおりであるプリントを作成する ことが可能となる。
[0046] 9又は 22に記載の手段によれば、判別された撮影条件を表示するので、撮影者は 自分の意図どおりの補正が行われているか否力、を確認することが可能となる。
[0047] 10又は 23に記載の手段によれば、第 1の占有率に基づいて光源条件を表す指標 を算出するので、肌色領域の明るさと、背景領域の明るさの差異に起因する、逆光シ ーンゃストロボ近接シーンらしさ（程度）を、連続的且つ適正に定量化することが可能 となり、撮影条件判別の精度を高くすることが可能となる。
[0048] 11又は 24に記載の手段によれば、第 2の占有率に基づいて光源条件を表す指標 を算出するので、画面中央の明るさと、周辺領域の明るさの差異に起因する、逆光シ ーンゃストロボ近接シーン、アンダーシーンらしさ（程度）を、連続的且つ適正に定量 化することが可能となり、撮影条件判別の精度を高くすることが可能となる。
[0049] 12又は 25に記載の手段によれば、入力された画像データの階調分布の偏りを示 す偏倚量に基づいて露出条件を表す指標を算出するので、中間の明るさと、その他 (シャドー、ハイライト）の明るさに対する分布の偏りに起因する、逆光シーンやスト口 ボ近接シーンらしさ（程度）を、連続的且つ適正に定量ィヒすることが可能となり、撮影 条件判別の精度を高くすることが可能となる。
[0050] 13又は 26に記載の手段によれば、偏倚量として、入力された画像データの明るさ の偏差量、入力された画像データの画面中央部における明るさの平均値、異なる条 件で算出された明るさの差分値のうちの少なくとも 1つを含むので、シャドー、中間、 ハイライトの明るさに対する分布の偏りに起因する、アンダーやオーバーシーンらしさ (程度）を、連続的且つ適正に定量化することが可能となり、撮影条件判別の精度を 高くすることが可能となる。
図面の簡単な説明
[0051] [図 1]本発明に係る画像処理装置が適用された撮像装置の主要な機能的構成を示 すブロック図である。 園 2]画像処理部の内部構成を示すブロック図である。
[図 3]本発明に係る画像処理装置が適用された撮像装置で実行される補正レベル設 定処理の流れを示すフローチャートである。
[図 4]本実施の形態に係る撮像装置の閾値設定画面の表示例である。
[図 5]本発明に係る画像処理装置が適用されたプリント装置で実行される撮影処理の 流れを示すフローチャートである。
園 6]図 5で実行される撮影条件判別処理の流れを示すフローチャートである。
[図 7]画像データの画像の外縁からの距離に応じて決定される領域 nl〜n4を示す 図である。
[図 8]指標 1を算出するための、第 1の占有率に乗算する第 1の係数を表す曲線を示 す図である。
[図 9]指標 2を算出するための、第 1の占有率に乗算する第 2の係数を表す曲線を示 す図である。
園 10]指標 3を算出するための、第 2の占有率に乗算する第 3の係数を表す曲線を 領域別（nl〜n4)に示す図である。
[図 11]図 5で実行される補正処理の流れを示すフローチャートである。
園 12]図 11で選択される階調調整方法に対応する階調変換曲線を示す図である。 園 13]輝度の度数分布（ヒストグラム）（a)、正規化されたヒストグラム（b)、ブロック分 割されたヒストグラムからの低輝度領域及び高輝度領域の削除を説明する図（（c)及 び (d) )と、輝度の頻度の制限を説明する図（ (e)及び (f ) )である。
園 14]指標と、階調調整量算出処理で使用されるパラメータ (再現目標値、肌色平均 輝度値等）の修正値 Δとの関係を示す図である。
園 15]撮影条件が逆光又はアンダーである場合の階調処理条件を表す階調変換曲 線を示す図である。
[図 16]本発明に係る画像処理装置が適用された撮像装置で実行される他の実施の 形態に係る撮影処理の流れを示すフローチャートである。
園 17]図 16の処理における指標及び判別された撮影条件の画面表示例である。 符号の説明 [0052] 1 撮像装置
2 レンズ
3 絞り
4 撮像素子
5 制御部
6 アナログ処理回路
7 一時記憶メモリ
8 記憶デバイス
9 撮像素子駆動回路
10 画像処理部
100 画像処理制御部
101 入力部
102 入出力処理部
103 撮影条件判別部
104 補正処理部
105 記憶部
106 出力部
11 A/D変換器
12 操作部
13 表示部
14 ストロボ駆動回路
15 ストロボ
発明を実施するための最良の形態
[0053] 以下、画像処理装置が適用された撮像装置の一実施形態としてデジタルカメラを 例に、図面に基づき本発明の実施の形態を説明する。
[0054] 図 1は、本発明に係る画像処理装置が適用された撮像装置の一実施形態であるデ ジタルカメラの機能的構成を示すブロック図である。
[0055] デジタルカメラ 1は、レンズ 2、絞り 3、撮像素子 4、制御部 5、アナログ処理回路 6、 一時記憶メモリ 7、記憶デバイス 8、撮像素子駆動回路 9、画像処理部 10、 A/D変 換器 11、操作部 12、表示部 13、ストロボ駆動回路 14、ストロボ 15、焦点距離調整回 路 16、自動焦点駆動回路 17、モータ 18等を備えて構成されている。
[0056] デジタルカメラ 1の光学系は、レンズ 2、絞り 3、撮像素子 4を備えて構成されている
[0057] レンズ 2は、フォーカスの調節を行レ、、被写体の光画像を結像する。絞り 3は、レン ズ 2を透過した光束の光量を調節する。撮像素子 4は、レンズ 2により受光面上に結 像された被写体光を、撮像素子 4内の各センサ毎に光の入射量に応じた量の電気的 な信号 (撮像信号)へ光電変換する。そして、撮像素子 4は、撮像素子駆動回路 9か ら出力されるタイミングノ^レスに制御されることにより、この撮像信号をアナログ処理 回路 6へ順次出力する。
[0058] なお、撮像素子 4は、 2次元の CCD型イメージセンサ、 C— MOS型イメージセンサ 、 CID型イメージセンサ等の何れのデバイスでもよいが、以下の本実施の形態では 原色系のフィルタが用いられたインターライン型の CCD型イメージセンサを例にとつ て説明する。
[0059] 制御部 5は、 CPU (Central Processing Unit)等により構成され、記憶デバイス
8に記憶されているデジタルカメラ 1の制御プログラムを読み出して、読み出したプロ グラムにしたがってデジタルカメラ 1全体の制御を行う。具体的には、制御部 5は、操 作部 12からの操作信号に応じて、レンズ 2の焦点距離とフォーカス（ピント）を調節す るモータ 18の制御を行う自動焦点駆動回路 17、焦点距離調整回路 16、撮像素子 駆動回路 9、アナログ処理回路 6、一時記憶メモリ 7、画像処理部 10、操作部 12、表 示部 13及びストロボ駆動回路 14の制御を行レ、、撮影を行う。
[0060] また、制御部 5は、例えば画像を複数のブロックに分割し、各ブロックの代表輝度値 に基づいて絞り 3の開口径や撮像素子 4による電荷蓄積時間を調整する、いわゆる 自動露出制御を行う。
[0061] アナログ処理回路 6は、撮像素子 4から入力された撮像信号に対して、 R、 G、 B信 号の増幅やノイズの低減処理等を行う。
[0062] 一時記憶メモリ 7は、バッファメモリ等であり、 A/D変換器 11から出力されたデジタ ル画像データを一時格納する。
[0063] 記録手段として機能する記憶デバイス 8は、不揮発性の半導体メモリ等により構成 されており、撮影されたデジタル画像データを記録するメモリカード等の情報記録媒 体と、デジタルカメラ 1の制御プログラムが記憶された読み出し可能なメモリとにより構 成されている。
[0064] 情報記録媒体は、例えばコンパクトフラッシュ（登録商標）、メモリースティック、スマ 一トメディア、マルチメディアカード、ハードディスク、フロッピー（登録商標）ディスク、 磁気情報記録媒体 (MO)、或いは CD— Rなど何れであってもよい。また、情報記録 媒体に書き込むユニットは、撮影装置と一体であっても、コードを介して有線状態で 接続された書き込みユニット、通信やインターネットを介して無線状態で接続された 独立、或いは遠隔地に設置されたユニットなどの何れの形態であってもよい。さらに、 撮像装置と情報記録媒体への書き込みユニットが接続状態にあるとき、画像処理装 置や画像記録装置が撮像装置から直接「撮像装置特性補正処理を施す際の再現 補助データ」及び「必要なデータ」を読み出すことのできる機能を併せ持つ態様であ つてもよレ、。「メディアに記録する」ときのファイル形式は、撮像装置固有の形式では なぐ TIFF, JPEGなどの規格化された汎用のファイル形式で記録されるのが好まし レ、。
[0065] 撮像素子駆動回路 9は、制御部 5から出力される制御信号をもとにタイミングパルス を出力し、撮像素子 4の駆動制御を行う。
[0066] 画像処理部 10は、表示部 13での表示に用いるデジタル画像データの階調補正、 分光感度のクロストーク補正、暗電流ノイズ抑制、鮮鋭化、ホワイトバランス調整、彩 度調整等の画質向上処理の他、画像サイズの変更、トリミング、アスペクト変換、本発 明に係る撮影条件の判別に基づく補正等の処理を行う。この画像処理部 10におけ る処理は、操作部 12からの操作信号に応じ制御部 5を介して画像処理内容を切り替 えられるようになつている。
[0067] AZD変換器 11は、アナログ処理回路 6から入力された撮像信号をデジタル画像 データに変換して出力する。
[0068] 操作部 12には、図示しないレリーズボタン、電源の ONZOFFボタン、ズームボタ ン等の各種機能ボタン、カーソルキー等が設けられ、各ボタンやキーに対応する操 作信号を入力信号として制御部 5に出力する。
[0069] 表示手段として機能する表示部 13は、制御部 5からの制御信号により、デジタル画 像データを表示するとともに、デジタルカメラ 1の使用者が撮影に関する設定や条件 を確認するための情報を表示する。
[0070] ストロボ駆動回路 14は、制御部 5からの制御信号により、被写体輝度が低いときに ストロボ 15を駆動制御して発光させる。
[0071] ストロボ 15は、電池電圧を所定の高電圧に昇圧させ、電荷としてコンデンサに蓄え る。そして、ストロボ駆動回路 14により駆動されることにより、コンデンサに蓄えられた 電荷によりキセノン管を発光して、被写体に対して補助光を照射する。
[0072] 焦点距離調整回路 16は、制御部 5からの制御信号により、レンズ 2を移動させて焦 点距離を調整するためのモータ 18の制御を行う。
[0073] 自動焦点駆動回路 17は、制御部 5からの制御信号により、レンズ 2を移動させてフ オーカス（ピント）を調整するためのモータ 20の制御を行う。
[0074] なお、図 1に示したデジタルカメラ 1において、画像処理部 10、制御部 5及び操作 部 12は協働して本発明に係る画像処理装置として機能しているものである。すなわ ち、制御部 5と操作部 12は協働して閾値設定手段及び補正量設定手段として機能 するものである。
[0075] 本発明に図 1に示したデジタルカメラ 1の画像処理部 10について、図 2を用いて説 明する。図 2は、図 1に示したデジタルカメラ 1の画像処理部 10の内部構成を示すブ ロック図である。
[0076] 画像処理部 10は、画像処理制御部 100、入力部 101、入出力処理部 102、撮影 条件判別部 103、補正処理部 104、記憶部 105及び出力部 106により構成される。
[0077] 画像処理制御部 100は、画像処理部 10の各部の動作を制御し、画像処理制御手 段として機能する。
[0078] 入力手段として機能する入力部 101へは、一時記憶メモリ 7や記憶デバイス 8から 出力された画像データや、全体制御部 5から出力された各種制御データが入力され る。 [0079] 入出力処理部 102は、入力部 101から入力された画像データに対し、その画像デ ータのデータ書式にしたがって、必要に応じて圧縮符号の復元、色データの表現方 法の変換等の処理を施し、画像処理部 10内の演算に適したデータ形式に変換する
[0080] また、入出力処理部 102は、画像処理部 10内の各部で処理された画像データに 対して、その出力先に応じて校正処理、画素数変更、カラーマッチング等の処理や、 必要に応じて JPEG、 TIFF等に代表される各種の汎用画像フォーマットへの変換を 施し、処理済みの画像データを出力部 106に出力する。また、必要に応じて記憶部 1 05に記憶された情報 (例えば、撮影条件判別部 103の判別結果等）を画像データの ヘッダ部にタグデータとして付加したり、該情報に基づいて画像データと対応付けら れたメタファイルを作成する。
[0081] 撮影条件判別部 103は、占有率演算部 1031、指標算出部 1032により構成され、 入出力処理部 102で変換された画像データに基づいて撮影条件 (以下、撮影シー ンともいう）を判別する撮影条件判別手段として機能する。
[0082] 占有率演算部 1031は、例えば明度、色相、画像データで再現される画像（以下、 単に画像ともいう）の外縁からの距離等の画像データに係わるパラメータの組み合わ せによって分割された階級毎に、累積画素数の全画素数 (画像データ全体）に占め る割合を示す占有率を算出する占有率演算手段として機能する。
[0083] 指標算出部 1032は、撮影シーンを特定するための、例えば、下記に示す指標 1乃 至 6を算出する指標算出手段として機能する。なお、指標 1乃至 6の具体的な算出方 法は、後述の本実施形態の動作説明において詳細に説明する。
[0084] (指標 1)屋内撮影度、近接撮影度、顔色高明度等のストロボ撮影時の特徴を示す 指標。
[0085] (指標 2)屋外撮影度、空色高明度、顔色低明度等の逆光撮影時の特徴を複合的 に示す指標で、「逆光」と判別されるべき画像を他の撮影シーンから分離するための ものである。
[0086] (指標 3)逆光とストロボ近接間における、画像データの画面の中心と外側の明暗関 係の差異を示す指標であり、逆光又はストロボ近接と判別されるべき画像のみを定量 的に示すものである。
[0087] (指標 4、 5)順光、逆光、ストロボ近接の各撮影シーンを判別するための指標である
[0088] (指標 6)ストロボ近接撮影シーンとアンダー撮影シーンにおける、画像データの画 面の中心と外側の明暗関係の差異を示すだけでなぐ輝度ヒストグラムにおける分布 情報を示す指標であり、ストロボ近接撮影シーン又はアンダー撮影シーンと判別され るべき画像のみを定量的に示すものである。
[0089] 補正処理手段として機能する補正処理部 104は、補正処理選択部 1041、補正処 理量調整部 1042、補正処理実行部 1043から構成され、撮影条件判別部 103で判 別された撮影シーンに応じた補正処理を画像データに対して行う。
[0090] 補正処理選択部 1041は、撮影条件判別部 103で判別された撮影シーンに応じた 補正処理方法を例えば記憶部 105に予め記憶されている既定の補正処理の中から 選択する。
[0091] 具体的には、例えば、指標算出部 1032において算出された指標 4、指標 5及び指 標 6の値に基づいて、画像データの撮影シーン (光源条件及び露出条件)を判別し、 判別された撮影シーンに応じて、予め設定されている画像データに対する階調調整 の方法を決定する。
[0092] 補正処理量調整部 1042は、指標算出部 1032において算出された指標 4、指標 5 、指標 6の値に基づいて、例えば画像データに対する階調調整量を算出 (決定)する 。具体的には、補正処理選択部 1041において決定された階調調整方法に対応して 、オフセット値やガンマ値が設定される。
[0093] 補正処理実行部 1043は、補正処理選択部 1041で選択され、補正処理調整部 10 42で調整された補正処理量に基づいて、画像データに対して画像処理を施す。
[0094] 記憶部 105は、画像処理部 10の各部で実行される処理で必要となるパラメータや テーブル等を記憶する。具体的には、撮影条件判別部 103で撮影シーンを判別する ための、指標算出部 1032で算出された各種指標の閾値と撮影シーンとの対応付け テーブル、撮影条件判別部 103で判別された撮影シーンや指標の値と補正処理選 択部 1041で選択される階調調整方法との対応付けテーブル等が記憶される。 [0095] 出力部 106は、画像処理部 10の各部で処理された画像データや各種制御データ を、画像処理部 10と接続している各部へと出力する。
[0096] なお、図 2に示した各部は、画像処理部 10の機能の理解を助けるために設けた区 分であり、必ずしも物理的に独立したデバイスとして実現される必要はなぐ例えば、 単一の CPUによるソフトウェア処理の種類の区分として実現されてもょレ、。
[0097] 次に、本発明に係る画像処理装置における動作の一例を説明する。本発明に係る 画像処理装置が適用された撮像装置においては、補正レベルの設定が行われ、設 定された補正レベルに基づレ、て、撮影時に撮影条件の判別及び補正処理が行われ るものである。
[0098] 補正レベルの設定について図 3を用いて説明する。図 3は、図 1に示したデジタノレ カメラ 1で実行される補正レベル設定処理の流れを示すフローチャートである。なお、 図 3に示したフローチャートにおいては、デジタルカメラ 1のメインスィッチはオンされ た状態であり、操作部 12で所定の操作を行うことにより補正レベル設定モードに設定 されているものとする。
[0099] ステップ S 11では、補正レベルの選択が行われる。本実施の形態においては、補 正レベルの選択は、光源の種類に関係なぐあた力も標準的な光源で撮影されたか のように補正する「光源補正モード」と、光源の影響が画像に反映されやすぐ撮影 者の意図どおりとなるように補正する「自然モード」の 2種類から操作部 12で所定の 操作を行うことにより選択される。
[0100] ステップ S12では、ステップ S11で選択された補正レベルが「光源補正モード」であ るか否かが判断される。 「光源補正モード」である場合 (ステップ S12 ; YES)、ステツ プ S 13の処理が実行され、「自然モード」である場合（ステップ S12 ; NO)、ステップ S 15の処理が実行される。
[0101] ステップ S13では、「光源補正モード」で画像処理部 10の撮影条件判別部 103が 撮影条件を判別するための閾値の設定が行われる（閾値設定工程)。閾値は、画像 処理部 10の指標算出部 1032で算出される指標に対して設定され、例えば、指標 4 、指標 5及び指標 6に対して設定される。指標 4については、撮影シーンを「逆光」又 は「順光」と、それら以外の撮影シーンとを判別するための閾値が設定される。指標 5 については、撮影シーンを「逆光」、「順光」及び「順光'逆光間」の何れかに判別する ための閾値が設定される。指標 6については、撮影シーンを「ストロボ近接」、「アンダ 一」及び「ストロボ近接 'アンダー間」の何れかに判別するための閾値が設定される。 このとき、設定される閾値で区切られる撮影シーン領域枠が一目で分かるように、モ ニタ 131に閾値設定画面が表示される。設定された閾値は、画像処理部 10の記憶 部 106に記憶される。
[0102] ステップ S 14では、「光源補正モード」における補正処理量の設定が行われる（補 正処理量設定工程)。補正処理量の設定は、撮影シーン毎に設定されるようになつ ており、例えば、「高い」「普通」「低い」の 3段階から選択され、画像処理部 10の記憶 部 106に撮影シーン毎に記憶される。記憶された設定は補正処理量調整部 1042で 実行される。
[0103] 「光源補正モード」において設定される補正処理量の一例を下記表 1に示す。
[0104] [表 1]
Figure imgf000019_0001
[0105] ステップ S15では、「自然モード」で画像処理部 10の撮影条件判別部 103が撮影 条件を判別するための閾値の設定が行われる（閾値設定工程)。設定される閾値は ステップ S 13で設定される閾値と同様であり、画像処理部 10の記憶部 106に記憶さ れるとともに、モニタ 131に画面が表示される。
[0106] ステップ S16では、「自然モード」における補正処理量の設定が行われる（補正処 理量設定工程)。設定される補正処理量はステップ S 14と同様であり、画像処理部 1 0の記憶部 106に記憶される。
[0107] 「自然モード」において設定される補正処理量の一例を下記表 2に示す。
[0108] [表 2] 撮影シ―ン 補正《量
逆光 WM
順 * 督
II* ·逆細 低い
ストロボ纏 普
ァンダ—
スト oボ近賽》アンター^
ォ一パー 普通
[0109] なお、図 3に示した処理では、補正レベルの設定は 2種類のモード力 何れか一方 を選択するようにした力 3種類以上のモードから選択するようにしてもよぐ閾値及び 補正処理量を任意に調整できるようにしてもょレ、。
[0110] 図 3のステップ S13及びステップ S15で設定される閾値について、図 4を用いて説 明する。図 4は、図 3のステップ S13及びステップ S15でモニタ 131に表示される閾値 設定画面の表示例であり、図 4 (a)はステップ SI 1で「光源補正モード」が選択された ときの閾値設定画面であり、図 4 (b)はステップ S 11で「自然モード」が選択されたとき の閾値設定画面である。
[0111] 図 4 (a)において、閾値設定画面 30は、第 1画面 31と第 2画面 32とから構成される 。第 1画面 31は、撮影シーンを「逆光」又は「順光」と判別するための閾値を設定する ための画面であり、具体的には指標 4と指標 5の閾値を設定するための画面である。 第 2画面 32は、撮影シーンを「ストロボ近接」又は「アンダー」と判別するための閾値 を設定するための画面であり、具体的には指標 6の閾値を設定するための画面であ る。なお、第 1画面 31の表示と第 2画面 32の表示は、連動して表示される。
[0112] 図 4 (a)の第 1画面 31には、指標 4の座標軸 312と指標 5の座標軸 311とが表示さ れ、指標 4の閾値ライン 313が座標軸 311上に、指標 5の逆光閾値ライン 314が座標 軸 312上に表示される。
[0113] 指標 4の閾値ライン 313及び指標 5の逆光閾値ライン 314で囲まれた逆光領域枠 3 16が、撮影条件が「逆光」と判別される指標 4及び指標 5の組み合わせ領域となり、 逆光領域枠 316の面積が大きいと「逆光」と判別される画像の枚数が相対的に増し、 逆光領域枠 316の面積を小さくすると撮影条件が「逆光」と判別される画像の枚数が 相対的に減少する。 [0114] 逆光領域枠 316と同様に、指標 4の閾値ライン 313及び指標 5の順光閾値ライン 31 5で囲まれた順光領域枠 317が、撮影条件が「順光」と判別される指標 4及び指標 5 の組み合わせ領域であり、指標 4の閾値ライン 313、指標 5の逆光閾値ライン 314及 び指標 5の順光閾値ライン 315で囲まれた領域が順光 ·逆光間領域枠 318である。
[0115] 図 4 (a)の第 2画面 32には、指標 4の座標軸 321と指標 6の座標軸 322とが表示さ れ、座標軸 322上に指標 6のストロボ近接閾値ライン 323及び指標 6のアンダー閾値 ライン 324が表示される。
[0116] 指標 6のストロボ近接閾値ライン 323及び指標 4の閾値ライン 313で囲まれた領域 のうち、図中右側、すなわち指標 4が閾値よりも大きい領域がストロボ近接領域枠 32 5である。ストロボ近接領域枠 325は、撮影条件が「ストロボ近接」と判別される指標 4 及び指標 6の組み合わせ領域となり、ストロボ近接領域枠 325の面積を大きくすると、 撮影条件が「ストロボ近接」と判別される画像の枚数が相対的に増す。
[0117] 指標 6のアンダー閾値ライン 324よりも図中下側にある領域、すなわち指標 6がアン ダー閾値よりも小さい領域がアンダー領域枠 326である。アンダー領域枠 326の面 積を大きくすると、撮影条件が「アンダー」と判別される画像の枚数が相対的に増す。 また、指標 6のストロボ近接閾値ライン 323、指標 6のアンダー閾値ライン 324及び指 標 4の閾値ライン 313で囲まれたはストロボ近接'アンダー間領域枠 327として第 2画 面 32に表示される。
[0118] 指標 6のストロボ近接閾値ライン 323及び指標 4の閾値ライン 313で囲まれた領域 のうち、図中左側、すなわち指標 4が閾値よりも小さい領域がオーバー領域枠 328で ある。オーバー領域枠 328は、撮影条件が「オーバー」と判別される指標 4及び指標 6の組み合わせ領域となり、オーバー領域枠 328の面積を大きくすると、撮影条件が 「オーバー」と判別される画像の枚数が相対的に増す。
[0119] 図 4 (b)の「自然モード」においては、図 4 (a)の「光源補正モード」に比して、逆光領 域枠 316、ストロボ近接領域枠 325、アンダー領域枠 326及びオーバー領域枠 328 の面積を小さなものとしている。
[0120] 図 4 (b)の第 1画面 31において、逆光領域枠 316は、指標 4の逆光閾値ライン 313 a及び指標 5の逆光閾値ライン 314で囲まれた領域となり、順光領域枠 317は、指標 4の順光閾値ライン 313b及び指標 5の順光閾値ライン 315で囲まれた領域となる。 すなわち「自然モード」においては、指標 4にも撮影シーンを「順光」と判別するため の閾値と「逆光」と判別するための閾値とが設定されることになる。
[0121] 図 4 (b)の第 2画面 32において、ストロボ近接領域枠 325は、指標 6のストロボ近接 閾値ライン 323及び指標 4の順光閾値ライン 313bで囲まれた領域のうち右側となり、 アンダー領域枠 326は、指標 6のアンダー閾値ライン 324及び指標 4の順光閾値ライ ン 313bで囲まれた領域のうち右側となる。オーバー領域枠 328は、指標 6のストロボ 近接閾値ライン 323及び指標 4の順光閾値ライン 313bで囲まれた領域のうち左側と なる。
[0122] 本発明に係る画像処理装置が適用された撮像装置の撮影時の動作について図 5 を用いて説明する。図 5は、図 1に示したデジタルカメラ 1で実行される撮影処理の流 れを示すフローチャートである。なお、図 5に示したフローチャートにおいては、デジ タルカメラ 1のメインスィッチはオンされた状態であり、撮影モードに設定されているも のとする。
[0123] ステップ S21では、撮像素子 4による撮像が開始され、モニタ 131上にライブビュー 表示が行われる。
[0124] ステップ S22では、レリーズスィッチ 121が半押しされたかどうかが判断され、レリー ズスィッチ 121が半押しされるまでステップ S22で待機する。レリーズスィッチ 121が 半押しされると（ステップ S22； YES)、ステップ S23の処理が実行される。
[0125] ステップ S23では、制御部 5により、オートフォーカス制御 (AF)と露光量制御 (AE) が行われ、ステップ S24では、レリーズスィッチ 121がオンされたかどうかが判断され る。レリーズスィッチ 121がオンされるまでステップ S22乃至 S24の処理が繰り返され る。レリーズスィッチ 121がオンされると（ステップ S24 ; YES)、ステップ S25の処理が 実行される。
[0126] ステップ S25では、撮像素子 4により撮影が行われ、ステップ S26では、ステップ S2 5で撮影された画像データが一時記憶メモリ 7に一旦蓄えられる（入力工程)。
[0127] ステップ S27では、ステップ S26で一時記憶メモリ 7に蓄えられた画像データに基づ レ、て指標が算出され (指標算出工程)、算出された指標に基づいて撮影条件判別が 行われる (撮影条件判別工程)。
[0128] ステップ S28では、ステップ S27で判別された撮影条件に対応する補正処理が画 像データに対して施される（補正処理工程)。
[0129] ステップ S29では、モニタ 131上に撮影された画像の表示（アフタービュー表示）が 行われ、ステップ S30では、ステップ S28で補正された画像データが記憶デバイス 8 に記録される（記録工程)。このとき、ステップ S27で判別された撮影条件や図 3で説 明した補正レベル設定処理で設定された撮影条件判別のための閾値も、画像デー タと対応付けて記録される。
[0130] ステップ S31では、モニタ 131上のアフタービュー表示が消灯されて、ステップ S32 では、モニタ 131上に再度ライブビュー表示が行われ、 1画像（1コマ)相当の撮影が 終了する。
[0131] ステップ S33では、メインスィッチがオフされていないかどうかが判断される。なお、 メインスィッチのオフには、規定の時間、何の操作も行われな力 た場合に自動的に 電源をオフするオートパワーオフ機能によりオフされる場合も含まれる。メインスィッチ がオフされていない場合 (ステップ S33 ; NO)、ステップ S34の処理が実行され、オフ された場合 (ステップ S33 ; YES)、モニタ 131上のライブビューが消灯され (ステップ S35)、撮影処理を終了する。
[0132] ステップ S34では、撮影モードが終了されていないか否力、すなわち動作モードが 撮影モードから他のモードに変更されていないか否かが判断される。変更されていな ければ（ステップ S34 ; NO)、ステップ S21に戻って上述のシーケンスを繰り返す。動 作モードが変更されている場合は（ステップ S34； YES)、モニタ 131上のライブビュ 一が消灯され (ステップ S35)、変更されたモードでの制御に移行する。
[0133] 図 5のステップ S27で実行される撮影条件判別処理について、図 6を用いて説明す る。図 6は、図 2の撮影条件判別部 103により実行される撮影条件判別処理の流れを 示すフローチャートである。図 6のフローチャートにおいて、ステップ S101乃至ステツ プ S 105では占有率の算出が行われ、ステップ S 106乃至ステップ S 110では指標の 算出が行われ、ステップ S 111乃至ステップ S 124では撮影条件の判別が行われる。
[0134] ステップ S101では、図 2の占有率演算部 1031により、画像データの RGB (Red, Green, Blue)値が HSV表色系に変換される。
[0135] なお、上記において HSV表色系とは、画像データを、色相（Hue)、彩度（Saturat ion),明度（Value又は Brightness)の 3つの要素で表すものであり、マンセルにより 提案された表色体系を元にして考案されたものである。また、本実施形態において、 「明度」は特に注釈を設けない限り一般に用いられる「明るさ」の意味である。以下の 記載において、 HSV表色系の V(0〜255)を「明度」として用いる力 他の如何なる 表色系の明るさを表す単位系を用いてもよい。その際、本実施形態で記載する各種 係数等の数値を、改めて算出し直すことは言うまでもない。また、本実施形態におけ る画像データは、人物を主要被写体とする画像データであるものとする。
[0136] ステップ S102では、占有率演算部 1031により、ステップ S101で HSV表色系に変 換された画像データが、所定の領域毎例えば画素毎に、所定の明度範囲と色相範 囲との組み合わせからなる階級に分類され、分類された階級毎に累積画素数を算出 することにより第 1の 2次元ヒストグラムが作成される（第 1のヒストグラム作成工程)。
[0137] 明度 (V) ίま、明度値力 S0〜25 (vl)、 26〜50 (v2)、 51〜84 (v3)、 85〜： 169 (v4) 、 170〜199(v5)、 200〜224(v6)、 225〜255 (v7)の 7つの階級に分類される。 色相（H)は、色相値が 0〜39、 330〜359の肌色色相階級（HI及び H2)、色相値 力 S40〜： 160の緑色色相階級（H3)、色相値が 161〜250の青色色相階級（H4)、赤 色色相階級 (H5)の 4つの階級に分類される。なお、赤色色相階級 (H5)は、撮影シ ーンの判別への寄与が少ないとの知見から、以下の計算では用いていない。肌色色 相階級は、さらに、肌色階級 (HI)と、それ以外の階級 (H2)に分割される。以下、肌 色色相階級（H = 0〜39、 330〜359)のうち、下記の式（1)を満たす色相'（H)を肌 色階級 (HI)とし、式（1)を満たさなレ、階級を (H2)とする。
[0138] 10<彩度（S) <175、
色相'（H)=色相（H)+60 (0≤色相（H)<300のとき）、
色相，（H)=色相（H)_300 (300≤色相（H)く 360のとき）、
輝度（Y)=InRX0.30 + InGXO.59 + InBXO.11 (A)として、
色相'（H)/輝度 (Y)<3.0Χ (彩度（S)Z255) +0.7 (1)
したがって、画像データの階級の数は 4X7 = 28個となる。なお、式 (A)及び（1)に おいて明度 (V)を用いることも可能である。
[0139] ステップ S103では、占有率演算部 1031により、ステップ S102で作成された第 1の 2次元ヒストグラムに分類された階級毎に、算出された累積度数の全度数 (画像全体 )に占める割合を示す第 1の占有率が算出される（第 1の占有率算出工程)。明度階 級 vi、色相階級 Hjの組み合わせからなる階級において算出された第 1の占有率を Ri jとすると、各階級における第 1の占有率は表 3のように表される。
[0140] [表 3]
〔第 1 ©占有率〕
Figure imgf000025_0001
[0141] ステップ S104では、占有率演算部 1031により、ステップ S101で HSV表色系に変 換された画像データが、所定の領域毎例えば画素毎に、画像画面の外縁からの距 離と明度の組み合わせからなる階級に分類され、分類された階級毎に累積画素数を 算出することにより第 2の 2次元ヒストグラムが作成される（第 2のヒストグラム作成工程
) 0
[0142] 画像の外縁からの距離は、例えば図 7 (a)乃至（d)に示したように、画像データで再 現される 1つの画像の外縁からの距離に応じて 4つの領域 nl〜n4に分類される。図 7 (a)に示す領域 nlが外枠であり、図 7 (b)に示す領域 n2が、外枠の内側の領域で あり、図 7 (c)に示す領域 n3が、領域 n2のさらに内側の領域であり、図 7 (d)に示す 領域 n4が、画像の中心部の領域である。また、明度は、ステップ S102で作成された 第 1の 2次元ヒストグラムと同様に vl〜v7の 7つの階級に分類するものとする。したが つて、画像データを、画像の外縁からの距離と明度の組み合わせからなる階級に分 類した場合の階級の数は 4 X 7 = 28個となる。
[0143] 図 6に戻って、ステップ S105では、占有率演算部 1031により、ステップ S104で作 成された第 2の 2次元ヒストグラムに分類された階級毎に、算出された累積度数の全 度数 (画像全体）に占める割合を示す第 2の占有率が算出される（第 2の占有率算出 工程)。明度階級 vi、画面領域 njの組み合わせからなる階級において算出された第 2 の占有率を Qijとすると、各階級における第 2の占有率は表 4のように表される。
[表 4] ί第 2の占有率〕
Figure imgf000026_0002
[0145] ステップ S106では、指標算出部 1032により、ステップ S103において各階級毎に 算出された第 1の占有率に、撮影シーンに応じて予め（例えば、判別分析によって） 設定された第 1の係数を乗算して和をとることにより、撮影シーンを特定するための指 標 1が算出される（指標 1算出工程)。ここで、撮影シーンとは、順光、逆光、ストロボ 近接等の、被写体を撮影するときの光源条件及びアンダー撮影等の露出条件を示 す。指標 1は、屋内撮影度、近接撮影度、顔色高明度等のストロボ近接撮影時の特 徴を示すもので、「ストロボ近接」と判別されるべき画像データを他の撮影シーンから 分離するためのものである。
[0146] 表 5に、第 1の係数の例を階級別に示す。表 5に示された各階級の係数は、表 3に 示した各階級の第 1の占有率 Rijに乗算する重み係数であり、撮影条件に応じて予 め設定されている。
[0147] [表 5]
Figure imgf000026_0001
[0148] 表 5に示した第 1の係数のうち、肌色階級 (HI)における第 1の係数と、その他の階 級 (緑色色相階級 (H3))における第 1の係数を、明度全体にわたって連続的に変化 する曲線 (係数曲線）として図 8に示す。表 5及び図 8に示したように、本実施の形態 においては、高明度の階級 v5、 v6では、肌色階級 (HI)における第 1の係数の符号 は正（+ )であり、その他の階級 (例えば、緑色色相階級 (H3))における第 1の係数 の符号は負（一）となるように設定されている。
[0149] 明度階級 vi、色相階級 Hjにおける第 1の係数を Cijとすると、指標 1を算出するため の Hk階級の和は、式（2)のように定義される。
[0150] [数 1]
ί 25
Figure imgf000027_0001
[0151] したがって、 Η1〜Η4階級の和は、下記の式（2— :!）〜（2— 4)のように表される。
HI階級の和 = RllX(-44.0) + R21X(-16.0)+ (中略）... +R71X(- 11.3) (2-1) H2階級の和 = R12X0.0 + R22X8.6+ (中略）... +R72X(-11.1) (2-2) H3階級の和 = R13X0.0 + R23X(-6.3)+ (中略）... +R73X(_10.0) (2-3) H4階級の和 = R14X0.0 + R24X(-1.8)+ (中略）... +R74X(- 14.6) (2-4) 指標 1は、式（2— :！）〜（2— 4)で示された H1〜H4階級の和を用いて、式（3)のよ うに定義される。
[0152] 指標 1 =H1階級の和 + H2階級の和 + H3階級の和 + H4階級の和 + 4.424 (3) 図 6に戻って、ステップ S107では、指標算出部 1032により、ステップ S106で各階 級毎に算出された第 1の占有率に、撮影シーンに応じて予め（例えば、判別分析によ つて)設定された第 2の係数を乗算して和をとることにより、撮影シーンを特定するた めの指標 2を算出する。指標 2は、屋外撮影度、空色高明度、顔色低明度等の逆光 撮影時の特徴を複合的に示すもので、「逆光」と判別されるべき画像を他の撮影シー ンから分離するためのものである。
[0153] 表 6に、第 2の係数の一例を階級別に示す。表 6に示された各階級の係数は、表 3 に示した各階級の第 1の占有率 Rijに乗算する重み係数であり、撮影条件に応じて予 め設定されている。
[0154] [表 6]
I：第 2の係数〕
Figure imgf000028_0002
[0155] 表 6に示した第 2の係数のうち、肌色色相階級 (HI)における第 2の係数を、明度全 体にわたって連続的に変化する曲線 (係数曲線）として図 9に示す。表 6及び図 9に 示したように、肌色色相階級の、中間明度階級 v4の第 2の係数の符号は負（一）であ り、低明度（シャドー）階級 v2、 v3の第 2の係数の符号は正（+ )であり、両階級での 係数の符号が異なるように設定されてレ、る。
[0156] 明度階級 vi、色相階級 Hjにおける第 2の係数を Dijとすると、指標 2を算出するため の Hk階級の和は、式（4)のように定義される。
[0157] [数 2]
C43
Figure imgf000028_0001
[0158] したがって、 H1〜H4階級の和は、下記の式（4一:!）〜（4 4)のように表される。
HI階級の和 = R11X(_27.0) + R21X4.5+ (中略）... +R71X(_24.0) (4-1) H2階級の和 = R12X0.0 + R22X4.7+ (中略）... +R72X(-8.5) (4-2) H3階級の和 = R13X0.0 + R23X0.0+ (中略）... +R73X0.0 (4-3) H4階級の和 = R14X0.0 + R24X(-5.1)+ (中略）... +R74X7.2 (4-4)
指標 2は、式 (4_：！)〜（4_4)で示された H1〜H4階級の和を用いて、式（5)のよ うに定義される。
[0159] 指標 2 = H1階級の和 + H2階級の和 + H3階級の和 + H4階級の和 + 1.554 (5)
指標 1及び指標 2は、画像データの明度と色相の分布量に基づいて算出されるた め、画像データがカラー画像である場合の撮影シーンの判別に有効である。
[0160] 図 6に戻って、ステップ S 108では、指標算出部 1032により、ステップ S105におレヽ て各階級毎に算出された第 2の占有率に、撮影シーンに応じて予め（例えば、判別 分析によって)設定された第 3の係数を乗算して和をとることにより、撮影シーンを特 定するための指標 3を算出する。指標 3は、「逆光」と「ストロボ近接」間における、画像 データの画面の中心と外側の明暗関係の差異を示すものであり、「逆光」又は「スト口 ボ近接」と判別されるべき画像のみを定量的に示すものである。
[0161] 表 7に、第 3の係数の一例を階級別に示す。表 7に示された各階級の係数は、表 4 に示した各階級の第 2の占有率 Qijに乗算する重み係数であり、撮影条件に応じて 予め設定されている。
[0162] [表 7]
〔第 3麵数：)
Figure imgf000029_0002
[0163] 表 7に示した第 3の係数のうち、画面領域 nl〜n4における第 3の係数を、明度全体 にわたつて連続的に変化する曲線 (係数曲線）として図 10に示す。第 3の係数は、画 像データの画面の外縁からの距離に応じて異なる値の係数となっている。
[0164] 明度階級 vi、画像領域 njにおける第 3の係数を Eijとすると、指標 3を算出するため の nk階級（画像領域 nk)の和は、式（6)のように定義される。
[0165] [数 3]
{ 6 )
Figure imgf000029_0001
[0166] したがって、 nl〜n4階級の和は、下記の式（6—：!）〜（6— 4)のように表される。
nl階級の和 = Q11 X 40.1 + Q21 X 37.0 + (中略）. . . + Q71 X 22.0 (6-1) n2階級の和 = Q12X(-14.8) + Q22X(-10.5)+ (中略）.. . +Q72X0.0 (6-2) n3階級の和 = Q13X24.6 + Q23X12.1+ (中略）.. . +Q73X10.1 (6-3) n4階級の和 = Q14X1.5 + Q24X(-32.9)+ (中略）... +Q74X(- 52.2) (6-4) 指標 3は、式（6—：！)〜（6— 4)で示された nl〜n4階級の和を用いて、式（7)のよう に定義される。
[0167] 指標 3=nl階級の和 + n2階級の和 + n3階級の和 + n4階級の和一 12.6201 (7) 指標 3は、画像データの明度の分布位置による構図的な特徴 (画像データで再現 される画像の外縁からの距離）に基づいて算出されるため、カラー画像だけでなくモ ノクロ画像の撮影シーンを判別するのにも有効である。
[0168] 図 6に戻って、ステップ S109では、指標算出部 1032により、画像データの画面中 央部における肌色の平均輝度値に、撮影シーンに応じて予め（例えば、判別分析に よって)設定された第 4の係数を乗算して和をとることにより、撮影シーンを特定するた めの指標 6が算出される (指標 6算出工程)。
[0169] 指標 6は、撮影シーン「ストロボ近接」、撮影シーン「オーバー」及び撮影シーン「ァ ンダ一」における、画像の中心と外側の明暗関係の差異を示すだけでなぐ輝度ヒス トグラムにおける分布情報を示すものであり、撮影シーンが「オーバー」、 「ストロボ近 接」又は「アンダー」と判別されるべき画像のみを定量的に示すものである。
[0170] より好ましくは、入力された画像データの階調分布の偏りを示す偏倚量を算出し、 算出された偏倚量に基づいて算出される。
[0171] 偏倚量としては、例えば、画像データの最大輝度値と平均輝度値との差分値 (異な る条件で算出された明るさの差分値)、輝度標準偏差 (画像データの明るさの偏差量
)、画面中央部における平均輝度値 (画像データの画面中央部における明るさの平 均値）、画像の肌色最大輝度値と肌色最小輝度値の差分値と肌色平均輝度値との 比較値等が上げられる。
[0172] これらの偏倚量の各々に、撮影シーンに応じて予め設定された第 4の係数を乗算し て和をとることにより、撮影シーンを特定するための指標 6が算出される。ここで、用い る変数によって第 4の係数を変えることは言うまでもない。
[0173] 指標 6の算出に先立ち、偏倚量の算出が行われる。 XI乃至 X5で示される偏倚量 の算出は、下記の手順により行われる。
[0174] まず、画像データの RGB (Red, Green, Blue)値から、ステップ S I 02で使用され た式 (A)を用いて各画素の輝度 Y (明るさ）が算出され、輝度の標準偏差 (xl)が算 出される。輝度の標準偏差 (xl)は、式 (8)のように表される。
[0175] [数 4]
Figure imgf000031_0001
[0176] 式（8)において、画素輝度値とは、画像データの各画素の輝度であり、平均輝度値 とは、画像データの輝度の平均値である。また、全体画素数とは、画像データ全体の 画素数である。
[0177] 次いで、式（9)に示すように、輝度差分値 (x2)が算出される。
[0178] 輝度差分値 (x2) = (最大輝度値一平均輝度値) / 255 (9)
式（9)において、最大輝度値とは、画像データの輝度の最大値である。
[0179] 次いで、画像データの画面中央部における肌色領域の平均輝度値 (x3)が算出さ れ、さらに、当該画面中央部における平均輝度値 (x4)が算出される。ここで、画面中 央部とは、例えば、図 7において、領域 n3及び領域 n4により構成される領域である。
[0180] 次いで、肌色輝度分布値 (x5)が算出される。画像データの肌色領域の最大輝度 値を Yskin_max、肌色領域の最小輝度値を Yskin_min、肌色領域の平均輝度 値を Yskin_aveとすると、肌色輝度分布値 (x5)は、式（10)のように表される。
[0181] x5 = (Yskin― max— Yskin― mm) /2 — Yskm― ave 、10)
次いで、上記で算出された偏倚量 xl〜x5の各々に、撮影条件に応じて予め設定 された第 4の係数を乗算し、和をとることにより、指標 6が算出される。指標 6は、式（1 1)のように表される。なお、偏倚量 xl〜x5の各値に乗算される重み係数は、撮影条 件に応じて予め設定されている。
[0182] 指標 6 = xl X 0.02 + x2 X I.13 + x3 X 0.06 + x4 X (-0.01) + x5 X 0.03— 6.49
(11)
この指標 6は、画像データの画面の構図的な特徴だけでなぐ輝度ヒストグラム分布 情報を持ち合わせており、特にストロボ近接撮影シーンとアンダー撮影シーンの判別 に有効である。
[0183] なお、指標 6を算出する際、指標算出部 1042では、画像中央部における肌色の平 均輝度値、画像の最大輝度値と平均輝度値との差分値、輝度標準偏差、画面中央 部における平均輝度値、画像の肌色最大輝度値と肌色最小輝度値の差分値と肌色 平均輝度値との比較値を用いているが、ここでレ、う輝度値とは、明るさを表す指標で あり、他の明るさを表す指標（例えば、 HSV表色系の明度値等）を用いてもよい。また 、最大輝度値、肌色最大輝度値、肌色最小輝度値には、最大輝度値及び最小輝度 値からの累積画素数が全画素に対して所定の割合に達した画素の輝度値を用いて あよい。
[0184] ステップ S110では、指標算出部 1042により、指標 4及び指標 5が算出される。
[0185] 指標 4は、ステップ S106で算出された指標 1、ステップ S108で算出された指標 3に 、それぞれ、撮影シーンに応じて予め（例えば、判別分析によって)設定された係数 を乗算して和をとることにより算出される。なお、指標 1、指標 3及び画面中央部 (例え ば、図 6の領域 n2、領域 n3及び領域 n4から構成される領域）における肌色の平均輝 度値 x6に、それぞれ、撮影シーンに応じて予め設定された係数を乗算して和をとるこ とにより指標 4を算出してもよい。
[0186] 指標 5は、ステップ S107で算出された指標 2、ステップ S108で算出された指標 3に 、それぞれ、撮影シーンに応じて予め設定された係数を乗算して和をとることにより算 出される。指標 2、指標 3及び x6に、それぞれ、撮影シーンに応じて予め設定された 係数を乗算して和をとることにより指標 5を算出してもよい。
[0187] 例えば、指標 4は、指標 1、指標 3、 x6を用いて式（12)のように定義され、指標 5は 、指標 2、指標 3、 x6を用いて式（13)のように定義される。
[0188] 指標 4 = 0.46 X指標 1 + 0.61 指標3 + 0.01 6 _0.79 (12)
指標 5 = 0.58 X指標 2 + 0.18 X指標 3 + (-0.03) X x6 + 3.34 (13) ここで、式（12)及び式（13)において各指標に乗算される重み係数は、撮影条件 に応じて予め設定されてレ、る。
[0189] ステップ S111では、図 3に示した補正レベル設定処理で設定された閾値 LA乃至 LAが記憶部 105から読み出される。図 3のステップ S11で選択されるモードに応じ
5
て設定される閾値 LA乃至 LAの一例を表 8に示す。
1 5
[表 8]
Figure imgf000033_0001
[0191] なお、閾値 LA乃至閾値 LAは、各種の光源条件及び露光条件と、該光源条件及
1 5
び露光条件で撮像された画像データから算出される各指標の値から経験的に定めら れるものであ。
[0192] ステップ S112では、撮影条件判別部 103により、ステップ S110で算出された指標 4がステップ S111で設定された閾値 LAよりも大きいか否かが判断される。指標 4が
1
LAより大きい場合 (ステップ S112 ;YES)、ステップ S113の処理が実行され、指標
1
4が LA以下である場合（ステップ S112 ; NO)、ステップ S 118の処理が実行される。
1
[0193] ステップ S113では、ステップ S109で算出された指標 6がステップ S111で設定され た閾値 LAより大きいか否か、すなわち高確度で撮影シーンが「ストロボ近接」と判別
2
できる否かが判断される。指標 6が LAより大きい場合 (ステップ S113 ; YES)、ステツ
2
プ S 114の処理が実行され、指標 6が LA以下である場合 (ステップ S113 ; N〇）、ス
2
テツプ S 115の処理が実行される。
[0194] ステップ S 114では、撮影シーンが高確度である「ストロボ近接」と判定され、処理を 終了する。
[0195] ステップ S115では、ステップ S109で算出された指標 6がステップ S111で設定され た閾値 LA以下であるか否か、すなわち高確度で撮影シーンが「アンダー」と判別で
3
きるか否かが判断される。指標 6が LA以下である場合 (ステップ S115 ; YES)、ステ
3
ップ S116の処理が実行され、指標 6が LAより大きい場合 (ステップ S115 ; NO)、「
3
ストロボ近接」とも「アンダー」とも低確度であると判断され、ステップ S 117の処理が実 行される。
[0196] ステップ SI 16では撮影シーンが高確度である「アンダー」と判定され、ステップ S11 7では撮影シーンが低確度である「ストロボ近接 'アンダー間」と判定され、処理を終 了する。
[0197] ステップ S118では、ステップ S110で算出された指標 5がステップ SI 11で設定され た閾値 LAより大きいか否かすなわち高確度で撮影シーンが「逆光」と判別できる否 かが判断される。指標 5が LAより大きい場合 (ステップ S118 ;YES)、ステップ S119 の処理が実行され、指標 5が LA以下である場合 (ステップ S118 ; NO)、ステップ S1
20の処理が実行される。
[0198] ステップ S 119では、撮影シーンが高確度である「逆光」と判定され、処理を終了す る。
[0199] ステップ S120では、ステップ S110で算出された指標 5がステップ S111で設定され た閾値 LA以下であるか否か、すなわち高確度で撮影シーンが「順光」又は「オーバ 一」と判別できるか否かが判断される。指標 5が LA以下である場合 (ステップ S120 ;
YES)、ステップ S121の処理が実行され、指標 5が LAより大きい場合 (ステップ S12
0 ; N〇）、「逆光」とも「順光」とも低確度であると判断され、ステップ S 124の処理が実 行される。
[0200] ステップ S121では、ステップ S109で算出された指標 6がステップ S111で設定され た閾値 LAよりも大きいか否か、すなわち撮影シーンが「オーバー」と判別できるか否 力が判断される。指標 6が LAよりも大きい場合 (ステップ S121； YES)、撮影シーン 力 S「オーバー」と判別され (ステップ S122)、指標 6が LA以下の場合 (ステップ S121
； NO) ,「順光」と判断され、ステップ S 123の処理が実行される。
[0201] ステップ S 123では撮影シーンが高確度である「順光」と判定され、ステップ S 124で は撮影シーンが低確度である「順光 ·逆光間」と判定され、処理を終了する。
[0202] 以上、ステップ S111乃至ステップ S121の処理により、指標 4及び指標 5の値により 光源条件を定量的に判別することができ、指標 4及び指標 6の値により露出条件を定 量的に判別することができる。
[0203] なお、指標 4の閾値について、逆光とストロボ近接の間の低確度領域等、他の低確 度領域も存在するが、本実施形態では省略してレ、る。
[0204] 図 5のステップ S28で実行される補正処理について、図 11を用いて説明する。図 1 1は、図 2の補正処理部 104で実行される補正処理の流れを示すフローチャートであ る。
[0205] ステップ S201では、補正処理選択部 1041により、図 5のステップ S27で判別され た撮影シーンに応じて、予め設定されている補正処理方法が決定される。以下、画 像データに対する階調調整処理を例に説明する。
[0206] 撮影シーンが「順光」、「オーバー」又は「ストロボ近接」の場合、図 12 (a)に示すよう に平行移動 (オフセット）補正する方法が適用される（ステップ S 201a)。オフセット補 正は、図 12 (a)の横軸に示す入力された画像データの値に対して、縦軸に示す出力 される画像データの値の関係を、例えば直線 A1 (オフセット値 = + 10)や A2 (オフ セット値 = _ 5)となるように調整する。このとき、調整される補正処理量は、オフセット 値となる。
[0207] ここで、図 12は、各階調調整方法に対応する階調変換曲線を示す図であり、横軸 に入力される画像データの値、縦軸に出力される画像データの値を、 0乃至 255の 8 ビットで示してある。また、図 12 (a)、図 12 (b)、図 12 (c)それぞれにおいて直線 A ( オフセット値 =0、ガンマ値 = 1 · 0)は、入力された画像データの値を補正しないとき の、入力された画像データの値と出力される画像データの値の関係を示している。
[0208] 撮影シーンが「逆光」又は「アンダー」の場合、図 12 (b)に示すようにガンマ補正す る方法が適用される（ステップ S201b)。ガンマ補正において、入力された画像デー タの値と出力される画像データの値との関係は、例えば曲線 B1 (ガンマ値 = 1. 5)や 曲線 B2 (ガンマ値 = 1. 3)で示されたものとなる。このとき、調整される補正処理量は ガンマイ直となる。
[0209] 撮影シーンが「順光'逆光間」又は「ストロボ近接'アンダー間」の場合、図 12 (c)に 示すように、ガンマ補正及びオフセット補正する方法が適用される（ステップ S 201 c) 。ガンマ補正及びオフセット補正において、入力された画像データと出力される画像 データの値との関係は例えば曲線 C1 (オフセット値 = + 5、ガンマ値 =0. 8)や C2 ( オフセット値 = _ 5、ガンマ値 =0. 7)で示されたものとなる。このとき、調整される補 正処理量はオフセット値及びガンマ値となる。
[0210] ステップ S202では、補正処理量調整部 1042により、図 5のステップ S27で算出さ れた各種の指標に基づいて、階調調整に必要なパラメータ（階調調整パラメータ）が 算出される。以下、ステップ S202において算出される階調調整パラメータの算出方 法について説明する。なお、以下では、 8bitの画像データは 16bitへと事前に変換さ れてレ、るものとし、画像データの値の単位は 16bitであるものとする。
[0211] ステップ S202では、階調調整パラメータとして、例えば下記の P1〜P5のパラメ一 タが算出される。
[0212] P1：撮影画面全体の平均輝度、
P2 :ブロック分割平均輝度、
P3 : ¾ffiiEfifl = Pl -P2,
P4：再現目標修正値 =輝度再現目標値（30360) _P3、
P5：輝度補正値 2 = (指標 4/指標 6) X 17500
パラメータ P1 (撮影画面全体の平均輝度）は、画像データ全体の輝度の平均値で あり、例えば図 6のステップ S102で作成された第 1のヒストグラムから算出できる。
[0213] パラメータ P2 (ブロック分割平均輝度）は、例えば下記の手順で算出される。
[0214] まず、画像データを正規化するために、 CDF (累積密度関数）を作成する。次いで 、得られた CDFから最大値と最小値を決定する。この最大値と最小値は、 RGB毎に 求める。ここで、求められた RGB毎の最大値と最小値を、それぞれ、 Rmax、 Rmin、 Gmax、 Gmm、 Bmax、 Bminとする。
[0215] 次いで、画像データの任意の画素 (Rx, Gx, Bx)に対する正規化画像データを算 出する。 Rプレーンにおける Rxの正規化データを Rpoint、 Gプレーンにおける Gxの 正規化データを Gpoint、 Bプレーンにおける Bxの正規化データを Bpointとすると、正 規化データ Rpoint、 Gpoint, Bpointは、それぞれ、式（14)〜（： 16)のように表される。 Rpoint = { (Rx - Rmin) / (Rmax - Rmin) } X 65535 (14)
Gpoint = { (Gx - Gmin) / (Gmax - Gmin) } X 65535 (15)
Bpoint= { (Bx- Bmin) / (Bmax- Bmin) } X 65535 (16)
次いで、式（17)により画素（Rx, Gx, Bx)の輝度 Npointを算出する。 [0216] Npoint = (Bpoint + Gpoint + Rpoint) /3 (17)
図 13 (a)は、正規化する前の RGB画素の輝度の度数分布（ヒストグラム）である。図 13 (a)において、横軸は輝度、縦軸は画素の頻度である。このヒストグラムは、 RGB 毎に作成する。輝度のヒストグラムが作成されると、式（14)〜（： 16)により、画像デー タに対し、プレーン毎に正規化を行う。図 13 (b)は、式（17)により算出された輝度の ヒストグラムを示す。画像データが 65535で正規化されているため、各画素は、最大 値が 65535で最小値が 0の間で任意の値をとる。
[0217] 図 13 (b)に示す輝度ヒストグラムを所定の範囲で区切ってブロックに分割すると、図
13 (c)に示すような度数分布が得られる。図 13 (c)において、横軸はブロック番号（ 輝度）、縦軸は頻度である。
[0218] 次いで、図 13 (c)に示された輝度ヒストグラムから、ノ、イライト、シャドー領域を削除 する処理を行う。これは、白壁や雪上シーンでは、平均輝度が非常に高くなり、暗闇 のシーンでは平均輝度は非常に低くなつているため、ノ、イライト、シャドー領域は、平 均輝度制御に悪影響を与えてしまうことによる。そこで、図 13 (c)に示した輝度ヒスト グラムのハイライト領域、シャドー領域を制限することによって、両領域の影響を減少 させる。図 13 (c)に示す輝度ヒストグラムにおいて、高輝度領域 (ハイライト領域)及び 低輝度領域 (シャドー領域)を削除すると、図 13 (d)のようになる。
[0219] 次いで、図 13 (e)に示すように、輝度ヒストグラムにおいて、頻度が所定の閾値より 大きい領域を削除する。これは、頻度が極端に多い部分が存在すると、この部分の データが、画像全体の平均輝度に強く影響を与えてしまうため、誤補正が生じやす レ、ことによる。そこで、図 13 (e)に示すように、輝度ヒストグラムにおいて、閾値以上の 画素数を制限する。図 13 (f)は、画素数の制限処理を行った後の輝度ヒストグラムで ある。
[0220] 正規化された輝度ヒストグラムから、高輝度領域及び低輝度領域を削除し、さらに、 累積画素数を制限することによって得られた輝度ヒストグラム（図 13 (f) )の各ブロック 番号と、それぞれの頻度に基づいて、輝度の平均値を算出したものがパラメータ P2 である。
[0221] パラメータ P3 (輝度補正値 1)は、便宜的に算出されるパラメータであり、画像全体 でパラメータ PIからパラメータ P2を減算した値である。例えば輝度に偏りがあるシー ンなどにおいて平均輝度値を修正する値として用いられる。
[0222] パラメータ P4 (再現目標修正値）は、オフセット補正する場合に用いられるパラメ一 タであり、予め定めた輝度再現目標値（16ビット画像データでは 30360)からパラメ ータ P3を減算した値である。
[0223] パラメータ P5 (輝度補正値 2)は、便宜的に算出されるパラメータであり、指標 4を指 標 4の最大値 6で正規化した値に定数 (例えば 16ビット画像データでは 17500)を乗 算した値である。撮影シーンがストロボである場合、指標 4によってストロボらしさ（スト ロボ度）が決められるため、指標 4の値に応じて再現目標修正値をさらに修正すること が可能となり、より精度の高い補正を行うことができるようになる。
[0224] ステップ S203では、補正処理量調整部 1052により、ステップ S201で選択された 補正処理方法毎に補正処理量が決定される。
[0225] ステップ S201でオフセット補正が選択された場合 (ステップ S203a)、下記の如く補 正処理量が決定される。
[0226] 撮影シーンが「順光」の場合、オフセット値 =P1— P2 (ステップ S203b)。
[0227] 撮影シーンが「ストロボ近接」又は「オーバー」の場合、オフセット値 =P4— P5— P1
(ステップ S203c)。
[0228] ステップ S201でガンマ補正が選択された場合 (ステップ S203d)、下記の手順で補 正処理量が決定される。
[0229] まず、図 5のステップ S27で判別された撮影シーンに基づいて、本実施形態に係る 補正処理で目標とするパラメータ (肌色平均輝度など）の再現目標値の修正値 Δの 最小値 Δ minと最大値 Δ maxが決定される（ステップ S203e)。図 14に示すように、 この修正値 Δの最小値 Δ minは、該当する指標の最小値 Iminに対応する修正値で あり、修正値 Δの最大値 Δ maxは、該当する指標の最大値 Imaxに対応する修正値 である。この最大値 Δ maxと最小値 Δ minとの差分（Δ max— Δ min)は、少なくとも 、 8bit値で 35であることが好ましい。
[0230] 次いで、図 6のステップ S109又はステップ S110で算出された指標 5又は指標 6の 値が 0乃至 1の範囲で正規化される（ステップ S203f)。図 5のステップ S27で判別さ れた撮影シーンが「逆光」の場合は指標 5、「アンダー」の場合は指標 6が正規化され る。指標を Iとすると、正規化指標は下記の式（18)のように表される。なお、指標の最 小値 Iminと最大値 Imaxは、図 3のステップ S11で設定されたモード及び図 5のステ ップ S27で判別された撮影シーンに応じて、例えば下記表 9に示したように予め設定 されているものとする。
[0231] 正規化指標 = (1一 Imin) Z (Imax— Imin) (18)
[0232] [表 9]
Figure imgf000039_0001
[0233] 正規化指標と、再現目標値の修正値 Δの最小値 Δ minと最大値 Δ maxから、当該 指標 5又は指標 6の値 (I)に対応する再現目標値の修正値 Δ modが算出される (ステ ップ S203g)。再現目標値の修正値 Δ modは、下記の式（19)のように表される。
[0234] 修正値 A mod= ( A max_ A min) X (正規化指標） + A min (19)
次レ、で、再現目標値とその修正値 Δ modから、式（20)に示すように修正再現目標 値が算出される（ステップ S203h)。
[0235] 修正再現目標値 =再現目標値 + A mod (20)
次いで、式（21)に示すように、画像データの肌色領域 (HI)の輝度平均値 (肌色 平均輝度値)と修正再現目標値との差分から、階調調整量 P6が算出される (ステップ S203i)。
[0236] 階調調整量 (P6) =肌色平均輝度値一修正再現目標値 （21)
式（18)乃至式（21)において、例えば、肌色平均輝度の再現目標値を 30360 (16 bit)とし、肌色平均輝度値を 21500 (16bit)とする。また、判別された撮影条件を逆 光とし、指標算出処理で算出された指標 5の値を 2. 7とする。このとき、正規化指標、 修正値 A mod、修正再現目標値、階調調整量 P6は、下記のようになる。
[0237] 正規化指標 = (2. 7 - 1. 6) / (6. 0 - 1. 6) = 0. 25、
A mod= (9640 + 2860) X 0. 25— 2860 = 265、
修正再現目標値 = 30360 + 265 = 30625、
階調調整量 P6 = 21500— 30625 =— 9125
次いで、階調調整量 P6から、下記の式（22)のようにキー補正値 Qが算出され、キ 一補正値 Qに対応するガンマ値が補正処理量として決定される（ステップ S203j)。
[0238] キー補正値 Q = P6Zキー補正係数 （22)
ここで、式（22)のキー補正係数の値は 24. 78である。図 12 (b)の階調変換曲線の 具体例を図 15に示す。キー補正値 Qの値と、図 15で選択される階調変換曲線及び ガンマ値の対応関係を下記表 10に示す。
[0239] [表 10]
Figure imgf000040_0001
[0240] 例えば、階調調整量 4 =— 9125である場合、キー補正値 Q =— 9125/24. 78 = — 368ゆえ、図 15で選択される階調変換曲線は L1 (ガンマ値 = 1. 4)となる。
[0241] なお、撮影シーン力 S「逆光」の場合、この階調変換処理とともに、覆い焼き処理を併 せて行うことが好ましい。この場合、逆光度を示す指標 5に応じて覆い焼き処理の程 度も調整されることが望ましレ、。
[0242] ステップ S201でオフセット補正及びガンマ補正が選択された場合（ステップ S203k )、下記の手順で補正処理量が決定される。
[0243] まず、図 6のステップ S 109又はステップ S 1 10で算出された指標 5又は指標 6の値 力 SO乃至 1の範囲で正規化される（ステップ S2031)。例えば図 5のステップ S27で判 別された撮影シーンが「順光 ·逆光間」であれば指標 5が、「ストロボ近接'アンダー間 」であれば指標 6が 0乃至 1の範囲で正規化された正規化指標へ変換される。正規化 指標は、式（23)のように定義される。
[0244] 正規化指標 = (基準指標 指標最小値) / (指標最大値 指標最小値） （23) 式（23)において、指標最大値、指標最小値は、それぞれ正規化される指標のとりう る最大値、最小値であり、本実施の形態では指標 5、指標 6とも、指標最大値は 1. 5 であり、指標最小値は— 0. 5である。
[0245] 次いで、オフセット値が算出される（ステップ S203m)。オフセット値は、式（23)の 正規化指標と、本実施形態に係る補正処理で目標とするパラメータ (肌色平均輝度 など）の再現目標値を用いて予め算出された補正量ひ、 /3を用いて式（24)のように 表される。
[0246] オフセット値 = ( j3 - α ) X正規化指標 + a (24)
なお、本実施形態では、正規化指標と補正量との相関を 1次の線形関係としたが、 補正量をさらに緩やかに移行させるベぐ曲線関係としてもよい。
[0247] 次いで、ステップ S203e乃至ステップ S203jで実行された処理と同様にしてキー補 正値 Qが算出され、ガンマ値が補正処理量として決定される（ステップ S203n)。
[0248] ステップ S204では、補正処理量調整部 1042により、ステップ S203で決定された 補正処理量が調整される。補正処理量の調整は、例えば図 3の補正レベル設定処 理で設定された補正処理量が記憶部 105から読み出され、読み出された補正処理 量がステップ S203で決定されたオフセット値及びガンマ値に乗算されることで行わ れる。
[0249] ステップ S205では、補正処理実行部 1043により、ステップ S201で選択され、ステ ップ S203又はステップ S204で決定された補正処理量が適用された補正方法で画 像データが補正され、補正された画像データが閾値 LA乃至 LAとともに出力された
1 5
後（ステップ S206)、処理が終了する。
[0250] 以上、本実施の形態によれば、画像データに基づいて指標 4、 5及び 6を算出し、 算出された指標は補正レベル設定処理で設定された閾値との比較で「順光」、「逆光 」、「順光'逆光間」、「ストロボ近接」、「アンダー」「ストロボ近接'アンダー間」及び「ォ 一バー」の撮影条件を判別し、判別された撮影条件に基づいて、入力された画像デ ータに対して補正処理を施すので、入力された画像データの撮影条件を表す指標 に応じて、入力された画像データの肌色領域の明るさを補正 (修正)することにより、 肌色領域としての確度検証結果に基づく採用可否判断や、肌色領域の明るさの算 出値に依存しすぎることなぐ被写体の明るさを適切且つ連続的に補正することが可 能となる。しかも、撮影条件の判別に係る閾値が設定できるので、補正の有無やその 程度を撮影者の意図どおりとすることが可能となる。
[0251] また、撮影条件を定量的に表す指標に基づいて入力された画像データの撮影条 件を判別し、判別結果に基づいて肌色領域の明るさを補正することにより、判別結果 に応じた適切な階調変換処理を行うことが可能となる。
[0252] 本発明に係る画像処理装置が適用された撮像装置の撮影時の他の実施の形態に 係る動作について図 16を用いて説明する。図 16は、図 1に示したデジタルカメラ 1で 実行される他の実施の形態に係る撮影処理の流れを示すフローチャートである。な お、図 16に示したフローチャートにおいては、デジタルカメラ 1のメインスィッチはオン された状態であり、撮影モードに設定されているものとする。また、図 5に示したフロー チャートと同じ処理には同符号を付して説明を省略する。
[0253] 第 2の実施の形態に係る撮影処理においては、撮影を 1コマ行う毎にプレ撮影を行 レ、、プレ撮影した画像データに基づいて指標を算出し、算出された指標に基づいて 撮影条件を判別し、算出された指標及び判別された撮影条件をモニタ 131に表示し 、補正レベルの設定変更を 1コマ毎に行うことができるようにしたものである。
[0254] レリーズスィッチ 121が半押しされると（ステップ S22 ;YES)、図 6に示した撮影処 理と同様に、オートフォーカス制御 (AF)と露光量制御 (AE)が行われる (ステップ S2 3)。
[0255] ステップ S23に次いで、ステップ S41では、撮像素子 4によりプレ撮影が行われ、画 像データが一時記憶メモリ 7に一旦蓄えられる（入力工程)。
[0256] ステップ S42では、ステップ S41で一時記憶メモリ 7に蓄えられた画像データの撮影 条件判別が行われる (撮影条件判別工程)。撮影条件の判別は、図 11に示したもの と同様である。
[0257] ステップ S43では、ステップ S42の撮影条件判別処理において算出された指標 4、 5及び 6の値及び判別された撮影条件がモニタ 131に表示される（指標表示工程、撮 影条件表示工程)。モニタ 131に表示される指標の値及び撮影条件は、例えば図 17 に示すように、指標表示画面 40に表示される。指標表示画面 40は、図 4に示した閾 値設定画面 30に、算出された指標をその値に対応する位置に指標 41を座標表示さ せたものであり、図 4で説明したものと同じ構成要素には同符号を付してある。指標表 示画面 40においては、表示されている各撮影条件の領域枠と、表示される指標 41と の位置関係で、撮影条件も併せて判別できるように表示されている。
[0258] ステップ S44では、ステップ S43で表示された指標の値及び撮影条件に基づいて 補正レベルの設定が行われる。補正レベルの設定は、図 3を用いて説明した処理と 同じものである。
[0259] ステップ S44の処理が実行された後は、図 6で説明したステップ S24以降の処理が 行われる。
[0260] なお、図 17に示した撮影処理においては、撮影を 1コマ行う毎に指標表示画面 40 がモニタ 131に表示され、補正レベルの設定を行う形態とした力 ステップ S42で判 別された撮影条件のうち、所定の撮影条件 (例えば、「アンダー」、「オーバー」、「スト ロボ近接」又は「逆光」）の場合に、警告表示とともに指標表示画面 40が表示されるよ うにし、他の撮影条件では指標表示画面 40を表示しなレ、ようにすることも可能である 。この場合、撮影者はどのような撮影条件においても指標表示画面 40が表示される という煩わしさを伴うことなぐ撮影することが可能となる。
[0261] 本実施の形態によれば、プレ撮影した画像データに基づいて指標を算出し、算出 された指標に基づレ、て撮影条件を判別し、算出された指標及び判別された撮影条 件をモニタ 131に表示し、補正レベルの設定変更を行うことができるので、撮影者は 意図どおりの撮影を行うことができる。
[0262] なお、本実施の形態において、画像処理装置が適用された例としてデジタルカメラ を例にとり説明したが、液晶ディスプレイ装置やプラズマディスプレイ装置等の画像 表示装置、プリンタ、複合機や証明写真用人物撮影装置等の画像形成装置、画像 データを保存する画像ストレージ装置等の情報記録装置に対しても適用可能である [0263] また、本発明の目的は前述した実施形態の機能を実現するソフトウェアのプロダラ ムを記録した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置の コンピュータ（CPU若しくは MPU)が記録媒体に格納されたプログラムを読み出し実 行することによつても、達成されることは言うまでもなレ、。
[0264] この場合、記録媒体から読み出されたプログラム自体が前述した実施形態の機能 を実現することになり、そのプログラム及び該プログラムを記憶した記録媒体は本発 明を構成することになる。
[0265] プログラムを供給するための記録媒体としては、例えばフロッピー（登録商標）ディ スク，ハードディスク，光ディスク，光磁気ディスク， CD-ROM, CD-R,磁気テー プ，不揮発性のメモリカード， ROMなどを用いることができる。
[0266] また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態 の機能が実現されるだけでなぐそのプログラムの指示に基づき、コンピュータ上で稼 働している OS (オペレーティングシステム）などが実際の処理の一部又は全部を行い 、その処理によって前述した実施形態の機能が実現される場合も含まれることは言う までもない。
[0267] さらに、記録媒体から読み出されたプログラム力 S、コンピュータに挿入された機能拡 張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた 後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わ る CPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施 形態の機能が実現される場合も含まれることは言うまでもない。
[0268] その他、本発明に係る画像処理装置を構成する各構成の細部構成及び細部動作 に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。

Claims

請求の範囲
[1] 被写体を撮像することにより生成された画像データを入力する入力工程と、撮影条件 の判別に係る閾値を設定する閾値設定工程と、入力された画像データの撮影条件を 表す指標を算出する指標算出工程と、算出された指標及び設定された閾値に基づ いて画像データの撮影条件を判別する撮影条件判別工程と、判別された撮影条件 に基づいて、入力された画像データに対して補正処理を施す補正処理工程とを含む ことを特徴とする画像処理方法。
[2] 前記撮影条件判別工程において判別される撮影条件は、逆光、ストロボ近接、アン ダー及びオーバーから選ばれる少なくとも 1つであり、前記閾値設定工程は、撮影条 件が逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも 1つを判別す るための閾値を設定することを特徴とする請求の範囲第 1項に記載の画像処理方法
[3] 設定された閾値を、補正処理が施された画像データと対応付けて記録する記録工程 を含むことを特徴とする請求の範囲第 1項又は第 2項に記載の画像処理方法。
[4] 撮影条件毎に補正量を設定する補正量設定工程を含み、前記補正処理工程は、判 別された撮影条件及び設定された補正量に基づいて、入力された画像データに対し て補正処理を施すことを特徴とする請求の範囲第 1項乃至第 3項の何れか 1項に記 載の画像処理方法。
[5] 被写体を撮像することにより生成された画像データを入力する入力工程と、撮影条件 毎に補正量を設定する補正量設定工程と、入力された画像データの撮影条件を表 す指標を算出する指標算出工程と、算出された指標に基づいて画像データの撮影 条件を判別する撮影条件判別工程と、判別された撮影条件及び設定された補正量 に基づいて、入力された画像データに対し補正処理を施す補正処理工程とを含むこ とを特徴とする画像処理方法。
[6] 前記撮影条件判別工程において判別される撮影条件は、逆光、ストロボ近接、アン ダー及びオーバーから選ばれる少なくとも 1つであり、前記補正量設定工程は、撮影 条件が逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも 1つの撮 影条件における補正量を設定することを特徴とする請求の範囲第 5項に記載の画像 処理方法。
[7] 設定された補正量を、補正処理が施された画像データと対応付けて記録する記録ェ 程を含むことを特徴とする請求の範囲第 5項又は第 6項に記載の画像処理方法。
[8] 前記指標算出工程で算出された指標を表示する指標表示工程を含むことを特徴と する請求の範囲第 1項乃至第 7項の何れか 1項に記載の画像処理方法。
[9] 前記撮影条件判別工程で判別された撮影条件を表示する撮影条件表示工程を含 むことを特徴とする請求の範囲第 1項乃至第 8項の何れか 1項に記載の画像処理方 法。
[10] 前記指標算出工程は、入力された画像データを所定領域毎に、所定の明度と色相と で分割された複数の階級に分類したときの、当該分類された階級に属する画像デー タが画像データ全体に占める割合を示す第 1の占有率を算出し、算出された第 1の 占有率に基づいて光源条件を表す指標を算出することを特徴とする請求の範囲第 1 項乃至第 9項の何れか 1項に記載の画像処理方法。
[11] 前記指標算出工程は、入力された画像データを所定領域毎に、当該画像データで 表される画像の外縁からの距離と明度の組み合わせからなる所定の階級に分類し、 当該分類された階級に属する画像データが画像データ全体に占める割合を示す第 2の占有率を算出し、算出された第 2の占有率に基づいて光源条件を表す指標を算 出することを特徴とする請求の範囲第 1項乃至第 10項の何れ力 1項に記載の画像処 理方法。
[12] 前記指標算出工程は、入力された画像データの階調分布の偏りを示す偏倚量を算 出し、算出された偏倚量に基づいて露出条件を表す指標を算出することを特徴とす る請求の範囲第 1項乃至第 11項の何れか 1項に記載の画像処理方法。
[13] 前記指標算出工程は、偏倚量として、入力された画像データの明るさの偏差量、入 力された画像データの画面中央部における明るさの平均値、異なる条件で算出され た明るさの差分値のうちの少なくとも 1つを含むことを特徴とする請求の範囲第 12項 に記載の画像処理方法。
[14] 被写体を撮像することにより生成された画像データを入力する入力手段と、撮影条件 の判別に係る閾値を設定する閾値設定手段と、前記入力手段で入力された画像デ ータの撮影条件を表す指標を算出する指標算出手段と、前記指標算出手段で算出 された指標及び前記閾値設定手段で設定された閾値に基づいて画像データの撮影 条件を判別する撮影条件判別手段と、前記撮影条件判別手段で判別された撮影条 件に基づいて、前記入力手段で入力された画像データに対して補正処理を施す補 正処理手段とを有することを特徴とする画像処理装置。
[15] 前記撮影条件判別手段において判別される撮影条件は、逆光、ストロボ近接、アン ダー及びオーバーから選ばれる少なくとも 1つであり、前記閾値設定手段は、撮影条 件が逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも 1つを判別す るための閾値を設定することを特徴とする請求の範囲第 14項に記載の画像処理装 置。
[16] 前記閾値設定手段で設定された閾値を、前記補正処理手段で補正処理が施された 画像データと対応付けて記録する記録手段を有することを特徴とする請求の範囲第 14項又は第 15項に記載の画像処理装置。
[17] 撮影条件毎に補正量を設定する補正量設定手段を有し、前記補正処理手段は、前 記撮影条件判別手段で判別された撮影条件及び前記補正量設定手段で設定され た補正量に基づいて、前記入力手段で入力された画像データに対して補正処理を 施すことを特徴とする請求の範囲第 14項乃至第 16項の何れ力 1項に記載の画像処 理装置。
[18] 被写体を撮像することにより生成された画像データを入力する入力手段と、撮影条件 毎に補正量を設定する補正量設定手段と、前記入力手段で入力された画像データ の撮影条件を表す指標を算出する指標算出手段と、前記指標算出手段で算出され た指標に基づいて画像データの撮影条件を判別する撮影条件判別手段と、前記撮 影条件判別手段で判別された撮影条件及び前記補正量設定手段で設定された補 正量に基づいて、前記入力手段で入力された画像データに対して補正処理を施す 補正処理手段とを有することを特徴とする画像処理装置。
[19] 前記撮影条件判別手段において判別される撮影条件は、逆光、ストロボ近接、アン ダー及びオーバーから選ばれる少なくとも 1つであり、前記補正量設定手段は、撮影 条件が逆光、ストロボ近接、アンダー及びオーバーから選ばれる少なくとも 1つの撮 影条件における補正量を設定することを特徴とする請求の範囲第 18項に記載の画 像処理装置。
[20] 前記補正量設定手段で設定された補正量を、前記補正処理手段で補正処理が施さ れた画像データと対応付けて記録する記録手段を有することを特徴とする請求の範 囲第 18項又は第 19項に記載の画像処理装置。
[21] 表示手段を有し、前記指標算出手段で算出された指標を表示する表示手段を有す ることを特徴とする請求の範囲第 14項乃至第 20項の何れか 1項に記載の画像処理 装置。
[22] 前記撮影条件判別手段で判別された撮影条件を表示する表示手段を有することを 特徴とする請求の範囲第 14項乃至第 21項の何れか 1項に記載の画像処理装置。
[23] 前記指標算出手段は、前記入力手段で入力された画像データを所定領域毎に、所 定の明度と色相とで分割された複数の階級に分類したときの、当該分類された階級 に属する画像データが画像データ全体に占める割合を示す第 1の占有率を算出し、 算出された第 1の占有率に基づいて光源条件を表す指標を算出することを特徴とす る請求の範囲第 14項乃至第 22項の何れか 1項に記載の画像処理装置。
[24] 前記指標算出手段は、前記入力手段で入力された画像データを所定領域毎に、当 該画像データで表される画像の外縁からの距離と明度の組み合わせからなる所定の 階級に分類し、当該分類された階級に属する画像データが画像データ全体に占め る割合を示す第 2の占有率を算出し、算出された第 2の占有率に基づいて光源条件 を表す指標を算出することを特徴とする請求の範囲第 14項乃至第 23項の何れか 1 項に記載の画像処理装置。
[25] 前記指標算出手段は、前記入力手段で入力された画像データの階調分布の偏りを 示す偏倚量を算出し、算出された偏倚量に基づいて露出条件を表す指標を算出す ることを特徴とする請求の範囲第 14項乃至第 24項の何れか 1項に記載の画像処理 装置。
[26] 前記指標算出手段は、偏倚量として、前記入力手段で入力された画像データの明る さの偏差量、前記入力手段で入力された画像データの画面中央部における明るさの 平均値、異なる条件で算出された明るさの差分値のうちの少なくとも 1つを含むことを 特徴とする請求の範囲第 25項に記載の画像処理装置。
[27] 請求の範囲第 1項乃至第 13項の何れ力 1項に記載の画像処理方法をコンピュータ に実行させることを特徴とする画像処理プログラム。
[28] 請求の範囲第 14項乃至第 26項の何れか 1項に記載の画像処理装置を備えたことを 特徴とする撮像装置。
PCT/JP2005/022915 2005-01-17 2005-12-14 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置 WO2006075472A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005008864A JP2006197460A (ja) 2005-01-17 2005-01-17 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置
JP2005-008864 2005-01-17

Publications (1)

Publication Number Publication Date
WO2006075472A1 true WO2006075472A1 (ja) 2006-07-20

Family

ID=36677504

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/022915 WO2006075472A1 (ja) 2005-01-17 2005-12-14 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置

Country Status (2)

Country Link
JP (1) JP2006197460A (ja)
WO (1) WO2006075472A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4854431B2 (ja) * 2006-08-31 2012-01-18 キヤノン株式会社 画像処理装置およびその方法
JP4806329B2 (ja) * 2006-10-23 2011-11-02 三洋電機株式会社 撮像装置及び撮像方法
KR101518722B1 (ko) * 2008-08-18 2015-05-15 삼성테크윈 주식회사 안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339057A (ja) * 2002-03-15 2003-11-28 Canon Inc 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339057A (ja) * 2002-03-15 2003-11-28 Canon Inc 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム

Also Published As

Publication number Publication date
JP2006197460A (ja) 2006-07-27

Similar Documents

Publication Publication Date Title
KR100861386B1 (ko) 촬상장치 및 화상 처리 방법
AU2016200002B2 (en) High dynamic range transition
JP2012100173A (ja) 撮像装置撮像装置、撮像システム、及び撮像装置の制御方法
US20100265356A1 (en) Image processing method, image processing apparatus, image capturing appartus and image processing program
JP2007184888A (ja) 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム
WO2006126347A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
US7768555B2 (en) Image processing apparatus, image processing program, and image processing method
JP4221577B2 (ja) 画像処理装置
WO2006109702A1 (ja) 画像処理装置と撮像装置、および画像処理プログラム
WO2006077702A1 (ja) 撮像装置、画像処理装置及び画像処理方法
WO2006075472A1 (ja) 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置
JP2007228221A (ja) 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム
WO2006033235A1 (ja) 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム
JP2007243542A (ja) 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム
JP2007311895A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP4800724B2 (ja) 人物画像補正装置、人物画像補正方法および人物画像補正プログラム
WO2006033236A1 (ja) 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム
JP2007184887A (ja) 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム
JP2006190154A (ja) 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置
JP2007288245A (ja) 撮像装置、画像処理方法及び画像処理プログラム
WO2006077703A1 (ja) 撮像装置、画像処理装置及び画像記録装置
JP2006203571A (ja) 撮像装置、画像処理装置及び画像記録装置
JP2007201679A (ja) 撮像装置、画像処理方法、及び画像処理プログラム
JP2007235369A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2007243556A (ja) 撮像装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 05816807

Country of ref document: EP

Kind code of ref document: A1

WWW Wipo information: withdrawn in national office

Ref document number: 5816807

Country of ref document: EP