WO2006126347A1 - 撮像装置、画像処理方法及び画像処理プログラム - Google Patents

撮像装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2006126347A1
WO2006126347A1 PCT/JP2006/308276 JP2006308276W WO2006126347A1 WO 2006126347 A1 WO2006126347 A1 WO 2006126347A1 JP 2006308276 W JP2006308276 W JP 2006308276W WO 2006126347 A1 WO2006126347 A1 WO 2006126347A1
Authority
WO
WIPO (PCT)
Prior art keywords
index
class
calculated
image
shooting
Prior art date
Application number
PCT/JP2006/308276
Other languages
English (en)
French (fr)
Inventor
Daisuke Sato
Takeshi Nakajima
Hiroaki Takano
Tsukasa Ito
Motoshi Yamaguchi
Original Assignee
Konica Minolta Photo Imaging, Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Photo Imaging, Inc. filed Critical Konica Minolta Photo Imaging, Inc.
Publication of WO2006126347A1 publication Critical patent/WO2006126347A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene

Definitions

  • Imaging apparatus image processing method, and image processing program
  • the present invention relates to an imaging device, an image processing method, and an image processing program.
  • a plurality of average brightness information is obtained by averaging brightness information for each divided region obtained by photometry means in at least one of the row direction and the column direction.
  • the backlight compensation is determined by calculating the tendency of the brightness change within the shooting range, and the exposure correction amount is calculated from the slope of the average luminance value within the shooting range.
  • subject information such as the strength of the contrast in the screen and the luminance distribution state is obtained from the divided photometry results, and the tone conversion characteristics of the image data are optimized from the subject information. ing.
  • Patent Document 1 Japanese Patent Laid-Open No. 2002-296635
  • Patent Document 2 Japanese Patent Laid-Open No. 2001-54014
  • Patent Document 1 in the case of typical backlight photography, Although it is possible to correctly determine the backlight, there is a problem that since only the luminance information is used, the shooting scene cannot be correctly determined unless the typical composition is applied.
  • the exposure correction amount is calculated from the slope of the average luminance value, but it is not necessarily a quantitative representation of the shooting scene that does not necessarily take into account the brightness of the main subject. There was a problem.
  • the gradation conversion characteristics are changed depending on the contrast strength, but the shooting scene cannot be determined with high accuracy. Therefore, an appropriate gradation is selected according to the shooting scene. There was a problem that could not be selected.
  • An object of the present invention is to calculate an index representing a shooting scene with high accuracy from the divided photometric data, and to obtain preferable captured image data based on the calculated index.
  • the invention described in claim 1 provides an acquisition unit that acquires a whole image obtained by photographing as a divided image including a plurality of divided regions, and each of the whole images.
  • color information acquisition means for acquiring color information, and based on the color information acquired by the color information acquisition means, each of the divided areas is classified into a predetermined class that is a combination of brightness and hue. Then, for each classified class, a first occupancy ratio indicating a ratio of the divided area belonging to the class to the entire image is calculated, and each divided area is determined as a distance from an outer edge of the screen of the entire image.
  • Occupancy ratio calculating means for classifying into a predetermined class that is a combination of lightness and calculating a second occupancy ratio indicating the ratio of the divided area belonging to the class to the entire image for each classified class;
  • the above The first index and the second index for specifying the shooting scene are calculated by multiplying the occupation ratio of 1 by two different coefficients set in advance according to the shooting conditions.
  • an index calculating means for calculating a third index for specifying the shooting scene by multiplying the occupation ratio by a coefficient set in advance according to the shooting conditions.
  • the invention described in claim 2 is the imaging apparatus according to claim 1, in which the average luminance value of the skin color at the center of the screen of the whole image and the maximum of the whole image are displayed.
  • the fourth index for identifying the shooting scene is calculated by multiplying the difference value between the brightness value and the average brightness value by a coefficient set in advance according to the shooting conditions. It is characterized by having 4 index calculation means.
  • the invention according to claim 3 is the imaging device according to claim 1 or 2, wherein at least the first index of the calculated indices, An exposure control is performed based on the second index, the third index, and the fourth index, and an imaging control unit that performs imaging at the adjusted exposure level is provided.
  • the invention according to claim 4 is the imaging apparatus according to any one of claims 1 to 3, wherein at least the first of the calculated indexes.
  • a gradation adjustment determining unit that determines a gradation adjustment method for captured image data obtained by photographing based on the first index, the second index, the third index, and the fourth index; It is said.
  • the invention according to claim 5 is the imaging apparatus according to any one of claims 1 to 4, wherein at least the first of the calculated indices is used.
  • the image processing apparatus is characterized by further comprising a discriminating means for discriminating a photographic scene of the whole image based on one index, the second index, the third index, and the fourth index.
  • the invention according to claim 6 is the imaging device according to any one of claims 1 to 5, wherein the predetermined class is a class having the lowest brightness. It is characterized by a wider brightness range in the highest brightness class than in the brightness range.
  • the invention described in claim 7 is the image pickup device according to claim 6, wherein the predetermined class has at least three classes within a brightness value of 25. It is said.
  • the invention according to claim 8 provides an acquisition step of acquiring an entire image obtained by photographing as a divided image composed of a plurality of divided areas, and color information about each divided area of the entire image.
  • the color information acquisition step of acquiring the color information and the color information acquired by the color information acquisition step classify each of the divided areas into a predetermined class consisting of a combination of brightness and hue, and for each classified class.
  • a first occupancy ratio indicating a ratio of the divided areas belonging to the class to the entire image is calculated, and each divided area is determined based on a combination of the distance from the outer edge of the screen of the entire image and the brightness.
  • a first index and a second index are calculated, and a third index for specifying a shooting scene is obtained by multiplying the second occupation ratio by a coefficient set in advance according to the shooting conditions.
  • the invention according to claim 9 is the image processing method according to claim 8, in which the average luminance value of the skin color at the center of the screen of the whole image and the whole image Calculate the fourth index for identifying the shooting scene by multiplying each difference value between the maximum brightness value and the average brightness value by a coefficient set in advance according to the shooting conditions. It is characterized by including a process.
  • the invention according to claim 10 is the image processing method according to claim 8 or 9, wherein at least the first index among the calculated indices, The exposure level is adjusted based on the second index, the third index, and the fourth index, and a shooting control step for shooting at the adjusted exposure level is included.
  • the invention according to claim 11 is the image processing method according to any one of claims 8 to 10, in which at least the first of the calculated indices is selected. Including a gradation adjustment determination step for determining a gradation adjustment method for captured image data obtained by photographing based on the first index, the second index, the third index, and the fourth index. It is a feature.
  • the invention according to claim 12 is the image processing method according to any one of claims 8 to 11, in which at least the first of the calculated indices is selected. It includes a discrimination step of discriminating a photographing scene of the whole image based on 1 index, the second index, the third index, and the fourth index.
  • the invention according to claim 13 is the image processing method according to any one of claims 8 to 12, wherein the predetermined class is a class with the lowest brightness. It is characterized by the fact that the brightness range in the highest brightness class is wider than the brightness range.
  • the invention according to claim 14 is the image processing method according to claim 13, wherein the predetermined class has at least three classes within a brightness value of 25. It is said.
  • the invention according to claim 15 is a computer for executing image processing, wherein the computer obtains an entire image obtained by photographing as a divided image consisting of a plurality of divided regions, and For each divided area of the entire image, based on the color information acquisition function for acquiring color information and the color information acquired by the color information acquisition function, each divided area is a predetermined combination of brightness and hue. For each classified class, a first occupancy ratio indicating a ratio of the divided area belonging to the class to the entire image is calculated, and each divided area is defined as an outer edge of the screen of the entire image. Occupy a second class of occupancy that represents the ratio of the divided area belonging to the class to the whole image for each class.
  • the invention according to claim 16 is the image processing program according to claim 15, in which the average luminance value of the skin color at the center of the screen of the whole image and the whole image are displayed. Calculate the fourth index for identifying the shooting scene by multiplying the difference between the maximum brightness value and the average brightness value by a coefficient set in advance according to the shooting conditions. It is characterized by having a function.
  • the invention according to claim 17 is the image processing program according to claim 15 or 16, wherein at least the first index among the calculated indices is provided.
  • the present invention is characterized in that an exposure level is adjusted based on the second index, the third index, and the fourth index, and a shooting control function for performing shooting at the adjusted exposure level is provided.
  • the invention according to claim 18 is any one of claims 15 to 17.
  • it is obtained by photographing based on at least the first index, the second index, the third index, and the fourth index among the calculated indices. It has a gradation adjustment determination function for determining a gradation adjustment method for photographed image data.
  • the invention according to claim 19 is the image processing program according to any one of claims 15 to 18, in which at least the calculated index is at least as described above. It has a discriminating function for discriminating a shooting scene of the whole image based on the first index, the second index, the third index, and the fourth index.
  • the invention according to claim 20 is the image processing program according to any one of claims 15 to 19, wherein the predetermined class is the lowest lightness class. It is characterized by the fact that the brightness range in the highest brightness class is wider than the brightness range.
  • the invention described in claim 21 is the image processing program according to claim 23, wherein the predetermined class has at least three classes within a brightness value of 25. It is characterized by that.
  • the shooting scene can be accurately obtained from the entire image obtained by shooting.
  • An indicator can be calculated.
  • the index for representing the photographed scene with high accuracy is used, so that the level of the photographed image data obtained by the photographing is reduced.
  • the adjustment method can be determined accurately.
  • FIG. 1 is a diagram showing an external configuration of an imaging apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an internal configuration of the imaging apparatus according to the present embodiment.
  • FIG. 3 is a block diagram showing an internal configuration of the processor.
  • FIG. 4 Whole image obtained by preliminary shooting (a), and the whole image divided into M X N cells (b).
  • FIG. 5 is a flowchart showing the overall flow of processing executed in the imaging apparatus.
  • FIG. 6 is a flowchart showing a shooting scene discrimination process.
  • FIG. 7 is a flowchart showing color space conversion processing.
  • FIG. 8 is a diagram showing an example of a program for converting RGB power into the HSV color system.
  • FIG. 9 is a flowchart showing occupation ratio calculation processing.
  • Figure 10 A diagram showing a class consisting of brightness and hue.
  • Region nl ⁇ which is determined according to the distance from the outer edge of the screen of the whole image obtained by preliminary shooting! Figure (a) showing ⁇ 3 and region nl ⁇ ! Figure (b) showing the rank of ⁇ 3 and brightness.
  • FIG. 12 is a flowchart showing index calculation processing.
  • FIG. 13 is a diagram showing a curve representing a first coefficient for multiplying the first occupancy for calculating index 1;
  • FIG. 14 is a diagram showing a curve representing a second coefficient for multiplying the first occupancy for calculating index 2;
  • FIG. 15 is a diagram showing, by region (nl to n3), curves representing a third coefficient for multiplying the second occupancy rate for calculating index 3;
  • FIG. 16 is a flowchart showing index 4 calculation processing.
  • FIG. 17 is a diagram showing the relationship between the index and the shooting scene.
  • FIG. 18 is a flowchart showing exposure level adjustment processing.
  • FIG. 19 is a flowchart showing tone conversion processing.
  • FIG. 20 is a diagram showing a gradation conversion curve corresponding to each gradation adjustment method.
  • FIG. 22 A diagram ((a) and (b)) explaining deletion of a low luminance region and a high luminance region of the luminance histogram power, and a diagram ((c) and (c) d)).
  • FIG. 23 is a diagram showing a gradation conversion curve representing a gradation conversion condition when a shooting scene is backlit or under.
  • FIG. 1 (a) shows a front view of the imaging apparatus 1 according to the embodiment of the present invention
  • FIG. 1 (b) shows a rear view of the imaging apparatus 1.
  • the imaging device 1 is, for example, a digital camera, and has a cross key 22, a photographing optical system 23, a flash 24, a finder 25, a power supply, on the inside or the surface of a housing 21 made of a material such as metal or synthetic resin.
  • a switch 26, a display unit 27, and a release button 28 are provided.
  • FIG. 2 shows the internal configuration of the imaging apparatus 1.
  • the imaging device 1 includes a processor 31, a memory 32, an imaging device 33 such as a CCD (Charge Coupled Device), a shirt unit 34, an aperture unit 35, and a display unit 27.
  • CCD Charge Coupled Device
  • the cross key 22 is composed of buttons in four directions, up, down, left and right, and is used by the user to select or set various modes.
  • the photographing optical system 23 includes a plurality of lenses, a lens barrel, and the like, and has a zoom function.
  • the photographing optical system 23 forms an image on the image sensor 33 with the light received by the lens.
  • the flash 24 emits auxiliary light by a control signal from the processor 31 when the subject brightness is low.
  • the viewfinder 25 is used by the user to check the shooting target and shooting area by eye contact.
  • the power switch 26 is a switch for operating ON / OFF of the image pickup apparatus 1.
  • the display unit 27 is configured by a liquid crystal panel, and displays an image currently captured on the image sensor 33, an image captured in the past, a menu screen, a setting screen, and the like according to a display control signal input from the processor 31. .
  • the release button 28 is a two-stage push-in switch that is provided on the upper surface of the casing 21 and can detect a half-pressed state (preliminary shooting) and a fully-pressed state (main shooting) by the user.
  • FIG. 3 shows the internal configuration of the processor 31.
  • the processor 31 controls the operation of each unit of the imaging apparatus 1.As shown in FIG. 3, the entire image acquisition unit 101, the color information acquisition unit 102, the occupation rate calculation unit 103, the index calculation unit 104, Shooting scene discrimination unit 105, shooting control unit 106
  • the gradation adjustment determining unit 107 is configured.
  • the entire image acquisition unit 101 acquires image data of the latest entire image (entire image obtained by preliminary shooting) captured on the image sensor 33 at the timing when the release button 28 is half-pressed. Then, the entire image is divided into N X M rectangular regions (regions equally divided into M pieces in the vertical direction and N pieces in the horizontal direction).
  • FIG. 4 (a) shows an example of the whole image
  • FIG. 4 (b) shows an example in which the whole image is divided into 11 ⁇ 7 areas.
  • the number of divided areas is not particularly limited. In the present embodiment, each area obtained by the division is referred to as “cell”.
  • the force for obtaining the whole image by preliminary shooting is limited to this.
  • the color information acquisition unit 102 acquires the color information of each cell.
  • the color information acquisition method by the color information acquisition unit 102 will be described in detail later with reference to FIGS.
  • the occupancy rate calculation unit 103 classifies each cell of the entire image into a predetermined class that also has a combination of brightness and hue (see FIG. 10). For each classified class, a first occupancy ratio indicating the ratio of cells belonging to the class to the entire image is calculated. In addition, the occupancy rate calculation unit 103 classifies each cell into a predetermined class that also has a combined power of distance and brightness from the outer edge of the screen of the entire image (see FIG. 11), and for each classified class, the corresponding class. Calculate the second occupancy ratio indicating the ratio of cells belonging to to the entire image.
  • the occupation rate calculation process executed by the occupation rate calculation unit 103 will be described in detail later with reference to FIG.
  • the index calculation unit 104 multiplies the first occupancy calculated by the occupancy rate calculation unit 103 by a coefficient set in advance according to the shooting condition, thereby specifying a first photographic scene.
  • the second and second indicators are calculated.
  • the index calculation unit 104 multiplies the second occupancy calculated by the occupancy calculation unit 103 by a coefficient set in advance according to the shooting condition, thereby specifying a third scene for specifying the shooting scene. Calculate the indicator.
  • the index calculation unit 104 multiplies each of the average luminance value in the central portion of the screen of the entire image and the difference value between the maximum luminance value and the average luminance value by a coefficient set in advance according to the shooting conditions. By Calculate the fourth index to identify the shadow scene.
  • the index calculation unit 104 is a coefficient set in advance for each of the average luminance value (index 4 ') of the skin color area in the center of the screen of the entire image, and the index 1 and the index 3, depending on the shooting conditions
  • the new index 5 is calculated by multiplying and taking the sum.
  • the index calculation unit 104 calculates a new index 6 by multiplying the average luminance value, the index 2 and the index 3 by a coefficient set in advance according to the shooting conditions, and taking the sum. .
  • the index calculation process executed in the index calculation unit 104 will be described in detail later with reference to FIG.
  • the shooting scene determination unit 105 determines the shooting scene of the entire image obtained by the preliminary shooting based on each index calculated by the index calculation unit 104.
  • the shooting scene indicates a light source condition when shooting a subject such as a front light, a back light, a proximity flash, etc., and is not limited to a main subject (a power that mainly indicates a person). This includes the degree of over or under). The method for determining the shooting scene will be described later in detail.
  • the imaging control unit 106 determines the exposure level required for the actual shooting based on each index (indexes 4 to 6) calculated by the index calculation unit 104 and the determination result in the imaging scene determination unit 105. (See Fig. 18).
  • the gradation adjustment determination unit 107 determines a gradation adjustment method (see FIG. 20) for the captured image data obtained by the actual imaging based on the imaging scene determined by the imaging scene determination unit 105. Further, the gradation adjustment determination unit 107 determines a gradation adjustment amount for gradation adjustment with respect to the captured image data obtained by the actual photographing based on each index calculated by the index calculation unit 104. A method for determining the gradation adjustment amount will be described in detail later.
  • each unit in the processor 31 is basically performed by software processing, for example, by executing a program stored (saved) in the memory 32 for a part of the power performed by hardware processing.
  • the memory 32 stores (saves) image data obtained by photographing.
  • the memory 32 stores various processing programs executed in the imaging apparatus 1, data used in the processing programs, and the like.
  • the image sensor 33 converts the imaged light into electric charges.
  • image data can be obtained.
  • This image includes objects in the imaging range (imaging range), that is, an object to be imaged (target object for imaging) and other objects (background).
  • imaging range imaging range
  • object to be imaged target object for imaging
  • background background
  • RG an image of the entire shooting range
  • the B value is represented by, for example, 256 gradations.
  • the shirt unit 34 controls the timing for resetting the image sensor 33 and the timing for charge conversion based on the state (half-pressed state or fully-pressed state) detected by the release button 28.
  • the amount of light received by the image sensor 33 can be adjusted by adjusting the aperture unit 35 and
  • main subject mainly a person
  • step Sl when the power switch 26 is turned on (when the power is turned on), preprocessing such as resetting of the memory 32 is performed (step Sl).
  • the user directs the imaging device 1 toward the main subject so that the main subject enters the field of the imaging device 1, and starts an operation for photographing.
  • step S2 When the release button 28 is pressed halfway (step S2; YES), preliminary shooting is performed, and image data of the entire image obtained by the preliminary shooting is acquired as a divided image composed of a plurality of divided regions (step S3). ).
  • step S4 information about the lens is acquired (step S4), and further switch information such as mode and switch setting is acquired (step S5).
  • step S6 based on the data (information) acquired in steps S3 to S5, a shooting scene determination process for determining the shooting scene of the entire image is performed (step S6).
  • the shooting scene determination process in step S6 will be described later with reference to FIG.
  • step S6 an exposure level adjustment process is performed to adjust the exposure level necessary for the actual shooting based on each index obtained in the shooting scene determination process and the determination result of the shooting scene. (Step S7).
  • the exposure level adjustment process in step S7 will be described later with reference to FIG.
  • step S8 the total image force display unit 27 acquired in step S3 (Step S8).
  • step S9; YES the other conditions for the actual shooting are met and standby is completed
  • step S10; YES the release button 28 is fully pressed
  • step Sl l the actual shooting operation process is performed (step Sl l). ).
  • step SI 1 the image data (captured image data) of the entire image when the release button 28 is fully pressed is acquired, and the storage medium (SD memory card or multimedia card (MMC), etc.) Is recorded. Also, the captured image data obtained by the actual photographing is displayed on the display unit 27.
  • SD memory card or multimedia card (MMC), etc. the storage medium
  • step S 12 gradation conversion processing is performed on the captured image data. While the power switch 26 is ON, the process returns to step S1, and when the release button 28 is fully pressed through the half-pressed state again by the user, the processes of steps S3 to S12 are repeated. On the other hand, when the power switch 26 is turned off (step S13; YES), the operation in the imaging device 1 is finished.
  • step S6 in FIG. 5 the shooting scene discrimination process (step S6 in FIG. 5) will be described with reference to the flowchart in FIG. 6 and FIGS. 7 to 17.
  • the shooting scene discrimination processing includes color space conversion processing (step S20), occupation rate calculation processing (step S21), index calculation processing (step S22), and shooting scene discrimination (step S23). It consists of each process.
  • the processing shown in FIG. 6 will be described in detail with reference to FIGS.
  • step S20 in FIG. 6 the color space conversion process (step S20 in FIG. 6) will be described with reference to the flowchart in FIG.
  • step S25 information indicating the RGB value, luminance value, and white balance of each cell of the entire image obtained by the preliminary shooting is acquired (step S25).
  • These values are average values such as RGB values and luminance values of each pixel included in the cell, and can be easily obtained by known hardware processing.
  • As the luminance value a value calculated by substituting the RGB value into a known conversion formula may be used.
  • the RGB value acquired in step S25 is converted into the HSV color system, and the color information of the entire image is acquired (step S26).
  • the HSV color system represents three elements of image data: Hue, Saturation, and Lightness (Value or Brightness), and is based on the color system proposed by Munsell. It has been devised.
  • Fig. 8 shows an example of a conversion program (HSV conversion program) that obtains hue, saturation, and brightness by converting from RGB to the HSV color system in program code (c language). .
  • the digital image data values that are input image data are defined as InR, InG, InB, the calculated hue value is defined as OutH, the scale is defined as 0 to 360, and the saturation The value is OutS, the brightness value is OutV, and the unit is defined as 0 to 255.
  • “brightness” means “brightness” generally used unless otherwise noted.
  • V (0 to 255) of the HSV color system is used as “brightness”, but a unit system representing the brightness of any other color system may be used.
  • numerical values such as various coefficients described in the present embodiment are recalculated.
  • H means “color” generally used unless otherwise noted.
  • H (0 to 360) in the HSV color system is used as “hue”, but for example, a color represented by a red difference value (Cr) or a blue difference value (Cb) may be used.
  • Cr red difference value
  • Cb blue difference value
  • the color information acquisition unit 102 acquires the values of H, S, and V obtained as described above as color information.
  • step S21 in FIG. 6 the occupation rate calculation process (step S21 in FIG. 6) will be described with reference to the flowchart in FIG.
  • each cell of the entire image is classified into a predetermined class that is a combination power of hue and brightness, and the cumulative number of cells for each classified class is calculated.
  • a two-dimensional histogram is created by calculation (step S30).
  • FIG. 10 shows a class that also has the combined power of lightness and hue.
  • the lightness (V) is the lightness value power -5 (vl), 6-12 (v2), 13-24 (v3), 25-76 (v4), 77-109 (v5), 110-149 It is divided into 7 areas (v6), 150-255 (v7).
  • the lightness range in the highest lightness class is wider than the lightness range in the lowest lightness class.
  • Hue (H) is a skin color hue region (HI and H2) with a hue value of 0 to 39, 330 to 359, a green hue region (H3) with a hue value of 40 to 160, and a hue value of 61 to 250. Divided into four areas: blue hue area (H4) and red hue area (H5). The red hue area (H5) Based on the knowledge that there is little contribution to discrimination, it is not used in the following calculations.
  • Hue '(H) Hue) + 60 (0 ⁇ Hue) (when 300);
  • Hue '(H) Hue (H)-300 (when 300 ⁇ Hue (H) ⁇ 360).
  • Luminance (Y) InR X 0.30 + InG X 0.59 + InB X 0.11 (A)
  • each cell force of the entire image is classified into a predetermined class composed of a combination of the distance from the outer edge of the screen and the brightness, and the cumulative number of cells is calculated for each classified class.
  • a two-dimensional histogram is created (step S31).
  • FIG. 11 (a) shows three regions nl to n3 divided in step S31 according to the distance from the outer edge of the screen of the entire image! Area nl is the outer frame, area n2 is the inner area of the outer frame, and area n3 is the central area of the entire image.
  • the brightness is divided into seven regions vl to v7 as described above.
  • step S30 When a two-dimensional histogram is created in step S30, the first number indicating the percentage of the total number of cells (NXM) of the cumulative cell number calculated for each predetermined class that also has the combined power of lightness and hue is shown.
  • the occupation ratio is calculated (step S32).
  • Table 1 shows the first occupancy in each class, where Rij is the first occupancy calculated in the class that is the combined force of the lightness region vi and the hue region Hj.
  • step S31 When the two-dimensional histogram is created in step S31, the number of cumulative cells calculated for each predetermined class, which is the combined power of the distance from the outer edge of the screen and the brightness, is shown in the total cell number. 2Occupancy rate is calculated (step S33), and this occupancy rate calculation process ends. Table 2 shows the second occupancy in each class, where Qij is the second occupancy calculated in each class that also has the combined power of the brightness area vi and the screen area nj.
  • a three-dimensional histogram may be created by classifying each cell into a class composed of a distance from the outer edge of the screen, brightness, and hue, and calculating the cumulative number of cells for each classified class.
  • a method using a two-dimensional histogram is adopted.
  • step S22 in FIG. 6 the index calculation process (step S22 in FIG. 6) will be described with reference to the flowchart in FIG.
  • the first occupancy calculated for each class in the occupancy calculation process is multiplied by two different coefficients (first coefficient and second coefficient) set in advance according to the shooting conditions.
  • the index 1 and index 2 for specifying the shooting scene are calculated (step S40).
  • the index 1 is an index representing the degree of overshoot of the main subject, and is for separating only the image that should be determined as “the main subject is over” from other shooting scene forces.
  • Index 2 is an index that represents the characteristics of backlight shooting such as sky blue high brightness and facial color low brightness. Thus, only the images that should be identified as “backlight” and “main subject is under” are separated into other shooting scene forces.
  • Table 3 shows the first coefficient necessary for calculating index 1 by class.
  • the coefficient of each class shown in Table 3 is a weighting coefficient that is multiplied by the first occupation ratio Rij of each class shown in Table 1, and is preset according to the shooting conditions.
  • a positive (+) coefficient is used for the first occupancy calculated for the region force distributed in the skin tone hue region (HI) of high brightness (v6), and other hues are used.
  • a negative (-) coefficient is used for the first occupancy calculated from the blue hue region.
  • Figure 13 shows a curve (coefficient curve) in which the first coefficient in the flesh-color area (HI) and the first coefficient in the other areas (green hue area (H3)) change continuously over the entire brightness. ).
  • the sign of the first coefficient in the skin color region (HI) is positive (+) and the other regions (e.g. green In the hue region (H3)), the sign of the first coefficient is negative (-), indicating that the signs of the two are different.
  • H2 region R12 X (-2) + R22 X (-1) + (omitted) ... + R72 X (-10) (2-2)
  • H3 region sum R13 X 5 + R23 X (-2) + (omitted) ... + R73 X (-12) (2-3)
  • H4 region sum R14 X 0 + R24 X (-1) + (Omitted) ... + R74 X (-12) (2-4)
  • Index 1 is defined as equation (3) using the sum of the H1 to H4 regions shown in equations (2-1) to (2-4).
  • Indicator 1 Sum of H1 regions + Sum of H2 regions + Sum of H3 regions + Sum of H4 regions + 1.5 (3)
  • Table 4 shows the second coefficient necessary for calculating indicator 2 by class. Show.
  • the coefficient of each class shown in Table 4 is a weighting coefficient to be multiplied by the first occupation ratio Rij of each class shown in Table 1, and is preset according to the shooting conditions.
  • FIG. 14 shows the second coefficient in the skin color region (HI) as a curve (coefficient curve) that continuously changes over the entire brightness.
  • the sign of the second coefficient in the intermediate lightness region with a lightness value of 25 to 150 in the flesh tone hue region is negative (-), and the low lightness (shadow) region with a lightness value of 6 to 24 The second coefficient is 0, indicating that there is a large difference between the two coefficients.
  • H4 area sum R14 X 0 + R24 X (-1) + (omitted) ... + R74 X 3 (4-4)
  • Index 2 is defined as equation (5) using the sum of the H1 to H4 regions shown in equations (4-1) to (4-4).
  • Index 1 and index 2 are all images Since it is calculated on the basis of the brightness and hue distribution amount, it is effective for discrimination of a shooting scene when the entire image is a color image.
  • index 1 and index 2 are calculated, the second factor calculated for each class in the occupancy rate calculation process is set to a third factor (first factor set in advance according to the shooting conditions).
  • the index 3 for specifying the shooting scene is calculated by multiplying the sum by multiplying by a coefficient different from the second coefficient (step S41).
  • Index 3 shows the difference in the contrast between the center and outside of the screen of the image data between the backlight with the main subject under and the image with the main subject over.
  • Table 5 shows the third coefficient necessary for calculating Indicator 3 by class.
  • the coefficient of each class shown in Table 5 is a weighting coefficient that is multiplied by the second occupation ratio Qij of each class shown in Table 2, and is preset according to the shooting conditions.
  • FIG. 15 shows the third coefficient in the screen areas nl to n3 as a curve (coefficient curve) that continuously changes over the entire brightness.
  • Equation 3 Sum of nk regions Qik ⁇ Eik (6)
  • n2 area sum Q12 X 5 + Q22 X 3 + (omitted) ... + Q72 X 0 (6-2)
  • Indicator 3 Sum of nl region + Sum of n2 region + Sum of n3 region + 0.7 (7)
  • Index 3 is calculated based on compositional characteristics (distance from the outer edge of the screen of the entire image) according to the distribution position of the brightness of the entire image, so that it can discriminate not only color images but also monochrome images. It is also effective.
  • a third coefficient that is multiplied by a second occupancy ratio that is calculated as a predetermined class force of the distance and brightness of the outer edge force of the screen It is possible to calculate an index for discriminating a scene with higher accuracy by changing the weight of the image.
  • an index 4 for specifying the shooting scene is calculated by multiplying a coefficient set in advance according to the shooting conditions (step S42).
  • the luminance Y is calculated from the RGB (Red, Green, Blue) values of the image data of the entire image using Equation (A).
  • the average luminance value xl of the skin color area at the center of the screen of the entire image is calculated (step S50).
  • the center of the screen is, for example, an area constituted by the area n3 shown in FIG. 11 (a).
  • the difference value x2 maximum luminance value ⁇ average luminance value between the maximum luminance value and the average luminance value of the entire image is calculated (step S51).
  • the standard deviation x3 of the brightness of the entire image is calculated (step S52), and the average brightness value x4 at the center of the screen is calculated (step S53).
  • a comparison value x5 is calculated between the difference value between the maximum luminance value Yskin—max and the minimum luminance value Yskin—min of the skin color region in the entire image and the average luminance value Yskin_ave of the skin color region (step S54).
  • This comparison value x5 is expressed as the following formula (8-1).
  • x5 (Yskin_max-Yskin_min) / 2—Yskin one ave (8-1)
  • index 4 is calculated by multiplying each of the values xl to x5 calculated in steps S50 to S54 by a fourth coefficient set in advance according to the shooting conditions, and taking the sum ( Step S55), the index 4 calculation process ends.
  • This index 4 has brightness histogram distribution information that is not only the compositional characteristics of the screen of the whole image obtained in the preliminary shooting, and is particularly effective for distinguishing between the shooting scenes where the main subject is over and the under shooting scenes. It is.
  • index 5 is obtained by multiplying indices 1 to 3 and the average luminance value of the skin color area in the center of the entire image by a weighting factor set in advance according to the shooting conditions. And index 6 are calculated (step S43), and this index calculation process ends.
  • index 4 ' The average luminance value of the skin color area in the center of the screen of the whole image obtained in the preliminary shooting is designated as index 4 '.
  • the center of the screen is, for example, an area composed of the area 112 and the area 113 in FIG.
  • index 5 is defined as shown in equation (9) using index indicators 3 and 4 '
  • index 6 is expressed as equation (10) using indicators 2, 3, and 4'. Defined.
  • Indicator 5 0.54 X indicator 1 + 0.50 X indicator 3 + 0.01 X indicator 4 '0.65 (9)
  • Indicator 6 0.83 X Indicator 2 + 0.23 X Indicator 3 + 0.01 X Indicator 4 '-1.17 (10)
  • the average luminance value for example, the overall average luminance value
  • a simple addition average value of the individual luminance data obtained from each light receiving unit of the imaging apparatus 1 may be obtained, or imaging may be performed. Similar to center-weighted average metering, which is often used as the metering method for device 1. Alternatively, a method may be used in which the luminance data obtained from the light receiving unit near the periphery of the screen is reduced in weight and the addition average value is obtained by weighting the luminance data obtained from the light receiving unit near the center of the screen.
  • the luminance data obtained from the vicinity of the light receiving unit corresponding to the focus detection area is weighted higher, and the weight data obtained from the light receiving unit away from the focus detection position force is weighted to obtain the addition average value.
  • a technique or the like may be used.
  • the photographic scene is determined based on the values of these indices (step S23).
  • Table 6 shows the contents of scene discrimination based on the values of index 4, index 5, and index 6.
  • FIG. 17 is a discrimination map representing the discrimination contents shown in Table 6 using the coordinate system of the index 46.
  • an exposure adjustment value is calculated so that the appropriate exposure is obtained in the actual shooting (step S60).
  • the exposure adjustment value (EV) is defined as in equation (11).
  • Exposure adjustment value Adjustment value X ⁇ (Index 4Z6) Weight of X index 4 + (Index 5Z6) Weight of X index 5 + (Index 6Z6) Weight of X index 6 ⁇ (11)
  • Table 7 shows the adjustment value, the weight of index 4, the weight of index 5, and the weight of index 6 in equation (11). As shown in Table 7, the adjustment value and the weight of each index are set according to the determined scene. Note that the method for calculating the exposure correction value is not particularly limited to the equation (11). For example, the exposure correction value may be calculated based on the average luminance value and the index value of the cell determined as the skin color.
  • Main subject is over -0.5 0.3 0.7 0.0
  • the aperture unit 35 (or the shirt unit 34) is controlled based on the exposure adjustment value calculated in step S60 (step S61), and the exposure level adjustment process ends.
  • the photographing control unit 106 may adjust the focus.
  • the focus area may be detected using a known method, and control (AF) of the photographing optical system 23 shown in FIG. 1 may be performed so that the found area becomes the in-focus area.
  • the presence or absence of flash emission may be determined according to the determined shooting scene. For example, if the scene is determined to be backlit, it is possible to make the main subject have an appropriate brightness by flash emission.
  • step S 12 in FIG. 5 the gradation conversion process for the captured image data obtained by the actual imaging will be described.
  • a gradation adjustment method and a gradation adjustment amount for the captured image data obtained in the actual shooting are determined (step S70).
  • a gradation adjustment method and a gradation adjustment amount for the captured image data obtained in the actual shooting are determined (step S70).
  • either 1S indicating the case where both the gradation adjustment method and the gradation adjustment amount are determined in step S70 may be used.
  • the gradation adjustment method A (Fig. 20 (a)) is selected when the shooting scene is in direct light, and when it is in backlight, the gradation adjustment method is selected.
  • Tone adjustment method B (Fig. 20 (b)) is selected
  • P1 Average brightness of the entire shooting screen
  • P2 Block division average brightness
  • Reproduction target correction value Brightness reproduction target value (30360) — P4
  • a CDF cumulative density function
  • the maximum and minimum values of the CDF force obtained are determined.
  • the maximum and minimum values are obtained for each RGB.
  • the obtained maximum and minimum values for each RGB are Rmax, Rmin, Gmax, Gmin, Bmax, and Bmin, respectively.
  • Rx normalized data in R plane is R, Gx in G plane
  • the converted data R 1, G 2, and B 3 are expressed as Expressions (12) to (14), respectively.
  • R ⁇ (Rx-Rmin) / (Rmax—Rmin) ⁇ X 65535 (12);
  • G ⁇ (Gx-Gmin) / (Gmax-Gmin) ⁇ X 65535 (13);
  • N (B + G + R) / 3 (15)
  • Figure 21 (a) shows the luminance frequency distribution (histogram) of RGB pixels before normalization.
  • the horizontal axis represents luminance
  • the vertical axis represents pixel frequency. This histogram is created for each RGB.
  • the regularity is performed for each plane on the captured image data using Equations (12) to (14).
  • Figure 21 (b) shows the brightness calculated by equation (15). A histogram of degrees is shown. Since the captured image data is normally entered at 65535, each pixel takes an arbitrary value between the maximum value of 65535 and the minimum value power.
  • FIG. 21 (c) When the luminance histogram shown in FIG. 21 (b) is divided into blocks divided by a predetermined range, a frequency distribution as shown in FIG. 21 (c) is obtained.
  • the horizontal axis is the block number (luminance) and the vertical axis is the frequency.
  • Each block number of the luminance histogram (Fig. 22 (d)) obtained by deleting the high luminance region and the low luminance region from the normalized luminance histogram and further limiting the cumulative number of pixels,
  • the parameter P2 is the average luminance value calculated based on each frequency.
  • the norm P1 is an average value of the luminance of the entire captured image data
  • the parameter P3 is an average value of the luminance of the skin color region (HI) in the captured image data.
  • the key correction value for parameter P7, the key correction value 2 for parameter P7 ', and the brightness correction value 2 for parameter P8 are defined as shown in equations (16), (17), and (18), respectively.
  • P7 (Key correction value) ⁇ P3 — ((Indicator 6/6) X 18000 + 22000) ⁇ Z24.78 (16)
  • the gradation adjustment amount for the captured image data is calculated based on the calculated gradation adjustment parameter. Specifically, a gradation conversion curve corresponding to the calculated gradation adjustment parameter is selected (determined) from a plurality of gradation conversion curves set in advance corresponding to the determined gradation adjustment method. The Note that the gradation conversion curve (gradation adjustment amount) may be calculated based on the gradation adjustment parameter.
  • gradation conversion curve is determined, gradation conversion processing is performed on the captured image data in accordance with the determined gradation conversion curve (step S71), and the gradation conversion processing ends.
  • offset correction parallel shift of 8-bit value
  • RGB value of output image RGB value of input image + P6 (19)
  • a gradation conversion curve corresponding to the parameter P7 (key correction value) shown in Expression (16) is selected from the plurality of gradation conversion curves shown in FIG. 20 (b).
  • a specific example of the tone conversion curve in FIG. 20 (b) is shown in FIG.
  • the correspondence between the value of parameter P7 and the selected gradation transformation curve is shown below.
  • the dodging process it is preferable to carry out. In this case, it is desirable to adjust the degree of the dodging process according to the index 6 indicating the backlight intensity.
  • a gradation conversion curve corresponding to the parameter P7 ′ (key correction value 2) shown in Expression (17) is selected from the plurality of gradation conversion curves shown in FIG. 20 (b).
  • RGB value of output image RGB value of input image + P9 (20)
  • the gradation conversion curve corresponding to the equation (20) is selected from the plurality of gradation conversion curves shown in FIG. 20 (c).
  • the gradation conversion curve may be calculated (determined) based on Expression (20). If the value of parameter P9 in equation (20) exceeds the preset value ⁇ , the curve corresponding to the key correction value P9-a is selected from the curves L1 to L5 shown in Fig. 23. Is done.
  • the gradation conversion process condition described above is changed from 16 bits to 8 bits.
  • the overall image power obtained by the preliminary imaging can also calculate an index that accurately represents the imaging scene.
  • an index that represents the shooting scene with high accuracy is used, it is possible to accurately adjust the exposure for the actual shooting.
  • the brightness class has at least three classes within a brightness value of 25, so that even in the case of linear image data, the class on the low brightness side is well separated and the shooting scene can be identified with high accuracy. it can.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

　分割された測光データから高精度に撮影シーンを表す指標を算出し、その算出された指標に基づいて好ましい撮影画像データを得る。 撮影によって得られる全体画像を複数の分割領域に分割し、各分割領域を明度と色相の組み合わせからなる所定の階級に分類して階級毎に当該階級に属する分割領域が全体画像に占める割合を示す第１の占有率を算出し、各分割領域を全体画像の画面の外縁からの距離と明度の組み合わせからなる所定の階級に分類して階級毎に当該階級に属する分割領域が全体画像に占める割合を示す第２の占有率を算出し、第１の占有率に撮影条件に応じて予め設定された２種類の異なる係数を乗算することにより、撮影シーンを特定するための第１の指標及び第２の指標を算出し、第２の占有率に撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための第３の指標を算出する。

Description

明 細 書
撮像装置、画像処理方法及び画像処理プログラム
技術分野
[0001] 本発明は、撮像装置、画像処理方法及び画像処理プログラムに関する。
背景技術
[0002] 近年、デジタルカメラ (携帯電話やラップトップパソコン等の機器に組み込まれたも のも含む。 )による撮影で得られた撮影画像データを、パーソナルコンピュータ等を介 さずに、直接インクジェットプリンタ等に伝送して出力を行う、 PictBridgeと称する規格 (CIPA DC- 001)が提案されている。しかしながら、一般のデジタルカメラでの撮影で 得られた撮影画像データが、逆光画像やアンダー画像等の好ましくな ヽ画像データ である場合、そのままプリント出力を行っても、好ましいプリントを得ることはできない。 そのため、デジタルカメラ内において適切な露出制御や階調補正を行うことが切望さ れている。デジタルカメラ内で、分割された測光データを用いて撮影シーンの状況を 判別し、その判別結果に基づいて露出レベルの調節や階調変換特性を変更し、適 切な画像データを得る方法が提案されて ヽる。
[0003] 例えば、特許文献 1に記載された方法では、測光手段により得られた分割領域毎 の輝度情報を行方向および列方向のうち少なくとも一方に平均化した複数の平均輝 度情報を得て、撮影範囲内の明るさ変化の傾向を算出することで逆光判別を行い、 撮影範囲内の平均輝度値の傾きから露出補正量を算出している。また、特許文献 2 に記載される方法では、分割測光結果から、画面内コントラストの強弱や輝度分布状 態などの被写体情報を得て、この被写体情報から画像データの階調変換特性を適 正化している。
特許文献 1：特開 2002— 296635号公報
特許文献 2：特開 2001— 54014号公報
発明の開示
発明が解決しょうとする課題
[0004] し力しながら、特許文献 1に記載された方法では、典型的な逆光撮影の場合には 正しく逆光判別することができるが、輝度情報のみを用いているため、典型的な構図 に当てはまらないと正しく撮影シーンを判別できないという問題があった。また、特許 文献 1では、平均輝度値の傾きから露出補正量を算出しているが、必ずしも主要被 写体の明るさを考慮しているものではなぐ撮影シーンを定量的に表したものではな いという問題があった。また、特許文献 2に記載された方法では、コントラストの強弱 によって階調変換特性を変更して 、るが、撮影シーンを高精度に判別できな 、ため 、撮影シーンに応じて適切な階調を選択できないという問題があった。
[0005] 本発明の課題は、分割された測光データから高精度に撮影シーンを表す指標を算 出し、その算出された指標に基づ ヽて好ま ヽ撮影画像データを得ることである。 課題を解決するための手段
[0006] 上記課題を解決するため、請求の範囲第 1項に記載の発明は、撮影によって得ら れる全体画像を複数の分割領域からなる分割画像として取得する取得手段と、前記 全体画像の各分割領域について、色情報を取得する色情報取得手段と、前記色情 報取得手段により取得された色情報に基づいて、前記各分割領域を、明度と色相の 組み合わせカゝらなる所定の階級に分類し、分類された階級毎に、当該階級に属する 分割領域が前記全体画像に占める割合を示す第 1占有率を算出するとともに、前記 各分割領域を、前記全体画像の画面の外縁からの距離と明度の組み合わせ力ゝらな る所定の階級に分類し、分類された階級毎に、当該階級に属する分割領域が前記 全体画像に占める割合を示す第 2の占有率を算出する占有率算出手段と、前記第 1 の占有率に、撮影条件に応じて予め設定された 2種類の異なる係数を乗算すること により、撮影シーンを特定するための第 1の指標及び第 2の指標を算出するとともに、 前記第 2の占有率に、撮影条件に応じて予め設定された係数を乗算することにより、 撮影シーンを特定するための第 3の指標を算出する指標算出手段と、を備えることを 特徴としている。
[0007] 請求の範囲第 2項に記載の発明は、請求の範囲第 1項に記載の撮像装置におい て、前記全体画像の画面中央部における肌色の平均輝度値と、前記全体画像の最 大輝度値と平均輝度値との差分値のそれぞれに、撮影条件に応じて予め設定され た係数を乗算することにより、撮影シーンを特定するための第 4の指標を算出する第 4指標算出手段を備えることを特徴している。
[0008] 請求の範囲第 3項に記載の発明は、請求の範囲第 1項又は第 2項に記載の撮像装 置において、前記算出された各指標のうち、少なくとも前記第 1の指標、前記第 2の 指標、前記第 3の指標及び前記第 4の指標に基づいて露出レベルの調節を行い、当 該調節された露出レベルで撮影を行う撮影制御手段を備えることを特徴としている。
[0009] 請求の範囲第 4項に記載の発明は、請求の範囲第 1項〜第 3項の何れか一項に記 載の撮像装置において、前記算出された各指標のうち、少なくとも前記第 1の指標、 前記第 2の指標、前記第 3の指標及び前記第 4の指標に基づいて、撮影で得られる 撮影画像データに対する階調調整方法を決定する階調調整決定手段を備えること を特徴としている。
[0010] 請求の範囲第 5項に記載の発明は、請求の範囲第 1項〜第 4項の何れか一項に記 載の撮像装置において、前記算出された各指標のうち、少なくとも前記第 1の指標、 前記第 2の指標、前記第 3の指標及び前記第 4の指標に基づいて、前記全体画像の 撮影シーンを判別する判別手段を備えることを特徴としている。
[0011] 請求の範囲第 6項に記載の発明は、請求の範囲第 1項〜第 5項の何れか一項に記 載の撮像装置において、前記所定の階級は、最も低明度の階級における明度の範 囲よりも、最も高明度の階級における明度の範囲の方が広いことを特徴としている。
[0012] 請求の範囲第 7項に記載の発明は、請求の範囲第 6項に記載の撮像装置におい て、前記所定の階級は、明度値 25以内に、少なくとも 3つの階級を有することを特徴 としている。
[0013] 請求の範囲第 8項に記載の発明は、撮影によって得られる全体画像を複数の分割 領域からなる分割画像として取得する取得工程と、前記全体画像の各分割領域につ いて、色情報を取得する色情報取得工程と、前記色情報取得工程により取得された 色情報に基づいて、前記各分割領域を、明度と色相の組み合わせからなる所定の階 級に分類し、分類された階級毎に、当該階級に属する分割領域が前記全体画像に 占める割合を示す第 1占有率を算出するとともに、前記各分割領域を、前記全体画 像の画面の外縁からの距離と明度の組み合わせカゝらなる所定の階級に分類し、分類 された階級毎に、当該階級に属する分割領域が前記全体画像に占める割合を示す 第 2の占有率を算出する占有率算出工程と、前記第 1の占有率に、撮影条件に応じ て予め設定された 2種類の異なる係数を乗算することにより、撮影シーンを特定する ための第 1の指標及び第 2の指標を算出するとともに、前記第 2の占有率に、撮影条 件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための 第 3の指標を算出する指標算出工程と、を含むことを特徴としている。
[0014] 請求の範囲第 9項に記載の発明は、請求の範囲第 8項に記載の画像処理方法に おいて、前記全体画像の画面中央部における肌色の平均輝度値と、前記全体画像 の最大輝度値と平均輝度値との差分値のそれぞれに、撮影条件に応じて予め設定 された係数を乗算することにより、撮影シーンを特定するための第 4の指標を算出す る第 4指標算出工程を含むことを特徴としている。
[0015] 請求の範囲第 10項に記載の発明は、請求の範囲第 8項又は第 9項に記載の画像 処理方法において、前記算出された各指標のうち、少なくとも前記第 1の指標、前記 第 2の指標、前記第 3の指標及び前記第 4の指標に基づいて露出レベルの調節を行 V、、当該調節された露出レベルで撮影を行う撮影制御工程を含むことを特徴として いる。
[0016] 請求の範囲第 11項に記載の発明は、請求の範囲第 8項〜第 10項の何れか一項 に記載の画像処理方法において、前記算出された各指標のうち、少なくとも前記第 1 の指標、前記第 2の指標、前記第 3の指標及び前記第 4の指標に基づいて、撮影で 得られる撮影画像データに対する階調調整方法を決定する階調調整決定工程を含 むことを特徴としている。
[0017] 請求の範囲第 12項に記載の発明は、請求の範囲第 8項〜第 11項の何れか一項 に記載の画像処理方法において、前記算出された各指標のうち、少なくとも前記第 1 の指標、前記第 2の指標、前記第 3の指標及び前記第 4の指標に基づいて、前記全 体画像の撮影シーンを判別する判別工程を含むことを特徴としている。
[0018] 請求の範囲第 13項に記載の発明は、請求の範囲第 8項〜第 12項の何れか一項 に記載の画像処理方法において、前記所定の階級は、最も低明度の階級における 明度の範囲よりも、最も高明度の階級における明度の範囲の方が広いことを特徴とし ている。 [0019] 請求の範囲第 14項に記載の発明は、請求の範囲第 13項に記載の画像処理方法 において、前記所定の階級は、明度値 25以内に、少なくとも 3つの階級を有すること を特徴としている。
[0020] 請求の範囲第 15項に記載の発明は、画像処理を実行するためのコンピュータに、 撮影によって得られる全体画像を複数の分割領域カゝらなる分割画像として取得する 取得機能と、前記全体画像の各分割領域について、色情報を取得する色情報取得 機能と、前記色情報取得機能により取得された色情報に基づいて、前記各分割領域 を、明度と色相の組み合わせカゝらなる所定の階級に分類し、分類された階級毎に、 当該階級に属する分割領域が前記全体画像に占める割合を示す第 1占有率を算出 するとともに、前記各分割領域を、前記全体画像の画面の外縁からの距離と明度の 組み合わせカゝらなる所定の階級に分類し、分類された階級毎に、当該階級に属する 分割領域が前記全体画像に占める割合を示す第 2の占有率を算出する占有率算出 機能と、前記第 1の占有率に、撮影条件に応じて予め設定された 2種類の異なる係 数を乗算することにより、撮影シーンを特定するための第 1の指標及び第 2の指標を 算出するとともに、前記第 2の占有率に、撮影条件に応じて予め設定された係数を乗 算することにより、撮影シーンを特定するための第 3の指標を算出する指標算出機能 と、を実現させることを特徴とする画像処理プログラムである。
[0021] 請求の範囲第 16項に記載の発明は、請求の範囲第 15項に記載の画像処理プロ グラムにおいて、前記全体画像の画面中央部における肌色の平均輝度値と、前記全 体画像の最大輝度値と平均輝度値との差分値のそれぞれに、撮影条件に応じて予 め設定された係数を乗算することにより、撮影シーンを特定するための第 4の指標を 算出する第 4指標算出機能を有することを特徴としている。
[0022] 請求の範囲第 17項に記載の発明は、請求の範囲第 15項又は第 16項に記載の画 像処理プログラムにおいて、前記算出された各指標のうち、少なくとも前記第 1の指 標、前記第 2の指標、前記第 3の指標及び前記第 4の指標に基づいて露出レベルの 調節を行 ヽ、当該調節された露出レベルで撮影を行う撮影制御機能を有することを 特徴としている。
[0023] 請求の範囲第 18項に記載の発明は、請求の範囲第 15項〜第 17項の何れか一項 に記載の画像処理プログラムにおいて、前記算出された各指標のうち、少なくとも前 記第 1の指標、前記第 2の指標、前記第 3の指標及び前記第 4の指標に基づいて、 撮影で得られる撮影画像データに対する階調調整方法を決定する階調調整決定機 能を有することを特徴として 、る。
[0024] 請求の範囲第 19項に記載の発明は、請求の範囲第 15項〜第 18項の何れか一項 に記載の画像処理プログラムにおいて、前記算出された各指標のうち、少なくとも前 記第 1の指標、前記第 2の指標、前記第 3の指標及び前記第 4の指標に基づいて、 前記全体画像の撮影シーンを判別する判別機能を有することを特徴としている。
[0025] 請求の範囲第 20項に記載の発明は、請求の範囲第 15項〜第 19項の何れか一項 に記載の画像処理プログラムにおいて、前記所定の階級は、最も低明度の階級にお ける明度の範囲よりも、最も高明度の階級における明度の範囲の方が広いことを特 徴としている。
[0026] 請求の範囲第 21項に記載の発明は、請求の範囲第 23項に記載の画像処理プロ グラムにおいて、前記所定の階級は、明度値 25以内に、少なくとも 3つの階級を有す ることを特徴としている。
発明の効果
[0027] 請求の範囲第 1項，第 2項，第 8項，第 9項，第 15項，第 16項に記載の発明によれ ば、撮影によって得られる全体画像から撮影シーンを高精度に表す指標を算出する ことができる。
[0028] 請求の範囲第 3項，第 10項，第 17項に記載の発明によれば、撮影シーンを高精度 に表す指標を用いているため、撮影のための露出の調整を的確に行うことができる。
[0029] 請求の範囲第 4項，第 11項，第 18項に記載の発明によれば、撮影シーンを高精度 に表す指標を用いて ヽるため、撮影によって得られた撮影画像データに対する階調 調整方法を的確に決定することができる。
[0030] 請求の範囲第 5項，第 12項，第 19項に記載の発明によれば、撮影によって得られ る全体画像力 撮影シーンを高精度に判別することができる。
[0031] 請求の範囲第 6項，第 7項，第 13項，第 14項、第 20項，第 21項に記載の発明によ れば、リニアな画像データであっても低明度側の階級の分離がよくなり、高精度に撮 影シーンを判別できる。
図面の簡単な説明
[図 1]本発明の実施形態に係る撮像装置の外観構成を示す図。
[図 2]本実施形態の撮像装置の内部構成を示すブロック図。
[図 3]プロセッサの内部構成を示すブロック図。
[図 4]予備撮影で得られる全体画像 (a)と、当該全体画像を M X N個のセルに分割し た図 (b)。
[図 5]撮像装置において実行される処理の全体の流れを示すフローチャート。
[図 6]撮影シーン判別処理を示すフローチャート。
[図 7]色空間変換処理を示すフローチャート。
[図 8]RGB力も HSV表色系に変換するプログラムの一例を示す図。
[図 9]占有率算出処理を示すフローチャート。
[図 10]明度と色相からなる階級を示す図。
[図 11]予備撮影で得られた全体画像の画面の外縁からの距離に応じて決定される 領域 nl〜！ ι3を示す図（a)と、領域 nl〜！ ι3と明度カゝらなる階級を示す図 (b)。
[図 12]指標算出処理を示すフローチャート。
[図 13]指標 1を算出するための、第 1の占有率に乗算する第 1の係数を表す曲線を 示す図。
[図 14]指標 2を算出するための、第 1の占有率に乗算する第 2の係数を表す曲線を 示す図。
[図 15]指標 3を算出するための、第 2の占有率に乗算する第 3の係数を表す曲線を 領域別 (nl〜n3)に示す図。
[図 16]指標 4算出処理を示すフローチャート。
[図 17]指標と撮影シーンとの関係を示す図。
[図 18]露出レベル調節処理を示すフローチャート。
[図 19]階調変換処理を示すフローチャート。
[図 20]各階調調整方法に対応する階調変換曲線を示す図。
[図 21]輝度の度数分布 (ヒストグラム）（a)、正規化されたヒストグラム (b)及びブロック 分割されたヒストグラム (C)を示す図。
[図 22]輝度のヒストグラム力ゝらの低輝度領域及び高輝度領域の削除を説明する図（（ a)及び (b) )と、輝度の頻度の制限を説明する図（ (c)及び (d) )。
[図 23]撮影シーンが逆光又はアンダーである場合の階調変換条件を表す階調変換 曲線を示す図。
符号の説明
1 撮像装置
21 筐体
22 十字キー
23 撮影光学系
24 フラッシュ
25 ファインダ
26 電源スィッチ
27 表示部
28 レリーズボタン
31 プロセッサ
32 メモリ
33 撮像素子
34 シャツタュニット
35 絞りユニット
101 全体画像取得部
102 色情報取得部
103 占有率算出部
104 指標算出部
105 撮影シーン判別部
106 撮影制御部
107 階調調整決定部
発明を実施するための最良の形態 [0034] 以下、図面を参照して、本発明の実施形態を説明する。
[0035] まず、本実施形態における構成について説明する。
[0036] 図 1 (a)に、本発明の実施形態に係る撮像装置 1の前面図を示し、図 1 (b)に、撮像 装置 1の背面図を示す。撮像装置 1は、例えば、デジタルカメラであり、金属又は合 成榭脂等の材料で構成された筐体 21の内部又は表面に、十字キー 22、撮影光学 系 23、フラッシュ 24、ファインダ 25、電源スィッチ 26、表示部 27、レリーズボタン 28 が設けられている。
[0037] 図 2に、撮像装置 1の内部構成を示す。撮像装置 1は、図 2に示すように、プロセッ サ 31、メモリ 32、 CCD (Charge Coupled Device)等の撮像素子 33、シャツタュニット 34、絞りユニット 35、表示部 27により構成される。
[0038] 十字キー 22は、上下左右の 4方向のボタンからなり、ユーザが種々のモードを選択 又は設定するためのものである。
[0039] 撮影光学系 23は、複数のレンズ、鏡胴等によって構成され、ズーム機能を有してい る。撮影光学系 23は、レンズが受光した光を撮像素子 33に結像させる。フラッシュ 2 4は、被写体輝度が低い時に、プロセッサ 31からの制御信号により補助光を照射す る。
[0040] ファインダ 25は、ユーザが接眼して撮影対象及び撮影領域を確認するためのもの である。電源スィッチ 26は、撮像装置 1における動作の ON/OFFを操作するため のスィッチである。
[0041] 表示部 27は、液晶パネルにより構成され、プロセッサ 31から入力される表示制御 信号に従って、撮像素子 33に現在写っている画像、過去に撮影した画像、メニュー 画面、設定画面等を表示する。
[0042] レリーズボタン 28は、筐体 21の上面に設けられており、ユーザによる半押し状態（ 予備撮影)と全押し状態 (本撮影)とを区別して検出可能な 2段階押し込みスィッチで ある。
[0043] 図 3に、プロセッサ 31の内部構成を示す。プロセッサ 31は、撮像装置 1の各部の動 作を制御するものであり、図 3に示すように、全体画像取得部 101、色情報取得部 10 2、占有率算出部 103、指標算出部 104、撮影シーン判別部 105、撮影制御部 106 、階調調整決定部 107により構成される。
[0044] 全体画像取得部 101は、レリーズボタン 28が半押しされたタイミングで、撮像素子 3 3に写った最新の全体画像 (予備撮影によって得られる全体画像)の画像データを取 得する。そして、その全体画像を、 N X M個の矩形の領域 (垂直方向に M個および 水平方向に N個に等分された領域）に分割する。図 4 (a)に、全体画像の一例を示し 、図 4 (b)に、当該全体画像が 11 X 7個の領域に分割された例を示す。なお、分割領 域の数は特に限定されない。本実施形態では、分割によって得られた各領域を「セ ル」と呼ぶことにする。
[0045] 本実施形態では、全体画像を予備撮影によって得るようにしている力 これに限つ たも
のではなぐ全体画像を本撮影によって得るようにしてもょ 、。
[0046] 色情報取得部 102は、各セルの色情報を取得する。色情報取得部 102による色情 報の取得方法については、後に図 7及び図 8を参照して詳細に説明する。
[0047] 占有率算出部 103は、色情報取得部 102で取得された色情報に基づいて、全体 画像の各セルを、明度と色相の組み合わせ力もなる所定の階級に分類し（図 10参照 )、分類された階級毎に、当該階級に属するセルが全体画像に占める割合を示す第 1の占有率を算出する。また、占有率算出部 103は、各セルを、全体画像の画面の 外縁からの距離と明度の組み合わせ力もなる所定の階級に分類し（図 11参照）、分 類された階級毎に、当該階級に属するセルが全体画像に占める割合を示す第 2の 占有率を算出する。占有率算出部 103にお 、て実行される占有率算出処理につ!、 ては、後に図 9を参照して詳細に説明する。
[0048] 指標算出部 104は、占有率算出部 103で算出された第 1の占有率に、撮影条件に 応じて予め設定された係数を乗算することにより、撮影シーンを特定するための第 1 の指標及び第 2の指標を算出する。また、指標算出部 104は、占有率算出部 103で 算出された第 2の占有率に、撮影条件に応じて予め設定された係数を乗算すること により、撮影シーンを特定するための第 3の指標を算出する。更に、指標算出部 104 は、全体画像の画面中央部における平均輝度値と、最大輝度値と平均輝度値との差 分値のそれぞれに、撮影条件に応じて予め設定された係数を乗算することにより、撮 影シーンを特定するための第 4の指標を算出する。
[0049] また、指標算出部 104は、全体画像の画面中央部における肌色領域の平均輝度 値 (指標 4' )と、指標 1及び指標 3に、それぞれ、撮影条件に応じて予め設定された 係数を乗算して和をとることにより、新たな指標 5を算出する。また、指標算出部 104 は、当該平均輝度値と、指標 2及び指標 3に、それぞれ、撮影条件に応じて予め設定 された係数を乗算して和をとることにより、新たな指標 6を算出する。指標算出部 104 において実行される指標算出処理については、後に図 12を参照して詳細に説明す る。
[0050] 撮影シーン判別部 105は、指標算出部 104で算出された各指標に基づいて、予備 撮影で得られた全体画像の撮影シーンを判別する。ここで、撮影シーンとは、順光、 逆光、近接フラッシュ等の被写体を撮影する時の光源条件を示しており、主要被写 体 (主に人物のことを指す力 これに限るものではない。）のオーバー度、アンダー度 などもこれに含まれる。撮影シーン判別の方法については、後に詳細に説明する。
[0051] 撮影制御部 106は、指標算出部 104で算出された各指標 (指標 4〜6)と、撮影シ ーン判別部 105における判別結果に基づいて、本撮影のために必要な露出レベル の調節を行う（図 18参照)。
[0052] 階調調整決定部 107は、撮影シーン判別部 105で判別された撮影シーンに基づ いて、本撮影で得られた撮影画像データに対する階調調整方法 (図 20参照)を決定 する。また、階調調整決定部 107は、指標算出部 104で算出された各指標に基づい て、本撮影で得られた撮影画像データに対する階調調整のための階調調整量を決 定する。階調調整量の決定方法については、後に詳細に説明する。
[0053] プロセッサ 31における各部の処理は、基本的にハードウェア処理によって行われる 力 一部についてはメモリ 32に記憶 (保存)されているプログラムを実行するなどして ソフトウェア処理によって行われる。
[0054] 図 2に戻り、メモリ 32は、撮影によって得られた画像データを記憶 (保存)する。また 、メモリ 32は、撮像装置 1において実行される各種処理プログラム及び当該処理プロ グラムで利用されるデータ等を記憶する。
[0055] 撮像素子 33は、結像された光を電荷に変換する。これにより、例えば、図 4 (a)に示 すような画像データが得られる。この画像には、撮像範囲 (撮影範囲）にある物、即ち 、撮影対象物 (撮影の目標物）とそれ以外の物 (背景）とが含まれて 、る。以下、この ような撮影範囲全体の画像を「全体画像」と記載する。この全体画像の各画素の RG
B値は、例えば、 256階調で表される。
[0056] シャツタユニット 34は、レリーズボタン 28によって検出された状態（半押し状態又は 全押し状態）に基づ ヽて撮像素子 33をリセットするタイミングおよび電荷変換を行うタ イミングなどを制御する。撮像素子 33が受光する光量の調節は、絞りユニット 35及び
Z又はシャツタユニット 34によって行われる。
[0057] 次に、本実施形態における動作について説明する。
[0058] 以下では、撮影対象物を「主要被写体」（主に人物のことを指す)と呼ぶことにする。
[0059] まず、図 5のフローチャートを参照して、撮像装置 1で実行される処理の全体の流れ を説明する。
[0060] まず、電源スィッチ 26が ONに操作されると（電源が投入されると）、メモリ 32のリセ ット等の前処理が行われる (ステップ Sl)。ユーザは、主要被写体が撮像装置 1の被 写界に入るように撮像装置 1をその主要被写体の方に向け、撮影のための操作を開 始する。レリーズボタン 28が半押し状態になると (ステップ S2 ; YES)、予備撮影が行 われ、予備撮影により得られた全体画像の画像データが、複数の分割領域からなる 分割画像として取得される (ステップ S3)。
[0061] 次いで、レンズに関する情報が取得され (ステップ S4)、更に、モードやスィッチの 設定などのスィッチ情報が取得される（ステップ S5)。次いで、ステップ S3〜S5で取 得されたデータ (情報）に基づいて、全体画像の撮影シーンを判別する撮影シーン 判別処理が行われる (ステップ S6)。ステップ S6における撮影シーン判別処理につ いては、後に図 6を参照して説明する。
[0062] 次 、で、ステップ S6の撮影シーン判別処理で得られた各指標及び撮影シーンの判 別結果に基づいて、本撮影のために必要な露出レベルを調節する露出レベル調節 処理が行われる（ステップ S7)。ステップ S7の露出レベル調節処理については、後に 図 18を参照して説明する。
[0063] ステップ S4〜S7の処理と並行して、ステップ S3で取得した全体画像力 表示部 27 に表示される (ステップ S8)。本撮影のための他の条件が揃ってスタンバイが完了し（ S9 ; YES)、且つレリーズボタン 28が全押し状態になると (ステップ S10 ; YES)、本 撮影の動作処理が行われる（ステップ Sl l)。ステップ SI 1では、レリーズボタン 28が 全押し状態になったときの全体画像の画像データ (撮影画像データ）が取得され、保 存用の記録媒体 (SDメモリカードまたはマルチメディアカード (MMC)等）に記録さ れる。また、本撮影で得られた撮影画像データは表示部 27に表示される。
[0064] 次 、で、撮影画像データに対する階調変換処理が行われる (ステップ S 12)。電源 スィッチ 26が ONである間は、ステップ S1に戻り、ユーザによって再度、レリーズボタ ン 28が半押し状態を経由して全押し状態になると、ステップ S3〜S12の処理が繰り 返される。一方、電源スィッチ 26が OFFに操作されると (ステップ S13 ; YES)、撮像 装置 1における動作は終了する。
[0065] 次に、図 6のフローチャート及び図 7〜図 17を参照して、撮影シーン判別処理（図 5 のステップ S6)について説明する。
[0066] 撮影シーン判別処理は、図 6に示すように、色空間変換処理 (ステップ S20)、占有 率算出処理 (ステップ S21)、指標算出処理 (ステップ S22)、撮影シーン判別 (ステツ プ S23)の各処理により構成される。以下、図 7〜図 17を参照して、図 6に示す各処 理について詳細に説明する。
[0067] まず、図 7のフローチャートを参照して、色空間変換処理（図 6のステップ S20)につ いて説明する。
[0068] まず、予備撮影で得られた全体画像の各セルの RGB値、輝度値及びホワイトバラ ンスを示す情報が取得される (ステップ S25)。これらの値は、そのセルに含まれる各 画素の RGB値、輝度値などの平均的な値であり、公知のハードウェア処理によって 容易に取得できる。なお、輝度値として、 RGB値を公知の変換式に代入して算出し た値を用いてもよい。
[0069] 次!、で、ステップ S25で取得された RGB値が HSV表色系に変換され、全体画像の 色情報が取得される (ステップ S26)。 HSV表色系とは、画像データを色相（Hue)、 彩度（Saturation)、明度（Value又は Brightness)の 3つの要素を表すものであり、マン セルにより提案された表色体系を元にして考案されたものである。 [0070] 図 8は、 RGBから HSV表色系に変換することにより色相、彩度、明度を得る変換プ ログラム (HSV変換プログラム）の一例を、プログラムコード (c言語）により示したもの である。図 8に示す HSV変換プログラムでは、入力画像データであるデジタル画像 データの値を、 InR, InG, InBと定義し、算出された色相値を OutHとし、スケールを 0 〜360と定義し、彩度値を OutS、明度値を OutVとし、単位を 0〜255と定義している。
[0071] なお、本実施形態において、「明度」は特に注釈を設けない限り一般に用いられる「 明るさ」の意味である。以下の記載において、 HSV表色系の V(0〜255)を「明度」とし て用いるが、他の如何なる表色系の明るさを表す単位系を用いてもよい。その際、本 実施形態で記載する各種係数等の数値を、改めて算出し直すことは言うまでもない。
[0072] また、本実施形態において、「色相」は特に注釈を設けない限り一般に用いられる「 色」の意味である。以下の記載において、 HSV表色系の H (0〜360)を「色相」として 用いるが、例えば赤色差値 (Cr)や青色差値 (Cb)によって表現される色を用いても よい。その際、本実施形態で記載する各種係数等の数値を、改めて算出し直すこと は言うまでもない。色情報取得部 102では、上記のようにして求められた H、 S、 Vの 値が色情報として取得される。
[0073] 次に、図 9のフローチャートを参照して、占有率算出処理（図 6のステップ S21)につ いて説明する。
[0074] まず、色空間変換処理で算出された HSV値に基づいて、全体画像の各セルが、 色相と明度の組み合わせ力 なる所定の階級に分類され、分類された階級毎に累積 セル数を算出することによって 2次元ヒストグラムが作成される (ステップ S30)。
[0075] 図 10に、明度と色相の組み合わせ力もなる階級を示す。ステップ S30では、明度（ V)は、明度値力 〜 5(vl), 6〜12(v2), 13〜24(v3), 25〜76(v4), 77〜109(v5), 110〜 149(v6), 150〜255(v7)の 7つの領域に分割される。このように、最も低明度の階級に おける明度の範囲よりも、最も高明度の階級における明度の範囲の方が広い。また、 0〜255の範囲からなる明度値のうち、明度値 25以内に 3つの階級を有する。
[0076] 色相 (H)は、色相値が 0〜39, 330〜359の肌色色相領域（HI及び H2)、色相値が 40 〜160の緑色色相領域（H3)、色相値力 61〜250の青色色相領域（H4)、赤色色相 領域 (H5)の 4つの領域に分割される。なお、赤色色相領域 (H5)は、撮影シーンの 判別への寄与が少ないとの知見から、以下の計算では用いていない。肌色色相領 域は、更に、肌色領域 (HI)と、それ以外の領域 (H2)に分割される。以下、肌色色相 領域 (H = 0〜39, 330〜359)のうち、下記の式（1)を満たす色相， (H)を肌色領域 (HI )とし、式（1)を満たさない領域を (H2)とする。
[0077] 10 <彩度 (S) < 175；
色相' (H) =色相 ） + 60 (0≤色相 ）く 300のとき)；
色相' (H) =色相 (H) - 300 (300≤色相 (H) < 360のとき).
輝度 (Y) = InR X 0.30 + InG X 0.59 + InB X 0.11 (A)
として、
色相， (H)Z輝度 (Y) < 3.0 Χ (彩度 (S)Z255) + 0.7 (1)
従って、全体画像における階級の数は 4 X 7 = 28個となる。また、最大の明度値 (2 55)の 1割の値以内に、少なくとも 3つの階級 (vl,v2,v3)を有する。なお、式 (A)及び 式（1)にお 、て明度 (V)を用いることも可能である。
[0078] ステップ S30の後、全体画像の各セル力 画面の外縁からの距離と明度の組み合 わせからなる所定の階級に分類され、分類された階級毎に累積セル数を算出するこ とによって 2次元ヒストグラムが作成される (ステップ S31)。
[0079] 図 11 (a)に、ステップ S31にお!/、て、全体画像の画面の外縁からの距離に応じて 分割された 3つの領域 nl〜n3を示す。領域 nlが外枠であり、領域 n2が、外枠の内 側の領域であり、領域 n3が、全体画像の中央部の領域である。また、ステップ S31に おいて、明度は、上述のように vl〜v7の 7つの領域に分割するものとする。図 11 (b) に、 3つの領域 nl〜n3と明度の組み合わせ力もなる階級を示す。図 11 (b)に示すよ うに、全体画像を画面の外縁からの距離と明度の組み合わせカゝらなる階級に分類し た場合の階級の数は 3 X 7 = 21個となる。
[0080] ステップ S30において 2次元ヒストグラムが作成されると、明度と色相の組み合わせ 力もなる所定の階級毎に算出された累積セル数の全セル数 (N X M個）に占める割 合を示す第 1の占有率が算出される (ステップ S32)。明度領域 vi、色相領域 Hjの組 み合わせ力 なる階級において算出された第 1の占有率を Rijとすると、各階級にお ける第 1の占有率は表 1のように表される。 [0081] [表 1]
[第 1の占有率]
Figure imgf000018_0001
[0082] ステップ S31において 2次元ヒストグラムが作成されると、画面の外縁からの距離と 明度の組み合わせ力 なる所定の階級毎に算出された累積セル数の全セル数に占 める割合を示す第 2占有率が算出され (ステップ S33)、本占有率算出処理が終了す る。明度領域 vi、画面領域 njの組み合わせ力もなる各階級において算出された第 2の 占有率を Qijとすると、各階級における第 2の占有率は表 2のように表される。
[0083] [表 2]
[第 2の占有率]
Figure imgf000018_0002
[0084] なお、各セルを画面の外縁からの距離、明度及び色相からなる階級に分類し、分 類された階級毎に累積セル数を算出することによって 3次元ヒストグラムを作成しても よい。以下では、 2次元ヒストグラムを用いる方式を採用するものとする。
[0085] 次に、図 12のフローチャートを参照して、指標算出処理（図 6のステップ S22)につ いて説明する。
[0086] まず、占有率算出処理において階級毎に算出された第 1の占有率に、撮影条件に 応じて予め設定された 2種類の異なる係数 (第 1の係数、第 2の係数)を乗算して和を とることにより、撮影シーンを特定するための指標 1、指標 2が算出される (ステップ S4 0)。指標 1は、主要被写体のオーバー度を表す指標であり、「主要被写体がオーバ 一」と判別されるべき画像のみを他の撮影シーン力 分離するためのものである。指 標 2は、空色高明度、顔色低明度等の逆光撮影時の特徴を複合的に表す指標であ り、「逆光」、「主要被写体がアンダー」と判別されるべき画像のみを他の撮影シーン 力 分離するためのものである。
[0087] 以下、指標 1及び指標 2の算出方法について詳細に説明する。
[0088] 表 3に、指標 1を算出するために必要な第 1の係数を階級別に示す。表 3に示され た各階級の係数は、表 1に示した各階級の第 1の占有率 Rijに乗算する重み係数であ り、撮影条件に応じて予め設定されている。
[0089] [表 3]
[第 1の係数】
Figure imgf000019_0001
[0090] 表 3によると、高明度 (v6)の肌色色相領域 (HI)に分布する領域力 算出される第 1 の占有率には、正 (+)の係数が用いられ、それ以外の色相である青色色相領域から 算出される第 1の占有率には、負 (-)の係数が用いられる。図 13は、肌色領域 (HI)に おける第 1の係数と、その他の領域 (緑色色相領域 (H3))における第 1の係数を、明 度全体に渡って連続的に変化する曲線 (係数曲線）として示したものである。表 3及 び図 13によると、高明度 (V=77〜150)の領域では、肌色領域 (HI)における第 1の係 数の符号は正 (+)であり、その他の領域 (例えば、緑色色相領域 (H3))における第 1の 係数の符号は負 (-)であり、両者の符号が異なっていることがわかる。
[0091] 明度領域 vi、色相領域 Hjにおける第 1の係数を Cijとすると、指標 1を算出するため の Hk領域の和は、式（2)のように定義される。
[0092] [数 1]
Hk領域の和 = Y Rik Ok ( 2 )
[0093] 従って、 H1〜H4領域の和は、下記の式 (2- 1)〜(2- 4)のように表される。
[0094] HI領域の和 = R11 X 0 + R21 X 0+ (中略）… + R71 X (- 8) (2-1)
H2領域の和 = R12 X (- 2) + R22 X (- 1)+ (中略）… +R72 X (- 10) (2-2) H3領域の和 = R13 X 5 + R23 X (-2) + (中略）... + R73 X (- 12) (2-3) H4領域の和 = R14 X 0 + R24 X (- 1) + (中略）... + R74 X (- 12) (2-4)
指標 1は、式 (2-1)〜（2-4)で示された H1〜H4領域の和を用いて、式（3)のように 定義される。
[0095] 指標 1 = H1領域の和 + H2領域の和 + H3領域の和 + H4領域の和 + 1.5 (3) 表 4に、指標 2を算出するために必要な第 2の係数を階級別に示す。表 4に示され た各階級の係数は、表 1に示した各階級の第 1の占有率 Rijに乗算する重み係数であ り、撮影条件に応じて予め設定されている。
[0096] [表 4]
Figure imgf000020_0001
[0097] 表 4によると、肌色色相領域 (HI)の中間明度に分布する領域 (v4, v5)から算出され る占有率には負 (-)の係数が用いられ、肌色色相領域 (HI)の低明度 (シャドー)領域 ( v2, v3)から算出される占有率には係数 0が用いられる。図 14は、肌色領域 (HI)にお ける第 2の係数を、明度全体にわたって連続的に変化する曲線 (係数曲線)として示 したものである。表 4及び図 14によると、肌色色相領域の、明度値が 25〜150の中間 明度領域の第 2の係数の符号は負 (-)であり、明度値 6〜24の低明度 (シャドー)領域 の第 2の係数は 0であり、両領域での係数に大きな違いがあることがわかる。
[0098] 明度領域 vi、色相領域 Hjにおける第 2の係数を Dijとすると、指標 2を算出するため の Hk領域の和は、式 (4)のように定義される。
[0099] [数 2]
Hk領域の和 = Rik Dik C 4 )
[0100] 従って、 H1〜H4領域の和は、下記の式 (4- 1)〜(4- 4)のように表される。
[0101] HI領域の和 = R11 X 0 + R21 X 0+ (中略）… + R71 X 2 (4-1) H2領域の和 = R12 X (- 2) + R22 X (- 1)+ (中略）… +R72 X 2 (4-2) H3領域の和 = R13 X 2 + R23 X 1 + (中略）… + R73 X 3 (4-3)
H4領域の和 = R14 X 0 + R24 X (- 1) + (中略）... + R74 X 3 (4-4)
指標 2は、式 (4-1)〜（4-4)で示された H1〜H4領域の和を用いて、式（5)のように 定義される。
[0102] 指標 2 = !"11領域の和+ 1"[2領域の和+ 1"[3領域の和+ 1"[4領域の和+ 1.7 (5) 指標 1及び指標 2は、全体画像の明度と色相の分布量に基づいて算出されるため 、全体画像がカラー画像である場合の撮影シーンの判別に有効である。
[0103] 指標 1及び指標 2が算出されると、占有率算出処理において階級毎に算出された 第 2の占有率に、撮影条件に応じて予め設定された第 3の係数 (第 1の係数、第 2の 係数とは異なる係数)を乗算して和をとることにより、撮影シーンを特定するための指 標 3が算出される (ステップ S41)。指標 3は、主要被写体がアンダーな逆光と主要被 写体がオーバーな画像間における、画像データの画面の中心と外側の明暗関係の 差異を示すものである。
[0104] 以下、指標 3の算出方法について説明する。
[0105] 表 5に、指標 3を算出するために必要な第 3の係数を階級別に示す。表 5に示され た各階級の係数は、表 2に示した各階級の第 2の占有率 Qijに乗算する重み係数で あり、撮影条件に応じて予め設定されている。
[0106] [表 5]
ί第 3の係数】
Figure imgf000021_0001
[0107] 図 15は、画面領域 nl〜n3における第 3の係数を、明度全体に渡って連続的に変 化する曲線 (係数曲線）として示したものである。
[0108] 明度領域 vi、画面領域 njにおける第 3の係数を Eijとすると、指標 3を算出するための nk領域 (画面領域 nk)の和は、式 (6)のように定義される。 [0109] [数 3] nk領域の和 Qik χ Eik ( 6 )
[0110] 従って、 nl〜n3領域の和は、下記の式 (6- 1)〜(6- 3)のように表される。
[0111] nl領域の和 = Q11 X 12 + Q21 X 10+ (中略）... + Q71 X 0 (6-1)
n2領域の和 = Q12 X 5 + Q22 X 3 + (中略）... + Q72 X 0 (6-2)
n3領域の和 = Q13 X (- + Q23 X (-4) + (中略）… + Q 73 X (-8) (6-3) 指標 3は、式 (6-1)〜（6-3)で示された nl〜n3領域の和を用いて、式（7)のように定 義される。
[0112] 指標 3 =nl領域の和 +n2領域の和 +n3領域の和 + 0.7 (7)
指標 3は、全体画像の明度の分布位置による構図的な特徴 (全体画像の画面の外 縁からの距離）に基づいて算出されるため、カラー画像だけでなくモノクロ画像の撮 影シーンを判別するのにも有効である。
[0113] また、例えば公知の方法によって検出された焦点検出領域に応じて、画面の外縁 力 の距離と明度の所定の階級力 算出される第 2占有率に対して乗算される第 3の 係数の重みを変えることで、より高精度にシーンを判別する指標を算出することが可 能である。
[0114] 指標 1〜3が算出されると、予備撮影で得られた全体画像の画面中央部における肌 色の平均輝度値と、全体画像の最大輝度値と平均輝度値との差分値のそれぞれに 、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定す るための指標 4が算出される (ステップ S42)。
[0115] 以下、図 16のフローチャートを参照して、指標 4の算出処理について詳細に説明 する。
[0116] まず、全体画像の画像データの RGB (Red,Green,Blue)値から、式 (A)を用いて輝 度 Yが算出される。次いで、全体画像の画面中央部における肌色領域の平均輝度 値 xlが算出される (ステップ S50)。ここで、画面中央部とは、例えば図 11 (a)に示し た領域 n3により構成される領域である。次いで、全体画像の最大輝度値と平均輝度 値との差分値 x2 =最大輝度値-平均輝度値が算出される (ステップ S51)。 [0117] 次いで、全体画像の輝度の標準偏差 x3が算出され (ステップ S52)、画面中央部に おける平均輝度値 x4が算出される (ステップ S53)。次いで、全体画像における肌色 領域の最大輝度値 Yskin— maxと最小輝度値 Yskin— minの差分値と、肌色領域の平 均輝度値 Yskin_aveとの比較値 x5が算出される（ステップ S54)。この比較値 x5は、 下記の式（8-1)のように表される。
[0118] x5 = (Yskin_max - Yskin_min)/2—Yskin一 ave (8-1)
次いで、ステップ S50〜S54で算出された値 xl〜x5の値の各々に、撮影条件に応 じて予め設定された第 4の係数を乗算して和をとることにより、指標 4が算出され (ステ ップ S55)、指標 4算出処理が終了する。指標 4は、下記の式 (8-2)のように定義される 。指標 4 = 0.05 X xl + 1.41 X x2 + (—0.01) X x3 + (—0.01) X x4+0.01 X x5 5.34 ( 8-2)
この指標 4は、予備撮影で得られた全体画像の画面の構図的な特徴だけでなぐ 輝度ヒストグラム分布情報を持ち合わせており、特に、主要被写体がオーバーである 撮影シーンとアンダー撮影シーンの判別に有効である。
[0119] 指標 4が算出されると、指標 1〜3及び全体画像の画面中央部における肌色領域の 平均輝度値に、撮影条件に応じて予め設定された重み係数を乗算することにより、 指標 5及び指標 6が算出され (ステップ S43)、本指標算出処理が終了する。
[0120] 以下、指標 5及び指標 6の算出方法について詳細に説明する。
[0121] 予備撮影で得られた全体画像の画面中央部における肌色領域の平均輝度値を指 標 4'とする。ここでの画面中央部とは、例えば、図 11 (&)の領域112及び領域113から 構成される領域である。このとき、指標 5は、指標 指標 3、指標 4'を用いて式 (9)の ように定義され、指標 6は、指標 2、指標 3、指標 4'を用いて式（10)のように定義され る。
[0122] 指標 5 = 0.54 X指標 1 + 0.50 X指標 3 + 0.01 X指標 4' 0.65 (9)
指標 6 = 0.83 X指標 2 + 0.23 X指標 3 + 0.01 X指標 4' - 1.17 (10)
なお、図 16における平均輝度値 (例えば、全体平均輝度値)の算出方法としては、 撮像装置 1の各受光部から得られた個別輝度データの単純な加算平均値を求めて もよいし、撮像装置 1の測光方式としてよく用いられる中央重点平均測光に類似した 、画面中心付近の受光部より得られた輝度データに重み付けを高ぐ画面の周辺付 近の受光部より得られた輝度データに重み付けを低くして加算平均値を求める手法 を用いてもよい。また、焦点検出領域に対応した受光部付近より得られた輝度データ に重み付けを高くし、焦点検出位置力 離れた受光部より得られた輝度データに重 み付けを低くして加算平均値を求める手法等を用いてもよい。
[0123] 指標 4 6が算出されると、これらの指標の値に基づいて撮影シーンが判別される ( ステップ S23)。表 6に、指標 4、指標 5及び指標 6の値による撮影シーンの判別内容 を示す。
[0124] [表 6]
Figure imgf000024_0001
[0125] 図 17は、表 6に示した判別内容を、指標 4 6の座標系を用いて表した判別マップ である。
[0126] 次に、図 18のフローチャートを参照して、指標 4 6、判別された撮影シーンに基づ いて、本撮影における露出レベルの調節を行う露出レベル調節処理（図 5のステップ
S7)について説明する。
[0127] まず、指標 4 6及び判別された撮影シーンに基づ ヽて、本撮影にお!ヽて適性露 出となるように露出調節値が算出される (ステップ S60)。露出調節値 (EV)は式（11) のように定義される。
[0128] 露出調節値 =調節値 X { (指標 4Z6) X指標 4の重み + (指標 5Z6) X指標 5の重 み + (指標 6Z6) X指標 6の重み } (11)
表 7に、式（11)における調節値、指標 4の重み、指標 5の重み、指標 6の重みを示 す。表 7に示すように、調節値及び各指標の重みは、判別された撮影シーンに応じて 設定されている。なお、露出補正値の算出方法は、特に式（11)に限ったものではな ぐ例えば、肌色と判定されたセルの平均輝度値と指標値に基づいて算出されてもよ い。
[0129] [表 7] 判別シーン 調節値 指標 4の重み 指檁 5の重み 指摞 6の重み
逆光 1.5 0.2 0.1 0.7
順光 0.5 0.8 0.1 0.1
主要被写体がオーバー -0.5 0.3 0.7 0.0
アンダー 1.0 0.7 0.3 0.0
[0130] 次いで、ステップ S60で算出された露出調節値に基づいて、絞りユニット 35 (又は シャツタユニット 34)が制御され (ステップ S61)、本露出レベル調節処理が終了する 。なお、図 18の露出レベル調節処理と並行して、撮影制御部 106によって、焦点の 調節を行ってもよい。例えば、公知の方法を用いて焦点領域を検出し、見つかったそ の領域が合焦領域となるように、図 1の撮影光学系 23などの制御 (AF)をおこなって もよい。また、判別された撮影シーンに応じてフラッシュ発光の有無を決定してもよい 。例えば、シーンが逆光と判別された場合は、フラッシュ発光を行って主要被写体を 適正な明るさにすることが可能である。
[0131] 次に、図 19のフローチャートを参照して、本撮影で得られた撮影画像データに対 する階調変換処理（図 5のステップ S 12)につ 、て説明する。
[0132] まず、判別された撮影シーンに応じて、本撮影で得られた撮影画像データに対す る階調調整の方法と階調調整量が決定される (ステップ S70)。なお、本実施形態で は、ステップ S 70において階調調整方法と階調調整量の双方を決定する場合を示す 1S どちらか一方でもよい。
[0133] 階調調整方法を決定する場合、図 20に示すように、撮影シーンが順光である場合 は階調調整方法 A (図 20 (a) )が選択され、逆光である場合は階調調整方法 B (図 20 (b) )が選択され、主要被写体がオーバーである場合は階調調整方法 C (図 20 (c) ) が選択され、アンダーである場合は、階調調整方法 B (図 20 (b) )が選択される。
[0134] 階調調整方法が決定されると、指標算出処理で算出された各指標に基づいて、階 調調整に必要なパラメータが算出される。以下、階調調整パラメータの算出方法につ いて説明する。なお、以下では、 8bitの撮影画像データは 16bitへと事前に変換され ているものとし、撮影画像データの値の単位は 16bitであるものとする。
[0135] 階調調整に必要なパラメータ（階調調整パラメータ）として、下記の P1〜P9のパラメ ータが算出される。
[0136] P1:撮影画面全体の平均輝度 P2:ブロック分割平均輝度
P3:肌色領域 (HI)の平均輝度
P4:輝度補正値 1 = P1— P2
P5:再現目標修正値 =輝度再現目標値 (30360)— P4
P6:オフセット値 1 = P5— P1
P7:キー補正値
P7' :キー補正値 2
Ρ8:輝度補正値 2
Ρ9:オフセッ Μ直 2 = Ρ5— Ρ8— P1
ここで、図 21及び図 22を参照して、ノ ラメータ Ρ2 (ブロック分割平均輝度）の算出 方法について説明する。
[0137] まず、撮影画像データを正規化するために、 CDF (累積密度関数)を作成する。次 いで、得られた CDF力 最大値と最小値を決定する。この最大値と最小値は、 RGB 毎に求める。ここで、求められた RGB毎の最大値と最小値を、それぞれ、 Rmax、 Rmi n、 Gmax、 Gmin、 Bmax、 Bminとする。
[0138] 次いで、撮影画像データの任意の画素 (Rx, Gx, Bx)に対する正規化画像データ を算出する。 Rプレーンにおける Rxの正規化データを R 、 Gプレーンにおける Gx
point
の正規化データを G 、 Bプレーンにおける Bxの正規化データを B とすると、正規
point point
化データ R 、G 、B は、それぞれ、式（12)〜式（14)のように表される。
point point point
R = { (Rx-Rmin) / (Rmax—Rmin) } X 65535 (12)；
point
G = { (Gx-Gmin) / (Gmax-Gmin) } X 65535 (13) ;
point
B = { (Bx - Bmin) / (Bmax - Bmin) } X 65535 (14) .
point
次いで、式（15)により画素 (Rx, Gx, Bx)の輝度 N を算出する。
point
[0139] N = (B +G +R ) /3 (15)
point point point point
図 21 (a)は、正規ィ匕する前の RGB画素の輝度度数分布 (ヒストグラム）である。図 2 1 (a)において、横軸は輝度、縦軸は画素の頻度である。このヒストグラムは、 RGB毎 に作成する。輝度のヒストグラムが作成されると、式（12)〜式（14)により、撮影画像 データに対し、プレーン毎に正規ィ匕を行う。図 21 (b)は、式（15)により算出された輝 度のヒストグラムを示す。撮影画像データが 65535で正規ィ匕されているため、各画素 は、最大値が 65535で最小値力^の間で任意の値をとる。
[0140] 図 21 (b)に示す輝度ヒストグラムを所定の範囲で区切ってブロックに分割すると、図 21 (c)に示すような度数分布が得られる。図 21 (c)において、横軸はブロック番号（ 輝度）、縦軸は頻度である。
[0141] 次いで、図 21 (c)に示された輝度ヒストグラムから、ノ、イライト、シャドー領域を削除 する処理を行う。これは、白壁や雪上シーンでは、平均輝度が非常に高くなり、暗闇 のシーンでは平均輝度は非常に低くなつているため、ハイライト、シャドー領域は、平 均輝度制御に悪影響を与えてしまうことによる。そこで、図 21 (c)に示した輝度ヒスト グラムのハイライト領域、シャドー領域を制限することによって、両領域の影響を減少 させる。図 22 (a) (又は図 21 (c) )に示す輝度ヒストグラムにおいて、高輝度領域 (ハ イライト領域)及び低輝度領域 (シャドー領域)を削除すると、図 22 (b)のようになる。
[0142] 次いで、図 22 (c)に示すように、輝度ヒストグラムにおいて、頻度が所定の閾値より 大きい領域を削除する。これは、頻度が極端に多い部分が存在すると、この部分の データが、撮影画像全体の平均輝度に強く影響を与えてしまうため、誤補正が生じ やすいことによる。そこで、図 22 (c)に示すように、輝度ヒストグラムにおいて、閾値以 上の画素数を制限する。図 22 (d)は、画素数の制限処理を行った後の輝度ヒストグラ ムである。
[0143] 正規化された輝度ヒストグラムから、高輝度領域及び低輝度領域を削除し、更に、 累積画素数を制限することによって得られた輝度ヒストグラム（図 22 (d) )の各ブロック 番号と、それぞれの頻度に基づいて、輝度の平均値を算出したものがパラメータ P2 である。
[0144] ノラメータ P1は、撮影画像データ全体の輝度の平均値であり、パラメータ P3は、撮 影画像データのうち肌色領域 (HI)の輝度の平均値である。パラメータ P7のキー補 正値、パラメータ P7'のキー補正値 2、パラメータ P8の輝度補正値 2は、それぞれ、 式（16)、式（17)、式（18)のように定義される。
[0145] P7(キー補正値) ={P3 — ((指標 6/ 6) X 18000 + 22000)}Z24.78 (16)
P7，（キー補正値 2)={P3— ((指標 4/ 6) X 10000 + 30000)1/24.78 (17) P8(輝度補正値 2)= (指標 5/ 6) X 17500 (18)
階調調整パラメータが算出されると、その算出された階調調整パラメータに基づい て、撮影画像データに対する階調調整量が算出される。具体的には、決定された階 調調整方法に対応して予め設定された複数の階調変換曲線の中から、算出された 階調調整パラメータに対応する階調変換曲線が選択 (決定)される。なお、階調調整 パラメータに基づいて、階調変換曲線 (階調調整量)を算出するようにしてもよい。階 調変換曲線が決定されると、その決定された階調変換曲線に従い、撮影画像データ に対して階調変換処理が施され (ステップ S71)、本階調変換処理が終了する。
[0146] 以下、各撮影シーン (光源条件及び露出条件)の階調変換曲線の決定方法につい て説明する。
〈順光の場合〉
撮影シーンが順光である場合、ノ メータ P1を P5と一致させるオフセット補正 (8bit 値の平行シフト）を下記の式（19)により行う。
[0147] 出力画像の RGB値 =入力画像の RGB値 +P6 (19)
従って、撮影シーンが順光の場合、図 20 (a)に示す複数の階調変換曲線の中から 、式（19)に対応する階調変換曲線が選択される。又は、式（19)に基づいて階調変 換曲線を算出 (決定)してもよ!、。
〈逆光の場合〉
撮影シーンが逆光である場合、図 20 (b)に示す複数の階調変換曲線の中から、式 (16)に示すパラメータ P7 (キー補正値）に対応する階調変換曲線が選択される。図 20 (b)の階調変換曲線の具体例を図 23に示す。パラメータ P7の値と、選択される階 調変換曲線の対応関係を以下に示す。
[0148] -50 < P7 < +50の場合→L3
+ 50≤ P7 < + 150の場合→L4
+ 150≤ P7 < +250の場合→L5
- 150 < P7≤ -50の場合→L2
-250 < P7≤ - 150の場合→L1
なお、撮影シーンが逆光の場合、この階調変換処理とともに、覆い焼き処理を併せ て行うことが好ましい。この場合、逆光度を示す指標 6に応じて覆い焼き処理の程度 も調整されることが望ましい。
〈アンダーの場合〉
撮影シーンがアンダーである場合、図 20 (b)に示す複数の階調変換曲線の中から 、式（17)に示すパラメータ P7' (キー補正値 2)に対応する階調変換曲線が選択され る。具体的には、撮影シーンが逆光の場合と同様に、図 23に示す階調変換曲線の 中から、パラメータ P7'の値に対応した階調変換曲線が選択される。なお、撮影シー ンがアンダーである場合は、逆光の場合に示したような覆 、焼き処理は行わな 、。 〈主要被写体がオーバーの場合〉
主要被写体がオーバーである場合、オフセット補正 (8bit値の平行シフト）を式（20) により行う。
[0149] 出力画像の RGB値 =入力画像の RGB値 +P9 (20)
従って、主要被写体がオーバーの場合、図 20 (c)に示す複数の階調変換曲線の 中から、式 (20)に対応する階調変換曲線が選択される。又は、式 (20)に基づいて 階調変換曲線を算出（決定)してもよい。なお、式（20)のパラメータ P9の値が、予め 設定された所定値 αを上回った場合、図 23に示す曲線 L1〜L5の中から、キー補正 値が P9— aに対応する曲線が選択される。
[0150] なお、本実施形態では、実際に撮影画像データに対して階調変換処理を施す場 合、上述の階調変換処理条件を 16bitから 8bitへ変更するものとする。
[0151] 以上のように、本実施形態の撮像装置 1によれば、予備撮影によって得られる全体 画像力も撮影シーンを高精度に表す指標を算出することができる。また、撮影シーン を高精度に表す指標を用いているため、本撮影のための露出の調整を的確に行うこ とがでさる。
[0152] 更に、撮影シーンを高精度に表す指標を用いているため、本撮影によって得られ た撮影画像データに対する階調調整方法を的確に決定することができる。また、明 度の階級において、明度値 25以内に、少なくとも 3つの階級を有することで、リニアな 画像データであっても低明度側の階級の分離がよくなり、高精度に撮影シーンを判 別できる。

Claims

請求の範囲
[1] 撮影によって得られる全体画像を複数の分割領域カゝらなる分割画像として取得す る取得手段と、
前記全体画像の各分割領域につ!、て、色情報を取得する色情報取得手段と、 前記色情報取得手段により取得された色情報に基づいて、前記各分割領域を、明 度と色相の組み合わせカゝらなる所定の階級に分類し、分類された階級毎に、当該階 級に属する分割領域が前記全体画像に占める割合を示す第 1占有率を算出するとと もに、前記各分割領域を、前記全体画像の画面の外縁からの距離と明度の組み合 わせカゝらなる所定の階級に分類し、分類された階級毎に、当該階級に属する分割領 域が前記全体画像に占める割合を示す第 2の占有率を算出する占有率算出手段と 前記第 1の占有率に、撮影条件に応じて予め設定された 2種類の異なる係数を乗 算することにより、撮影シーンを特定するための第 1の指標及び第 2の指標を算出す るとともに、前記第 2の占有率に、撮影条件に応じて予め設定された係数を乗算する ことにより、撮影シーンを特定するための第 3の指標を算出する指標算出手段と、 を備えることを特徴とする撮像装置。
[2] 前記全体画像の画面中央部における肌色の平均輝度値と、前記全体画像の最大 輝度値と平均輝度値との差分値のそれぞれに、撮影条件に応じて予め設定された 係数を乗算することにより、撮影シーンを特定するための第 4の指標を算出する第 4 指標算出手段を備えることを特徴とする請求の範囲第 1項に記載の撮像装置。
[3] 前記算出された各指標のうち、少なくとも前記第 1の指標、前記第 2の指標、前記第 3の指標及び前記第 4の指標に基づいて露出レベルの調節を行い、当該調節された 露出レベルで撮影を行う撮影制御手段を備えることを特徴とする請求の範囲第 1項 又は第 2項に記載の撮像装置。
[4] 前記算出された各指標のうち、少なくとも前記第 1の指標、前記第 2の指標、前記第 3の指標及び前記第 4の指標に基づいて、撮影で得られる撮影画像データに対する 階調調整方法を決定する階調調整決定手段を備えることを特徴とする請求の範囲第 1項〜第 3項の何れか一項に記載の撮像装置。
[5] 前記算出された各指標のうち、少なくとも前記第 1の指標、前記第 2の指標、前記第 3の指標及び前記第 4の指標に基づいて、前記全体画像の撮影シーンを判別する 判別手段を備えることを特徴とする請求の範囲第 1項〜第 4項の何れか一項に記載 の撮像装置。
[6] 前記所定の階級は、最も低明度の階級における明度の範囲よりも、最も高明度の 階級における明度の範囲の方が広いことを特徴とする請求の範囲第 1項〜第 5項の 何れか一項に記載の撮像装置。
[7] 前記所定の階級は、明度値 25以内に、少なくとも 3つの階級を有することを特徴と する請求の範囲第 6項に記載の撮像装置。
[8] 撮影によって得られる全体画像を複数の分割領域カゝらなる分割画像として取得す る取得工程と、
前記全体画像の各分割領域につ!ヽて、色情報を取得する色情報取得工程と、 前記色情報取得工程により取得された色情報に基づいて、前記各分割領域を、明 度と色相の組み合わせカゝらなる所定の階級に分類し、分類された階級毎に、当該階 級に属する分割領域が前記全体画像に占める割合を示す第 1占有率を算出するとと もに、前記各分割領域を、前記全体画像の画面の外縁からの距離と明度の組み合 わせカゝらなる所定の階級に分類し、分類された階級毎に、当該階級に属する分割領 域が前記全体画像に占める割合を示す第 2の占有率を算出する占有率算出工程と 前記第 1の占有率に、撮影条件に応じて予め設定された 2種類の異なる係数を乗 算することにより、撮影シーンを特定するための第 1の指標及び第 2の指標を算出す るとともに、前記第 2の占有率に、撮影条件に応じて予め設定された係数を乗算する ことにより、撮影シーンを特定するための第 3の指標を算出する指標算出工程と、 を含むことを特徴とする画像処理方法。
[9] 前記全体画像の画面中央部における肌色の平均輝度値と、前記全体画像の最大 輝度値と平均輝度値との差分値のそれぞれに、撮影条件に応じて予め設定された 係数を乗算することにより、撮影シーンを特定するための第 4の指標を算出する第 4 指標算出工程を含むことを特徴とする請求の範囲第 8項に記載の画像処理方法。
[10] 前記算出された各指標のうち、少なくとも前記第 1の指標、前記第 2の指標、前記第 3の指標及び前記第 4の指標に基づいて露出レベルの調節を行い、当該調節された 露出レベルで撮影を行う撮影制御工程を含むことを特徴とする請求の範囲第 8項又 は第 9項に記載の画像処理方法。
[11] 前記算出された各指標のうち、少なくとも前記第 1の指標、前記第 2の指標、前記第 3の指標及び前記第 4の指標に基づいて、撮影で得られる撮影画像データに対する 階調調整方法を決定する階調調整決定工程を含むことを特徴とする請求の範囲第 8 項〜第 10項の何れか一項に記載の画像処理方法。
[12] 前記算出された各指標のうち、少なくとも前記第 1の指標、前記第 2の指標、前記第 3の指標及び前記第 4の指標に基づいて、前記全体画像の撮影シーンを判別する 判別工程を含むことを特徴とする請求の範囲第 8項〜第 11項の何れか一項に記載 の画像処理方法。
[13] 前記所定の階級は、最も低明度の階級における明度の範囲よりも、最も高明度の 階級における明度の範囲の方が広いことを特徴とする請求の範囲第 8項〜第 12項 の何れか一項に記載の画像処理方法。
[14] 前記所定の階級は、明度値 25以内に、少なくとも 3つの階級を有することを特徴と する請求の範囲第 13項に記載の画像処理方法。
[15] 画像処理を実行するためのコンピュータに、
撮影によって得られる全体画像を複数の分割領域カゝらなる分割画像として取得す る取得機能と、
前記全体画像の各分割領域につ!ヽて、色情報を取得する色情報取得機能と、 前記色情報取得機能により取得された色情報に基づいて、前記各分割領域を、明 度と色相の組み合わせカゝらなる所定の階級に分類し、分類された階級毎に、当該階 級に属する分割領域が前記全体画像に占める割合を示す第 1占有率を算出するとと もに、前記各分割領域を、前記全体画像の画面の外縁からの距離と明度の組み合 わせカゝらなる所定の階級に分類し、分類された階級毎に、当該階級に属する分割領 域が前記全体画像に占める割合を示す第 2の占有率を算出する占有率算出機能と 前記第 1の占有率に、撮影条件に応じて予め設定された 2種類の異なる係数を乗 算することにより、撮影シーンを特定するための第 1の指標及び第 2の指標を算出す るとともに、前記第 2の占有率に、撮影条件に応じて予め設定された係数を乗算する ことにより、撮影シーンを特定するための第 3の指標を算出する指標算出機能と、 を実現させることを特徴とする画像処理プログラム。
[16] 前記全体画像の画面中央部における肌色の平均輝度値と、前記全体画像の最大 輝度値と平均輝度値との差分値のそれぞれに、撮影条件に応じて予め設定された 係数を乗算することにより、撮影シーンを特定するための第 4の指標を算出する第 4 指標算出機能を有することを特徴とする請求の範囲第 15項に記載の画像処理プロ グラム。
[17] 前記算出された各指標のうち、少なくとも前記第 1の指標、前記第 2の指標、前記第 3の指標及び前記第 4の指標に基づいて露出レベルの調節を行い、当該調節された 露出レベルで撮影を行う撮影制御機能を有することを特徴とする請求の範囲第 15項 又は第 16項に記載の画像処理プログラム。
[18] 前記算出された各指標のうち、少なくとも前記第 1の指標、前記第 2の指標、前記第 3の指標及び前記第 4の指標に基づいて、撮影で得られる撮影画像データに対する 階調調整方法を決定する階調調整決定機能を有することを特徴とする請求の範囲 第 15項〜第 17項の何れか一項に記載の画像処理プログラム。
[19] 前記算出された各指標のうち、少なくとも前記第 1の指標、前記第 2の指標、前記第 3の指標及び前記第 4の指標に基づいて、前記全体画像の撮影シーンを判別する 判別機能を有することを特徴とする請求の範囲第 15項〜第 18項の何れか一項に記 載の画像処理プログラム。
[20] 前記所定の階級は、最も低明度の階級における明度の範囲よりも、最も高明度の 階級における明度の範囲の方が広いことを特徴とする請求の範囲第 15項〜第 19項 の何れか一項に記載の画像処理プログラム。
[21] 前記所定の階級は、明度値 25以内に、少なくとも 3つの階級を有することを特徴と する請求の範囲第 20項に記載の画像処理プログラム。
PCT/JP2006/308276 2005-05-27 2006-04-20 撮像装置、画像処理方法及び画像処理プログラム WO2006126347A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005155578A JP2006333205A (ja) 2005-05-27 2005-05-27 撮像装置、画像処理方法及び画像処理プログラム
JP2005-155578 2005-05-27

Publications (1)

Publication Number Publication Date
WO2006126347A1 true WO2006126347A1 (ja) 2006-11-30

Family

ID=37451776

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/308276 WO2006126347A1 (ja) 2005-05-27 2006-04-20 撮像装置、画像処理方法及び画像処理プログラム

Country Status (2)

Country Link
JP (1) JP2006333205A (ja)
WO (1) WO2006126347A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681255A (zh) * 2020-08-17 2020-09-18 腾讯科技（深圳）有限公司 一种对象识别方法和相关装置
CN111709957A (zh) * 2020-06-22 2020-09-25 河南理工大学 一种基于二维最大熵阈值c-v模型的医学图像分割法
CN118134219A (zh) * 2024-05-08 2024-06-04 中航国际金网(北京)科技有限公司 生产预警方法、系统、装置及非易失性存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4567618B2 (ja) * 2006-02-23 2010-10-20 富士フイルム株式会社 撮像装置およびその制御方法
JP2008160704A (ja) * 2006-12-26 2008-07-10 Noritsu Koki Co Ltd 濃度補正曲線生成方法と濃度補正曲線生成モジュール
JP5264300B2 (ja) * 2008-06-05 2013-08-14 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
JP5826237B2 (ja) * 2013-11-26 2015-12-02 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN107808397B (zh) * 2017-11-10 2020-04-24 京东方科技集团股份有限公司 瞳孔定位装置、瞳孔定位方法和视线追踪设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11196324A (ja) * 1997-12-26 1999-07-21 Fuji Photo Film Co Ltd 画像出力方法および装置
JP2002247361A (ja) * 2001-02-14 2002-08-30 Ricoh Co Ltd 画像処理装置、画像処理方法およびその方法を実施するためのプログラムを記録した記録媒体
JP2003110932A (ja) * 2001-09-28 2003-04-11 Mitsubishi Electric Corp 明度調整方法および撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11196324A (ja) * 1997-12-26 1999-07-21 Fuji Photo Film Co Ltd 画像出力方法および装置
JP2002247361A (ja) * 2001-02-14 2002-08-30 Ricoh Co Ltd 画像処理装置、画像処理方法およびその方法を実施するためのプログラムを記録した記録媒体
JP2003110932A (ja) * 2001-09-28 2003-04-11 Mitsubishi Electric Corp 明度調整方法および撮像装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709957A (zh) * 2020-06-22 2020-09-25 河南理工大学 一种基于二维最大熵阈值c-v模型的医学图像分割法
CN111681255A (zh) * 2020-08-17 2020-09-18 腾讯科技（深圳）有限公司 一种对象识别方法和相关装置
CN118134219A (zh) * 2024-05-08 2024-06-04 中航国际金网(北京)科技有限公司 生产预警方法、系统、装置及非易失性存储介质

Also Published As

Publication number Publication date
JP2006333205A (ja) 2006-12-07

Similar Documents

Publication Publication Date Title
AU2016200002B2 (en) High dynamic range transition
KR101906316B1 (ko) 화이트 밸런스 제어를 행하는 화상처리장치, 그 제어 방법 및 촬상장치
WO2006126347A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
US11778336B2 (en) Image capturing apparatus and control method thereof
JP2006352795A (ja) 撮像装置及び画像処理方法
US9025050B2 (en) Digital photographing apparatus and control method thereof
JP2006325015A (ja) 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム
US11032484B2 (en) Image processing apparatus, imaging apparatus, image processing method, imaging method, and program
EP4033750B1 (en) Method and device for processing image, and storage medium
JP2007184888A (ja) 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム
CN111434104A (zh) 图像处理装置、摄像装置、图像处理方法及程序
JP4726251B2 (ja) 撮像装置及び画像処理方法
JP2007228221A (ja) 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム
JP2007311895A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2021136661A (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体
JP2007243542A (ja) 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム
JP2007312294A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2007293686A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2007221678A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2007288245A (ja) 撮像装置、画像処理方法及び画像処理プログラム
JP2006197460A (ja) 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置
JP2007184887A (ja) 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム
CN113691794A (zh) 图像处理设备、图像处理方法和存储介质
JP2006190154A (ja) 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置
JP2007201679A (ja) 撮像装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

122 Ep: pct application non-entry in european phase

Ref document number: 06732134

Country of ref document: EP

Kind code of ref document: A1