WO2006033236A1 - 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム - Google Patents

画像処理方法、画像処理装置、撮像装置及び画像処理プログラム Download PDF

Info

Publication number
WO2006033236A1
WO2006033236A1 PCT/JP2005/016384 JP2005016384W WO2006033236A1 WO 2006033236 A1 WO2006033236 A1 WO 2006033236A1 JP 2005016384 W JP2005016384 W JP 2005016384W WO 2006033236 A1 WO2006033236 A1 WO 2006033236A1
Authority
WO
WIPO (PCT)
Prior art keywords
index
image data
captured image
shooting scene
gradation
Prior art date
Application number
PCT/JP2005/016384
Other languages
English (en)
French (fr)
Inventor
Daisuke Sato
Tsukasa Ito
Takeshi Nakajima
Kenji Kuwae
Hiroaki Takano
Takeshi Saito
Misae Tasaki
Original Assignee
Konica Minolta Photo Imaging, Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Photo Imaging, Inc. filed Critical Konica Minolta Photo Imaging, Inc.
Publication of WO2006033236A1 publication Critical patent/WO2006033236A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • Image processing method image processing apparatus, imaging apparatus, and image processing program
  • the present invention relates to an image processing method, an image processing device, an imaging device, and an image processing program.
  • Patent Document 1 discloses a method for calculating an additional correction value in place of the discriminant regression analysis method.
  • the method described in Patent Document 1 deletes the high luminance region and the low luminance region from the luminance histogram indicating the cumulative number of pixels of luminance (frequency number), and further uses the frequency frequency limit to limit the luminance.
  • An average value is calculated, and a difference between the average value and the reference luminance is obtained as a correction value.
  • Patent Document 2 describes a method of determining a light source state at the time of photographing in order to compensate for the extraction accuracy of a face region.
  • the method described in Patent Document 2 first extracts a face candidate area, calculates a bias of the average brightness of the extracted face candidate area with respect to the entire image, and if the deviation amount is large, a shooting scene (backlight shooting camera The flash close-up shooting) and adjust the tolerance of the criterion for the face area.
  • a method for extracting a face candidate region a method using a two-dimensional histogram of hue and saturation described in Japanese Patent Laid-Open No. 6-67320, Japanese Patent Laid-Open No. 8-122944, Japanese Patent Laid-Open No.
  • Patent Document 2 As a method for removing a background region other than a face, the ratio of the straight line portion, the line object property, the image described in JP-A-8-122944 and JP-A-8-184925 are disclosed. Citing methods using the contact ratio with the outer edge, density contrast, density change pattern and periodicity are cited. A method using a one-dimensional histogram of density is described for discrimination of shooting scenes. This method is based on an empirical rule that the face area is dark and the background area is bright in the case of backlighting, and that the face area is bright and the background area is dark in the case of close-up flash photography.
  • Patent Document 1 JP 2002-247393 A
  • Patent Document 2 JP 2000-148980 A
  • Patent Document 1 reduces the influence of a region with a large luminance deviation in a backlight or strobe scene, but in a shooting scene in which a person is the main subject, There was a problem that the brightness of was inappropriate.
  • Patent Document 2 can achieve the effect of compensating for the identification of the face area in the case of typical backlight or close-up flash photography, but if it does not apply to the typical composition, There was a problem that the compensation effect could not be obtained.
  • An object of the present invention is to calculate an index that quantitatively represents a shooting scene (light source condition and exposure condition) of captured image data, and to determine an image processing condition based on the calculated index. It is to improve the lightness reproducibility.
  • the photographed image data is divided into regions including combinations of predetermined brightness and hue, and the entire photographed image data is divided into the divided regions.
  • a first occupancy ratio calculating step for calculating a first occupancy ratio (first occupancy ratio) indicating a ratio to the first area and a first occupancy ratio of each of the calculated areas are set in advance according to shooting conditions. By multiplying the first coefficient, the first index (index 1) for specifying the shooting scene is calculated, and the occupancy rate of each area is set to a second index set in advance according to the shooting conditions.
  • An adjustment amount determining step for determining a gradation adjustment amount for the captured image data based on the first index, the second index, and the fourth index;
  • a gradation conversion process of the gradation adjustment amount determined in the adjustment amount determination step is performed on the photographed image data.
  • a tone conversion step is Using the gradation adjustment method determined in the adjustment method determination step, a gradation conversion process of the gradation adjustment amount determined in the adjustment amount determination step.
  • the photographed image data is divided into predetermined areas composed of a combination of the distance from the outer edge of the screen of the photographed image data and the brightness, and a second ratio indicating the ratio of the divided area to the entire photographed image data for each divided area.
  • a second occupancy ratio calculating step for calculating an occupancy ratio of the second occupancy ratio, and a third occupancy ratio calculating section for multiplying the second occupancy ratio by a third coefficient set in advance according to a shooting condition.
  • a third index calculation process for calculating the index (index 3) of
  • the first index, the second index, the third index, and the fourth index are used. Then, determine the shooting scene of the shot image data,
  • a gradation adjustment amount for the captured image data is determined based on the first index, the second index, the third index, and the fourth index.
  • the fourth index calculation step at least an average luminance value of a skin color in a screen center portion of the captured image data,
  • the fourth index is calculated by multiplying the difference value between the maximum luminance value and the average luminance value of the photographed image data by a fourth coefficient preset in accordance with the photographing conditions.
  • the captured image data is divided into regions each including a combination of predetermined brightness and hue, and the ratio of the divided regions to the entire captured image data is indicated.
  • a first index (index 1) for specifying the shooting scene is calculated.
  • a second index (index 2) for specifying the shooting scene is obtained.
  • a fourth index calculating unit for calculating a fourth index (index 4) for specifying a shooting scene
  • An adjustment method determining unit that determines a method of gradation adjustment for the captured image data according to the determined shooting scene
  • An adjustment amount determining unit that determines a gradation adjustment amount for the captured image data based on the first index, the second index, and the fourth index;
  • the captured image data is subjected to gradation conversion processing of the gradation adjustment amount determined by the adjustment amount determination unit.
  • a gradation conversion unit Using the gradation adjustment method determined by the adjustment method determination unit, the captured image data is subjected to gradation conversion processing of the gradation adjustment amount determined by the adjustment amount determination unit.
  • the captured image data is placed in a predetermined region having a combination power of distance and brightness from the outer edge of the screen of the captured image data.
  • a second occupancy ratio calculating unit that divides and calculates a second occupancy ratio indicating a ratio occupied in the entire captured image data for each of the divided areas;
  • a third index calculation unit that calculates a third index (index 3) for specifying a shooting scene by multiplying the second occupation ratio by a third coefficient set in advance according to shooting conditions. And further comprising
  • the discriminating unit discriminates a shooting scene of the captured image data based on the first index, the second index, the third index, and the fourth index,
  • the adjustment method determination unit determines a gradation adjustment amount for the captured image data based on the first index, the second index, the third index, and the fourth index.
  • the fourth index calculation unit includes at least an average luminance value of a skin color in a screen central portion of the captured image data, The fourth index is calculated by multiplying a difference value between the maximum luminance value and the average luminance value of the photographed image data by a fourth coefficient set in advance according to the photographing condition.
  • the imaging unit that captures captured image data by capturing a subject, and divides the captured image data into regions having a combination of predetermined brightness and hue, and A first occupancy ratio calculation unit that calculates a first occupancy ratio (first occupancy ratio) indicating a ratio of the entire captured image data for each area;
  • a first index (index 1) for specifying the shooting scene is calculated.
  • a second index (index 2) for specifying the shooting scene is obtained.
  • At least a fourth coefficient preset according to the shooting conditions (for example, the fourth coefficient shown in Equation (9)) is added to the average luminance value of the skin color at the center of the screen of the captured image data.
  • a fourth index calculation unit that calculates a fourth index (index 4) for identifying the shooting scene by multiplying;
  • An adjustment method determining unit that determines a method of gradation adjustment for the captured image data according to the determined shooting scene
  • An adjustment amount determining unit that determines a gradation adjustment amount for the captured image data based on the first index, the second index, and the fourth index;
  • the embodiment according to Item 8 is the imaging device according to Item 7,
  • the photographed image data is divided into predetermined areas composed of a combination of the distance from the outer edge of the screen of the photographed image data and the brightness, and a second ratio indicating the ratio of the divided area to the entire photographed image data for each divided area.
  • a second occupancy ratio calculating unit that calculates an occupancy ratio of the second occupancy ratio, and a third occupancy ratio for identifying a shooting scene by multiplying the second occupancy ratio by a third coefficient that is set in advance according to shooting conditions.
  • the discriminating unit discriminates a shooting scene of the captured image data based on the first index, the second index, the third index, and the fourth index,
  • the gradation conversion unit determines a gradation adjustment amount for the captured image data based on the first index, the second index, the third index, and the fourth index.
  • the fourth index calculation unit includes at least an average luminance value of skin color in a screen center portion of the captured image data, and The fourth index is calculated by multiplying the difference value between the maximum luminance value and the average luminance value of the photographed image data by a fourth coefficient preset in accordance with the photographing condition.
  • the embodiment according to item 10 is provided in a computer for executing image processing.
  • the photographed image data is divided into areas that are a combination of predetermined brightness and hue, and a first occupation ratio (first occupation ratio) that indicates a ratio of the entire photographed image data for each divided area.
  • First occupancy ratio calculating step for calculating
  • a first index (index 1) for specifying the shooting scene is calculated.
  • a second index (index 2) for specifying the shooting scene is obtained.
  • An adjustment amount determining step for determining a gradation adjustment amount for the captured image data based on the first index, the second index, and the fourth index;
  • the embodiment described in Item 11 is the image processing program described in Item 10, wherein the captured image data is divided into predetermined regions composed of a combination of a distance from the outer edge of the screen of the captured image data and brightness, and A second occupancy ratio calculating step for calculating a second occupancy ratio indicating a ratio of the entire captured image data for each divided area; and the second occupancy ratio is preset according to the imaging condition.
  • a third index calculating step for calculating a third index (index 3) for identifying a shooting scene by multiplying by a third coefficient; In the determining step, a shooting scene of the shot image data is determined based on the first index, the second index, the third index, and the fourth index;
  • a gradation adjustment method for the captured image data is determined in accordance with the determined captured scene.
  • the fourth index calculation step at least an average luminance value of a skin color in a screen center portion of the captured image data Then, the fourth index is calculated by multiplying the difference value between the maximum luminance value and the average luminance value of the photographed image data by a fourth coefficient preset according to the photographing condition.
  • FIG. 1 is a perspective view showing an external configuration of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an internal configuration of the image processing apparatus according to the present embodiment.
  • FIG. 3 is a block diagram showing a main part configuration of the image processing unit in FIG.
  • ⁇ 4] A diagram showing an internal configuration (a) of the scene determination unit, an internal configuration (b) of the ratio calculation unit, and an internal configuration (c) of the image processing condition calculation unit.
  • FIG. 5 is a flowchart showing scene discrimination processing executed in the image adjustment processing unit.
  • FIG. 6 is a flowchart showing a first occupancy ratio calculation process for calculating a first occupancy ratio for each brightness and hue area.
  • FIG. 7 is a diagram showing an example of a program for converting RGB power into the HSV color system.
  • FIG. 8 is a diagram showing the brightness (V) —hue (H) plane and the region rl and region r2 on the V—H plane.
  • FIG. 9 is a diagram showing the lightness (V) —hue (H) plane, and regions r3 and r4 on the V—H plane.
  • FIG. 10 is a diagram showing a curve representing a first coefficient for multiplying the first occupancy for calculating index 1;
  • FIG. 11 is a diagram showing a curve representing a second coefficient for multiplying the first occupancy for calculating index 2;
  • FIG. 12 is a flowchart showing a second occupancy ratio calculation process for calculating a second occupancy ratio based on the composition of captured image data.
  • Regions nl to n4 determined according to the distance from the outer edge of the screen of captured image data Figures shown ((a), (b), (c) and (d)).
  • FIG. 14 is a diagram showing, for each region (n1 to n4), curves representing a third coefficient for multiplying the second occupancy ratio for calculating index 3;
  • FIG. 15 is a flowchart showing an index 4 calculation process executed in the index calculation unit.
  • FIG. 16 is a flowchart showing details of the image processing condition determination processing shown in FIG.
  • FIG. 17 Plot diagrams showing the relationship between shooting scenes (forward light, strobe, backlight, under) and indices 4-6 ((a) and (b)).
  • FIG. 18 is a diagram showing the relationship among indicators for identifying (discriminating) a shooting scene, parameters A to C, and gradation adjustment methods A to C.
  • FIG. 19 is a diagram showing tone conversion curves corresponding to each tone adjustment method ((a), (b) and (c)).
  • FIG. 20 is a diagram showing a luminance frequency distribution (histogram) (a), a normalized histogram (b), and a block-divided histogram (c).
  • histogram luminance frequency distribution
  • b normalized histogram
  • c block-divided histogram
  • FIG. 21 A diagram ((a) and (b)) for explaining deletion of a low luminance region and a high luminance region by a histogram of luminance histogram, and a diagram ((c) and (c) d)).
  • FIG. 22 is a diagram showing a gradation conversion curve representing image processing conditions (gradation conversion conditions) when the shooting scene is backlit or under.
  • FIG. 23 is a block diagram showing a configuration of a digital camera to which the imaging apparatus of the present invention is applied.
  • FIG. 24 is a flowchart showing scene discrimination processing using a reduced image, which is executed in an image adjustment processing unit in the image processing apparatus or an image processing unit of a digital camera.
  • FIG. 1 is a perspective view showing an external configuration of the image processing apparatus 1 according to the embodiment of the present invention.
  • the image processing apparatus 1 is provided with a magazine loading section 3 for loading a photosensitive material on one side surface of a housing 2. Inside the housing 2 are provided an exposure processing unit 4 for exposing the photosensitive material and a print creating unit 5 for developing and drying the exposed photosensitive material to create a print. On the other side of the casing 2, a tray 6 for discharging the prints produced by the print creation unit 5 is provided.
  • a CRT (Cathode Ray Tube) 8 as a display device, a film scanner unit 9 that is a device for reading a transparent document, a reflective document input device 10, and an operation unit 11 are provided on the upper part of the housing 2.
  • the CRT8 power print is composed of a display means that displays the image of the image information to be created on the screen.
  • the housing 2 is provided with an image reading unit 14 that can read image information recorded on various digital recording media, and an image writing unit 15 that can write (output) image signals to various digital recording media.
  • a control unit 7 that centrally controls each of these units is provided inside the housing 2.
  • the image reading unit 14 includes a PC card adapter 14a and a floppy (registered trademark) disk adapter 14b, and a PC card 13a and a floppy (registered trademark) disk 13b can be inserted therein.
  • the PC card 13a has a memory in which a plurality of frame image data captured by a digital camera is recorded.
  • a plurality of frame image data captured by a digital camera is recorded on the floppy (registered trademark) disk 13b.
  • Recording media that record frame image data in addition to the PC card 13a and floppy disk 13b include, for example, a multimedia card (registered trademark), a memory stick (registered trademark), MD data, and a CD-ROM. Etc.
  • the image writing unit 15 includes a floppy (registered trademark) disk adapter 15a, an MO adapter 15b, and an optical disk adapter 15c.
  • the operation unit 11, the CRT 8, the film scanner unit 9, the reflective document input device 10, and the image reading unit 14 are structured so as to be integrally provided in the housing 2. Either one or more powers may be provided as separate bodies!
  • a force print creation method is exemplified in which a photosensitive material is exposed and developed to create a print.
  • a method such as a kuget method, an electrophotographic method, a heat sensitive method, or a sublimation method may be used.
  • FIG. 2 shows a main part configuration of the image processing apparatus 1.
  • the image processing apparatus 1 includes a control unit 7, an exposure processing unit 4, a print generation unit 5, a film scanner unit 9, and a reflective original input.
  • the apparatus 10 includes an image reading unit 14, a communication unit (input) 32, an image writing unit 15, a data storage unit 71, a template storage unit 72, an operation unit 11, a CRT 8, and a communication unit (output) 33.
  • the control unit 7 is configured by a microcomputer, and is stored in a storage unit (not shown) such as a ROM (Read Only Memory), and a CPU (Central Processing Unit) (not shown). The operation of each part constituting the image processing apparatus 1 is controlled in cooperation with the.
  • the control unit 7 includes an image processing unit 70 according to the image processing apparatus of the present invention. Based on an input signal (command information) from the operation unit 11, the control unit 7 receives from the film scanner unit 9 and the reflective original input device 10. The read image signal, the image signal read from the image reading unit 14, and the image signal input from the external device via the communication means 32 are subjected to image processing to form image information for exposure, and exposure Output to processing unit 4. Further, the image processing unit 70 performs a conversion process corresponding to the output form on the image signal subjected to the image processing, and outputs it. As output destinations of the image processing unit 70, there are CRT8, image writing unit 15, communication means (output) 33, and the like.
  • the exposure processing unit 4 performs image exposure on the photosensitive material and outputs the photosensitive material to the print creating unit 5.
  • the print creating unit 5 develops the exposed photosensitive material and dries it to create prints Pl, P2, and P3.
  • Print P1 is a service size, high-definition size, panorama size, etc.
  • print P2 is an A4 size print
  • print P3 is a business card size print.
  • the film scanner unit 9 reads a frame image recorded on a transparent original such as a developed negative film N or a reversal film imaged by an analog camera, and obtains a digital image signal of the frame image.
  • the reflective original input device 10 reads an image on the print P (photo print, document, various printed materials) by a flat bed scanner, and obtains a digital image signal.
  • the image reading unit 14 reads frame image information recorded on the PC card 13a or the floppy (registered trademark) disk 13b and transfers it to the control unit 7.
  • the image reading unit 14 includes, as image transfer means 30, a PC card adapter 14a, a floppy (registered trademark) disk adapter 14b, and the like.
  • the image reader 14 is a PC car inserted into the PC card adapter 14a.
  • the frame image information recorded in the floppy disk 13b inserted in the disk 13a and the floppy disk adapter 14b is read and transferred to the control unit 7.
  • a PC card reader or a PC card slot is used as the PC card adapter 14a.
  • the communication means (input) 32 receives an image signal representing a captured image and a print command signal from another computer in the facility where the image processing apparatus 1 is installed or a remote computer via the Internet or the like. To do.
  • the image writing unit 15 includes a floppy (registered trademark) disk adapter 15a, an MO adapter 15b, and an optical disk adapter 15c as the image conveying unit 31.
  • the image writing unit 15 includes a floppy disk 16a inserted into the floppy disk adapter 15a and an MO inserted into the MO adapter 15b. 16b, the optical disk 16c inserted into the optical disk adapter 15c, and the image signal generated by the image processing method of the present invention is written.
  • the data accumulating unit 71 stores and sequentially accumulates image information and order information corresponding to the image information (information on how many sheets of image power are to be created, information on the print size, etc.).
  • the template storage means 72 stores at least one template data for setting a synthesis area and a background image, an illustration image, etc., which are sample image data corresponding to the sample identification information Dl, D2, and D3.
  • a predetermined template is selected from a plurality of templates that are set by the operator's operation and stored in advance in the template storage means 72, and the frame image information is synthesized by the selected template and designated sample identification information Dl, D2,
  • the sample image data selected based on D3 is combined with the image data based on the order and the Z or character data to create a print based on the specified sample.
  • the synthesis using this template is performed by the well-known Chromaki method.
  • sample identification information Dl, D2, and D3 for designating a print sample is configured to be input from the operation unit 211.
  • these sample identification information is stored in print samples or orders. Since it is recorded on the sheet, it can be read by reading means such as OCR. Or it can also input by an operator's keyboard operation.
  • the sample corresponding to the sample identification information D1 that designates the print sample in this way Record the image data, input the sample identification information Dl that specifies the sample of the print, select the sample image data based on the input sample identification information D1, and select the selected sample image data and the order. Image data and Z or text data based on this, and prints based on specified samples are created, so users can place print orders with various actual size samples. Can meet the request.
  • the first sample identification information D2 designating the first sample and the image data of the first sample are stored, and the second sample identification information D3 designating the second sample and the second sample identification information D3 are stored.
  • the image data of two samples is stored, the sample image data selected based on the designated first and second sample identification information D2, D3, the image data based on the order, and the Z or character data Since a print based on the specified sample is created, a wider variety of images can be synthesized, and a print that meets a wider variety of user requirements can be created.
  • the operation unit 11 has information input means 12.
  • the information input means 12 is composed of, for example, a touch panel and outputs a pressing signal from the information input means 12 to the control unit 7 as an input signal.
  • the operation unit 11 may be configured with a keyboard, a mouse, and the like.
  • the CRT 8 displays image information and the like according to the display control signal input from the control unit 7.
  • the communication means (output) 33 sends an image signal representing a photographed image after the image processing of the present invention and order information attached thereto to other links in the facility where the image processing apparatus 1 is installed.
  • the computer transmits to a distant computer via the Internet or the like.
  • the image processing apparatus 1 includes an image input unit that captures image information obtained by dividing and metering images of various digital media and image originals, an image processing unit, and a processed image Image output means for displaying images, printing output, writing to image recording media, and order information attached to image data for remote computers via the communication line via another communication line or computer Means for transmitting.
  • FIG. 3 shows the internal configuration of the image processing unit 70.
  • the image processing unit 70 Image adjustment processing unit 701, film scan data processing unit 702, reflection original scan data processing unit 703, image data format decoding processing unit 704, template processing unit 705, CRT specific processing unit 706, printer specific processing unit A707, printer specific processing unit B708, and an image data format creation processing unit 709.
  • the film scan data processing unit 702 performs, for image data input from the film scanner unit 9, a calibration operation unique to the film scanner unit 9, negative / positive reversal (in the case of a negative document), dust flaw removal, contrast adjustment, It performs processing such as granular noise removal and sharpening enhancement, and outputs the processed image data to the image adjustment processing unit 701.
  • the film size, negative / positive type, information on the main subject optically or magnetically recorded on the film, information on the shooting conditions (for example, information content described in APS), etc. are also output to the image adjustment processing unit 701. .
  • the reflection document scan data processing unit 703 performs a calibration operation, negative / positive reversal (in the case of a negative document), dust flaw removal, and contrast adjustment specific to the image data input from the reflection document input device 10. Then, processing such as noise removal and sharpening enhancement is performed, and the processed image data is output to the image adjustment processing unit 701.
  • the image data format decoding processing unit 704 applies compression code to the image data input from the image transfer means 30 and Z or the communication means (input) 32 according to the data format of the image data as necessary. Processing such as restoration and conversion of the color data expression method is performed, the data is converted into a data format suitable for computation in the image processing unit 70, and output to the image adjustment processing unit 701. In addition, when the size of the output image is specified from any of the operation unit 11, the communication means (input) 32, and the image transfer means 30, the image data format decoding processing unit 704 detects the specified information. And output to the image adjustment processing unit 701. Information about the size of the output image specified by the image transfer means 30 is embedded in the header information and tag information of the image data acquired by the image transfer means 30.
  • the image adjustment processing unit 701 is based on a command from the operation unit 11 or the control unit 7, and includes a film scanner unit 9, a reflective document input device 10, an image transfer unit 30, a communication unit (input) 32, and a template.
  • the image data received from the image processing unit 705 is subjected to image processing (see FIG. 5, FIG. 6, FIG. 12 and FIG. 16), which will be described later, for image formation optimized for viewing on the output medium. Desi
  • the image data is generated and output to the CRT specific processing unit 706, the printer specific processing unit A707, the printer specific processing unit B708, the image data format creation processing unit 709, and the data storage unit 71.
  • the optimal color reproduction is performed within the color gamut of the sRGB standard. If output to silver salt photographic paper is assumed, processing is performed to obtain the optimum color reproduction within the color gamut of silver salt photographic paper.
  • gradation processing from 16 bits to 8 bits, reduction of the number of output pixels, and processing for handling output characteristics (LUT) of the output device are also included. It goes without saying that noise compression, sharpening, gray balance adjustment, saturation adjustment, or gradation compression processing such as masking and baking are performed.
  • the image adjustment processing unit 701 includes a scene determination unit 710 and a gradation conversion unit 711.
  • Figure 4 (a) shows the internal structure of the scene discriminator 710.
  • the scene determination unit 710 includes a ratio calculation unit 712, an index calculation unit 713, and an image processing condition calculation unit 714.
  • the ratio calculation unit 712 includes a color system conversion unit 715, a histogram creation unit 716, and an occupation rate calculation unit 717, as shown in FIG.
  • the index calculation unit 713 includes an index calculation unit that calculates the first index and the second index, and a fourth index calculation unit that calculates the fourth index, but further calculates a third index.
  • a third index calculation unit may be included.
  • the index calculation unit 713 may have functions of an index calculation unit that calculates the first index and the second index, a fourth index calculation unit, and a third index calculation unit.
  • the occupancy rate calculation unit 717 includes a first occupancy rate calculation unit that calculates the first occupancy rate, but may further include a second occupancy rate calculation unit that calculates the second occupancy rate. Further, the occupation rate calculation unit 717 may have both functions of the first occupation rate calculation unit and the second occupation rate calculation unit.
  • the color system conversion unit 715 converts the RGB (Red, Green, Blue) value of the captured image data into the HSV color system.
  • the HSV color system represents image data with three elements: Hue, Saturation, and Value (Value or Brightness), and is based on the color system proposed by Mansenore. Was devised.
  • “brightness” means “brightness” that is generally used unless otherwise noted.
  • V (0 to 255) of the HSV color system is used as “brightness”, but a unit system representing the brightness of any other color system may be used. At that time, it goes without saying that numerical values such as various coefficients described in the present embodiment are recalculated.
  • the photographed image data in the present embodiment is assumed to be image data having a person as a main subject.
  • the histogram creation unit 716 creates a two-dimensional histogram by dividing the photographed image data into regions composed of a predetermined combination of hue and brightness, and calculating the cumulative number of pixels for each of the divided regions. In addition, the histogram creation unit 716 divides the captured image data into predetermined regions having a combination power of distance and brightness from the outer edge of the screen of the captured image data, and calculates the cumulative number of pixels for each of the divided regions. To create a two-dimensional histogram. Note that the captured image data is divided into regions that have the combined power of distance, brightness, and hue from the outer edge of the screen of the captured image data, and a three-dimensional histogram is created by calculating the cumulative number of pixels for each divided region. You may make it do. In the following, a method of creating a two-dimensional histogram will be adopted.
  • the occupancy ratio calculation unit 717 indicates the ratio of the cumulative number of pixels calculated by the histogram creation unit 716 to the total number of pixels (the entire captured image data) for each region divided by the combination of brightness and hue. Calculate the first occupancy (see Table 1). The occupancy calculation unit 717 also calculates the total number of pixels calculated by the histogram creation unit 716 for each area divided by the combination of the distance from the outer edge of the screen of the captured image data and the brightness (the captured image data). Calculate the second occupancy ratio (see Table 4) indicating the ratio of the total occupancy.
  • the index calculation unit 713 uses the first coefficient set in advance (for example, by discriminant analysis) in accordance with the shooting conditions in the first occupancy rate calculated for each region in the occupancy rate calculation unit 717. By multiplying (see Table 2) and taking the sum, index 1 for identifying the shooting scene is calculated.
  • the shooting scene indicates the light source condition when shooting a subject, such as direct light, backlight, strobe light, and the exposure condition such as under shooting.
  • Index 1 shows the characteristics of strobe shooting, such as indoor shooting, close-up shooting, and high brightness of the face, and is used to separate the image that should be identified as ⁇ strobe '' from other shooting scenes. .
  • the index calculation unit 713 uses coefficients of different signs for a predetermined high-lightness skin color hue region and a hue region other than the high-lightness skin color hue region.
  • the skin color hue region of a predetermined high lightness includes a region of 170 to 224 in the lightness value of the HSV color system.
  • the hue area other than the predetermined high brightness skin color hue area includes at least one of the high brightness areas of the blue hue area (hue values 161 to 250) and the green hue area (hue values 40 to 160).
  • the index calculation unit 713 sets the first occupancy calculated for each region in the occupancy rate calculation unit 717 to the second occupancy previously set (for example, by discriminant analysis) according to the imaging conditions. By multiplying the coefficient (see Table 3) and taking the sum, index 2 for specifying the shooting scene is calculated.
  • Indicator 2 is a composite indication of backlight shooting characteristics such as outdoor shooting level, sky blue high brightness, and facial color low brightness, and is used to separate images that should be identified as ⁇ backlighting '' from other shooting scenes. Is.
  • the index calculation unit 713 uses different codes for the intermediate brightness area of the flesh color hue area (hue values 0 to 39, 330 to 359) and the brightness areas other than the intermediate brightness area.
  • the coefficient of is used.
  • the intermediate brightness area of the flesh tone hue area includes areas with brightness values of 85 to 169.
  • the brightness area other than the intermediate brightness area includes, for example, a shadow area (brightness value 26-84).
  • the shooting scene can be specified by using the index 1 and the index 2 described above, in order to specify the shooting scene with higher accuracy, the third index calculation unit will further describe later. It is preferable to calculate the index 3 of this and use this together to specify the shooting scene.
  • the index calculation unit 713 sets the second occupancy calculated for each region in the occupancy rate calculation unit 717 to the third occupancy set in advance (for example, by discriminant analysis) according to the imaging conditions. By multiplying the coefficient (see Table 5) and taking the sum, index 3 for specifying the shooting scene is calculated. Indicator 3 shows the difference in contrast between the center and outside of the screen of the captured image data between backlight and strobe, and quantitatively shows only the image that should be identified as backlight or strobe. When calculating the index 3, the index calculation unit 713 uses different coefficient values depending on the distance from the outer edge of the screen of the captured image data.
  • the index calculation unit 713 is at least a skin color in the center of the screen of the captured image data.
  • the average brightness value of the first preset value (for example, by discriminant analysis) according to the shooting conditions
  • index 4 for specifying the shooting scene is calculated. More preferably, the difference value between the maximum luminance value and the average luminance value of the photographed image data obtained only by the average luminance value of the skin color at the center of the screen of the photographed image data, the standard deviation of the luminance, the average luminance value at the center of the screen, and the image
  • the difference value between the maximum flesh color luminance value and the minimum flesh color luminance value and the comparison value of the flesh color average luminance value are multiplied by a fourth coefficient set in advance according to the shooting conditions.
  • index 4 for specifying the shooting scene is calculated. It goes without saying that the fourth coefficient is changed depending on the variable used.
  • Index 4 shows the distribution information in the luminance histogram that merely shows the difference in brightness between the center and outside of the screen of the captured image data in the flash shooting scene and the under shooting scene. Only the images that should be identified as scenes are shown quantitatively.
  • the index calculation unit 713 calculates the average luminance value of the skin color at the center of the screen of the captured image data, the difference value between the maximum luminance value and the average luminance value of the image, the luminance standard deviation, The average brightness value at the center of the screen, the difference between the maximum skin color brightness value and the minimum skin color brightness value of the image, and the comparison value of the skin color average brightness value are used.
  • the brightness value here represents the brightness. It is an index, and another index indicating brightness (for example, a brightness value of the HSV color system) may be used.
  • the maximum luminance value, flesh color maximum luminance value, and flesh color minimum luminance value are obtained by using the luminance values of the pixels in which the cumulative number of pixels from the maximum luminance value and the minimum luminance value reaches a predetermined ratio with respect to all the pixels. Also good.
  • the index calculation unit 713 calculates the index 5 by multiplying the index index 3 by a coefficient that is set in advance (for example, by discriminant analysis) according to the imaging condition, and taking the sum. More preferably, index 5, index 3, and index 4 '(skin color average luminance value in the center of the screen) are each multiplied by a coefficient set in advance according to the shooting conditions, and index 5 is calculated. (See equation (10) below). Further, the index calculation unit 713 calculates the index 6 by multiplying the index 2 and the index 3 by a coefficient set in advance according to the shooting condition, and taking the sum.
  • index 2 index 3 and index 4 ′ (skin color average luminance value in the center of the screen) are each multiplied by a coefficient set in advance according to the shooting conditions. Then, index 6 may be calculated by taking the sum (see equation (11) below). Note that a specific calculation method of the indices 1 to 6 in the index calculation unit 713 will be described in detail in the operation description of the present embodiment described later.
  • FIG. 4C shows the internal configuration of the image processing condition calculation unit 714.
  • the image processing condition calculation unit 714 includes a scene determination unit 718, a gradation adjustment method determination unit 719, a gradation adjustment parameter calculation unit 720, and a gradation adjustment amount calculation unit 721.
  • the scene discriminating unit 718 discriminates the shooting scene (light source condition and exposure condition) of the photographed image data based on the values of the index 4, the index 5 and the index 6 calculated by the index calculating unit 713. To do.
  • the gradation adjustment method determination unit 719 determines a gradation adjustment method for the captured image data in accordance with the captured scene determined by the scene determination unit 718. For example, when the shooting scene is in direct light, as shown in Fig. 19 (a), a method (gradation adjustment method A) for correcting the translation (offset) of the pixel value of the input shot image data is applied. The When the shooting scene is backlit, as shown in FIG. 19 (b), a method (tone adjustment method B) for applying gamma correction to the pixel value of the input shot image data is applied.
  • the method (tone adjustment method C) that applies gamma correction and translation (offset) correction to the pixel values of the input captured image data is applied, as shown in Fig. 19 (c). Is done.
  • a method (tone adjustment method B) for applying gamma correction to the pixel value of the input shot image data is applied.
  • the tone adjustment parameter calculation unit 720 calculates parameters (key correction values, etc.) necessary for tone adjustment based on the values of the index 4, the index 5, and the index 6 calculated by the index calculation unit 713. To do.
  • the gradation adjustment amount calculation unit 721 calculates (determines) the gradation adjustment amount for the captured image data based on the gradation adjustment parameter calculated by the gradation adjustment parameter calculation unit 720. Specifically, the tone adjustment amount calculation unit 721 performs tone adjustment from a plurality of tone conversion curves set in advance corresponding to the tone adjustment method determined by the tone adjustment method determination unit 719. The parameter calculation unit 720 selects a gradation conversion curve corresponding to the gradation adjustment parameter calculated. Note that the tone adjustment parameter calculation unit 720 Calculate the tone conversion curve (tone adjustment amount) based on the tone adjustment parameters.
  • a method of determining a shooting scene (light source condition and exposure condition) in the scene determination unit 718 and a method of calculating a gradation adjustment parameter in the gradation adjustment parameter calculation unit 720 will be described in the description of the operation of the present embodiment described later. This will be described in detail.
  • a gradation conversion unit 711 performs gradation conversion on the captured image data according to the gradation conversion curve determined by the gradation adjustment amount calculation unit 721.
  • the template processing unit 705 reads predetermined image data (template) from the template storage unit 72 based on a command from the image adjustment processing unit 701, and synthesizes the image data to be processed and the template. The template processing is performed, and the image data after the template processing is output to the image adjustment processing unit 701.
  • the CRT specific processing unit 706 performs processing such as changing the number of pixels and color matching on the image data input from the image adjustment processing unit 701 as necessary, and displays information that needs to be displayed such as control information.
  • the combined display image data is output to CRT8.
  • the printer-specific processing unit A707 performs printer-specific calibration processing, color matching, pixel number change processing, and the like as necessary, and outputs processed image data to the exposure processing unit 4.
  • a printer-specific processing unit B708 is provided for each printer apparatus to be connected.
  • the printer-specific processing unit B708 performs printer-specific calibration processing, color matching, pixel number change, and the like, and outputs processed image data to the external printer 51.
  • the image data format creation processing unit 709 converts the image data input from the image adjustment processing unit 701 to various general-purpose image formats represented by JPEG, TIFF, Exif, and the like as necessary.
  • the processed image data is output to the image transport unit 31 and the communication means (output) 33.
  • the section 709 is a section provided to help understand the functions of the image processing unit 70, and does not necessarily need to be realized as a physically independent device. It may be realized as a type of processing.
  • the captured image data is divided into predetermined image areas, and an occupation ratio indicating the ratio of each divided area to the entire captured image data (first occupation ratio, second occupation ratio). ) Is calculated (step S1). Details of the occupation rate calculation process will be described later with reference to FIGS.
  • step S2 the occupancy ratio (first occupancy ratio, second occupancy ratio) calculated by the ratio calculation unit 712, at least the average luminance value of the skin color in the center of the screen of the captured image data, and the shooting conditions Accordingly, an index (indicator 1 to 6) for specifying the photographing scene (quantitatively representing the light source condition and the exposure condition) is calculated based on a preset coefficient (step S2).
  • the index calculation process in step S2 will be described in detail later.
  • step S2 a shooting scene is determined based on the index calculated in step S2, and an image processing condition (tone conversion processing condition) for the shot image data is determined according to the determination result.
  • Step S3 the scene discrimination process ends.
  • the image processing condition determination process in step S3 will be described in detail later with reference to FIG.
  • RGB (Red, Green, Blue) values of photographed image data are converted into the HSV color system (step S10).
  • Figure 7 shows an example of a conversion program (HSV conversion program) that obtains hue values, saturation values, and brightness values by converting RGB power into the HSV color system.
  • the values of digital image data as input image data are defined as InR, InG, InB
  • the calculated hue value is defined as OutH
  • the scale is defined as 0 to 360
  • the degree value is OutS
  • the lightness value is OutV
  • the unit is defined as 0 ⁇ 255.
  • the photographed image data is divided into regions composed of a combination of predetermined brightness and hue, and a two-dimensional histogram is created by calculating the cumulative number of pixels for each divided region (step Sll).
  • a two-dimensional histogram is created by calculating the cumulative number of pixels for each divided region (step Sll).
  • Lightness (V) i Lightness value power ⁇ ) to 25 (vl), 26-50 ( ⁇ 2), 51 to 84 ( ⁇ 3), 85 to 169 ( ⁇ 4), 170 to 199 (v5), 200 It is divided into seven areas of ⁇ 224 (v6) and 225 ⁇ 255 (v7).
  • Hue (H) is a flesh color range (HI and H2) with a hue value of 0 to 39, 330 to 359, a green hue range (H3) with a hue value of 0 to 160, and a blue hue range with a hue value of 161 to 250. It is divided into four areas: (H4) and red hue area (H5).
  • the red hue region (H5) is not used in the following calculations because of the fact that it contributes little to the determination of the shooting scene.
  • the flesh-colored hue area is further divided into a flesh-colored area (HI) and other areas (H2).
  • Hue '(H) Hue (H) + 60 (when 0 ⁇ Hue (H) ⁇ 300),
  • Hue, (H) Hue (H) — 300 (when 300 ⁇ Hue (H) 360 360),
  • Luminance (Y) InRXO.30 + InGXO.59 + InBXO. 11 (A)
  • a first occupancy ratio indicating the ratio of the cumulative number of pixels calculated for each divided region to the total number of pixels (the entire captured image) is calculated (step S12).
  • the occupation rate calculation process ends. Assuming that Rij is the first occupancy calculated in the divided area, which is the combined power of the lightness area vi and the hue area Hj, the first occupancy ratio in each divided area is expressed as shown in Table 1.
  • Table 2 shows the first coefficient necessary for calculating the accuracy for strobe shooting, that is, the index 1 that quantitatively indicates the brightness state of the face area at the time of strobe shooting, for each divided area.
  • the coefficient of each divided area shown in Table 2 is a weighting coefficient by which the first occupancy Rij of each divided area shown in Table 1 is multiplied, and is set in advance according to the photographing conditions.
  • FIG. 8 shows the brightness (v) —hue (H) plane.
  • a positive (+) coefficient is used for the first occupancy calculated from the area (rl) distributed in the high brightness skin color hue area in Fig. 8, and the other hues are blue.
  • Hue region (r2) force A negative (one) coefficient is used for the first occupancy calculated.
  • Figure 10 shows a curve (coefficient curve) in which the first coefficient in the skin tone area (HI) and the first coefficient in the other area (green hue area (H3)) change continuously over the entire brightness. ).
  • Index 1 is defined as equation (3) using the sum of the H1 to H4 regions shown in equations (2-1) to (2-4).
  • Index 1 sum of H1 regions + sum of H2 regions + sum of H3 regions + sum of H4 regions +4.424 (3)
  • Table 3 shows the second coefficient required for each divided area to calculate the index 2 that quantitatively shows the accuracy of backlighting, that is, the brightness state of the face area during backlighting.
  • the coefficient of each divided area shown in Table 3 is a weighting coefficient by which the first occupancy ratio Rij of each divided area shown in Table 1 is multiplied, and is set in advance according to the shooting conditions.
  • Figure 9 shows the brightness (v) -hue (H) plane.
  • a negative (one) coefficient is used for the occupancy calculated from the area (r4) distributed in the intermediate brightness in the flesh-colored hue area in Fig. 9, and the low-lightness (shadow) area in the flesh-colored hue area.
  • a positive (+) coefficient is used for the occupation ratio calculated from (r3).
  • Fig. 11 shows the second coefficient in the flesh color region (HI) as a curve (coefficient curve) that continuously changes over the entire brightness. According to Table 3 and Fig.
  • the sign of the second coefficient in the intermediate lightness region of lightness value 85 to 169 (v4) in the flesh tone hue region is negative (-), and the lightness value is 26 to 84 (v2 , v3)
  • the sign of the second coefficient in the low brightness (shadow) region is positive (+), and it can be seen that the sign of the coefficient in both regions is different.
  • Index 2 is defined as equation (5) using the sum of the H1 to H4 regions shown in equations (41) to (44).
  • Indicator 2 sum of H1 region + sum of H2 region + sum of H3 region + sum of H4 region +1.554 (5)
  • index 1 and index 2 are calculated based on the brightness and hue distribution amount of the captured image data, they are effective in determining the shooting scene when the captured image data is a color image.
  • an occupation ratio calculation process executed in the ratio calculation unit 712 to calculate the index 3 will be described in detail.
  • the RGB value of the photographed image data is converted into the HSV color system (step S 20).
  • the captured image data is divided into areas where the combined power of the distance from the outer edge of the captured image screen and the brightness is determined, and a two-dimensional histogram is created by calculating the cumulative number of pixels for each divided area. (Step S21).
  • the area division of the captured image data will be described in detail.
  • FIGS. 13 (a) to (d) show four regions nl to n4 divided according to the distance from the outer edge of the screen of the captured image data.
  • the region nl shown in FIG. 13 (a) is the outer frame
  • the region n2 shown in FIG. 13 (b) is the inner region of the outer frame
  • the region n3 shown in FIG. 13 (c) is the region n2.
  • an inner area, an area n4 shown in FIG. 13 (d) is an area at the center of the captured image screen.
  • a second occupancy ratio indicating the ratio of the total number of pixels calculated for each divided region to the total number of pixels (the entire captured image) is calculated (step S22).
  • the occupation rate calculation process ends. Assuming that Qij is the second occupancy calculated in the divided area, which is the combination of the lightness area vi and the screen area nj, the second occupancy ratio in each divided area is shown in Table 4.
  • Table 5 shows the third coefficient necessary for calculating the index 3 for each divided region.
  • the coefficient of each divided area shown in Table 5 is a weighting coefficient by which the second occupancy Qij of each divided area shown in Table 4 is multiplied, and is set in advance according to the photographing conditions.
  • Fig. 14 shows the third coefficient in the screen regions nl to n4 as a curve (coefficient curve) that continuously changes over the entire brightness.
  • nl region sum Q11X40. 1 + Q21X37.0 + (omitted)
  • n4 area sum Q14X1. 5 + Q24X (-32. 9) + (omitted)
  • the index 3 is obtained by the equation (7) using the sum of the N1 to H4 regions shown in the equations (6-1) to (6-4). Is defined as
  • Index 3 sum of nl regions + sum of n2 regions + sum of n3 regions + sum of n4 regions 12.
  • Index 3 is calculated based on the compositional characteristics (distance from the outer edge of the screen of the captured image data) based on the brightness distribution position of the captured image data. It is also effective for discrimination.
  • the luminance Y is calculated from the RGB (Red, Green, Blue) value of the photographed image data using Equation (A).
  • the average brightness value xl of the skin color area in the center of the screen of the captured image data is calculated (step S23).
  • the center of the screen is, for example, an area composed of an area n3 and an area n4 in FIGS. 13 (a) to 13 (d).
  • a difference value x2 between the maximum luminance value and the average luminance value of the photographed image data is calculated (step S24).
  • step S25 the standard deviation x3 of the luminance of the captured image data is calculated (step S25), and the average luminance value x4 at the center of the screen is calculated (step S26).
  • step S26 the average luminance value x4 at the center of the screen is calculated (step S26).
  • step S27 a comparison value x5 between the difference value between the maximum luminance value Yskin—max and the minimum luminance value Yskin—min of the skin color area in the photographed image data and the average luminance value Yskin—ave of the skin color area is calculated (step S27).
  • This comparison value x5 is expressed as the following equation (8).
  • x5 (Yskin— max— Yskin— min) Z2 —Yskin— ave (8)
  • index 4 is calculated by multiplying each of the values xl to x5 calculated in steps S23 to S27 by a fourth coefficient set in advance according to the shooting conditions, and taking the sum (step) S28).
  • Indicator 4 is defined as in Equation (9) below.
  • Indicator 4 0. 06 X xl + l. 13 ⁇ ⁇ 2 + 0. 02 ⁇ ⁇ 3 + (-0. 01) ⁇ ⁇ 4 + 0. 03 ⁇ ⁇ 5— 6. 50 (9)
  • This index 4 has luminance histogram distribution information that is based only on the compositional characteristics of the screen of the captured image data, and is particularly effective in distinguishing between a flash photography scene and an under photography scene.
  • the average luminance value of the skin color area at the center of the screen of the captured image data is defined as index 4 '.
  • the central portion of the screen is, for example, the region 112, the region n3, and the region n4 force in FIGS. 13 (&) to 13 ((1).
  • the index 5 is the index 1
  • index 6 is defined using index 2, index 3 and index 4' as in formula (11).
  • the weighting coefficient multiplied by each index in Expression (10) and Expression (11) is set in advance according to the shooting conditions.
  • step S3 in FIG. 5 the image processing condition determination process (step S3 in FIG. 5) executed in the image processing condition calculation unit 714 will be described with reference to the flowchart in FIG.
  • the shooting scene (light source condition and exposure condition) of the captured image data is determined (step S30).
  • the shooting scene (light source condition and exposure condition) of the captured image data is determined (step S30).
  • a method for discriminating a shooting scene (light source condition and exposure condition) will be described.
  • Figure 17 (a) shows 60 images taken under each light source condition of forward light, backlight, and strobe, and index 5 and index 6 were calculated for a total of 180 digital image data. The values of index 5 and index 6 are plotted. According to Fig. 17 (a), if the value of index 5 is greater than 0.5, if the value of index 5 is less than 0.5 and the value of index 6 is greater than 0.5 when there are many flash shooting scenes, It can be seen that there are many backlight scenes. Thus, the shooting scene can be determined quantitatively based on the values of the index 5 and the index 6.
  • index 4 is particularly useful for discriminating between strobe shooting scenes where gradation adjustment is performed to darken the entire image and undershooting scenes where gradation adjustment is performed to brighten the entire image.
  • Fig. 17 (b) is a plot of index 4 and index 5 of an image with index 5 greater than 0.5 out of 60 images taken in both the flash photography scene and the under photography scene.
  • Table 6 shows the contents of scene discrimination based on the values of index 4, index 5 and index 6.
  • a gradation adjustment method for the photographic image data is determined in accordance with the determined photographic scene (step S31).
  • the gradation adjustment method A (Fig. 19 (a)) is selected when the shooting scene is a direct light
  • the gradation adjustment method B Fig. 19 (b) when the shooting scene is a backlight.
  • gradation adjustment method C (Fig. 19 (c)) is selected when the flash is used
  • gradation adjustment method B Fig. 19 (b)
  • step S32 parameters necessary for gradation adjustment are calculated based on the index calculated by the index calculation unit 713 (step S32).
  • the calculation method of the gradation adjustment parameter calculated in step S32 will be described. In the following, it is assumed that the 8-bit captured image data has been converted to 16-bit in advance, and the unit of the captured image data value is 16-bit.
  • step S32 the following parameters P1 to P9 are calculated as parameters necessary for gradation adjustment (gradation adjustment parameters).
  • Reproduction target correction value Brightness reproduction target value (30360) -P4
  • Offset value 2 P5— P8— PI
  • a CDF cumulative density function
  • Rx normalized data in R plane is R, Gx in G plane
  • the normalized data R 1, G 2, and B are respectively expressed as equations (12) to (14).
  • N (B + G + R) / 3 (15)
  • Figure 20 (a) shows the frequency distribution (histogram) of the brightness of RGB pixels before normalization.
  • the horizontal axis represents luminance
  • the vertical axis represents pixel frequency. This histogram is created for each RGB.
  • regularity is performed for each plane on the captured image data according to equations (12) to (14).
  • Figure 20 (b) shows a histogram of the brightness calculated by equation (15). Since the captured image data is normally entered at 65535, each pixel takes an arbitrary value between the maximum value of 65535 and the minimum value power.
  • FIG. 20 (c) When the luminance histogram shown in FIG. 20 (b) is divided into blocks divided by a predetermined range, a frequency distribution as shown in FIG. 20 (c) is obtained.
  • the horizontal axis is the block number (luminance) and the vertical axis is the frequency.
  • FIG. 21 (c) an area having a frequency greater than a predetermined threshold is deleted from the luminance histogram. This is because if there is a part with an extremely high frequency, the data in this part has a strong influence on the average brightness of the entire photographed image, so that erroneous correction is likely to occur. Therefore, as shown in FIG. 21 (c), the number of pixels above the threshold is limited in the luminance histogram.
  • Figure 21 (d) shows the luminance histogram after the pixel number limiting process.
  • Each block number of the luminance histogram (Fig. 21 (d)) obtained by deleting the high luminance region and the low luminance region from the normalized luminance histogram and further limiting the cumulative number of pixels,
  • the parameter P2 is the average luminance value calculated based on each frequency.
  • the norm P1 is an average value of the luminance of the entire photographed image data
  • the parameter P3 is an average value of the luminance of the skin color area (HI) in the photographed image data.
  • the key correction value for parameter P7, the key correction value 2 for parameter P7 ', and the brightness correction value 2 for parameter P8 are defined as shown in equations (16), (17), and (18), respectively.
  • P7 (key correction value) [P3 — ((index 6Z 6) X 18000 + 22000)] / 24. 78
  • P7 '(key correction value 2) [P3— ((index 4Z 6) X 10000 + 30000)] / 24. 78 (17)
  • step S33 specifically, a step is selected from a plurality of gradation conversion curves set in advance corresponding to the gradation adjustment method determined in step S31.
  • the tone conversion curve corresponding to the tone adjustment parameter calculated in step S32 is selected (determined). Note that the gradation conversion curve (gradation adjustment amount) may be calculated based on the gradation adjustment parameter calculated in step S32.
  • offset correction (parallel shift of 8bit value) is performed by the following equation (19) to match the meter P1 with P5.
  • RGB value of output image RGB value of input image + P6 (19)
  • a gradation conversion curve corresponding to the parameter P7 (key correction value) shown in Expression (16) is selected from the plurality of gradation conversion curves shown in FIG. 19 (b).
  • a specific example of the gradation conversion curve in FIG. 19 (b) is shown in FIG.
  • the correspondence between the value of parameter P7 and the selected gradation transformation curve is shown below.
  • the shooting scene is backlit, it is preferable to perform the dodging process together with the gradation conversion process. In this case, it is desirable to adjust the degree of the dodging process according to the index 6 indicating the backlight intensity.
  • the shooting scene is under, select from the multiple tone conversion curves shown in Fig. 19 (b). Then, the gradation conversion curve corresponding to the parameter P7 ′ (key correction value 2) shown in Equation (17) is selected. Specifically, the gradation conversion curve corresponding to the value of parameter P7 ′ is selected from the gradation conversion curves shown in FIG. 22 in the same manner as the method for selecting the gradation conversion curve when the shooting scene is backlit. The When the shooting scene is under, dodging is not performed as shown in the case of backlight.
  • RGB value of output image RGB value of input image + P9 (20)
  • a gradation conversion curve corresponding to Equation (20) is selected from a plurality of gradation conversion curves shown in FIG. 19 (c).
  • a gradation conversion curve may be calculated (determined) based on Equation (20).
  • the above-described image processing conditions are changed from 16 bits to 8 bits.
  • an index that quantitatively indicates the shooting scene of the shot image data is calculated, and the shooting scene is determined based on the calculated index.
  • determine the gradation adjustment method for the captured image data according to the discrimination result and determine the gradation adjustment amount (gradation conversion curve) of the captured image data, thereby correcting the brightness of the subject appropriately. It becomes possible.
  • index 3 that also derives the compositional power of the captured image data By using this to determine the shooting scene, it is possible to improve the shooting scene determination accuracy. Also, the compositional elements of the captured image data and the distribution information power of the histogram are calculated. Index 4 can be used to distinguish between strobe shooting scenes that adjust the gradation that darkens the entire image and under-shooting scenes that adjust the gradation of the entire image brighter, and further improve the accuracy of shooting scene determination. Can do.
  • FIG. 23 shows the configuration of a digital camera 200 to which the imaging apparatus of the present invention is applied.
  • Digital camera 200200 Figure 23 [As shown]
  • CPU201 optical system 202
  • image sensor ⁇ 203 image sensor ⁇ 203
  • AF calculation ⁇ 204 WB calculation ⁇ 205
  • AE calculation ⁇ 206 lens control ⁇ 207
  • image processing unit 208 Display unit 209, recording data creation unit 210, recording medium 211, scene mode setting key 212, color space setting key 213, release button 214, and other operation keys 215 c
  • the CPU 201 comprehensively controls the operation of the digital camera 200.
  • the optical system 202 is a zoom lens, and forms a subject image on a charge-coupled device (CCD) image sensor in the imaging sensor unit 203.
  • the imaging sensor unit 203 photoelectrically converts an optical image by a CCD image sensor, converts it into a digital signal (AZD conversion), and outputs it.
  • the image data output from the imaging sensor unit 203 is input to the AF calculation unit 204, the WB calculation unit 205, the AE calculation unit 206, and the image processing unit 208.
  • the AF calculation unit 204 calculates and outputs the distances of the AF areas provided at nine places in the screen. The determination of the distance is performed by determining the contrast of the image, and the CPU 201 selects a value at the closest distance among them and sets it as the subject distance.
  • the WB calculation unit 205 calculates and outputs a white balance evaluation value of the image.
  • the white balance evaluation value is a gain value required to match the RGB output value of a neutral subject under the light source at the time of shooting, and is calculated as the ratio of RZG and BZG with reference to the G channel. The calculated evaluation value is input to the image processing unit 208, and the white balance of the image is adjusted.
  • the AE calculation unit 206 calculates and outputs an appropriate exposure value for the image data, and the CPU 201 calculates an aperture value and a shutter speed value so that the calculated appropriate exposure value matches the current exposure value.
  • the aperture value is output to the lens control unit 207, and the corresponding aperture diameter is set.
  • the shutter speed value is output to the image sensor unit 203, and the corresponding CCD integration time is set.
  • the image processing unit 208 performs processing such as white balance processing, CCD filter array interpolation processing, color conversion, primary gradation conversion, and sharpness correction on the captured image data, and then performs the above-described implementation.
  • the image is converted into a preferable image by performing a scene discrimination process (see FIGS. 5 to 22) and performing a gradation conversion process determined based on the discrimination result. After that, conversion such as JPEG compression is executed.
  • the JPEG-compressed image data is output to the display unit 209 and the recording data creation unit 210.
  • Display unit 209 displays captured image data on a liquid crystal display and displays various types of information according to instructions from CPU 201.
  • the recording data creation unit 210 formats JPEG-compressed image data and various captured image data input from the CPU 201 into an Exif (Exchangeable Image File Format) file, and records the data on the recording medium 211.
  • Exif Exchangeable Image File Format
  • the recording medium 211 there is a part called a maker note as a space where each manufacturer can write free information, and the scene discrimination result and the indexes 4, 5, and 6 may be recorded.
  • the shooting scene mode can be switched by a user setting. That is, three modes can be selected as a shooting scene mode: a normal mode, a portrait mode, and a landscape mode scene.
  • a shooting scene mode When the user operates the scene mode setting key 212 and the subject is a person, the portrait mode and the landscape mode are selected. In case of, switch to landscape mode to perform primary gradation conversion suitable for the subject.
  • the digital camera 200 records the selected shooting scene mode information by adding it to the maker note portion of the image data file. The digital camera 200 also records the position information of the AF area selected as the subject in the image file in the same manner.
  • the user can set the output color space using the color space setting key 213.
  • sRGB IEC61966-2-i; ⁇ RAW can be selected.
  • sRGB the image processing in this embodiment is executed.
  • Raw is selected, The image processing of this embodiment is not performed, and the image is output in a color space unique to CCD.
  • an index that quantitatively indicates the shooting scene of the shot image data is calculated. Based on the calculated index, the shooting scene is determined, the gradation adjustment method for the captured image data is determined according to the determination result, and the gradation adjustment amount (gradation conversion curve) of the captured image data is determined. By doing so, it is possible to appropriately correct the brightness of the subject. As described above, even when the digital camera 200 and the printer are directly connected without using a personal computer by performing appropriate gradation conversion processing inside the digital camera 200, it is preferable. The image can be output.
  • a face image may be detected from the photographed image data, a photographing scene may be determined based on the detected face image, and image processing conditions may be determined. Also, Exif (Exchangeable Image File Format) information may be used for discriminating the shooting scene. If Exif information is used, it is possible to further improve the accuracy of determining the shooting scene.
  • Exif Exchangeable Image File Format
  • a process of reducing the image size may be performed, and the scene determination process of the present embodiment may be performed on the reduced image data.
  • the scene discrimination process when using a reduced image will be described.
  • the captured image data is converted into a reduced image (step T1).
  • a method for reducing the image size a known method (for example, a bilinear method, a bicubic method, a two-arrest neighbor method, or the like) can be used.
  • the reduction ratio is not particularly limited, but from the viewpoint of the processing speed and the accuracy of the scene discrimination process, the original image is preferably about 1Z2 to LZ10.
  • the reduced image data obtained in step T1 is divided into predetermined image areas, and an occupancy ratio calculation process is performed to calculate an occupancy ratio indicating the ratio of each divided area to the entire reduced image data.
  • Step T2 an index for identifying a shooting scene based on the occupation ratio calculated in step ⁇ 2, at least the average luminance value of the skin color area in the center of the screen of the shot image data, and a coefficient set in advance according to the shooting conditions (Indicators 1 to 6) are calculated (Step ⁇ 3).
  • the shooting scene is determined based on the index calculated in step ⁇ 3, and image processing for the reduced image data is performed according to the determination result.
  • the processing conditions (gradation conversion processing conditions) are determined (step T4), and the scene discrimination processing ends.
  • step T2 The occupancy ratio calculation process in step T2, the index calculation process in step T3, and the image processing condition determination process in step T4 are the same as the methods shown in steps Sl, S2, and S3 in FIG. 5, respectively. .
  • the original image data is subjected to gradation conversion processing according to the image processing conditions (gradation conversion processing conditions) determined in step T4. do it.
  • the image processing conditions gradient conversion processing conditions
  • an index that quantitatively indicates the shooting scene of the shot image data is calculated, the shooting scene is determined based on the calculated index, and the shot image data is determined according to the determination result.
  • the brightness of the subject can be corrected appropriately.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

　本発明に係る画像調整処理部は、撮影画像データを、所定の明度と色相の組み合わせからなる領域に分割し、当該分割された領域毎に、撮影画像データ全体に占める割合を示す占有率を算出し、その算出された各領域の占有率に、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための指標を算出する。また、少なくとも、撮影画像データの画面中央部における肌色領域の平均輝度値に、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定する指標を更に算出する。そして、算出されたこれらの指標に基づいて、撮影画像データの撮影シーンを判別し、判別された撮影シーンに応じて、撮影画像データに対する階調調整の方法を決定する。そして、決定された階調調整方法を用いて、前記撮影画像データに対し、決定された階調調整量の階調変換処理を施す。

Description

明 細 書
画像処理方法、画像処理装置、撮像装置及び画像処理プログラム 技術分野
[0001] 本発明は、画像処理方法、画像処理装置、撮像装置及び画像処理プログラムに関 する。
背景技術
[0002] 従来、フィルムスキャン画像やデジタルカメラ画像の輝度補正は、画像全体の平均 輝度をユーザが希望する値へと補正することで行われて 、た。また通常の撮影では 、順光、逆光、ストロボ等の光源条件が様々に変動し、画像中に輝度の偏りの大きい 大面積の領域が生じるため、平均輝度の補正に加えて、判別分析、重回帰分析によ り算出される値を用いた追加補正が必要であった。し力しながら、判別回帰分析方法 では、ストロボシーンと逆光シーン力も算出されるパラメータが非常に類似しているた め、撮影シーンの判別が困難であるという問題があった。
[0003] 特許文献 1には、判別回帰分析方法に代わる追加補正値の算出方法が開示され ている。特許文献 1に記載の方法は、輝度の累積画素数 (頻度数)を示す輝度ヒスト グラムから、高輝度領域と抵輝度領域を削除し、更に、頻度数を制限したものを用い て、輝度の平均値を算出し、この平均値と基準輝度との差分を補正値として求めるも のである。
[0004] また、特許文献 2には、顔領域の抽出精度を補償するために、撮影時の光源状態 の判別を行う方法が記載されている。特許文献 2に記載の方法は、まず、顔候補領 域を抽出し、抽出した顔候補領域の平均輝度の画像全体に対する偏りを算出し、偏 倚量が大きい場合、撮影シーン (逆光撮影カゝストロボ近接撮影か)の判別を行い、顔 領域としての判断基準の許容幅を調整する。特許文献 2には、顔候補領域の抽出方 法として、特開平 6— 67320号公報に記載の、色相と彩度の 2次元ヒストグラムを用 いる方法、特開平 8— 122944号公報、特開平 8— 184925号公報及び特開平 9 138471号公報に記載のパターンマッチング、パターン検索方法などが引用されて いる。 [0005] また、特許文献 2には、顔以外の背景領域除去方法としては、特開平 8— 122944 号公報及び特開平 8— 184925号公報に記載の、直線部分の比率、線対象性、画 面外縁との接触率、濃度コントラスト、濃度変化のパターンや周期性を用いて判別す る方法が引用されている。撮影シーンの判別には、濃度の 1次元ヒストグラムを用いる 方法が記載されている。この方法は、逆光の場合は顔領域が暗く背景領域が明るい 、ストロボ近接撮影の場合は顔領域が明るく背景領域が暗いという経験則に基づい ている。
[0006] また、近年、デジタルスチルカメラ (携帯電話やラップトップパソコン等の機器に組 み込まれたものも含み、以下、 DSCと略称する。）で撮影された画像データを、パー ソナルコンピュータ等を介さずに、直接インクジェットプリンタ等に伝送して出力を行う PictBridgeと称する規格（CIPA DC— 001)が提案されている。しかしながら、一 般の DSCで撮影された画像に何の画像処理も施さずに出力を行っても、好ま ヽ画 像を得ることはできない。よって、 DSC内で上述のような適切な画像処理を行うことが 切望されている。
特許文献 1：特開 2002— 247393号公報
特許文献 2 :特開 2000— 148980号公報
発明の開示
[0007] し力しながら、特許文献 1に記載の技術は、逆光、ストロボシーンでの、輝度の偏り の大きい領域の影響は低減されるが、人物を主要被写体とする撮影シーンでは、顔 領域の明度が不適切であるという問題があった。また、特許文献 2に記載の技術は、 典型的な逆光やストロボ近接撮影の場合には、顔領域の特定を補償する効果を達 成することができるが、典型的な構図に当てはまらないと、補償効果が得られなくなる という問題があった。
[0008] 本発明の課題は、撮影画像データの撮影シーン (光源条件及び露出条件)を定量 的に表す指標を算出し、その算出された指標に基づいて画像処理条件を決定する ことにより、被写体の明度再現性を向上させることである。
[0009] 項 1に記載の好ま ヽ実施形態は、撮影画像データを、所定の明度と色相の組み 合わせからなる領域に分割し、当該分割された領域毎に、前記撮影画像データ全体 に占める割合を示す第 1の占有率 (第 1の占有率)を算出する第 1占有率算出工程と 前記算出された各領域の第 1の占有率に、撮影条件に応じて予め設定された第 1 の係数を乗算することにより、撮影シーンを特定するための第 1の指標 (指標 1)を算 出するとともに、前記各領域の占有率に、撮影条件に応じて予め設定された第 2の係 数を乗算することにより、撮影シーンを特定するための第 2の指標 (指標 2)を算出す る指標算出工程と、
少なくとも、前記撮影画像データの画面中央部における肌色の平均輝度値に、撮 影条件に応じて予め設定された第 4の係数 (例えば、式 (9)に示した第 4の係数)を 乗算することにより、撮影シーンを特定するための第 4の指標を算出する第 4指標算 出工程と、
前記第 1の指標、第 2の指標及び第 4の指標に基づいて、前記撮影画像データの 撮影シーンを判別する判別工程と、
前記判別された撮影シーンに応じて、前記撮影画像データに対する階調調整の方 法を決定する調整方法決定工程と、
前記第 1の指標、第 2の指標及び第 4の指標に基づいて、前記撮影画像データに 対する階調調整量を決定する調整量決定工程と、
前記調整方法決定工程にお!ヽて決定された階調調整方法を用いて、前記撮影画 像データに対し、前記調整量決定工程において決定された階調調整量の階調変換 処理を施す階調変換工程と、を含む。
項 2に記載の実施形態は、項 1に記載の画像処理方法にお!、て、
前記撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の 組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像 データ全体に占める割合を示す第 2の占有率を算出する第 2占有率算出工程と、 前記第 2の占有率に、撮影条件に応じて予め設定された第 3の係数を乗算すること により、撮影シーンを特定するための第 3の指標 (指標 3)を算出する第 3指標算出ェ 程と、をさらに含み、
前記判別工程では、前記第 1の指標、第 2の指標、第 3の指標及び第 4の指標に基 づ 、て、前記撮影画像データの撮影シーンを判別し、
前記調整量決定工程では、前記第 1の指標、第 2の指標、第 3の指標及び第 4の指 標に基づいて、前記撮影画像データに対する階調調整量を決定する。
[0011] 項 3に記載の実施形態は、項 1又は 2に記載の画像処理方法において、前記第 4 指標算出工程では、少なくとも、前記撮影画像データの画面中央部における肌色の 平均輝度値と、当該撮影画像データの最大輝度値と平均輝度値との差分値に、前 記撮影条件に応じて予め設定された第 4の係数を乗算することにより、前記第 4の指 標が算出される。
[0012] 項 4に記載の実施形態は、撮影画像データを、所定の明度と色相の組み合わせか らなる領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める 割合を示す第 1の占有率 (第 1の占有率)を算出する第 1占有率算出部と、
前記算出された各領域の第 1の占有率に、撮影条件に応じて予め設定された第 1 の係数を乗算することにより、撮影シーンを特定するための第 1の指標 (指標 1)を算 出するとともに、前記各領域の第 1の占有率に、撮影条件に応じて予め設定された第 2の係数を乗算することにより、撮影シーンを特定するための第 2の指標 (指標 2)を 算出する指標算出部と、
少なくとも、前記撮影画像データの画面中央部における肌色の平均輝度値に、撮 影条件に応じて予め設定された第 4の係数 (例えば、式 (9)に示した第 4の係数)を 乗算することにより、撮影シーンを特定するための第 4の指標 (指標 4)を算出する第 4指標算出部と、
前記第 1の指標、第 2の指標及び第 4の指標に基づいて、前記撮影画像データの 撮影シーンを判別する判別部と、
前記判別された撮影シーンに応じて、前記撮影画像データに対する階調調整の方 法を決定する調整方法決定部と、
前記第 1の指標、第 2の指標及び第 4の指標に基づいて、前記撮影画像データに 対する階調調整量を決定する調整量決定部と、
前記調整方法決定部により決定された階調調整方法を用いて、前記撮影画像デ ータに対し、前記調整量決定部により決定された階調調整量の階調変換処理を施 す階調変換部と、を備える。
[0013] 項 5に記載の実施形態は、項 4に記載の画像処理装置において、 前記撮影画像 データを、当該撮影画像データの画面の外縁からの距離と明度の組み合わせ力もな る所定の領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占 める割合を示す第 2の占有率を算出する第 2占有率算出部と、
前記第 2の占有率に、撮影条件に応じて予め設定された第 3の係数を乗算すること により、撮影シーンを特定するための第 3の指標 (指標 3)を算出する第 3指標算出部 と、をさらに備え、
前記判別部では、前記第 1の指標、第 2の指標、第 3の指標及び第 4の指標に基づ いて、前記撮影画像データの撮影シーンを判別し、
前記調整方法決定部では、前記第 1の指標、第 2の指標、第 3の指標及び第 4の指 標に基づいて、前記撮影画像データに対する階調調整量を決定する。
[0014] 項 6に記載の実施形態は、項 4又は 5に記載の画像処理装置において、前記第 4 指標算出部は、少なくとも、前記撮影画像データの画面中央部における肌色の平均 輝度値と、当該撮影画像データの最大輝度値と平均輝度値との差分値に、前記撮 影条件に応じて予め設定された第 4の係数を乗算することにより、前記第 4の指標を 算出する。
[0015] 項 7に記載の実施形態は、被写体を撮影して撮影画像データを取得する撮像部と 、前記撮影画像データを、所定の明度と色相の組み合わせ力 なる領域に分割し、 当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第 1の占 有率 (第 1の占有率)を算出する第 1占有率算出部と、
前記算出された各領域の第 1の占有率に、撮影条件に応じて予め設定された第 1 の係数を乗算することにより、撮影シーンを特定するための第 1の指標 (指標 1)を算 出するとともに、前記各領域の第 1の占有率に、撮影条件に応じて予め設定された第 2の係数を乗算することにより、撮影シーンを特定するための第 2の指標 (指標 2)を 算出する指標算出部と、
少なくとも、前記撮影画像データの画面中央部における肌色の平均輝度値に、撮 影条件に応じて予め設定された第 4の係数 (例えば、式 (9)に示した第 4の係数)を 乗算することにより、撮影シーンを特定するための第 4の指標 (指標 4)を算出する第 4指標算出部と、
前記第 1の指標、第 2の指標及び第 3の指標に基づいて、前記撮影画像データの 撮影シーンを判別する判別部と、
前記判別された撮影シーンに応じて、前記撮影画像データに対する階調調整の方 法を決定する調整方法決定部と、
前記第 1の指標、第 2の指標及び第 4の指標に基づいて、前記撮影画像データに 対する階調調整量を決定する調整量決定部と、
前記調整方法決定部により決定された階調調整方法を用いて、前記撮影画像デ ータに対し、前記調整量決定部により決定された階調調整量の階調変換処理を施 す階調変換部と、を備える。
[0016] 項 8に記載の実施形態は、項 7に記載の撮像装置において、
前記撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の 組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像 データ全体に占める割合を示す第 2の占有率を算出する第 2占有率算出部と、 前記第 2の占有率に、撮影条件に応じて予め設定された第 3の係数を乗算すること により、撮影シーンを特定するための第 3の指標 (指標 3)を算出する第 3指標算出部 と、をさらに含み、
前記判別部では、前記第 1の指標、第 2の指標、第 3の指標及び第 4の指標に基づ いて、前記撮影画像データの撮影シーンを判別し、
前記階調変換部では、前記第 1の指標、第 2の指標、第 3の指標及び第 4の指標に 基づいて、前記撮影画像データに対する階調調整量を決定する。
[0017] 項 9に記載の実施形態は、項 7又は 8に記載の撮像装置において、前記第 4指標 算出部は、少なくとも、前記撮影画像データの画面中央部における肌色の平均輝度 値と、当該撮影画像データの最大輝度値と平均輝度値との差分値に、前記撮影条 件に応じて予め設定された第 4の係数を乗算することにより、前記第 4の指標を算出 する。
[0018] 項 10に記載の実施形態は、画像処理を実行するためのコンピュータに、 撮影画像データを、所定の明度と色相の組み合わせカゝらなる領域に分割し、当該 分割された領域毎に、前記撮影画像データ全体に占める割合を示す第 1の占有率（ 第 1の占有率)を算出する第 1占有率算出工程と、
前記算出された各領域の第 1の占有率に、撮影条件に応じて予め設定された第 1 の係数を乗算することにより、撮影シーンを特定するための第 1の指標 (指標 1)を算 出するとともに、前記各領域の第 1の占有率に、撮影条件に応じて予め設定された第 2の係数を乗算することにより、撮影シーンを特定するための第 2の指標 (指標 2)を 算出する指標算出工程と、
少なくとも、前記撮影画像データの画面中央部における肌色の平均輝度値に、撮 影条件に応じて予め設定された第 4の係数 (例えば、式 (9)に示した第 4の係数)を 乗算することにより、撮影シーンを特定するための第 4の指標 (指標 4)を算出する第 4指標算出工程と、
前記第 1の指標、第 2の指標及び第 4の指標に基づいて、前記撮影画像データの 撮影シーンを判別する判別工程と、
前記判別された撮影シーンに応じて、前記撮影画像データに対する階調調整の方 法を決定する調整方法決定工程と、
前記第 1の指標、第 2の指標及び第 4の指標に基づいて、前記撮影画像データに 対する階調調整量を決定する調整量決定工程と、
前記調整方法決定工程により決定された階調調整方法を用いて、前記撮影画像 データに対し、前記調整量決定工程により決定された階調調整量の階調変換処理 を施す階調変換工程と、を備える画像処理プログラムである。
項 11に記載の実施形態は、項 10に記載の画像処理プログラムにおいて、 前記撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の 組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像 データ全体に占める割合を示す第 2の占有率を算出する第 2占有率算出工程と、 前記第 2の占有率に、撮影条件に応じて予め設定された第 3の係数を乗算すること により、撮影シーンを特定するための第 3の指標 (指標 3)を算出する第 3指標算出ェ 程と、をさらに備え、 前記判別工程では、前記第 1の指標、第 2の指標、第 3の指標及び第 4の指標に基 づ 、て、前記撮影画像データの撮影シーンを判別し、
前記調整方法決定では、前記判別された撮影シーンに応じて、前記撮影画像デー タに対する階調調整の方法を決定する。
[0020] 項 12に記載の実施形態は、項 10又は 11に記載の画像処理プログラムにおいて、 前記第 4指標算出工程において、少なくとも、前記撮影画像データの画面中央部に おける肌色の平均輝度値と、当該撮影画像データの最大輝度値と平均輝度値との 差分値に、前記撮影条件に応じて予め設定された第 4の係数を乗算することにより、 前記第 4の指標を算出する。
図面の簡単な説明
[0021] [図 1]本発明の実施形態における画像処理装置の外観構成を示す斜視図。
[図 2]本実施形態の画像処理装置の内部構成を示すブロック図。
[図 3]図 2の画像処理部の主要部構成を示すブロック図。
圆 4]シーン判別部の内部構成 (a)と、割合算出部の内部構成 (b)と、画像処理条件 算出部の内部構成 (c)を示す図。
[図 5]画像調整処理部において実行されるシーン判別処理を示すフローチャート。
[図 6]明度，色相の領域毎に第 1の占有率を算出する第 1の占有率算出処理を示す フローチャート。
[図 7]RGB力も HSV表色系に変換するプログラムの一例を示す図。
[図 8]明度 (V)—色相 (H)平面と、 V— H平面上の領域 rl及び領域 r2を示す図。
[図 9]明度 (V)—色相（H)平面と、 V— H平面上の領域 r3及び領域 r4を示す図。
[図 10]指標 1を算出するための、第 1の占有率に乗算する第 1の係数を表す曲線を 示す図。
[図 11]指標 2を算出するための、第 1の占有率に乗算する第 2の係数を表す曲線を 示す図。
[図 12]撮影画像データの構図に基づ 、て第 2の占有率を算出する第 2の占有率算 出処理を示すフローチャート。
[図 13]撮影画像データの画面の外縁からの距離に応じて決定される領域 nl〜n4を 示す図（(a)、（b)、（c)及び (d) )。
[図 14]指標 3を算出するための、第 2の占有率に乗算する第 3の係数を表す曲線を 領域別（nl〜n4)に示す図。
[図 15]指標算出部において実行される指標 4算出処理を示すフローチャート。
[図 16]図 5に示された画像処理条件決定処理の詳細を示すフローチャート。
[図 17]撮影シーン (順光、ストロボ、逆光、アンダー）と指標 4〜6の関係を示すプロッ ト図（(a)及び (b) )。
[図 18]撮影シーンを特定 (判別)するための指標、パラメータ A〜C、階調調整方法 A 〜Cの関係を示す図。
[図 19]各階調調整方法に対応する階調変換曲線を示す図（ (a)、 (b)及び (c) )。
[図 20]輝度の度数分布 (ヒストグラム）（a)、正規化されたヒストグラム (b)及びブロック 分割されたヒストグラム (c)を示す図。
[図 21]輝度のヒストグラム力ゝらの低輝度領域及び高輝度領域の削除を説明する図（（ a)及び (b) )と、輝度の頻度の制限を説明する図（ (c)及び (d) )。
[図 22]撮影シーンが逆光又はアンダーである場合の画像処理条件 (階調変換条件） を表す階調変換曲線を示す図。
[図 23]本発明の撮像装置を適用したデジタルカメラの構成を示すブロック図。
[図 24]画像処理装置内の画像調整処理部又はデジタルカメラの画像処理部におい て実行される、縮小画像を用いたシーン判別処理を示すフローチャート。
発明を実施するための最良の形態
[0022] 以下、図面を参照して、本発明の実施形態を詳細に説明する。
[0023] まず、本実施形態における構成について説明する。
[0024] 図 1は、本発明の実施形態における画像処理装置 1の外観構成を示す斜視図であ る。画像処理装置 1は、図 1に示すように、筐体 2の一側面に、感光材料を装填する ためのマガジン装填部 3が備えられている。筐体 2の内側には、感光材料に露光する 露光処理部 4と、露光された感光材料を現像処理して乾燥し、プリントを作成するた めのプリント作成部 5が備えられている。筐体 2の他側面には、プリント作成部 5で作 成されたプリントを排出するためのトレー 6が備えられている。 [0025] また、筐体 2の上部には、表示装置としての CRT (Cathode Ray Tube) 8、透過 原稿を読み込む装置であるフィルムスキャナ部 9、反射原稿入力装置 10、操作部 11 が備えられている。この CRT8力 プリントを作成しょうとする画像情報の画像を画面 に表示する表示手段を構成している。更に、筐体 2には、各種デジタル記録媒体に 記録された画像情報を読み取り可能な画像読込部 14、各種デジタル記録媒体に画 像信号を書き込み（出力）可能な画像書込部 15が備えられている。また、筐体 2の内 部には、これらの各部を集中制御する制御部 7が備えられている。
[0026] 画像読込部 14には、 PCカード用アダプタ 14a、フロッピー（登録商標）ディスク用ァ ダプタ 14bが備えられ、 PCカード 13aやフロッピー（登録商標）ディスク 13bが差し込 み可能になっている。 PCカード 13aは、例えば、デジタルカメラで撮像された複数の 駒画像データが記録されたメモリを有する。フロッピー（登録商標）ディスク 13bには、 例えば、デジタルカメラで撮像された複数の駒画像データが記録される。 PCカード 1 3a及びフロッピー（登録商標）ディスク 13b以外に駒画像データが記録される記録媒 体としては、例えば、マルチメディアカード (登録商標）、メモリースティック (登録商標 ；)、 MDデータ、 CD— ROM等がある。
[0027] 画像書込部 15には、フロッピー（登録商標）ディスク用アダプタ 15a、 MO用ァダプ タ 15b、光ディスク用アダプタ 15cが備えられ、それぞれ、フロッピー（登録商標）ディ スク 16a、 M016b、光ディスク 16cが差し込み可能になっている。光ディスク 16cとし ては、 CD— R、 DVD— R等がある。
[0028] なお、図 1では、操作部 11、 CRT8、フィルムスキャナ部 9、反射原稿入力装置 10、 画像読込部 14が、筐体 2に一体的に備えられた構造となっている力 これらの何れ 力 1つ以上を別体として設けるようにしてもよ!、。
[0029] また、図 1に示した画像処理装置 1では、感光材料に露光して現像してプリントを作 成するものが例示されている力 プリント作成方式はこれに限定されず、例えば、イン クジェット方式、電子写真方式、感熱方式、昇華方式等の方式を用いてもよい。 〈画像処理装置 1の主要部構成〉
図 2に、画像処理装置 1の主要部構成を示す。画像処理装置 1は、図 2に示すよう に、制御部 7、露光処理部 4、プリント生成部 5、フィルムスキャナ部 9、反射原稿入力 装置 10、画像読込部 14、通信手段 (入力） 32、画像書込部 15、データ蓄積手段 71 、テンプレート記憶手段 72、操作部 11、 CRT8、通信手段（出力） 33により構成され る。
[0030] 制御部 7は、マイクロコンピュータにより構成され、 ROM (Read Only Memory) 等の記憶部（図示略）に記憶されて 、る各種制御プログラムと、 CPU (Central Pro cessing Unit) (図示略）との協働により、画像処理装置 1を構成する各部の動作を 制御する。
[0031] 制御部 7は、本発明の画像処理装置に係る画像処理部 70を有し、操作部 11から の入力信号 (指令情報）に基づいて、フィルムスキャナ部 9や反射原稿入力装置 10 から読み取られた画像信号、画像読込部 14から読み込まれた画像信号、外部機器 から通信手段 32を介して入力された画像信号に対して、画像処理を施して露光用画 像情報を形成し、露光処理部 4に出力する。また、画像処理部 70は、画像処理され た画像信号に対して出力形態に応じた変換処理を施して出力する。画像処理部 70 の出力先としては、 CRT8、画像書込部 15、通信手段（出力） 33等がある。
[0032] 露光処理部 4は、感光材料に画像の露光を行 ヽ、この感光材料をプリント作成部 5 に出力する。プリント作成部 5は、露光された感光材料を現像処理して乾燥し、プリン ト Pl、 P2、 P3を作成する。プリント P1は、サービスサイズ、ハイビジョンサイズ、パノラ マサイズ等のプリントであり、プリント P2は、 A4サイズのプリントであり、プリント P3は、 名刺サイズのプリントである。
[0033] フィルムスキャナ部 9は、アナログカメラにより撮像された現像済みのネガフィルム N 、リバーサルフィルム等の透過原稿に記録された駒画像を読み取り、駒画像のデジタ ル画像信号を取得する。反射原稿入力装置 10は、フラットベットスキャナにより、プリ ント P (写真プリント、書画、各種の印刷物）上の画像を読み取り、デジタル画像信号 を取得する。
[0034] 画像読込部 14は、 PCカード 13aやフロッピー（登録商標）ディスク 13bに記録され た駒画像情報を読み出して制御部 7に転送する。この画像読込部 14は、画像転送 手段 30として、 PCカード用アダプタ 14a、フロッピー（登録商標）ディスク用アダプタ 1 4b等を有する。画像読込部 14は、 PCカード用アダプタ 14aに差し込まれた PCカー ド 13aや、フロッピー（登録商標）ディスク用アダプタ 14bに差し込まれたフロッピー（ 登録商標）ディスク 13bに記録された駒画像情報を読み取り、制御部 7に転送する。 PCカード用アダプタ 14aとしては、例えば PCカードリーダや PCカードスロット等が用 いられる。
[0035] 通信手段 (入力） 32は、画像処理装置 1が設置された施設内の別のコンピュータや 、インターネット等を介した遠方のコンピュータから、撮像画像を表す画像信号やプリ ント命令信号を受信する。
[0036] 画像書込部 15は、画像搬送部 31として、フロッピー（登録商標）ディスク用アダプタ 15a、 MO用アダプタ 15b、光ディスク用アダプタ 15cを備えている。画像書込部 15 は、制御部 7から入力される書込信号に従って、フロッピー（登録商標）ディスク用ァ ダプタ 15aに差し込まれたフロッピー（登録商標）ディスク 16a、 MO用アダプタ 15bに 差し込まれた MO 16b、光ディスク用アダプタ 15cに差し込まれた光ディスク 16c〖こ、 本発明における画像処理方法によって生成された画像信号を書き込む。
[0037] データ蓄積手段 71は、画像情報とそれに対応する注文情報（どの駒の画像力も何 枚プリントを作成するかの情報、プリントサイズの情報等）とを記憶し、順次蓄積する。
[0038] テンプレート記憶手段 72は、サンプル識別情報 Dl、 D2、 D3に対応するサンプル 画像データである背景画像、イラスト画像等と合成領域を設定する少なくとも 1個のテ ンプレートのデータを記憶して 、る。オペレータの操作によりセットしてテンプレート記 憶手段 72に予め記憶された複数のテンプレートから所定のテンプレートを選択し、駒 画像情報は選択されたテンプレートにより合成し、指定されるサンプル識別情報 Dl、 D2、 D3に基づいて選択されたサンプル画像データと、注文に基づく画像データ及 び Z又は文字データとを合成し、指定によるサンプルに基づくプリントを作成する。こ のテンプレートによる合成は、周知のクロマキ一法によって行なわれる。
[0039] なお、プリントのサンプルを指定するサンプル識別情報 Dl、 D2、 D3は、操作部 21 1から入力されるように構成されているが、これらのサンプル識別情報は、プリントのサ ンプル又は注文シートに記録されているため、 OCR等の読み取り手段により読み取 ることができる。或いは、オペレータのキーボード操作により入力することもできる。
[0040] このようにプリントのサンプルを指定するサンプル識別情報 D1に対応してサンプル 画像データを記録しておき、プリントのサンプルを指定するサンプル識別情報 Dlを 入力し、この入力されるサンプル識別情報 D1に基づきサンプル画像データを選択し 、この選択されたサンプル画像データと、注文に基づく画像データ及び Z又は文字 データとを合成し、指定によるサンプルに基づくプリントを作成するため、種々の実物 大のサンプルをユーザが実際に手にしてプリントの注文ができ、幅広いユーザの多 様な要求に応じることができる。
[0041] また、第 1のサンプルを指定する第 1のサンプル識別情報 D2と第 1のサンプルの画 像データを記憶し、また、第 2のサンプルを指定する第 2のサンプル識別情報 D3と第 2のサンプルの画像データを記憶し、指定される第 1及び第 2のサンプル識別情報 D 2、 D3とに基づいて選択されたサンプル画像データと、注文に基づく画像データ及 び Z又は文字データとを合成し、指定によるサンプルに基づくプリントを作成するた め、さらに多種多様の画像を合成することができ、より一層幅広いユーザの多様な要 求に応じたプリントを作成することができる。
[0042] 操作部 11は、情報入力手段 12を有する。情報入力手段 12は、例えば、タツチパネ ル等により構成されており、情報入力手段 12の押下信号を入力信号として制御部 7 に出力する。なお、操作部 11は、キーボードやマウス等を備えて構成するようにして もよい。 CRT8は、制御部 7から入力された表示制御信号に従って、画像情報等を表 示する。
[0043] 通信手段（出力） 33は、本発明の画像処理を施した後の撮影画像を表す画像信号 と、それに付帯するオーダー情報を、画像処理装置 1が設置された施設内の他のコ ンピュータゃ、インターネット等を介した遠方のコンピュータに対して送信する。
[0044] 図 2に示すように、画像処理装置 1は、各種デジタルメディアの画像及び画像原稿 を分割測光して得られた画像情報を取り込む画像入力手段と、画像処理手段と、処 理済の画像を表示、プリント出力、画像記録メディアに書き込む画像出力手段と、通 信回線を介して施設内の別のコンピュータやインターネット等を介した遠方のコンビュ ータに対して画像データと付帯するオーダー情報を送信する手段と、を備える。 <画像処理部 70の内部構成 >
図 3に、画像処理部 70の内部構成を示す。画像処理部 70は、図 3に示すように、 画像調整処理部 701、フィルムスキャンデータ処理部 702、反射原稿スキャンデータ 処理部 703、画像データ書式解読処理部 704、テンプレート処理部 705、 CRT固有 処理部 706、プリンタ固有処理部 A707、プリンタ固有処理部 B708、画像データ書 式作成処理部 709により構成される。
[0045] フィルムスキャンデータ処理部 702は、フィルムスキャナ部 9から入力された画像デ ータに対し、フィルムスキャナ部 9固有の校正操作、ネガポジ反転 (ネガ原稿の場合） 、ゴミキズ除去、コントラスト調整、粒状ノイズ除去、鮮鋭化強調等の処理を施し、処理 済の画像データを画像調整処理部 701に出力する。また、フィルムサイズ、ネガポジ 種別、フィルムに光学的或いは磁気的に記録された主要被写体に関わる情報、撮影 条件に関する情報 (例えば、 APSの記載情報内容)等も併せて画像調整処理部 701 に出力する。
[0046] 反射原稿スキャンデータ処理部 703は、反射原稿入力装置 10から入力された画像 データに対し、反射原稿入力装置 10固有の校正操作、ネガポジ反転 (ネガ原稿の 場合)、ゴミキズ除去、コントラスト調整、ノイズ除去、鮮鋭化強調等の処理を施し、処 理済の画像データを画像調整処理部 701に出力する。
[0047] 画像データ書式解読処理部 704は、画像転送手段 30及び Z又は通信手段 (入力 ) 32から入力された画像データに対し、その画像データのデータ書式に従って、必 要に応じて圧縮符号の復元、色データの表現方法の変換等の処理を施し、画像処 理部 70内の演算に適したデータ形式に変換し、画像調整処理部 701に出力する。 また、画像データ書式解読処理部 704は、操作部 11、通信手段 (入力） 32、画像転 送手段 30の何れかから出力画像の大きさが指定された場合、その指定された情報を 検出し、画像調整処理部 701に出力する。なお、画像転送手段 30により指定される 出力画像の大きさについての情報は、画像転送手段 30が取得した画像データのへ ッダ情報、タグ情報に埋め込まれている。
[0048] 画像調整処理部 701は、操作部 11又は制御部 7の指令に基づいて、フィルムスキ ャナ部 9、反射原稿入力装置 10、画像転送手段 30、通信手段 (入力） 32、テンプレ ート処理部 705から受け取った画像データに対し、後述の画像処理（図 5、図 6、図 1 2及び図 16参照）を施して、出力媒体上での鑑賞に最適化された画像形成用のデジ タル画像データを生成し、 CRT固有処理部 706、プリンタ固有処理部 A707、プリン タ固有処理部 B708、画像データ書式作成処理部 709、データ蓄積手段 71に出力 する。
[0049] 最適化処理においては、例えば sRGB規格に準拠した CRTディスプレイモニタに 表示することを前提とした場合、 sRGB規格の色域内で最適な色再現が得られるよう に処理される。銀塩印画紙への出力を前提とした場合、銀塩印画紙の色域内で最適 な色再現が得られるように処理される。また前記色域の圧縮の以外にも、 16bitから 8 bitへの階調圧縮、出力画素数の低減、及び出力デバイスの出力特性 (LUT)への 対応処理等も含まれる。さらにノイズ抑制、鮮鋭化、グレーバランス調整、彩度調整、 或いは覆 、焼き処理等の階調圧縮処理が行われることは言うまでもな 、。
[0050] 画像調整処理部 701は、図 3に示すように、シーン判別部 710と階調変換部 711に より構成される。図 4 (a)に、シーン判別部 710の内部構成を示す。シーン判別部 71 0は、図 4 (a)に示すように、割合算出部 712、指標算出部 713、画像処理条件算出 部 714により構成される。割合算出部 712は、図 4 (b)に示すように、表色系変換部 7 15、ヒストグラム作成部 716、占有率演算部 717により構成される。
[0051] ここで、指標算出部 713は、第 1指標および第 2指標を算出する指標算出部と、第 4 指標を算出する第 4指標算出部とを含むが、さらに第 3指標を算出する第 3指標算出 部を含んでいても良い。また、指標算出部 713が第 1指標および第 2指標を算出する 指標算出部と第 4指標算出部、第 3指標算出部のそれぞれの機能を備えていても良 い。
[0052] 占有率演算部 717は、第 1の占有率を算出する第 1占有率算出部を含むが、第 2 の占有率を算出する第 2占有率算出部をさらに含んでいても良い。また、占有率演 算部 717が第 1占有率算出部と第 2占有率演算部の両方の機能を備えていても良い
[0053] 表色系変換部 715は、撮影画像データの RGB (Red, Green, Blue)値を HSV表 色系に変換する。 HSV表色系とは、画像データを、色相（Hue)、彩度（Saturation )、明度（Value又は Brightness)の 3つの要素で表すものであり、マンセノレにより提 案された表色体系を元にして考案されたものである。 [0054] なお、本実施形態において、「明度」は特に注釈を設けない限り一般に用いられる「 明るさ」の意味である。以下の記載において、 HSV表色系の V (0〜255)を「明度」と して用いるが、他の如何なる表色系の明るさを表す単位系を用いてもよい。その際、 本実施形態で記載する各種係数等の数値を、改めて算出し直すことは言うまでもな い。また、本実施形形態における撮影画像データは、人物を主要被写体とする画像 データであるものとする。
[0055] ヒストグラム作成部 716は、撮影画像データを、所定の色相と明度の組み合わせか らなる領域に分割し、分割された領域毎に累積画素数を算出することによって 2次元 ヒストグラムを作成する。また、ヒストグラム作成部 716は、撮影画像データを、当該撮 影画像データの画面の外縁からの距離と明度の組み合わせ力 なる所定の領域に 分割し、分割された領域毎に累積画素数を算出することによって 2次元ヒストグラムを 作成する。なお、撮影画像データを、撮影画像データの画面の外縁からの距離、明 度及び色相の組み合わせ力 なる領域に分割し、分割された領域毎に累積画素数 を算出することによって 3次元ヒストグラムを作成するようにしてもよい。以下では、 2次 元ヒストグラムを作成する方式を採用するものとする。
[0056] 占有率演算部 717は、明度と色相の組み合わせによって分割された領域毎に、ヒ ストグラム作成部 716において算出された累積画素数の全画素数 (撮影画像データ 全体)に占める割合を示す第 1の占有率 (表 1参照)を算出する。また、占有率演算部 717は、撮影画像データの画面の外縁からの距離と明度の組み合わせによって分割 された領域毎に、ヒストグラム作成部 716において算出された累積画素数の全画素 数 (撮影画像データ全体)に占める割合を示す第 2の占有率 (表 4参照)を算出する。
[0057] 指標算出部 713は、占有率演算部 717において各領域毎に算出された第 1の占 有率に、撮影条件に応じて予め (例えば、判別分析によって)設定された第 1の係数 ( 表 2参照)を乗算して和をとることにより、撮影シーンを特定するための指標 1を算出 する。ここで、撮影シーンとは、順光、逆光、ストロボ等の、被写体を撮影する時の光 源条件及びアンダー撮影等の露出条件を示す。指標 1は、屋内撮影度、近接撮影 度、顔色高明度等のストロボ撮影時の特徴を示すもので、 「ストロボ」と判別されるべ き画像を他の撮影シーン力 分離するためのものである。 [0058] 指標 1の算出の際、指標算出部 713は、所定の高明度の肌色色相領域と、当該高 明度の肌色色相領域以外の色相領域とで、異なる符号の係数を用いる。ここで、所 定の高明度の肌色色相領域には、 HSV表色系の明度値で 170〜224の領域が含 まれる。また、所定の高明度の肌色色相領域以外の色相領域には、青色色相領域（ 色相値 161〜250)、緑色色相領域 (色相値 40〜160)の少なくとも一方の高明度領 域が含まれる。
[0059] また、指標算出部 713は、占有率算出部 717において各領域毎に算出された第 1 の占有率に、撮影条件に応じて予め（例えば、判別分析によって)設定された第 2の 係数 (表 3参照)を乗算して和をとることにより、撮影シーンを特定するための指標 2を 算出する。指標 2は、屋外撮影度、空色高明度、顔色低明度等の逆光撮影時の特徴 を複合的に示すもので、「逆光」と判別されるべき画像を他の撮影シーンから分離す るためのものである。
[0060] 指標 2の算出の際、指標算出部 713は、肌色色相領域 (色相値 0〜39、 330〜35 9)の中間明度領域と、当該中間明度領域以外の明度領域とで、異なる符号の係数 を用いる。この肌色色相領域の中間明度領域には、明度値 85〜169の領域が含ま れる。また、当該中間明度領域以外の明度領域には、例えば、シャドー領域 (明度値 26-84)が含まれる。
[0061] 以上に説明した、指標 1や指標 2を使用することで撮影シーンを特定することができ るが、より精度良く撮影シーンを特定するためには、さらに、第 3指標算出部において 後述の指標 3を算出し、これも併用して撮影シーンを特定することが好ましい。
[0062] 例えば、指標算出部 713は、占有率算出部 717において各領域毎に算出された 第 2の占有率に、撮影条件に応じて予め（例えば、判別分析によって)設定された第 3の係数 (表 5参照)を乗算して和をとることにより、撮影シーンを特定するための指標 3を算出する。指標 3は、逆光とストロボ間における、撮影画像データの画面の中心と 外側の明暗関係の差異を示すものであり、逆光又はストロボと判別されるべき画像の みを定量的に示すものである。指標 3の算出の際、指標算出部 713は、撮影画像デ ータの画面の外縁からの距離に応じて異なる値の係数を用いる。
[0063] また、指標算出部 713は、少なくとも、撮影画像データの画面中央部における肌色 の平均輝度値に、撮影条件に応じて予め（例えば、判別分析によって)設定された第
4の係数を乗算して和をとることにより、撮影シーンを特定するための指標 4を算出す る。より好ましくは、撮影画像データの画面中央部における肌色の平均輝度値だけで なぐ撮影画像データの最大輝度値と平均輝度値との差分値、輝度標準偏差、画面 中央部における平均輝度値、画像の肌色最大輝度値と肌色最小輝度値の差分値と 肌色平均輝度値との比較値 (後述の式 (8)参照）の各々に、撮影条件に応じて予め 設定された第 4の係数を乗算して和をとることにより、撮影シーンを特定するための指 標 4を算出する。ここで、用いる変数によって第 4の係数を変えることは言うまでもない 。指標 4は、ストロボ撮影シーンとアンダー撮影シーンにおける、撮影画像データの 画面の中心と外側の明暗関係の差異を示すだけでなぐ輝度ヒストグラムにおける分 布情報を示すものであり、ストロボ撮影シーン又はアンダー撮影シーンと判別される べき画像のみを定量的に示すものである。
[0064] 指標 4を算出する際、指標算出部 713では、撮影画像データの画面中央部におけ る肌色の平均輝度値、画像の最大輝度値と平均輝度値との差分値、輝度標準偏差 、画面中央部における平均輝度値、画像の肌色最大輝度値と肌色最小輝度値の差 分値と肌色平均輝度値との比較値を用いているが、ここでいう輝度値とは、明るさを 表す指標であり、他の明るさを表す指標 (例えば、 HSV表色系の明度値等)を用い てもよい。また、最大輝度値、肌色最大輝度値、肌色最小輝度値には、最大輝度値 及び最小輝度値からの累積画素数が全画素に対して所定の割合に達した画素の輝 度値を用いてもよい。
[0065] 指標算出部 713は、指標 指標 3に、それぞれ、撮影条件に応じて予め (例えば、 判別分析によって)設定された係数を乗算して和をとることにより指標 5を算出する。 より好ましくは指標 1、指標 3及び指標 4' (画面中央部における肌色の平均輝度値） に、それぞれ、撮影条件に応じて予め設定された係数を乗算して和をとることにより 指標 5を算出してもよい (後述の式 (10)参照)。更に、指標算出部 713は、指標 2、指 標 3に、それぞれ、撮影条件に応じて予め設定された係数を乗算して和をとること〖こ より指標 6を算出する。より好ましくは指標 2、指標 3及び指標 4' (画面中央部におけ る肌色の平均輝度値）に、それぞれ、撮影条件に応じて予め設定された係数を乗算 して和をとることにより指標 6を算出してもよい (後述の式（11)参照)。なお、指標算出 部 713における指標 1〜6の具体的な算出方法は、後述の本実施形態の動作説明 において詳細に説明する。
[0066] 図 4 (c)に、画像処理条件算出部 714の内部構成を示す。画像処理条件算出部 7 14は、図 4 (c)に示すように、シーン判別部 718、階調調整方法決定部 719、階調調 整パラメータ算出部 720、階調調整量算出部 721により構成される。
[0067] シーン判別部 718は、指標算出部 713において算出された指標 4、指標 5及び指 標 6の値に基づ 、て、撮影画像データの撮影シーン (光源条件及び露出条件)を判 別する。
[0068] 階調調整方法決定部 719は、シーン判別部 718にお 、て判別された撮影シーンに 応じて、撮影画像データに対する階調調整の方法を決定する。例えば、撮影シーン が順光である場合は、図 19 (a)に示すように、入力された撮影画像データの画素値 を平行移動 (オフセット)補正する方法 (階調調整方法 A)が適用される。撮影シーン が逆光である場合は、図 19 (b)に示すように、入力された撮影画像データの画素値 をガンマ補正する方法 (階調調整方法 B)が適用される。撮影シーン力 Sストロボである 場合、図 19 (c)に示すように、入力された撮影画像データの画素値をガンマ補正及 び平行移動 (オフセット)補正する方法 (階調調整方法 C)が適用される。撮影シーン がアンダーである場合、図 19 (b)に示すように、入力された撮影画像データの画素 値をガンマ補正する方法 (階調調整方法 B)が適用される。
[0069] 階調調整パラメータ算出部 720は、指標算出部 713において算出された指標 4、指 標 5、指標 6の値に基づいて、階調調整に必要なパラメータ (キー補正値等)を算出 する。
[0070] 階調調整量算出部 721は、階調調整パラメータ算出部 720において算出された階 調調整パラメータに基づいて、撮影画像データに対する階調調整量を算出 (決定） する。具体的に、階調調整量算出部 721は、階調調整方法決定部 719において決 定された階調調整方法に対応して予め設定された複数の階調変換曲線の中から、 階調調整パラメータ算出部 720において算出された階調調整パラメータに対応する 階調変換曲線を選択する。なお、階調調整パラメータ算出部 720において算出され た階調調整パラメータに基づいて階調変換曲線 (階調調整量)を算出するようにして ちょい。
[0071] シーン判別部 718における撮影シーン (光源条件及び露出条件)の判別方法、階 調調整パラメータ算出部 720における階調調整パラメータの算出方法は、後述の本 実施形態の動作説明にお 、て詳細に説明する。
[0072] 図 3において階調変換部 711は、階調調整量算出部 721において決定された階調 変換曲線に従って、撮影画像データを階調変換する。
[0073] テンプレート処理部 705は、画像調整処理部 701からの指令に基づいて、テンプレ ート記憶手段 72から所定の画像データ (テンプレート）を読み出して、画像処理対象 の画像データとテンプレートを合成するテンプレート処理を行 、、テンプレート処理後 の画像データを画像調整処理部 701に出力する。
[0074] CRT固有処理部 706は、画像調整処理部 701から入力された画像データに対し て、必要に応じて画素数変更やカラーマッチング等の処理を施し、制御情報等表示 が必要な情報と合成した表示用の画像データを CRT8に出力する。
[0075] プリンタ固有処理部 A707は、必要に応じてプリンタ固有の校正処理、カラーマッチ ング、画素数変更等の処理を行い、処理済の画像データを露光処理部 4に出力する
[0076] 本発明の画像処理装置 1に、大判インクジェットプリンタ等の外部プリンタ 51が接続 可能な場合には、接続するプリンタ装置毎にプリンタ固有処理部 B708が備えられて いる。このプリンタ固有処理部 B708は、プリンタ固有の校正処理、カラーマッチング 、画素数変更等の処理を施し、処理済の画像データを外部プリンタ 51に出力する。
[0077] 画像データ書式作成処理部 709は、画像調整処理部 701から入力された画像デ ータに対して、必要に応じて JPEG、 TIFF, Exif等に代表される各種の汎用画像フ ォーマットへの変換を施し、処理済の画像データを画像搬送部 31や通信手段（出力 ) 33に出力する。
[0078] なお、図 3に示したフィルムスキャンデータ処理部 702、反射原稿スキャンデータ処 理部 703、画像データ書式解読処理部 704、画像調整処理部 701、 CRT固有処理 部 706、プリンタ固有処理部 A707、プリンタ固有処理部 B708、画像データ書式作 成処理部 709、という区分は、画像処理部 70の機能の理解を助けるために設けた区 分であり、必ずしも物理的に独立したデバイスとして実現される必要はなぐ例えば、 単一の CPUによるソフトウェア処理の種類の区分として実現されてもよい。
[0079] 次に、本実施形態における動作について説明する。
[0080] まず、図 5のフローチャートを参照して、画像調整処理部 701において実行される シーン判別処理にっ 、て説明する。
[0081] まず、割合算出部 712において、撮影画像データが所定の画像領域に分割され、 各分割領域が撮影画像データ全体に占める割合を示す占有率 (第 1の占有率、第 2 の占有率)を算出する占有率算出処理が行われる (ステップ S1)。占有率算出処理 の詳細は、後に図 6、図 12を参照して説明する。
[0082] 次いで、割合算出部 712において算出された占有率 (第 1の占有率、第 2の占有率 )と、少なくとも、撮影画像データの画面中央部における肌色の平均輝度値と、撮影 条件に応じて予め設定された係数に基づいて、撮影シーンを特定する (光源条件及 び露出条件を定量的に表す)指標 (指標 1〜6)が算出される (ステップ S2)。ステップ S2における指標算出処理は、後に詳細に説明する。
[0083] 次 、で、ステップ S2にお 、て算出された指標に基づ 、て撮影シーンが判別され、 判別結果に応じて撮影画像データに対する画像処理条件 (階調変換処理条件)が 決定され (ステップ S3)、本シーン判別処理が終了する。ステップ S3の画像処理条件 決定処理については、後に図 16を参照して詳細に説明する。
[0084] 次に、図 6のフローチャートを参照して、割合算出部 712において実行される占有 率算出処理について詳細に説明する。
[0085] まず、撮影画像データの RGB (Red, Green, Blue)値が HSV表色系に変換され る (ステップ S10)。図 7は、 RGB力も HSV表色系に変換することにより色相値、彩度 値、明度値を得る変換プログラム (HSV変換プログラム）の一例を、プログラムコード（ c言語）により示したものである。図 7に示す HSV変換プログラムでは、入力画像デー タであるデジタル画像データの値を、 InR、 InG、 InBと定義し、算出された色相値を OutHとし、スケールを 0〜360と定義し、彩度値を OutS、明度値を OutVとし、単位 を 0〜255と定義して!/ヽる。 [0086] 次 、で、撮影画像データが、所定の明度と色相の組み合わせからなる領域に分割 され、分割領域毎に累積画素数を算出することにより 2次元ヒストグラムが作成される (ステップ Sll)。以下、撮影画像データの領域分割について詳細に説明する。
[0087] 明度（V)iま、明度値力^)〜 25(vl)、 26— 50(ν2)、 51〜84(ν3)、 85〜169(ν4) 、 170〜199(v5)、 200〜224(v6)、 225〜255(v7)の 7つの領域に分割される。 色相（H)は、色相値が 0〜39、 330〜359の肌色色相領域 (HI及び H2)、色相値 力 0〜160の緑色色相領域 (H3)、色相値が 161〜250の青色色相領域 (H4)、赤 色色相領域 (H5)の 4つの領域に分割される。なお、赤色色相領域 (H5)は、撮影シ ーンの判別への寄与が少ないとの知見から、以下の計算では用いていない。肌色色 相領域は、更に、肌色領域 (HI)と、それ以外の領域 (H2)に分割される。以下、肌 色色相領域 (H = 0〜39、 330〜359)のうち、下記の式（1)を満たす色相'（H)を肌 色領域 (HI)とし、式（ 1)を満たさな！/、領域を (H2)とする。
[0088] 10<彩度（S)<175、
色相 '（H) =色相（H) + 60 (0≤色相（H)く 300のとき）、
色相，（H)=色相（H)— 300 (300≤色相（H)く 360のとき）、
輝度（Y)=InRXO.30+InGXO.59+InBXO. 11 (A)として、
色相'（H)Z輝度 (Y)く 3. ΟΧ(彩度（S)Z255)+0.7 (1)
従って、撮影画像データの分割領域の数は 4X7 = 28個となる。なお、式 (A)及び (1)にお 、て明度 (V)を用いることも可能である。
[0089] 2次元ヒストグラムが作成されると、分割領域毎に算出された累積画素数の全画素 数 (撮影画像全体)に占める割合を示す第 1の占有率が算出され (ステップ S12)、本 占有率算出処理が終了する。明度領域 vi、色相領域 Hjの組み合わせ力 なる分割 領域において算出された第 1の占有率を Rijとすると、各分割領域における第 1の占 有率は表 1のように表される。
[0090] [表 1] [第 1の占有率]
Figure imgf000025_0001
[0091] 〈指標 1及び指標 2の算出方法〉
次に、指標 1及び指標 2の算出方法について説明する。
[0092] 表 2に、ストロボ撮影としての確度、即ち、ストロボ撮影時の顔領域の明度状態を定 量的に示す指標 1を算出するために必要な第 1の係数を分割領域別に示す。表 2に 示された各分割領域の係数は、表 1に示した各分割領域の第 1の占有率 Rijに乗算 する重み係数であり、撮影条件に応じて予め設定されている。
[0093] [表 2]
[第 1の係数]
Figure imgf000025_0002
[0094] 図 8に、明度 (v)—色相 (H)平面を示す。表 2によると、図 8において高明度の肌色 色相領域に分布する領域 (rl)から算出される第 1の占有率には、正（+ )の係数が 用いられ、それ以外の色相である青色色相領域 (r2)力 算出される第 1の占有率に は、負（一）の係数が用いられる。図 10は、肌色領域 (HI)における第 1の係数と、そ の他の領域 (緑色色相領域 (H3) )における第 1の係数を、明度全体に渡って連続的 に変化する曲線 (係数曲線）として示したものである。表 2及び図 10によると、高明度 (V= 170〜224)の領域では、肌色領域 (HI)における第 1の係数の符号は正（+ ) であり、その他の領域 (例えば、緑色色相領域 (H3) )における第 1の係数の符号は 負（一）であり、両者の符号が異なって 、ることがわ力る。 [0095] 明度領域 vi、色相領域 Hjにおける第 1の係数を Cijとすると、指標 1を算出するため の Hk領域の和は、式（2)のように定義される。
[0096] [数 1]
Hfc領域の和 = J" Rik χ Cik ( 2 )
[0097] 従って、 HI' 'H4領域の和は、下記の式（2— 1)〜（2— 4)のように表される。
HI領域の和: R11X (-44.0)+R21X (-16.0) + (中略）
... +R71X (-11.3) (2-1)
H2領域の和 =R12X0.0+R22X8.6+ (中略）
... +R72X (-11.1) (2-2)
H3領域の和 =R13XO.0+R23X (-6.3) + (中略）
... +R73X (-10.0) (2-3)
H4領域の和 =R14X0.0+R24X (-1.8) + (中略）
... +R74X (-14.6) (2-4)
指標 1は、式（2— 1)〜（2— 4)で示された H1〜H4領域の和を用いて、式（3)のよ うに定義される。
[0098] 指標 1=H1領域の和 +H2領域の和 +H3領域の和 +H4領域の和 +4.424 (3 )
表 3に、逆光撮影としての確度、即ち、逆光撮影時の顔領域の明度状態を定量的 に示す指標 2を算出するために必要な第 2の係数を分割領域別に示す。表 3に示さ れた各分割領域の係数は、表 1に示した各分割領域の第 1の占有率 Rijに乗算する 重み係数であり、撮影条件に応じて予め設定されている。
[0099] [表 3]
[第 2の係数]
Figure imgf000026_0001
[0100] 図 9に、明度 (v)—色相（H)平面を示す。表 3によると、図 9において肌色色相領域 の中間明度に分布する領域 (r4)から算出される占有率には負（一）の係数が用いら れ、肌色色相領域の低明度 (シャドー)領域 (r3)から算出される占有率には正 (+ ) の係数が用いられる。図 11は、肌色領域 (HI)における第 2の係数を、明度全体に 渡って連続的に変化する曲線 (係数曲線）として示したものである。表 3及び図 11に よると、肌色色相領域の、明度値が 85〜169(v4)の中間明度領域の第 2の係数の 符号は負（―）であり、明度値が 26〜84(v2, v3)の低明度 (シャドー)領域の第 2の 係数の符号は正（+ )であり、両領域での係数の符号が異なっていることがわかる。
[0101] 明度領域 vi、色相領域 Hjにおける第 2の係数を Dijとすると、指標 2を算出するため の Hk領域の和は、式 (4)のように定義される。
[0102] [数 2]
Hfc領域の和 = y Ri xDi/t ( 4 )
[0103] 従って、 H1〜H4領域の和は、下記の式（4 1)〜（4 4)のように表される。
HI領域の和 =R11X (― 27.0)+R21X4.5+ (中略）
... +R71X (-24.0) (4-1)
H2領域の和 =R12X0.0+R22X4.7+ (中略）
... +R72X (-8.5) (4-2)
H3領域の和 =R13XO.0+R23XO.0+ (中略）
... +R73XO.0 (4-3)
H4領域の和 =R14X0.0+R24X (-5.1)+ (中略）
... +R74X7.2 (4-4)
指標 2は、式 (4 1)〜（4 4)で示された H1〜H4領域の和を用いて、式（5)のよ うに定義される。
[0104] 指標 2=H1領域の和 +H2領域の和 +H3領域の和 +H4領域の和 +1.554 (5 )
指標 1及び指標 2は、撮影画像データの明度と色相の分布量に基づいて算出され るため、撮影画像データがカラー画像である場合の撮影シーンの判別に有効である [0105] 次に、図 12のフローチャートを参照して、指標 3を算出するために割合算出部 712 において実行される占有率算出処理について詳細に説明する。
[0106] まず、撮影画像データの RGB値が HSV表色系に変換される (ステップ S 20)。次 ヽ で、撮影画像データが、撮影画像画面の外縁からの距離と明度の組み合わせ力ゝらな る領域に分割され、分割領域毎に累積画素数を算出することにより 2次元ヒストグラム が作成される (ステップ S21)。以下、撮影画像データの領域分割について詳細に説 明する。
[0107] 図 13 (a)〜（d)に、撮影画像データの画面の外縁からの距離に応じて分割された 4 つの領域 nl〜n4を示す。図 13 (a)に示す領域 nlが外枠であり、図 13 (b)に示す領 域 n2が、外枠の内側の領域であり、図 13 (c)に示す領域 n3が、領域 n2の更に内側 の領域であり、図 13 (d)に示す領域 n4が、撮影画像画面の中心部の領域である。ま た、明度は、上述のように vl〜v7の 7つの領域に分割するものとする。従って、撮影 画像データを、撮影画像画面の外縁からの距離と明度の組み合わせカゝらなる領域に 分割した場合の分割領域の数は 4 X 7 = 28個となる。
[0108] 2次元ヒストグラムが作成されると、分割領域毎に算出された累積画素数の全画素 数 (撮影画像全体)に占める割合を示す第 2の占有率が算出され (ステップ S22)、本 占有率算出処理が終了する。明度領域 vi、画面領域 njの組み合わせ力 なる分割 領域において算出された第 2の占有率を Qijとすると、各分割領域における第 2の占 有率は表 4のように表される。
[0109] [表 4]
[第 2の占有率]
Figure imgf000028_0001
[0110] 〈指標 3の算出方法〉 次に、指標 3の算出方法について説明する。
[0111] 表 5に、指標 3を算出するために必要な第 3の係数を分割領域別に示す。表 5に示 された各分割領域の係数は、表 4に示した各分割領域の第 2の占有率 Qijに乗算す る重み係数であり、撮影条件に応じて予め設定されている。
[0112] [表 5]
[第 3の係数]
Figure imgf000029_0001
[0113] 図 14は、画面領域 nl〜n4における第 3の係数を、明度全体に渡って連続的に変 化する曲線 (係数曲線）として示したものである。
[0114] 明度領域 vi、画面領域 njにおける第 3の係数を Eijとすると、指標 3を算出するため の nk領域 (画面領域 nk)の和は、式 (6)のように定義される。
[0115] [数 3] 領域の和 = ^βί x ( 6 )
[0116] 従って、 nl〜n4領域の和は、下記の式（6— 1)〜（6— 4)のように表される。
nl領域の和 = Q11X40. 1 + Q21X37.0+ (中略）
. . . +Q71X22.0 (6-1)
n2領域の和 = Q12X (-14. 8)+Q22X (— 10. 5) + (中略）
. . . +Q72X0.0 (6-2)
n3領域の和 = Q13X24. 6 + Q23X12. 1+ (中略）
. . . +Q73X10. 1 (6-3)
n4領域の和 = Q14X1. 5 + Q24X (-32. 9) + (中略）
. . . +Q74X (-52. 2) (6-4)
指標 3は、式（6— 1)〜（6— 4)で示された N1〜H4領域の和を用いて、式（7)のよ うに定義される。
[0117] 指標 3=nl領域の和 +n2領域の和 +n3領域の和 +n4領域の和 12. 6201
(7)
指標 3は、撮影画像データの明度の分布位置による構図的な特徴 (撮影画像デー タの画面の外縁からの距離）に基づいて算出されるため、カラー画像だけでなくモノ クロ画像の撮影シーンを判別するのにも有効である。
〈指標 4の算出方法〉
次に、図 15のフローチャートを参照して、指標算出部 713において実行される指標 4の算出処理について説明する。
[0118] まず、撮影画像データの RGB (Red, Green, Blue)値から、式 (A)を用いて輝度 Yが算出される。次いで、撮影画像データの画面中央部における肌色領域の平均輝 度値 xlが算出される (ステップ S23)。ここで、画面中央部とは、例えば、図 13 (a)〜 13 (d)において、領域 n3及び領域 n4により構成される領域である。次いで、撮影画 像データの最大輝度値と平均輝度値との差分値 x2が算出される (ステップ S24)。
[0119] 次いで、撮影画像データの輝度の標準偏差 x3が算出され (ステップ S25)、画面中 央部における平均輝度値 x4が算出される (ステップ S26)。次いで、撮影画像データ における肌色領域の最大輝度値 Yskin— maxと最小輝度値 Yskin— minの差分値 と、肌色領域の平均輝度値 Yskin— aveとの比較値 x5が算出される (ステップ S27) 。この比較値 x5は、下記の式（8)のように表される。
[0120] x5= (Yskin— max— Yskin— min) Z2 —Yskin— ave (8)
次いで、ステップ S23〜S27で算出された値 xl〜x5の各々に、撮影条件に応じて 予め設定された第 4の係数を乗算し、和をとることにより、指標 4が算出される (ステツ プ S28)。指標 4は、下記の式（9)のように定義される。
[0121] 指標 4 = 0. 06 X xl + l. 13 Χ χ2 + 0. 02 Χ χ3+ (-0. 01) Χ χ4 + 0. 03 Χ χ5— 6. 50 (9)
この指標 4は、撮影画像データの画面の構図的な特徴だけでなぐ輝度ヒストグラム 分布情報を持ち合わせており、特にストロボ撮影シーンとアンダー撮影シーンの判別 に有効である。 [0122] 撮影画像データの画面中央部における肌色領域の平均輝度値を指標 4'とする。こ こでの画面中央部とは、例えば、図 13 (&)〜13 ((1)の領域112、領域 n3及び領域 n4 力も構成される領域である。このとき、指標 5は、指標 1、指標 3、指標 4'を用いて式（ 10)のように定義され、指標 6は、指標 2、指標 3、指標 4'を用いて式（11)のように定 義される。
[0123] 指標 5 = 0. 46 X指標 1 + 0. 61 X指標 3 + 0. 01 X指標 4'— 0. 79 (10) 指標 6 = 0. 58 X指標 2 + 0. 18 X指標 3 + (— 0. 03) X指標 4' + 3. 34 (1
1)
ここで、式（10)及び式（11)において各指標に乗算される重み係数は、撮影条件 に応じて予め設定されて ヽる。
[0124] 次に、図 16のフローチャートを参照して、画像処理条件算出部 714において実行 される画像処理条件決定処理（図 5のステップ S3)につ ヽて説明する。
[0125] まず、指標算出部 713において算出された指標 4、指標 5及び指標 6の値に基づい て、撮影画像データの撮影シーン (光源条件及び露出条件)が判別される (ステップ S30)。以下、撮影シーン (光源条件及び露出条件)の判別方法について説明する。
[0126] 図 17 (a)は、順光、逆光、ストロボの各光源条件で 60枚ずつ撮影し、合計 180枚の デジタル画像データについて、指標 5及び指標 6を算出し、各光源条件での指標 5 及び指標 6の値をプロットしたものである。図 17 (a)によれば、指標 5の値が 0. 5より 大きい場合、ストロボ撮影シーンが多ぐ指標 5の値が 0. 5以下で、指標 6の値が 0 . 5より大きい場合、逆光シーンが多いことがわかる。このように指標 5及び指標 6の値 により撮影シーンを定量的に判別することができる。
[0127] 更に、順光、逆光、ストロボの各撮影シーンを判別できる指標 5及び指標 6に、指標 4を加えることで、 3次元的に撮影シーンが判別可能となり、撮影シーンの判別精度 を一層向上させることが可能となる。指標 4は、特に、画像全体を暗くする階調調整 が行われるストロボ撮影シーンと、画像全体を明るくする階調調整が行われるアンダ 一撮影シーンとを判別するのに有効である。
[0128] 図 17 (b)は、ストロボ撮影シーンとアンダー撮影シーンの撮影画像各 60枚のうち、 指標 5が 0. 5より大きい画像の指標 4及び指標 5を算出し、プロットしたものである。図 17 (b)によれば、指標 4の値力^より大きい場合、ストロボ撮影シーンが多ぐ指標 4の 値が 0以下の場合、アンダー撮影シーンが多いことがわかる。表 6に、指標 4、指標 5 及び指標 6の値による撮影シーンの判別内容を示す。
[表 6]
Figure imgf000032_0001
[0130] 撮影シーンが判別されると、その判別された撮影シーンに応じて、撮影画像データ に対する階調調整の方法が決定される (ステップ S31)。図 18に示すように、撮影シ 一ンが順光である場合は階調調整方法 A (図 19 (a) )が選択され、逆光である場合は 階調調整方法 B (図 19 (b) )が選択され、ストロボである場合は階調調整方法 C (図 1 9 (c) )が選択され、アンダーである場合は、階調調整方法 B (図 19 (b) )が選択される
[0131] 階調調整方法が決定されると、指標算出部 713において算出された指標に基づい て、階調調整に必要なパラメータが算出される (ステップ S32)。以下、ステップ S32 において算出される階調調整パラメータの算出方法について説明する。なお、以下 では、 8bitの撮影画像データは 16bitへと事前に変換されているものとし、撮影画像 データの値の単位は 16bitであるものとする。
[0132] ステップ S32では、階調調整に必要なパラメータ（階調調整パラメータ）として、下記 の P1〜P9のパラメータが算出される。
[0133] P1 :撮影画面全体の平均輝度
P2 :ブロック分割平均輝度
P3：肌色領域 (HI)の平均輝度
P4：輝度補正値 1 = P1 -P2
P5：再現目標修正値 =輝度再現目標値 (30360) -P4
P6 :オフセット値 1 = P5— P1
P7 :キー補正値
P7'：キー補正値 2 P8 :輝度補正値 2
P9 :オフセット値 2 = P5— P8— PI
ここで、図 20 (&)〜20 (じ）及び図21 (&)〜21 ((1)を参照して、パラメータ P2 (ブロッ ク分割平均輝度)の算出方法について説明する。
[0134] まず、撮影画像データを正規化するために、 CDF (累積密度関数)を作成する。次 いで、得られた CDF力 最大値と最小値を決定する。この最大値と最小値は、 RGB 毎に求める。ここで、求められた RGB毎の最大値と最小値を、それぞれ、 Rmax、 R mmゝ Gmax、 Gmmゝ Bmax、 Bmmとす 0
[0135] 次 、で、撮影画像データの任意の画素 (Rx, Gx, Bx)に対する正規化画像データ を算出する。 Rプレーンにおける Rxの正規化データを R 、 Gプレーンにおける Gx
point
の正規化データを G 、 Bプレーンにおける Bxの正規化データを B とすると、正
point point
規化データ R 、 G 、 B は、それぞれ、式（12)〜（14)のように表される。
point point point
R = { (Rx-Rmin) / (Rmax-Rmin) } X 65535 (12)
point
G = { (Gx-Gmin) / (Gmax-Gmin) } X 65535 (13)
point
B = { (Bx-Bmin) / (Bmax-Bmin) } X 65535 (14)
point
次いで、式（15)により画素 (Rx, Gx, Bx)の輝度 N を算出する。
point
[0136] N = (B +G +R ) /3 (15)
point point point point
図 20 (a)は、正規ィ匕する前の RGB画素の輝度の度数分布 (ヒストグラム)である。図 20 (a)において、横軸は輝度、縦軸は画素の頻度である。このヒストグラムは、 RGB 毎に作成する。輝度のヒストグラムが作成されると、式（12)〜（14)により、撮影画像 データに対し、プレーン毎に正規ィ匕を行う。図 20 (b)は、式（15)により算出された輝 度のヒストグラムを示す。撮影画像データが 65535で正規ィ匕されているため、各画素 は、最大値が 65535で最小値力^の間で任意の値をとる。
[0137] 図 20 (b)に示す輝度ヒストグラムを所定の範囲で区切ってブロックに分割すると、図 20 (c)に示すような度数分布が得られる。図 20 (c)において、横軸はブロック番号（ 輝度）、縦軸は頻度である。
[0138] 次いで、図 20 (c)に示された輝度ヒストグラムから、ノ、イライト、シャドー領域を削除 する処理を行う。これは、白壁や雪上シーンでは、平均輝度が非常に高くなり、暗闇 のシーンでは平均輝度は非常に低くなつているため、ハイライト、シャドー領域は、平 均輝度制御に悪影響を与えてしまうことによる。そこで、図 20 (c)に示した輝度ヒスト グラムのハイライト領域、シャドー領域を制限することによって、両領域の影響を減少 させる。図 21 (a) (又は図 20 (c) )に示す輝度ヒストグラムにおいて、高輝度領域 (ハ イライト領域)及び低輝度領域 (シャドー領域)を削除すると、図 21このようになる。
[0139] 次いで、図 21 (c)に示すように、輝度ヒストグラムにおいて、頻度が所定の閾値より 大きい領域を削除する。これは、頻度が極端に多い部分が存在すると、この部分の データが、撮影画像全体の平均輝度に強く影響を与えてしまうため、誤補正が生じ やすいことによる。そこで、図 21 (c)に示すように、輝度ヒストグラムにおいて、閾値以 上の画素数を制限する。図 21 (d)は、画素数の制限処理を行った後の輝度ヒストグラ ムである。
[0140] 正規化された輝度ヒストグラムから、高輝度領域及び低輝度領域を削除し、更に、 累積画素数を制限することによって得られた輝度ヒストグラム（図 21 (d) )の各ブロック 番号と、それぞれの頻度に基づいて、輝度の平均値を算出したものがパラメータ P2 である。
[0141] ノラメータ P1は、撮影画像データ全体の輝度の平均値であり、パラメータ P3は、撮 影画像データのうち肌色領域 (HI)の輝度の平均値である。パラメータ P7のキー補 正値、パラメータ P7'のキー補正値 2、パラメータ P8の輝度補正値 2は、それぞれ、 式（16)、式（17)、式（18)のように定義される。
[0142] P7 (キー補正値） = [P3 —（（指標 6Z 6) X 18000 + 22000) ]/24. 78
(16)
P7' (キー補正値 2) = [P3— ( (指標 4Z 6) X 10000 + 30000) ]/24. 78 (17)
P8 (輝度補正値 2) = (指標 5Z 6) X 17500 (18)
階調調整パラメータが算出されると、その算出された階調調整パラメータに基づい て、撮影画像データに対する階調調整量が決定され (ステップ S33)、本画像処理条 件決定処理が終了する。ステップ S33では、具体的に、ステップ S31において決定さ れた階調調整方法に対応して予め設定された複数の階調変換曲線の中から、ステツ プ S32において算出された階調調整パラメータに対応する階調変換曲線が選択 (決 定)される。なお、ステップ S32において算出された階調調整パラメータに基づいて、 階調変換曲線 (階調調整量)を算出するようにしてもよ!、。階調変換曲線が決定され ると、その決定された階調変換曲線に従って撮影画像データが階調変換される。
[0143] 以下、各撮影シーン (光源条件及び露出条件)の階調変換曲線の決定方法につい て説明する。
〈順光の場合〉
撮影シーンが順光である場合、ノ メータ P1を P5と一致させるオフセット補正（8bi t値の平行シフト）を下記の式（19)により行う。
[0144] 出力画像の RGB値 =入力画像の RGB値 +P6 (19)
従って、撮影シーンが順光の場合、図 19 (a)に示す複数の階調変換曲線の中から 、式（19)に対応する階調変換曲線が選択される。又は、式（19)に基づいて階調変 換曲線を算出 (決定)してもよ!、。
〈逆光の場合〉
撮影シーンが逆光である場合、図 19 (b)に示す複数の階調変換曲線の中から、式 (16)に示すパラメータ P7 (キー補正値）に対応する階調変換曲線が選択される。図 19 (b)の階調変換曲線の具体例を図 22に示す。パラメータ P7の値と、選択される階 調変換曲線の対応関係を以下に示す。
[0145] - 50 < P7 < + 50 の場合→L3
+ 50 ≤ P7 < + 150 の場合→L4
+ 150 ≤ P7 < + 250 の場合→L5
- 150 く P7 ≤ - 50 の場合→L2
- 250 < P7 ≤ - 150 の場合→L1
なお、撮影シーンが逆光の場合、この階調変換処理とともに、覆い焼き処理を併せ て行うことが好ましい。この場合、逆光度を示す指標 6に応じて覆い焼き処理の程度 も調整されることが望ましい。
〈アンダーの場合〉
撮影シーンがアンダーである場合、図 19 (b)に示す複数の階調変換曲線の中から 、式（17)に示すパラメータ P7' (キー補正値 2)に対応する階調変換曲線が選択され る。具体的には、撮影シーンが逆光の場合の階調変換曲線の選択方法と同様に、図 22に示す階調変換曲線の中から、パラメータ P7'の値に対応した階調変換曲線が 選択される。なお、撮影シーンがアンダーである場合は、逆光の場合に示したような 覆い焼き処理は行わない。
〈ストロボの場合〉
撮影シーンがストロボである場合、オフセット補正（8bit値の平行シフト）を式（20) により行う。
[0146] 出力画像の RGB値 =入力画像の RGB値 +P9 (20)
従って、撮影シーン力ストロボの場合、図 19 (c)に示す複数の階調変換曲線の中 から、式 (20)に対応する階調変換曲線が選択される。又は、式 (20)に基づいて階 調変換曲線を算出 (決定)してもよい。なお、式 (20)のパラメータ P9の値が、予め設 定された所定値 αを上回った場合、図 22に示す曲線 L1〜L5の中から、キー補正値 力 SP9— aに対応する曲線が選択される。
[0147] なお、本実施形態では、実際に撮影画像データに対して階調変換処理を施す場 合、上述の各画像処理条件を 16bitから 8bitへ変更するものとする。
[0148] また、順光、逆光、ストロボ、アンダー間で階調調整方法が大きく異なる場合、撮影 シーンの誤判別時の画質への影響が懸念されるため、順光、逆光、ストロボ、アンダ 一間に、階調調整方法が緩やかに移行する中間領域を設定することが望ましい。
[0149] 以上のように、本実施形態の画像処理装置 1によれば、撮影画像データの撮影シ ーンを定量的に示す指標を算出し、その算出された指標に基づいて撮影シーンを判 別し、判別結果に応じて撮影画像データに対する階調調整の方法を決定し、撮影画 像データの階調調整量 (階調変換曲線)を決定することにより、被写体の明度を適切 に補正することが可能となる。
[0150] 特に、ストロボ撮影としての確度を定量的に示す指標 1と、逆光撮影としての確度を 定量的に示す指標 2に加えて、撮影画像データの構図的な要素力も導出される指標 3を用いて撮影シーンを判別することにより、撮影シーンの判別精度を向上させること ができる。また、撮影画像データの構図的な要素とヒストグラムの分布情報力も算出さ れる指標 4を用いることで、画像全体を暗くする階調調整を行うストロボ撮影シーンと 、画像全体を明るく階調調整するアンダー撮影シーンとを判別でき、撮影シーンの判 別精度を一層向上させることができる。
〈撮像装置に適用した例〉
上述の実施形態で示した画像処理方法は、デジタルカメラ等の撮像装置にも適用 可能である。図 23に、本発明の撮像装置を適用したデジタルカメラ 200の構成を示 す。デジタノレカメラ 200ίま、図 23【こ示すよう【こ、 CPU201、光学系 202、撮像センサ 咅 203、 AF演算咅 204、 WB演算咅 205、 AE演算咅 206、レンズ制御咅 207、画像 処理部 208、表示部 209、記録データ作成部 210、記録メディア 211、シーンモード 設定キー 212、色空間設定キー 213、レリーズボタン 214、その他操作キー 215によ り構成される c
[0151] CPU201は、デジタルカメラ 200の動作を統括的に制御する。光学系 202は、ズー ムレンズであり、被写体像を撮像センサ部 203にある CCD (Charge— Coupled De vice)イメージセンサ上に結像させる。撮像センサ部 203は、光学像を CCDイメージ センサによって光電変換し、デジタル信号に変換 (AZD変換)して出力する。撮像 センサ部 203から出力された画像データは、 AF演算部 204、 WB演算部 205、 AE 演算部 206、画像処理部 208に入力される。
[0152] AF演算部 204は、画面内 9ケ所に設けられた AFエリアの距離を算出して出力する 。距離の判定は、画像のコントラスト判定により行われ、 CPU201は、この中の最も近 距離にある値を選択し、被写体距離とする。 WB演算部 205は、画像のホワイトバラン ス評価値を算出して出力する。ホワイトバランス評価値とは、撮影時の光源下で、ニュ ートラルな被写体の RGB出力値を一致させるために必要なゲイン値で、 Gチャネル を基準として RZG、 BZGの比として算出する。算出された評価値は、画像処理部 2 08に入力され、画像のホワイトバランスが調整される。 AE演算部 206は、画像デー タカも適正露出値を算出して出力し、 CPU201は、算出された適正露出値と現在の 露出値が一致するような絞り値とシャッター速度値を算出する。絞り値は、レンズ制御 部 207に出力され、対応する絞り径が設定される。シャッター速度値は、撮像センサ 部 203に出力され、対応する CCD積分時間が設定される。 [0153] 画像処理部 208は、撮影画像データに対して、ホワイトバランス処理、 CCDフィル ター配列の補間処理、色変換、 1次階調変換、シャープネス補正等の処理を行った 後に、上述の実施形態のシーン判別処理（図 5〜図 22参照）を行い、判別結果に基 づいて決定された階調変換処理を行うことによって好ましい画像に変換する。その後 JPEG圧縮等の変換を実行する。 JPEG圧縮された画像データは、表示部 209と記 録データ作成部 210に出力される。
[0154] 表示部 209は、撮影画像データを液晶ディスプレイに表示するとともに、 CPU201 の指示による各種情報を表示する。記録データ作成部 210は、 JPEG圧縮された画 像データと、 CPU201から入力された各種撮影画像データを Exif (Exchangeable Image File Format)ファイルにフォーマットし、記録メディア 211に記録する。記 録メディア 211の中には、各メーカーが自由な情報を書き込めるスペースとして、メー カーノートと呼ばれる部分があり、シーン判別結果や指標 4、 5、 6を、記録するように してちよい。
[0155] デジタルカメラ 200では、ユーザ設定により撮影シーンモードを切り替えることがで きる。即ち、撮影シーンモードとして、通常モード、ポートレートモード、風景モードシ ーンの 3つが選択可能で、ユーザは、シーンモード設定キー 212を操作して、被写体 が人物である場合はポートレートモード、風景の場合は風景モードに切り替えること によって、被写体に適した 1次階調変換を実施する。また、デジタルカメラ 200は、選 択した撮影シーンモードの情報を画像データファイルのメーカーノート部分に付加し て記録する。また、デジタルカメラ 200は、被写体として選択した AFエリアの位置情 報を同様に画像ファイルに記録する。
[0156] なお、デジタルカメラ 200では、色空間設定キー 213によって、出力色空間のユー ザ設定が可能になっている。出力色空間としては、 sRGB (IEC61966— 2—i;^Ra wの選択が可能である。 sRGBが選択された場合は、本実施形態における画像処理 を実行するが、 Rawが選択された場合は、本実施形態の画像処理は行わず、 CCD 固有の色空間で出力する。
[0157] 以上のように、本発明の撮像装置を適用したデジタルカメラ 200によれば、上述の 画像処理装置 1と同様に、撮影画像データの撮影シーンを定量的に示す指標を算 出し、その算出された指標に基づいて撮影シーンを判別し、判別結果に応じて撮影 画像データに対する階調調整の方法を決定し、撮影画像データの階調調整量 (階 調変換曲線)を決定することにより、被写体の明度を適切に補正することが可能とな る。このように、デジタルカメラ 200の内部で、適切な階調変換処理が行われることに より、デジタルカメラ 200とプリンタがパーソナルコンピュータを介さずに直接接続され て 、る場合であっても、好まし 、画像を出力することができる。
[0158] なお、本実施形態における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変 更可能である。
[0159] 例えば、撮影画像データから顔画像を検出し、検出された顔画像に基づいて撮影 シーンを判別し、画像処理条件を決定するようにしてもよい。また、撮影シーンの判 別に、 Exif (Exchangeable Image File Format)情報を用いるようにしてもよい 。 Exif情報を用いると、撮影シーンの判別精度を更に向上させることが可能となる。
[0160] また、元画像を取得した後に画像サイズを縮小する処理を施し、縮小された画像デ ータに対し、本実施形態のシーン判別処理を実施するようにしてもよい。図 24のフロ 一チャートを参照して、縮小画像を用いた場合のシーン判別処理について説明する
[0161] まず、撮影画像データが縮小画像に変換される (ステップ T1)。画像サイズを縮小 する方法としては、公知の方法 (例えば、バイリニア法、バイキュービック法、二アレス トネ一バー法等）を用いることができる。縮小率としては特に限定はないが、処理速度 の観点及びシーン判別工程の精度の観点で、元画像の 1Z2〜： LZ10程度が好まし い。
[0162] 次 、で、ステップ T1で得られた縮小画像データが所定の画像領域に分割され、各 分割領域が縮小画像データ全体に示す割合を示す占有率を算出する占有率算出 処理が行われる (ステップ T2)。次いで、ステップ Τ2において算出された占有率と、 少なくとも、撮影画像データの画面中央部における肌色領域の平均輝度値と、撮影 条件に応じて予め設定された係数に基づいて、撮影シーンを特定する指標 (指標 1 〜6)が算出される (ステップ Τ3)。次いで、ステップ Τ3において算出された指標に基 づ 、て撮影シーンが判別され、判別結果に応じて縮小画像データに対する画像処 理条件 (階調変換処理条件)が決定され (ステップ T4)、本シーン判別処理が終了す る。
[0163] ステップ T2の占有率算出処理、ステップ T3の指標算出処理及びステップ T4の画 像処理条件決定処理の方法は、それぞれ、図 5のステップ Sl、 S2、 S3で示した方法 と同一である。
[0164] 縮小画像データを用いて撮影シーンを判別した後は、ステップ T4で決定された画 像処理条件（階調変換処理条件）に従って、元画像データに対して階調変換処理を 施すようにすればよい。このように、縮小画像データを用いてシーン判別を行うことに より、元画像データを用いてシーン判別を行う場合より、処理時間を短縮することが 可能である。
産業上の利用可能性
[0165] 本発明によれば、撮影画像データの撮影シーンを定量的に示す指標を算出し、そ の算出された指標に基づいて撮影シーンを判別して、判別結果に応じて撮影画像 データに対する階調調整の方法を決定することにより、被写体の明度を適切に補正 することが可能となる。
[0166] また、撮影画像データの撮影シーン定量的に示す指標を算出し、その算出された 指標に基づいて撮影画像データの階調調整量を決定することにより、被写体の明度 を適切に補正することが可能となる。

Claims

請求の範囲
[1] 撮影画像データを、所定の明度と色相の組み合わせ力 なる領域に分割し、当該 分割された領域毎に、前記撮影画像データ全体に占める割合を示す第 1の占有率 を算出する第 1占有率算出工程と、
前記算出された各領域の第 1の占有率に、撮影条件に応じて予め設定された第 1 の係数を乗算することにより、撮影シーンを特定するための第 1の指標を算出するとと もに、前記各領域の第 1の占有率に、撮影条件に応じて予め設定された第 2の係数 を乗算することにより、撮影シーンを特定するための第 2の指標を算出する指標算出 工程と、
少なくとも、前記撮影画像データの画面中央部における肌色の平均輝度値に、撮 影条件に応じて予め設定された第 4の係数を乗算することにより、撮影シーンを特定 するための第 4の指標を算出する第 4指標算出工程と、
前記第 1の指標、第 2の指標及び第 4の指標に基づいて、前記撮影画像データの 撮影シーンを判別する判別工程と、
前記判別された撮影シーンに応じて、前記撮影画像データに対する階調調整の方 法を決定する調整方法決定工程と、
前記第 1の指標、第 2の指標及び第 4の指標に基づいて、前記撮影画像データに 対する階調調整量を決定する調整量決定工程と、
前記調整方法決定工程にお!ヽて決定された階調調整方法を用いて、前記撮影画 像データに対し、前記調整量決定工程において決定された階調調整量の階調変換 処理を施す階調変換工程と、を含む画像処理方法。
[2] 前記撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の 組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像 データ全体に占める割合を示す第 2の占有率を算出する第 2占有率算出工程と、 前記第 2の占有率に、撮影条件に応じて予め設定された第 3の係数を乗算すること により、撮影シーンを特定するための第 3の指標を算出する第 3指標算出工程と、を さらに含み、
前記判別工程では、前記第 1の指標、第 2の指標、第 3の指標及び第 4の指標に基 づ 、て、前記撮影画像データの撮影シーンを判別し、
前記調整量決定工程では、前記第 1の指標、第 2の指標、第 3の指標及び第 4の指 標に基づいて、前記撮影画像データに対する階調調整量を決定する請求の範囲第 1項に記載の画像処理方法。
[3] 前記第 4指標算出工程では、少なくとも、前記撮影画像データの画面中央部にお ける肌色の平均輝度値と、当該撮影画像データの最大輝度値と平均輝度値との差 分値に、前記撮影条件に応じて予め設定された第 4の係数を乗算することにより、前 記第 4の指標が算出される請求の範囲第 1項に記載の画像処理方法。
[4] 撮影画像データを、所定の明度と色相の組み合わせ力 なる領域に分割し、当該 分割された領域毎に、前記撮影画像データ全体に占める割合を示す第 1の占有率 を算出する第 1占有率算出部と、
前記算出された各領域の第 1の占有率に、撮影条件に応じて予め設定された第 1 の係数を乗算することにより、撮影シーンを特定するための第 1の指標を算出するとと もに、前記各領域の第 1の占有率に、撮影条件に応じて予め設定された第 2の係数 を乗算することにより、撮影シーンを特定するための第 2の指標を算出する指標算出 部と、
少なくとも、前記撮影画像データの画面中央部における肌色の平均輝度値に、撮 影条件に応じて予め設定された第 4の係数を乗算することにより、撮影シーンを特定 するための第 4の指標を算出する第 4指標算出部と、
前記第 1の指標、第 2の指標及び第 4の指標に基づいて、前記撮影画像データの 撮影シーンを判別する判別部と、
前記判別された撮影シーンに応じて、前記撮影画像データに対する階調調整の方 法を決定する調整方法決定部と、
前記第 1の指標、第 2の指標及び第 4の指標に基づいて、前記撮影画像データに 対する階調調整量を決定する調整量決定部と、
前記調整方法決定部により決定された階調調整方法を用いて、前記撮影画像デ ータに対し、前記調整量決定部により決定された階調調整量の階調変換処理を施 す階調変換部と、を備える画像処理装置。
[5] 前記撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の 組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像 データ全体に占める割合を示す第 2の占有率を算出する第 2占有率算出部と、 前記第 2の占有率に、撮影条件に応じて予め設定された第 3の係数を乗算すること により、撮影シーンを特定するための第 3の指標を算出する第 3指標算出部と、をさら に備え、
前記判別部は、前記第 1の指標、第 2の指標、第 3の指標及び第 4の指標に基づい て、前記撮影画像データの撮影シーンを判別し、
前記調整量決定部は、前記第 1の指標、第 2の指標、第 3の指標及び第 4の指標に 基づいて、前記撮影画像データに対する階調調整量を決定する請求の範囲第 4項 に記載の画像処理装置。
[6] 前記第 4指標算出部は、少なくとも、前記撮影画像データの画面中央部における 肌色の平均輝度値と、当該撮影画像データの最大輝度値と平均輝度値との差分値 に、前記撮影条件に応じて予め設定された第 4の係数を乗算することにより、前記第 4の指標を算出する請求の範囲第 4項に記載の画像処理装置。
[7] 被写体を撮影して撮影画像データを取得する撮像部と、
前記撮影画像データを、所定の明度と色相の組み合わせ力 なる領域に分割し、 当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第 1の占 有率を算出する第 1占有率算出部と、
前記算出された各領域の第 1の占有率に、撮影条件に応じて予め設定された第 1 の係数を乗算することにより、撮影シーンを特定するための第 1の指標を算出するとと もに、前記各領域の第 1の占有率に、撮影条件に応じて予め設定された第 2の係数 を乗算することにより、撮影シーンを特定するための第 2の指標を算出する指標算出 部と、
少なくとも、前記撮影画像データの画面中央部における肌色の平均輝度値に、撮 影条件に応じて予め設定された第 4の係数を乗算することにより、撮影シーンを特定 するための第 4の指標を算出する第 4指標算出部と、
前記第 1の指標、第 2の指標及び第 4の指標に基づいて、前記撮影画像データの 撮影シーンを判別する判別部と、
前記判別された撮影シーンに応じて、前記撮影画像データに対する階調調整の方 法を決定する調整方法決定部と、
前記第 1の指標、第 2の指標及び第 4の指標に基づいて、前記撮影画像データに 対する階調調整量を決定する調整量決定部と、
前記調整方法決定部により決定された階調調整方法を用いて、前記撮影画像デ ータに対し、前記調整量決定部により決定された階調調整量の階調変換処理を施 す階調変換部と、を備える撮像装置。
[8] 前記撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の 組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像 データ全体に占める割合を示す第 2の占有率を算出する第 2占有率算出部と、 前記第 2の占有率に、撮影条件に応じて予め設定された第 3の係数を乗算すること により、撮影シーンを特定するための第 3の指標を算出する第 3指標算出部と、 をさらに含み、
前記判別部は、前記第 1の指標、第 2の指標、第 3の指標及び第 4の指標に基づい て、前記撮影画像データの撮影シーンを判別し、
前記調整量決定部は、前記第 1の指標、第 2の指標、第 3の指標及び第 4の指標に 基づいて、前記撮影画像データに対する階調調整量を決定する請求の範囲第 7項 に記載の撮像装置。
[9] 前記第 4指標算出部は、少なくとも、前記撮影画像データの画面中央部における 肌色の平均輝度値と、当該撮影画像データの最大輝度値と平均輝度値との差分値 に、前記撮影条件に応じて予め設定された第 4の係数を乗算することにより、前記第 4の指標を算出する請求の範囲第 7項に記載の撮像装置。
[10] 画像処理を実行するためのコンピュータに、
撮影画像データを、所定の明度と色相の組み合わせカゝらなる領域に分割し、当該 分割された領域毎に、前記撮影画像データ全体に占める割合を示す第 1の占有率 を算出する第 1占有率算出工程と、
前記算出された各領域の第 1の占有率に、撮影条件に応じて予め設定された第 1 の係数を乗算することにより、撮影シーンを特定するための第 1の指標を算出するとと もに、前記各領域の第 1の占有率に、撮影条件に応じて予め設定された第 2の係数 を乗算することにより、撮影シーンを特定するための第 2の指標を算出する指標算出 工程と、
少なくとも、前記撮影画像データの画面中央部における肌色の平均輝度値に、撮 影条件に応じて予め設定された第 4の係数を乗算することにより、撮影シーンを特定 するための第 4の指標を算出する第 4指標算出工程と、
前記第 1の指標、第 2の指標及び第 4の指標に基づいて、前記撮影画像データの 撮影シーンを判別する判別工程と、
前記判別された撮影シーンに応じて、前記撮影画像データに対する階調調整の方 法を決定する調整方法決定工程と、
前記第 1の指標、第 2の指標及び第 4の指標に基づいて、前記撮影画像データに 対する階調調整量を決定する調整量決定工程と、
前記調整方法決定工程により決定された階調調整方法を用いて、前記撮影画像 データに対し、前記調整量決定工程により決定された階調調整量の階調変換処理 を施す階調変換工程と、を備える画像処理プログラム。
[11] 前記撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の 組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像 データ全体に占める割合を示す第 2の占有率を算出する第 2占有率算出工程と、 前記第 2の占有率に、撮影条件に応じて予め設定された第 3の係数を乗算すること により、撮影シーンを特定するための第 3の指標を算出する第 3指標算出工程と、を さらに備え、
前記判別工程では、前記第 1の指標、第 2の指標、第 3の指標及び第 4の指標に基 づ 、て、前記撮影画像データの撮影シーンを判別し、
前記調整量決定工程では、前記第 1の指標、第 2の指標、第 3の指標及び第 4の指 標に基づいて、前記撮影画像データに対する階調調整量を決定する請求の範囲第 10項に記載の画像処理プログラム。
[12] 前記第 4指標算出工程において、少なくとも、前記撮影画像データの画面中央部 における肌色の平均輝度値と、当該撮影画像データの最大輝度値と平均輝度値と の差分値に、前記撮影条件に応じて予め設定された第 4の係数を乗算することにより 、前記第 4の指標を算出する請求の範囲第 10項に記載の画像処理プログラム。
PCT/JP2005/016384 2004-09-22 2005-09-07 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム WO2006033236A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-275239 2004-09-22
JP2004275239A JP2006092137A (ja) 2004-09-22 2004-09-22 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2006033236A1 true WO2006033236A1 (ja) 2006-03-30

Family

ID=36089999

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/016384 WO2006033236A1 (ja) 2004-09-22 2005-09-07 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム

Country Status (2)

Country Link
JP (1) JP2006092137A (ja)
WO (1) WO2006033236A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197159A (zh) * 2019-05-31 2019-09-03 维沃移动通信有限公司 指纹采集方法及终端

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4997846B2 (ja) 2006-06-30 2012-08-08 ブラザー工業株式会社 画像処理プログラムおよび画像処理装置
JP4853414B2 (ja) * 2007-07-18 2012-01-11 ソニー株式会社 撮像装置、画像処理装置およびプログラム
KR101151435B1 (ko) 2009-11-11 2012-06-01 한국전자통신연구원 얼굴 인식 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148980A (ja) * 1998-11-12 2000-05-30 Fuji Photo Film Co Ltd 画像処理方法、画像処理装置及び記録媒体
JP2002199221A (ja) * 2000-12-27 2002-07-12 Fuji Photo Film Co Ltd 濃度補正曲線生成装置および方法
JP2002247393A (ja) * 2001-02-14 2002-08-30 Konica Corp 画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148980A (ja) * 1998-11-12 2000-05-30 Fuji Photo Film Co Ltd 画像処理方法、画像処理装置及び記録媒体
JP2002199221A (ja) * 2000-12-27 2002-07-12 Fuji Photo Film Co Ltd 濃度補正曲線生成装置および方法
JP2002247393A (ja) * 2001-02-14 2002-08-30 Konica Corp 画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197159A (zh) * 2019-05-31 2019-09-03 维沃移动通信有限公司 指纹采集方法及终端

Also Published As

Publication number Publication date
JP2006092137A (ja) 2006-04-06

Similar Documents

Publication Publication Date Title
US7076119B2 (en) Method, apparatus, and program for image processing
WO2006120839A1 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
WO2006123492A1 (ja) 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム
US20040095478A1 (en) Image-capturing apparatus, image-processing apparatus, image-recording apparatus, image-processing method, program of the same and recording medium of the program
US20050141002A1 (en) Image-processing method, image-processing apparatus and image-recording apparatus
JPWO2005079056A1 (ja) 画像処理装置、撮影装置、画像処理システム、画像処理方法及びプログラム
WO2005112428A1 (ja) 画像処理方法、画像処理装置、画像記録装置及び画像処理プログラム
JP2003283731A (ja) 画像入力装置及び画像出力装置並びにこれらから構成される画像記録装置
JP2007184888A (ja) 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム
US7324702B2 (en) Image processing method, image processing apparatus, image recording apparatus, program, and recording medium
WO2006033235A1 (ja) 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム
WO2006033236A1 (ja) 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム
WO2006077702A1 (ja) 撮像装置、画像処理装置及び画像処理方法
JP2006318255A (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP2005192162A (ja) 画像処理方法、画像処理装置及び画像記録装置
US6801296B2 (en) Image processing method, image processing apparatus and image recording apparatus
JP2005203865A (ja) 画像処理システム
WO2006033234A1 (ja) 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム
JP2007312125A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2006077703A1 (ja) 撮像装置、画像処理装置及び画像記録装置
JP2004096508A (ja) 画像処理方法、画像処理装置、画像記録装置、プログラム及び記録媒体
JP2006203571A (ja) 撮像装置、画像処理装置及び画像記録装置
JP2005332054A (ja) 画像処理方法、画像処理装置、画像記録装置及び画像処理プログラム
JP2006094000A (ja) 画像処理方法、画像処理装置及び画像処理プログラム
WO2006132067A1 (ja) 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 05778568

Country of ref document: EP

Kind code of ref document: A1