WO2017169286A1 - ホワイトバランス調整装置及びその作動方法並びに作動プログラム - Google Patents

ホワイトバランス調整装置及びその作動方法並びに作動プログラム Download PDF

Info

Publication number
WO2017169286A1
WO2017169286A1 PCT/JP2017/006233 JP2017006233W WO2017169286A1 WO 2017169286 A1 WO2017169286 A1 WO 2017169286A1 JP 2017006233 W JP2017006233 W JP 2017006233W WO 2017169286 A1 WO2017169286 A1 WO 2017169286A1
Authority
WO
WIPO (PCT)
Prior art keywords
auxiliary light
priority
light
light source
white balance
Prior art date
Application number
PCT/JP2017/006233
Other languages
English (en)
French (fr)
Inventor
祐也 西尾
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201780022084.0A priority Critical patent/CN108886608B/zh
Priority to JP2018508574A priority patent/JP6533335B2/ja
Publication of WO2017169286A1 publication Critical patent/WO2017169286A1/ja
Priority to US16/145,995 priority patent/US10499028B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a white balance adjusting device that adjusts white balance when photographing using a plurality of auxiliary light sources, an operating method thereof, and an operating program.
  • Human vision has color constancy. Therefore, the original color of the subject can be perceived regardless of the difference in environmental light such as electric light, fluorescent light, and sunlight.
  • environmental light such as electric light, fluorescent light, and sunlight.
  • an image by an imaging device such as a digital camera is directly affected by ambient light. For this reason, the imaging apparatus has a white balance adjustment function that corrects the influence of ambient light and performs color conversion into a natural image for humans.
  • the main subject is irradiated with mixed light of ambient light and flash.
  • the background is less affected by the flash and is mainly ambient light.
  • a ratio between ambient light and flash (hereinafter referred to as a mixed light ratio) is calculated and mixed light
  • the white balance is adjusted according to the ratio.
  • the auto white balance in accordance with the mixed light ratio at the location where the flash is shining strongly, the main subject becomes an appropriate color.
  • the portion where the flash is strongly applied is not often the main subject.
  • the flash device applied to the background may emit light more strongly.
  • the auto white balance adjustment is performed in accordance with the mixed light ratio at the location where the flash is shining strongly, the background is emphasized and the color of the main subject is deteriorated.
  • an object of the present invention is to provide a white balance adjusting device, an operating method thereof, and an operating program in which a main subject has an appropriate color when shooting with a plurality of auxiliary light sources.
  • a white balance adjustment device of the present invention includes a non-light emission image acquisition unit, a light emission image acquisition unit, an auxiliary light irradiation area specifying unit, a priority auxiliary light source selection unit, and a white balance adjustment value calculation. And a white balance adjustment unit.
  • the non-light emitting image acquisition unit captures a subject by acquiring a non-light emitting image by setting a plurality of auxiliary light sources in a non-light emitting state.
  • the light emission image acquisition unit captures a subject with each of a plurality of auxiliary light sources in an individual light emission state, and acquires a light emission image of each auxiliary light source.
  • the auxiliary light irradiation area specifying unit divides the non-light-emitting image and each light-emitting image into a plurality of divided areas, and uses the auxiliary light from each auxiliary light source based on the difference in signal value of each divided area between the individual light-emitting state and the non-light-emitting state.
  • the auxiliary light irradiation area that is hit is specified.
  • the priority auxiliary light source selection unit selects a priority auxiliary light source for white balance adjustment among the auxiliary light sources.
  • the white balance adjustment value calculation unit calculates a white balance adjustment value based on the signal value of the priority auxiliary light irradiation area irradiated with the auxiliary light from the selected priority auxiliary light source.
  • the white balance adjustment unit performs adjustment based on the white balance adjustment value.
  • the priority auxiliary light source selection unit preferably includes a face area detection unit and a priority auxiliary light source determination unit.
  • the face area detection unit detects a face area from a non-light emitting image or a light emitting image.
  • the priority auxiliary light source determination unit identifies which auxiliary light irradiation area the face area detected by the face area detection unit is in, and determines the auxiliary light source corresponding to the auxiliary light irradiation area with the face area as the priority auxiliary light source. To do.
  • the priority auxiliary light source selection unit includes a priority auxiliary light source determination unit that determines a priority auxiliary light source based on light source color information of an auxiliary light source stored in advance.
  • the priority auxiliary light source determination unit determines the color space from the light source color information by the auxiliary light stored in advance, the light source color information by the ambient light acquired from the non-light emitting image, and the pixel information at the time of non-light emission of the auxiliary light irradiation area. Set the judgment range at. When the pixel information based on the light emission image is located within the determination range, the auxiliary light source corresponding to the auxiliary light irradiation area is determined as the priority auxiliary light source.
  • the priority auxiliary light source is preferably determined based on the signal value average during non-light emission, the signal value average predicted value during auxiliary light emission, and the signal value average during light emission.
  • the light source color information by the auxiliary light is coordinates indicating the color of the auxiliary light in the color space.
  • the light source color information by the ambient light is obtained based on the non-light emitting image, and is a coordinate indicating the color of the ambient light in the color space.
  • the pixel information at the time of non-light emission of the auxiliary light irradiation area is obtained based on the non-light emission image, and is a coordinate indicating an average signal value at the time of non-light emission of the auxiliary light irradiation area in the color space.
  • the priority auxiliary light source determination unit calculates an average signal value during emission, which is an average signal value of the auxiliary light irradiation area in the color space, based on the emission image. Then, a difference vector that is the difference between the light source color information of the auxiliary light and the light source color information of the ambient light is calculated, and the difference vector is added to the coordinates of the signal value average when the light is not emitted, and the signal value average when the auxiliary light source is emitted Find the predicted value.
  • the priority auxiliary light source determination unit preferably determines that the light source is a priority auxiliary light source when the light emission time signal value average is within a determination range including both the non-light emission signal value average and the auxiliary light source light emission signal value average predicted value at both ends. .
  • the priority auxiliary light source selection unit preferably includes a spatial frequency calculation unit and a priority auxiliary light source determination unit.
  • the spatial frequency calculation unit calculates the spatial frequency of the auxiliary light irradiation area by each auxiliary light source in the non-light-emitting image.
  • the priority auxiliary light source determination unit selects an auxiliary light source corresponding to an auxiliary light irradiation area whose spatial frequency is equal to or less than a predetermined value from selection targets of priority auxiliary light when the spatial frequency of the auxiliary light irradiation area by each auxiliary light source is equal to or lower than a certain value.
  • the auxiliary light source remaining after the exclusion is set as a priority auxiliary light source.
  • the white balance adjustment value calculation unit calculates the priority auxiliary light signal prediction value during main flash that predicts the signal value of the priority auxiliary light irradiation area when the priority auxiliary light source emits light at the light emission amount during main flash. It is preferable to calculate the white balance adjustment value based on the priority auxiliary light signal predicted value and the signal value when the priority auxiliary light irradiation area is not emitting light.
  • the white balance adjustment unit obtains a main emission image obtained by imaging a subject with a plurality of auxiliary light sources emitting light at the amount of light emitted at the time of main emission, and performs white balance adjustment based on a white balance adjustment value on the main emission image. Is preferred.
  • a white balance adjustment device includes a non-light emitting image acquisition unit, a selection input unit, a priority auxiliary light emission image acquisition unit, a priority auxiliary light irradiation area specifying unit, a white balance adjustment value calculation unit, and a white balance adjustment.
  • the non-light emitting image acquisition unit captures a subject by acquiring a non-light emitting image by setting a plurality of auxiliary light sources in a non-light emitting state.
  • the selection input unit inputs an instruction to select a priority auxiliary light source for white balance adjustment among the auxiliary light sources.
  • the priority auxiliary light emission image acquisition unit captures a subject with the priority auxiliary light source in a light emission state, and acquires a light emission image of the priority auxiliary light source.
  • the priority auxiliary light irradiation area specifying unit divides the non-light-emitting image and the light-emitting image into a plurality of divided areas, and calculates the difference between the signal values of each divided area between the light emitting state and the non-light emitting state of the priority auxiliary light emitted from the priority auxiliary light source. Based on this, the priority auxiliary light irradiation area on which the auxiliary light from the priority auxiliary light source is applied is identified.
  • the white balance adjustment value calculation unit calculates a white balance adjustment value based on the signal value of the identified priority auxiliary light irradiation area. The white balance adjustment unit performs adjustment based on the white balance adjustment value.
  • the operation method of the white balance adjustment device of the present invention includes a non-light emission image acquisition step, a light emission image acquisition step, an auxiliary light irradiation area specifying step, a priority auxiliary light source selection step, a white balance adjustment value calculation step, and a white balance. Adjusting step. Also, the operation program for the white balance adjusting device of the present invention causes the computer to function as a white balance adjusting device by causing the computer to execute the above steps.
  • the non-light emitting image acquisition step the subject is imaged by setting the plurality of auxiliary light sources in a non-light emitting state to acquire a non-light emitting image.
  • a plurality of auxiliary light sources are set in an individual emission state to capture images of the subject and acquire emission images of the auxiliary light sources.
  • the auxiliary light irradiation area specifying step divides the non-light-emitting image and each light-emitting image into a plurality of divided areas, and based on the difference between the signal values of each divided area between the individual light-emitting state and the non-light-emitting state, auxiliary light from each auxiliary light source The auxiliary light irradiation area that is hit is specified.
  • the priority auxiliary light source selection step selects a priority auxiliary light source to be subjected to white balance adjustment among the auxiliary light sources.
  • the white balance adjustment value calculation step calculates a white balance adjustment value based on the signal value of the priority auxiliary light irradiation area irradiated with auxiliary light from the selected priority auxiliary light source.
  • the white balance adjustment step performs white balance adjustment based on the white balance adjustment value.
  • a white balance adjustment device it is possible to provide a white balance adjustment device, an operation method thereof, and an operation program that make a main subject have an appropriate color when photographing with a plurality of auxiliary light sources.
  • FIG. 1 is a perspective view showing an entire imaging system to which an embodiment of a white balance adjusting device of the present invention is applied, and shows a state in which a pre-emission image is captured by turning on a flash emission unit of the camera.
  • It is a functional block diagram of a camera and a flash device. It is a functional block diagram in a main control part and a digital signal processing part. It is a flowchart which shows WB adjustment in imaging
  • FIG. 1 It is a side view which shows the flash apparatus which has a special effect filter in 2nd Embodiment. It is a functional block diagram which shows the priority flash apparatus selection part of 2nd Embodiment. It is a flowchart which shows WB adjustment in 2nd Embodiment. It is a diagram showing light source color information of ambient light, light source color information of flash light, and a difference vector in a color space having R / G and B / G as coordinate axes. In the color space having R / G and B / G as coordinate axes, the signal value average when each flash light irradiation area is not emitting, and the signal value average predicted value when flash light without special effect filter is irradiated are shown.
  • FIG. 1 shows the color space having R / G and B / G as coordinate axes.
  • FIG. 1 is an overall configuration diagram of a photographing system 10 to which an embodiment of a white balance (hereinafter referred to as WB) adjusting device of the present invention is applied.
  • the photographing system 10 uses a plurality of flash devices 12 and 13 as auxiliary light sources, and is used, for example, in a photographing studio 9.
  • the photographing system 10 includes a digital camera (hereinafter simply referred to as a camera) 11 and flash devices 12 and 13.
  • the camera 11 includes a flash device 12 including a flash light emitting unit 14 (see FIG. 2).
  • the built-in flash device 12 functions as a first auxiliary light source in the photographing system 10.
  • the flash device 13 is provided separately from the camera 11 and functions as a second auxiliary light source in the photographing system 10.
  • the camera 11 when performing multiple illumination photographing, transmits a control signal to the first auxiliary light source (first flash device 12) and the second auxiliary light source (second flash device 13).
  • the lighting timing is controlled by.
  • the first flash device 12 irradiates the flash toward the main subject 6 of the subject 5, and the second flash device 13 applies the flash to the background curtain 7 arranged behind the main subject 6 of the subject 5. Irradiate.
  • the flash device 12 incorporated in the camera 11 is used as the first auxiliary light source, but this is a flash device provided separately from the camera 11 as in the second auxiliary light source. Alternatively, it may be a flash device that is detachably attached to the camera 11 and integrated.
  • the camera 11 and the flash device 13 include wireless communication I / F (interfaces) 15 and 16, and wireless communication is possible between the camera 11 and the flash device 13. Note that wired communication may be used instead of wireless communication.
  • the flash device 13 includes a flash control unit 17 and a flash light emitting unit 18 in addition to the wireless communication I / F 16.
  • the flash device 13 receives the light amount adjustment signal sent from the camera 11 through the wireless communication I / F 16.
  • the flash control unit 17 controls the flash light emitting unit 18 to turn on the flash light emitting unit 18 according to the light amount adjustment signal.
  • the lighting of the flash light emitting unit 18 is flash light emission on the order of a light emission time of microseconds. The same applies to the flash light emitting unit 14 of the flash device 12 of the camera 11.
  • the camera 11 includes a lens barrel 21, an operation switch 22, a rear display unit 23, and the like.
  • the lens barrel 21 is provided on the front surface of the camera body 11a (see FIG. 1), and holds the photographing optical system 25 and the diaphragm 26.
  • a plurality of operation switches 22 are provided on the upper and rear surfaces of the camera body 11a.
  • the operation switch 22 accepts input operations for power ON / OFF, release operation, and various settings.
  • the rear display unit 23 is provided on the rear surface of the camera body 11a, and displays images and through images acquired in various shooting modes, and a menu screen for performing various settings.
  • a touch panel 24 is provided on the surface of the rear display unit 23. The touch panel 24 is controlled by the touch panel control unit 38 and transmits an instruction signal input by a touch operation to the main control unit 29.
  • the image sensor 28 is, for example, a single-chip color image-capturing CMOS (Complementary Metal-Oxide-Semiconductor) image sensor having RGB (Red, Green, Blue) color filters.
  • CMOS Complementary Metal-Oxide-Semiconductor
  • RGB Red, Green, Blue
  • the image sensor 28 includes a signal processing circuit (all not shown) such as a noise removal circuit, an auto gain controller, and an A / D (Analog / Digital) conversion circuit.
  • the noise removal circuit performs noise removal processing on the imaging signal.
  • the auto gain controller amplifies the level of the imaging signal to an optimum value.
  • the A / D conversion circuit converts the imaging signal into a digital signal and outputs it from the imaging element 28.
  • the image sensor 28, the main control unit 29, and the flash control unit 30 are connected to a bus 33.
  • the flash control unit 30 and the flash light emitting unit 14 constitute a flash device 12 built in the camera 11.
  • a memory control unit 34, a digital signal processing unit 35, a media control unit 36, a rear display control unit 37, and a touch panel control unit 38 are connected to the bus 33.
  • the memory control unit 34 is connected to a memory 39 for temporary storage such as SDRAM (Synchronous Dynamic Random Access Memory).
  • the memory control unit 34 inputs and stores image data, which is a digital image pickup signal output from the image pickup device 28, in the memory 39. Further, the memory control unit 34 outputs the image data stored in the memory 39 to the digital signal processing unit 35.
  • the digital signal processing unit 35 performs known image processing such as matrix calculation, demosaic processing, WB adjustment, ⁇ correction, luminance / color difference conversion, resizing processing, compression processing, and the like on the image data input from the memory 39.
  • the media control unit 36 controls recording and reading of image data on the recording medium 40.
  • the recording medium 40 is a memory card with a built-in flash memory, for example.
  • the media control unit 36 records the image data compressed by the digital signal processing unit 35 on the recording medium 40 in a predetermined file format.
  • the rear display control unit 37 controls image display on the rear display unit 23. Specifically, the rear display control unit 37 generates a video signal that conforms to the NTSC (National Television System Committee) standard or the like based on the image data generated by the digital signal processing unit 35 and supplies the video signal to the rear display unit 23. Output.
  • NTSC National Television System Committee
  • the main control unit 29 controls the photographing process of the camera 11. Specifically, the shutter 27 is controlled via the shutter drive unit 41 in accordance with the release operation. The drive of the image sensor 28 is controlled in synchronization with the operation of the shutter 27.
  • the camera 11 can be set in various shooting modes.
  • the main control unit 29 controls the aperture value of the diaphragm 26, the exposure time of the shutter 27, and the like according to the set shooting mode, and enables shooting in various shooting modes.
  • the camera 11 in the present embodiment has a multi-illumination shooting mode in addition to various normal shooting modes.
  • the multiple illumination shooting mode is selected when shooting using a plurality of auxiliary light sources.
  • a priority flash device that is an auxiliary light source that is prioritized in WB adjustment is specified, and a WB adjustment value is calculated based on the priority flash light (priority auxiliary light) that is the flash light of the specified priority flash device. .
  • WB adjustment is performed on a main light emission signal value obtained by photographing a main light emission image that is an image at the time of main light emission.
  • the calculation of the WB adjustment value may be performed at any other timing after the priority flash device is specified or after the main flash signal is acquired.
  • the main control unit 29 has a priority flash device selection function.
  • a priority flash device selection process is performed before the main emission image is shot.
  • one flash device to be prioritized is selected from the two flash devices 12 and 13 within the shooting range of the image sensor 28.
  • the main control unit 29 includes an illumination control unit 52, an image acquisition unit 53, and a flash light irradiation area specifying unit (auxiliary light irradiation area specifying unit as an auxiliary light irradiation area specifying unit). ) 54 and a priority flash device selection unit 55 as a priority auxiliary light source selection unit.
  • the construction of these units is performed by starting an operation program 45 stored in a nonvolatile memory (not shown) of the camera 11.
  • the digital signal processing unit 35 functions as the WB adjustment unit 56 and performs WB adjustment based on the WB adjustment value.
  • the image acquisition unit 53 includes a non-light emission image acquisition unit 53a and a light emission image acquisition unit 53b.
  • the priority flash device selection unit 55 includes a face area detection unit 57 and a priority flash device determination unit 58.
  • the WB adjustment unit 56 has a WB adjustment value calculation unit 59.
  • FIG. 4 is a flowchart showing WB adjustment in the multiple illumination shooting mode.
  • the image sensor 28 and the non-emission image acquisition unit 53a of the image acquisition unit 53 are used to display an image of the subject 5 (see FIG. 1) while the flash devices 12 and 13 are not emitting light.
  • a certain non-light emitting image 60 (see FIG. 5B) is captured.
  • a non-light emission signal value is acquired based on the non-light emission image 60.
  • the subject 5 is in a state where the flash devices 12 and 13 are individually made to emit light by the imaging device 28 and the emission image acquisition unit 53b (individual emission state, see FIGS. 1 and 7).
  • Pre-emission images 61 and 62 are captured, and emission signal values are acquired based on these pre-emission images 61 and 62.
  • the illumination control unit 52 controls the lighting timing and light amount of the flash devices 12 and 13 via the flash control unit 30 and the wireless communication I / F 15.
  • the luminescent image acquisition unit 53b selectively turns on the flash devices 12 and 13 and acquires pre-luminescent images 61 and 62 that are images of the subject irradiated with each flash light individually.
  • FIG. 1 shows a state in which the first flash device 12 is turned on in studio photography.
  • the first flash device 12 is set to irradiate the main subject 6 standing in front of the background curtain 7 with a flash.
  • a first pre-flash image 61 (see FIG. 5 (1)), which is a pre-flash image when the first flash light is emitted, is photographed.
  • FIG. 7 shows a state in which the second flash device 13 is turned on.
  • the second flash device 13 is set so that the second flash light is irradiated, for example, from the upper right on the background curtain 7 on the back of the main subject 6.
  • a second pre-flash image 62 (see FIG. 5A), which is a pre-flash image when the second flash light is emitted, is captured.
  • the flash light irradiation area specifying unit 54 specifies the flash light irradiation area to which each flash light from each of the flash devices 12 and 13 is hit.
  • FIG. 5 is an explanatory diagram showing the flash light irradiation area specifying process of the flash light irradiation area specifying unit 54 in the flash light irradiation area specifying step S13.
  • the flash light irradiation area specifying images 63 and 64 are created using the non-light emitting image 60 and the pre-light emitting images 61 and 62.
  • the non-light-emitting image 60 and the pre-light-emitting images 61 and 62 are divided into, for example, 8 ⁇ 8 rectangular divided areas 65.
  • the divided area 65 is obtained by dividing the non-light emission image 60 and the pre-light emission images 61 and 62 by the same section.
  • the number of sections and the shape of the sections are not limited to those in the illustrated example, and may be changed as appropriate.
  • the luminance value Y0 of each divided area 65 obtained from the non-light emitting image 60 is subtracted from the luminance value Ya of each divided area 65 obtained from the first pre-emission image 61, and a difference is obtained for each divided area 65. When this difference is larger than that of the other divided areas 65, a set of divided areas 65 having a large difference is specified as the first flash light irradiation area 67.
  • the images 60 and 61 are shot with the same exposure (with the same exposure).
  • the other luminance value is corrected with respect to one luminance value of the non-light-emitting image 60 and the first pre-light-emitting image 61 based on the exposure difference at the time of shooting the images 60 and 61, and signal processing is performed.
  • the exposure difference may be corrected.
  • the divided area is determined. A difference is obtained for each 65, and a set of divided areas 65 in which the difference is larger than that of the other divided areas 65 is specified as the second flash light irradiation area 68. Also in this case, based on the pre-processing for aligning the exposure when acquiring the images 60 and 62, or the exposure difference at the time of shooting the images 60 and 62, the luminance value of the other of the images 60 and 62 is the other. Perform post-processing to correct
  • the luminance value of each pixel is calculated by the following luminance conversion equation using the signal values R, G, and B of each pixel in each divided area.
  • Y 0.3R + 0.6G + 0.1B
  • a luminance value average is calculated by averaging the luminance values of the pixels in each divided area calculated by the luminance conversion formula. It should be noted that any value can be used as long as it can represent the brightness of each divided area, and the value to be used is not limited to the above brightness value. For example, the brightness V of the HSV color space, the brightness L of the Lab color space, or the like. It may be used.
  • the main subject 6 In the first pre-flash image 61, the main subject 6 is located at the center, and the main subject 6 mainly receives flash light (first flash light) from the first flash device 12. For this reason, as indicated by hatching in the flash light irradiation area specifying image 63, the flash light irradiation area (first flash light irradiation area) 67 by the first flash light is specified.
  • the flash light irradiation area (second flash light irradiation area) 68 by the second flash device 13 is specified in the same manner as the specification of the first flash light irradiation area 67. Is done.
  • the second flash light irradiation area 68 is indicated by hatching in the flash light irradiation area specifying image 64. Identified.
  • the priority flash device selection unit 55 selects a priority flash device to be subjected to WB adjustment from the flash devices 12 and 13.
  • the priority flash device selection step S14 includes a face area detection step S15 by the face area detection unit 57 and a priority flash device determination step S16 by the priority flash device determination unit 58.
  • FIG. 6 is an explanatory diagram showing the priority flash device selection processing of the priority flash device selection unit 55 in the priority flash device selection step S14.
  • the face area detection unit 57 detects a human face area 71 from the first pre-flash image 61 (face area detection step S15).
  • face area detection step S15 it is preferable to use a divided area smaller than the divided area 65 used when obtaining the flash light irradiation areas 67 and 68 (divided area smaller than the divided area 65 by increasing the number of divisions).
  • the face area 71 may be detected from the non-light emitting image 60 and the second pre-light emitting image 62.
  • the priority flash device determination unit 58 identifies which flash light irradiation areas 67 and 68 the face area 71 detected by the face area detection unit 57 is, and determines the flash light irradiation area with the face area 71 as the priority flash light. Determine the irradiation area. More specifically, whether the detected face area 71 is in the first flash light irradiation area 67 or the second flash light irradiation area 68 is determined from, for example, coordinates indicating the mutual position with respect to the image. If the face area 71 is present in the first flash light irradiation area 67, the first flash device 12 that is the emission source of the first flash light is automatically identified as the flash device that should be prioritized in the WB adjustment (priority). Flash device determination step S16).
  • the face area 71 is detected based on an area indicating the skin color of a person.
  • the face area 71 may be detected by a method based on shape recognition of eyes, nose, mouth, etc., a method based on a combination of a skin color region and shape recognition, or other various face recognition methods.
  • the priority flash device can be specified by automatically detecting the face area 71.
  • the subject image 69 shown in FIG. 6 (4) for example, the higher the luminance value, the higher the hatching density is displayed in accordance with the average luminance value of the flash light irradiation areas 67 and 68.
  • the subject image 69 has a higher brightness of the second flash light irradiation area 68 mainly including the background curtain 7 than the first flash light irradiation area 67 including the main subject 6.
  • WB adjustment is performed based on the pixels of the second flash light irradiation area 68 having high brightness in the automatic WB processing in the conventional multiple illumination shooting mode. End up. Accordingly, since the WB adjustment is performed based on the pixels of the background curtain 7, the main subject 6 deviates from the original color.
  • the first flash device 12 is selected as the priority flash device by automatic detection of the main subject 6 in the priority flash device determination step S16. . Then, the WB adjustment value is obtained based on the first flash light irradiation area 67 including the main subject 6. By performing the WB adjustment using the WB adjustment value, the main subject 6 can be given an appropriate color.
  • the WB adjustment unit 56 of the digital signal processing unit 35 performs WB processing.
  • the WB adjustment value calculation unit 59 of the WB adjustment unit 56 executes the WB adjustment value calculation step S17 shown in FIG. 4 to obtain the WB adjustment value.
  • photographing is performed by emitting light with a light emission amount K times that of pre-light emission, which is individual light emission for obtaining a flash light irradiation area.
  • the magnification K is determined by the dimming result of the camera and user settings.
  • the luminance value distribution ⁇ Yexp (i, j) K ⁇ ⁇ Ypre (i, j)
  • the values in the area where the preferential flash light is applied are the representative values calculated by averaging and the like.
  • the WB adjustment value Gwb to be obtained is obtained by the following equation.
  • Gwb (Gfl-G0) x ⁇ + G0
  • the main flash image is acquired by capturing the subject 5 with both the first flash device 12 and the second flash device 13 emitting light.
  • the WB adjustment unit 56 performs a WB adjustment step S18 as shown in FIG. 4, and adjusts the WB by multiplying the signal values R, G, and B of the main emission image by the WB adjustment value Gwb. As a result, the light source color is canceled.
  • the WB adjustment value Gwb is not limited to the above method, and may be obtained by various methods.
  • the priority flash device is automatically determined based on the main subject 6 and the WB adjustment is performed based on the priority flash device, so that the main subject 6 has an appropriate color when shooting with a plurality of flash lights. be able to.
  • the WB adjustment value Gwb is set as follows. Ask.
  • Distributions ⁇ Ypre1 (i, j) and ⁇ Ypre2 (i, j) are obtained by the following equations, respectively.
  • ⁇ Ypre1 (i, j) Ypre1 (i, j)-Y0 (i, j)
  • ⁇ Ypre2 (i, j) Ypre2 (i, j)-Y0 (i, j)
  • the luminance value distribution ⁇ Yexp (i, j) that is expected to increase only by the first priority flash light and the second priority flash light during the main light emission is expressed by the following equation.
  • K1 is obtained from (the amount of light emitted during the main light emission) / (the amount of light emitted during the pre-light emission) of the first priority flash light
  • K2 is obtained by (the light emission amount during the main light emission) / (pre-light emission amount). (Amount of light emitted during light emission).
  • ⁇ Yexp (i, j) K1 ⁇ ⁇ Ypre1 (i, j) + K2 ⁇ ⁇ Ypre2 (i, j)
  • the face area detection unit 57 detects the face area from the non-light-emitting image or the light-emitting image, and determines the flash device corresponding to the flash light irradiation area with the face area as the priority flash device. Appropriate color can be achieved.
  • a special effect filter 80 may be mounted on the irradiation surface of the flash device 13 and a color or a pattern may be projected on the background.
  • the special effect filter 80 is used so that the background color corresponds to each season or event. For example, when taking a commemorative photo when entering in April, a special effect filter 80 with a pink background or a special effect filter 80 with cherry blossoms scattered like a cherry blossom in full bloom. Used. The priority flash device in studio photography using such a special effect filter 80 can be automatically selected by removing the background flash device.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and redundant description is omitted.
  • the priority flash device selection unit 81 includes an ambient light coordinate calculation unit 82 that calculates ambient light coordinates, a flash light recording unit 83, a difference vector calculation unit 84, A non-light emission signal value average calculation unit 85 that calculates an average of signal values at the time of non-light emission in the flash light irradiation area, and a pre-light emission signal value average calculation that calculates an average of the signal values at the time of pre-light emission in the flash light irradiation area.
  • the priority flash device selection unit 81 identifies the flash light generated by the special effect filter 80, excludes the flash device that emitted the flash light using the special effect filter 80 from the priority flash device, and selects the remaining flash devices. Select the preferred flash device.
  • FIG. 10 is a flowchart showing a processing procedure in the second embodiment.
  • the non-light emission signal value acquisition step S11, the pre-light emission signal value acquisition step S12, the flash light irradiation area identification step S13, the WB adjustment value calculation step S17, and the WB adjustment step S18 are the same processes as in the first embodiment. Only the priority flash device selection step S21 is different.
  • the priority flash device selection step S21 includes a priority flash device determination step S22 in which a priority flash device is determined based on image information determination.
  • the ambient light coordinate calculation unit 82 for example, point A representing light source color information of ambient light in a color space having R / G and B / G as coordinate axes.
  • the light source coordinates (R0 / G0, B0 / G0) are calculated based on the signal value of the non-light-emitting image.
  • the light source coordinates (Rf / Gf, Bf / Gf) of point B representing the light source color information of the flash light in the same color space are calculated in advance and stored in the nonvolatile memory or the like by the flash light recording unit 83. Keep it.
  • the difference vector calculation unit 84 calculates a vector C as a difference between the coordinates of the point A (R0 / G0, B0 / G0) and the coordinates of the point B (Rf / Gf, Bf / Gf).
  • the vector C is output to the signal value average predicted value calculation unit 87.
  • the signal value average R1, G1, B1 (non-light emission pixels of the auxiliary light irradiation area) in the non-light emission area of each flash light irradiation area is calculated by the non-light emission signal value average calculation unit 85. (Corresponding to information) is calculated, and the coordinates (R1 / G1, B1 / G1) of the point D in the color space are calculated. The coordinates (R1 / G1, B1 / G1) of the point D are output to the signal value average predicted value calculation unit 87 and the special effect application flash light determination unit 88.
  • the signal value average predicted value calculation unit 87 predicts the average signal value R2, G2, when the same flash light irradiation area is irradiated with only flash light in a state where there is no special effect filter 80 and no ambient light.
  • the coordinates (R2 / G2, B2 / G2) of point E in the color space indicating B2 are calculated from the following equations.
  • the predicted values R2, G2, and B2 correspond to signal value average predicted values when the auxiliary light source emits light.
  • (R2 / G2, B2 / G2) (R1 / G1, B1 / G1) + C
  • signal value averages Rpre, Gpre, and Bpre (corresponding to pixel information based on the light emission image) in the flash light irradiation area of the prelight emission image are obtained by the pre-light emission signal value average calculation unit 86, as shown in FIG. Then, the coordinates (Rpre / Gpre, Bpre / Gpre) of the point F in the color space indicating the signal value averages Rpre, Gpre, Bpre at the time of pre-emission are calculated. The coordinates of point F (Rpre / Gpre, Bpre / Gpre) are output to the special effect use flash light discriminating unit 88.
  • the special effect use flash light discriminating unit 88 determines whether or not the flash light has the special effect filter 80 based on the coordinates of the F point (Rpre / Gpre, Bpre / Gpre).
  • the special effect use flash light discriminating unit 88 performs normal flash light (color) without the special effect filter 80. (Temperature: 5000 to 6000 K).
  • the flash device with the higher average brightness value in the flash light irradiation area is determined as the priority flash device.
  • the one having the larger user light quantity setting ratio is determined as the priority flash device.
  • a plurality of flash devices may be determined as priority flash devices.
  • the special effect filter 80 Since the flash device emitting the flash light using the special effect filter 80 is excluded from the priority flash device and the remaining flash device is selected as the priority flash device, the special effect filter 80 that is often used for background illumination. A flash device that emits flash light using is excluded from the priority flash device, and a flash device that emits flash light to the main subject 6 such as a person is selected as the priority flash device. Therefore, the main subject 6 can have an appropriate color.
  • the rectangular determination range H1 is used as shown in FIG. 13, but in the first modification shown in FIG. 14, the width h is in the direction perpendicular to the line segment connecting the point D and the point E.
  • a prescribed rectangular determination range H2 is used.
  • the width h is 30% of the length of the line segment DE.
  • the width h is set to a value that provides the best WB performance.
  • a sector-shaped (fan-shaped) determination range H3 is used in which a line segment connecting the D point and the E point is distributed at a predetermined angle ⁇ with respect to the D point.
  • the angle ⁇ is set to a value that provides the best WB performance.
  • the determination range H4 shown in FIG. 16 is obtained by multiplying the length of the vector C by the reduction ratio ⁇ ( ⁇ ⁇ 1) to make the length shorter than the vector C. Is used.
  • the length of the line segment DE is multiplied by the reduction ratio ⁇ to make the length longer than the line segment DE.
  • a shortened determination range H5 is used.
  • the length of the line segment DE is multiplied by the reduction ratio ⁇ to make the length longer than the line segment DE in the determination range H ⁇ b> 3 of the modification example 2 shown in FIG. 15.
  • a shortened sector-shaped determination range H6 is used.
  • the reduction rate ⁇ is obtained by the following equation.
  • the determination range H2 to H6 is narrower than the determination range H1 shown in FIG. 13, so that the determination as to whether or not the flash device is equipped with the special effect filter 80 is made more strict. can do.
  • the priority flash device is determined when the signal value average at the time of light emission is within the range including the signal value average at the time of non-light emission and the signal value average predicted value at the time of flash light emission as both ends. It is not limited to this determination method.
  • the priority flash device may be determined based on pixel information by flash light stored in advance.
  • the priority flash device selection unit 90 as the priority auxiliary light source selection unit includes a spatial frequency calculation unit 91 and a priority flash device determination unit 92, and the spatial frequency calculation unit 91. Based on the spatial frequency calculated in step 1, the priority flash device determination unit 92 determines whether or not the flash device irradiates the background.
  • FIG. 20 is a flowchart showing a processing procedure in the third embodiment.
  • the non-light emission signal value acquisition step S11, the pre-light emission signal value acquisition step S12, the flash light irradiation area identification step S13, the WB adjustment value calculation step S17, and the WB adjustment step S18 are the same processes as in the first embodiment. Only the priority flash device selection step S31 is different.
  • the spatial frequency calculation unit 91 performs a spatial frequency calculation step S32.
  • the spatial frequency calculation step S32 the spatial frequency of the flash light irradiation areas 67 and 68 by the flash devices 12 and 13 in the non-light-emitting image 60 is calculated.
  • the priority flash device determination unit 92 performs a priority flash device determination step S33.
  • the priority flash device determination step S33 when the calculated spatial frequency of the flash light irradiation areas 67 and 68 by the flash devices 12 and 13 is equal to or less than a certain value, the flash light irradiation area having a spatial frequency equal to or smaller than the certain value is handled.
  • the flash device is excluded from the selection target of the priority flash device.
  • the background curtain 7 is often composed of a plain screen, and the spatial frequency is often below a certain value. Accordingly, in this example, the flash device 13 corresponding to the flash light irradiation area 68 corresponding to the background screen 7 is excluded, and the flash device 12 corresponding to the flash light irradiation area 67 remaining by this exclusion is determined as the priority flash device. As a result, the flash device 12 is selected as the priority flash device. When there are a plurality of flash devices left by exclusion, a flash device having a high average brightness value in the flash light irradiation area is determined as the priority flash device. Further, instead of determining only one priority flash device, all of the remaining flash devices may be determined as priority flash devices.
  • the flash device corresponding to the flash light irradiation area having a spatial frequency of a certain value or less is excluded from the selection target of the priority flash device, and the flash device remaining by the exclusion is determined as the priority flash device.
  • the flash device that is surely excluded from the selection target of the priority flash device and irradiates the main subject 6 is selected as the priority flash device. Therefore, the main subject 6 can have an appropriate color.
  • the priority flash device is automatically specified.
  • a manual setting mode for manually setting the priority flash device can be selected.
  • the priority flash device is selected by the user.
  • the rear display unit 23 is controlled by the priority flash device selection unit 93 of the main control unit 29 via the rear display control unit 37.
  • FIG. 22 is a flowchart showing a processing procedure in the fourth embodiment.
  • the non-light emission signal value acquisition step S11, the WB adjustment value calculation step S17, and the WB adjustment step S18 are the same processes as those in the first embodiment, and only the priority flash device selection step S41 is different.
  • the priority flash device selection step S41 includes a priority flash device selection input step S42, a priority flash device determination step S43, a priority flash light emission image acquisition step S44, and a priority flash light irradiation area specifying step S45.
  • a priority flash device specifying screen 94 is displayed on the rear display unit 23.
  • a screen title 94a, selection buttons 94b and 94c of the flash devices 12 and 13, and a guidance sentence 94d are displayed on the priority flash device identification screen 94.
  • the priority flash device is selected from the selection buttons 94b and 94c.
  • the selection is performed using the touch panel 24. For example, when the flash device 12 is selected as the priority flash device among the flash devices 12 and 13, it is selected by touching the selection button 94 b with the finger 95. That is, the touch panel 24 corresponds to a selection input unit that inputs a priority flash device selection instruction.
  • a priority flash device determination screen 96 shown in FIG. 24 is displayed on the rear display unit 23, and a priority flash device determination step S43 is performed.
  • a title 96a, selection buttons 94b and 94c, confirmation buttons 96b and 96c, and a guidance sentence 96d are displayed.
  • the selected one of the selection buttons 94b and 94c (the selection button 94b in FIG. 24) is displayed in a blinking manner in order to display the selection.
  • the confirmation button 96b indicating yes in the confirmation buttons 96b and 96c is touched with the finger 95, the selected flash device 12 is specified as the priority flash device.
  • the priority flash device is selected and specified using the touch panel 24, the method of specifying the priority flash device is not limited to this.
  • the priority flash device is specified by using the operation switch 22 or voice input.
  • a flash device may be selected and specified.
  • a preferential flash light emission image acquisition step S44 is performed as shown in FIG.
  • the pre-emission image 61 (FIG. 5 (1)) is an image of the subject 5 in a state where only the priority flash device (flash device 12 in this example) emits light (see FIG. 1). )) Is captured, and a light emission signal value is acquired based on the pre-flash image 61.
  • a flash light irradiation area specifying image 63 is created using the non-light emitting image 60 and the pre-light emitting image 61.
  • the non-emission image 60 and the pre-emission image 61 are divided into, for example, 8 ⁇ 8 rectangular division areas 65.
  • the luminance value Y0 of each divided area 65 obtained from the non-light emitting image 60 is subtracted from the luminance value Ya of each divided area 65 obtained from the first pre-emission image 61, and a difference is obtained for each divided area 65.
  • a set of divided areas 65 having a higher difference is specified as the first flash light irradiation area (priority flash light irradiation area) 67.
  • WB adjustment value calculation step S17 is performed based on the signal value of the priority flash light irradiation area, and WB is adjusted using the WB adjustment value in WB adjustment step S18.
  • the priority flash device Since selection of the priority flash device is left to the user, the priority flash device can be easily determined without complicated processing such as face area detection, signal value average calculation, or spatial frequency calculation.
  • the non-light emission image acquisition unit 53a, the light emission image acquisition unit 53b, the flash light irradiation area specification unit (auxiliary light irradiation area specification unit) 54, the priority flash device selection unit (priority auxiliary light source selection unit) 55, 81 , 90, 93, WB adjustment value calculation unit 59, WB adjustment unit 56, face area detection unit 57, priority flash device determination unit (priority auxiliary light source determination unit) 58, 92, and spatial frequency calculation unit 91 are executed.
  • the hardware structure of the processing unit (processing unit) is the following various processors.
  • processors have a circuit configuration after manufacturing a CPU (Central Processing Unit) or FPGA (Field Programmable Gate Array) that is a general-purpose processor that functions as various processing units by executing software (programs).
  • Programmable Logic Device PLD
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or CPUs and FPGAs). May be. Further, the plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, there is a form in which one processor is configured by a combination of one or more CPUs and software, and this processor functions as a plurality of processing units. . Second, as represented by a system-on-chip (SoC) or the like, there is a form using a processor that realizes the functions of the entire system including a plurality of processing units with a single integrated circuit (IC) chip. is there. As described above, various processing units are configured using one or more of the various processors as a hardware structure.
  • SoC system-on-chip
  • circuitry circuitry in which circuit elements such as semiconductor elements are combined.
  • a non-luminous image acquisition processor for imaging a subject with a plurality of auxiliary light sources in a non-luminous state and acquiring a non-luminous image
  • a light emission image acquisition processor that images each of the subjects with a plurality of auxiliary light sources in an individual light emission state and acquires a light emission image of each auxiliary light source
  • the non-light-emitting image and each of the light-emitting images are divided into a plurality of divided areas, and the auxiliary light from each auxiliary light source strikes based on the difference in signal value of each divided area between the individual light-emitting state and the non-light-emitting state.
  • An auxiliary light irradiation area specifying processor for specifying the auxiliary light irradiation area,
  • a priority auxiliary light source selection processor for selecting a priority auxiliary light source for white balance adjustment among the auxiliary light sources;
  • a white balance adjustment value calculation processor that calculates a white balance adjustment value based on a signal value of a priority auxiliary light irradiation area that is irradiated with auxiliary light from the selected priority auxiliary light source;
  • a white balance adjustment device comprising: a white balance adjustment processor that performs adjustment based on the white balance adjustment value.
  • the present invention can be applied to an imaging apparatus such as a mobile phone and a smartphone in addition to the camera 11.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

複数フラッシュ光による撮影時に、主要被写体が適切な色味になるホワイトバランス調整装置及びその作動方法並びに作動プログラムを提供する。　非発光画像取得部（５３ａ）により、複数のフラッシュ装置（１２），（１３）が非発光状態である非発光画像（６０）を取得する。発光画像取得部（５３ｂ）により、複数のフラッシュ装置（１２），（１３）が個別発光状態であるプリ発光画像（６１），（６２）を取得する。フラッシュ光照射エリア特定部（５４）により、非発光画像（６０）及び各発光画像（６１），（６２）の複数の分割エリア（６５）の信号値の差分に基づき、フラッシュ光照射エリア（６７），（６８）を特定する。優先フラッシュ装置選択部（５５）は、ＷＢ（ホワイトバランス）調整の対象とする優先フラッシュ装置を選択する。ＷＢ調整部（５６）は、選択された優先フラッシュ装置の照射エリアの信号値に基づきＷＢ調整を行う。

Description

ホワイトバランス調整装置及びその作動方法並びに作動プログラム
　本発明は、複数の補助光源を用いて撮影する時のホワイトバランスを調整するホワイトバランス調整装置及びその作動方法並びに作動プログラムに関する。
　人間の視覚は色の恒常性を有する。従って、電灯、蛍光灯、太陽光など環境光の違いによらず、被写体が持つ本来の色を知覚することができる。これに対して、デジタルカメラ等の撮像装置による画像は環境光の影響を直接に受ける。そのため、撮像装置は環境光の影響を補正して、人間にとって自然な画像に色変換するホワイトバランス調整機能を有する。
　例えば補助光源としてフラッシュ装置を用いて撮像装置により撮影された画像では、主要被写体には環境光とフラッシュとの混合光が照射される。また、背景はフラッシュの影響は少なく環境光がメインとなる。
　一般的なフラッシュ撮影時におけるオートホワイトバランス調整では、例えば特開２０１０－１９３０４８号公報に記載されているように、環境光とフラッシュとの比率（以下、混合光比率という）を算出し、混合光比率に応じてホワイトバランスを調整している。一つのフラッシュによる単灯フラッシュ撮影時には、主要被写体にフラッシュを強く当てる傾向がある。そのため、フラッシュが強く当たっている箇所での混合光比率に応じてオートホワイトバランス調整を行うことで、主要被写体が適切な色味になる。
　しかしながら、複数の補助光源、例えば複数のフラッシュ装置を用いた撮影では、フラッシュが強く当たっている箇所が主要被写体とならないことが多い。例えば、主要被写体にフラッシュを当てるフラッシュ装置と、背景にフラッシュを当てるフラッシュ装置との複数の補助光源がある場合に、背景に当てるフラッシュ装置の方を強く発光させる場合がある。この場合には、フラッシュが強く当たっている箇所での混合光比率に応じてオートホワイトバランス調整を行うと、背景を重視した色味になってしまい、主要被写体の色味が悪くなる。
　本発明は、上記事情に鑑み、複数の補助光源による撮影時に、主要被写体が適切な色味になるホワイトバランス調整装置及びその作動方法並びに作動プログラムを提供することを目的とする。
　上記目的を達成するために、本発明のホワイトバランス調整装置は、非発光画像取得部と、発光画像取得部と、補助光照射エリア特定部と、優先補助光源選択部と、ホワイトバランス調整値算出部と、ホワイトバランス調整部とを備える。非発光画像取得部は、複数の補助光源を非発光状態にして被写体を撮像し非発光画像を取得する。発光画像取得部は、複数の補助光源を個別発光状態にして被写体をそれぞれ撮像し各補助光源の発光画像を取得する。補助光照射エリア特定部は、非発光画像及び各発光画像を複数の分割エリアに分割し、個別発光状態と非発光状態との各分割エリアの信号値の差分に基づき、各補助光源による補助光が当たっている補助光照射エリアを特定する。優先補助光源選択部は、各補助光源のうち、ホワイトバランス調整の対象とする優先補助光源を選択する。ホワイトバランス調整値算出部は、選択された優先補助光源による補助光が当たっている優先補助光照射エリアの信号値に基づき、ホワイトバランス調整値の算出を行う。ホワイトバランス調整部は、ホワイトバランス調整値による調整を行う。
　優先補助光源選択部は、顔エリア検出部と優先補助光源決定部とを有することが好ましい。顔エリア検出部は、非発光画像又は発光画像から顔エリアを検出する。優先補助光源決定部は、顔エリア検出部により検出された顔エリアがいずれの補助光照射エリアにあるかを特定し、顔エリアがある補助光照射エリアに対応する補助光源を優先補助光源と決定する。
　優先補助光源選択部は、予め記憶している補助光源による光源色情報に基づいて優先補助光源を決定する優先補助光源決定部を有することが好ましい。優先補助光源決定部は、予め記憶している補助光による光源色情報と、非発光画像から取得する環境光による光源色情報と、補助光照射エリアの非発光時の画素情報とから、色空間における判定範囲を設定する。判定範囲内に発光画像に基づく画素情報が位置する場合に、補助光照射エリアに対応する補助光源を優先補助光源と決定する。
　優先補助光源は、非発光時信号値平均、補助光源発光時の信号値平均予測値、及び発光時信号値平均に基づいて判定することが好ましい。補助光による光源色情報は、色空間における補助光の色を示す座標である。環境光による光源色情報は、非発光画像に基づき求められ、色空間における環境光の色を示す座標である。補助光照射エリアの非発光時の画素情報は、非発光画像に基づき求められ、色空間における補助光照射エリアの非発光時信号値平均を示す座標である。優先補助光源決定部は、発光画像に基づき、色空間における補助光照射エリアの信号値平均である発光時信号値平均を算出する。そして、補助光の光源色情報と環境光の光源色情報との差である差ベクトルを算出し、非発光時信号値平均の座標に差ベクトルを加算して、補助光源発光時の信号値平均予測値を求める。
　優先補助光源決定部は、非発光時信号値平均及び補助光源発光時の信号値平均予測値を両端として含む判定範囲内に発光時信号値平均がある場合に優先補助光源と判定することが好ましい。
　優先補助光源選択部は、空間周波数算出部と優先補助光源決定部とを有することが好ましい。空間周波数算出部は、非発光画像における各補助光源による補助光照射エリアの空間周波数を算出する。優先補助光源決定部は、各補助光源による補助光照射エリアの空間周波数が一定値以下の場合に、空間周波数が一定値以下の補助光照射エリアに対応する補助光源を優先補助光の選択対象から除外し、除外により残る補助光源を優先補助光源とする。
　ホワイトバランス調整値算出部は、優先補助光源を本発光時の発光量で発光した時の優先補助光照射エリアの信号値を予測した本発光時優先補助光信号予測値を算出し、本発光時優先補助光信号予測値、及び優先補助光照射エリアの非発光時の信号値に基づいてホワイトバランス調整値を算出することが好ましい。
　ホワイトバランス調整部は、複数の補助光源を本発光時の発光量で発光状態にして被写体を撮像した本発光画像を取得し、本発光画像に対してホワイトバランス調整値によるホワイトバランス調整を行うことが好ましい。
　本発明のホワイトバランス調整装置は、非発光画像取得部と、選択入力部と、優先補助光発光画像取得部と、優先補助光照射エリア特定部と、ホワイトバランス調整値算出部と、ホワイトバランス調整部とを備える。非発光画像取得部は、複数の補助光源を非発光状態にして被写体を撮像し非発光画像を取得する。選択入力部は、各補助光源のうちホワイトバランス調整の対象とする優先補助光源の選択指示を入力する。優先補助光発光画像取得部は、優先補助光源を発光状態にして被写体を撮像し優先補助光源の発光画像を取得する。優先補助光照射エリア特定部は、非発光画像及び発光画像を複数の分割エリアに分割し、優先補助光源が発する優先補助光の発光状態と非発光状態との各分割エリアの信号値の差分に基づき、優先補助光源による補助光が当たっている優先補助光照射エリアを特定する。ホワイトバランス調整値算出部は、特定された優先補助光照射エリアの信号値に基づきホワイトバランス調整値を算出する。ホワイトバランス調整部はホワイトバランス調整値による調整を行う。
　本発明のホワイトバランス調整装置の作動方法は、非発光画像取得ステップと、発光画像取得ステップと、補助光照射エリア特定ステップと、優先補助光源選択ステップと、ホワイトバランス調整値算出ステップと、ホワイトバランス調整ステップとを有する。また、本発明のホワイトバランス調整装置の作動プログラムも、上記各ステップをコンピュータに実行させることによりコンピュータをホワイトバランス調整装置として機能させる。非発光画像取得ステップは、複数の補助光源を非発光状態にして被写体を撮像し非発光画像を取得する。発光画像取得ステップは、複数の補助光源を個別発光状態にして被写体をそれぞれ撮像し各補助光源の発光画像を取得する。補助光照射エリア特定ステップは、非発光画像及び各発光画像を複数の分割エリアに分割し、個別発光状態と非発光状態との各分割エリアの信号値の差分に基づき、各補助光源による補助光が当たっている補助光照射エリアを特定する。優先補助光源選択ステップは、各補助光源のうち、ホワイトバランス調整の対象とする優先補助光源を選択する。ホワイトバランス調整値算出ステップは、選択された優先補助光源による補助光が当たっている優先補助光照射エリアの信号値に基づき、ホワイトバランス調整値の算出を行う。ホワイトバランス調整ステップは、ホワイトバランス調整値によるホワイトバランス調整を行う。
　本発明によれば、複数の補助光源による撮影時に、主要被写体が適切な色味になるホワイトバランス調整装置及びその作動方法並びに作動プログラムを提供することができる。
本発明のホワイトバランス調整装置の一実施形態が適用された撮影システムの全体を示す斜視図であり、カメラのフラッシュ発光部を点灯してプリ発光画像を撮影している状態を示している。 カメラ及びフラッシュ装置の機能ブロック図である。 主制御部及びデジタル信号処理部における機能ブロック図である。 複数のフラッシュ装置を用いた撮影におけるＷＢ調整を示すフローチャートである。 フラッシュ光照射エリアの特定を示す説明図である。 優先フラッシュ装置の選択を示す説明図である。 第２フラッシュ装置を点灯させてプリ発光画像を撮影している状態を示す全体の斜視図である。 第２実施形態における特殊効果フィルタを有するフラッシュ装置を示す側面図である。 第２実施形態の優先フラッシュ装置選択部を示す機能ブロック図である。 第２実施形態におけるＷＢ調整を示すフローチャートである。 Ｒ／Ｇ、Ｂ／Ｇを座標軸にもつ色空間における環境光の光源色情報、フラッシュ光の光源色情報、差ベクトルを示す線図である。 Ｒ／Ｇ、Ｂ／Ｇを座標軸にもつ色空間における、各フラッシュ光照射エリアの非発光時の信号値平均、特殊効果フィルタが無い状態のフラッシュ光を照射した時の信号値平均予測値を示す線図である。 Ｒ／Ｇ、Ｂ／Ｇを座標軸にもつ色空間の判定範囲Ｈ１への、プリ発光時の信号値平均の有無に基づき、特殊効果フィルタが装着されたフラッシュ装置か否かの判定を示す線図である。 変形例１における判定範囲Ｈ２を示す線図である。 変形例２における判定範囲Ｈ３を示す線図である。 変形例３における判定範囲Ｈ４を示す線図である。 変形例４における判定範囲Ｈ５を示す線図である。 変形例５における判定範囲Ｈ６を示す線図である。 第３実施形態における優先フラッシュ装置選択部を示す機能ブロック図である。 第３実施形態におけるＷＢ調整を示すフローチャートである。 第４実施形態における優先フラッシュ装置選択部を示す機能ブロック図である。 第４実施形態におけるＷＢ調整を示すフローチャートである。 第４実施形態における優先フラッシュ装置の選択入力ステップの優先フラッシュ装置特定画面を示す正面図である。 第４実施形態における優先フラッシュ装置決定ステップの優先フラッシュ装置決定画面を示す正面図である。
　［第１実施形態］
　図１は、本発明のホワイトバランス（以下、ＷＢと言う）調整装置の一実施形態が適用された撮影システム１０の全体構成図である。撮影システム１０は、補助光源として複数のフラッシュ装置１２，１３を用い、例えば撮影スタジオ９において使用される。撮影システム１０は、デジタルカメラ（以下、単にカメラという）１１と、フラッシュ装置１２，１３とを有している。カメラ１１は、フラッシュ発光部１４（図２参照）を含むフラッシュ装置１２を内蔵している。内蔵のフラッシュ装置１２は、撮影システム１０において第１補助光源として機能する。フラッシュ装置１３はカメラ１１とは別に設けられており、撮影システム１０において、第２補助光源として機能する。
　撮影システム１０において、複数照明撮影を行う場合には、カメラ１１が、第１補助光源（第１フラッシュ装置１２），第２補助光源（第２フラッシュ装置１３）に対して制御信号を送信することにより点灯タイミングを制御する。第１フラッシュ装置１２は被写体５のうちの主要被写体６に向けてフラッシュを照射し、第２フラッシュ装置１３は、被写体５のうちの、主要被写体６の背後に配される背景幕７にフラッシュを照射する。なお、本実施形態では、第１補助光源として、カメラ１１に内蔵されたフラッシュ装置１２を用いているが、これは第２補助光源と同じように、カメラ１１とは別体で設けたフラッシュ装置や、カメラ１１に着脱自在に装着されて一体化したフラッシュ装置でもよい。
　図２に示すように、カメラ１１及びフラッシュ装置１３は、無線通信Ｉ／Ｆ（interface）１５，１６を備え、カメラ１１とフラッシュ装置１３の間で無線通信が可能になっている。なお、無線通信に代えて、有線通信であってもよい。
　フラッシュ装置１３は、無線通信Ｉ／Ｆ１６の他にフラッシュ制御部１７、フラッシュ発光部１８を備えている。フラッシュ装置１３は、カメラ１１から送られる光量調節信号を無線通信Ｉ／Ｆ１６にて受ける。フラッシュ制御部１７はフラッシュ発光部１８を制御し、光量調節信号に応じてフラッシュ発光部１８を点灯させる。フラッシュ発光部１８の点灯は、発光時間がマイクロ秒のオーダの閃光発光である。カメラ１１のフラッシュ装置１２のフラッシュ発光部１４も同じである。
　カメラ１１は、レンズ鏡筒２１、操作スイッチ２２、背面表示部２３等を備える。レンズ鏡筒２１は、カメラ本体１１ａ（図１参照）の前面に設けられており、撮影光学系２５や絞り２６を保持している。
　操作スイッチ２２は、カメラ本体１１ａの上部や背面等に複数設けられる。操作スイッチ２２は、電源のＯＮ，ＯＦＦや、レリーズ操作、各種設定のための入力操作を受け付ける。背面表示部２３は、カメラ本体１１ａの背面に設けられており、各種撮影モードにて取得された画像やスルー画像、及び各種設定を行うためのメニュー画面を表示する。この背面表示部２３の表面には、タッチパネル２４が設けられている。タッチパネル２４は、タッチパネル制御部３８によって制御され、タッチ操作で入力される指示信号を主制御部２９に送信する。
　撮影光学系２５及び絞り２６の背後には、撮影光学系２５の光軸ＬＡに沿って、シャッタ２７、撮像素子２８が順に配される。撮像素子２８は、例えば、ＲＧＢ(Red，Green，Blue)方式のカラーフィルタを有する単板カラー撮像方式のＣＭＯＳ(Complementary metal-oxide-semiconductor)型イメージセンサである。撮像素子２８は、撮影光学系２５によって撮像面に結像された被写体像を撮像して撮像信号を出力する。
　撮像素子２８は、ノイズ除去回路、オートゲインコントローラ、Ａ／Ｄ（Analog/Digital）変換回路等の信号処理回路（いずれも図示せず）を備える。ノイズ除去回路は、撮像信号にノイズ除去処理を施す。オートゲインコントローラは、撮像信号のレベルを最適な値に増幅する。Ａ／Ｄ変換回路は、撮像信号をデジタル信号に変換して撮像素子２８から出力する。
　撮像素子２８、主制御部２９、及びフラッシュ制御部３０は、バス３３に接続されている。フラッシュ制御部３０はフラッシュ発光部１４とともに、カメラ１１の内蔵のフラッシュ装置１２を構成する。この他にバス３３には、メモリ制御部３４、デジタル信号処理部３５、メディア制御部３６、背面表示制御部３７、タッチパネル制御部３８が接続されている。
　メモリ制御部３４には、ＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)等の一時記憶用のメモリ３９が接続されている。メモリ制御部３４は、撮像素子２８から出力されたデジタルの撮像信号である画像データをメモリ３９に入力して記憶させる。また、メモリ制御部３４は、メモリ３９に記憶された画像データを、デジタル信号処理部３５に出力する。
　デジタル信号処理部３５は、メモリ３９から入力された画像データに対して、マトリクス演算、デモザイク処理、ＷＢ調整、γ補正、輝度・色差変換、リサイズ処理、圧縮処理などの公知の画像処理を施す。
　メディア制御部３６は、記録メディア４０への画像データの記録及び読み出しを制御する。記録メディア４０は、例えば、フラッシュメモリを内蔵したメモリカードである。メディア制御部３６は、デジタル信号処理部３５によって圧縮された画像データを所定のファイル形式で記録メディア４０に記録する。
　背面表示制御部３７は、背面表示部２３への画像表示を制御する。具体的には、背面表示制御部３７は、デジタル信号処理部３５により生成された画像データに基づいて、ＮＴＳＣ（National Television System Committee）規格等に準拠した映像信号を生成して背面表示部２３に出力する。
　主制御部２９は、カメラ１１の撮影処理を制御する。具体的には、レリーズ操作に応じてシャッタ駆動部４１を介してシャッタ２７を制御する。シャッタ２７の動作に同期して撮像素子２８の駆動を制御する。カメラ１１は、種々の撮影モードの設定が可能である。主制御部２９は、設定された撮影モードに応じて、絞り２６の絞り値、シャッタ２７の露光時間等を制御し、種々の撮影モードにおける撮影を可能にする。
　本実施形態におけるカメラ１１では、通常の各種撮影モードの他に、複数照明撮影モードを備えている。複数照明撮影モードは、複数の補助光源を用いた撮影時に選択される。この複数照明撮影モードでは、ＷＢ調整で優先する補助光源である優先フラッシュ装置を特定し、この特定した優先フラッシュ装置のフラッシュ光である優先フラッシュ光（優先補助光）に基づきＷＢ調整値を算出する。そして、算出したＷＢ調整値を用いて、本発光時の画像である本発光画像の撮影により得られた本発光信号値に対してＷＢ調整を行う。なお、ＷＢ調整値の算出は、優先フラッシュ装置の特定後や本発光信号の取得後、その他のいずれのタイミングで行ってもよい。
　優先フラッシュ装置を特定するために、主制御部２９は、優先フラッシュ装置選択機能を有している。複数照明撮影モードが選択されると、本発光画像を撮影する前に優先フラッシュ装置選択処理が行われる。本実施形態においては、優先フラッシュ装置選択処理では、撮像素子２８の撮影範囲内における２つのフラッシュ装置１２，１３から優先すべき１つのフラッシュ装置を選択する。
　図３に示すように、複数照明撮影モードにおいて、主制御部２９は、照明制御部５２、画像取得部５３、補助光照射エリア特定部としてのフラッシュ光照射エリア特定部（補助光照射エリア特定部）５４、及び優先補助光源選択部としての優先フラッシュ装置選択部５５として機能する。これら各部の構築は、カメラ１１の不揮発性メモリ（図示せず）に記憶された作動プログラム４５を起動することにより行われる。同様にして、デジタル信号処理部３５はＷＢ調整部５６として機能し、ＷＢ調整値に基づきＷＢ調整を行う。
　画像取得部５３は、非発光画像取得部５３ａと発光画像取得部５３ｂとを有する。優先フラッシュ装置選択部５５は、顔エリア検出部５７と優先フラッシュ装置決定部５８とを有する。また、ＷＢ調整部５６は、ＷＢ調整値算出部５９を有する。
　図４は、複数照明撮影モードにおけるＷＢ調整を示すフローチャートである。先ず、非発光信号値取得ステップＳ１１では、撮像素子２８及び画像取得部５３の非発光画像取得部５３ａにより、各フラッシュ装置１２，１３が非発光の状態で被写体５（図１参照）の画像である非発光画像６０（図５（２）参照）が撮像される。この非発光画像６０に基づき非発光信号値が取得される。
　また、プリ発光信号値取得ステップＳ１２では、撮像素子２８及び発光画像取得部５３ｂにより、各フラッシュ装置１２，１３を個別に発光させた状態（個別発光状態、図１及び図７参照）で被写体５の画像であるプリ発光画像６１，６２（図５（１）参照）が撮像され、これらプリ発光画像６１，６２に基づき発光信号値が取得される。この場合には、照明制御部５２は、フラッシュ制御部３０や無線通信Ｉ／Ｆ１５を介して、フラッシュ装置１２，１３の点灯タイミング及び光量を制御する。発光画像取得部５３ｂは、フラッシュ装置１２，１３を選択的に点灯させて、各フラッシュ光を個別に照射した被写体の画像であるプリ発光画像６１，６２を取得する。
　図１は、スタジオ撮影において第１フラッシュ装置１２を点灯させた状態を示している。第１フラッシュ装置１２は、背景幕７の前に立っている主要被写体６に対してフラッシュを照射するように設定されている。この状態で、第１フラッシュ光発光時のプリ発光画像である第１プリ発光画像６１（図５（１）参照）が撮影される。
　図７は、第２フラッシュ装置１３を点灯させた状態を示している。第２フラッシュ装置１３は、主要被写体６の背面にある背景幕７に対して例えば右側上方から第２フラッシュ光が照射するように設定されている。この状態で、第２フラッシュ光発光時のプリ発光画像である第２プリ発光画像６２（図５（１）参照）が撮像される。
　図４において、フラッシュ光照射エリア特定ステップＳ１３では、フラッシュ光照射エリア特定部５４により、各フラッシュ装置１２，１３からの各フラッシュ光が当たっているフラッシュ光照射エリアを特定する。
　図５は、フラッシュ光照射エリア特定ステップＳ１３におけるフラッシュ光照射エリア特定部５４のフラッシュ光照射エリア特定処理を示す説明図である。フラッシュ光照射エリア特定処理では、非発光画像６０とプリ発光画像６１，６２とを用いてフラッシュ光照射エリア特定画像６３，６４が作成される。
　先ず、非発光画像６０とプリ発光画像６１，６２とを、例えば８×８の矩形状の分割エリア６５に分割する。分割エリア６５は、非発光画像６０とプリ発光画像６１，６２とを同じ区画で分割したものである。区画数や区画の形状は図示例のものに限られず、適宜変更してよい。次に、第１プリ発光画像６１から求めた各分割エリア６５の輝度値Ｙａから、非発光画像６０から求めた各分割エリア６５の輝度値Ｙ０を引いて、分割エリア６５毎に差分を求める。この差分が他の分割エリア６５のものよりも大きい場合に、この差分が大きい分割エリア６５の集合を第１フラッシュ光照射エリア６７として特定する。
　非発光画像６０と第１プリ発光画像６１の取得に際しては、各画像６０，６１の撮影時に露出を揃えて（露出を同じにして）撮影する。あるいは、露出を揃える替わりに、各画像６０，６１の撮影時の露出差分に基づき非発光画像６０及び第１プリ発光画像６１の一方の輝度値に対して他方の輝度値を補正し、信号処理により露出差分を補正してもよい。
　同様にして、第２フラッシュ装置１３の第２プリ発光画像６２から求めた各分割エリア６５の輝度値Ｙｂと、非発光画像６０から求めた各分割エリア６５の輝度値Ｙ０とに基づき、分割エリア６５毎に差分を求め、この差分が他の分割エリア６５のものよりも大きい分割エリア６５の集合を第２フラッシュ光照射エリア６８として特定する。この場合にも、両画像６０，６２の取得に際して露出を揃える事前処理、又は両画像６０，６２の撮影時の露出差分に基づき両画像６０，６２の一方の輝度値に対して他方の輝度値を補正する事後処理を行う。
　輝度値Ｙａ、Ｙｂ、Ｙ０は、例えば、各分割エリア内の各画素の信号値Ｒ，Ｇ，Ｂを用いて、例えば次式の輝度変換式により各画素の輝度値を算出する。
Ｙ＝0.3Ｒ＋0.6Ｇ＋0.1Ｂ
　次に、上記輝度変換式で算出した各分割エリア内の各画素の輝度値を平均した輝度値平均を算出する。なお、各分割エリアの明るさを代表し得る値であれば良く、用いる値は上記の輝度値に限定されることはなく、例えばＨＳＶ色空間の明度Ｖや、Ｌａｂ色空間の明度Ｌ等を用いてもよい。
　第１プリ発光画像６１では、中央に主要被写体６が位置し、この主要被写体６に第１フラッシュ装置１２からのフラッシュ光（第１フラッシュ光）が主に当たる。このため、フラッシュ光照射エリア特定画像６３においてハッチングで示すように、第１フラッシュ光によるフラッシュ光照射エリア（第１フラッシュ光照射エリア）６７が特定される。
　第２フラッシュ装置１３の第２プリ発光画像６２においても、第１フラッシュ光照射エリア６７の特定と同様にして、第２フラッシュ装置１３によるフラッシュ光照射エリア（第２フラッシュ光照射エリア）６８が特定される。第２プリ発光画像６２では、図７で示したように、背景幕７に第２フラッシュ光が当たるため、フラッシュ光照射エリア特定画像６４においてハッチングで示すように、第２フラッシュ光照射エリア６８が特定される。
　図４において、優先フラッシュ装置選択ステップＳ１４では、優先フラッシュ装置選択部５５により、各フラッシュ装置１２，１３のうち、ＷＢ調整の対象とする優先フラッシュ装置を選択する。優先フラッシュ装置選択ステップＳ１４は、顔エリア検出部５７による顔エリア検出ステップＳ１５と、優先フラッシュ装置決定部５８による優先フラッシュ装置決定ステップＳ１６とを含む。
　図６は、優先フラッシュ装置選択ステップＳ１４における優先フラッシュ装置選択部５５の優先フラッシュ装置選択処理を示す説明図である。先ず、図６（５）に示すように、顔エリア検出部５７が、第１プリ発光画像６１から人物の顔エリア７１を検出する（顔エリア検出ステップＳ１５）。顔エリア７１の検出では、フラッシュ光照射エリア６７，６８を求める際に用いた分割エリア６５よりもサイズの小さい分割エリア（分割数を増やして分割エリア６５よりも細かい分割エリア）を用いることが好ましい。なお、非発光画像６０や第２プリ発光画像６２から、顔エリア７１を検出してもよい。
　優先フラッシュ装置決定部５８では、顔エリア検出部５７により検出された顔エリア７１がいずれのフラッシュ光照射エリア６７，６８にあるかを特定し、顔エリア７１があるフラッシュ光照射エリアを優先フラッシュ光照射エリアと決定する。より具体的には、検出した顔エリア７１が第１フラッシュ光照射エリア６７にあるのか、第２フラッシュ光照射エリア６８にあるのかを、例えば画像に対して相互の位置を表す座標から求める。そして、第１フラッシュ光照射エリア６７に顔エリア７１がある場合には、第１フラッシュ光の発光元である第１フラッシュ装置１２をＷＢ調整で優先すべきフラッシュ装置として自動的に特定する（優先フラッシュ装置決定ステップＳ１６）。
　顔エリア７１は、人物の肌色を示す領域に基づき検出する。この他に、顔エリア７１の検出は、目、鼻、口等の形状認識による方法や、肌色領域と形状認識との組み合わせによる方法、その他の各種顔認識方法を用いてもよい。
　本実施形態では、顔エリア７１を自動検出して優先フラッシュ装置を特定することができる。
　図６（４）に示される被写体画像６９では、各フラッシュ光照射エリア６７，６８の輝度値平均に応じて、例えば輝度値が高いほどハッチング密度を高くして表示している。この表示により、被写体画像６９は、主要被写体６が含まれる第１フラッシュ光照射エリア６７に対して、背景幕７が主である第２フラッシュ光照射エリア６８の輝度が高いことが判る。このように第２フラッシュ光照射エリア６８の輝度が高い場合には、従来の複数照明撮影モードにおける自動ＷＢ処理では、輝度が高い第２フラッシュ光照射エリア６８の画素に基づきＷＢ調整が行われてしまう。従って、背景幕７の画素に基づきＷＢ調整が行われるため、主要被写体６が本来の色味からずれてしまう。
　これに対して、第１実施形態では、優先フラッシュ装置決定ステップＳ１６において、図６（５）に示すように、主要被写体６の自動検出により、第１フラッシュ装置１２が優先フラッシュ装置として選択される。そして、主要被写体６を含む第１フラッシュ光照射エリア６７に基づきＷＢ調整値が求められる。このＷＢ調整値を用いてＷＢ調整が行われることにより、主要被写体６を適正な色味にすることができる。
　デジタル信号処理部３５のＷＢ調整部５６では、ＷＢ処理を行う。ＷＢ調整部５６のＷＢ調整値算出部５９は、図４に示すＷＢ調整値算出ステップＳ１７を実行して、ＷＢ調整値を求める。
　ＷＢ調整値算出ステップＳ１７は、以下のようにして実行される。先ず、優先フラッシュ光のみを発光した時のｉ×ｊ個のブロック（分割エリア６５、本例ではｉ，ｊ＝１～８）に分割された輝度値の分布をＹpre(i,j)、環境光のみであるフラッシュ光非発光時の輝度値の分布をＹ0(i,j)とすると、優先フラッシュ光によって増加した輝度値の分布ΔＹpre(i,j)は次式で求められる。
ΔＹpre(i,j) = Ｙpre(i,j) － Ｙ0(i,j)
　実際に撮影を行う本発光時には、フラッシュ光照射エリアを求めるための個別発光であるプリ発光時のＫ倍の発光量で発光して、撮影が行われる。なお、倍率Ｋは、カメラの調光結果やユーザの設定により決定される。この場合に、本発光時に優先フラッシュ光のみによって増加すると予想される輝度値の分布ΔＹexp(i,j)は次式で求められる。
ΔＹexp(i,j) = K×ΔＹpre(i,j)
　プリ発光時のＫ倍の発光量の本発光時の優先フラッシュ光のみが当たっていると仮定した場合に、予想される輝度値の分布（本発光時優先補助光信号予測値）Ｙexp(i,j)は次式で求められる。なお、実際は他のフラッシュも当たっているが、影響を与えることは少ないとして除外する。
Ｙexp(i,j) = ΔＹexp(i,j) + Ｙ0(i,j) = K×ΔＹpre (i,j)+ Ｙ0(i,j)
　輝度値の分布Ｙexp(i,j)、Ｙ0(i,j)それぞれで、優先フラッシュ光が当たっているエリア内の値を、平均などの処理で算出した代表値をＹexp#type、Ｙ0#typeとすると、優先フラッシュ光が当たっているエリアにおける輝度のうち、フラッシュ光の割合を示すαは次式で求められる。
α ＝ (Ｙexp#type － Ｙ0#type) ／ Ｙexp#type
　なお、Ｙ0#typeは、優先補助光照射エリアの非発光時の信号値に相当する。
　環境光のＷＢ調整値をＧ0、カメラ内に記録されているフラッシュ光のみを発光した時のＷＢ調整値をＧflとすると、求めるＷＢ調整値Ｇwbは次式で求められる。
Ｇwb = (Ｇfl － Ｇ0)×α ＋ Ｇ0
　本発光時は、第１フラッシュ装置１２、第２フラッシュ装置１３を両方発光させた状態で被写体５を撮像することにより、本発光画像を取得する。ＷＢ調整部５６では、図４に示すようにＷＢ調整ステップＳ１８を行い、本発光画像の信号値Ｒ，Ｇ，Ｂに対してＷＢ調整値Ｇwbを乗じてＷＢを調整する。これにより、光源色がキャンセルされる。なお、ＷＢ調整値Ｇwbは上記方法に限られず、種々の方法で求めてよい。
　本実施形態では、主要被写体６に基づき優先フラッシュ装置を自動的に決定し、優先フラッシュ装置に基づきＷＢ調整が行われるため、複数のフラッシュ光による撮影時に、主要被写体６を適切な色味にすることができる。
　上記実施形態では、優先フラッシュ装置が１つである場合を例にとって説明したが、優先フラッシュ装置であると判定されるフラッシュ装置が複数ある場合には、以下のようにして、ＷＢ調整値Ｇwbを求める。
　例えば優先フラッシュ装置が２つある場合、先ず、第１優先フラッシュ光及び第２優先フラッシュ光をそれぞれ個別に発光させた時のｉ×ｊ個のブロックに分割された輝度値の分布をそれぞれYpre1(i,j)、Ypre2(i,j)、非発光時(=環境光のみ)の輝度値の分布をY0(i,j)とすると、第１、第２優先フラッシュ光によって増加した輝度値の分布ΔYpre1(i,j)、ΔYpre2(i,j)はそれぞれ次式で求められる。
ΔYpre1(i,j) ＝Ypre1(i,j) － Y0(i,j)
ΔYpre2(i,j) ＝ Ypre2(i,j) － Y0(i,j)
　本発光時に第１優先フラッシュ光及び第２優先フラッシュ光のみによって増加すると予想される輝度値の分布ΔYexp(i,j)は、次式のようになる。なお、K1は第１優先フラッシュ光の（本発光時の発光量）／（プリ発光時の発光量）から求められ、K2は第２優先フラッシュ光の（本発光時の発光量）／（プリ発光時の発光量）から求められる。
ΔYexp(i,j) = K1×ΔYpre1(i,j)+ K2×ΔYpre2(i,j)
　求めた増加分の輝度値の分布ΔYexp(i,j)に基づき、以下は優先フラッシュ装置が１つの場合と同様にして、予想される輝度値の分布Ｙexp(i,j)、Ｙ0(i,j)、優先フラッシュ光が当たっているエリアの代表値をＹexp#type、Ｙ0#type、優先フラッシュ光照射エリアにおける輝度のうち、優先フラッシュ光の割合を示すα等を算出して、最終的にＷＢ調整値Ｇwbが求められる。このＷＢ調整値Ｇwbに基づき、上記と同じようにしてＷＢ調整が行われる。
　顔エリア検出部５７で非発光画像又は発光画像から顔エリアを検出し、顔エリアがあるフラッシュ光照射エリアに対応するフラッシュ装置を優先フラッシュ装置と決定するので、主要被写体６である人物の顔を適切な色味にすることができる。
　［第２実施形態］
　図８に示すように、スタジオ撮影では、特殊効果フィルタ８０をフラッシュ装置１３の照射面に装着して、背景に色や絵柄を投影して撮影することがある。スタジオ撮影では、季節や行事などに応じて記念撮影する場合が多く、各季節や行事などに応じた背景色となるように特殊効果フィルタ８０が用いられる。例えば、４月の入学に際して入学記念の撮影をする場合には、満開の桜をイメージするように、背景をピンクにする特殊効果フィルタ８０や、桜の花びらが散っているような特殊効果フィルタ８０が用いられる。このような特殊効果フィルタ８０によるスタジオ撮影における優先フラッシュ装置は、この背景用のフラッシュ装置を除くことにより、自動的に選択することができる。なお、以下の各実施形態において、第１実施形態と同一構成部材には同一符号を付して重複した説明を省略している。
　図９に示すように、第２実施形態では、優先フラッシュ装置選択部８１は、環境光の座標を算出する環境光座標算出部８２と、フラッシュ光記録部８３と、差ベクトル算出部８４と、フラッシュ光照射エリアの非発光時の信号値の平均を算出する非発光時信号値平均算出部８５と、フラッシュ光照射エリアのプリ発光時の信号値の平均を算出するプリ発光時信号値平均算出部８６と、信号値平均予測値算出部８７と、特殊効果用途フラッシュ光判別部８８とを有する。優先フラッシュ装置選択部８１は、特殊効果フィルタ８０によるフラッシュ光であることを識別し、この特殊効果フィルタ８０を用いたフラッシュ光を発したフラッシュ装置を優先フラッシュ装置から除外し、残ったフラッシュ装置を優先フラッシュ装置であると選択する。
　図１０は第２実施形態における処理手順を示すフローチャートである。なお、非発光信号値取得ステップＳ１１、プリ発光信号値取得ステップＳ１２、フラッシュ光照射エリア特定ステップＳ１３、ＷＢ調整値算出ステップＳ１７、及びＷＢ調整ステップＳ１８は、上記第１実施形態と同じ処理であり、優先フラッシュ装置選択ステップＳ２１のみが異なっている。優先フラッシュ装置選択ステップＳ２１は、画像情報の判定により優先フラッシュ装置を決定する優先フラッシュ装置決定ステップＳ２２を含む。
　優先フラッシュ装置決定ステップＳ２２では、先ず、環境光座標算出部８２により、図１１に示すように、例えばＲ／Ｇ、Ｂ／Ｇを座標軸にもつ色空間における環境光の光源色情報を表すＡ点の光源座標（R0/G0，B0/G0）を、非発光画像の信号値に基づき算出する。
　次に、同じ色空間におけるフラッシュ光の光源色情報を表すＢ点の光源座標（Rf/Gf，Bf/Gf）を予め算出しておき、フラッシュ光記録部８３により、不揮発性メモリ等に記憶しておく。次に、差ベクトル算出部８４により、Ａ点の座標（R0/G0，B0/G0）及びＢ点の座標（Rf/Gf，Bf/Gf）に基づき、その差であるベクトルＣを算出する。ベクトルＣは信号値平均予測値算出部８７に出力される。
　次に、非発光時信号値平均算出部８５により、図１２に示すように、各フラッシュ光照射エリアの非発光時の信号値平均Ｒ１，Ｇ１，Ｂ１（補助光照射エリアの非発光時の画素情報に相当）を算出し、色空間におけるＤ点の座標（R1/G1，B1/G1）を算出する。Ｄ点の座標（R1/G1，B1/G1）は、信号値平均予測値算出部８７及び特殊効果用途フラッシュ光判別部８８に出力される。
　次に、信号値平均予測値算出部８７により、同じフラッシュ光照射エリアに、特殊効果フィルタ８０が無く環境光も無い状態でフラッシュ光のみを照射した時の信号値平均の予測値Ｒ２，Ｇ２，Ｂ２を示す、色空間におけるＥ点の座標（R2/G2，B2/G2）を次式から算出する。ここで、予測値Ｒ２，Ｇ２，Ｂ２は、補助光源発光時の信号値平均予測値に相当する。
（R2/G2，B2/G2）＝（R1/G1，B1/G1）＋Ｃ
　次に、プリ発光時信号値平均算出部８６により、プリ発光画像のフラッシュ光照射エリアにおける信号値平均Ｒpre，Ｇpre，Ｂpre（発光画像に基づく画素情報に相当）を求め、図１３に示すように、このプリ発光時の信号値平均Rpre，Ｇpre，Ｂpreを示す、色空間におけるＦ点の座標（Rpre/Gpre，Bpre/Gpre）を算出する。Ｆ点の座標（Rpre/Gpre，Bpre/Gpre）は特殊効果用途フラッシュ光判別部８８に出力される。
　次に、特殊効果用途フラッシュ光判別部８８により、Ｆ点の座標（Rpre/Gpre，Bpre/Gpre）に基づき特殊効果フィルタ８０を有するフラッシュ光か否かを判定する。非発光時信号値平均座標（R1/G1，B1/G1）で示されるＤ点と、フラッシュ発光時信号値平均予測値座標（R2/G2，B2/G2）で示されるＥ点とを対角線の両端とする矩形の判定範囲Ｈ１に、Ｆ点の座標（Rpre/Gpre，Bpre/Gpre）が存在した場合、特殊効果用途フラッシュ光判別部８８は、特殊効果フィルタ８０が無い通常のフラッシュ光（色温度：５０００～６０００Ｋ）であると判定する。逆に、判定範囲Ｈ１にＦ点の座標（Rpre/Gpre，Bpre/Gpre）が無い場合には、特殊効果フィルタ８０が装着されたフラッシュ装置であると判定する。従って、特殊効果フィルタ８０が装着されたフラッシュ装置である場合には、このフラッシュ装置は優先フラッシュ装置からは除外される。これにより、残ったフラッシュ装置が優先フラッシュ装置であると判定される。
　なお、優先フラッシュ装置であると判定されるフラッシュ装置が複数ある場合には、例えばフラッシュ光照射エリアの輝度値平均が高い方のフラッシュ装置を優先フラッシュ装置と決定する。また、これに代えて、ユーザの光量設定比率が大きい方を優先フラッシュ装置と決定する。更には、上記のようにいずれか一方を選ぶ代わりに、複数のフラッシュ装置を優先フラッシュ装置と決定してもよい。
　特殊効果フィルタ８０を用いたフラッシュ光を発したフラッシュ装置を優先フラッシュ装置から除外し、残ったフラッシュ装置を優先フラッシュ装置であると選択するので、背景の照明に使われることが多い特殊効果フィルタ８０を用いたフラッシュ光を発したフラッシュ装置が優先フラッシュ装置から除外され、人物等の主要被写体６にフラッシュ光を発するフラッシュ装置が優先フラッシュ装置として選択される。したがって、主要被写体６を適切な色味とすることができる。
　［変形例１］
　上記第２実施形態において、図１３に示すように矩形の判定範囲Ｈ１を用いたが、図１４に示す変形例１では、Ｄ点とＥ点とを結ぶ線分に直交する方向に幅ｈで規定される矩形の判定範囲Ｈ２を用いている。幅ｈは例えば線分ＤＥの長さの３０％の長さを用いる。具体的には幅ｈはＷＢ性能が最も良くなる値に設定されている。
　［変形例２］
　また、図１５に示す変形例２では、Ｄ点とＥ点とを結ぶ線分に対してＤ点を基準にして所定角度θで振り分けたセクタ状（扇状）の判定範囲Ｈ３を用いている。角度θは、ＷＢ性能が最も良くなる値に設定されている。
　［変形例３～５］
　図１３に示す判定範囲Ｈ１に対して、図１６に示す変形例３では、ベクトルＣの長さに縮小率β（β＜１）を乗じて、ベクトルＣよりも長さを短くした判定範囲Ｈ４を用いる。同様にして、図１４に示す変形例１の判定範囲Ｈ２に対して、図１７に示す変形例４では、線分ＤＥの長さに縮小率βを乗じて、線分ＤＥよりも長さを短くした判定範囲Ｈ５を用いる。同様にして、図１５に示す変形例２の判定範囲Ｈ３に対して、図１８に示す変形例５では、線分ＤＥの長さに縮小率βを乗じて、線分ＤＥよりも長さを短くしたセクタ状の判定範囲Ｈ６を用いる。
　縮小率βは次式により求める。
β＝（Ｙpre－Ｙ0）／Ｙpre
なお、Ｙpreはフラッシュ光照射エリアのプリ発光時の輝度値平均であり、Ｙ0は、同じくフラッシュ光照射エリアの非発光時の輝度値平均である。なお、βに例えば１．２を乗じた値β１（＝β×１．２）を用いて縮小率βに余裕を持たせることが好ましい。
　上記変形例１～５のように、図１３に示す判定範囲Ｈ１よりも、判定範囲Ｈ２～Ｈ６を狭めることにより、特殊効果フィルタ８０が装着されたフラッシュ装置であるか否かの判定をより厳しくすることができる。
　なお、第２実施形態では、非発光時信号値平均及びフラッシュ光発光時の信号値平均予測値を両端として含む範囲内に発光時信号値平均がある場合に優先フラッシュ装置と判定しているが、この判定方法に限定されない。例えば、予め記憶しているフラッシュ光による画素情報に基づいて優先フラッシュ装置を決定してもよい。
　［第３実施形態］
　図１９に示すように、第３実施形態では、優先補助光源選択部としての優先フラッシュ装置選択部９０は、空間周波数算出部９１と優先フラッシュ装置決定部９２とを有し、空間周波数算出部９１で算出した空間周波数に基づき、優先フラッシュ装置決定部９２で背景を照射するフラッシュ装置か否かを判定する。
　図２０は第３実施形態における処理手順を示すフローチャートである。なお、非発光信号値取得ステップＳ１１、プリ発光信号値取得ステップＳ１２、フラッシュ光照射エリア特定ステップＳ１３、ＷＢ調整値算出ステップＳ１７、及びＷＢ調整ステップＳ１８は、上記第１実施形態と同じ処理であり、優先フラッシュ装置選択ステップＳ３１のみが異なっている。
　優先フラッシュ装置選択ステップＳ３１では、先ず、空間周波数算出部９１により、空間周波数算出ステップＳ３２が行われる。空間周波数算出ステップＳ３２では、非発光画像６０における各フラッシュ装置１２，１３によるフラッシュ光照射エリア６７，６８の空間周波数を算出する。次に、優先フラッシュ装置決定部９２により、優先フラッシュ装置決定ステップＳ３３が行われる。優先フラッシュ装置決定ステップＳ３３では、算出した各フラッシュ装置１２，１３によるフラッシュ光照射エリア６７，６８の空間周波数が一定値以下の場合に、一定値以下の空間周波数を有するフラッシュ光照射エリアに対応するフラッシュ装置を優先フラッシュ装置の選択対象から除外する。背景幕７は無地のスクリーンから構成されていることが多く、空間周波数が一定値以下となることが多い。従って、本例では背景幕７に当たるフラッシュ光照射エリア６８に対応するフラッシュ装置１３が除外され、この除外により残るフラッシュ光照射エリア６７に対応するフラッシュ装置１２を優先フラッシュ装置と決定する。これにより、フラッシュ装置１２が優先フラッシュ装置として選択される。なお、除外により残されたフラッシュ装置が複数ある場合には、フラッシュ光照射エリアにおける輝度値平均が高いフラッシュ装置が優先フラッシュ装置として決定される。また、優先フラッシュ装置を１つだけ決定することに替えて、残された複数のフラッシュ装置の全てを優先フラッシュ装置として決定してもよい。
　空間周波数が一定値以下のフラッシュ光照射エリアに対応するフラッシュ装置を優先フラッシュ装置の選択対象から除外し、除外により残るフラッシュ装置を優先フラッシュ装置と決定するので、背景幕７を照射するフラッシュ装置が優先フラッシュ装置の選択対象から確実に除外され、主要被写体６を照射するフラッシュ装置が優先フラッシュ装置として選択される。したがって、主要被写体６を適切な色味とすることができる。
　［第４実施形態］
　上記各実施形態では、自動的に優先フラッシュ装置を特定したが、これに代えて、図２１～図２４に示す第４実施形態では、優先フラッシュ装置を手動設定する手動設定モードが選択可能になっており、ユーザにより優先フラッシュ装置が選択される。図２１に示すように、手動設定モードでは、主制御部２９の優先フラッシュ装置選択部９３により、背面表示制御部３７を介し背面表示部２３が制御される。
　図２２は第４実施形態における処理手順を示すフローチャートである。なお、非発光信号値取得ステップＳ１１、ＷＢ調整値算出ステップＳ１７、及びＷＢ調整ステップＳ１８は、上記第１実施形態と同じ処理であり、優先フラッシュ装置選択ステップＳ４１のみが異なっている。優先フラッシュ装置選択ステップＳ４１は、優先フラッシュ装置選択入力ステップＳ４２、優先フラッシュ装置決定ステップＳ４３、優先フラッシュ光の発光画像取得ステップＳ４４、及び優先フラッシュ光照射エリア特定ステップＳ４５を有する。
　優先フラッシュ装置選択入力ステップＳ４２では、図２３に示すように、背面表示部２３に優先フラッシュ装置特定画面９４が表示される。優先フラッシュ装置特定画面９４には、画面のタイトル９４ａ、各フラッシュ装置１２，１３の選択ボタン９４ｂ，９４ｃや案内文９４ｄが表示される。選択ボタン９４ｂ，９４ｃの中から優先フラッシュ装置を選択する。選択はタッチパネル２４を用いて行われる。例えば、各フラッシュ装置１２，１３の内、フラッシュ装置１２を優先フラッシュ装置として選択する場合には、選択ボタン９４ｂを指９５によりタッチすることで選択する。すなわち、タッチパネル２４は、優先フラッシュ装置の選択指示を入力する選択入力部に相当する。
　選択ボタン９４ｂ，９４ｃをタッチすると、図２４に示す優先フラッシュ装置決定画面９６が背面表示部２３に表示され、優先フラッシュ装置決定ステップＳ４３が行われる。優先フラッシュ装置決定画面９６にはタイトル９６ａ、選択ボタン９４ｂ，９４ｃ、確認ボタン９６ｂ，９６ｃや案内文９６ｄが表示される。優先フラッシュ装置決定画面９６では、選択されたことを表示するために、選択ボタン９４ｂ，９４ｃのうち、選択された方（図２４では選択ボタン９４ｂ）が点滅表示になる。この状態で確認ボタン９６ｂ，９６ｃ中のイエスを示す確認ボタン９６ｂが指９５でタッチされることで、選択されたフラッシュ装置１２が優先フラッシュ装置として特定される。
　なお、タッチパネル２４を用いて、優先フラッシュ装置を選択及び特定しているが、優先フラッシュ装置の特定方法はこれに限らず、例えば、操作スイッチ２２を用いたり、音声入力を用いたりして、優先フラッシュ装置を選択及び特定してもよい。
　優先フラッシュ装置が決定されると、図２２に示すように、優先フラッシュ光の発光画像取得ステップＳ４４が行われる。このステップＳ４４では、発光画像取得部５３ｂにより、優先フラッシュ装置（本例ではフラッシュ装置１２）のみを発光させた状態（図１参照）で被写体５の画像であるプリ発光画像６１（図５（１）参照）が撮像され、このプリ発光画像６１に基づき発光信号値が取得される。
　優先フラッシュ光照射エリア特定ステップＳ４５では、図５に示すように、非発光画像６０とプリ発光画像６１とを用いてフラッシュ光照射エリア特定画像６３が作成される。先ず、非発光画像６０とプリ発光画像６１とを、例えば８×８の矩形状の分割エリア６５に分割する。次に、第１プリ発光画像６１から求めた各分割エリア６５の輝度値Ｙａから、非発光画像６０から求めた各分割エリア６５の輝度値Ｙ０を引いて、分割エリア６５毎に差分を求める。この差分が他の分割エリア６５のものよりも大きい場合に、この差分が高い分割エリア６５の集合を第１フラッシュ光照射エリア（優先フラッシュ光照射エリア）６７として特定する。
　以下は、優先フラッシュ光照射エリアの信号値に基づき、ＷＢ調整値算出ステップＳ１７が行われ、ＷＢ調整ステップＳ１８で、ＷＢ調整値を用いてＷＢが調整される。
　優先フラッシュ装置の選択をユーザに委ねるため、顔エリア検出や信号値平均の算出、あるいは空間周波数の算出といった複雑な処理なしに、優先フラッシュ装置を簡単に決定することができる。
　上記各実施形態において、非発光画像取得部５３ａ、発光画像取得部５３ｂ、フラッシュ光照射エリア特定部（補助光照射エリア特定部）５４、優先フラッシュ装置選択部（優先補助光源選択部）５５、８１、９０、９３、ＷＢ調整値算出部５９、ＷＢ調整部５６、顔エリア検出部５７、優先フラッシュ装置決定部（優先補助光源決定部）５８、９２、空間周波数算出部９１といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、あるいはＦＰＧＡ(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、さらにはＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　以上の説明から、以下の付記項に示す発明を把握することができる。
　［付記項１］
　複数の補助光源を非発光状態にして被写体を撮像し非発光画像を取得する非発光画像取得プロセッサと、
　複数の前記補助光源を個別発光状態にして前記被写体をそれぞれ撮像し各前記補助光源の発光画像を取得する発光画像取得プロセッサと、
　前記非発光画像及び各前記発光画像を複数の分割エリアに分割し、前記個別発光状態と前記非発光状態との各分割エリアの信号値の差分に基づき、各前記補助光源による補助光が当たっている補助光照射エリアを特定する補助光照射エリア特定プロセッサと、
　各前記補助光源のうち、ホワイトバランス調整の対象とする優先補助光源を選択する優先補助光源選択プロセッサと、
　選択された前記優先補助光源による補助光が当たっている優先補助光照射エリアの信号値に基づきホワイトバランス調整値の算出を行うホワイトバランス調整値算出プロセッサと、
　前記ホワイトバランス調整値による調整を行うホワイトバランス調整プロセッサと
を備えるホワイトバランス調整装置。
　本発明は、上記各実施形態や変形例に限らず、本発明の要旨を逸脱しない限り種々の構成を採り得ることはもちろんである。例えば、上記各実施形態や変形例を適宜組み合わせることも可能である。
　本発明は、カメラ１１以外に、携帯電話機、スマートフォン等の撮像装置に適用可能である。
５　　　被写体
６　　　主要被写体
７　　　背景幕
９　　　撮影スタジオ
１０　　撮影システム
１１　　デジタルカメラ（カメラ）
１１ａ　カメラ本体
１２　　第１フラッシュ装置（補助光源）
１３　　第２フラッシュ装置（補助光源）
１４　　フラッシュ発光部
１５，１６　　無線通信Ｉ／Ｆ
１７　　フラッシュ制御部
１８　　フラッシュ発光部
２１　　レンズ鏡筒
２２　　操作スイッチ
２３　　背面表示部
２４　　タッチパネル
２５　　撮影光学系
２６　　絞り
２７　　シャッタ
２８　　撮像素子
２９　　主制御部
３０　　フラッシュ制御部
３３　　バス
３４　　メモリ制御部
３５　　デジタル信号処理部
３６　　メディア制御部
３７　　背面表示制御部
３８　　タッチパネル制御部
３９　　メモリ
４０　　記録メディア
４１　　シャッタ駆動部
４５　　作動プログラム
５２　　照明制御部
５３　　画像取得部
５３ａ　非発光画像取得部
５３ｂ　発光画像取得部
５４　　フラッシュ光照射エリア特定部
５５　　優先フラッシュ装置選択部（優先補助光源選択部）
５６　　ＷＢ調整部（ホワイトバランス調整部）
５７　　顔エリア検出部
５８　　優先フラッシュ装置決定部（優先補助光源決定部）
５９　　ＷＢ調整値算出部（ホワイトバランス調整値算出部）
６０　　非発光画像
６１，６２　　第１、第２プリ発光画像
６３，６４　　フラッシュ光照射エリア特定画像
６５　　分割エリア
６７　　第１フラッシュ光照射エリア
６８　　第２フラッシュ光照射エリア
６９　　被写体画像
７１　　顔エリア
８０　　特殊効果フィルタ
８１　　優先フラッシュ装置選択部（優先補助光源選択部）
８２　　環境光座標算出部
８３　　フラッシュ光記録部
８４　　差ベクトル算出部
８５　　非発光時信号値平均算出部
８６　　プリ発光時信号値平均算出部
８７　　信号値平均予測値算出部
８８　　特殊効果用途フラッシュ光判別部
９０　　優先フラッシュ装置選択部（優先補助光源選択部）
９１　　空間周波数算出部
９２　　優先フラッシュ装置決定部（優先補助光源決定部）
９３　　優先フラッシュ装置選択部（優先補助光源選択部）
９４　　優先フラッシュ装置特定画面
９４ａ　タイトル
９４ｂ，９４ｃ　選択ボタン
９４ｄ　案内文
９５　　指
９６　　優先フラッシュ装置決定画面
９６ａ　タイトル
９６ｂ，９６ｃ　確認ボタン
９６ｄ　案内文
Ａ　　　環境光の光源座標
Ｂ　　　フラッシュ光の光源座標
Ｃ　　　ベクトル
Ｄ　　　フラッシュ光照射エリアの非発光時の信号値平均
ＤＥ　　線分
Ｅ　　　フラッシュ光照射エリアのフラッシュのみ発光時の信号値平均予測値
Ｈ１～Ｈ６　　判定範囲
ＬＡ　　光軸
Ｓ１１　非発光信号値取得ステップ
Ｓ１２　プリ発光信号値取得ステップ
Ｓ１３　フラッシュ光照射エリア特定ステップ（補助光照射エリア特定ステップ）
Ｓ１４　優先フラッシュ装置選択ステップ（優先補助光源選択ステップ）
Ｓ１５　顔エリア検出ステップ
Ｓ１６　優先フラッシュ装置決定ステップ
Ｓ１７　ＷＢ調整値算出ステップ（ホワイトバランス調整値算出ステップ）
Ｓ１８　ＷＢ調整ステップ（ホワイトバランス調整ステップ）
Ｓ２１，Ｓ３１，Ｓ４１　優先フラッシュ装置選択ステップ（優先補助光源選択ステップ）
Ｓ２２　優先フラッシュ装置決定ステップ
Ｓ３２　空間周波数算出ステップ
Ｓ３３　優先フラッシュ装置決定ステップ
Ｓ４２　優先フラッシュ装置選択入力ステップ
Ｓ４３　優先フラッシュ装置決定ステップ
Ｓ４４　優先フラッシュ光発光画像取得ステップ
Ｓ４５　優先フラッシュ光照射エリア特定ステップ
ｈ　　　幅
β　　　縮小率
θ　　　角度

Claims (12)

  1. 　複数の補助光源を非発光状態にして被写体を撮像し非発光画像を取得する非発光画像取得部と、
    　複数の前記補助光源を個別発光状態にして前記被写体をそれぞれ撮像し各前記補助光源の発光画像を取得する発光画像取得部と、
    　前記非発光画像及び各前記発光画像を複数の分割エリアに分割し、前記個別発光状態と前記非発光状態との各分割エリアの信号値の差分に基づき、各前記補助光源による補助光が当たっている補助光照射エリアを特定する補助光照射エリア特定部と、
    　各前記補助光源のうち、ホワイトバランス調整の対象とする優先補助光源を選択する優先補助光源選択部と、
    　選択された前記優先補助光源による補助光が当たっている優先補助光照射エリアの信号値に基づきホワイトバランス調整値の算出を行うホワイトバランス調整値算出部と、
    　前記ホワイトバランス調整値による調整を行うホワイトバランス調整部と
    を備えるホワイトバランス調整装置。
  2. 　前記優先補助光源選択部は、
    　前記非発光画像又は前記発光画像から顔エリアを検出する顔エリア検出部と、
    　前記顔エリア検出部により検出された前記顔エリアがいずれの前記補助光照射エリアにあるかを特定し、前記顔エリアがある前記補助光照射エリアに対応する前記補助光源を前記優先補助光源と決定する優先補助光源決定部とを有する請求項１記載のホワイトバランス調整装置。
  3. 　前記優先補助光源選択部は、
    　予め記憶している前記補助光源による光源色情報に基づいて前記優先補助光源を決定する優先補助光源決定部を有する請求項１記載のホワイトバランス調整装置。
  4. 　前記優先補助光源決定部は、
    　予め記憶している前記補助光による光源色情報と、前記非発光画像から取得する環境光による光源色情報と、前記補助光照射エリアの非発光時の画素情報とから、色空間における判定範囲を設定し、
    　前記判定範囲内に前記発光画像に基づく画素情報が位置する場合に、前記補助光照射エリアに対応する前記補助光源を優先補助光源とする請求項３記載のホワイトバランス調整装置。
  5. 　前記補助光による光源色情報は、色空間における前記補助光の色を示す座標であり、
    　前記環境光による光源色情報は、前記非発光画像に基づき求められ、色空間における前記環境光の色を示す座標であり、
    　前記補助光照射エリアの非発光時の画素情報は、前記非発光画像に基づき求められ、色空間における前記補助光照射エリアの非発光時信号値平均を示す座標であり、
    　前記優先補助光源決定部は、前記補助光の座標と前記環境光の座標との差である差ベクトルを算出し、
    　前記非発光時信号値平均の座標に前記差ベクトルを加算して、前記補助光源発光時の信号値平均予測値を求め、
    　前記発光画像に基づき、前記色空間における前記補助光照射エリアの信号値平均である発光時信号値平均を算出し、
    　前記非発光時信号値平均、前記補助光源発光時の信号値平均予測値、及び発光時信号値平均に基づいて優先補助光源を判定する請求項４記載のホワイトバランス調整装置。
  6. 　前記優先補助光源決定部は、前記非発光時信号値平均及び前記補助光源発光時の信号値平均予測値を両端として含む前記判定範囲内に前記発光時信号値平均がある場合に、前記補助光照射エリアに対応する前記補助光源を前記優先補助光源と判定する請求項５記載のホワイトバランス調整装置。
  7. 　前記優先補助光源選択部は、
    　前記非発光画像における各前記補助光源による前記補助光照射エリアの空間周波数を算出する空間周波数算出部と、
    　各前記補助光源による前記補助光照射エリアの空間周波数が一定値以下の場合に、空間周波数が一定値以下の前記補助光照射エリアに対応する前記補助光源を前記優先補助光源の選択対象から除外し、除外により残る前記補助光源を前記優先補助光源と決定する優先補助光源決定部と
    を有する請求項１記載のホワイトバランス調整装置。
  8. 　前記ホワイトバランス調整値算出部は、
    　前記優先補助光源を本発光時の発光量で発光した時の前記優先補助光照射エリアの信号値を予測した本発光時優先補助光信号予測値を算出し、
    　前記本発光時優先補助光信号予測値、及び前記優先補助光照射エリアの非発光時の信号値に基づいてホワイトバランス調整値を算出する請求項1から７いずれか１項に記載のホワイトバランス調整装置。
  9. 　前記ホワイトバランス調整部は、
    　複数の前記補助光源を本発光時の発光量で発光状態にして前記被写体を撮像した本発光画像を取得し、
    　前記本発光画像に対して前記ホワイトバランス調整値によるホワイトバランス調整を行う請求項１から８いずれか１項に記載のホワイトバランス調整装置。
  10. 　複数の補助光源を非発光状態にして被写体を撮像し非発光画像を取得する非発光画像取得部と、
    　各前記補助光源のうちホワイトバランス調整の対象とする優先補助光源の選択指示を入力する選択入力部と、
    　前記優先補助光源を発光状態にして前記被写体を撮像し前記優先補助光源の発光画像を取得する優先補助光発光画像取得部と、
    　前記非発光画像及び前記発光画像を複数の分割エリアに分割し、前記優先補助光源が発する優先補助光の発光状態と前記非発光状態との各分割エリアの信号値の差分に基づき、前記優先補助光源による補助光が当たっている優先補助光照射エリアを特定する優先補助光照射エリア特定部と、
    　特定された前記優先補助光照射エリアの信号値に基づきホワイトバランス調整値を算出するホワイトバランス調整値算出部と、
    　前記ホワイトバランス調整値による調整を行うホワイトバランス調整部と
    を備えるホワイトバランス調整装置。
  11. 　複数の補助光源を非発光状態にして被写体を撮像し非発光画像を取得する非発光画像取得ステップと、
    　複数の前記補助光源を個別発光状態にして前記被写体をそれぞれ撮像し各前記補助光源の発光画像を取得する発光画像取得ステップと、
    　前記非発光画像及び各前記発光画像を複数の分割エリアに分割し、前記個別発光状態と前記非発光状態との各分割エリアの信号値の差分に基づき、各前記補助光源による補助光が当たっている補助光照射エリアを特定する補助光照射エリア特定ステップと、
    　各前記補助光源のうち、ホワイトバランス調整の対象とする優先補助光源を選択する優先補助光源選択ステップと、
    　選択された前記優先補助光源による補助光が当たっている優先補助光照射エリアの信号値に基づきホワイトバランス調整値の算出を行うホワイトバランス調整値算出ステップと、
    　前記ホワイトバランス調整値による調整を行うホワイトバランス調整ステップと
    を有するホワイトバランス調整装置の作動方法。
  12. 　複数の補助光源を非発光状態にして被写体を撮像し非発光画像を取得する非発光画像取得ステップと、
    　複数の前記補助光源を個別発光状態にして前記被写体をそれぞれ撮像し各前記補助光源の発光画像を取得する発光画像取得ステップと、
    　前記非発光画像及び各前記発光画像を複数の分割エリアに分割し、前記個別発光状態と前記非発光状態との各分割エリアの信号値の差分に基づき、各前記補助光源による補助光が当たっている補助光照射エリアを特定する補助光照射エリア特定ステップと、
    　各前記補助光源のうち、ホワイトバランス調整の対象とする優先補助光源を選択する優先補助光源選択ステップと、
    　選択された前記優先補助光源による補助光が当たっている優先補助光照射エリアの信号値に基づきホワイトバランス調整値の算出を行うホワイトバランス調整値算出ステップと、
    　前記ホワイトバランス調整値による調整を行うホワイトバランス調整ステップとを、
    　コンピュータに実行させることによりコンピュータをホワイトバランス調整装置として機能させるホワイトバランス調整装置の作動プログラム。
PCT/JP2017/006233 2016-03-31 2017-02-20 ホワイトバランス調整装置及びその作動方法並びに作動プログラム WO2017169286A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780022084.0A CN108886608B (zh) 2016-03-31 2017-02-20 白平衡调整装置、其工作方法和计算机可读取介质
JP2018508574A JP6533335B2 (ja) 2016-03-31 2017-02-20 ホワイトバランス調整装置及びその作動方法並びに作動プログラム
US16/145,995 US10499028B2 (en) 2016-03-31 2018-09-28 White balance adjusting apparatus, operation method thereof, and non-transitory computer readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-073268 2016-03-31
JP2016073268 2016-03-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/145,995 Continuation US10499028B2 (en) 2016-03-31 2018-09-28 White balance adjusting apparatus, operation method thereof, and non-transitory computer readable medium

Publications (1)

Publication Number Publication Date
WO2017169286A1 true WO2017169286A1 (ja) 2017-10-05

Family

ID=59963171

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/006233 WO2017169286A1 (ja) 2016-03-31 2017-02-20 ホワイトバランス調整装置及びその作動方法並びに作動プログラム

Country Status (4)

Country Link
US (1) US10499028B2 (ja)
JP (1) JP6533335B2 (ja)
CN (1) CN108886608B (ja)
WO (1) WO2017169286A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019184710A (ja) * 2018-04-04 2019-10-24 キヤノン株式会社 撮像装置及びその発光制御方法並びにプログラム
CN110392245A (zh) * 2018-04-20 2019-10-29 瑞昱半导体股份有限公司 基于肤色信息的白平衡校正方法及其图像处理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012134651A (ja) * 2010-12-20 2012-07-12 Canon Inc 画像処理装置、方法及びプログラム
JP2013017083A (ja) * 2011-07-05 2013-01-24 Canon Inc 撮像装置
JP2014033276A (ja) * 2012-08-01 2014-02-20 Canon Inc 画像処理装置、画像処理方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100643774B1 (ko) * 2005-03-09 2006-11-10 삼성전자주식회사 발광다이오드 광원의 온도 및 발광레벨을 감안하여 화이트밸런스를 조정하는 영상투사장치 및 그의 화이트밸런스 조정방법
JP2007110576A (ja) * 2005-10-17 2007-04-26 Fujifilm Corp 被写体像データの色補正装置およびその制御方法
US7590344B2 (en) * 2006-02-28 2009-09-15 Microsoft Corp. Adaptive processing for images captured with flash
JP5532621B2 (ja) * 2009-02-17 2014-06-25 株式会社ニコン 電子カメラ及び画像処理プログラム
KR101917650B1 (ko) * 2012-08-03 2019-01-29 삼성전자 주식회사 이미지 처리 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012134651A (ja) * 2010-12-20 2012-07-12 Canon Inc 画像処理装置、方法及びプログラム
JP2013017083A (ja) * 2011-07-05 2013-01-24 Canon Inc 撮像装置
JP2014033276A (ja) * 2012-08-01 2014-02-20 Canon Inc 画像処理装置、画像処理方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019184710A (ja) * 2018-04-04 2019-10-24 キヤノン株式会社 撮像装置及びその発光制御方法並びにプログラム
JP7129196B2 (ja) 2018-04-04 2022-09-01 キヤノン株式会社 撮像装置及びその制御方法並びにプログラム
CN110392245A (zh) * 2018-04-20 2019-10-29 瑞昱半导体股份有限公司 基于肤色信息的白平衡校正方法及其图像处理装置
CN110392245B (zh) * 2018-04-20 2021-07-16 瑞昱半导体股份有限公司 基于肤色信息的白平衡校正方法及其图像处理装置

Also Published As

Publication number Publication date
CN108886608B (zh) 2020-10-16
US20190037190A1 (en) 2019-01-31
JPWO2017169286A1 (ja) 2018-12-13
CN108886608A (zh) 2018-11-23
JP6533335B2 (ja) 2019-06-19
US10499028B2 (en) 2019-12-03

Similar Documents

Publication Publication Date Title
JP5610762B2 (ja) 撮像装置及び制御方法
RU2565343C2 (ru) Устройство формирования изображений и способ управления
JP5917258B2 (ja) 画像処理装置及び画像処理方法
US7920205B2 (en) Image capturing apparatus with flash device having an LED array
US8743274B2 (en) In-camera based method of detecting defect eye with high accuracy
CN108604046B (zh) 摄影支持装置及其工作方法
JP6210775B2 (ja) 撮像装置、撮像方法及び撮像プログラム
JP6641181B2 (ja) 画像処理装置および撮像装置、それらの制御方法ならびにプログラム
TWI625588B (zh) Camera control device
JP4500229B2 (ja) 撮影装置
JP6533335B2 (ja) ホワイトバランス調整装置及びその作動方法並びに作動プログラム
WO2017169287A1 (ja) ホワイトバランス調整装置及びその作動方法並びに作動プログラム
JP2015034850A (ja) 撮影装置および撮影方法
JP6808482B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4412109B2 (ja) 色バランス調整機能を有する電子カメラ、およびプログラム
JP2014219602A (ja) 撮影装置
JP7278764B2 (ja) 撮像装置、電子機器、撮像装置の制御方法およびプログラム
JP7398884B2 (ja) 撮像装置、発光制御装置、撮像方法、発光制御方法、及びプログラム
TWI594630B (zh) Night photography system and its method
JP6616674B2 (ja) 画像処理装置および方法、および撮像装置
JP2016005105A (ja) 撮像装置
JP2017103578A (ja) 制御装置、撮像装置、撮像システム、法線情報取得システム、画像処理装置、制御方法およびプログラム
JP2005354645A (ja) 撮像装置
JP2006203514A (ja) 撮像システム、写真撮影スタジオ、撮像システムの制御方法
JP2015005948A (ja) 撮像装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018508574

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17773834

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17773834

Country of ref document: EP

Kind code of ref document: A1