WO2015141050A1 - マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置 - Google Patents

マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置 Download PDF

Info

Publication number
WO2015141050A1
WO2015141050A1 PCT/JP2014/078619 JP2014078619W WO2015141050A1 WO 2015141050 A1 WO2015141050 A1 WO 2015141050A1 JP 2014078619 W JP2014078619 W JP 2014078619W WO 2015141050 A1 WO2015141050 A1 WO 2015141050A1
Authority
WO
WIPO (PCT)
Prior art keywords
white balance
correction gain
area
balance correction
estimated
Prior art date
Application number
PCT/JP2014/078619
Other languages
English (en)
French (fr)
Inventor
井岡　健
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2015141050A1 publication Critical patent/WO2015141050A1/ja
Priority to US15/268,596 priority Critical patent/US10003779B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6077—Colour balance, e.g. colour cast correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut

Definitions

  • the present invention estimates the white balance correction gain for each area and estimates the image divided into a plurality of areas.
  • Multi-area white balance image processing device multi-area white balance image processing for realizing color reproduction without any sense of incongruity in the entire image by performing white balance correction of the entire input image using the white balance correction gain of all areas
  • the present invention relates to a method, a multi-area white balance image processing program, a computer recording the multi-area white balance image processing program, and an imaging apparatus including the multi-area white balance image processing apparatus.
  • the photographing light source is outdoors during the day, its color temperature changes depending on the altitude of the sun and the atmospheric conditions. Also, the color temperature differs between the sun and the shade. Furthermore, there are various artificial lights such as fluorescent lamps and incandescent lamps indoors, and the color temperature of each light source is different.
  • mixed light of flash illumination and external light serves as a photographing light source.
  • the flash illumination and background artificial illumination are not mixed, but the color temperature of the light source is different in different areas in the same scene.
  • light in which flash illumination and artificial illumination are mixed serves as a photographing light source.
  • human eyes adapt to color. That is, the human eye feels a white subject in the attention area white regardless of whether the light source is sunlight, artificial lighting, or a mixed light thereof.
  • the camera which is an input device in accordance with the characteristics of the human eye, is also configured to adjust so-called white balance by adjusting the RGB gain.
  • the illuminating light source is unknown until shooting, so in general, the type of illuminating illumination (color temperature of the light source) is estimated from the captured image, or the illumination is specified by the user. Correct the white balance of the entire image shot according to the type. In many conventional digital cameras, assuming that there is only one light source at the time of shooting, a white balance correction gain is obtained, and the white balance of the shot image is corrected using the gain.
  • the acquired image is divided into multiple areas, and different white balance processing is performed for each divided area. Need to do.
  • the imaging screen is divided into a plurality of areas according to luminance information and color information, A different white balance correction coefficient is set for each of a plurality of areas, and a white balance correction coefficient limit is provided to keep the difference of the white balance correction coefficients set for each of the plurality of areas within a predetermined range. Generating a full screen white balance correction factor is disclosed.
  • the present invention has been made in view of the above-described problems in the prior art.
  • the white balance in each area is estimated.
  • its object is to provide an imaging apparatus having a white balance image processing apparatus.
  • a multi-area white balance control device estimates area balance means for dividing an input image into a plurality of areas, and a white balance correction gain for each area divided by the area division means. Based on the comparison between the white balance correction gain estimation unit and the white balance correction gain of the peripheral area adjacent to the area estimated by the white balance correction gain estimation unit, the estimated white balance correction gain of the area is unique.
  • White balance correction gain peculiarity determining means for determining whether or not the white balance correction gain peculiarity determining means and only the estimated white balance correction gain of the area determined to be peculiar by the white balance correction gain peculiarity determining means are determined to be peculiar.
  • White balance correction gain correction means for correcting based on the estimated rear white balance correction gain, and the estimated white of the area determined to be unique among the estimated white balance correction gains of all areas A white balance correction gain map of the entire input image in which only the balance correction gain is corrected is generated.
  • the multi-area white balance control method divides an input image into a plurality of areas, estimates a white balance correction gain for each divided area, and estimates the white balance correction of the peripheral area adjacent to the area. Based on the comparison with the gain, it is determined whether or not the estimated white balance correction gain of the area is singular, and only the estimated white balance correction gain of the area determined to be singular is determined to be singular. By correcting based on the estimated white balance correction gain of the neighboring area adjacent to the area, only the estimated white balance correction gain of the area determined to be unique among the estimated white balance correction gains of all areas was corrected. , White balance correction gain map of the entire input image It is characterized by generated.
  • a computer that records the multi-area white balance control program according to the present invention includes an area dividing unit that divides an input image into a plurality of areas, and a white balance correction gain for each area divided by the area dividing unit. Based on the comparison with the white balance correction gain of the peripheral area adjacent to the area estimated by the white balance correction gain estimation means to be estimated and the white balance correction gain estimation means, the estimated white balance correction gain of the area is White balance correction gain peculiarity determining means for determining whether or not peculiar, only the estimated white balance correction gain of the area determined to be peculiar by the white balance correction gain peculiarity determining means is determined to be peculiar.
  • a multi-area white balance control program for generating a white balance correction gain map of the entire input image in which only the estimated white balance correction gain is corrected is recorded.
  • a multi-area white balance control program is a computer-readable multi-area white balance control program provided in a multi-area white balance control device, wherein the computer divides an input image into a plurality of areas.
  • a white balance correction gain estimating unit for estimating a white balance correction gain for each area divided by the area dividing unit; a white balance of a peripheral area adjacent to the area estimated by the white balance correction gain estimating unit; Based on the comparison with the correction gain, white balance correction gain specific determination means for determining whether or not the estimated white balance correction gain of the area is specific, the white balance correction gain specific determination means
  • White balance correction gain correction that corrects only the estimated white balance correction gain of the area determined to be singular based on the estimated white balance correction gain of the peripheral area adjacent to the area determined to be singular
  • Multi-area white balance control apparatus capable of realizing reproduction, multi-area white balance control method, multi-area white balance control program, computer recording multi-area white balance control program, multi-area white balance image processing apparatus, multi-area An imaging apparatus including a white balance image processing method, a multi-area white balance image processing program, a computer recording the multi-area white balance image processing program, and a multi-area white balance image processing apparatus It is.
  • FIG. 1 is a block diagram of a digital camera including a multi-area white balance control device according to a first embodiment of the present invention. Processing until generating a white balance correction gain map of the entire input image in which the estimated white balance correction gain of the area determined to be unique is corrected from the input image in the multi-area white balance control device of FIG. It is a flowchart which shows a procedure.
  • the area dividing means divides an input image into a plurality of areas and is an explanatory diagram showing an example.
  • FIG. 4 is an explanatory diagram showing an example of a correction gain, in which (a) shows an R / G white balance correction gain map and a white balance correction gain determined to be unique, and (b) shows a B / B white balance correction gain. It is a figure which shows the white balance correction gain determined that the G white balance correction gain map and the white balance correction gain peculiar means are peculiar.
  • the white balance correction gain correcting means determines that the estimated white balance correction gain of the area determined to be singular by the white balance correction gain singularity determining means is singular.
  • FIG. 6A is an explanatory diagram showing an example of a white balance correction gain map corresponding to all areas of an input image, corrected based on an estimated white balance correction gain in a peripheral area adjacent to the area, and (a) is a corrected R
  • FIG. 5B is a diagram showing a corrected B / G white balance correction gain map.
  • FIG. 1 In the multi-area white balance control device of FIG. 1, an explanatory diagram showing a modification of the division mode by the area dividing means, (a) is a diagram showing an example thereof, and (b) is a diagram showing another example.
  • an explanatory diagram showing a modified example of a method by which the white balance correction gain uniqueness determining means determines that the estimated white balance correction gain of the area is unique (a) Is a diagram showing the estimated white balance correction gain of the area and the estimated white balance correction gain of the peripheral area adjacent to the area, and (b) is one of the area and the peripheral area adjacent to the area.
  • the difference in white balance correction gain from one area the R / G white balance correction gain of the area on the XY coordinates is set on one coordinate axis, and the B / G white balance correction gain is set on the other coordinate axis.
  • the white balance correction gain of one of the surrounding areas adjacent to the area Is a diagram showing the distance between the point between.
  • white balance correction gain estimation means when the area dividing means divides the input image into a plurality of areas having a size different from the example of FIG. 3.
  • the white balance correction gain map corresponding to all areas of the input image and the white balance correction gain determined by the white balance correction gain unique means and the white balance correction gain correcting means An input image obtained by correcting the estimated white balance correction gain of the area determined to be unique by the singularity determination unit based on the estimated white balance correction gain of the peripheral area adjacent to the area determined to be singular White balance correction for all areas
  • An explanatory diagram showing an in-map (a) is a diagram showing an R / G white balance correction gain map before correction and a white balance correction gain determined that the white balance correction gain unique means is unique, and (b) is a unique It is a figure which shows the R / G white balance correction gain map by which the estimated white balance correction gain of the area determined to be is corrected.
  • FIG. 10 is an explanatory diagram showing an example of a white balance correction gain map corresponding to all areas of an input image smoothed by the white balance correction gain smoothing means in the multi-area white balance control device of FIG.
  • FIG. 6 is an explanatory diagram illustrating an example of a white balance correction gain map when the smoothing process is performed, in which (a) is a diagram illustrating a smoothed R / G white balance correction gain map, and (b) is a smoothing process. It is a figure which shows a completed B / G white balance correction gain map.
  • the present invention divides an input image into a plurality of areas, estimates a white balance correction gain for each divided area, and compares the estimated area with a white balance correction gain of a peripheral area adjacent to the area.
  • the estimated white balance correction gain is determined to be singular, and only the estimated white balance correction gain of the area determined to be singular is estimated in the peripheral area adjacent to the area determined to be singular.
  • a gain map is generated.
  • whether or not the estimated white balance correction gain of the area is singular is determined based on a comparison with the estimated white balance correction gain of the estimated peripheral area adjacent to the area. If only the estimated white balance correction gain of the determined area is corrected based on the estimated white balance correction gain of the peripheral area adjacent to the area determined to be singular, the white balance correction gain initially estimated for the individual area is Even if it is wrong, it is possible to create a white balance correction gain map in which the white balance correction gain values of all areas corresponding to the input image are appropriate.
  • the white balance correction of the entire input image is corrected based on the white balance correction gain map of the entire input image in which only the white balance correction gain of the wrong area has been corrected, the white balance correction of the entire input image is performed. There is no adverse effect, the color balance of the area in the entire input image is properly maintained, and color reproduction without a sense of incongruity can be realized.
  • the smoothing process is further performed on the white balance correction gains of all the areas in the entire input image including the areas where only the estimated white balance correction gains of the areas determined to be unique are corrected.
  • FIG. 1 is a block diagram of a digital camera provided with a multi-area AWB (auto white balance) control device according to a first embodiment of the present invention.
  • a portion surrounded by a one-dot chain line corresponds to the multi-area white balance control device according to the present embodiment
  • a portion surrounded by a two-dot chain line corresponds to the multi-area white balance image processing device according to the present embodiment.
  • 2 generates a white balance correction gain map of the entire input image in which the estimated white balance correction gain of the area determined to be unique is corrected from the input image in the multi-area white balance control apparatus of FIG. It is a flowchart which shows the process sequence until.
  • the multi-area white balance control device 1 of the present embodiment includes an image area dividing unit 11 as an area dividing unit and a WB (white balance) correction gain estimating unit 12 as a white balance correction gain estimating unit. And a WB (white balance) correction gain singularity determination unit 13 as white balance correction gain singularity determination means and a WB (white balance) correction gain correction unit 14 as white balance correction gain correction means.
  • a WB (white balance) correction gain singularity determination unit 13 as white balance correction gain singularity determination means
  • WB (white balance) correction gain correction unit 14 as white balance correction gain correction means.
  • 10 is a multi-area white balance image processing device
  • 15 is a WB (white balance) correction gain map generation unit as white balance correction gain map generation means
  • 16 is a WB (white balance) gain correction unit 14
  • a balance) gain correction unit 21 is a lens
  • 22 is an image sensor
  • 23 is an image storage unit that stores an image captured by the image sensor 22.
  • the digital camera including the multi-area white balance image processing apparatus 10 includes a control unit (not shown).
  • the control unit is separately provided with a function of storing an image captured by the image sensor 22 based on a shooting instruction in the image storage unit 23 and a function of inputting an image stored in the image storage unit 23.
  • an image formed on the image sensor 22 through the lens 21 is picked up and stored as a digital signal in the image storage unit 23 in accordance with a shooting instruction from a control unit (not shown).
  • the image area dividing unit 11 divides the input image into a plurality of blocks having a predetermined size.
  • the WB correction gain estimation unit 12 estimates white balance correction gains R / G and B / G for each block divided by the image area division unit 11. The details of the white balance correction gain estimation method will be described later.
  • the WB correction gain peculiarity determination unit 13 is adjacent to the estimated area whether or not the white balance correction gain of each block of the white balance correction gain map estimated by the WB correction gain estimation unit 12 is peculiar. The determination is made based on a comparison with the white balance correction gain of the surrounding area. The details of the method for determining whether or not the white balance correction gain is unique will be described later.
  • the WB correction gain correction unit 14 uses only the white balance correction gain of the block determined to be singular by the WB correction gain singularity determination unit 13, and the white balance correction gain of the peripheral block adjacent to the block determined to be singular. Modify based on The details of the white balance correction gain correction method will be described later.
  • the WB gain correction unit 17 corrects the white balance of the entire input image based on the white balance correction gain map in which the white balance correction gain of the block has been corrected by the WB correction gain correction unit 14.
  • the white balance correction gains of all blocks estimated by the WB correction gain estimation unit 12 only the estimated white balance correction gain of the area determined to be specific by the WB correction gain specific determination unit 13 is corrected for the WB correction gain.
  • the white balance of the entire input image is corrected based on the white balance correction gain map of the entire input image corrected by the unit 14.
  • a control unit of a digital camera (not shown) inputs image data stored in the image storage unit 23 via an output from the image sensor 22 (step S1).
  • the image area dividing unit 11 divides the input image data into a plurality of blocks having a predetermined size (step S2). For convenience, in the following description, it is assumed that the image data is divided into 7 ⁇ 7 blocks as shown in FIG. 3, for example.
  • the WB correction gain estimator 12 applies, to the image of each block divided by the image area divider 11, for example, a method as described in Japanese Patent Laid-Open No. 2009-038712, etc.
  • the R / G white balance correction gain and the B / G white balance correction gain are estimated (step S3). This estimation is performed sequentially for all the blocks, and is repeated until the estimation for all the blocks is completed.
  • a WB correction gain map corresponding to all blocks of the input image is obtained, for example, as shown in FIG. In the method described in Japanese Patent Application Publication No.
  • a shooting scene belongs to a specific group with similar illumination colors based on a feature vector of the shooting scene and a pre-determined criterion.
  • the white balance correction gain is acquired based on the calculated accuracy and the image shot in the shooting scene.
  • a Japanese patent application proposed by the present applicant Japanese Patent Application No. 2013-232350. No., Japanese Patent Application, and Japanese Patent Application No. 2013-246475, the color temperature is acquired for each area obtained by dividing the input image into a plurality of areas, and the white balance correction gain is obtained based on the acquired color temperature of each area. There is a way to get.
  • the white balance correction gain of the image is accurately and directly calculated without specifying the type of illumination used at the time of shooting.
  • the WB correction gain peculiarity determination unit 13 determines whether the white balance correction gain of each block of the white balance correction gain map estimated by the WB correction gain estimation unit 12 is peculiar to the block and the block. A determination is made based on a comparison of the estimated white balance correction gains with adjacent peripheral blocks (step S4). Then, when the estimated correction gain of the block has a predetermined difference or more than any of the estimated correction gains of neighboring blocks adjacent to the block, the estimated white balance correction gain of the block Is determined to be singular, otherwise it is determined that the estimated white balance correction gain of the block is not singular.
  • the white balance correction gain map and the WB correction gain specific determination unit 13 corresponding to all blocks of the input image estimated by the WB correction gain estimation unit 12 are unique. It is explanatory drawing which shows an example of the white balance correction
  • the WB correction gain peculiarity determination unit 13 determines that the estimated white balance correction gain of the block is 0.2 or more for all of the estimated white balance correction gains of the neighboring blocks adjacent to the block. When there is a difference, the estimated white balance correction gain of the block is determined to be singular, and otherwise, the estimated white balance correction gain of the block is determined to be singular An example is shown.
  • the estimated white balance correction gain of the block (1, 5) is “0.7” and is adjacent to the block. There is a difference of 0.2 or more with respect to any estimated white balance correction gain “1.1” of the 3 ⁇ 3 block. Therefore, the WB correction gain peculiarity determination unit 13 determines that the estimated white balance correction gain “0.7” of the block (1, 5) is peculiar.
  • the estimated white balance correction gains of the blocks (3, 3) and (3, 4) are “0.8”, and most of the estimated white balances of the 3 ⁇ 3 blocks adjacent to the block are the same.
  • the WB correction gain uniqueness determination unit 13 determines that the estimated white balance correction gain “0.8” of the blocks (3, 3) and (3, 4) is not unique.
  • the estimated white balance correction gain of the block (1, 5) is “0.8” in the B / G white balance correction gain map, and 3 adjacent to the block. There is a difference of 0.2 or more with respect to any estimated white balance correction gain “1.2” of the ⁇ 3 block. Therefore, the WB correction gain peculiarity determination unit 13 determines that the estimated white balance correction gain “0.8” of the block (1, 5) is peculiar.
  • the estimated white balance correction gains of the blocks (3, 3) and (3, 4) are “1”, and most of the estimated white balance correction gains of the 3 ⁇ 3 blocks adjacent to the blocks are respectively.
  • the WB correction gain peculiarity determination unit 13 determines that the estimated white balance correction gain “1” of the blocks (3, 3) and (3, 4) is not peculiar.
  • the criterion for determining whether or not the estimated white balance correction gain is unique by the WB correction gain uniqueness determination unit 13 is “a neighboring block adjacent to the block” or “the estimated white balance of the block.
  • Various settings can be made according to the difference between the correction gain and the estimated white balance correction gain of the neighboring blocks adjacent to the block.
  • the following standard can be used as a standard for “neighboring blocks adjacent to the block”.
  • (Standard 1-2) Upper, lower, left and right blocks adjacent to the block.
  • the reference 1-1 is used for convenience.
  • (Criteria 2-3) A value obtained by adding the absolute values of differences between estimated white balance correction gains of the block and neighboring blocks adjacent to the block in a plurality of types of estimated white balance correction gain maps.
  • the reference 2-1 is used for convenience. Details of the reference 2-2 and the reference 2-3 will be described later.
  • step S4 The determination of whether or not the estimated white balance correction gain is unique (step S4) by the WB correction gain uniqueness determination unit 13 is sequentially performed for all the blocks, and is repeated until the determination for all the blocks is completed. .
  • the WB correction gain correction unit 14 determines that the WB correction gain peculiarity determination unit 13 is peculiar.
  • the estimated white balance correction gain of the determined block is corrected based on the estimated white balance correction gain of the neighboring blocks adjacent to the block determined to be unique (step S5).
  • FIG. 5 shows the multi-area white balance control device 1 shown in FIG. 1 in which the WB correction gain correction unit 14 calculates the estimated white balance correction gain of the block determined to be singular by the WB correction gain singularity determination unit 13. It is explanatory drawing which shows an example of the white balance correction gain map corresponding to all the blocks of an input image corrected based on the estimated white balance correction gain of the peripheral block adjacent to the block determined to be.
  • the WB correction gain correction unit 14 is determined to be specific by the WB correction gain specific determination unit 13 in the R / G white balance correction gain map shown in FIG.
  • the estimated white balance correction gain “0.7” of (1, 5) is changed to the average value “1.1” of the estimated white balance correction gain of the 3 ⁇ 3 blocks around the block (1, 5). Correct it.
  • the WB correction gain correction unit 14 is determined to be unique by the WB correction gain specific determination unit 13 in the B / G white balance correction gain map shown in FIG. 4B.
  • the estimated white balance correction gain “0.8” of the block (1, 5) is changed to the average value “1.2” of the estimated white balance correction gain of the 3 ⁇ 3 blocks around the block (1, 5). To "".
  • the WB correction gain correction unit 14 uses the estimated white balance correction gain of the block determined to be singular to correct the estimated white balance of the peripheral block adjacent to the block determined to be singular.
  • the reference of “balance correction gain” can be variously set according to “a peripheral block adjacent to a block determined to be unique”.
  • the following criteria can be used as the criteria related to “neighboring blocks adjacent to a block determined to be unique”.
  • (Criteria 3-1) A 3 ⁇ 3 block adjacent to a block determined to be unique.
  • (Criteria 3-2) Upper, lower, left, and right blocks adjacent to a block determined to be unique.
  • (Standard 3-3) Predetermined based on a block determined to be singular, including neighboring blocks adjacent to the block determined to be singular (a block corresponding to criterion 3-1 or 3-2) Peripheral block within radius range. In the example of FIG. 5, the reference 3-1 is used for convenience.
  • step S5 The correction of the estimated white balance correction gain of the block determined to be unique (step S5) by the WB correction gain correction unit 14 is sequentially performed on all the blocks until the determination on all the blocks is completed. repeat. As a result, as shown in FIG. 5, only the estimated white balance correction gain of the block determined to be singular among the estimated white balance correction gains of all the areas is corrected. A balance correction gain map is obtained.
  • the obtained white balance correction gain map is stored in the recording unit 16.
  • the WB gain correction unit 17 applies the gain input from the gain map storage unit 16 to the pixel value of each color corresponding to the position of the input image, thereby correcting the white balance and outputting the image.
  • the multi-area white balance control device 1 and the multi-area white balance control method of the present embodiment whether the estimated white balance correction gain of the block is singular or not is determined for the estimated peripheral block adjacent to the block. Only the estimated white balance correction gain of the block determined to be singular based on the comparison with the white balance correction gain is determined based on the estimated white balance correction gain of the neighboring blocks adjacent to the block determined to be singular. Because it was corrected, even if the white balance correction gain that was initially estimated for each individual block is incorrect, a white balance correction gain map in which the white balance correction gain values of all blocks corresponding to the input image are appropriate is created. Can do.
  • the image area dividing unit 11 is configured to divide the input image into a plurality of blocks so that adjacent blocks do not overlap each other. As indicated by a broken line in (a), the input image may be divided into a plurality of blocks such that adjacent blocks partially overlap each other. Alternatively, the image area dividing unit 11 may be configured to divide the input image into a plurality of blocks such that adjacent blocks are separated from each other as indicated by a broken line in FIG.
  • the WB correction gain singularity determination unit 13 uses the “estimated white balance correction gain of the block” in the criterion for determining whether or not the white balance correction gain is singular.
  • the R / G white balance correction gain and the R / B white balance correction gain of the reference 2-1 respectively, A simple difference between the estimated white balance correction gains of neighboring blocks adjacent to the block was used, but the estimated white balance correction gains of the reference block 2-2 and the neighboring blocks adjacent to the block were plotted.
  • Euclidean distance between the measured points and multiple types of standard 2-3 In the white balance correction gain map may be using the estimated absolute value elaborate plus the value of the difference between the white balance correction gains among neighboring blocks adjacent to the block and the block.
  • FIG. 7 shows a modification example of the method in which the WB correction gain singularity determination unit 13 determines that the estimated white balance correction gain of the area is singular in the multi-area white balance control device 1 of FIG.
  • (A) is an explanatory diagram showing an example using the criterion 2-2 regarding the difference between the estimated white balance correction gain of and the estimated white balance correction gain of neighboring blocks adjacent to the block.
  • the figure which shows the estimated white balance correction gain and the estimated white balance correction gain of the peripheral area adjacent to the area, respectively, (b) is the area of the area and one of the peripheral areas adjacent to the area
  • the difference in white balance correction gain the R / G white balance correction gain of the area on the XY coordinates FIG.
  • FIG. 5 is a diagram showing the distance between points representing the white balance correction gain of one area of the area and one of the peripheral areas adjacent to the area with the B / G white balance correction gain on the other coordinate axis on one coordinate axis. is there.
  • FIG. 7A shows the estimated white balance correction gains rg [], bg [] of the area [i, j] in the middle and the eight neighboring areas.
  • whether or not the estimated white balance of the area is peculiar is determined based on the difference of the estimated white balance correction gain between the area and the surrounding area. In this case, first, the difference in white balance correction gain between the area [i, j] and the surrounding eight areas is obtained.
  • rg [i, j] and bg [i, j] in FIG. 7A are the estimated white balance correction gains for the area [i, j], respectively, the white of the area and the area immediately above it
  • the Euclidean distance which is the distance between the points (rg [i, j-1], bg [i, j-1]) representing the white balance correction gain, is calculated.
  • the difference in white balance correction gain between the area and the surrounding eight areas is calculated, and the calculated value is compared with a predetermined threshold in which the maximum value of the difference is determined in advance. It is determined whether or not the balance correction gain is unique.
  • the Euclidean distance d can be expressed by the following equation 1 for n-dimensional vectors f and g.
  • the Euclidean distance d is expressed by the following equation 2.
  • the Euclidean distance S can be expressed by the following equation 3.
  • the block for the R / G white balance correction gain and the B / G white balance correction gain shown in FIG. 4A and FIG. An example of how to obtain the Euclidean distance S from the block will be described.
  • the R / G white balance correction gain is a value on the x coordinate in the xy coordinate system
  • the B / G white balance correction gain is a y coordinate value in the xy coordinate system. Then, for each of the divided blocks, the R / G white balance correction gain and the B / G white balance correction gain map shown in FIGS. 4A and 4B are plotted in the xy coordinate system.
  • the position f (x 1 , y 1 ) of the plotted point in the block on the xy coordinate and the position g (x 2 , y 2 ) of the plotted point in the peripheral block adjacent to the block on the xy coordinate Can be expressed as the Euclidean distance S by Equation 3 above.
  • the position f (0.7, 0.8) on the xy coordinate of the point where the estimated R / G white balance correction gain and B / G white balance correction gain in the block (1, 5) are plotted in the xy coordinate system.
  • the WB correction gain peculiarity determination unit 13 is set with an arbitrary value as a threshold value of the Euclidean distance S in advance, and the Euclidean distance between the block and each neighboring block adjacent to the block obtained as described above. If any of S exceeds the threshold of the Euclidean distance S, it is determined that the estimated white balance correction gain of the block is singular. Otherwise, the estimated white balance correction gain of the block is determined. Is determined to be non-singular.
  • two types of white balance correction gains are estimated in three color images of RGB.
  • the Euclidean distance is easy to understand as the distance S between the points plotted by plotting the respective white balance correction gains on two-dimensional coordinates, but the white balance correction gains that can be estimated are limited to two types. is not.
  • the types of white balance correction gain to be estimated are large and cannot be plotted on two-dimensional coordinates. Even in that case, by calculating the Euclidean distance as a reference indicating the difference in white balance correction gain between adjacent blocks based on the above equation 1, it is determined whether or not the white balance correction gain of the block is unique. Can be judged.
  • the reference 2-3 is The used example will be described.
  • the reference 2- instead of the Euclidean distance of the reference 2-2, the reference 2- Alternatively, the absolute value of the difference between the white balance correction gain of the area 3 and the peripheral area can be used.
  • the difference in white balance correction gain between the area and the surrounding eight areas is calculated, and the calculated value is compared with a predetermined threshold in which the maximum value of the difference is determined in advance. It is determined whether or not the balance correction gain is unique.
  • a predetermined threshold in which the maximum value of the difference is determined in advance. It is determined whether or not the balance correction gain is unique.
  • the absolute value of the difference of rg [] is used.
  • the absolute value of the difference of bg [] may be used instead of the absolute value of the difference of rg [].
  • FIG. 4A and FIG. 4B An example of a value obtained by adding an absolute value of a difference between estimated white balance correction gains of the block and neighboring blocks adjacent to the block in a plurality of types of estimated white balance correction gain maps of the reference 2-3
  • the R / G white balance correction gain and the B / G white balance correction gain shown in FIG. 4A and FIG. 4B will be described using the block and peripheral blocks adjacent to the block.
  • the estimated R / G white balance correction gain value in the block (1, 5) is “0.7”
  • the B / G white balance correction gain value is “0.8”.
  • the estimated R / G white balance correction gain and B / G white balance correction gain value in one block (1, 4) of the 3 ⁇ 3 blocks adjacent to the block (1, 5) are: Both are "1.1".
  • 0.7 It becomes.
  • the WB correction gain peculiarity determination unit 13 sets an arbitrary value as a threshold value to which the absolute value of the difference between the white balance correction gains estimated in advance between the block and each neighboring block adjacent to the block is added.
  • the image area dividing unit 11 divides the input image into 7 ⁇ 7, but what is the size and number of blocks divided by the image area dividing unit 11? May be of any size and number.
  • FIG. 8 shows a modification of the present embodiment.
  • the image area dividing unit 11 divides the input image into a plurality of blocks having a size different from the example of FIG.
  • R / G white corresponding to all blocks of the input image modified based on FIG. 6 is an explanatory diagram showing a balance correction gain map, where (a) shows an R / G white balance correction gain map before correction and a white balance correction gain determined to be unique by the white balance correction gain unique means; (b) FIG.
  • FIG. 6 is a diagram showing an R / G white balance correction gain map in which an estimated white balance correction gain in an area determined to be unique has been corrected.
  • the image area dividing unit 11 is close to the light source boundary. It is also possible to finely divide the area from the top right to the upper right into smaller sized areas and divide the other areas into larger sized areas.
  • the image area dividing unit 11 divides the input image into 3 ⁇ 3 blocks, and among the 3 ⁇ 3 divided blocks, the lower left block, the central block, and the upper right block The block is further divided into 2 ⁇ 2.
  • the value of the white balance correction gain estimated by the WB correction gain estimation unit 12 for the lower left small block among the four small blocks obtained by further dividing the upper right block into 2 ⁇ 2 is “0”. .7 ".
  • the difference from the estimated white balance correction gain value “1.1” of the blocks around the small block is “0.4”, which exceeds the threshold value of the white balance correction gain. For this reason, the WB correction gain uniqueness determination unit 13 determines that the estimated white balance correction gain of the small block is unique.
  • the WB correction gain correction unit 14 further increases the upper right block determined to be unique by the WB correction gain uniqueness determination unit 13 in the white balance correction gain map shown in FIG.
  • the estimated white balance correction gain “0.7” of the lower left small block among the divided blocks is corrected to the average value “1.1” of the estimated white balance correction gain of the peripheral blocks of the small block.
  • FIG. 9 is a block diagram of a digital camera provided with a multi-area AWB (auto white balance) control processing apparatus according to a second embodiment of the present invention.
  • the portion surrounded by the alternate long and short dash line is the present embodiment.
  • the multi-area white balance control device according to this embodiment, and the portion surrounded by the two-dot chain line is the configuration corresponding to the multi-area white balance image processing device according to this embodiment.
  • FIG. 10 shows that the estimated white balance correction gain of the area determined to be peculiar is corrected from the input image in the multi-area white balance control apparatus of FIG. 9, and the white balance correction gain of all areas is further smoothed.
  • 5 is a flowchart showing a processing procedure until a white balance correction gain map for the entire input image is generated.
  • the multi-area white balance control apparatus 1 of the present embodiment includes an image area dividing unit 11 as an area dividing unit and a WB (white balance) correction gain estimating unit 12 as a white balance correction gain estimating unit.
  • WB (white balance) correction gain singularity determination unit 13 as white balance correction gain specific determination means
  • WB (white balance) correction gain correction unit 14 as white balance correction gain correction means
  • white balance correction gain smoothing It has a WB correction gain smoothing unit 18 as means, and a WB (white balance) gain correction unit 17 as white balance processing means.
  • 10 is a multi-area white balance image processing apparatus
  • 15 is a WB (white balance) correction gain map generation unit as white balance correction gain map generation means
  • 16 is a WB (white balance) gain correction unit 17 in the area.
  • a gain map storage unit that stores a white balance correction gain map of the entire input image, the white balance correction gain of which has been corrected
  • 17 a WB (white balance) gain correction unit as a white balance processing means
  • 21 a lens and 22
  • An image sensor 23 is an image storage unit that stores an image captured by the image sensor 22.
  • the configurations of the image area division unit 11, the WB correction gain estimation unit 12, the WB correction gain uniqueness determination unit 13, and the WB correction gain correction unit 14 are substantially the same as those of the multi-area white balance control device 10 of the first embodiment.
  • the WB correction gain smoothing unit 18 applies the white balance correction gain of all areas in the white balance correction gain map of the entire input image, in which only the white balance correction gain of the block is corrected by the WB correction gain correction unit 14. Smoothing processing such as averaging LPF (low-pass filter) is performed. The details of the smoothing process will be described later.
  • LPF low-pass filter
  • the WB gain correction unit 17 corrects the white balance of the entire input image based on the white balance correction gain map of the entire input image after the white balance correction gain of all the blocks has been smoothed by the WB correction gain smoothing unit 18. To do.
  • the estimated white balance correction gain of the area determined to be unique is corrected, and the white balance of all areas is further corrected.
  • a processing flow until the white balance correction gain map of the entire input image is generated with the correction gain smoothed will be described with reference to FIGS.
  • step S15 only the estimated white balance correction gain of the block determined to be singular by the WB correction gain correction unit 14 from the input of image data (step S11) by the control unit of the digital camera (not shown) is corrected (step S15).
  • the processes up to are substantially the same as those of the multi-area white balance control device 10 of the first embodiment.
  • the WB correction gain smoothing unit 18 After the correction of only the estimated white balance correction gain of the block determined to be singular (step S15) by the WB correction gain correction unit 14, the WB correction gain smoothing unit 18 performs the white balance of the entire input image. Smoothing processing is performed on the white balance correction gains of all blocks in the correction gain map (step S16). For example, the WB correction gain smoothing unit 18 targets all blocks shown in FIGS. 5A and 5B for each block, and the white balance of a 3 ⁇ 3 block centered on that block is used. Apply average LPF of correction gain. When the number of peripheral blocks adjacent to the central block is less than 3 ⁇ 3, averaging LPF is applied in the range of the peripheral blocks adjacent to the central block.
  • the WB correction gain smoothing unit 18 focuses on the block (3, 1) with respect to the block (3, 1) in the R / G white balance correction gain map shown in FIG.
  • the R / G white balance correction gain values are all “1.1”.
  • the value of the white balance correction gain of the block (3, 1) after the averaging LPF is applied is not different from the value before the averaging LPF is applied.
  • the WB correction gain smoothing unit 18 applies the average LPF of the R / G white balance correction gain of the 3 ⁇ 3 block centering on the block (3, 2) to the block (3, 2).
  • the blocks (2, 1) to (2, 3) the blocks (2, 1) to (2, 3), (3, 1), (3, 2), (4, 1) to
  • the value of the R / G white balance correction gain of (4, 3) is “1.1”, and the value of the R / G white balance correction gain of the block (3, 3) is “0.8”.
  • the R / G white balance correction gain value of the block (3, 2) after the averaging LPF is applied is reduced by “0.03” compared to “1.1” before the averaging LPF is applied.
  • the WB correction gain smoothing unit 18 applies an average LPF of R / G white balance correction gain of a 3 ⁇ 3 block centered on the block (3, 3) to the block (3, 3).
  • R / G white balance correction gain values are “1.03” to “ The value is in the range of 1.07 ′′.
  • the WB correction gain smoothing unit 18 applies an averaged LPF to the B / G white balance correction gain of each block shown in FIG. 5 (b), as shown in FIG. 11 (b),
  • the B / G white balance correction gain value of the blocks (2, 2) to (2, 5), (3, 2) to (3, 5), (4, 2) to (4, 5) is “1”. .16 ”to“ 1.18 ”.
  • B / G white balance between blocks (2, 2) to (2, 5), (3, 2), (3, 5), (4, 2) to (4, 5) and adjacent blocks
  • the white balance estimated by the WB correction gain uniqueness determination unit 13 is used. Blocks (0, 4) to (0, 6), (1, 4), (1, 6), (2, 4) to (0) adjacent to the block (1, 5) for which the correction gain is determined to be unique. 2 and 6), when the WB correction gain smoothing unit 18 applies the averaged LPF, as shown in FIGS. 5A and 5B, the WB correction gain correction means 14 blocks the block.
  • the values of the R / G white balance correction gain and the B / G white balance correction gain of (1, 5) are the blocks (0, 4) to (0, 6), (1, 4), (1,6), (2,4) to (2,6) R / G white bar Nsu correction gain, B / G white balance correction gain average value (in the example of FIG. 4 (a) "1.1", in the example of FIG. 4 (b) "1.2") are corrected to.
  • the WB correction gain smoothing unit 18 performs each of the blocks (0, 4) to (0, 6), (1, 4), (1, 6), (2, 4) to (2, 6).
  • the blocks (0, 4) to (0, 6), (1,4), (1,6), (2,4) to (2,6) of the estimated white balance correction gain of the block (1,5) that can be determined to be singular Fluctuates greatly under the influence of the estimated white balance correction gain.
  • R / G white balance correction gain values are in the range of “0.98” to “1.06”.
  • the R / G white balance correction gains of the blocks (0, 4) to (0, 6), (1, 4), (1, 6), (2, 4) to (2, 6) are shown in FIG.
  • the fluctuation range from the initial estimated value becomes large.
  • the R / G white balance correction gain of the block (2, 4) is “0.98”, which varies from the initial estimated value “1.1” to “0.12”.
  • the WB correction gain smoothing unit 18 applies the averaged LPF
  • the block (2, 4 ) R / G white balance correction gain is “1.03”
  • the fluctuation range from the initial estimated value “1.1” is “0.07”
  • block estimation that can be determined to be unique is estimated.
  • the R / G white balance correction gain that has been corrected can be suppressed to a smaller value than when the averaged LPF is applied without correction.
  • B / G white balance correction of 3 ⁇ 3 blocks (0,4) to (0,6), (1,4) to (1,6), (2,4) to (2,6) The gain value is in the range of “1.11” to “1.16”.
  • the B / G white balance correction gains of the blocks (0, 4) to (0, 6), (1, 4), (1, 6), (2, 4) to (2, 6) are shown in FIG. B / G white when the WB correction gain smoothing unit 18 applies the averaged LPF after correcting the estimated white balance correction gain of the area determined to be singular shown in (b) Compared to the balance correction gain, the fluctuation range from the initial estimated value becomes large.
  • the B / G white balance correction gain of the block (2, 4) is “1.11”, which varies from the initial estimated value “1.2” to “0.09”.
  • the WB correction gain smoothing unit 18 applies the averaged LPF after correcting the estimated B / G white balance correction gain of the area determined to be unique
  • the block (2, 4 ) B / G white balance correction gain is “1.16”
  • the fluctuation range from the initial estimated value “1.2” is “0.04”
  • block estimation that can be determined to be unique is estimated.
  • the averaged LPF is applied without correcting the B / G white balance correction gain, it can be suppressed to be small.
  • the WB correction gain smoothing unit 18 performs the smoothing process, so that A multi-area white balance correction gain map of the entire input image is generated in which the discontinuity of the value of the white balance correction gain between adjacent areas is suppressed while minimizing the fluctuation of the block that can be determined to be not.
  • the smoothed white balance correction gain map is stored in the recording unit 16.
  • the WB gain correction unit 17 applies the gain input from the gain map storage unit 16 to the pixel value of each color corresponding to the position of the input image, thereby correcting the white balance and outputting the image.
  • the white balance correction of the entire input image in which only the estimated white balance correction gain of the area determined to be peculiar is corrected. Since the smoothing process was performed for the white balance correction gain of all areas in the gain map, the initial estimation of the white balance correction gain was mistaken for the image shot of the scene illuminated with multiple light sources. By correcting only the white balance correction gain of the area, the white balance correction of the entire input image is not adversely affected, the color balance of the area in the entire input image is properly maintained, and color reproduction without discomfort is realized. The same effect as in the first embodiment can be maintained. Reluctant, further, it is possible to suppress the discontinuity of brightness and color between areas.
  • the averaged LPF is simply used as the smoothing process performed by the WB correction gain smoothing unit 18, but a weighted LPF is used as necessary. May be. An LPF having a large radius may be used. Further, the direction and strength of the LPF may be varied according to the difference in white balance correction gain between blocks and the directionality thereof. Other functions and effects are substantially the same as those of the multi-area white balance control device 1 and the multi-area white balance control method of the first embodiment.
  • the image area dividing unit 11 as an area dividing unit includes: Although the example in which the input image is divided into blocks each having the same shape and area divided by vertical and horizontal straight lines has been described, the shape and size of each area divided by the area dividing means in the multi-area white balance control device 1 of the present invention. Is not limited to this embodiment. For example, any shape such as a triangular shape or a curved shape may be used, and the size of each area may be different.
  • the multi-area white balance control device 1 of each of the above embodiments includes a computer that includes an image area dividing unit 11 (area dividing unit), a WB correction gain estimating unit 12 (white balance correction gain estimating unit), and a WB correction gain specific determining unit. 13 (white balance correction gain peculiar determination means), and a WB correction gain correction section 14 (white balance correction gain correction means) may be configured by a computer recorded on a hard disk incorporating a multi-area white balance control program. .
  • the multi-area white balance control device 1 according to the present embodiment includes a computer that includes an image area dividing unit 11 (area dividing unit), a WB correction gain estimating unit 12 (white balance correction gain estimating unit), and a WB correction gain specific determining unit 13.
  • a multi-area white balance control program for functioning as (white balance correction gain peculiar determination means), WB correction gain correction section 14 (white balance correction gain correction means), and WB gain correction section 17 (white balance processing means) is recorded.
  • a computer-readable medium such as a CD-ROM may be used.
  • the multi-area white balance image processing apparatus 10 of each of the above embodiments includes a computer that includes an image area dividing unit 11 (area dividing unit), a WB correction gain estimating unit 12 (white balance correction gain estimating unit), and a WB correction gain specific determination.
  • Multi-area white balance image processing program for functioning as a unit 13 (white balance correction gain specific determination unit), a WB correction gain correction unit 14 (white balance correction gain correction unit), and a WB gain correction unit 17 (white balance processing unit)
  • You may comprise with the computer which recorded on the hard disk which contains.
  • the multi-area white balance image processing apparatus 10 includes a computer with an image area dividing unit 11 (area dividing unit), a WB correction gain estimating unit 12 (white balance correction gain estimating unit), and a WB correction gain specific.
  • Multi-area white balance image processing for functioning as a determination unit 13 (white balance correction gain specific determination unit), a WB correction gain correction unit 14 (white balance correction gain correction unit), and a WB gain correction unit 17 (white balance processing unit)
  • the program may be recorded on a computer-readable medium such as a CD-ROM.
  • Multi-area white balance control apparatus multi-area white balance control method, multi-area white balance control program, computer recording multi-area white balance control program, multi-area white balance image processing apparatus, multi-area white balance image processing method
  • a multi-area white balance image processing program, a computer having a multi-area white balance image processing program recorded thereon, and an imaging apparatus having a multi-area white balance image processing apparatus are so-called mixed light source image white images captured with a plurality of different light sources. This is useful in fields where balance correction is required.
  • Multi area white balance control apparatus 10
  • Multi area white balance image processing apparatus 11
  • Area division means (image area division part) 12
  • White balance correction gain estimation means (WB correction gain estimation unit) 13
  • White balance correction gain uniqueness determining means (WB correction gain uniqueness determining unit) 14
  • White balance correction gain correction means (WB correction gain correction unit) 15
  • White balance correction gain map generation means (WB correction gain map generation unit) 16
  • Gain map storage unit 17
  • White balance correction gain smoothing means WB correction gain smoothing unit) 21
  • Lens 22 23

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】個別のエリアでホワイトバランス補正ゲイン推定が間違っていても、違和感の無い色再現を実現することの可能なマルチエリアホワイトバランス制御装置の提供。 【解決手段】入力画像を複数のエリアに分割するエリア分割手段１１と、分割されたエリア毎にホワイトバランス補正ゲインを推定するホワイトバランス補正ゲイン推定手段１２と、推定された、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき、当該エリアの推定されたホワイトバランス補正ゲインが特異であるか否かを判定するホワイトバランス補正ゲイン特異判定手段１３と、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを、特異であると判定されたエリアに隣接する周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正するホワイトバランス補正ゲイン修正手段１４とを有する。

Description

マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
　本発明は、複数の光源で照明されたシーンを撮影した画像におけるマルチエリアホワイトバランス画像処理において、複数のエリアに分割された画像に対して、ホワイトバランス補正ゲインをエリア毎に推定し、推定した全エリアのホワイトバランス補正ゲインを用いて、入力画像全体のホワイトバランス補正を行うことで、画像全体における違和感の無い色再現を実現するためのマルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置に関する。
　撮影光源は、日中の屋外であれば太陽の高度・大気の状態などに依存してその色温度が変化する。また、日向と日陰でも色温度が異なる。
　更に屋内では蛍光灯や白熱灯など様々な人工照明があり、それぞれの光源の色温度が異なる。
　また、昼間の室外でフラッシュ撮影した場合、フラッシュ照明と外光の混合光が撮影光源となる。
　また、夜の室外でフラッシュ撮影した場合、フラッシュ照明と背景の人工照明とは混合しないが、同じシーンの中の異なるエリアでは、光源の色温度が異なる。
　また、室内でフラッシュ撮影した場合、フラッシュ照明と人工照明が混じりあった光が、撮影光源となる。
　上記のような様々な撮影光源の下では、人間の眼は色順応する。つまり、人間の眼は、光源が太陽光、人工照明、それらのミックス光の如何を問わず、注目エリアの白い被写体を白く感じる。この人間の眼の特性に合わせて入力装置であるカメラも、ＲＧＢのゲインを調整して、いわゆるホワイトバランスを取るように構成されている。
　しかし、カメラにとっては、撮影前まで撮影光源が未知であるため、一般的には撮影照明の種類（光源の色温度）を撮影した画像から推定したり、もしくはユーザーが指定することによって、その照明種類に合わせて撮影した画像全体のホワイトバランスを補正する。
　そして、従来のデジタルカメラでは、撮影時の光源の種類が１つであると仮定して、ホワイトバランス補正ゲインを求め、それを用いて撮影した画像のホワイトバランスを補正するものが多い。
　しかし、被写体のシーンが複数の光源によって照明された場合、画像全体のホワイトバランス処理を高精度に行うためには、取得した画像を複数のエリアに分割し、分割したエリア毎に異なるホワイトバランス処理を行う必要がある。
　従来、複数の光源で照明されたシーンを撮影した画像のホワイトバランス処理を行う方法としては、例えば、特許文献１に、撮像画面内に異なる種類の光源の照射エリアが存在する場合、撮像画面全体に適切なホワイトバランスを掛けることは難しく、色ずれが生じた撮像画像になってしまうという問題を解決するために、撮像画面内を輝度情報と色情報とに応じて複数の領域に分割し、複数の領域のそれぞれに対して異なるホワイトバランス補正係数を設定し、複数の領域のそれぞれに対して設定されたホワイトバランス補正係数の差を、所定範囲内に収めるホワイトバランス補正係数リミットを設けて、全画面のホワイトバランス補正係数を生成することが開示されている。
日本国特許公開公報　特開２０１０－２１３２３２号
　従来、複数の異種光源により撮影を行った所謂ミックス光源画像のホワイトバランス補正技術では、ホワイトバランスの補正に先立ち、入力された画像を複数のエリアに分割し、該分割されたエリアごとに、ホワイトバランス補正ゲインを算出している。
　しかし、各分割エリアが入力画像の一部であり、光源色が無く、単一な色の被写体になり易いため、ホワイトバランス補正ゲインの推定を間違え易い。
　更に、たとえホワイトバランス補正ゲイン推定の精度が高くても、多数のエリアにおいて１つでもホワイトバランス補正ゲインの推定を間違うと、画像全体のホワイトバランス補正に必ず悪影響を与える。そこで、個別の分割されたエリアのホワイトバランス補正ゲインの推定を間違えたとしても、画像全体のホワイトバランス補正に悪影響が生じないようにする必要がある。
　また、推定したホワイトバランス補正ゲインがエリア間で異なると、それを用いてホワイトバランス補正された画像が、エリアの境界部分で輝度や色の不連続性を生じるため、斑模様の画像になりやすい。
　しかるに、特許文献１に記載されている方法では、分割された複数のエリアのそれぞれのホワイトバランス補正ゲイン（ホワイトバランス補正係数）を設定しているが、ホワイトバランス補正ゲインの設定を間違うことが想定されていない。
　本発明は、以上の従来技術における問題を鑑みてなされたものであり、撮影画像全体を複数のエリアに分割して、それぞれのエリアのホワイトバランス補正ゲインを推定する場合、個別のエリアでホワイトバランス補正ゲイン推定が間違っていても、違和感の無い色再現を実現することの可能なマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置を提供することを目的としている。
　上記目的を達成するため、本発明によるマルチエリアホワイトバランス制御装置は、入力画像を複数のエリアに分割するエリア分割手段と、前記エリア分割手段によって分割されたエリア毎にホワイトバランス補正ゲインを推定するホワイトバランス補正ゲイン推定手段と、前記ホワイトバランス補正ゲイン推定手段によって推定された、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき、当該エリアの推定されたホワイトバランス補正ゲインが特異であるか否かを判定するホワイトバランス補正ゲイン特異判定手段と、前記ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを、特異であると判定されたエリアに隣接する周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正するホワイトバランス補正ゲイン修正手段とを有し、推定された全エリアのホワイトバランス補正ゲインのうち、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみが修正された、前記入力画像全体のホワイトバランス補正ゲインマップを生成することを特徴としている。
　また、本発明によるマルチエリアホワイトバランス制御方法は、入力画像を複数のエリアに分割し、分割したエリア毎にホワイトバランス補正ゲインを推定し、推定した、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき、当該エリアの推定したホワイトバランス補正ゲインが特異であるか否かを判定し、特異であると判定したエリアの推定したホワイトバランス補正ゲインのみを、特異であると判定したエリアに隣接する周辺エリアの推定したホワイトバランス補正ゲインに基づき修正することにより、推定した全エリアのホワイトバランス補正ゲインのうち、特異であると判定したエリアの推定したホワイトバランス補正ゲインのみを修正した、前記入力画像全体のホワイトバランス補正ゲインマップを生成することを特徴としている。
　また、本発明によるマルチエリアホワイトバランス制御プログラムを記録したコンピュータは、前記コンピュータを、入力画像を複数のエリアに分割するエリア分割手段、前記エリア分割手段によって分割されたエリア毎にホワイトバランス補正ゲインを推定するホワイトバランス補正ゲイン推定手段、前記ホワイトバランス補正ゲイン推定手段によって推定された、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき、当該エリアの推定されたホワイトバランス補正ゲインが特異であるか否かを判定するホワイトバランス補正ゲイン特異判定手段、前記ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを、特異であると判定されたエリアに隣接する周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正するホワイトバランス補正ゲイン修正手段として機能させ、推定された全エリアのホワイトバランス補正ゲインのうち、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみが修正された、前記入力画像全体のホワイトバランス補正ゲインマップを生成するためのマルチエリアホワイトバランス制御プログラムを記録している。
　また、本発明によるマルチエリアホワイトバランス制御プログラムは、マルチエリアホワイトバランス制御装置に備わるコンピュータが読み取り可能なマルチエリアホワイトバランス制御プログラムであって、前記コンピュータを、入力画像を複数のエリアに分割するエリア分割手段、前記エリア分割手段によって分割されたエリア毎にホワイトバランス補正ゲインを推定するホワイトバランス補正ゲイン推定手段、前記ホワイトバランス補正ゲイン推定手段によって推定された、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき、当該エリアの推定されたホワイトバランス補正ゲインが特異であるか否かを判定するホワイトバランス補正ゲイン特異判定手段、前記ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを、特異であると判定されたエリアに隣接する周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正するホワイトバランス補正ゲイン修正手段として機能させ、推定された全エリアのホワイトバランス補正ゲインのうち、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみが修正された、前記入力画像全体のホワイトバランス補正ゲインマップを生成することを特徴としている。
　本発明によれば、撮影画像全体を複数のエリアに分割して、それぞれのエリアのホワイトバランス補正ゲインを推定する場合、個別のエリアでホワイトバランス補正ゲイン推定が間違っていても、違和感の無い色再現を実現することの可能なマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置が得られる。
本発明の第１実施形態にかかるマルチエリアホワイトバランス制御装置を備えたデジタルカメラのブロック図である。 図１のマルチエリアホワイトバランス制御装置における入力画像から、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインが修正された、入力画像全体のホワイトバランス補正ゲインマップを生成するまでの処理手順を示すフローチャートである。 図１のマルチエリアホワイトバランス制御装置において、エリア分割手段が入力画像を複数のエリアに分割した一例を示す説明図である。 図１のマルチエリアホワイトバランス制御装置において、ホワイトバランス補正ゲイン推定手段が推定した、入力画像の全エリアに対応するホワイトバランス補正ゲインマップ及びホワイトバランス補正ゲイン特異手段が特異であると判定したホワイトバランス補正ゲインの一例を示す説明図で、(a)はＲ／Ｇホワイトバランス補正ゲインマップ及びホワイトバランス補正ゲイン特異手段が特異であると判定したホワイトバランス補正ゲインを示す図、(b)はＢ／Ｇホワイトバランス補正ゲインマップ及びホワイトバランス補正ゲイン特異手段が特異であると判定したホワイトバランス補正ゲインを示す図である。 図１のマルチエリアホワイトバランス制御装置において、ホワイトバランス補正ゲイン修正手段が、ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインを、特異であると判定されたエリアに隣接する周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正した、入力画像の全エリアに対応するホワイトバランス補正ゲインマップの一例を示す説明図で、(a)は修正済みのＲ／Ｇホワイトバランス補正ゲインマップを示す図、(b)は修正済みのＢ／Ｇホワイトバランス補正ゲインマップを示す図である。 図１のマルチエリアホワイトバランス制御装置において、エリア分割手段による分割態様の変形例を示す説明図で、(a)はその一例を示す図、(b)はその他の例を示す図である。 図１のマルチエリアホワイトバランス制御装置において、ホワイトバランス補正ゲイン特異判定手段が当該エリアの推定されたホワイトバランス補正ゲインを特異であると判定する方法の一変形例を示す説明図で、(a)は当該エリアの推定されたホワイトバランス補正ゲインと当該エリアに隣接する周辺エリアの夫々推定されたホワイトバランス補正ゲインを示す図、(b)は当該エリアと当該エリアに隣接する周辺エリアのうちの一つのエリアとのホワイトバランス補正ゲインの差の一例として、ＸＹ座標上で当該エリアのＲ／Ｇホワイトバランス補正ゲインを一方の座標軸上、Ｂ／Ｇホワイトバランス補正ゲインを他方の座標軸上にとり、当該エリアと当該エリアに隣接する周辺エリアのうちの一つのエリアのホワイトバランス補正ゲインを表す点同士の距離を示す図である。 本実施形態の変形例として、図１のマルチエリアホワイトバランス制御装置において、エリア分割手段が入力画像を図３の例とは異なるサイズの複数のエリアに分割したときの、ホワイトバランス補正ゲイン推定手段が推定した、入力画像の全エリアに対応するホワイトバランス補正ゲインマップ及びホワイトバランス補正ゲイン特異手段が特異であると判定したホワイトバランス補正ゲイン、及び、ホワイトバランス補正ゲイン修正手段が、ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインを、特異であると判定されたエリアに隣接する周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正した、入力画像の全エリアに対応するホワイトバランス補正ゲインマップを示す説明図で、(a)は修正前のＲ／Ｇホワイトバランス補正ゲインマップ及びホワイトバランス補正ゲイン特異手段が特異であると判定したホワイトバランス補正ゲインを示す図、(b)は特異であると判定されたエリアの推定されたホワイトバランス補正ゲインを修正済みのＲ／Ｇホワイトバランス補正ゲインマップを示す図である。 本発明の第２実施形態にかかるマルチエリアホワイトバランス制御装置を備えたデジタルカメラのブロック図である。 図９のマルチエリアホワイトバランス制御装置における入力画像から、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインが修正され、更に全エリアのホワイトバランス補正ゲインが平滑化された、入力画像全体のホワイトバランス補正ゲインマップを生成するまでの処理手順を示すフローチャートである。 図９のマルチエリアホワイトバランス制御装置において、ホワイトバランス補正ゲイン平滑化手段により、平滑化処理が行われた入力画像の全エリアに対応するホワイトバランス補正ゲインマップの一例を示す説明図で、(a)は平滑化処理済みのＲ／Ｇホワイトバランス補正ゲインマップを示す図、(b)は平滑化処理済みのＢ／Ｇホワイトバランス補正ゲインマップを示す図である。 図１１の比較例として、推定された入力画像全体のホワイトバランス補正ゲインマップに対して、特異であると判定されうるエリアの推定されたホワイトバランス補正ゲインの修正を行わずに、図１１と同様の平滑化処理を行った場合のホワイトバランス補正ゲインマップの一例を示す説明図で、(a)は平滑化処理済みのＲ／Ｇホワイトバランス補正ゲインマップを示す図、(b)は平滑化処理済みのＢ／Ｇホワイトバランス補正ゲインマップを示す図である。
　実施例の説明に先立ち、本発明の作用効果について説明する。
　本発明は、入力画像を複数のエリアに分割し、分割したエリア毎にホワイトバランス補正ゲインを推定し、推定した、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき、当該エリアの推定したホワイトバランス補正ゲインが特異であるか否かを判定し、特異であると判定したエリアの推定したホワイトバランス補正ゲインのみを、特異であると判定したエリアに隣接する周辺エリアの推定したホワイトバランス補正ゲインに基づき修正することにより、推定した全エリアのホワイトバランス補正ゲインのうち、特異であると判定したエリアの推定したホワイトバランス補正ゲインのみを修正した、前記入力画像全体のホワイトバランス補正ゲインマップを生成するようにしている。
　本発明のように、推定した当該エリアのホワイトバランス補正ゲインが特異であるか否かを、当該エリアに隣接する推定した周辺エリアのホワイトバランス補正ゲインとの比較に基づき判定し、特異であると判定したエリアの推定したホワイトバランス補正ゲインのみを、特異であると判定したエリアに隣接する周辺エリアの推定したホワイトバランス補正ゲインに基づき修正すれば、個別のエリアで当初推定したホワイトバランス補正ゲインが間違っていても、入力画像に対応する全エリアのホワイトバランス補正ゲインの値が適正なホワイトバランス補正ゲインマップを作成することができる。そして、この推定を間違ったエリアのホワイトバランス補正ゲインのみを修正済みの入力画像全体のホワイトバランス補正ゲインマップに基づいて入力画像全体のホワイトバランスを補正したときに、入力画像全体のホワイトバランス補正に悪影響が生じず、入力画像全体における当該エリアの色のバランスが適正に保たれ、違和感のない色再現を実現することができる。
　また、本発明において、更に、特異であると判定したエリアの推定したホワイトバランス補正ゲインのみを修正済みのエリアを含む、入力画像全体における全エリアのホワイトバランス補正ゲインに対して、平滑化処理を行うようにすれば、複数の光源で照明されたシーンを撮影した画像に対し、エリア間での輝度や色の不連続性を抑えることができる。
　以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に係る本発明を限定するものではない。
第１実施形態
　図１は本発明の第１実施形態にかかるマルチエリアＡＷＢ（オートホワイトバランス）制御装置を備えたデジタルカメラのブロック図である。図１中、一点鎖線で囲んだ部分が本実施形態にかかるマルチエリアホワイトバランス制御装置、二点鎖線で囲んだ部分が本実施形態にかかるマルチエリアホワイトバランス画像処理装置に対応する構成である。図２は図１のマルチエリアホワイトバランス制御装置における入力画像から、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインが修正された、入力画像全体のホワイトバランス補正ゲインマップを生成するまでの処理手順を示すフローチャートである。
　本実施形態のマルチエリアホワイトバランス制御装置１は、図１に示すように、エリア分割手段としての画像エリア分割部１１と、ホワイトバランス補正ゲイン推定手段としてのＷＢ（ホワイトバランス）補正ゲイン推定部１２と、ホワイトバランス補正ゲイン特異判定手段としてのＷＢ（ホワイトバランス）補正ゲイン特異判定部１３と、ホワイトバランス補正ゲイン修正手段としてのＷＢ（ホワイトバランス）補正ゲイン修正部１４を有している。図１中、１０はマルチエリアホワイトバランス画像処理装置、１５はホワイトバランス補正ゲインマップ生成手段としてのＷＢ（ホワイトバランス）補正ゲインマップ生成部、１６はＷＢ（ホワイトバランス）ゲイン修正部１４が、特異であると判定されたエリアの推定されたエリアのホワイトバランス補正ゲインを修正済みの、入力画像全体のホワイトバランス補正ゲインマップを記憶するゲインマップ記憶部、１７はホワイトバランス処理手段としてのＷＢ（ホワイトバランス）ゲイン補正部、２１はレンズ、２２はイメージセンサ、２３はイメージセンサ２２が撮像した画像を記憶する画像記憶部である。なお、本実施形態のマルチエリアホワイトバランス画像処理装置１０を備えたデジタルカメラは、図示しない制御部を備えている。制御部は、撮影指示に基づきイメージセンサ２２が撮影した画像を画像記憶部２３に記憶する機能や、画像記憶部２３に記憶されている画像を入力する機能を、夫々別個に備えている。図１の例では、図示しない制御部の撮影指示により、レンズ２１を経てイメージセンサ２２に結像された画像が撮像されデジタル信号として画像記憶部２３に記憶されている。
　画像エリア分割部１１は、入力画像を予め決められたサイズの複数のブロックに分割する。
　ＷＢ補正ゲイン推定部１２は、画像エリア分割部１１により分割されたブロック毎に、ホワイトバランス補正ゲインＲ／Ｇ，Ｂ／Ｇを推定する。
　なお、ホワイトバランス補正ゲインの推定方法の詳細については後述する。
　ＷＢ補正ゲイン特異判定部１３は、ＷＢ補正ゲイン推定部１２によって推定された、ホワイトバランス補正ゲインマップの各ブロックのホワイトバランス補正ゲインが特異であるか否かを、推定された、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき判定する。
　なお、ホワイトバランス補正ゲインが特異であるか否かの判定方法の詳細については後述する。
　ＷＢ補正ゲイン修正部１４は、ＷＢ補正ゲイン特異判定部１３によって特異であると判定されたブロックのホワイトバランス補正ゲインのみを、特異であると判定されたブロックに隣接する周辺ブロックのホワイトバランス補正ゲインに基づき修正する。
　なお、ホワイトバランス補正ゲインの修正方法の詳細については、後述する。
　ＷＢゲイン補正部１７は、ＷＢ補正ゲイン修正部１４によって当該ブロックのホワイトバランス補正ゲインを修正済みのホワイトバランス補正ゲインマップに基づき、入力画像全体のホワイトバランスを補正する。ＷＢ補正ゲイン推定部１２によって推定された全ブロックのホワイトバランス補正ゲインのうち、ＷＢ補正ゲイン特異判定部１３により特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみがＷＢ補正ゲイン修正部１４によって修正された、入力画像全体のホワイトバランス補正ゲインマップに基づき、入力画像全体のホワイトバランスを補正する。
　このように構成された本実施形態のマルチエリアホワイトバランス制御装置を用いた入力画像から、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインが修正された、入力画像全体のホワイトバランス補正ゲインマップを生成するまでの処理の流れを図２から図５を用いて説明する。
　まず、図示しないデジタルカメラの制御部が、イメージセンサ２２での出力を経て画像記憶部２３に記憶されている画像データを入力する（ステップＳ１）。
　次いで、画像エリア分割部１１が、入力された画像データを予め決められたサイズの複数のブロックに分割する（ステップＳ２）。なお、便宜上、以下の説明では画像データは例えば図３に示すように、７×７のブロックに分割するものとする。
　次いで、ＷＢ補正ゲイン推定部１２が、画像エリア分割部１１により分割された各ブロックの画像に対して、例えば、日本国特許公開公報、特開２００９－０３８７１２号に記載のような方法等、従来提案されているいずれかの方法を用いて、Ｒ／Ｇホワイトバランス補正ゲイン，Ｂ／Ｇホワイトバランス補正ゲインを推定する（ステップＳ３）。この推定は、全てのブロックに対して順次行い、全てのブロックに対する推定が終わるまで繰り返す。
　その結果、ＷＢ補正ゲイン推定部１２の出力として、入力画像の全ブロックに対応するＷＢ補正ゲインマップが、例えば、図４に示すように得られる。
　なお、日本国特許公開公報、特開２００９－０３８７１２号に記載の方法では、撮影シーンの特徴量ベクトルと、予め算出された判別基準に基づき、照明色の類似した特定グループに撮影シーンが属している確度を算出し、算出した確度と、撮影シーンで撮影された画像とに基づきホワイトバランス補正ゲインを取得する。また、ＷＢ補正ゲイン推定部１２がＲ／Ｇホワイトバランス補正ゲイン，Ｂ／Ｇホワイトバランス補正ゲインを推定する他の方法としては、本件出願人の提案による日本国特許出願、特願第２０１３－２３２３５０号や日本国特許出願、特願第２０１３－２４６４７５号の明細書に記載の、入力画像を複数に分割したエリア毎に色温度を取得し、取得した各エリアの色温度に基づきホワイトバランス補正ゲインを取得する方法がある。
　特に日本国特許公開公報、特開２００９－０３８７１２号公報に記載の方法を用いると、撮影時に使用された照明の種類を特定せずに、当該画像のホワイトバランス補正ゲインが正確に、直接算出される。
　次いで、ＷＢ補正ゲイン特異判定部１３が、ＷＢ補正ゲイン推定部１２によって推定された、ホワイトバランス補正ゲインマップの各ブロックのホワイトバランス補正ゲインが特異であるか否かを、当該ブロックと当該ブロックに隣接する周辺ブロックとの、推定されたホワイトバランス補正ゲインの比較に基づき判定する（ステップＳ４）。そして、当該ブロックの推定された補正ゲインが、当該ブロックに隣接する周辺ブロックの推定された補正ゲインのいずれに対しても所定以上の差がある場合に、当該ブロックの推定されたホワイトバランス補正ゲインを特異であると判定し、それ以外の場合には当該ブロックの推定されたホワイトバランス補正ゲインを特異でないと判定する。
　図４は図１のマルチエリアホワイトバランス制御装置１において、ＷＢ補正ゲイン推定部１２が推定した、入力画像の全ブロックに対応するホワイトバランス補正ゲインマップ及びＷＢ補正ゲイン特異判定部１３が特異であると判定したホワイトバランス補正ゲインの一例を示す説明図である。
　図４の例では、ＷＢ補正ゲイン特異判定部１３が、当該ブロックの推定されたホワイトバランス補正ゲインが、当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲインのいずれとも０．２以上の差がある場合に、当該ブロックの推定されたホワイトバランス補正ゲインを特異であると判定し、それ以外の場合には、当該ブロックの推定されたホワイトバランス補正ゲインを特異でないと判定するように構成されている例を示している。
　詳しくは、図４(a)の例では、Ｒ／Ｇホワイトバランス補正ゲインマップにおいて、ブロック(１，５)の推定されたホワイトバランス補正ゲインが“０．７”であり、当該ブロックに隣接する３×３のブロックのいずれの推定されたホワイトバランス補正ゲイン“１．１”に対しても０．２以上の差がある。このため、ＷＢ補正ゲイン特異判定部１３は、ブロック（１，５）の推定されたホワイトバランス補正ゲイン“０．７”を特異であると判定する。
　一方、ブロック（３，３）、（３，４）の推定されたホワイトバランス補正ゲインは“０．８”であり、夫々当該ブロックに隣接する３×３のブロックの殆どの推定されたホワイトバランス補正ゲイン“１．１”に対して０．２以上の差があるが、互いに隣り合うブロック（３，４）（３，３）の推定されたホワイトバランス補正ゲイン“０．８”に対して差がない。この場合、ＷＢ補正ゲイン特異判定部１３は、ブロック（３，３）、（３，４）の推定されたホワイトバランス補正ゲイン“０．８”を特異でないと判定する。
　また、図４(b)の例では、Ｂ／Ｇホワイトバランス補正ゲインマップにおいて、ブロック(１，５)の推定されたホワイトバランス補正ゲインが“０．８”であり、当該ブロックに隣接する３×３のブロックのいずれの推定されたホワイトバランス補正ゲイン“１．２”に対しても０．２以上の差がある。このため、ＷＢ補正ゲイン特異判定部１３は、ブロック（１，５）の推定されたホワイトバランス補正ゲイン“０．８”を特異であると判定する。
　一方、ブロック（３，３）、（３，４）の推定されたホワイトバランス補正ゲインは“１”であり、夫々当該ブロックに隣接する３×３のブロックの殆どの推定されたホワイトバランス補正ゲイン“１．２”に対して０．２以上の差があるが、互いに隣り合うブロック（３，４）（３，３）の推定されたホワイトバランス補正ゲイン“１”に対して差がない。この場合、ＷＢ補正ゲイン特異判定部１３は、ブロック（３，３）、（３，４）の推定されたホワイトバランス補正ゲイン“１”を特異でないと判定する。
　なお、ＷＢ補正ゲイン特異判定部１３による、推定されたホワイトバランス補正ゲインが特異であるか否かの判定基準は、“当該ブロックに隣接する周辺ブロック”や、“当該ブロックの推定されたホワイトバランス補正ゲインと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲインとの差”に応じて、様々に設定しうる。
　“当該ブロックに隣接する周辺ブロック”に関する基準としては、例えば、次のような基準を用いることができる。
（基準１－１）当該ブロックに隣接する３×３のブロック。
（基準１－２）当該ブロックに隣接する上、下、左、右のブロック。
　なお、図４の例においては、便宜上、基準１－１を用いている。
　また、“当該ブロックの推定されたホワイトバランス補正ゲインと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲインとの差”に関する基準としては、例えば、次のような基準を用いることができる。
（基準２－１）一つのホワイトバランス補正ゲインにおける、当該ブロックと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲイン同士の単純な差。
（基準２－２）複数種類の推定されたホワイトバランス補正ゲインマップをｎ次の座標にプロットしたときの当該ブロックと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲインをプロットした点同士のユークリッド距離。
（基準２－３）複数種類の推定されたホワイトバランス補正ゲインマップにおける、当該ブロックと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲイン同士の差の絶対値を足し込んだ値。
　なお、図４の例においては、便宜上、基準２－１を用いている。基準２－２、基準２－３の詳細については、後述する。
　このＷＢ補正ゲイン特異判定部１３による、推定されたホワイトバランス補正ゲインが特異であるか否かの判定（ステップＳ４）は、全てのブロックに対して順次行い、全てのブロックに対する判定が終わるまで繰り返す。
　ＷＢ補正ゲイン特異判定部１３による全てのブロックに対するホワイトバランス補正ゲインが特異であるか否かの判定が終わった後、ＷＢ補正ゲイン修正部１４が、ＷＢ補正ゲイン特異判定部１３によって特異であると判定されたブロックの推定されたホワイトバランス補正ゲインを、特異であると判定されたブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲインに基づき修正する（ステップＳ５）。
　図５は図１のマルチエリアホワイトバランス制御装置１において、ＷＢ補正ゲイン修正部１４が、ＷＢ補正ゲイン特異判定部１３によって特異であると判定されたブロックの推定されたホワイトバランス補正ゲインを、特異であると判定されたブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲインに基づき修正した、入力画像の全ブロックに対応するホワイトバランス補正ゲインマップの一例を示す説明図である。
　図５(a)の例では、ＷＢ補正ゲイン修正部１４が、図４(a)に示すＲ／Ｇホワイトバランス補正ゲインマップにおいて、ＷＢ補正ゲイン特異判定部１３によって特異であると判定されたブロック（１，５）の推定されたホワイトバランス補正ゲイン“０．７”を、ブロック（１，５）の周辺３×３のブロックの推定されたホワイトバランス補正ゲインの平均値“１．１”に修正する。
　また、図５(b)の例では、ＷＢ補正ゲイン修正部１４が、図４(b)に示すＢ／Ｇホワイトバランス補正ゲインマップにおいて、ＷＢ補正ゲイン特異判定部１３によって特異であると判定されたブロック（１，５）の推定されたホワイトバランス補正ゲイン“０．８”を、ブロック（１，５）の周辺３×３のブロックの推定されたホワイトバランス補正ゲインの平均値“１．２”に修正する。
　なお、ＷＢ補正ゲイン修正部１４による、特異であると判定されたブロックの推定されたホワイトバランス補正ゲインの修正に用いる、“特異であると判定されたブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲイン”の基準は、“特異であると判定されたブロックに隣接する周辺ブロック”に応じて、様々に設定しうる。
　“特異であると判定されたブロックに隣接する周辺ブロック”に関する基準としては、例えば、次のような基準を用いることができる。
（基準３－１）特異であると判定されたブロックに隣接する３×３のブロック。
（基準３－２）特異であると判定されたブロックに隣接する上、下、左、右のブロック。
（基準３－３）特異であると判定されたブロックに隣接する周辺ブロック（基準３－１又は基準３－２に該当するブロック）を含む、特異であると判定されたブロックを基準とする所定半径範囲内の周辺ブロック。
　なお、図５の例においては、便宜上、基準３－１を用いている。
　このＷＢ補正ゲイン修正部１４による、特異であると判定されたブロックの推定されたホワイトバランス補正ゲインの修正（ステップＳ５）は、全てのブロックに対して順次行い、全てのブロックに対する判定が終わるまで繰り返す。
　その結果、図５に示すような、推定された全エリアのホワイトバランス補正ゲインのうち、特異であると判定されたブロックの推定されたホワイトバランス補正ゲインのみが修正された、入力画像全体のホワイトバランス補正ゲインマップが得られる。
　得られたホワイトバランス補正ゲインマップは、記録部１６に記憶される。
　そして、ＷＢゲイン補正部１７が、入力画像の位置に対応して、それぞれの色の画素値にゲインマップ記憶部１６から入力したゲインをかけることにより、ホワイトバランスを補正し、画像を出力する。
　本実施形態のマルチエリアホワイトバランス制御装置１及びマルチエリアホワイトバランス制御方法によれば、推定した当該ブロックのホワイトバランス補正ゲインが特異であるか否かを、当該ブロックに隣接する推定した周辺ブロックのホワイトバランス補正ゲインとの比較に基づき判定し、特異であると判定したブロックの推定したホワイトバランス補正ゲインのみを、特異であると判定したブロックに隣接する周辺ブロックの推定したホワイトバランス補正ゲインに基づき修正するようにしたので、個別のブロックで当初推定したホワイトバランス補正ゲインが間違っていても、入力画像に対応する全ブロックのホワイトバランス補正ゲインの値が適正なホワイトバランス補正ゲインマップを作成することができる。そして、この推定を間違ったブロックのホワイトバランス補正ゲインのみを修正済みの入力画像全体のホワイトバランス補正ゲインマップに基づいて入力画像全体のホワイトバランスを補正したときに、入力画像全体のホワイトバランス補正に悪影響が生じず、入力画像全体における当該エリアの色のバランスが適正に保たれ、違和感のない色再現を実現することができる。
　なお、上記の例では、画像エリア分割部１１は、互いに隣り合うブロック同士が重ならないようにして、入力画像を複数のブロックに分割するように構成したが、画像エリア分割部１１は、図６(a)に破線で示すように、互いに隣り合うブロック同士が一部重なるようにして、入力画像を複数のブロックに分割するように構成してもよい。
　あるいは、画像エリア分割部１１は、図６(b)に破線で示すように、互いに隣り合うブロック同士が離れるようにして、入力画像を複数のブロックに分割するように構成してもよい。
　また、上述したように、図４の例では、ＷＢ補正ゲイン特異判定部１３が、ホワイトバランス補正ゲインが特異であるか否かを判定する基準における“当該ブロックの推定されたホワイトバランス補正ゲインと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲインとの差”に関する基準として、基準２－１のＲ／Ｇホワイトバランス補正ゲイン、Ｒ／Ｂホワイトバランス補正ゲインの夫々について、当該ブロックと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲイン同士の単純な差を用いたが、基準２－２の当該ブロックと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲインをプロットした点同士のユークリッド距離や、基準２－３の複数種類の推定されたホワイトバランス補正ゲインマップにおける、当該ブロックと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲイン同士の差の絶対値を足し込んだ値を用いてもよい。
　図７は図１のマルチエリアホワイトバランス制御装置１において、ＷＢ補正ゲイン特異判定部１３が当該エリアの推定されたホワイトバランス補正ゲインを特異であると判定する方法の一変形例として、“当該ブロックの推定されたホワイトバランス補正ゲインと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲインとの差”に関する基準２－２を用いた例を示す説明図で、(a)は当該エリアの推定されたホワイトバランス補正ゲインと当該エリアに隣接する周辺エリアの夫々推定されたホワイトバランス補正ゲインを示す図、(b)は当該エリアと当該エリアに隣接する周辺エリアのうちの一つのエリアとのホワイトバランス補正ゲインの差の一例として、ＸＹ座標上で当該エリアのＲ／Ｇホワイトバランス補正ゲインを一方の座標軸上、Ｂ／Ｇホワイトバランス補正ゲインを他方の座標軸上にとり、当該エリアと当該エリアに隣接する周辺エリアのうちの一つのエリアのホワイトバランス補正ゲインを表す点同士の距離を示す図である。
　なお、図７(a)は、真中の当該エリア[i,j]と、隣接する周辺８つのエリアの推定されたホワイトバランス補正ゲインrg[],bg[]を示している。
　基準２－２を用いて、図７(a)の例において、当該エリアと周辺エリアの推定されたホワイトバランス補正ゲインの差に基づき、当該エリアの推定されたホワイトバランスが特異かどうかを判定する場合、まず、当該エリア[i,j]と周辺の８つのエリアのホワイトバランス補正ゲインの差をそれぞれ求める。
　図７(a)における、rg[i,j]とbg[i,j]をそれぞれ当該エリア[i,j]の推定されたホワイトバランス補正ゲインとすると、当該エリアとその真上のエリアのホワイトバランス補正ゲインの差の一例として、図７(b)に示すＸＹ座標上で当該エリアのホワイトバランス補正ゲインを表す点（rg[i,j],bg[i,j]）と真上のエリアのホワイトバランス補正ゲインを表す点（rg[i,j-1],bg[i,j-1]）の間の距離であるユークリッド距離が算出される。
　同様に、当該エリアと周辺８つのエリアのホワイトバランス補正ゲインの差をそれぞれ計算し、計算した値をそれらの差の最大値が予め決められた所定の閾値と比較することで、当該エリアのホワイトバランス補正ゲインが特異であるか否かを判定する。
　ユークリッド距離ｄは、ｎ次元のベクトルｆとｇに対して、次式１で表すことができる。
（式１）
Figure JPOXMLDOC01-appb-I000001

　例えば、２次元のベクトルｆとｇに対しては、ユークリッド距離ｄは、次式２で表される。
（式２）
Figure JPOXMLDOC01-appb-I000002

　ここで、２次元のベクトルｆ（ｘ１，ｙ１）、ｇ（ｘ２，ｙ２）に対するユークリッド距離をＳとすると、ユークリッド距離Ｓは次式３で表すことができる。
（式３）
Figure JPOXMLDOC01-appb-I000003
　そこで、上記式３を用いた、図４(a)、図４(b)に示されたＲ／Ｇホワイトバランス補正ゲイン及びＢ／Ｇホワイトバランス補正ゲインについての当該ブロックと当該ブロックに隣接する周辺ブロックとのユークリッド距離Ｓの求め方の一例を説明する。
　Ｒ／Ｇホワイトバランス補正ゲインをｘｙ座標系におけるｘ座標上の値、Ｂ／Ｇホワイトバランス補正ゲインをｘｙ座標系におけるｙ座標の値とする。そして、分割されたブロック毎に、図４(a)、図４(b)に示されたＲ／Ｇホワイトバランス補正ゲイン、Ｂ／Ｇホワイトバランス補正ゲインマップをｘｙ座標系にプロットする。このとき、当該ブロックにおけるプロットした点のｘｙ座標上の位置ｆ（ｘ１，ｙ１）と当該ブロックに隣接する周辺ブロックにおけるプロットした点のｘｙ座標上の位置ｇ（ｘ２、ｙ２）との差を、ユークリッド距離Ｓとして上記式３で示すことができる。
　例えば、ブロック（１，５）における推定されたＲ／Ｇホワイトバランス補正ゲイン、Ｂ／Ｇホワイトバランス補正ゲインをｘｙ座標系にプロットした点のｘｙ座標上の位置ｆ（０．７、０．８）と、ブロック（１，５）に隣接する３×３のブロックのうちの一つのブロック（１．４）における推定されたＲ／Ｇホワイトバランス補正ゲイン、Ｂ／Ｇホワイトバランス補正ゲインをｘｙ座標系にプロットした点のｘｙ座標上の位置ｇ（１．１、１．１）との差をユークリッド距離Ｓで示すと、
　　　｛（０．７－１．１）２＋（０．８－１．１）２｝１／２＝０．５
となる。
　そして、ＷＢ補正ゲイン特異判定部１３は、予めユークリッド距離Ｓの閾値として任意の値を設定されており、上記のようにして求めた、当該ブロックと当該ブロックに隣接する各周辺ブロックとのユークリッド距離Ｓのいずれもが、ユークリッド距離Ｓの閾値を上回る場合に、当該ブロックの推定されたホワイトバランス補正ゲインが特異であると判定し、それ以外の場合は、当該ブロックの推定されたホワイトバランス補正ゲインが特異でないと判定する。
　なお、図４(a)、図４(b)の例では、ＲＧＢの３色のカラー画像におけるＲ／Ｇホワイトバランス補正ゲイン、Ｂ／Ｇホワイトバランス補正ゲインの２種類のホワイトバランス補正ゲインを推定しており、ユークリッド距離を、それぞれのホワイトバランス補正ゲインを２次元座標上にプロットしてプロットした点の距離Ｓとして理解し易いが、推定しうるホワイトバランス補正ゲインは２種類に限定されるものではない。
　例えば、マルチカラーの画像等におけるホワイトバランス補正ゲインを推定する場合には、推定するホワイトバランス補正ゲインの種類は多くなり、２次元座標上にプロットすることができない。
　その場合でも、隣接するブロック同士のホワイトバランス補正ゲインの差を示す基準としてのユークリッド距離を、上記式１に基づいて算出することで、当該ブロックのホワイトバランス補正ゲインが特異であるか否かを判定できる。
　図１のマルチエリアホワイトバランス制御装置１において、ＷＢ補正ゲイン特異判定部１３が当該エリアの推定されたホワイトバランス補正ゲインを特異であると判定する方法の他の変形例として、基準２－３を用いた例について説明する。
　図７(a)に示したような、当該エリア[i,j]と周辺の８つのエリアのホワイトバランス補正ゲインの差を求める方法として、基準２－２のユークリッド距離の代わりに、基準２－３の当該エリアと周辺エリアのホワイトバランス補正ゲインとの差の絶対値を用いることもできる。
　例えば、当該エリアと周辺エリアのホワイトバランス補正ゲインとの差の絶対値として｜rg[i,j]-rg[i,j-1]｜を用いる。
　同様に、当該エリアと周辺８つのエリアのホワイトバランス補正ゲインの差をそれぞれ計算し、計算した値をそれらの差の最大値が予め決められた所定の閾値と比較することで、当該エリアのホワイトバランス補正ゲインが特異であるか否かを判別する。
　なお、上記説明では、便宜上、rg[]の差の絶対値を用いたが、勿論、rg[]の差の絶対値の代わりにbg[]の差の絶対値を用いてもよい。
　基準２－３の複数種類の推定されたホワイトバランス補正ゲインマップにおける、当該ブロックと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲイン同士の差の絶対値を足し込んだ値の一例を、図４(a)、図４(b)に示されたＲ／Ｇホワイトバランス補正ゲイン及びＢ／Ｇホワイトバランス補正ゲインについての当該ブロックと当該ブロックに隣接する周辺ブロックとを用いて説明する。
　例えば、図４(a)、図４(b)においてブロック（１，５）における推定されたＲ／Ｇホワイトバランス補正ゲインの値は“０．７”、Ｂ／Ｇホワイトバランス補正ゲインの値は“０．８”である。また、ブロック（１，５）に隣接する３×３のブロックのうちの一つのブロック（１，４）における推定されたＲ／Ｇホワイトバランス補正ゲイン、Ｂ／Ｇホワイトバランス補正ゲインの値は、いずれも“１．１”となっている。
　この場合、基準２－３の複数種類の推定されたホワイトバランス補正ゲインマップにおける、当該ブロックと当該ブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲイン同士の差の絶対値を足し込んだ値は、
　｜０．７－１．１ |＋｜０．８－１．１｜＝０．７
となる。
　そして、ＷＢ補正ゲイン特異判定部１３は、予め当該ブロックと当該ブロックに隣接する各周辺ブロックとの推定されたホワイトバランス補正ゲイン同士の差の絶対値を足し込んだ値の閾値として任意の値を設定されており、上記のようにして求めた、当該ブロックと当該ブロックに隣接する各周辺ブロックとの推定されたホワイトバランス補正ゲイン同士の差の絶対値を足し込んだ値のいずれもが、推定されたホワイトバランス補正ゲイン同士の差の絶対値を足し込んだ値の閾値を上回る場合に、当該ブロックのホワイトバランス補正ゲインが特異であると判定し、それ以外の場合は、当該ブロックのホワイトバランス補正ゲインが特異でないと判定する。
　また、本実施形態における図３～図５の例では、画像エリア分割部１１は、入力画像を７×７に分割したが、画像エリア分割部１１が分割するブロックのサイズ及び数は、どのようなサイズ及び数であってもよい。
　図８は本実施形態の変形例として、図１のマルチエリアホワイトバランス制御装置１において、画像エリア分割部１１が入力画像を図３の例とは異なるサイズの複数のブロックに分割したときの、ＷＢ補正ゲイン推定部１２が推定した、入力画像の全ブロックに対応するホワイトバランス補正ゲインマップ及びホワイトバランス補正ゲイン特異手段が特異であると判定したホワイトバランス補正ゲイン、及び、ホワイトバランス補正ゲイン修正部１４が、ＷＢ補正ゲイン特異判定部１３によって特異であると判定されたブロックの推定されたホワイトバランス補正ゲインを、特異であると判定されたブロックに隣接する周辺ブロックの推定されたホワイトバランス補正ゲインに基づき修正した、入力画像の全ブロックに対応するＲ／Ｇホワイトバランス補正ゲインマップを示す説明図で、(a)は修正前のＲ／Ｇホワイトバランス補正ゲインマップ及びホワイトバランス補正ゲイン特異手段が特異であると判定したホワイトバランス補正ゲインを示す図、(b)は特異であると判定されたエリアの推定されたホワイトバランス補正ゲインを修正済みのＲ／Ｇホワイトバランス補正ゲインマップを示す図である。
　本実施形態では、図８の例のように、入力画像の左上の領域と、右下の領域とで、光源が異なることが分かる場合、画像エリア分割部１１が、光源の境界に近い、左下から右上にかけての領域を小さなサイズのエリアに細かく分割し、それ以外の領域を大きなサイズのエリアに分割するようにすることもできる。
　即ち、図８(a)の例では、画像エリア分割部１１が、入力画像を３×３のブロックに分割し、３×３に分割したブロックのうち、左下のブロック、中央のブロック、右上のブロックをさらに２×２に分割している。
　ここで、右上のブロックをさらに２×２に分割してできた４つの小ブロックのうちの左下の小ブロックに対してＷＢ補正ゲイン推定部１２により推定されたホワイトバランス補正ゲインの値は“０．７”である。また、当該小ブロックの周辺のブロックの推定されたホワイトバランス補正ゲインの値“１．１”との差が“０．４”であって、ホワイトバランス補正ゲインの閾値を超えている。このため、ＷＢ補正ゲイン特異判定部１３が、当該小ブロックの推定されたホワイトバランス補正ゲインを特異であると判定する。
　一方、中央のブロックをさらに２×２に分割してできた４つの小ブロックのうちの左下及び右下の小ブロックに対してＷＢ補正ゲイン推定部１２により推定されたホワイトバランス補正ゲインの値も“０．７”である。また、夫々の当該小ブロックの周辺の殆どのブロックの推定されたホワイトバランス補正ゲインの値“１．１”との差が“０．４” あって、ＷＢ補正ゲイン特異判定部１３が、ホワイトバランス補正ゲインの閾値を超えている。しかし、隣り合う当該小ブロック同士の推定されたホワイトバランス補正ゲインの値に差がない。このため、ＷＢ補正ゲイン特異判定部１３が、これらの小ブロックの推定されたホワイトバランス補正ゲインを特異でないものと判定する。
 この場合、ＷＢ補正ゲイン修正部１４が、図８(a)に示すホワイトバランス補正ゲインマップにおいて、ＷＢ補正ゲイン特異判定部１３によって特異であると判定された、右上のブロックをさらに２×２に分割したブロックのうちの左下の小ブロックの推定されたホワイトバランス補正ゲイン“０．７”を当該小ブロックの周辺ブロックの推定されたホワイトバランス補正ゲインの平均値“１．１”に修正する。
第２実施形態
　図９は本発明の第２実施形態にかかるマルチエリアＡＷＢ（オートホワイトバランス）制御処理装置を備えたデジタルカメラのブロック図、図９中、一点鎖線で囲んだ部分が本実施形態にかかるマルチエリアホワイトバランス制御装置、二点鎖線で囲んだ部分が本実施形態にかかるマルチエリアホワイトバランス画像処理装置に対応する構成である。図１０は図９のマルチエリアホワイトバランス制御装置における入力画像から、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインが修正され、更に全エリアのホワイトバランス補正ゲインが平滑化された、入力画像全体のホワイトバランス補正ゲインマップを生成するまでの処理手順を示すフローチャートである。
　本実施形態のマルチエリアホワイトバランス制御装置１は、図９に示すように、エリア分割手段としての画像エリア分割部１１と、ホワイトバランス補正ゲイン推定手段としてのＷＢ（ホワイトバランス）補正ゲイン推定部１２と、ホワイトバランス補正ゲイン特異判定手段としてのＷＢ（ホワイトバランス）補正ゲイン特異判定部１３と、ホワイトバランス補正ゲイン修正手段としてのＷＢ（ホワイトバランス）補正ゲイン修正部１４と、ホワイトバランス補正ゲイン平滑化手段としてのＷＢ補正ゲイン平滑化部１８と、ホワイトバランス処理手段としてのＷＢ（ホワイトバランス）ゲイン補正部１７を有している。図９中、１０はマルチエリアホワイトバランス画像処理装置、１５はホワイトバランス補正ゲインマップ生成手段としてのＷＢ（ホワイトバランス）補正ゲインマップ生成部、１６はＷＢ（ホワイトバランス）ゲイン補正部１７が当該エリアのホワイトバランス補正ゲインを修正済みの、入力画像全体のホワイトバランス補正ゲインマップを記憶するゲインマップ記憶部、１７はホワイトバランス処理手段としてのＷＢ（ホワイトバランス）ゲイン補正部、２１はレンズ、２２はイメージセンサ、２３はイメージセンサ２２が撮像した画像を記憶する画像記憶部である。
　画像エリア分割部１１、ＷＢ補正ゲイン推定部１２、ＷＢ補正ゲイン特異判定部１３、ＷＢ補正ゲイン修正部１４の構成は、第１実施形態のマルチエリアホワイトバランス制御装置１０と略同じである。
　ＷＢ補正ゲイン平滑化部１８は、ＷＢ補正ゲイン修正部１４によって当該ブロックのホワイトバランス補正ゲインのみが修正された、入力画像全体のホワイトバランス補正ゲインマップにおける全エリアのホワイトバランス補正ゲインに対して、平均化ＬＰＦ（ローパスフィルタ）等の平滑化処理を行う。
　なお、平滑化処理の詳細については、後述する。
　ＷＢゲイン補正部１７は、ＷＢ補正ゲイン平滑化部１８によって、全ブロックのホワイトバランス補正ゲインを平滑化処理済みの、入力画像全体のホワイトバランス補正ゲインマップに基づき、入力画像全体のホワイトバランスを補正する。
　その他の構成は、第１実施形態のマルチエリアホワイトバランス制御装置１と略同じである。
　このように構成された本実施形態のマルチエリアホワイトバランス制御処理装置を用いた入力画像から、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインが修正され、更に全エリアのホワイトバランス補正ゲインが平滑化された、入力画像全体のホワイトバランス補正ゲインマップを生成するまでの処理の流れを図１０、図１１を用いて説明する。
　なお、図示しないデジタルカメラの制御部による画像データの入力（ステップＳ１１）からＷＢ補正ゲイン修正部１４による、特異であると判定されたブロックの推定されたホワイトバランス補正ゲインのみの修正（ステップＳ１５）までの処理は、第１実施形態のマルチエリアホワイトバランス制御装置１０と略同じである。
　　ＷＢ補正ゲイン修正部１４による、特異であると判定されたブロックの推定されたホワイトバランス補正ゲインのみの修正（ステップＳ１５）が終了後、ＷＢ補正ゲイン平滑化部１８が、入力画像全体のホワイトバランス補正ゲインマップにおける全ブロックのホワイトバランス補正ゲインに対して、平滑化処理を行う（ステップＳ１６）。
　例えば、ＷＢ補正ゲイン平滑化部１８は、図５(a)、図５(b)に示された全ブロックを対象として、ブロックごとに、そのブロックを中心とする３×３のブロックのホワイトバランス補正ゲインの平均化ＬＰＦをかける。なお、中心とするブロックに隣接する周辺ブロックが３×３に満たない場合は、中心とするブロックに隣接する周辺ブロックの範囲において平均化ＬＰＦをかける。
　より詳しくは、例えば、ＷＢ補正ゲイン平滑化部１８が、図５(a)に示すＲ／Ｇホワイトバランス補正ゲインマップにおけるブロック（３，１）に対し、ブロック（３，１）を中心とする３×３のブロックのＲ／Ｇホワイトバランス補正ゲインの平均化ＬＰＦをかける場合、ブロック（３，１）を中心とする３×３のブロック（２，０）～（２，２），（３，０）～（３，２），（４，０）～（４，２）のＲ／Ｇホワイトバランス補正ゲインの値は、いずれも“１．１”である。この場合、平均化ＬＰＦをかけた後のブロック（３，１）のホワイトバランス補正ゲインの値は、平均化ＬＰＦをかける前の値と変わらない。
　一方、ＷＢ補正ゲイン平滑化部１８が、ブロック（３，２）に対し、ブロック（３，２）を中心とする３×３のブロックのＲ／Ｇホワイトバランス補正ゲインの平均化ＬＰＦをかける場合、ブロック（３，２）を中心とする３×３のブロックのうち、ブロック（２，１）～（２，３），（３，１），（３，２），（４，１）～（４，３）のＲ／Ｇホワイトバランス補正ゲインの値は、“１．１”、ブロック（３，３）のＲ／Ｇホワイトバランス補正ゲインの値は、“０．８”である。この場合、平均化ＬＰＦをかけると、
（１．１×８＋０．８）÷９≒１．０７
となり、平均化ＬＰＦをかけた後のブロック（３，２）のＲ／Ｇホワイトバランス補正ゲインの値は、平均化ＬＰＦをかける前の“１．１”に比べて“０．０３”減少する。
　また、ＷＢ補正ゲイン平滑化部１８が、ブロック（３，３）に対し、ブロック（３，３）を中心とする３×３のブロックのＲ／Ｇホワイトバランス補正ゲインの平均化ＬＰＦをかける場合、ブロック（３，３）を中心とする３×３のブロック（２，２）～（２，４），（３，２），（３，４），（４，２）～（４，４）のＲ／Ｇホワイトバランス補正ゲインの値は、“１．１”、ブロック（３，３），（３，４）のＲ／Ｇホワイトバランス補正ゲインの値は、“０．８”である。この場合、平均化ＬＰＦをかけると、
（１．１×７＋０．８×２）÷９≒１．０３
となり、平均化ＬＰＦをかけた後のブロック（３，３）のＲ／Ｇホワイトバランス補正ゲインの値”１．０３”は、平均化ＬＰＦをかける前の“０．８”に比べて“０．２３”増加する。
　上記と同様に、ＷＢ補正ゲイン平滑化部１８が、各ブロックのＲ／Ｇホワイトバランス補正ゲインに対して、平均化ＬＰＦをかけると、図１１(a)に示すように、ブロック（２，２）～（２，５），（３，２）～（３，５），（４，２）～（４，５）のＲ／Ｇホワイトバランス補正ゲインの値が、“１．０３”～“１．０７”の範囲の値となる。そして、（３，３）、（３、４）のブロックと、これらに隣接するブロックとのＲ／Ｇホワイトバランス補正ゲインの差の最大値が、１．０７－１．０３＝０．０４となり、平均化ＬＰＦをかける前の“０．３”に比べて“０．２６”減少する。一方、ブロック（２，２）～（２，５），（３，２），（３，５），（４，２）～（４，５）と、これらに隣接するブロックとのＲ／Ｇホワイトバランス補正ゲインの差の最大値は、１．１－１．０３＝０．０７となり、平均化ＬＰＦをかける前の“０”に比べて“０．０７”増加する。
　同様に、ＷＢ補正ゲイン平滑化部１８が、図５(b)に示す各ブロックのＢ／Ｇホワイトバランス補正ゲインに対して、平均化ＬＰＦをかけると、図１１(b)に示すように、ブロック（２，２）～（２，５），（３，２）～（３，５），（４，２）～（４，５）のＢ／Ｇホワイトバランス補正ゲインの値が、“１．１６”～“１．１８”の範囲の値となる。そして、（３，３）、（３、４）のブロックは、隣接するブロックとのＢ／Ｇホワイトバランス補正ゲインの差の最大値が、１．１８－１．１６＝０．０２となり、平均化ＬＰＦをかける前の“０．２”に比べて“０．１８”減少する。一方、ブロック（２，２）～（２，５），（３，２），（３，５），（４，２）～（４，５）と、隣接するブロックとのＢ／Ｇホワイトバランス補正ゲインの差の最大値は、１．２－１．１６＝０．０４となり、平均化ＬＰＦをかける前の“０”に比べて“０．０４”増加する。
　なお、図４(a)、図４(b)に示す、Ｒ／Ｇホワイトバランス補正ゲインマップ、Ｂ／Ｇホワイトバランス補正ゲインマップの夫々において、ＷＢ補正ゲイン特異判定部１３が、推定したホワイトバランス補正ゲインを特異であると判定したブロック（１，５）に隣接するブロック（０，４）～（０，６），（１，４），（１，６），（２，４）～（２，６）の夫々に対してＷＢ補正ゲイン平滑化部１８が平均化ＬＰＦをかける際には、図５(a)、図５(b)に示すように、ＷＢ補正ゲイン修正手段１４によりブロック（１，５）のＲ／Ｇホワイトバランス補正ゲイン、Ｂ／Ｇホワイトバランス補正ゲインの値が、ブロック（１，５）に隣接するブロック（０，４）～（０，６），（１，４），（１，６），（２，４）～（２，６）のＲ／Ｇホワイトバランス補正ゲイン、Ｂ／Ｇホワイトバランス補正ゲインの平均値（図４(a)の例では“１．１”、図４(b)の例では“１．２”）に修正されている。このため、ＷＢ補正ゲイン平滑化部１８が、ブロック（０，４）～（０，６），（１，４），（１，６），（２，４）～（２，６）の夫々に対して平均化ＬＰＦをかけても、これらのブロックのＲ／Ｇホワイトバランス補正ゲイン、Ｂ／Ｇホワイトバランス補正ゲインの値は平均化ＬＰＦをかける前の値との変動幅が極めて小さい（図１１(a)、図１１(b)の例では、変動幅が“０”となっている。）
　これに対する比較例として、図４(a)、図４(b)に示すＲ／Ｇホワイトバランス補正ゲインマップ、Ｂ／Ｇホワイトバランス補正ゲインマップに対して、特異であると判定されうるブロックの推定されたホワイトバランス補正ゲインの修正を行わずに、上記と同様の平滑化処理（ブロックごとの、そのブロックを中心とする３×３のブロックのホワイトバランス補正ゲインの平均化ＬＰＦ）を行った場合のＲ／Ｇホワイトバランス補正ゲインマップ、Ｂ／Ｇホワイトバランス補正ゲインマップを図１２(a)、図１２(b)に示す。
　特異であると判定されうるブロックの推定されたホワイトバランス補正ゲインの修正を行わずに、上記と同様の平均化ＬＰＦをかけると、特異でないと判定されうるブロック（０，４）～（０，６），（１，４），（１，６），（２，４）～（２，６）の推定されたホワイトバランス補正ゲインが、特異であると判定されうるブロック（１，５）の推定されたホワイトバランス補正ゲインの影響を受けて大きく変動する。
　例えば、図１２(a)に示すように、特異であると判定されうるブロック（１，５）を中心とする３×３のブロック（０，４）～（０，６），（１，４）～（１，６），（２，４）～（２，６）のＲ／Ｇホワイトバランス補正ゲインの値が、“０．９８”～“１．０６”の範囲の値となる。そして、ブロック（１，５）と、これに隣接するブロックとのＲ／Ｇホワイトバランス補正ゲインの差の最大値が、１．０６－０．９８＝０．０８となり、平均化ＬＰＦをかける前の“０．４”に比べて“０．３２”減少する。一方、ブロック（０，４）～（０，６），（１，４），（１，６），（２，４）～（２，６）と、これらに隣接するブロックとのＲ／Ｇホワイトバランス補正ゲインの差の最大値は、１．１－１．０３＝０．０７となり、平均化ＬＰＦをかける前の“０．３”に比べて“０．２３”減少する。
　しかし、ブロック（０，４）～（０，６），（１，４），（１，６），（２，４）～（２，６）のＲ／Ｇホワイトバランス補正ゲインは、図１１(a)に示す、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインの修正を行った後に、ＷＢ補正ゲイン平滑化部１８が、平均化ＬＰＦをかけた場合のＲ／Ｇホワイトバランス補正ゲインに比べて、当初の推定値からの変動幅が大きくなる。例えば、ブロック（２，４）のＲ／Ｇホワイトバランス補正ゲインは、“０．９８”となり、当初の推定値“１．１”から“０．１２”も変動してしまう。一方、特異であると判定されたエリアの推定されたＲ／Ｇホワイトバランス補正ゲインの修正を行った後に、ＷＢ補正ゲイン平滑化部１８が、平均化ＬＰＦをかけた場合、ブロック（２，４）のＲ／Ｇホワイトバランス補正ゲインは、“１．０３”であり、当初の推定値“１．１”からの変動幅が“０．０７”となり、特異であると判定されうるブロックの推定されたＲ／Ｇホワイトバランス補正ゲインの修正を行わずに、平均化ＬＰＦをかけた場合に比べて、小さく抑えることができる。
　同様に、３×３のブロック（０，４）～（０，６），（１，４）～（１，６），（２，４）～（２，６）のＢ／Ｇホワイトバランス補正ゲインの値が、“１．１１”～“１．１６”の範囲の値となる。そして、ブロック（１，５）と、これに隣接するブロックとのＢ／Ｇホワイトバランス補正ゲインとの差の最大値が、１．１６－１．１＝０．０６となり、平均化ＬＰＦをかける前の“０．４”に比べて“０．３４”減少する。一方、ブロック（０，４）～（０，６），（１，４）～（１，６），（２，４）～（２，６）と、これらに隣接するブロックとのＢ／Ｇホワイトバランス補正ゲインの差の最大値は、１．２－１．１３＝０．０７となり、平均化ＬＰＦをかける前の“０．２”に比べて“０．１３”減少する。
　しかし、ブロック（０，４）～（０，６），（１，４），（１，６），（２，４）～（２，６）のＢ／Ｇホワイトバランス補正ゲインは、図１１(b)に示す、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインの修正を行った後に、ＷＢ補正ゲイン平滑化部１８が、平均化ＬＰＦをかけた場合のＢ／Ｇホワイトバランス補正ゲインに比べて、当初の推定値からの変動幅が大きくなる。例えば、ブロック（２，４）のＢ／Ｇホワイトバランス補正ゲインは、“１．１１”となり、当初の推定値“１．２”から“０．０９”も変動してしまう。一方、特異であると判定されたエリアの推定されたＢ／Ｇホワイトバランス補正ゲインの修正を行った後に、ＷＢ補正ゲイン平滑化部１８が、平均化ＬＰＦをかけた場合、ブロック（２，４）のＢ／Ｇホワイトバランス補正ゲインは、“１．１６”であり、当初の推定値“１．２”からの変動幅が“０．０４”となり、特異であると判定されうるブロックの推定されたＢ／Ｇホワイトバランス補正ゲインの修正を行わずに、平均化ＬＰＦをかけた場合に比べて、小さく抑えることができる。
　図１２の比較例との比較からも明らかなように、図１１に示す本実施形態のマルチエリアホワイトバランス制御装置１では、ＷＢ補正ゲイン平滑化部１８が、平滑化処理を行うことにより、特異でないと判定されうるブロックに対する変動を極力抑えながら、隣接するエリア間のホワイトバランス補正ゲインの値の不連続性を抑えた、入力画像全体のマルチエリアホワイトバランス補正ゲインマップが生成される。
　平滑化処理されたホワイトバランス補正ゲインマップは、記録部１６に記憶される。
　そして、ＷＢゲイン補正部１７が、入力画像の位置に対応して、それぞれの色の画素値にゲインマップ記憶部１６から入力したゲインをかけることにより、ホワイトバランスを補正し、画像を出力する。
　本実施形態のマルチエリアホワイトバランス制御装置１及びマルチエリアホワイトバランス制御方法によれば、更に、特異であると判定したエリアの推定したホワイトバランス補正ゲインのみを修正済みの入力画像全体のホワイトバランス補正ゲインマップにおける全エリアのホワイトバランス補正ゲインに対して、平滑化処理を行うようにしたので、複数の光源で照明されたシーンを撮影した画像に対し、当初のホワイトバランス補正ゲインの推定を間違えたエリアのホワイトバランス補正ゲインのみを修正することによる、入力画像全体のホワイトバランス補正に悪影響が生じず、入力画像全体における当該エリアの色のバランスが適正に保たれ、違和感のない色再現を実現することができるという第１実施形態と同様の効果を保持しながら、更に、エリア間での輝度や色の不連続性を抑えることができる。
　なお、本実施形態のマルチエリアホワイトバランス制御装置１においては、ＷＢ補正ゲイン平滑化部１８が行う平滑化処理として、単純に平均化ＬＰＦを用いたが、必要に応じて重み付けのあるＬＰＦを用いてもよい。また、半径の大きいＬＰＦを用いてもよい。また、ブロック間のホワイトバランス補正ゲインの差や、その方向性に応じて、ＬＰＦを用いる方向や、強さを異ならせてもよい。
　その他の作用効果は、第１実施形態のマルチエリアホワイトバランス制御装置１及びマルチエリアホワイトバランス制御方法と略同じである。
　以上、本発明のマルチエリアホワイトバランス制御装置１及びマルチエリアホワイトバランス制御方法を説明し、上記各実施形態のマルチエリアホワイトバランス制御装置１においては、エリア分割手段としての画像エリア分割部１１が、入力画像を縦横夫々の直線で区切られた形状及び面積の等しいブロックに分割した例で説明したが、本発明のマルチエリアホワイトバランス制御装置１におけるエリア分割手段が分割する各エリアの形状・大きさは本実施形態に限定されるものではなく、例えば、三角形状、湾曲形状等どのような形状でもよいし、各エリアの大きさが異なっていてもよい。
　また、上記各実施形態のマルチエリアホワイトバランス制御装置１は、コンピュータを画像エリア分割部１１（エリア分割手段）、ＷＢ補正ゲイン推定部１２（ホワイトバランス補正ゲイン推定手段）、ＷＢ補正ゲイン特異判定部１３（ホワイトバランス補正ゲイン特異判定手段）、ＷＢ補正ゲイン修正部１４（ホワイトバランス補正ゲイン修正手段）として機能させるためのマルチエリアホワイトバランス制御プログラムを内蔵するハードディスクに記録したコンピュータで構成してもよい。
　あるいは、本実施形態のマルチエリアホワイトバランス制御装置１は、コンピュータを画像エリア分割部１１（エリア分割手段）、ＷＢ補正ゲイン推定部１２（ホワイトバランス補正ゲイン推定手段）、ＷＢ補正ゲイン特異判定部１３（ホワイトバランス補正ゲイン特異判定手段）、ＷＢ補正ゲイン修正部１４（ホワイトバランス補正ゲイン修正手段）、ＷＢゲイン補正部１７（ホワイトバランス処理手段）として機能させるためのマルチエリアホワイトバランス制御プログラムを記録した、例えば、ＣＤ－ＲＯＭ等のコンピュータ読み取り可能な媒体で構成してもよい。
　さらに、上記各実施形態のマルチエリアホワイトバランス画像処理装置１０は、コンピュータを画像エリア分割部１１（エリア分割手段）、ＷＢ補正ゲイン推定部１２（ホワイトバランス補正ゲイン推定手段）、ＷＢ補正ゲイン特異判定部１３（ホワイトバランス補正ゲイン特異判定手段）、ＷＢ補正ゲイン修正部１４（ホワイトバランス補正ゲイン修正手段）、ＷＢゲイン補正部１７（ホワイトバランス処理手段）として機能させるためのマルチエリアホワイトバランス画像処理プログラムを内蔵するハードディスクに記録したコンピュータで構成してもよい。
　さらに、あるいは、本実施形態のマルチエリアホワイトバランス画像処理装置１０は、コンピュータを画像エリア分割部１１（エリア分割手段）、ＷＢ補正ゲイン推定部１２（ホワイトバランス補正ゲイン推定手段）、ＷＢ補正ゲイン特異判定部１３（ホワイトバランス補正ゲイン特異判定手段）、ＷＢ補正ゲイン修正部１４（ホワイトバランス補正ゲイン修正手段）、ＷＢゲイン補正部１７（ホワイトバランス処理手段）として機能させるためのマルチエリアホワイトバランス画像処理プログラムを記録した、例えば、ＣＤ－ＲＯＭ等のコンピュータ読み取り可能な媒体で構成してもよい。
　本発明のマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置は、複数の異種光源により撮影を行った所謂ミックス光源画像のホワイトバランスを補正することが求められる分野に有用である。
１　　　マルチエリアホワイトバランス制御装置
１０　　マルチエリアホワイトバランス画像処理装置
１１　　エリア分割手段（画像エリア分割部）
１２　　ホワイトバランス補正ゲイン推定手段（ＷＢ補正ゲイン推定部）
１３　　ホワイトバランス補正ゲイン特異判定手段（ＷＢ補正ゲイン特異判定部）
１４　　ホワイトバランス補正ゲイン修正手段（ＷＢ補正ゲイン修正部）
１５　　ホワイトバランス補正ゲインマップ生成手段（ＷＢ補正ゲインマップ生成部）
１６　　ゲインマップ記憶部
１７　　ホワイトバランス処理手段（ＷＢゲイン補正部）
１８　　ホワイトバランス補正ゲイン平滑化手段（ＷＢ補正ゲイン平滑化部）
２１　　レンズ
２２　　イメージセンサ
２３　　画像記憶部

Claims (13)

  1. 　入力画像を複数のエリアに分割するエリア分割手段と、
    　前記エリア分割手段によって分割されたエリア毎にホワイトバランス補正ゲインを推定するホワイトバランス補正ゲイン推定手段と、
    　前記ホワイトバランス補正ゲイン推定手段によって推定された、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき、当該エリアの推定されたホワイトバランス補正ゲインが特異であるか否かを判定するホワイトバランス補正ゲイン特異判定手段と、
    　前記ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを、特異であると判定されたエリアに隣接する周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正するホワイトバランス補正ゲイン修正手段と
    を有し、
    　推定された全エリアのホワイトバランス補正ゲインのうち、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみが修正された、前記入力画像全体のホワイトバランス補正ゲインマップを生成することを特徴とするマルチエリアホワイトバランス制御装置。
  2. 　更に、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを修正済みのエリアを含む、入力画像全体における全エリアのホワイトバランス補正ゲインに対して、平滑化処理を行うホワイトバランス補正ゲイン平滑化手段を有し、
    　推定された全エリアのホワイトバランス補正ゲインのうち、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみが修正され、更に全エリアのホワイトバランス補正ゲインが平滑化処理された、前記入力画像全体のホワイトバランス補正ゲインマップを生成することを特徴とする請求項１に記載のマルチエリアホワイトバランス制御装置。
  3. 　前記ホワイトバランス補正ゲイン特異判定手段は、当該エリアの推定されたホワイトバランス補正ゲインが、当該エリアに隣接する周辺エリアの推定されたホワイトバランス補正ゲインのいずれとも所定以上の差がある場合に、当該エリアの推定されたホワイトバランス補正ゲインを特異であると判定することを特徴とする請求項１又は２に記載のマルチエリアホワイトバランス制御装置。
  4. 　前記ホワイトバランス補正ゲイン特異判定手段は、当該エリアの推定されたホワイトバランス補正ゲインが、当該エリアに隣接する上、下、左、右のエリアの推定されたホワイトバランス補正ゲインのいずれとも所定以上の差がある場合に、当該エリアの推定されたホワイトバランス補正ゲインを特異であると判定することを特徴とする請求項１又は２に記載のマルチエリアホワイトバランス制御装置。
  5. 　前記ホワイトバランス補正ゲイン特異判定手段は、当該エリアの推定されたホワイトバランス補正ゲインが、当該エリアに隣接する周辺エリアを含む、当該エリアを基準とする所定半径範囲内のエリアの推定されたホワイトバランス補正ゲインのいずれとも所定以上の差がある場合に、当該エリアの推定されたホワイトバランス補正ゲインを特異であると判定することを特徴とする請求項１又は２に記載のマルチエリアホワイトバランス制御装置。
  6. 　ホワイトバランス補正ゲイン修正手段は、前記ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを、特異であると判定されたエリアに隣接する上、下、左、右のエリアを含む周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正することを特徴とする請求項１～５のいずれかに記載のマルチエリアホワイトバランス制御装置。
  7. 　ホワイトバランス補正ゲイン修正手段は、前記ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを、特異であると判定されたエリアに隣接する周辺エリアを含む、特異であると判定されたエリアを基準とする所定半径範囲内の周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正することを特徴とする請求項１～５のいずれかに記載のマルチエリアホワイトバランス制御装置。
  8. 　ホワイトバランス補正ゲイン修正手段は、前記ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを、特異であると判定されたエリアに隣接する上、下、左、右のエリアを含む、特異であると判定されたエリアを基準とする所定半径範囲内の周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正することを特徴とする請求項７に記載のマルチエリアホワイトバランス制御装置。
  9. 　請求項１～８のいずれかに記載のマルチエリアホワイトバランス制御装置と、
    　前記マルチエリアホワイトバランス制御装置によって生成された、前記入力画像全体のホワイトバランス補正ゲインマップに基づき、前記入力画像全体のホワイトバランス処理を行うホワイトバランス処理手段と
    を有することを特徴とするマルチエリアホワイトバランス画像処理装置。
  10. 　請求項９に記載のマルチエリアホワイトバランス画像処理装置を備えた撮像装置。
  11. 　入力画像を複数のエリアに分割し、
    　分割したエリア毎にホワイトバランス補正ゲインを推定し、
    　推定した、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき、当該エリアの推定したホワイトバランス補正ゲインが特異であるか否かを判定し、
    　特異であると判定したエリアの推定したホワイトバランス補正ゲインのみを、特異であると判定したエリアに隣接する周辺エリアの推定したホワイトバランス補正ゲインに基づき修正することにより、
    　推定した全エリアのホワイトバランス補正ゲインのうち、特異であると判定したエリアの推定したホワイトバランス補正ゲインのみを修正した、前記入力画像全体のホワイトバランス補正ゲインマップを生成することを特徴とするマルチエリアホワイトバランス制御方法。
  12. 　マルチエリアホワイトバランス制御装置に備わるコンピュータであって、
    　前記コンピュータを、
    　入力画像を複数のエリアに分割するエリア分割手段、
    　前記エリア分割手段によって分割されたエリア毎にホワイトバランス補正ゲインを推定するホワイトバランス補正ゲイン推定手段、
    　前記ホワイトバランス補正ゲイン推定手段によって推定された、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき、当該エリアの推定されたホワイトバランス補正ゲインが特異であるか否かを判定するホワイトバランス補正ゲイン特異判定手段、
    　前記ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを、特異であると判定されたエリアに隣接する周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正するホワイトバランス補正ゲイン修正手段
    として機能させ、
    　推定された全エリアのホワイトバランス補正ゲインのうち、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみが修正された、前記入力画像全体のホワイトバランス補正ゲインマップを生成するためのマルチエリアホワイトバランス制御プログラムを記録したコンピュータ。
  13. 　マルチエリアホワイトバランス制御装置に備わるコンピュータが読み取り可能なマルチエリアホワイトバランス制御プログラムであって、
    　前記コンピュータを、
    　入力画像を複数のエリアに分割するエリア分割手段、
    　前記エリア分割手段によって分割されたエリア毎にホワイトバランス補正ゲインを推定するホワイトバランス補正ゲイン推定手段、
    　前記ホワイトバランス補正ゲイン推定手段によって推定された、当該エリアに隣接する周辺エリアのホワイトバランス補正ゲインとの比較に基づき、当該エリアの推定されたホワイトバランス補正ゲインが特異であるか否かを判定するホワイトバランス補正ゲイン特異判定手段、
    　前記ホワイトバランス補正ゲイン特異判定手段によって特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみを、特異であると判定されたエリアに隣接する周辺エリアの推定されたホワイトバランス補正ゲインに基づき修正するホワイトバランス補正ゲイン修正手段として機能させ、
    　推定された全エリアのホワイトバランス補正ゲインのうち、特異であると判定されたエリアの推定されたホワイトバランス補正ゲインのみが修正された、前記入力画像全体のホワイトバランス補正ゲインマップを生成する
    ためのマルチエリアホワイトバランス制御プログラム。
PCT/JP2014/078619 2014-03-19 2014-10-28 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置 WO2015141050A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/268,596 US10003779B2 (en) 2014-03-19 2016-09-18 Multi-area white-balance control device, multi-area white-balance control method, multi-area white-balance control program, computer in which multi-area white-balance control program is recorded, multi-area white-balance image-processing device, multi-area white-balance image-processing method, multi-area white-balance image-processing program, computer in which multi-area white-balance image-processing program is recorded, and image-capture apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-056783 2014-03-19
JP2014056783A JP6274931B2 (ja) 2014-03-19 2014-03-19 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/268,596 Continuation US10003779B2 (en) 2014-03-19 2016-09-18 Multi-area white-balance control device, multi-area white-balance control method, multi-area white-balance control program, computer in which multi-area white-balance control program is recorded, multi-area white-balance image-processing device, multi-area white-balance image-processing method, multi-area white-balance image-processing program, computer in which multi-area white-balance image-processing program is recorded, and image-capture apparatus

Publications (1)

Publication Number Publication Date
WO2015141050A1 true WO2015141050A1 (ja) 2015-09-24

Family

ID=54144047

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/078619 WO2015141050A1 (ja) 2014-03-19 2014-10-28 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置

Country Status (3)

Country Link
US (1) US10003779B2 (ja)
JP (1) JP6274931B2 (ja)
WO (1) WO2015141050A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107343190A (zh) * 2017-07-25 2017-11-10 广东欧珀移动通信有限公司 白平衡调节方法、装置和终端设备
CN109819225A (zh) * 2017-11-21 2019-05-28 深圳市Tcl高新技术开发有限公司 投影电视的色温校正方法、色温校正装置及投影电视

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3449628B1 (en) 2016-04-25 2022-12-14 Zhejiang Dahua Technology Co., Ltd Methods, systems, and media for image white balance adjustment
EP3246876A1 (en) * 2016-05-17 2017-11-22 Thomson Licensing Method to determine chromatic component of illumination sources of an image
CN106851121B (zh) * 2017-01-05 2019-07-05 Oppo广东移动通信有限公司 控制方法及控制装置
CN108462862B (zh) * 2017-02-22 2020-09-29 联咏科技股份有限公司 对输入影像进行色彩空间转换的方法及装置
JP2019028537A (ja) * 2017-07-26 2019-02-21 キヤノン株式会社 画像処理装置および画像処理方法
CN107635123B (zh) * 2017-10-30 2019-07-19 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
JP7515271B2 (ja) * 2020-02-28 2024-07-12 キヤノン株式会社 画像処理装置および画像処理方法
CN111953955B (zh) * 2020-08-26 2022-01-04 维沃移动通信有限公司 白平衡补偿方法、装置及电子设备
CN114143526A (zh) * 2021-11-19 2022-03-04 昆山丘钛光电科技有限公司 图像处理方法、装置、终端设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009004966A (ja) * 2007-06-20 2009-01-08 Panasonic Corp 撮像装置
JP2010213213A (ja) * 2009-03-12 2010-09-24 Ricoh Co Ltd 撮像装置及び撮像方法
JP2013034261A (ja) * 2007-09-18 2013-02-14 Ricoh Co Ltd 撮像装置、撮像方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4702635B2 (ja) * 2007-07-17 2011-06-15 富士フイルム株式会社 オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置
JP5092612B2 (ja) 2007-08-03 2012-12-05 株式会社ニコン カラー撮像装置
US8717459B2 (en) * 2008-12-11 2014-05-06 Texas Instruments Incorporated Method and apparatus for improving automatic white balance with scene information
JP5187241B2 (ja) 2009-02-16 2013-04-24 株式会社リコー 撮像装置及び撮像方法
KR100977055B1 (ko) * 2009-02-20 2010-08-19 주식회사 코아로직 자동 화이트 밸런스(ａｗｂ) 조정장치와 방법 및 그 조정장치를 포함한 영상처리장치
JP5547975B2 (ja) * 2009-04-23 2014-07-16 オリンパス株式会社 撮像装置、顕微鏡システム、及びホワイトバランス調整方法
JP2013162248A (ja) * 2012-02-02 2013-08-19 Canon Inc 撮像装置及びその制御方法
JP6196882B2 (ja) 2013-11-08 2017-09-13 オリンパス株式会社 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
JP6234191B2 (ja) * 2013-11-28 2017-11-22 オリンパス株式会社 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
CN106797453B (zh) * 2014-07-08 2018-12-07 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法以及图像处理程序
JP6272486B2 (ja) * 2014-07-16 2018-01-31 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009004966A (ja) * 2007-06-20 2009-01-08 Panasonic Corp 撮像装置
JP2013034261A (ja) * 2007-09-18 2013-02-14 Ricoh Co Ltd 撮像装置、撮像方法
JP2010213213A (ja) * 2009-03-12 2010-09-24 Ricoh Co Ltd 撮像装置及び撮像方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107343190A (zh) * 2017-07-25 2017-11-10 广东欧珀移动通信有限公司 白平衡调节方法、装置和终端设备
US10455206B2 (en) 2017-07-25 2019-10-22 Guangdong Oppo Mobile Telecommunications Corp., Ltd Method and device for adjusting white balance and storage medium
US11412195B2 (en) 2017-07-25 2022-08-09 Shenzhen Heytap Technology Corp., Ltd. Method and device for adjusting white balance and storage medium
CN109819225A (zh) * 2017-11-21 2019-05-28 深圳市Tcl高新技术开发有限公司 投影电视的色温校正方法、色温校正装置及投影电视

Also Published As

Publication number Publication date
US20170006272A1 (en) 2017-01-05
JP2015179985A (ja) 2015-10-08
JP6274931B2 (ja) 2018-02-07
US10003779B2 (en) 2018-06-19

Similar Documents

Publication Publication Date Title
WO2015141050A1 (ja) マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
JP6234191B2 (ja) マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
US10475237B2 (en) Image processing apparatus and control method thereof
JP5398156B2 (ja) ホワイトバランス制御装置およびその制御方法並びに撮像装置
EP3542347B1 (en) Fast fourier color constancy
CN105578021B (zh) 双目相机的成像方法及其装置
JP2009105579A (ja) 色信号処理回路、撮像装置及び色信号処理方法
WO2017096858A1 (zh) 图像白平衡的调整方法和装置
US9143756B2 (en) Camera module, photographing method, and electronic apparatus
CN109166076A (zh) 多相机拼接的亮度调整方法、装置及便携式终端
JP2007097175A (ja) ゾーン重み付け機能を備えたホワイトバランス機構
CN113850738A (zh) 图像紫边的校正装置及方法
JP6196882B2 (ja) マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
JP2019179463A (ja) 画像処理装置、その制御方法、プログラム、記録媒体
JP6345430B2 (ja) マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
JP6315239B2 (ja) 撮像装置、撮像方法、画像処理装置、撮像プログラム
JP2012165147A (ja) 画像処理装置およびその制御方法
KR101227082B1 (ko) 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법
JP6627418B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN111915520B (zh) 用于改善拼接图像的亮度的方法、装置和计算机设备
JP2017225036A (ja) 撮像装置及び画像処理方法
WO2023189456A1 (ja) 情報処理装置、情報処理方法、および記録媒体
US20240037872A1 (en) Information processing device, head-mounted display device, control method of information processing device, and non-transitory computer readable medium
JP2017112421A (ja) 画像処理装置、撮像装置および画像処理プログラム
Pamornnak et al. Color correction scheme for different illumination and camera device conditions

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14886148

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14886148

Country of ref document: EP

Kind code of ref document: A1