WO2023105961A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
WO2023105961A1
WO2023105961A1 PCT/JP2022/039660 JP2022039660W WO2023105961A1 WO 2023105961 A1 WO2023105961 A1 WO 2023105961A1 JP 2022039660 W JP2022039660 W JP 2022039660W WO 2023105961 A1 WO2023105961 A1 WO 2023105961A1
Authority
WO
WIPO (PCT)
Prior art keywords
white balance
balance gain
image
polarization
color
Prior art date
Application number
PCT/JP2022/039660
Other languages
English (en)
French (fr)
Inventor
大志 大野
雄飛 近藤
楽公 孫
哲平 栗田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023105961A1 publication Critical patent/WO2023105961A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a program. More specifically, the present invention relates to an image processing apparatus, an image processing method, and a program that perform white balance gain calculation processing and white balance adjustment processing.
  • One of the problems of images captured by an imaging device is that a color different from the original subject color is output.
  • a white subject may be output as a reddish or bluish color that is not white. This is mainly due to the color of the light illuminating the object, that is, the color of the light source.
  • the entire image becomes reddish.
  • the image as a whole becomes reddish.
  • an image captured under strong blue illumination light has a bluish tinge as a whole. If the light irradiated to the subject has color in this way, an image is captured in which the original color of the subject is not reproduced depending on the color of the irradiated light.
  • White balance adjustment processing is executed as pixel value correction processing for setting the pixel values of the captured image to the original color of the subject.
  • the pixel value will be white, if the original subject color is red, the pixel value will be red, and if the original subject color is blue, the pixel value will be blue.
  • Perform value correction processing By performing white balance adjustment processing, it is possible to generate and record an image that reproduces the original color of the subject.
  • AVB auto white balance
  • RGB color component
  • This function executes signal level adjustment for each color component by performing value correction processing.
  • a method called gray world is widely known as a method for realizing the auto white balance (AWB) function.
  • ABB auto white balance
  • This method is a method of performing white balance adjustment assuming that the average value of the pixel values of the entire captured image is almost achromatic.
  • this method performs processing based on the assumption that the average value of the entire captured image is almost achromatic, so if the average color of the subject in the captured image is not achromatic, the accuracy of the white balance adjustment process will decrease. . Furthermore, since this method uniformly adjusts the entire image using the average color of the entire image, there is a problem that it cannot be used when, for example, different colors of light are illuminated for each image area. be.
  • Patent Document 1 Japanese Patent No. 4447520 discloses a light source color estimation method using a reflection model of an object.
  • the method disclosed in this patent document 1 consists of two types of luminance values of pixels in a photographed image: the luminance value of "diffuse reflection light only” or the luminance value composed of "diffuse reflection light + specular reflection light".
  • the specular reflected light component is calculated by subtracting these two types of luminance values, the color of the calculated specular reflected light component is estimated to be the light source color, and white balance adjustment is performed based on the estimated light source color. It is a method of executing a process.
  • the intensity of diffusely reflected light varies in various ways depending on the texture of the subject and the object normal defined by the uneven shape of the subject. Therefore, the value calculated by the subtraction described above is highly likely to change greatly depending on the texture corresponding to the pixels used for calculating the diffuse reflection light component and the shape of unevenness, and the estimated value of the light source color may be greatly blurred.
  • the assumption that the luminance value of a pixel is "only diffusely reflected light" is a very strict assumption, and it is difficult to find a pixel that satisfies this assumption.
  • Patent Document 2 Japanese Laid-Open Patent Publication No. 06-319150 discloses a method of performing white balance adjustment processing using a chromatic region within an image.
  • this method is based on the assumption that the color of the light source that illuminates the object follows the blackbody radiation curve, and the accuracy decreases if this assumption does not hold.
  • Non-Patent Document 1 (Afifi, Mahmoud and Brown, Michael S. Deep White-Balance Editing, CVPR 2020.) discloses a method of executing white balance adjustment processing using deep learning.
  • This method estimates the optimal white balance adjustment parameters for the captured image by using a learning model generated in advance using context such as the object, environment, and time period in the image, and white balance using the estimated parameters. This is a technique for performing adjustment processing.
  • this method requires a learning model to be generated by executing a learning process using a large number of captured images in advance, and the processing accuracy of the white balance adjustment process depends on the generated learning model. becomes. Furthermore, computational processing using a learning model for performing optimal parameter calculation processing is extremely heavy and complicated processing, making it difficult to use unless the camera or image processing device is equipped with a processor with high computational capabilities. There is a problem.
  • the present disclosure has been made in view of the above problems, for example, and provides an image processing device, an image processing method, and a program that enable calculation of a highly accurate white balance gain using a color polarization image. intended to
  • the present disclosure enables white balance gain calculation processing using pixel values in the chromatic color area of the polarized color image captured by the polarization camera, and optimal white balance gain calculation for each pixel or image area of the captured image.
  • a first aspect of the present disclosure includes: a polarization information acquisition unit that acquires polarization information from a color polarization image; a white balance gain calculation unit that calculates a white balance gain using the polarization information acquired by the polarization information acquisition unit; a white balance adjustment unit that performs white balance adjustment processing using the white balance gain calculated by the white balance gain calculation unit;
  • the polarization information acquisition unit is calculating the degree of polarization corresponding to the color from the color polarization image;
  • the white balance gain calculator An image processing apparatus that calculates a white balance gain using polarization information corresponding to colors at pixel positions where the degrees of polarization of two colors match.
  • a second aspect of the present disclosure is An image processing method executed in an image processing device, a polarization information obtaining step in which the polarization information obtaining unit obtains the polarization information from the color polarization image; A white balance gain calculation step in which a white balance gain calculation unit calculates a white balance gain using the polarization information obtained in the polarization information obtaining step; a white balance adjustment step in which a white balance adjustment unit performs a white balance adjustment process using the white balance gain calculated in the white balance gain calculation step;
  • the polarization information acquisition step includes: calculating a degree of polarization corresponding to each color from the color polarization image;
  • the white balance gain calculation step includes: It is an image processing method for calculating a white balance gain using polarization information corresponding to colors at pixel positions where the degrees of polarization of two colors match.
  • a third aspect of the present disclosure is A program for executing image processing in an image processing device, a polarization information obtaining step of causing the polarization information obtaining unit to obtain polarization information from the color polarization image; a white balance gain calculation step of causing a white balance gain calculation unit to calculate a white balance gain using the polarization information obtained in the polarization information obtaining step; causing a white balance adjustment unit to perform a white balance adjustment process to which the white balance gain calculated in the white balance gain calculation step is applied; In the polarization information acquisition step, calculating the degree of polarization corresponding to the color from the color polarization image; In the white balance gain calculation step, The program calculates the white balance gain using the polarization information corresponding to the color of the pixel position where the two colors have the same degree of polarization.
  • the program of the present disclosure is, for example, a program that can be provided in a computer-readable format to an information processing device or computer system capable of executing various program codes via a storage medium or communication medium.
  • processing according to the program is realized on the information processing device or computer system.
  • a system is a logical collective configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same housing.
  • a configuration is realized in which white balance gain calculation processing and white balance adjustment are performed using polarization information acquired from a color polarization image.
  • a polarization information acquisition unit that acquires polarization information from a color polarization image
  • a white balance gain calculation unit that calculates a white balance gain using the acquired polarization information
  • the calculated white balance gain are applied. It has a white balance adjustment unit that executes white balance adjustment processing.
  • the polarization information acquisition unit calculates the degree of polarization corresponding to the color from the color polarization image
  • the white balance gain calculation unit converts the pixel positions where the polarization degrees of the two colors match to the pixel positions where the subject reflectances of the two colors match.
  • the polarization information corresponding to the color of the detection pixel position is used to calculate the white balance gain.
  • a configuration for executing white balance gain calculation processing and white balance adjustment using polarization information acquired from a color polarization image is realized. Note that the effects described in this specification are merely examples and are not limited, and additional effects may be provided.
  • FIG. 3 is a diagram illustrating an outline of processing executed by an image processing apparatus of the present disclosure
  • FIG. 2 is a diagram illustrating an example of processing executed by an image processing apparatus according to the present disclosure
  • FIG. FIG. 5 is a diagram illustrating example 1 of white balance gain calculation processing executed by the image processing apparatus of the present disclosure
  • FIG. 11 is a diagram illustrating example 2 of a white balance gain calculation process executed by the image processing apparatus of the present disclosure;
  • the opposite color ( R , G, B ) of the white balance adjustment image (kR i R , i G , k Bi B ) the color of the degree of linear polarization (DoLP). be.
  • the opposite color ( R , G, B ) of the white balance adjustment image (kR i R , i G , k Bi B ) the color of the degree of linear polarization (DoLP). be.
  • DoLP degree of linear polarization
  • 1 is a diagram illustrating a configuration example of an imaging system of the present disclosure and an image processing apparatus;
  • FIG. 4 is a diagram illustrating a specific configuration example of an imaging unit (color polarization image capturing camera);
  • FIG. 4 is a diagram illustrating a specific configuration example of an imaging unit (color polarization image capturing camera);
  • FIG. 4 is a diagram illustrating a specific configuration example of an imaging unit (color polarization image capturing camera);
  • FIG. 4 is a diagram illustrating a specific configuration example of an imaging unit (color polarization image capturing camera);
  • FIG. 4 is a diagram illustrating a specific configuration example of an imaging unit (color polarization image capturing camera);
  • FIG. 4 is a diagram illustrating a specific configuration example of an imaging unit (color polarization image capturing camera);
  • FIG. 4 is a diagram illustrating a specific configuration example of an imaging unit (color polarization image capturing camera);
  • FIG. 4 is a diagram illustrating a specific configuration example of an imaging unit (color polarization image capturing camera);
  • FIG. 4 is a diagram illustrating a specific configuration example
  • FIG. 10 is a diagram illustrating a specific example of processing for calculating different white balance gains for each pixel forming an image or for each image region formed by a plurality of pixels;
  • FIG. 10 is a diagram illustrating a processing example of performing area division and calculating a white balance gain for each image area; It is a figure explaining the example of utilization of the image processing apparatus of this indication.
  • FIG. 5 is a diagram showing a flowchart for explaining a sequence of white balance gain calculation processing executed by a white balance gain calculation unit in units of pixels or in units of image areas;
  • FIG. 10 is a diagram illustrating an example of white balance gain calculation corresponding to a plurality of image regions (classes); It is a figure explaining the hardware structural example of the image processing apparatus of this indication.
  • FIG. 1 shows a light source 10, an object 20, and an imaging section (camera) 30.
  • Irradiation light 11 from the light source 10 is reflected by the subject 20, and the imaging unit (camera) 30 captures the reflected light as observation light 22, generates a captured image of the subject 20, and stores the captured image in a memory.
  • the light source color which is the color of the illumination light 11 of the light source 10 is calculated using the intensity ratio (relative intensity) of the three primary colors R (red), G (green), and B (blue).
  • the object 20 When the object 20 is irradiated with the irradiation light 11 of the light source 10 having such a light source color (color characteristics), the object 20 outputs reflected light. It should be noted that the reflected light becomes different reflected light depending on each component of the subject 20 .
  • Reflected light output from each part of the subject 20 is input to the imaging unit (camera) 30 as the observation light 22 , and an image with pixel values set based on the observation light 22 is captured.
  • FIG. As a result, each pixel value of the image captured by the imaging unit (camera) 30 is a pixel value that reflects the color characteristics of the observation light 22 .
  • the reflectance of each color of R (red), G (green), and B (blue) at one point P with the subject 20 is Subject reflectance (r R , r G , r B ) and Note that the object reflectance (r R , r G , r B ) is a different value depending on each component of the object 20 .
  • the subject reflectance at one point P of the subject 20 is described as (r R , r G , r B ).
  • the pixel value corresponding to the point P of the subject 20 in the image captured by the imaging unit (camera) 30 is set to a pixel value according to the color characteristics calculated by the above (Equation 1).
  • the observation light ( iR , iG , iB ) corresponding to each constituent point of the object 20 is the light source color ( LR , LG , L B ) and the object reflectance (r R , r G , r B ) of each constituent point of the object 20, that is, it can be calculated according to the above (Equation 1).
  • the pixel values of the observation light 22, that is, the captured image of the imaging unit (camera) 30 are pixels that change in proportion to the light source colors ( LR , LG , LB ). value.
  • the pixel values of the image captured by the imaging unit (camera) 30 are set to reddish pixel values. be.
  • the pixel values of the captured image of the imaging unit (camera) 30 will also be bluish pixel values. That is, the color of the pixel value of the image captured by the imaging unit (camera) 30 reflects the color of the light source colors ( LR , LG , LB ), and the image has a color different from the original color of the subject 20. will be filmed.
  • a white balance adjustment process is executed as a process of correcting the pixel values of the image captured by the imaging unit (camera) 30 to the original color of the subject 20 independent of the light source colors ( LR , LG , LB ).
  • FIG. 2 shows processing steps S11 to S13. The processing of each step will be described below in order.
  • Step S11 Processing step S ⁇ b>11 is processing for obtaining a photographed image by the imaging unit (camera) 30 .
  • the color characteristics of R (red), G (green), and B (blue) of each pixel of the captured image is the same as the color characteristics (observation light (i R , i G , i B )) of the observation light 22 obtained from the constituent point of the subject 20 corresponding to the pixel, and is calculated according to the following (Equation 2) be.
  • Captured image (i R , i G , i B ) ( LRrR , LGrG , LBrB ) .
  • the pixel value of the image captured by the imaging unit (camera) 30 is a value that depends on the color characteristics of the light source colors ( LR , LG , LB ) of the light source 10, and the original color of the subject 20 is Pixel values may not be reproduced.
  • Step S12 is a white balance gain calculation process.
  • the white balance gain is a pixel value adjustment parameter for correcting the pixel value of the captured image acquired in step S11 to the original color of the object 20.
  • the color of the light source 10 (light source color) is estimated, and white balance gain calculation processing is performed using the estimated light source color.
  • the white balance gain calculated by this method is White balance gain (k R , 1, k B ) and
  • Each element of the white balance gains (k R , 1, k B ) corresponds to a multiplication parameter for the pixel values (R, G, B) of each color of the captured image of the imaging section (camera) 30 .
  • a white balance gain (multiplication parameter) corresponding to G (green) 1, which means that the G pixel value is not changed based on the G (green) pixel value of the captured image.
  • a white balance gain corresponding to R (red) kR , and the R (red) pixel value of the captured image is multiplied by the white balance gain kR to correct the R pixel value.
  • the white balance gain corresponding to B (blue) kB , and the B pixel value is corrected by multiplying the B (blue) pixel value of the captured image by the white balance gain kB.
  • the white balance gains (k R , 1, k B ) calculated based on the light source colors (L R , LG , LB ) of the light source 10 are as shown in (Formula 3) below.
  • White balance gain (k R , 1, k B ) ((L G /L R ),1,(L G /L B )) whereas (Formula 3)
  • step S13 which is the final step, white balance adjustment processing is executed. That is, using the white balance gains (k R , 1, k B ) calculated in step S12, the pixel values (R, G, B) of each color of the image captured by the imaging unit (camera) 30 are corrected.
  • the pixel values (R, G, B) of the image captured by the imaging unit (camera) 30 are corrected as follows.
  • a captured image composed of RGB pixel values of the captured image before white balance adjustment is defined as a captured image (i R , i G , i B ), and an image composed of RGB pixel values after white balance adjustment is defined as a white balance adjusted image. (wbi R , wbi G , wbi B ).
  • the white balance adjusted images (wbi R , wbi G , wbi B ) are generated according to (Formula 4) below.
  • the white balance adjusted images (wbi R , wbi G , wbi B ) calculated according to the above (Equation 4) are images composed of pixel values reflecting the original color of the subject that does not depend on the color characteristics of the light source 10 .
  • the above processing is executable only when the color of the light source 10 (light source color) estimation processing can be performed with high accuracy. For example, if the camera has a sensor for color analysis of ambient light and has a configuration in which color analysis of ambient light is performed based on the detection value of this sensor, the above processing is possible. If not, highly accurate light source color estimation cannot be performed.
  • the processing of the present disclosure solves such problems, applying polarization information obtained from a polarization color image to perform highly accurate light source color estimation, highly accurate white balance gain calculation, and white balance It enables adjustment processing.
  • the image processing apparatus of the present disclosure performs white balance gain calculation processing using a polarized image, and uses the calculated white balance gain to perform white balance adjustment processing of a captured image.
  • FIG. 3 shows a light source 10 and an object 20 similar to those in FIG. 1 described above, as well as an imaging unit (color polarization image capturing camera) 50 and an image processing device 100 .
  • the illumination light 11 of the light source 10 is reflected by the object 20, and the imaging unit (color polarized image capturing camera) 50 captures only a specific polarized component from the observation light 22 composed of this reflected light, and captures the captured color polarized image.
  • Input to the processing unit 100 is shown input to the processing unit 100 .
  • the image processing unit 100 uses the color polarized image captured by the imaging unit (color polarized image capturing camera) 50 to calculate the white balance gain, and uses the calculated white balance gain to perform white balance adjustment processing.
  • the light source color (color characteristics) of the illumination light 11 of the light source 10 is Light source color ( LR , LG , LB ) shown as The above ( LR , LG , LB ) indicates that the intensity ratio of R (red), G (green), and B (blue) of the irradiation light 11 of the light source 10 is LR : LG : LB. showing.
  • the light source Stokes vector of each color of RGB which indicates the polarization state of each color of RGB of the illumination light 11 of the light source 10, can be expressed by the following equation (11).
  • the Stokes vector is a vector indicating the polarization state of light, and is composed of four types of parameters s 0 to s 4 (Stokes parameters).
  • the Stokes parameter s 0 is the unpolarized light intensity signal
  • the Stokes parameter s 1 is the difference signal of the horizontal and vertical linear polarization components
  • the Stokes parameter s2 is the difference signal of the 45 degree linear polarization component
  • the Stokes parameter s 3 is the difference signal of the left-right circularly polarized components, is.
  • a linear polarizer is used as a polarizer to obtain a color polarized image, so three types of Stokes parameters s 0 to s 2 out of the four types of Stokes parameters s 0 to s 3 are is used to calculate the white balance gain.
  • An imaging unit (color polarization image capturing camera) 50 captures three different types of polarization images to acquire three types of Stokes parameters.
  • a processing example using the three Stokes parameters s 0 to s 2 will be described below.
  • FIG. 3 shows a processing example using three Stokes parameters s 0 to s 2 .
  • Each RGB color of the illumination light 11 of the light source 10 has a polarization state defined by the light source Stokes vector shown in the above (Equation 11). output. It should be noted that the reflected light becomes different reflected light depending on each component of the subject 20 .
  • Reflected light output from each part of the object 20 is input to the imaging unit (color polarization image capturing camera) 50 as the observation light 22, and an image having pixel values set based on the observation light 22 is captured.
  • FIG. As a result, each pixel value of the image captured by the imaging unit (color polarization image capturing camera) 50 is a pixel value that reflects the color characteristics of the observation light 22 .
  • the reflectance of each color of R (red), G (green), and B (blue) at one point P with the subject 20 is Subject reflectance (r R , r G , r B ) and Note that the object reflectance (r R , r G , r B ) is a different value depending on each component of the object 20 .
  • the subject reflectance at one point P of the subject 20 is described as (r R , r G , r B ).
  • each element of subject reflectance (r R , r G , r B ) is , R (red), G (green), and B (blue) common specular reflectance rs , and R (red), G (green), and B (blue) different diffuse reflectance r dR , r dG , r dB .
  • the polarization state of the irradiation light 11 changes when the subject 20 is irradiated with the light and becomes reflected light. That is, the polarization state of the observation light (reflected light) 22 shown in the drawing is different from the polarization state of the irradiation light 11 .
  • This change in polarization state differs depending on the reflection characteristics of the object 20 .
  • S (s 0 , s 1 , s 2 ) be the Stokes vector indicating the polarization state of the illumination light 11
  • S′ (s′ 0 , s' 1 , s' 2 )
  • S' MS
  • the Mueller matrix M is called the Mueller matrix.
  • the Mueller matrix M is a transformation matrix that reflects the reflection characteristics of the subject 20 .
  • the Mueller matrix M can be simply represented by a linear sum of a matrix Ms representing the specular reflection of the subject 20 and a matrix Md representing the diffuse reflection.
  • the reflection characteristics of the object 20 differ depending on each color of RGB.
  • the Mueller matrix corresponding to each RGB color of one point P of the subject 20 is a linear sum of the matrix Ms indicating the specular reflection of the point P of the subject 20 and the matrix Md indicating the diffuse reflection, that is, the following (formula 12a) to It is represented by the formula shown in (Formula 12c).
  • rs is a specular reflectance rs common to R (red), G (green), and B (blue)
  • r dR , r dG , and r dB are diffuse reflectances r dR , r dG , and r dB that differ depending on R (red), G ( green), and B (blue) colors.
  • the imaging unit (color polarization image capturing camera) 50 has a configuration for capturing these multiple color polarization images.
  • configurations using multiple cameras with different polarizers are available.
  • a configuration using one camera having an image pickup element having a polarizing element for each pixel may be used.
  • a specific configuration example of the imaging unit 50 that captures a plurality of different polarization images will be described in detail later.
  • the image processing apparatus 100 receives a plurality of color polarized images captured by an imaging unit (color polarized image capturing camera) 50, and obtains Stokes parameters constituting the Stokes vectors S′ R , S′ G , and S′ B. Then, a white balance gain corresponding to each color of RGB is calculated, and white balance adjustment processing is executed using the calculated white balance gain.
  • FIG. 4 shows processing steps S101 to S103 of processing executed by the image processing apparatus 100. As shown in FIG. The processing of each step will be described below in order.
  • Step S101 Processing step S ⁇ b>101 is processing for inputting a plurality of color polarized images captured by the imaging unit (color polarized image capturing camera) 50 .
  • the imaging unit (color polarization image capturing camera) 50 captures three types of images in order to acquire the three types of Stokes parameters s′ 0 to s′ 2 of the observation light 22 . These are the following three types of images shown in step S101 of FIG. (a) Color polarization image a (b) Color polarization image b (c) Color polarization image c
  • Step S102 is white balance gain calculation processing.
  • step S102 from the three types of images acquired in step S101, the following Stokes parameters, that is, (a) Stokes parameters (s' 0R , s' 0G , s' 0B ) corresponding to unpolarized light intensity signals (luminance signals) corresponding to RGB colors in the observation light 22; (b) Stokes parameters (s' 1R , s' 1G , s' 1B ) corresponding to differential signals of horizontal and vertical linearly polarized components corresponding to RGB colors in the observation light 22; (c) Stokes parameters (s′ 2R , s′ 2G , s′ 2B ) corresponding to differential signals of 45-degree linearly polarized components corresponding to RGB colors in the observation light 22; These three types of Stokes parameters are acquired, and the acquired Stokes parameters are used to calculate a white balance gain, which is a pixel value adjustment parameter for correcting the pixel values of the captured image to the original color of the
  • the white balance gain calculated in step S102 is White balance gain (k R , 1, k B ) and
  • Each element of the white balance gains (k R , 1, k B ) corresponds to a multiplication parameter for the pixel values (R, G, B) of each color of the captured image of the imaging section (camera) 30 .
  • the G pixel value is not changed, the R (red) pixel value of the captured image is multiplied by the gain kR , and the B (blue) pixel value of the captured image is obtained.
  • the corrected pixel value after the white balance adjustment can be calculated.
  • the white balance gain (k R , 1, k B ) can be expressed by the following (Equation 14) using the light source colors (L R , LG , LB ) of the light source 10 .
  • White balance gain (k R , 1, k B ) ((L G /L R ),1,(L G /L B )) whereas (Formula 14)
  • step S103 which is the final step, white balance adjustment processing is executed.
  • the white balance gains (k R , 1, k B ) calculated in step S102 are used to correct the pixel values (R, G, B) of each color of the image captured by the imaging unit (camera) 30. do.
  • the Stokes parameters (s′ 0R , s′ 0G , s′ 0B ) obtained from the plurality of color polarization images obtained in step S101 correspond to light intensity signals (luminance signals) corresponding to RGB colors. corresponds to the image. That is, it is a color image composed of light intensity signals (luminance signals) corresponding to RGB colors, that is, (s' 0R , s' 0G , s' 0B ), and these signals.
  • the image (s' 0R , s' 0G , s' 0B ) composed of luminance signals corresponding to these RGB pixel values is multiplied by the white balance gain (k R , 1, k B ) calculated in step S102 above. By doing so, it is possible to generate an RGB image as a white balance adjustment image.
  • the image processing apparatus 100 of the present disclosure can also perform white balance adjustment on the polarization image acquired by the imaging unit 50 to generate a white balance adjusted polarization image.
  • An image composed of RGB pixel values is assumed to be a white balance adjusted image (wbi R , wbi G , wbi B ).
  • the white balance adjusted images (wbi R , wbi G , wbi B ) are generated according to (Equation 15) below.
  • the white balance adjustment images (wbi R , wbi G , wbi B ) calculated according to the above (Equation 15) are images composed of pixel values that reflect the original color of the subject that does not depend on the color characteristics of the light source 10 .
  • the image processing apparatus 100 of the present disclosure calculates white balance gain using polarization information.
  • the polarization information applied to the white balance gain calculation process is information that can be obtained from a color polarization image that is an image captured by the imaging unit (color polarization image capturing camera) 50 . Specifically, it is information such as the Stokes parameter and the degree of linear polarization (DoLP) that can be calculated from the Stokes parameter.
  • the degree of linear polarization (DoLP) is the ratio (%) of linearly polarized light contained in the observation light (reflected light) 22, and the details will be described later.
  • step S102 the following Stokes parameters are obtained from the three color polarization images obtained in step S101. i.e.
  • a white balance gain which is a pixel value adjustment parameter for correcting the pixel value of the captured image to the original color of the subject 20, is calculated.
  • the image processing apparatus 100 of the present disclosure calculates the white balance gain using the polarization information obtained from the polarization image input from the imaging unit 50.
  • the image processing apparatus 100 of the present disclosure calculates the optimum white balance gain using the polarization information of the chromatic color region even when the achromatic color region cannot be detected from the captured image.
  • the image processing apparatus 100 executes the following processing steps A to B to calculate a white balance gain, as shown as the processing of the image processing apparatus 10 in FIG. For example.
  • Step A From the input image, pixels with matching degrees of linear polarization (DoLP) of two different colors (R and G, B and G) are detected.
  • Detected pixels pixels where the two colors (R and G, B and G) of the subject have the same reflectance, and the color change of the captured image occurs only due to the influence of the light source colors (L R , LG , LB ))
  • Step B Calculate white balance gains k R and k B based on the pixel values of the two colors (R and G, B and G) of the detected pixels.
  • FIG. 5 shows the light source 10, the subject 20, the imaging unit (color polarization image capturing camera) 50, and the image processing device 100, as described above with reference to FIGS.
  • the illumination light 11 of the light source 10 is reflected by the object 20, and the imaging unit (color polarized image capturing camera) 50 captures only a specific polarized component from the observation light 22 composed of this reflected light, and captures the captured color polarized image.
  • the image processing unit 100 calculates a white balance gain using the color polarization image captured by the imaging unit (color polarization image capturing camera) 50, and performs white balance adjustment processing using the calculated white balance gain.
  • the light source Stokes vector of each color of RGB which indicates the polarization state of each color of RGB of the illumination light 11 of the light source 10, is expressed by the following equation (Equation 11), as described above.
  • the Stokes vector is a vector indicating the polarization state of light, and is composed of four types of parameters s 0 to s 3 (Stokes parameters).
  • a white balance gain is calculated using the following three types of Stokes parameters s 0 to s 2 .
  • Stokes parameter s 0 unpolarized light intensity signal
  • Stokes parameter s 1 difference signal of horizontal and vertical linear polarization components
  • Stokes parameter s 2 differential signal of 45 degree linear polarization component
  • the observation light 22, which is the reflected light from the object 20, is emitted by the imaging unit ( is input to a color polarization imaging camera) 50 .
  • the polarization state of the illumination light 11 from the light source 10 changes when the subject 20 is illuminated with the illumination light 11 and becomes reflected light.
  • the Mueller matrix M can be simply represented by a linear sum of the matrix Ms representing the specular reflection of the object 20 and the matrix Md representing the diffuse reflection. It is represented by the formula shown in formula 12c).
  • Mueller matrix of R (red light) r s M s +r dR M dR (equation 12a)
  • Mueller matrix of G (green light) r s M s +r dG M dG (equation 12b)
  • Mueller matrix of B (blue light) r s M s +r dB M dB (equation 12c)
  • rs is a specular reflectance rs common to R (red), G (green), and B (blue)
  • r dR , r dG , and r dB are diffuse reflectances r dR , r dG , and r dB that differ depending on R (red), G ( green), and B (blue) colors.
  • the Stokes parameter s 0 is an unpolarized light intensity signal
  • the images (s′ 0R , s′ 0G , s′ 0B ) are images composed of light intensity signals (luminance signals) corresponding to RGB colors. Become. Therefore, if the image (s' 0R , s' 0G , s' 0B ) configured by this Stokes parameter s 0 is set as the image to be subjected to white balance adjustment and the white balance adjustment process is executed, the color of the subject 20 can be accurately reflected. An RGB image can be acquired.
  • a photographed image (s′ 0R , s′ 0G , s′ 0B ) composed of RGB pixel values before white balance adjustment is obtained by observation light (i R , i G , i B ) is an image composed of the same RGB pixel values as in FIG.
  • the observation light (i R , i G , i B ) corresponding to each configuration point of the subject 20 is the light source color (L R , LG , LB ) of the light source 10 and the subject reflection of each configuration point of the subject 20 .
  • Observation light (i R , i G , i B ) ( LRrR , LGrG , LBrB ) .
  • the pixel values of the captured images are the light source colors (L R , LG , LB ) and subject reflectance (r R 1 , r G , r B ). That is, the pixel values of the captured images (s′ 0R , s′ 0G , s′ 0B ) are the light source colors (L R , LG , LB ) of the light source 10 and subject reflectance (r R , r G , r B ), the color changes, and the image becomes an image composed of pixel values of a color different from the original color of the subject 20 .
  • each value of the captured images (s' 0R , s' 0G , s' 0B ) can be expressed as in (Equation 17) below.
  • the color change is Influencing is light source colors ( LR , LG , LB );
  • Subject reflectance (r R , r G , r B ) (( rs + rdR ), ( rs + rdG ), ( rs + rdB )) is.
  • pixels that are estimated to have undergone a color change based only on the light source colors (L R , LG , LB ) are detected from the captured image of the imaging unit 50 .
  • Step A The process executed as this process is the process (step A) of the image processing apparatus 100 shown in FIG. That is, the processing is as follows.
  • Step A From the input image, pixels with matching degrees of linear polarization (DoLP) of two different colors (R and G, B and G) are detected.
  • DoLP linear polarization
  • the detection pixels detected in the process of step A have the same reflectance for the two colors (R and G, B and G) of the subject, and the cause of the color change in the photographed image is the light source colors ( LR , LG , L B ) is a pixel affected only by ).
  • (L G /L R ) calculated by the above (formula 19) is, as shown in the above (formula 20), It corresponds to the white balance gain kR . That is, (L G /L R ) calculated by the above (Equation 19) is applied to the correction of the pixel value (intensity) of R (red) when the pixel value (intensity) of G (green) is used as a reference. A white balance gain kR is obtained.
  • (L G /L B ) calculated by the above (formula 22) is, as shown in the above (formula 23), It corresponds to the white balance gain kB . That is, (L G /L B ) calculated by the above (Equation 22) is applied to the correction of the pixel value (intensity) of B (blue) when the pixel value (intensity) of G (green) is used as a reference. A white balance gain kB is obtained.
  • the image processing apparatus 100 performs the processing for calculating the white balance gain k R corresponding to R (red) by matching the reflectances of the two colors (R and G) of the subject, and the color change of the captured image. is caused only by the influence of the light source colors (L R , LG , LB ).
  • the white balance gain kB corresponding to B blue
  • the reflectances of the two colors (B and G) of the subject are matched, and the color change of the photographed image is the light source color (L R , L G 1 , L B ).
  • the logical image processing apparatus 100 of the present disclosure detects pixel positions where the reflectances of the two colors (R and G) of the subject match, and pixel positions where the reflectances of the two colors (B and G) of the subject match. Therefore, the process (step A) shown in FIG. 5 is executed. That is, the process of "(Step A) Detecting from the input image pixels having the same degrees of linear polarization (DoLP) of two different colors (R and G, B and G)" is executed.
  • DoLP linear polarization
  • r B r G
  • a pixel having the same degree of linear polarization (DoLP B and DoLP G ) of B (blue) and G (green) is detected from the photographed image of the imaging unit 50 .
  • the degree of linear polarization is the ratio (%) of linearly polarized light contained in the observation light (reflected light) 22 .
  • r R r G In order to detect the pixel position where Processing for detecting matching pixels will be described.
  • the degree of linear polarization (DoLP) of R (red) and G (green) in the observation light (reflected light) 22 is calculated by the following (formula 24a) and (formula 24b).
  • s' 0R , s' 1R , s' 2R , s' 0G , s' 1G , and s' 2G are R (red) in the observation light (reflected light) 22 and the Stokes parameter of G (green)
  • s′ 0R and s′ 0G are R (red) and G (green) unpolarized light intensity signals in the observation light (reflected light) 22
  • s' 1R and s' 1G are difference signals of horizontal and vertical linearly polarized components of R (red) and G (green) in the observation light (reflected light) 22
  • s′ 2R and s′ 2G are differential signals of 45-degree linearly polarized components of R (red) and G (green) in the observation light (reflected light) 22; is.
  • These Stokes parameters are parameters that can be acquired from the three images captured by the imaging unit 50 shown in FIG. 5, that is, the following images.
  • S' MS
  • [r s M s +r dRM dR ] in the above (formula 13a) to (formula 13c) is the Mueller matrix of R (red light)
  • [r s M s +r dG M dG ] is the Mueller matrix of G (green light)
  • [r s M s +r dB M dB ] is the Mueller matrix for B (blue light)
  • rs is a specular reflectance rs common to R (red), G (green), and B (blue)
  • r dR , r dG , and r dB are diffuse reflectances r dR , r dG , and r dB that differ depending on R (red), G ( green), and B (blue) colors.
  • the image processing apparatus 100 of the present disclosure outputs the following three images from the imaging unit 50, that is, (a) color polarized image a shown in FIG. (b) Color polarization image b (c) Color polarization image c These three types of images are input.
  • the image processing device 100 is necessary for calculating the degree of linear polarization (DoLP R ) of R (red) and the degree of linear polarization (DoLP G ) of G (green) in the observation light (reflected light) 22 from these images. It is possible to obtain the Stokes parameter that becomes That is, the image processing apparatus 100 extracts the linear polarization degree (DoLP R ) of R (red) and G ( The Stokes parameters (s' 0R , s' 1R , s' 2R , s' 0G , s' 1G , s' 2G ) required to calculate the degree of linear polarization (DoLP G ) of green) are obtained.
  • the image processing apparatus 100 of the present disclosure uses three images input from the imaging unit 50, that is, images (a) to (c) shown in FIG.
  • the degree of linear polarization of R (red) (DoLP R ) and the degree of linear polarization of G (green) (DoLP G ) are calculated according to (Formula 24a) and (Formula 24b), and the pixel positions where these match are detected.
  • the pixel position where the degree of linear polarization of R (red) (DoLP R ) and the degree of linear polarization of G (green) (DoLP G ) match is the reflectance r R of R (red) and the reflectance of G (green)
  • the Stokes parameter s 0 that can be obtained from the three types of color polarization images input from the imaging unit 50 shown in FIG . 0G , s′ 0B ) is an image composed of light intensity signals (luminance signals) corresponding to RGB colors. This image can be regarded as a photographed image (s' 0R , s' 0G , s' 0B ) of observation light (i R , i G , i B ).
  • the white balance gain is set based on the R (red) pixel value of the captured image without changing the G pixel value based on the G (green) pixel value of the captured image.
  • the white balance gain to be multiplied is kR
  • the white balance gain to be multiplied by the B (blue) pixel value of the captured image is kB .
  • the above processing is an example of calculation processing of one white balance gain among the white balance gains (k R , 1, k B ), that is, the white balance gain k R applied to correct the pixel value (intensity) of R (red). is.
  • the above-described processing example is an example of processing for calculating the white balance gain kR applied to the correction of the pixel value (intensity) of R (red), but the correction of the pixel value (intensity) of B (blue) Calculation processing of the white balance gain kB to be applied to can be similarly executed.
  • pixel positions where the degree of linear polarization (DoLP B ) of B (blue) and the degree of linear polarization (DoLP G ) of G (green) in the observation light (reflected light) 22 match are detected.
  • the white balance gain (k R , 1, k B ) can be expressed using the light source colors (L R , LG , LB ) of the light source 10 as follows.
  • White balance gain (k R , 1, k B ) ((L G /L R ),1,(L G /L B ))
  • Captured images (s′ 0R , s′ 0G , s′ 0B ) obtained from a plurality of color polarized images input from the imaging unit 50 shown in FIG. 5 have pixel values (s ' 0R , s' 0G , s' 0B ), and the white balance adjustment process is executed by multiplying this pixel value by the calculated white balance gain (k R , 1, k B ). It is possible to generate an image after white balance adjustment.
  • Matching pixels of the degree of linear polarization of R (red) (DoLP R ) and the degree of linear polarization of G (green) (DoLP G ) in the observation light (reflected light) 22 are detected, and R (red) and G (green) are detected.
  • detecting matching pixels with reflectances r R and r G of Matching pixels of the degree of linear polarization of B (blue) (DoLP B ) and the degree of linear polarization of G (green) (DoLP G ) in the observation light (reflected light) 22 are detected, and B (blue) and G (green) are detected.
  • the matching pixels with the reflectances r B and r G of ) are detected.
  • the reflectances of the two colors in RGB of the subject 20 match, and only the influence of the light source colors ( LR , LG , LB ) detection processing of the pixel position where Specifically, in the captured images (s' 0R , s' 0G , s' 0B ), detection processing of pixel positions where only the influence of the light source colors (L R , LG , LB ) occurs is performed.
  • DoLP degrees of linear polarization
  • the image processing apparatus 100 inputs an image from the imaging unit 50, that is, (a) color polarized image a shown in FIG. (b) Color polarization image b (c) Color polarization image c
  • two different components are used to calculate "nth component (parameter)/mth component (parameter) (n ⁇ m)"
  • L R , LG , LB light source colors
  • each component ratio (parameter ratio) of the Stokes parameter is calculated according to (Equation 27a), (Equation 27b), and (Equation 27c) shown below.
  • pixel positions where the color change of the photographed image is caused only by the influence of the light source colors ( LR , LG , LB ) are detected, and the pixel values set at these pixel positions are used to determine the white balance.
  • a process of calculating the gains k R and k B may be performed.
  • the white balance gain calculation processing example 2 is a processing example in which the image processing apparatus 100 executes the following processing steps P to Q to calculate the white balance gain.
  • Step P Relational expression generation process "The opposite color of the white balance adjustment image ( kR i R , i G , kBi B )" is the "color of the degree of linear polarization (DoLP) (DoLP R , DoLP G , DoLP B )”, two or more relational expressions including the Stokes parameters that can be obtained from the captured image and the two unknown white balance gains k R and k B are generated. (Two or more relational expressions corresponding to different pixel positions of the captured image are generated.)
  • Step Q White balance gains k R and k B are calculated by solving two or more relational expressions generated in step P as simultaneous equations.
  • FIG. 6 shows the light source 10, the object 20, the imaging unit (color polarization image capturing camera) 50, and the image processing device 100, as described above with reference to FIG.
  • the illumination light 11 of the light source 10 is reflected by the object 20, and the imaging unit (color polarized image capturing camera) 50 captures only a specific polarized component from the observation light 22 composed of this reflected light, and captures the captured color polarized image.
  • Input to the processing unit 100 .
  • the image processing unit 100 calculates a white balance gain using the color polarization image captured by the imaging unit (color polarization image capturing camera) 50, and performs white balance adjustment processing using the calculated white balance gain.
  • the configuration of the light source 10, the object 20, and the imaging section (color polarization image capturing camera) 50 is the same as that of FIG.
  • the light source Stokes vector S indicating the polarization state of each color of RGB of the illumination light 11 of the light source 10 is the same as in FIG.
  • the Mueller matrix M indicating the reflection characteristics of the object 20 is also the same as that in FIG.
  • the R (red), G (green), and B (blue) Stokes vectors S' of the observation light (reflected light) 22 are the same as those shown in FIG. It can be expressed as Equations 13a) to 13c).
  • the image processing apparatus 100 receives these three types of images and executes white balance gain calculation processing. Further, the calculated white balance gain is used to perform white balance adjustment processing of the captured image.
  • the white balance gain corresponds to a multiplication parameter for the pixel values (R, G, B) of each color of the captured image.
  • the G pixel value is not changed, the R (red) pixel value of the captured image is multiplied by the gain kR , and the B (blue) pixel value of the captured image is obtained.
  • the gain kB By multiplying the value by the gain kB , the corrected pixel value after the white balance adjustment can be calculated.
  • the white balance gain ( kR , 1, kB ) for canceling the influence of the light source colors ( LR , LG , LB ) and the light source colors ( LR , LG , LB ) is the following relational expression.
  • White balance gain (k R , 1, k B ) ((L G /L R ),1,(L G /L B ))
  • the image processing apparatus 100 executes the following steps P to Q to execute white balance gain calculation processing.
  • Step P Relational expression generation process "The opposite color of the white balance adjustment image ( kR i R , i G , kBi B )" is the "color of the degree of linear polarization (DoLP) (DoLP R , DoLP G , DoLP B )”, two or more relational expressions including the Stokes parameters that can be obtained from the captured image and the two unknown white balance gains k R and k B are generated. Two or more relational expressions corresponding to different pixel positions of the captured image are generated.
  • Step Q White balance gains k R and k B are calculated by solving two or more relational expressions generated in step P as simultaneous equations.
  • the “opposite color of the white balance adjustment image ( kR i R , i G , k B i B )” is the “color of the degree of linear polarization (DoLP) (DoLP R , DoLP G , DoLP B )” is established.
  • the "opposite color of the white balance adjustment images ( kRiR , iG , kBiB ) means the photographed images ( iR , iG , i B ) is the opposite color of the white balance adjusted image (k R i R , i G , k B i B ) generated by applying the white balance gain (k R , 1, k B ).
  • Opposite colors are colors that are in opposite positions on the color wheel. Mixing two opposite colors produces an achromatic color.
  • Step P Relational expression generation process
  • DoLP degree of linear polarization
  • Step Q White balance gains k R and k B are calculated by solving two or more relational expressions generated in step P as simultaneous equations.
  • the image processing apparatus 100 determines that the “opposite colors of the white balance adjustment images ( kR i R , i G , k B i B )” are the “colors of the degree of linear polarization (DoLP) (DoLP R , DoLP G , DoLP B )”, two or more relational expressions including the Stokes parameters that can be obtained from the captured image and the two unknown white balance gains k R and k B are generated. Two or more relational expressions corresponding to different pixel positions of the captured image are generated.
  • DoLP degree of linear polarization
  • RGB value luminance value that constitutes the “opposite color (RGB) of the white balance adjusted image ( kR i R , i G , k B i B )” is defined by the following (Equation 31).
  • RGB luminance value
  • Equation 33 is an equation in which "opposite colors (RGB) of the white balance adjusted image (kR i R , i G , k B i B )" are combined into one.
  • the right-hand side of the above (Formula 33) is a formula collectively showing the "colors (DoLP R , DoLP G , DoLP B ) of the degree of linear polarization (DoLP)".
  • DoLP R , DoLP G , and DoLP B in the above (Equation 34) are, as shown in the following (Equation 35a) to (Equation 35c), using the Stokes parameters that can be acquired from the color polarization image captured by the imaging unit 50. It is a computable value.
  • (i R , i G , i B ) in the above (Equation 34) are the pixel values ( s ′ 0R , s' 0G , s' 0B ).
  • the Stokes parameter s' 0 corresponds to the unpolarized light intensity signal (brightness signal) in the observation light 22
  • the images (s' 0R , s' 0G , s' 0B ) are the observation light ( i R , i G , i B ) are signals having the same intensity ratio.
  • the unknowns included in the relational expression shown in (Equation 34) above are only the two white balance gains k R and k B . Therefore, by generating two or more of the relational expressions shown in (Equation 34) above and solving them as simultaneous equations, the two white balance gains k R and k B can be calculated. That is, two white balance gains k R and k B can be calculated by generating the relational expression shown in (Equation 34) above for two or more pixel positions.
  • the image processing apparatus 100 applies the white balance gains k R and k B calculated by these processes to the image captured by the imaging unit 50 to perform white balance adjustment processing.
  • the white balance gain (k R , 1, k B ) can be expressed using the light source colors (L R , LG , LB ) of the light source 10 as follows.
  • White balance gain (k R , 1, k B ) ((L G /L R ),1,(L G /L B ))
  • white balance adjustment processing is performed by multiplying the pixel values of the captured images (s' 0R , s' 0G , s' 0B ) by the white balance gains (k R , 1, k B ) calculated by the above processing. is executed to generate an image after white balance adjustment.
  • the reason why the above relationship holds is that the phases of the specular polarized light and the diffuse polarized light generated by the reflection on the object 20 are out of phase.
  • the reason for this is that the intensity of polarized light is large, that is, degree of specular polarization>degree of diffuse polarization.
  • FIG. 7 shows observation light 12 (i R , i G , i B ).
  • Two graphs shown in the lower part of FIG. 7 are analysis processing data of the observation light (i R , i G , i B ), and are the following analysis data.
  • the specular reflection component of the observation light reflects the color component of the light source
  • the diffuse reflection component reflects the color component of the subject.
  • the specular reflection component (is) of observation light is shown as one graph common to RGB, and diffuse reflection
  • the components (i Rd , i Gd , i Bd ) are shown as three separate RGB graphs.
  • the diffuse reflection component (i Rd ) of B (red) is the largest, reflecting the color of the subject (red).
  • the graph shown in "(1a) Specular reflection component and diffuse reflection component intensity data corresponding to polarization angle of observation light” corresponds to the polarization angle of each RGB color of observation light (i R , i G , i B ).
  • the graph shown in “(1b) intensity data corresponding to polarization angle of observation light (specular reflection component + diffuse reflection component)” shows the polarization angle of each RGB color of observation light (i R , i G , i B ).
  • 4 is a graph showing total intensity obtained by adding a specular reflection component and a diffuse reflection component; Note that the specular reflection component corresponding to the polarization angle of each RGB color is the solid line data (i s ) in the graph of (1a), and the diffuse reflection component is the RGB corresponding 3 This is book data (i Rd , i Gd , i Bd )).
  • the image captured by the imaging unit (camera) 50 is color-set according to the intensity of the observation light (i R , i G , i B ) in the graph shown in "(1b) Observation light (specular reflection component + diffuse reflection component)". will be done.
  • the intensity of the observation light (i R , i G , i B ) in the graph shown in “(1b) Observation light (specular reflection component + diffuse reflection component)” is also the R (red) observation light (i R ) is larger than the observed lights (i G , i B ) of G (green) and B (blue).
  • Observation Light (Specular Reflection Component + Diffuse Reflection Component)” is an image in which the color is set according to the intensity of the observation light (i R , i G , i B ) in the graph, that is, the color (red) of the subject 20 is accurately reproduced. It becomes a reflected image.
  • Equation 31 "opposite colors ( R , G , B ) of white balance adjusted image ( kR i R , i G , k B i B )"
  • Equation 32 “color of degree of linear polarization (DoLP) (DoLP R , DoLP G , DoLP B )” Each of these RGB values is calculated.
  • FIG. 8 shows observation light 12 (i R , i G , i B ) when the illumination light 11 of the light source 10 is green (G) and the subject 20 is red, as shown in the upper part of FIG. 8 (condition 2). shows an example of analysis processing.
  • the illumination light 11 of the light source 10 is green (G)
  • the image captured by the imaging unit (camera) 50 is an image in which color changes occur depending on the color of the light source. That is, an image that reflects the color of the subject 20 and requires white balance adjustment is shot.
  • FIG. 8 shows the following analysis data.
  • the graph shown in “ (2a) Specular reflection component and diffuse reflection component of observation light” shows specular reflection components (i Rs , i G , i Bs ) and diffuse reflection components (i Rd , i Gd , i Bd ).
  • specular reflection components (i Rs , i G , i Bs ) corresponding to the polarization angles of RGB colors are different for each RGB color.
  • the specular reflection component of the observation light reflects the color component of the light source
  • the diffuse reflection component reflects the color component of the subject, as described above.
  • observation light (specular reflection component + diffuse reflection component)” shows the specular reflection component and the diffuse reflection component according to the polarization angle of each RGB color of the observation light (i R , i G , i B ). It is the graph which showed the total intensity
  • the image captured by the imaging unit (camera) 50 is color-set according to the intensity of the observation light (i R , i G , i B ) in the graph shown in "(2b) Observation light (specular reflection component + diffuse reflection component)”. will be done.
  • the intensity of the observation light (i R , i G , i B ) in the graph shown in “(2b) Observation light (specular reflection component + diffuse reflection component)” is also reduced to that of B (blue) observation light (i B ) is larger than the observation light (i G , i R ) of G (green) and R (red).
  • the illumination light 11 of the light source 10 is green (G).
  • G An image is captured that requires a white balance adjustment that does not reflect the 20 colors.
  • each RGB value is calculated according to the above-described equations (31) and (32).
  • Equation 31 "opposite colors ( R , G , B ) of white balance adjusted image ( kR i R , i G , k B i B )"
  • Equation 32 “color of degree of linear polarization (DoLP) (DoLP R , DoLP G , DoLP B )” Each of these RGB values is calculated.
  • the white balance gains k R and k B can be calculated by using the relational expressions shown in (Equation 33) and (Equation 34) described above. By generating two or more of the relational expressions shown in Equation 34 above and solving them as simultaneous equations, two white balance gains k R and k B can be calculated.
  • FIG. 9 is a diagram showing a usage example of the image processing apparatus 100 of the present disclosure.
  • Irradiation light is emitted from the light source 10 , and observation light 22 , which is light reflected by the object 20 , is input to the imaging unit (color polarization image capturing camera) 50 .
  • An imaging unit (color polarization image capturing camera) 50 captures a plurality of different color polarization images, and the captured color polarization images are input to the image processing apparatus 100 .
  • the image processing apparatus 100 calculates a white balance gain using a plurality of color polarized images input from the imaging unit (color polarized image capturing camera) 50, and executes white balance adjustment processing using the calculated white balance gain. do.
  • FIG. 10 is a diagram showing a configuration example of an imaging system 80 configured by an imaging unit (color polarization imaging camera) 50 and an image processing apparatus 100. As shown in FIG. An imaging unit (color polarized image capturing camera) 50 captures a polarized image using a polarizing filter (polarizing element).
  • An imaging unit (color polarized image capturing camera) 50 captures a polarized image using a polarizing filter (polarizing element).
  • the imaging unit (color polarization image capturing camera) 50 detects three types of Stokes parameters s′ 0 to s′ of the observation light 22 composed of reflected light from the subject 20. To obtain 2 , three types of images (color polarization images) are taken. The following three types of images are shown in FIGS. 4-6.
  • FIG. 11 shows an example in which the imaging section 50 is configured by a plurality of imaging sections 50a to 50c.
  • Each of the imaging units 50a to 50c has polarizing filters a, 51a to 51c, and 51c with different polarization directions. Different polarization images through polarizing filters a, 51a-c, 51c are captured by image sensors a, 52a-c, 52c. Three color polarized images a to c captured by the three imaging units 50a to 50c are input to the image processing apparatus 100.
  • FIG. 11 shows an example in which the imaging section 50 is configured by a plurality of imaging sections 50a to 50c.
  • Each of the imaging units 50a to 50c has polarizing filters a, 51a to 51c, and 51c with different polarization directions. Different polarization images through polarizing filters a, 51a-c, 51c are captured by image sensors a, 52a-c, 52c.
  • FIG. 12 shows a configuration example using one imaging unit 50 .
  • the imaging unit 50 has a rotatable polarization filter 51r having a rotatable configuration. By rotating the rotatable polarizing filter 51r, a plurality of different polarized images can be captured.
  • FIG. 13 shows a configuration using a polarizer laminated sensor as an image sensor.
  • the image sensor inside the imaging unit 50 is configured as a polarizer laminated sensor 52p in which a polarizer (polarizing filter) corresponding to each pixel is associated.
  • Light polarized light
  • polarizer laminated sensor 52p is input to each pixel of the polarizer laminated sensor 52p through a polarizer (polarizing filter).
  • image sensors such as CMOS (Complementary Metal Oxide Semiconductor) and CCD (Charge Coupled Device) are arranged in association with polarizers (polarizing filters) having a plurality of polarization directions.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • each pixel set in units of four pixels for each of RGB has four different polarization directions (a, b, c, d). Match children. Polarized images in different polarization directions are captured in these four pixels. With this configuration, a plurality of polarization images can be acquired in one imaging process, and high-speed processing is possible.
  • the polarizer polarizing filter
  • a wire grid, photonic liquid crystal, or the like can be used.
  • a color filter is provided on the incident surface side of the sensor.
  • the viewpoint position with respect to the subject is shifted. If the positional intervals of the imaging units a, 50a to 50c, and 50c are so short as to be negligible with respect to the distance to the object, parallax can be ignored in a plurality of polarized images with different polarization directions. In this case, by averaging the luminance of polarized images with different polarization directions, it is possible to obtain an image equivalent to a non-polarized normal luminance image.
  • An image equivalent to the unpolarized normal luminance image acquired by these processes corresponds to, for example, unpolarized light intensity signals (luminance signals) corresponding to RGB colors in the observation light 22 shown in FIGS. It corresponds to an image configured by the Stokes parameters (s' 0R , s' 0G , s' 0B ), and the image processing apparatus 100 performs white balance adjustment processing on this unpolarized normal luminance image as a white balance adjustment target image. By doing so, it is possible to obtain an RGB image that reflects the colors of the subject with high precision.
  • the white balance adjustment target image is not limited to such a non-polarized normal luminance image.
  • the image processing apparatus 100 may perform white balance adjustment processing using the polarization image acquired by the imaging unit 50 as the adjustment target image to generate a white balance adjustment polarization image.
  • FIG. 14 to 16 are diagrams showing pixel configuration examples for a plurality of polarization directions. The configuration shown in each figure is repeated horizontally and vertically.
  • (a) and (b) of FIG. 14 illustrate the arrangement of polarization pixels.
  • FIG. 14A illustrates a case in which a 2 ⁇ 2-pixel polarization pixel block is composed of polarization pixels with polarization directions (polarization angles) of, for example, 0 degrees, 45 degrees, 90 degrees, and 135 degrees. .
  • 2 ⁇ 2 pixels are used as a unit of the polarization direction
  • a polarization pixel block of 4 ⁇ 4 pixels is composed of polarization pixels with polarization directions of 0 degrees, 45 degrees, 90 degrees, and 135 degrees, for example.
  • the polarization component unit of the polarizing filter is 2 ⁇ 2 pixels as shown in FIG. 14A is smaller than that of the 1 ⁇ 1 pixel shown in FIG. 14A.
  • the polarizing filter uses a wire grid
  • polarized light whose electric field component is perpendicular to the direction of the grid (wire direction) is transmitted, and the transmittance increases as the wire length increases. Therefore, when the polarization component unit is 2 ⁇ 2 pixels, the transmittance is higher than that of 1 ⁇ 1 pixels. Therefore, when the polarization component unit is 2 ⁇ 2 pixels, the transmittance is higher than in the case of 1 ⁇ 1 pixel, and the extinction ratio can be improved.
  • FIG. 14(c) shows a case where the polarizing pixel block of 2 ⁇ 2 pixels shown in FIG. 14(a) is taken as one color unit, and three primary color pixels (red pixels, green pixels and blue pixels) are arranged in a Bayer array. showing.
  • FIG. 14 illustrates a case where three primary color pixels are provided in a Bayer array for each pixel block of 2 ⁇ 2 pixels having the same polarization direction shown in (b) of FIG. 14 .
  • FIG. 14(e) shows a case where three primary color pixels are provided in a Bayer array for each pixel block of 2 ⁇ 2 pixels having the same polarization direction, and the 2 ⁇ 2 pixel blocks having different polarization directions are pixels of the same color. exemplified.
  • FIG. 14 shows pixel blocks of 2 ⁇ 2 pixels in the same polarization direction and in a Bayer array, with a pixel block adjacent in the horizontal direction having a phase difference of 90 degrees in the direction of polarization and pixel blocks adjacent in the vertical direction. , the phase difference between the polarization directions is ⁇ 45 degrees.
  • FIG. 14 shows pixel blocks of 2 ⁇ 2 pixels in the same polarization direction and in a Bayer array, with a pixel block adjacent in the horizontal direction having a phase difference of 90 degrees in the direction of polarization from the pixel block adjacent in the vertical direction.
  • the phase difference between the polarization directions is ⁇ 45 degrees.
  • FIG. 15 illustrates a case where three primary color pixels and white pixels are provided.
  • (a) of FIG. 15 illustrates a case where one green pixel is replaced by a white pixel in a pixel block of 2 ⁇ 2 pixels in the same polarization direction and Bayer arrangement shown in (b) of FIG. 14 .
  • (b) of FIG. 15 is a block of 2 ⁇ 2 pixels with different polarization directions, with one green pixel as a white pixel in the pixel block of 2 ⁇ 2 pixels in the same polarization direction and Bayer arrangement shown in (c) of FIG. 14 . are pixels of the same color.
  • the dynamic range in generating normal vector information is expanded compared to the case where white pixels are not provided. can. Also, since the white pixels have a good S/N ratio, the calculation of the color difference is less susceptible to noise.
  • FIG. 16 exemplifies the case where non-polarized pixels are provided, and the display of polarization directions and color pixels is the same as in FIG.
  • FIG. 16(a) shows a pixel block of 4 ⁇ 4 pixels using two pixel blocks of 2 ⁇ 2 pixels having four different polarization directions and two pixel blocks of 2 ⁇ 2 pixels each composed of unpolarized pixels.
  • a pixel block of polarized pixels is green pixels
  • a pixel block of non-polarized pixels is red pixels or blue pixels
  • pixel blocks (2 ⁇ 2 pixels) of the same color are provided in a Bayer array.
  • polarization pixels having a phase difference of 45 degrees are provided in a diagonal direction in a pixel block of 2 ⁇ 2 pixels, and the polarization directions of the polarization pixels are two directions having a phase difference of 45 degrees.
  • a case is exemplified in which a pixel block composed of two polarized images with different polarization directions and two non-polarized pixels is used as a color unit, and a pixel block of three primary colors is provided as a Bayer array.
  • FIG. 16(c) shows a case where a pixel block of 2 ⁇ 2 pixels is used as a color unit, pixel blocks of three primary colors are provided in a Bayer array, and polarization pixels with two different polarization directions are provided in a pixel block of green pixels. exemplified.
  • polarized pixels are provided in the same manner as in (b) of FIG. A case is illustrated in which one non-polarized pixel is a red pixel and one non-polarized pixel is a blue pixel in an adjacent pixel block.
  • FIG. 16 show the case where non-polarized pixels are used as color pixels and pixels of three primary colors are provided in a pixel block of 4 ⁇ 4 pixels.
  • (g) and (h) of FIG. 16 show a case where some of the non-polarized pixels are used as color pixels, and pixels of three primary colors are provided in a pixel block of 4 ⁇ 4 pixels.
  • FIGS. 14 to 16 are examples, and other configurations may be used. Moreover, in order to enable high-sensitivity imaging even at night, etc., a configuration in which infrared (IR) pixels are mixed and repeated may be used.
  • IR infrared
  • FIG. 17 illustrates a case where the polarization pixel blocks are thinned out.
  • (a) of FIG. 17 illustrates a case in which polarization pixel blocks of 4 ⁇ 4 pixels are repeatedly provided for each block of 8 ⁇ 8 pixels.
  • the pixels having the same polarization direction and color form an 8-pixel cycle in each of the horizontal and vertical directions.
  • FIG. 17(b) exemplifies a case in which polarizing pixel blocks of 4 ⁇ 4 pixels are repeatedly provided for each block of 16 ⁇ 16 pixels.
  • pixels having the same polarization direction and color form a period of 16 pixels in each of the horizontal and vertical directions.
  • the polarization pixel block may be provided such that pixels having the same polarization direction and color have a 32-pixel cycle or a 64-pixel cycle in the horizontal direction and the vertical direction, respectively.
  • the repetition period of pixels having the same polarization direction and color may be different in the horizontal direction and the vertical direction, and may be different in the central portion and the end portions of the image sensor.
  • the imaging unit (color polarization image capturing camera) 50 that acquires the color polarization image is not limited to the configuration described above, and the color polarization image from which polarization information such as the Stokes parameter used in the white balance gain calculation process can be obtained. Other configurations may be used as long as they can be obtained.
  • the color polarization image used in the image processing apparatus 100 is not limited to the case where it is output from the imaging unit (color polarization image capturing camera) 50 to the image processing apparatus 100 .
  • the color polarized image recorded on the recording medium is read out and output to the image processing apparatus 100. There may be.
  • the image processing apparatus 100 has a polarization information acquisition section 101 , a white balance gain calculation section 102 and a white balance adjustment section 103 .
  • the polarization information acquisition unit 101 of the image processing apparatus 100 uses the color polarization image acquired by the imaging unit (color polarization image capturing camera) 50 to acquire polarization information to be applied to white balance gain calculation.
  • the polarization information acquisition unit 101 inputs, for example, a plurality of different polarization images from the imaging unit (color polarization image capturing camera) 50 . Specifically, for example, the following three types of images described above with reference to FIGS. 4 to 6 are used.
  • the polarization information acquisition unit 101 acquires polarization information used for white balance gain calculation processing from these images. Specifically, calculation processing of the Stokes parameter corresponding to each RGB color and the degree of linear polarization (DoLP) corresponding to each RGB color calculated using the Stokes parameter is performed. The polarization information acquired by the polarization information acquisition section 101 is output to the white balance gain calculation section 102 .
  • DoLP degree of linear polarization
  • the white balance gain calculation unit 102 uses the color polarization image acquired by the imaging unit (color polarization image capturing camera) 50 and the polarization information acquired by the polarization information acquisition unit 101 to obtain a white balance gain for white balance adjustment. Calculate the balance gain.
  • a white balance gain kR to be multiplied by the R (red) pixel value of the captured image and a white balance gain kB to be multiplied by the B (blue) pixel value of the captured image are calculated.
  • Each element of the white balance gain (k R , 1, k B ) corresponds to a multiplication parameter for each color pixel value (R, G, B) of the captured image.
  • the G pixel value is not changed, the R (red) pixel value of the captured image is multiplied by the white balance gain k R , and the B (blue) of the captured image is obtained.
  • the white balance gain calculated by the white balance gain calculation unit 102 is output to the white balance adjustment unit 103.
  • the white balance adjustment unit 103 executes white balance adjustment processing on the color image acquired by the imaging unit (color polarization image capturing camera) 50 .
  • the R (red) pixel value of the color image is multiplied by the white balance gain kR
  • the B (blue) pixel value is multiplied by the white balance gain kB , thereby generating a corrected image after white balance adjustment.
  • the white balance adjustment image generated by the white balance adjustment unit 103 is output to an external device such as a display device or a recording device.
  • FIG. 18 A sequence of processing executed by the image processing apparatus 100 of the present disclosure will be described with reference to FIG. 18 .
  • the image processing apparatus 100 of the present disclosure has a program execution function such as a CPU, for example, and the processing according to the flowchart shown in FIG. is possible. The processing of each step of the flowchart shown in FIG. 18 will be described below.
  • Step S201 First, the image processing apparatus 100 inputs a color polarization image in step S201.
  • a color polarization image captured by an imaging unit (color polarization image capturing camera) 50 shown in FIG. 10 is input. Specifically, for example, the following three types of color polarization images described above with reference to FIGS. 4 to 6 are input.
  • Step S202 the image processing apparatus 100 acquires polarization information to be applied to white balance gain calculation using the color polarization image input in step S201.
  • This process is executed by the polarization information acquisition unit 101 of the image processing apparatus 100 shown in FIG.
  • the polarization information acquisition unit 101 acquires polarization information used for white balance gain calculation processing from the color polarization image input from the imaging unit (color polarization image capturing camera) 50 . Specifically, calculation processing of the Stokes parameter corresponding to each RGB color and the degree of linear polarization (DoLP) corresponding to each RGB color calculated using the Stokes parameter is performed.
  • DoLP degree of linear polarization
  • the polarization information acquisition unit 101 obtains, for example, the following Stokes parameters from the color polarization image input from the imaging unit (color polarization image capturing camera) 50, that is, (a) Stokes parameters (s' 0R , s' 0G , s' 0B ) corresponding to unpolarized light intensity signals (luminance signals) corresponding to RGB colors in the observation light, (b) Stokes parameters (s' 1R , s' 1G , s' 1B ) corresponding to differential signals of horizontal and vertical linearly polarized components corresponding to RGB colors in the observation light, (c) Stokes parameters (s′ 2R , s′ 2G , s′ 2B ) corresponding to differential signals of 45-degree linearly polarized components corresponding to RGB colors in the observation light, These three Stokes parameters are obtained.
  • the degree of linear polarization (DoLP) corresponding to each color of RGB is calculated.
  • the degree of linear polarization (DoLP) is the ratio (%) of linearly polarized light contained in observation light (object reflected light).
  • Step S203 the image processing apparatus 100 calculates a white balance gain using the polarization information acquired in step S202.
  • This processing is processing executed by the white balance gain calculation unit 102 of the image processing apparatus 100 shown in FIG.
  • a white balance gain calculation unit 102 calculates a white balance gain, which is a pixel value adjustment parameter for correcting the pixel value of the captured image to the original color of the subject.
  • the white balance gain calculation unit 102 uses the color polarization image acquired by the imaging unit (color polarization image capturing camera) 50 and the polarization information acquired by the polarization information acquisition unit 101 to obtain a white balance gain for white balance adjustment. Calculate the balance gain.
  • a white balance gain kR to be multiplied by the R (red) pixel value of the captured image and a white balance gain kB to be multiplied by the B (blue) pixel value of the captured image are calculated.
  • Each element of the white balance gain (k R , 1, k B ) corresponds to a multiplication parameter for each color pixel value (R, G, B) of the captured image.
  • the G pixel value is not changed, the R (red) pixel value of the captured image is multiplied by the white balance gain k R , and the B (blue) of the captured image is obtained.
  • the white balance gain calculation process in step S203 is executed by applying either one of the following two process examples described above with reference to FIGS. A.
  • White balance gain calculation processing example 1 (Fig. 5)
  • B White balance gain calculation processing example 2 (Fig. 6)
  • step S204 the image processing apparatus 100 executes white balance adjustment processing using the white balance gain calculated in step S203.
  • the white balance adjustment unit 103 executes white balance adjustment processing on the captured image acquired by the imaging unit (color polarization image capturing camera) 50 .
  • the white balance adjustment unit 103 multiplies, for example, the R (red) pixel value of the captured image by the white balance gain k R calculated in step S203, and calculates the B (blue) pixel value as the white balance gain By multiplying kB , a corrected image after white balance adjustment is generated.
  • the white balance adjustment image generated by the white balance adjustment unit 103 is output to an external device such as a display device or a recording device.
  • FIG. A White balance gain calculation processing example 1 (Fig. 5)
  • B White balance gain calculation processing example 2 (Fig. 6)
  • steps S221 and S222 in the flow shown in FIG. 19 is processing executed by the white balance gain calculation unit 102 of the image processing apparatus 100 shown in FIG.
  • step S221 the white balance gain calculation unit 102 calculates the degree of linear polarization (DoLP) of two different colors (R and G, B and G) from the photographed image acquired by the imaging unit (color polarization image photographing camera) 50. Find matching pixels.
  • DoLP degree of linear polarization
  • the reflectances of the two colors of the subject match, and the color change of the captured image occurs only due to the influence of the light source colors ( LR , LG , LB ). becomes a pixel.
  • step S222 the white balance gain calculator 102 calculates white balance gains k R and k B based on the pixel values of the two colors (R and G, B and G) of the detected pixels.
  • the white balance gain (k R , 1, k B ) can be expressed using the light source colors (L R , LG , LB ) of the light source 10 as follows.
  • White balance gain (k R , 1, k B ) ((L G /L R ),1,(L G /L B ))
  • Images (s' 0R , s' 0G , s' 0B ) obtained from a plurality of color polarized images input from the imaging unit 50 have pixel values (s' 0R , s' 0G , s′ 0B ), and by multiplying this pixel value by the calculated white balance gain (k R , 1, k B ), white balance adjustment processing is executed, and after white balance adjustment image can be generated.
  • steps S241 to S242 in the flow shown in FIG. 20 is processing executed by the white balance gain calculation unit 102 of the image processing apparatus 100 shown in FIG.
  • Step S241 The white balance gain calculation unit 102 executes the following process in step S241.
  • relational expression on which this relational expression is based is the relational expression (expression 33) previously described with reference to FIG.
  • a relational expression (expression 34) including two white balance gains k R and k B as unknowns is derived.
  • the parameters included in (Equation 34) can be obtained from the color polarization image captured by the imaging unit 50 as shown in (Equation 35) described above. can be calculated with the Stokes parameter. All parameters other than the white balance gains k R and k B included in (Equation 34) are known, and the only unknowns included in (Equation 34) are the white balance gains k R and k B. Therefore, by generating two or more relational expressions shown in (Equation 34) and solving them as simultaneous equations, two white balance gains k R and k B can be calculated. That is, in step S241, the relational expression shown in (Equation 34) is generated for two or more pixel positions.
  • Step S242 the white balance gain calculation unit 102 solves the two or more relational expressions generated in step S241 as simultaneous equations.
  • the image processing apparatus 100 applies the white balance gains k R and k B calculated by these processes to the image captured by the imaging unit 50 to perform white balance adjustment processing.
  • the white balance gain calculated according to the processing described in the above-described embodiment can be applied to, for example, a non-polarized luminance image obtained from an image captured by the image capturing unit 50, so that the white balance adjustment image, that is, the color of the subject, can be obtained. It is possible to obtain an RGB image that reflects with high accuracy.
  • an image configured by the Stokes parameters (s' 0R , s' 0G , s' 0B ) obtained from the captured image of the imaging unit 50 is an RGB image composed of unpolarized light intensity signals (luminance signals), By performing white balance adjustment processing on this image, it is possible to acquire an RGB image that reflects the colors of the subject with high precision.
  • the image processing apparatus 100 of the present disclosure illustrated in FIG. 10 executes either of the following two processes described with reference to FIGS. 5 and 6 in the white balance gain calculation unit 102. to execute white balance gain calculation processing.
  • A. White balance gain calculation processing example 1 described with reference to FIG. 5 executes processing according to the flow shown in FIG. , B and G) of two colors ( R and G , B and G ) at the pixel position where no effect due to the difference in reflectance occurs, and only the effect of the light source color (LR, LG, LB) occurs It executes a process of calculating white balance gains k R and k B based on pixel values.
  • Both of these two processing examples calculate the white balance gain using the degree of linear polarization (DoLP) obtained from one pixel or two pixels in the image. That is, it can be interpreted that white balance gain calculation processing corresponding to a specific pixel is being performed.
  • DoLP degree of linear polarization
  • Such white balance gains corresponding to specific pixels may be applied to the entire image. , the white balance gain corresponding to a plurality of pixels is calculated, the white balance gain corresponding to the plurality of pixels is used to calculate the white balance gain for each pixel of the entire image or for each image area, and the calculated gain is applied. It is also possible to perform white balance adjustment for each pixel or for each image area.
  • the white balance gain corresponding to the pixels is calculated according to the above "A.
  • White balance gain calculation processing example 1 or "B.
  • White balance gain calculation processing example 2 is a pixel that has been
  • the white balance gain calculation unit 102 of the image processing apparatus 100 of the present disclosure shown in FIG. 10 performs interpolation processing based on the white balance gain values of the four white balance gain calculation pixels Pw1 to Pw4 shown in FIG. Calculate the white balance gain of the pixels of
  • FIG. 21B shows, for example, the white balance gain kR corresponding to R (red).
  • the white balance gain corresponding to R (red) of the pixel Pw1 is kR1 .
  • the white balance gain corresponding to R (red) of the pixel Pw2 is kR2 .
  • the white balance gain corresponding to R (red) of the pixel Pw3 is kR3 .
  • the white balance gain corresponding to R (red) of the pixel Pw4 is k R4 .
  • the white balance gain calculation unit 102 calculates the white balance gains of the pixels for which the white balance gains corresponding to the pixels have not been calculated or the white balance gains of the image area by interpolation processing using weights according to the distances from the pixels Pw1 to Pw4.
  • FIG. 21(c) shows an example of white balance gain calculation processing that applies interpolation processing for pixels Pt for which white balance gains corresponding to pixels have not been calculated.
  • FIG. 21C shows a pixel Pt for which the white balance gain corresponding to the pixel has not been calculated, pixels Pw1 to Pw4 for which the white balance gain has been calculated corresponding to the pixel, and distances "Ld1" to "Ld4" between these pixels. is shown.
  • the white balance gain calculation unit 102 calculates the white balance gain k RP corresponding to R (red) of the pixel Pt according to (Equation 41) shown below.
  • the white balance gain calculation unit 102 executes the same processing as described above for each pixel, and calculates the white balance gain k R corresponding to R (red) of all the pixels constituting the image, and further, the white balance gain k R corresponding to B (blue). , the white balance gain kB of is calculated.
  • the white balance gain may be calculated for each image area composed of a plurality of pixels instead of for each pixel.
  • the position of the center of gravity of the image area is set as a representative pixel
  • the white balance gain of the representative pixel is calculated by the above process
  • the calculated white balance gain is applied to the pixels of the entire image area where the center of gravity is set. do.
  • the white balance gain calculation unit 102 performs clustering by dividing one image into a plurality of image regions, and sets the center of gravity position and the representative value of the white balance gain for each image region (each class). After that, interpolation processing is performed using the barycentric position and the white balance gain representative value for each image area (class), and the white balance gain of each area is calculated.
  • the representative value of the white balance gain is a representative value for each image region (class), and for example, an average value, a median value, or a mode value can be applied.
  • FIG. 22 shows an example of clustering as image area division processing.
  • FIG. 22(a) exemplifies the clustering result of setting a plurality of image areas (classes) CL1 to CL4.
  • the center-of-gravity position of class CL1 is “PW1” and the representative value of the white balance gain corresponding to R (red) is “k R1 ”.
  • the center of gravity of class CL2 is “PW2” and the representative value of white balance gain for R (red) is “ kR2 ".
  • the center of gravity of class CL3 is “PW3” and the representative value of white balance gain for R (red). is “k R3 ", and the white balance gain representative value corresponding to R (red) is "k R4 " at the center of gravity position "PW4" of class CL4.
  • the white balance gain of another image area can be set by performing interpolation processing similar to that described with reference to FIG. 22C, the white balance gain of the image region (class) CLt having the center-of-gravity position “PWt” can be calculated by interpolation processing.
  • the white balance gain calculation unit 102 performs area division of the color polarization image and performs white balance gain setting for each divided area, graph cut or deep learning (CNN (Convolutional Neural Network) or RNN (Recurrent Neural Network) etc.), and a single white balance gain may be set for each color component in the divided area.
  • CNN Convolutional Neural Network
  • RNN Recurrent Neural Network
  • the white balance gain calculation unit 102 performs white balance gain calculation processing for each image area, the following processing is possible, for example.
  • the type of object that is the subject of the image is identified, an image area is set for each identified object type, and white balance gain calculation processing is performed for each object type.
  • pattern matching for example, pattern data including the shape and feature information of people, cars, etc. are stored in a storage unit, and the pattern data stored in the storage unit are compared with the subject in the image area on the captured image to determine each subject. This is a process of identification.
  • Semantic segmentation stores dictionary data (learned data) for object identification based on the shape of various actual objects and other feature information in the storage unit, and the degree of matching between this dictionary data and the object in the photographed image is calculated. This is a technique for identifying objects in an image based on .
  • object identification is performed in units of picture elements (pixels) in captured images.
  • FIG. 23 is a diagram explaining a processing example of performing area division and calculating a white balance gain for each image area.
  • FIG. 23(a) exemplifies a color polarization image
  • FIG. 23(b) exemplifies the segmentation result.
  • the sky area ARa, the road area ARb, the car areas ARc1 and ARc2, and the background areas ARd1, ARd2, ARd3, and ARe are classified.
  • An individual white balance gain is calculated for each of these regions.
  • the white balance gain calculation unit 102 may select and use the above-described processing. For example, the white balance gain calculation unit 102 analyzes the degree of variation in white balance gain of the same color component calculated for each pixel or for each image area, and switches processing according to the analyzed degree of variation.
  • the gain for the entire color polarization image is set, and if it exceeds the threshold, the gain per pixel or per image Calculate and apply white balance gain on a region-by-region basis.
  • a sequence of the white balance gain calculation process for each pixel or for each image region executed by the white balance gain calculation unit 102 will be described with reference to the flowchart shown in FIG. 24 .
  • processing of each step of the flow shown in FIG. 24 will be described in order.
  • Step S301 First, in step S301, the white balance gain calculation unit 102 calculates a white balance gain for each pixel.
  • the white balance gain calculation unit 102 performs white balance gain calculation processing corresponding to a specific pixel by executing either of the following two processes described above with reference to FIGS. 5 and 6 .
  • Both of these two processes calculate the white balance gain using the degree of linear polarization (DoLP) obtained from one or two pixels of the image. That is, it is a process of calculating a white balance gain corresponding to a specific pixel.
  • DoLP degree of linear polarization
  • Step S302 the white balance gain calculation unit 102 analyzes the variation in the white balance gain for each pixel calculated in step S301.
  • step S301 pixel-based white balance gains have been calculated for a plurality of pixels of the image.
  • step S302 the white balance gain calculation unit 102 analyzes variations in the plurality of pixel unit white balance gains calculated in step S301.
  • step S303 the white balance gain calculation unit 102 determines whether the variation in white balance gain for each pixel analyzed in step S302 is within the allowable range.
  • step S304 If it is determined that the pixel-by-pixel white balance gain variation is within the preset allowable range, the process proceeds to step S304. On the other hand, if it is determined that the variation in white balance gain is not within the preset allowable range, the process proceeds to step S305.
  • the variation in white balance gain for each pixel is within a preset allowable range, for example, one light source or a plurality of light sources with small differences in color temperature for the subject included in the image. This is the case, for example, when it can be considered that the illumination light is emitted from the light source.
  • Step S304 If it is determined in step S303 that the variation in white balance gain for each pixel is within the preset allowable range, the process proceeds to step S304.
  • the white balance gain calculation unit 102 sets one white balance gain to be used in the entire area of the image in step S304.
  • the white balance gain calculation unit 102 calculates the white balance gain to be applied to the entire area of the image by statistical processing or the like of the pixel-by-pixel white balance gain calculated in step S301. For example, the white balance gain calculation unit 102 sets any one of the average value, the mode value, the median value, etc. of the white balance gain for each pixel calculated in step S301 as the white balance gain to be used in the entire image area.
  • Step S305 On the other hand, if it is determined in step S303 that the variation in white balance gain for each pixel exceeds the preset allowable range, the process proceeds to step S305.
  • the white balance gain calculation unit 102 performs image area division processing, that is, clustering processing, in step S305.
  • the white balance gain calculation unit 102 performs clustering as area division processing based on the image position and object type.
  • step S306 the white balance gain calculation unit 102 determines whether the variation in white balance gain corresponding to the image area (class) generated by the area division processing in step S305 exceeds the allowable range.
  • step S307 If it is determined that the variation in white balance gain corresponding to the image area (class) exceeds the predetermined allowable range, the process proceeds to step S307. On the other hand, if it is determined that the variation in white balance gain corresponding to the image area (class) is within the predetermined allowable range, the process proceeds to step S308.
  • Step S307 If it is determined in step S306 that the variation in white balance gain corresponding to the image area (class) exceeds the predetermined allowable range, the process proceeds to step S307.
  • step S307 the white balance gain calculation unit 102 calculates new pixel-based white balance gains by interpolation processing based on the pixel-based white balance gains calculated in step S301. That is, the calculation processing of the white balance gain corresponding to the new pixel based on the interpolation processing described above with reference to FIG. 21 is executed.
  • Step S308 On the other hand, if it is determined in step S306 that the variation in white balance gain corresponding to the image area (class) is within the predetermined allowable range, the process proceeds to step S308.
  • step S308 the white balance gain calculation unit 102 calculates the white balance for each class determined using the center of gravity of each image region (class) generated by the region division (clustering) process executed in step S305 and the average value.
  • Gain-based interpolation is used to calculate white balance gains for new pixels and image regions (classes).
  • FIG. 25 shows an example of white balance gain calculation corresponding to a plurality of image areas (classes).
  • FIG. 25(a) illustrates an imaging scene.
  • a car model OBa and achromatic objects OBc and OBd are provided on the table.
  • Illumination light can be emitted from illumination (for example, incandescent lamp) LT provided in the room to model OBa and objects OBc and OBd on the table.
  • illumination for example, incandescent lamp
  • the model OBa and the objects OBc and OBd are irradiated with outside light (for example, sunlight) entering from the window LW.
  • outside light for example, sunlight
  • FIG. 25(b) shows a color polarization image of the imaging area in FIG. 25(a)
  • FIG. 25(c) shows an example of the segmentation result.
  • the wall area AR1, the table area AR2, the floor area AR3, the achromatic object areas AR4 and AR5, and the model area AR6 are set as individual image areas (classes). ing.
  • An object in the image area AR4 (class AR4) is irradiated with illumination light from an indoor lighting (for example, an incandescent lamp) LT, and an object in the image area AR5 (class AR5) is illuminated by external light (for example, the sun light) is irradiated.
  • an indoor lighting for example, an incandescent lamp
  • external light for example, the sun light
  • the color temperature of the illumination light differs between the image area AR4 (class AR4) and the image area AR5 (class AR5).
  • the white balance gain for the image area AR4 (class AR4) and the white balance gain for the image area AR5 (class AR5) produces unacceptable variability.
  • the gain of image area AR6 is the white balance gain corresponding to image area AR4 (class AR4), the white balance gain corresponding to image area AR5 (class AR5), and the distance to image area AR4 and the distance to the image area AR5.
  • Gains are also set for the areas AR1 to AR3 in the same manner as for the area AR6. Therefore, the areas AR1 to AR3 and AR6 can be adjusted in a more natural white balance considering the two illumination lights.
  • the illumination light is either light from the light source LT or external light
  • the gains of the areas AR4 and AR5 are substantially equal, so the gains for the entire color polarization image are set.
  • the image processing apparatus 100 of the present disclosure uses polarization information to calculate the optimum white balance gain for the captured image.
  • the image processing apparatus 100 of the present disclosure enables processing of calculating the optimum white balance gain for the captured image by using the polarization information of the chromatic color region even when the achromatic region cannot be detected from the captured image.
  • the image processing apparatus 100 of the present disclosure can calculate the optimum white balance gain for each area within the imaging scene by using the polarization information. For example, when a plurality of light sources with different color temperatures are provided, it becomes possible to calculate the white balance gain corresponding to the color temperature of the illumination light illuminating the object.
  • FIG. 26 is a diagram illustrating a hardware configuration example of an image processing apparatus. Each component of the hardware configuration shown in FIG. 26 will be described.
  • a CPU (Central Processing Unit) 301 functions as a data processing section that executes various processes according to programs stored in a ROM (Read Only Memory) 302 or a storage section 308 . For example, the process according to the sequence described in the above embodiment is executed.
  • ROM Read Only Memory
  • a RAM (Random Access Memory) 303 stores programs and data executed by the CPU 301 . These CPU 301 , ROM 302 and RAM 303 are interconnected by a bus 304 .
  • the CPU 301 is connected to an input/output interface 305 via a bus 304.
  • the input/output interface 305 includes an input unit 306 including a camera, various operation units, switches, etc., and an output unit including a display as a display unit and a speaker. 307 is connected.
  • the CPU 301 receives camera-captured images, operation information, and the like input from the input unit 306 , executes various types of processing, and outputs processing results to the output unit 307 , for example.
  • a storage unit 308 connected to the input/output interface 305 includes, for example, a hard disk, and stores programs executed by the CPU 301 and various data.
  • a communication unit 309 functions as a transmission/reception unit for data communication via a network such as the Internet or a local area network, and communicates with an external device.
  • a drive 310 connected to the input/output interface 305 drives a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card to record or read data.
  • a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card to record or read data.
  • the technique disclosed in this specification can take the following configurations.
  • a polarization information acquisition unit that acquires polarization information from a color polarization image;
  • a white balance gain calculation unit that calculates a white balance gain using the polarization information acquired by the polarization information acquisition unit;
  • a white balance adjustment unit that performs white balance adjustment processing using the white balance gain calculated by the white balance gain calculation unit;
  • the polarization information acquisition unit is calculating the degree of polarization corresponding to the color from the color polarization image;
  • the white balance gain calculator An image processing device that calculates a white balance gain using polarization information corresponding to a pixel position where two colors have the same degree of polarization.
  • the white balance gain calculator Detecting a pixel position where the degrees of polarization of the two colors match as a pixel position where the object reflectance of the two colors matches, The image processing apparatus according to (1), wherein a white balance gain is calculated using polarization information of a pixel position where subject reflectances of the two colors match.
  • the polarization information acquisition unit Calculate the degree of linear polarization (DoLP) corresponding to each color of R (red), G (green), and B (blue) from the color polarization image,
  • the white balance gain calculator Detecting the pixel position where the degree of linear polarization (DoLP) of two colors selected from RGB matches,
  • the image processing device according to (1) or (2), wherein the white balance gain is calculated using Stokes parameters of two colors selected at the detected pixel position.
  • the white balance gain calculator Detecting pixel positions where the degree of linear polarization of R (red) (DoLP R ) and the degree of linear polarization of G (green) (DoLP G ) match, The image processing device according to (3), wherein a white balance gain kR corresponding to R (red) is calculated using Stokes parameters of two colors of R (red) and G (green) at the detected pixel position.
  • the white balance gain calculator Detecting pixel positions where the degree of linear polarization of B (blue) (DoLP B ) and the degree of linear polarization of G (green) (DoLP G ) match, The image processing device according to (3) or (4), wherein a white balance gain kB corresponding to B (blue) is calculated using two Stokes parameters of B (blue) and G (green) at the detected pixel position. .
  • the polarization information acquisition unit Calculate the degree of linear polarization (DoLP) corresponding to each color of R (red), G (green), and B (blue) from the color polarization image,
  • the white balance gain calculator The image processing device according to any one of (1) to (5), wherein the white balance gain is calculated using a relationship that the opposite color of the white balance adjusted image is equal to the color of the degree of linear polarization (DoLP).
  • the white balance gain calculator Generating two equations indicating that the opposite color of the white-balanced image is equal to the color of the degree of linear polarization (DoLP),
  • DoLP degree of linear polarization
  • the relational expression is The image processing device according to (7), which is a relational expression including a Stokes parameter that can be acquired from a captured image and a white balance gain that is an unknown quantity.
  • the unknowns included in the above relational expression are a white balance gain k R corresponding to R (red); B (blue) corresponding white balance gain k B , The image processing device according to (7) or (8).
  • the white balance gain calculator The image processing device according to any one of (1) to (9), which calculates a white balance gain to be applied to the entire image area.
  • the white balance gain calculation unit The image processing apparatus according to any one of (1) to (10), wherein an individual white balance gain is calculated for each pixel constituting an image or for each image area composed of a plurality of pixels.
  • the white balance gain calculation unit Executes interpolation processing using the white balance gain calculated for each pixel constituting the image or for each image area composed of multiple pixels, and calculates the white balance gain corresponding to the pixel for which the white balance gain has not been calculated or the image area.
  • the image processing apparatus according to (11), which calculates.
  • the white balance gain calculator The image processing device according to (11) or (12), which performs interpolation processing in which a weight is set according to a distance between a white balance gain calculation pixel and a white balance gain non-calculation pixel.
  • the white balance gain calculator Perform clustering processing, which is image region division processing, The image processing apparatus according to any one of (11) to (13), wherein a white balance gain is calculated for each class that is the image area set by the clustering process.
  • the white balance gain calculator 14.
  • the image processing device according to (14) which performs image segmentation processing to which pattern matching or semantic segmentation is applied.
  • the white balance gain calculator The image processing apparatus according to any one of (11) to (15), wherein the manner of calculating the white balance gain is changed according to the variation in the white balance gain calculated for each pixel or image area.
  • the white balance gain calculator If the variation in the white balance gain calculated for each pixel or image area exceeds a preset allowable range, the white balance gain calculated for each pixel or image area is used as the final white balance gain (16) or The image processing device according to (17).
  • An image processing method executed in an image processing device a polarization information obtaining step in which the polarization information obtaining unit obtains the polarization information from the color polarization image;
  • a white balance gain calculation step in which a white balance gain calculation unit calculates a white balance gain using the polarization information obtained in the polarization information obtaining step;
  • a white balance adjustment step in which a white balance adjustment unit performs a white balance adjustment process using the white balance gain calculated in the white balance gain calculation step;
  • the polarization information acquisition step includes: calculating a degree of polarization corresponding to each color from the color polarization image;
  • the white balance gain calculation step includes: An image processing method for calculating a white balance gain using polarization information corresponding to colors at pixel positions where the degrees of polarization of two colors match.
  • a program for executing image processing in an image processing device a polarization information obtaining step of causing the polarization information obtaining unit to obtain polarization information from the color polarization image; a white balance gain calculation step of causing a white balance gain calculation unit to calculate a white balance gain using the polarization information obtained in the polarization information obtaining step; causing a white balance adjustment unit to perform a white balance adjustment process to which the white balance gain calculated in the white balance gain calculation step is applied;
  • the polarization information acquisition step calculating the degree of polarization corresponding to the color from the color polarization image;
  • a program recording the processing sequence is installed in the memory of a computer built into dedicated hardware and executed, or the program is loaded into a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be pre-recorded on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed in a recording medium such as an internal hard disk.
  • a system is a logical collective configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same housing.
  • a configuration for executing white balance gain calculation processing and white balance adjustment using polarization information acquired from a color polarization image is realized.
  • a polarization information acquisition unit that acquires polarization information from a color polarization image, a white balance gain calculation unit that calculates a white balance gain using the acquired polarization information, and the calculated white balance gain are applied. It has a white balance adjustment unit that executes white balance adjustment processing.
  • the polarization information acquisition unit calculates the degree of polarization corresponding to the color from the color polarization image
  • the white balance gain calculation unit converts the pixel positions where the polarization degrees of the two colors match to the pixel positions where the subject reflectances of the two colors match. Then, the polarization information corresponding to the color of the detection pixel position is used to calculate the white balance gain.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

カラー偏光画像から取得した偏光情報を用いてホワイトバランスゲイン算出処理、およびホワイトバランス調整を実行する。カラー偏光画像から偏光情報を取得する偏光情報取得部と、取得した偏光情報を用いてホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、算出したホワイトバランスゲインを適用したホワイトバランス調整処理を実行するホワイトバランス調整部を有する。偏光情報取得部は、カラー偏光画像から色対応の偏光度を算出し、ホワイトバランスゲイン算出部は、２色の偏光度が一致する画素位置を、２色の被写体反射率が一致する画素位置に基づいて検出し、検出画素位置の色対応の偏光情報を用いてホワイトバランスゲインを算出する。

Description

画像処理装置、および画像処理方法、並びにプログラム
　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、ホワイトバランスゲイン算出処理や、ホワイトバランス調整処理を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。
　撮像装置（カメラ）の撮影画像の問題点の一つとして、本来の被写体色と異なる色が出力される問題がある。
　例えば白い被写体が白ではない赤味がかった色や青みがかった色として出力される場合がある。これは主に被写体に対する照射光の色、すなわち光源色に起因する。
　具体的には、例えば夕日の中で景色を撮影すると、全体が赤味を帯びた画像となる。また、オレンジ色の照明光の室内で撮影された画像も同様であり、全体が赤味を帯びた画像となる。
　また、青色の強い照明光の下で撮影された画像は、全体が青味を帯びた画像となる。
　このように被写体に照射される光に色があると、照射光の色によって本来の被写体の色が再現されない画像が撮影されてしまう。
　多くの撮像装置には、この問題を解決するため、撮影画像に対してホワイトバランス（ＷＢ）調整処理を実行する機能が備えられている。
　ホワイトバランス調整処理は、撮影画像の画素値を本来の被写体の色に設定するための画素値補正処理として実行される。
　例えば本来の被写体の色が白い領域は、画素値を白とし、本来の被写体の色が赤い領域は赤の画素値、本来の被写体の色が青い領域は青の画素値を出力させるように画素値の補正処理を行う。
　ホワイトバランス調整処理を行うことで、本来の被写体の色を再現させた画像を生成して記録することができる。
　また、昨今のカメラには、ホワイトバランス調整処理を自動実行するオートホワイトバランス（ＡＷＢ）機能が備えられている。
　オートホワイトバランス（ＡＷＢ）機能は、撮像シーンの光源色等を考慮して色成分（ＲＧＢ）毎の出力調整用ゲインであるホワイトバランスゲインを自動算出し、算出したゲインを利用してＲＧＢ各画素値の補正処理を行うことで色成分毎の信号レベル調整を実行する機能である。
　オートホワイトバランス（ＡＷＢ）機能の実現手法としてグレーワールドと呼ばれる手法が広く知られている。
　この手法は、撮影画像全体の画素値の平均値がほぼ無彩色になると仮定してホワイトバランス調整を実行する手法である。
　しかし、この手法は、撮影画像全体の平均値がほぼ無彩色になるとの仮定を前提とした処理を行うため、撮影画像の被写体平均色が無彩色でない場合はホワイトバランス調整処理の精度が低下する。
　さらに、この手法は、画像全体の平均色を用いて画像全体を一律に調整する手法であるため、例えば画像領域ごとに異なる色の光が照射されているような場合には利用できないという問題がある。
　また、特許文献１（特許第４４４７５２０号公報）は、物体の反射モデルを利用した光源色推定手法を開示している。
　この特許文献１に開示された手法は、撮影画像内の画素の輝度値を「乱反射光のみ」の輝度値、あるいは「乱反射光＋鏡面反射光」から構成される輝度値の２種類によって構成されると仮定し、これら２種類の輝度値の引き算を行うことで鏡面反射光成分を算出し、算出した鏡面反射光成分の色を光源色であると推定し、推定光源色に基づくホワイトバランス調整処理を実行する手法である。
　しかし、実際には乱反射光の強度は、被写体のテクスチャや、被写体の凹凸形状によって規定される物体法線によって様々に変化してしまう。従って、上記の引き算によって算出される値は、乱反射光成分の算出に利用する画素対応のテクスチャや、凹凸形状によって大きく変化してしまい、光源色の推定値が大きくぶれてしまう可能性が高い。また、画素の輝度値が「乱反射光のみ」となるという仮定は非常に厳しい仮定であり、この仮定が成立するような画素を発見することも困難である。
　さらに、特許文献２（特開平０６－３１９１５０号公報）は、画像内の有彩色領域を使用して、ホワイトバランス調整処理を行う手法を開示している。
　しかし、この手法は、被写体を照射する光源色が黒体放射カーブに沿っているとの仮定に基づく手法であり、この仮定が成立しない場合においては精度が低下する。
　また、非特許文献１（Ａｆｉｆｉ，　Ｍａｈｍｏｕｄ　ａｎｄ　Ｂｒｏｗｎ，　Ｍｉｃｈａｅｌ　Ｓ．　Ｄｅｅｐ　Ｗｈｉｔｅ－Ｂａｌａｎｃｅ　Ｅｄｉｔｉｎｇ，　ＣＶＰＲ　２０２０．）は、深層学習を用いてホワイトバランス調整処理を実行する手法を開示している。
　この手法は、画像内の物体や環境、時間帯などのコンテキストを利用して予め生成した学習モデルを利用して、撮影画像に対する最適なホワイトバランス調整パラメータを推定し、推定パラメータを利用したホワイトバランス調整処理を行う手法である。
　しかし、この手法は、事前に多数の撮影画像を用いた学習処理を実行して学習モデルを生成することが必要であり、また、ホワイトバランス調整処理の処理精度は生成した学習モデルに依存するものとなる。さらに、最適なパラメータ算出処理を行うための学習モデルを利用した演算処理が非常に重く複雑な処理になり、高い演算機能を有するプロセッサを備えたカメラや画像処理装置でなければ利用が困難であるという問題がある。
特許第４４４７５２０号公報 特開平０６－３１９１５０号公報
Ａｆｉｆｉ，　Ｍａｈｍｏｕｄ　ａｎｄ　Ｂｒｏｗｎ，　Ｍｉｃｈａｅｌ　Ｓ．　Ｄｅｅｐ　Ｗｈｉｔｅ－Ｂａｌａｎｃｅ　Ｅｄｉｔｉｎｇ，　ＣＶＰＲ　２０２０．
　本開示は、例えば上記問題点に鑑みてなされたものであり、カラー偏光画像を用いて高精度なホワイトバランスゲインを算出することを可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
　また、本開示は、偏光カメラが撮影した偏光カラー画像の有彩色領域の画素値を利用したホワイトバランスゲイン算出処理や、撮影画像の画素単位、あるいは画像領域単位の最適なホワイトバランスゲイン算出を可能とした画像処理装置、および画像処理方法、並びにプログラムを提供する。
　本開示の第１の側面は、
　カラー偏光画像から偏光情報を取得する偏光情報取得部と、
　前記偏光情報取得部が取得した偏光情報を用いてホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、
　前記ホワイトバランスゲイン算出部が算出したホワイトバランスゲインを適用したホワイトバランス調整処理を実行するホワイトバランス調整部を有し、
　前記偏光情報取得部は、
　前記カラー偏光画像から色対応の偏光度を算出し、
　前記ホワイトバランスゲイン算出部は、
　２色の偏光度が一致する画素位置の色対応の偏光情報を用いて、ホワイトバランスゲインを算出する画像処理装置にある。
　さらに、本開示の第２の側面は、
　画像処理装置において実行する画像処理方法であり、
　偏光情報取得部が、カラー偏光画像から偏光情報を取得する偏光情報取得ステップと、
　ホワイトバランスゲイン算出部が、前記偏光情報取得ステップで取得した偏光情報を用いてホワイトバランスゲインを算出するホワイトバランスゲイン算出ステップと、
　ホワイトバランス調整部が、前記ホワイトバランスゲイン算出ステップで算出したホワイトバランスゲインを適用したホワイトバランス調整処理を実行するホワイトバランス調整ステップを実行し、
　前記偏光情報取得ステップは、
　前記カラー偏光画像から色対応の偏光度を算出するステップを有し、
　前記ホワイトバランスゲイン算出ステップは、
　２色の偏光度が一致する画素位置の色対応の偏光情報を用いて、ホワイトバランスゲインを算出する画像処理方法にある。
　さらに、本開示の第３の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　偏光情報取得部に、カラー偏光画像から偏光情報を取得させる偏光情報取得ステップと、
　ホワイトバランスゲイン算出部に、前記偏光情報取得ステップで取得した偏光情報を用いてホワイトバランスゲインを算出させるホワイトバランスゲイン算出ステップと、
　ホワイトバランス調整部に、前記ホワイトバランスゲイン算出ステップで算出したホワイトバランスゲインを適用したホワイトバランス調整処理を実行させるホワイトバランス調整ステップを実行させ、
　前記偏光情報取得ステップにおいては、
　前記カラー偏光画像から色対応の偏光度を算出させ、
　前記ホワイトバランスゲイン算出ステップにおいては、
　２色の偏光度が一致する画素位置の色対応の偏光情報を用いて、ホワイトバランスゲインを算出させるプログラムにある。
　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　本開示の一実施例の構成によれば、カラー偏光画像から取得した偏光情報を用いてホワイトバランスゲイン算出処理、およびホワイトバランス調整を実行する構成が実現される。
　具体的には、例えば、カラー偏光画像から偏光情報を取得する偏光情報取得部と、取得した偏光情報を用いてホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、算出したホワイトバランスゲインを適用したホワイトバランス調整処理を実行するホワイトバランス調整部を有する。偏光情報取得部は、カラー偏光画像から色対応の偏光度を算出し、ホワイトバランスゲイン算出部は、２色の偏光度が一致する画素位置を、２色の被写体反射率が一致する画素位置に基づいて検出し、検出画素位置の色対応の偏光情報を用いてホワイトバランスゲインを算出する。
　本構成により、カラー偏光画像から取得した偏光情報を用いてホワイトバランスゲイン算出処理、およびホワイトバランス調整を実行する構成が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
ホワイトバランス調整処理の概要について説明する図である。 ホワイトバランス調整処理の一例について説明する図である。 本開示の画像処理装置が実行する処理の概要について説明する図である。 本開示の画像処理装置が実行する処理の一例について説明する図である。 本開示の画像処理装置が実行するホワイトバランスゲインの算出処理例１について説明する図である。 本開示の画像処理装置が実行するホワイトバランスゲインの算出処理例２について説明する図である。 ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色（Ｒ，Ｇ，Ｂ）＝直線偏光度（ＤｏＬＰ）の色、この関係式が成立する理由について説明する図である。 ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色（Ｒ，Ｇ，Ｂ）＝直線偏光度（ＤｏＬＰ）の色、この関係式が成立する理由について説明する図である。 本開示の画像処理装置の利用例について説明する図である。 本開示の撮像システムと、画像処理装置の構成例について説明する図である。 撮像部（カラー偏光画像撮影カメラ）の具体的構成例について説明する図である。 撮像部（カラー偏光画像撮影カメラ）の具体的構成例について説明する図である。 撮像部（カラー偏光画像撮影カメラ）の具体的構成例について説明する図である。 撮像部（カラー偏光画像撮影カメラ）の具体的構成例について説明する図である。 撮像部（カラー偏光画像撮影カメラ）の具体的構成例について説明する図である。 撮像部（カラー偏光画像撮影カメラ）の具体的構成例について説明する図である。 撮像部（カラー偏光画像撮影カメラ）の具体的構成例について説明する図である。 本開示の画像処理装置が実行する処理シーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置が実行するホワイトバランスゲイン算出処理の処理シーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置が実行するホワイトバランスゲイン算出処理の処理シーケンスについて説明するフローチャートを示す図である。 画像を構成する画素単位、あるいは複数の画素によって構成される画像領域単位で異なるホワイトバランスゲインを算出する処理の具体例について説明する図である。 画像を構成する画素単位、あるいは複数の画素によって構成される画像領域単位で異なるホワイトバランスゲインを算出する処理の具体例について説明する図である。 領域分割を行って画像領域単位のホワイトバランスゲインを算出する処理例について説明する図である。本開示の画像処理装置の利用例について説明する図である。 ホワイトバランスゲイン算出部が実行する画素単位、または画像領域単位のホワイトバランスゲイン算出処理のシーケンスについて説明するフローチャートを示す図である。 複数の画像領域（クラス）対応のホワイトバランスゲイン算出例について説明する図である。 本開示の画像処理装置のハードウェア構成例について説明する図である。
　以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．ホワイトバランス調整処理の概要について
　２．本開示の画像処理装置が実行する処理の概要について
　３．偏光情報を用いたホワイトバランスゲイン算出処理の詳細について
　３－１．偏光情報を用いたホワイトバランスゲイン算出処理例１
　３－２．偏光情報を用いたホワイトバランスゲイン算出処理例２
　４．本開示の画像処理装置の構成例について
　５．本開示の画像処理装置の実行する処理のシーケンスについて
　６．画素、または画像領域単位のホワイトバランスゲイン算出と、ホワイトバランス調整処理について
　７．画像処理装置のハードウェア構成例について
　８．本開示の構成のまとめ
　　［１．ホワイトバランス調整処理の概要について］
　本開示の画像処理装置の実行する処理の説明の前に、まず、図１以下を参照してホワイトバランス調整処理の概要について説明する。
　図１には、光源１０、被写体２０、撮像部（カメラ）３０を示している。
　光源１０の照射光１１が被写体２０に反射し、撮像部（カメラ）３０は、この反射光を観測光２２として撮影し、被写体２０の撮影画像を生成してメモリに記録する。
　ここで、光源１０の照射光１１の色である光源色（色特性）を、色の三原色であるＲ（赤），Ｇ（緑），Ｂ（青）の強度比（相対強度）を用いて、
　光源色（ＬＲ，ＬＧ，ＬＢ）
　として示す。
　上記（ＬＲ，ＬＧ，ＬＢ）は、光源１０の照射光１１のＲ（赤），Ｇ（緑），Ｂ（青）の強度比がＬＲ：ＬＧ：ＬＢであることを示している。
　このような光源色（色特性）を持つ光源１０の照射光１１が被写体２０に照射されると被写体２０から反射光が出力される。
　なお、反射光は被写体２０の各構成部によって異なる反射光となる。
　撮像部（カメラ）３０には、被写体２０の各部から出力される反射光を観測光２２として入力し、観測光２２に基づく画素値を設定した画像を撮影する。
　撮影画像の画素値は被写体２０の各部から出力される反射光（＝観測光２２）に基づいて設定される。
　結果として、撮像部（カメラ）３０の撮影画像の各画素値は、観測光２２の色特性を反映した画素値となる。
　ここで、被写体２０のある１つの点ＰのＲ（赤），Ｇ（緑），Ｂ（青）各色の反射率を、
　被写体反射率（ｒＲ，ｒＧ，ｒＢ）
　とする。
　なお、被写体反射率（ｒＲ，ｒＧ，ｒＢ）は、被写体２０の各構成部によって異なる値である。
　ここでは一例として、被写体２０の１つの点Ｐの被写体反射率を（ｒＲ，ｒＧ，ｒＢ）として説明する。
　なお、被写体２０の反射特性が二色性反射モデル（反射率＝拡散反射率＋鏡面反射率）を満たす場合、被写体反射率（ｒＲ，ｒＧ，ｒＢ）の各要素は、Ｒ（赤），Ｇ（緑），Ｂ（青）各色共通の鏡面反射率ｒｓと、Ｒ（赤），Ｇ（緑），Ｂ（青）各色によって異なる拡散反射率ｒｄＲ、ｒｄＧ、ｒｄＢの加算値として示される。
　すなわち、
　ｒＲ＝ｒｓ＋ｒｄＲ
　ｒＧ＝ｒｓ＋ｒｄＧ
　ｒＢ＝ｒｓ＋ｒｄＢ
　である。
　被写体２０の１つの点Ｐ、すなわち被写体反射率（ｒＲ，ｒＧ，ｒＢ）を有する点Ｐから撮像部（カメラ）に入射する点Ｐ対応の観測光２２のＲ（赤），Ｇ（緑），Ｂ（青）の色特性（＝ＲＧＢ各色の強度比）を、
　観測光（ｉＲ，ｉＧ，ｉＢ）
　とする。
　上記（ｉＲ，ｉＧ，ｉＢ）は、撮像部（カメラ）に入射する点Ｐ対応の観測光２２のＲ（赤），Ｇ（緑），Ｂ（青）の強度比がｉＲ：ｉＧ：ｉＢであることを示している。
　この点Ｐ対応の観測光（ｉＲ，ｉＧ，ｉＢ）は、Ｒ（赤），Ｇ（緑），Ｂ（青）各々について、光源１０の光源色（ＬＲ，ＬＧ，ＬＢ）と、被写体２０の点Ｐの被写体反射率（ｒＲ，ｒＧ，ｒＢ）との乗算値となる。
　すなわち、被写体２０の点Ｐ対応の観測光（ｉＲ，ｉＧ，ｉＢ）は、以下の（式１）に従って算出することができる。
　観測光（ｉＲ，ｉＧ，ｉＢ）
　＝（ＬＲｒＲ，ＬＧｒＧ，ＬＢｒＢ）
　　　　　　　　　・・・・・（式１）
　撮像部（カメラ）３０の撮影画像の被写体２０の点Ｐに対応する画素値は、上記（式１）によって算出されるの色特性に従った画素値が設定される。
　被写体２０の点Ｐ以外の構成部についても同様であり、被写体２０の各構成点対応の観測光（ｉＲ，ｉＧ，ｉＢ）は、光源１０の光源色（ＬＲ，ＬＧ，ＬＢ）と、被写体２０の各構成点の被写体反射率（ｒＲ，ｒＧ，ｒＢ）との乗算値、すなわち、上記（式１）に従って算出することができる。
　上記（式１）から理解されるように、観測光２２、すなわち撮像部（カメラ）３０の撮影画像の画素値は、光源色（ＬＲ，ＬＧ，ＬＢ）に比例して変化する画素値となる。
　従って、例えば光源１０の光源色（ＬＲ，ＬＧ，ＬＢ）が赤味のある色であれば、撮像部（カメラ）３０の撮影画像の画素値は赤味がかった画素値に設定される。また、光源１０の光源色（ＬＲ，ＬＧ，ＬＢ）が青味のある色であれば、撮像部（カメラ）３０の撮影画像の画素値も青味がかった画素値となる。
　すなわち、撮像部（カメラ）３０の撮影画像の画素値の色には、光源色（ＬＲ，ＬＧ，ＬＢ）の色が反映されてしまい、被写体２０本来の色とは異なる色の画像が撮影されることになる。
　撮像部（カメラ）３０の撮影画像の画素値を、光源色（ＬＲ，ＬＧ，ＬＢ）に依存しない被写体２０の本来の色に補正する処理としてホワイトバランス調整処理が実行される。
　図２を参照してホワイトバランス調整処理の一例について説明する。
　図２には、処理ステップＳ１１～Ｓ１３を示している。
　以下、各ステップの処理について、順次、説明する。
　　（ステップＳ１１）
　処理ステップＳ１１は、撮像部（カメラ）３０による撮影画像取得処理である。
　先に図１を参照して説明したように、撮影画像の各画素のＲ（赤），Ｇ（緑），Ｂ（青）の色特性（撮影画像（ｉＲ，ｉＧ，ｉＢ））は、その画素に対応する被写体２０の構成点から得られるの観測光２２の色特性（観測光（ｉＲ，ｉＧ，ｉＢ））と同様であり、以下の（式２）に従って算出される。
　撮影画像（ｉＲ，ｉＧ，ｉＢ）
　＝（ＬＲｒＲ，ＬＧｒＧ，ＬＢｒＢ）
　　　　　　　　　・・・・・（式２）
　上述したように、撮像部（カメラ）３０の撮影画像の画素値は、光源１０の光源色（ＬＲ，ＬＧ，ＬＢ）の色特性に依存した値となり、被写体２０の本来の色が再現されない画素値となる場合がある。
　　（ステップＳ１２）
　ステップＳ１２は、ホワイトバランスゲイン算出処理である。
　ホワイトバランスゲインは、ステップＳ１１で取得した撮影画像の画素値を被写体２０の本来の色に補正するための画素値調整用パラメータである。
　このホワイトバランスゲイン算出処理の処理態様には様々な手法がある。
　例えばグレーワールド手法では、撮影画像全体の画素値の平均値がほぼ無彩色になると仮定し、撮影画像のＲＧＢ各色の平均値を均一にするための画素値調整用パラメータをホワイトバランスゲインとして算出する。
　多くの場合、光源１０の色（光源色）を推定し、推定した光源色を利用してホワイトバランスゲインの算出処理を行う。
　この手法によって算出したホワイトバランスゲインを、
　ホワイトバランスゲイン（ｋＲ，１，ｋＢ）
　とする。
　ホワイトバランスゲイン（ｋＲ，１，ｋＢ）の各要素は、撮像部（カメラ）３０の撮影画像の各色の画素値（Ｒ，Ｇ，Ｂ）に対する乗算パラメータに相当する。
　Ｇ（緑）対応のホワイトバランスゲイン（乗算パラメータ）＝１であり、撮影画像のＧ（緑）の画素値を基準として、Ｇ画素値は変更しないことを意味する。
　Ｒ（赤）対応のホワイトバランスゲイン＝ｋＲであり、撮影画像のＲ（赤）の画素値にホワイトバランスゲインｋＲを乗算してＲ画素値を補正する。
　Ｂ（青）対応のホワイトバランスゲイン＝ｋＢであり、撮影画像のＢ（青）の画素値にホワイトバランスゲインｋＢを乗算してＢ画素値を補正する。
　これらの処理によって撮影画像のホワイトバランス調整処理が実行される。
　光源１０光源色（ＬＲ，ＬＧ，ＬＢ）に基づいて算出されるホワイトバランスゲイン（ｋＲ，１，ｋＢ）は、以下の（式３）のようになる。
　ホワイトバランスゲイン（ｋＲ，１，ｋＢ）
　＝（（ＬＧ／ＬＲ），１，（ＬＧ／ＬＢ））
　　　　　　　　　・・・・・（式３）
　　（ステップＳ１３）
　最終ステップであるステップＳ１３では、ホワイトバランス調整処理を実行する。
　すなわち、上記のステップＳ１２で算出したホワイトバランスゲイン（ｋＲ，１，ｋＢ）を用いて、撮像部（カメラ）３０の撮影画像の各色の画素値（Ｒ，Ｇ，Ｂ）を補正する。
　撮像部（カメラ）３０の撮影画像の画素値（Ｒ，Ｇ，Ｂ）は、以下のように補正される。
　ホワイトバランス調整前の撮影画像のＲＧＢ画素値から構成される撮影画像を撮影画像（ｉＲ，ｉＧ，ｉＢ）とし、ホワイトバランス調整後のＲＧＢ画素値から構成される画像をホワイトバランス調整画像（ｗｂｉＲ，ｗｂｉＧ，ｗｂｉＢ）とする。
　ホワイトバランス調整画像（ｗｂｉＲ，ｗｂｉＧ，ｗｂｉＢ）は以下の（式４）に従って生成される。
　ホワイトバランス調整画像（ｗｂｉＲ，ｗｂｉＧ，ｗｂｉＢ）
　＝（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）
　＝（（ＬＧ／ＬＲ）ｉＲ，ｉＧ，（ＬＧ／ＬＢ）ｉＢ）
　　　　　　　　　・・・・・（式４）
　すなわち、ホワイトバランス調整画像（ｗｂｉＲ，ｗｂｉＧ，ｗｂｉＢ）を構成する各画素の画素値は、撮影画像（ｉＲ，ｉＧ，ｉＢ）を構成する各画素の画素値（ｉＲ，ｉＧ，ｉＢ）にホワイトバランスゲイン（ｋＲ，１，ｋＢ）（＝（（ＬＧ／ＬＲ），１，（ＬＧ／ＬＢ）））を乗算することで算出される。
　上記（式４）に従って算出されたホワイトバランス調整画像（ｗｂｉＲ，ｗｂｉＧ，ｗｂｉＢ）は、光源１０の色特性に依存しない被写体本姓の色を反映した画素値によって構成される画像となる。
　しかしながら、上記処理は光源１０の色（光源色）推定処理を高精度に行うことが可能である場合にのみ実行可能な処理である。
　例えばカメラが環境光の色解析用のセンサを備え、このセンサの検出値に基づいて環境光の色解析を行うといった構成を持つ場合は上記の処理が可能であるが、このようなセンサを有していない場合は、高精度な光源色推定はできない。
　また、前述したグレーワールド手法によるホワイトバランスゲイン算出処理では、撮影画像全体の画素値の平均値がほぼ無彩色になると仮定し、撮影画像のＲＧＢ各色の平均値を均一にするための画素値調整用パラメータをホワイトバランスゲインとして算出する。
　この処理は、被写体の平均色が無彩色にならない場合には、この仮定が成り立たず、ホワイトバランス調整処理の精度が低下する。
　本開示の処理は、このような問題を解決するものであり、偏光カラー画像から得られる偏光情報を適用して、高精度な光源色推定を行い、高精度なホワイトバランスゲイン算出、およびホワイトバランス調整処理を可能としたものである。
　　［２．本開示の画像処理装置が実行する処理の概要について］
　次に、本開示の画像処理装置が実行する処理の概要について説明する。
　本開示の画像処理装置は、偏光画像を用いたホワイトバランスゲイン算出処理を行い、算出したホワイトバランスゲインを利用して撮影画像のホワイトバランス調整処理を実行する。
　図３以下を参照して本開示の画像処理装置が実行する処理の概要について説明する。
　図３には、先に説明した図１と同様の光源１０と被写体２０、さらに、撮像部（カラー偏光画像撮影カメラ）５０と画像処理装置１００を示している。
　光源１０の照射光１１が被写体２０に反射し、撮像部（カラー偏光画像撮影カメラ）５０は、この反射光からなる観測光２２から特定の偏光成分のみを撮影し、撮影したカラー偏光画像を画像処理部１００に入力する。
　画像処理部１００は、撮像部（カラー偏光画像撮影カメラ）５０が撮影したカラー偏光画像を利用してホワイトバランスゲインを算出し、算出したホワイトバランスゲインを利用してホワイトバランス調整処理を実行する。
　光源１０の照射光１１の光源色（色特性）を、色の三原色であるＲ（赤），Ｇ（緑），Ｂ（青）の強度比（相対強度）を用いて、
　光源色（ＬＲ，ＬＧ，ＬＢ）
　として示す。
　上記（ＬＲ，ＬＧ，ＬＢ）は、光源１０の照射光１１のＲ（赤），Ｇ（緑），Ｂ（青）の強度比がＬＲ：ＬＧ：ＬＢであることを示している。
　さらに、光源１０の照射光１１のＲＧＢ各色の偏光状態を示すＲＧＢ各色の光源ストークスベクトルは、以下の式（１１）によって示すことができる。
Figure JPOXMLDOC01-appb-M000001
　ストークスベクトルは、光の偏光状態を示すベクトルであり、ｓ０～ｓ４の４種類のパラメータ（ストークスパラメータ）によって構成される。
　ストークスパラメータｓ０は、無偏光の光強度信号、
　ストークスパラメータｓ１は、水平垂直直線偏光成分の差分信号、
　ストークスパラメータｓ２は、４５度直線偏光成分の差分信号、
　ストークスパラメータｓ３は、左右円偏光成分の差分信号、
　である。
　なお、本開示の処理においては、偏光子として直線偏光子を用いてカラー偏光画像を取得することから、４種類のストークスパラメータｓ０～ｓ３中、３種類のストークスパラメータｓ０～ｓ２を用いてホワイトバランスゲインの算出を行う。
　撮像部（カラー偏光画像撮影カメラ）５０は、３種類のストークスパラメータを取得するために異なる３種類の偏光画像を撮影する。
　以下、３つのストークスパラメータｓ０～ｓ２を利用した処理例について説明する。
　図３には、３つのストークスパラメータｓ０～ｓ２を利用した処理例を示している。
　光源１０の照射光１１のＲＧＢ各色は、上記の（式１１）に示す光源ストークスベクトルによって定義される偏光状態を有し、この照射光１１が被写体２０に照射されると被写体２０から反射光が出力される。
　なお、反射光は被写体２０の各構成部によって異なる反射光となる。
　撮像部（カラー偏光画像撮影カメラ）５０には、被写体２０の各部から出力される反射光を観測光２２として入力し、観測光２２に基づく画素値を設定した画像を撮影する。
　撮影画像の画素値は被写体２０の各部から出力される反射光（＝観測光２２）に基づいて設定される。
　結果として、撮像部（カラー偏光画像撮影カメラ）５０の撮影画像の各画素値は、観測光２２の色特性を反映した画素値となる。
　ここで、被写体２０のある１つの点ＰのＲ（赤），Ｇ（緑），Ｂ（青）各色の反射率を、
　被写体反射率（ｒＲ，ｒＧ，ｒＢ）
　とする。
　なお、被写体反射率（ｒＲ，ｒＧ，ｒＢ）は、被写体２０の各構成部によって異なる値である。ここでは一例として、被写体２０の１つの点Ｐの被写体反射率を（ｒＲ，ｒＧ，ｒＢ）として説明する。
　なお、前述したように被写体２０の反射特性が二色性反射モデル（反射率＝拡散反射率＋鏡面反射率）を満たす場合、被写体反射率（ｒＲ，ｒＧ，ｒＢ）の各要素は、Ｒ（赤），Ｇ（緑），Ｂ（青）各色共通の鏡面反射率ｒｓと、Ｒ（赤），Ｇ（緑），Ｂ（青）各色によって異なる拡散反射率ｒｄＲ、ｒｄＧ、ｒｄＢの加算値として示される。
　すなわち、
　ｒＲ＝ｒｓ＋ｒｄＲ
　ｒＧ＝ｒｓ＋ｒｄＧ
　ｒＢ＝ｒｓ＋ｒｄＢ
　である。
　さらに、照射光１１の偏光状態は、被写体２０に照射され反射光となる際に変化する。すなわち、図に示す観測光（反射光）２２の偏光状態は、照射光１１の偏光状態と異なる状態となる。
　この偏光状態の変化は、被写体２０の反射特性によって異なるものとなる。
　例えば、照射光１１の偏光状態を示すストークスベクトルをＳ＝（ｓ０，ｓ１，ｓ２）とし、観測光（反射光）２２の偏光状態を示すストークスベクトルをＳ'＝（ｓ'０，ｓ'１，ｓ'２）とすると、２つのストークスベクトルＳ，Ｓ'の関係式は、１つの変換行列Ｍを用いた関係式、
　Ｓ'＝ＭＳ
　として示すことができる。
　Ｍは、ミュラー行列と呼ばれる。
　ミュラー行列Ｍは、被写体２０の反射特性を反映した変換行列である。
　ミュラー行列Ｍは、簡易的に被写体２０の鏡面反射を示す行列Ｍｓと拡散反射を示す行列Ｍｄの線形和で表すことができる。
　被写体２０の反射特性は、ＲＧＢ各色によって異なる。例えば被写体２０の１つの点ＰのＲＧＢ各色に対応するミュラー行列は、被写体２０の点Ｐの鏡面反射を示す行列Ｍｓと拡散反射を示す行列Ｍｄの線形和、すなわち、以下の（式１２ａ）～（式１２ｃ）に示す式で表される。
　Ｒ（赤色光）のミュラー行列＝ｒｓＭｓ＋ｒｄＲＭｄＲ　・・・（式１２ａ）
　Ｇ（緑色光）のミュラー行列＝ｒｓＭｓ＋ｒｄＧＭｄＧ　・・・（式１２ｂ）
　Ｂ（青色光）のミュラー行列＝ｒｓＭｓ＋ｒｄＢＭｄＢ　・・・（式１２ｃ）
　なお、上記（式１２ａ）～（式１２ｃ）において、
　ｒｓは、Ｒ（赤），Ｇ（緑），Ｂ（青）各色共通の鏡面反射率ｒｓ、
　ｒｄＲ、ｒｄＧ、ｒｄＢは、Ｒ（赤），Ｇ（緑），Ｂ（青）各色によって異なる拡散反射率ｒｄＲ、ｒｄＧ、ｒｄＢである。
　また、被写体２０の１つの点Ｐ対応の観測光（反射光）２２のＲ（赤），Ｇ（緑），Ｂ（青）の偏光状態を示す各色のストークスベクトルＳ'は、
　Ｓ'＝ＭＳ
　上記の関係式に従って、以下に示す（式１３ａ）～（式１３ｃ）として表すことができる。
Figure JPOXMLDOC01-appb-M000002
　撮像部（カラー偏光画像撮影カメラ）５０は、観測光（反射光）２２のＲ（赤），Ｇ（緑），Ｂ（青）の偏光状態を示す各色のストークスベクトル、すなわち、
　Ｓ'Ｒ＝（ｓ'０Ｒ，ｓ'１Ｒ，ｓ'２Ｒ）Ｔ
　Ｓ'Ｇ＝（ｓ'０Ｇ，ｓ'１Ｇ，ｓ'２Ｇ）Ｔ
　Ｓ'Ｂ＝（ｓ'０Ｂ，ｓ'１Ｂ，ｓ'２Ｂ）Ｔ
　これらのストークスベクトルを構成するストークスパラメータを取得するための複数のカラー偏光画像を撮影して、撮影した複数のカラー偏光画像を画像処理装置１００に出力する。
　なお、撮像部（カラー偏光画像撮影カメラ）５０は、これら複数のカラー偏光画像を撮影する構成を有する。
　例えば、異なる偏光板を備えた複数カメラを用いた構成が利用可能である。あるいは画素単位の偏光素子を備えた撮像素子を有する１台のカメラを用いた構成としてもよい。
　なお、複数の異なる偏光画像を撮影する撮像部５０の具体的構成例については後段で詳細に説明する。
　画像処理装置１００は、撮像部（カラー偏光画像撮影カメラ）５０が撮影した複数のカラー偏光画像を入力し、上記ストークスベクトルＳ'Ｒ，Ｓ'Ｇ，Ｓ'Ｂを構成するストークスパラメータを取得して、ＲＧＢ各色対応のホワイトバランスゲインを算出して、算出したホワイトバランスゲインを適用したホワイトバランス調整処理を実行する。
　図４を参照して、画像処理装置１００の実行する処理の一例について説明する。
　図４には、画像処理装置１００の実行する処理の処理ステップＳ１０１～Ｓ１０３を示している。
　以下、各ステップの処理について、順次、説明する。
　　（ステップＳ１０１）
　処理ステップＳ１０１は、撮像部（カラー偏光画像撮影カメラ）５０が撮影した複数のカラー偏光画像の入力処理である。
　撮像部（カラー偏光画像撮影カメラ）５０は、観測光２２の３種類のストークスパラメータｓ'０～ｓ'２を取得するため、３種類の画像を撮影する。
　図４のステップＳ１０１内に示す以下の３種類の画像である。
　（ａ）カラー偏光画像ａ
　（ｂ）カラー偏光画像ｂ
　（ｃ）カラー偏光画像ｃ
　　（ステップＳ１０２）
　ステップＳ１０２は、ホワイトバランスゲイン算出処理である。
　ステップＳ１０２では、ステップＳ１０１で取得した３種類の画像から、以下のストークスパラメータ、すなわち、
　（ａ）観測光２２中のＲＧＢ各色対応の無偏光の光強度信号（輝度信号）に相当するストークスパラメータ（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）、
　（ｂ）観測光２２中のＲＧＢ各色対応の水平垂直直線偏光成分の差分信号に相当するストークスパラメータ（ｓ'１Ｒ，ｓ'１Ｇ，ｓ'１Ｂ）、
　（ｃ）観測光２２中のＲＧＢ各色対応の４５度直線偏光成分の差分信号に相当するストークスパラメータ（ｓ'２Ｒ，ｓ'２Ｇ，ｓ'２Ｂ）、
　これら３種類のストークスパラメータを取得し、取得したストークスパラメータを用いて撮影画像の画素値を被写体２０の本来の色に補正するための画素値調整用パラメータであるホワイトバランスゲインを算出する。
　これら３種類のストークスパラメータを用いたホワイトバランスゲイン算出処理の詳細については、次の項目［３．偏光情報を用いたホワイトバランスゲイン算出処理の詳細について］において詳細に説明する。
　ステップＳ１０２で算出したホワイトバランスゲインを、
　ホワイトバランスゲイン（ｋＲ，１，ｋＢ）
　とする。
　ホワイトバランスゲイン（ｋＲ，１，ｋＢ）の各要素は、撮像部（カメラ）３０の撮影画像の各色の画素値（Ｒ，Ｇ，Ｂ）に対する乗算パラメータに相当する。
　撮影画像のＧ（緑）の画素値を基準として、Ｇ画素値は変更せず、撮影画像のＲ（赤）の画素値にはゲインｋＲを乗算し、撮影画像のＢ（青）の画素値にはゲインｋＢを乗算することで、ホワイトバランス調整後の補正画素値を算出することができる。
　ホワイトバランスゲイン（ｋＲ，１，ｋＢ）は、光源１０の光源色（ＬＲ，ＬＧ，ＬＢ）を用いて、以下の（式１４）によって示すことができる。
　ホワイトバランスゲイン（ｋＲ，１，ｋＢ）
　＝（（ＬＧ／ＬＲ），１，（ＬＧ／ＬＢ））
　　　　　　　　　・・・・・（式１４）
　　（ステップＳ１０３）
　最終ステップであるステップＳ１０３では、ホワイトバランス調整処理を実行する。
　ステップＳ１０３では、上記のステップＳ１０２で算出したホワイトバランスゲイン（ｋＲ，１，ｋＢ）を用いて、撮像部（カメラ）３０の撮影画像の各色の画素値（Ｒ，Ｇ，Ｂ）を補正する。
　なお、ステップＳ１０１において取得した複数のカラー偏光画像から取得されるストークスパラメータ（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）は、ＲＧＢ各色対応の光強度信号（輝度信号）に相当し、ＲＧＢカラー画像に相当する。すなわち、ＲＧＢ各色対応の光強度信号（輝度信号）、すなわち、（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）、これらの信号によって構成されるカラー画像である。
　ストークスパラメータ（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）は、ＲＧＢカラー画像を構成するＲＧＢ画素値に相当する。
　すなわち
　Ｒ画素値＝ｓ'０Ｒ，
　Ｇ画素値＝ｓ'０Ｇ，
　Ｂ画素値＝ｓ'０Ｂ，
　となる。
　これらＲＧＢ画素値に相当する輝度信号からなる画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）に対して、上記のステップＳ１０２で算出したホワイトバランスゲイン（ｋＲ，１，ｋＢ）を乗算することで、ホワイトバランス調整画像としてのＲＧＢ画像を生成することができる。
　なお、本開示の画像処理装置１００は、撮像部５０の取得した偏光画像に対してホワイトバランス調整を実行してホワイトバランス調整偏光画像を生成することも可能である。
　ＲＧＢ画素値に相当する輝度信号からなる画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）に対してホワイトバランス調整を行った場合の調整前後の画素値の変化について説明する。
　ホワイトバランス調整前のＲＧＢ画素値から構成される撮影画像を撮影画像（ｉＲ，ｉＧ，ｉＢ）（＝（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ））とし、ホワイトバランス調整後のＲＧＢ画素値から構成される画像をホワイトバランス調整画像（ｗｂｉＲ，ｗｂｉＧ，ｗｂｉＢ）とする。
　ホワイトバランス調整画像（ｗｂｉＲ，ｗｂｉＧ，ｗｂｉＢ）は以下の（式１５）に従って生成される。
　ホワイトバランス調整画像（ｗｂｉＲ，ｗｂｉＧ，ｗｂｉＢ）
　＝（ｋＲｓ'０Ｒ，ｓ'０Ｇ，ｋＢｓ'０Ｂ）
　＝（（ＬＧ／ＬＲ）ｓ'０Ｒ，ｓ'０Ｇ，（ＬＧ／ＬＢ）ｓ'０Ｂ）
　　　　　　　　　・・・・・（式１５）
　すなわち、ホワイトバランス調整画像（ｗｂｉＲ，ｗｂｉＧ，ｗｂｉＢ）を構成する各画素の画素値は、画素値（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）にホワイトバランスゲイン（ｋＲ，１，ｋＢ）（＝（（ＬＧ／ＬＲ），１，（ＬＧ／ＬＢ）））を乗算することで算出される。
　上記（式１５）に従って算出されたホワイトバランス調整画像（ｗｂｉＲ，ｗｂｉＧ，ｗｂｉＢ）は、光源１０の色特性に依存しない被写体本姓の色を反映した画素値によって構成される画像となる。
　　［３．偏光情報を用いたホワイトバランスゲイン算出処理の詳細について］
　次に、偏光情報を用いたホワイトバランスゲイン算出処理の詳細について説明する。
　本開示の画像処理装置１００は、偏光情報を用いてホワイトバランスゲインを算出する。
　ホワイトバランスゲインの算出処理に適用する偏光情報は、撮像部（カラー偏光画像撮影カメラ）５０の撮影画像であるカラー偏光画像から取得可能な情報である。具体的には、ストークスパラメータや、ストークスパラメータによって算出可能な直線偏光度（ＤｏＬＰ：Ｄｅｇｒｅｅ　ｏｆ　Ｌｉｎｅａｒ　Ｐｏｌａｒｉｚａｔｉｏｎ）等の情報である。
　なお、直線偏光度（ＤｏＬＰ）とは、観測光（反射光）２２に含まれる直線偏光の割合（％）であり、詳細については後段で説明する。
　以下では、図４を参照して説明したステップＳ１０２の処理、すなわち、ストークスパラメータを用いたホワイトバランスゲインの算出処理の詳細について説明する。
　前述したように、ステップＳ１０２では、ステップＳ１０１で取得した３枚のカラー偏光画像から以下のストークスパラメータを取得する。すなわち、
　（ａ）観測光２２中のＲＧＢ各色対応の無偏光の光強度信号（輝度信号）に相当するストークスパラメータ（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）、
　（ｂ）観測光２２中のＲＧＢ各色対応の水平垂直直線偏光成分の差分信号に相当するストークスパラメータ（ｓ'１Ｒ，ｓ'１Ｇ，ｓ'１Ｂ）、
　（ｃ）観測光２２中のＲＧＢ各色対応の４５度直線偏光成分の差分信号に相当するストークスパラメータ（ｓ'２Ｒ，ｓ'２Ｇ，ｓ'２Ｂ）、
　さらに、取得したこれら３種類のストークスパラメータを用いて、撮影画像の画素値を被写体２０の本来の色に補正するための画素値調整用パラメータであるホワイトバランスゲインを算出する。
　以下、ストークスパラメータを用いたホワイトバランスゲインの算出処理の具体的処理例について、２つの処理例を、順次、説明する。
　　［３－１．偏光情報を用いたホワイトバランスゲイン算出処理例１］
　まず、図５を参照して、偏光情報を用いたホワイトバランスゲインの算出処理例１について説明する。
　本開示の画像処理装置１００は、撮像部５０から入力する偏光画像から取得する偏光情報を用いてホワイトバランスゲインを算出する。本開示の画像処理装置１００は、撮影画像から無彩色領域を検出できない場合でも、有彩色領域の偏光情報を用いて最適なホワイトバランスゲインを算出する。
　以下に説明するホワイトバランスゲイン算出処理例１は、図５に画像処理装置１０の処理として示すように、画像処理装置１００が以下の処理ステップＡ～Ｂを実行してホワイトバランスゲインを算出する処理例である。
　（ステップＡ）入力画像から、異なる２色（ＲとＧ、ＢとＧ）の直線偏光度（ＤｏＬＰ）が一致する画素を検出する。
　（検出画素＝被写体の２色（ＲとＧ、ＢとＧ）の反射率が一致し、撮影画像の色変化が光源色（ＬＲ，ＬＧ，ＬＢ）の影響のみによって発生する画素）
　（ステップＢ）検出画素の２色（ＲとＧ、ＢとＧ）の画素値に基づいてホワイトバランスゲインｋＲ，ｋＢを算出する。
　以下、図５を参照して、このホワイトバランスゲイン算出処理例１の詳細について説明する。
　図５には、先に図３、図４を参照して説明したと同様、光源１０と被写体２０、さらに、撮像部（カラー偏光画像撮影カメラ）５０と画像処理装置１００を示している。
　光源１０の照射光１１が被写体２０に反射し、撮像部（カラー偏光画像撮影カメラ）５０は、この反射光からなる観測光２２から特定の偏光成分のみを撮影し、撮影したカラー偏光画像を画像処理部１００に入力する。
　画像処理部１００は、撮像部（カラー偏光画像撮影カメラ）５０が撮影したカラー偏光画像を利用してホワイトバランスゲインを算出し、算出したホワイトバランスゲインを利用してホワイトバランス調整処理を実行する。
　光源１０の照射光１１のＲＧＢ各色の偏光状態を示すＲＧＢ各色の光源ストークスベクトルは、前述したように、以下の式（式１１）によって示される。
Figure JPOXMLDOC01-appb-M000003
　なお、前述したように、ストークスベクトルは、光の偏光状態を示すベクトルであり、ｓ０～ｓ３の４種類のパラメータ（ストークスパラメータ）によって構成されるが、本開示の画像処理装置１００は、以下の３種類のストークスパラメータｓ０～ｓ２を用いてホワイトバランスゲインを算出する。
　ストークスパラメータｓ０＝無偏光の光強度信号、
　ストークスパラメータｓ１＝水平垂直直線偏光成分の差分信号、
　ストークスパラメータｓ２＝４５度直線偏光成分の差分信号、
　である。
　上記（式１１）に示すＲＧＢ各色の光源ストークスベクトルで示される偏光状態を有する光源１０の照射光１１が被写体２０に照射されると、被写体２０からの反射光である観測光２２が撮像部（カラー偏光画像撮影カメラ）５０に入力される。
　先に図３を参照して説明したように、光源１０の照射光１１の偏光状態は、被写体２０に照射され反射光となる際に変化する。
　照射光１１のストークスベクトルをＳ＝（ｓ０，ｓ１，ｓ２）、
　観測光（反射光）２２のストークスベクトルをＳ'＝（ｓ'０，ｓ'１，ｓ'２）とすると、２つのストークスベクトルＳ，Ｓ'の関係式は、ミュラー行列Ｍを用いた関係式、
　Ｓ'＝ＭＳ
　として示すことができる。
　ミュラー行列Ｍは、簡易的に被写体２０の鏡面反射を示す行列Ｍｓと拡散反射を示す行列Ｍｄの線形和で表すことができ、ＲＧＢ各色に対応するミュラー行列は、以下の（式１２ａ）～（式１２ｃ）に示す式で表される。
　Ｒ（赤色光）のミュラー行列＝ｒｓＭｓ＋ｒｄＲＭｄＲ　・・・（式１２ａ）
　Ｇ（緑色光）のミュラー行列＝ｒｓＭｓ＋ｒｄＧＭｄＧ　・・・（式１２ｂ）
　Ｂ（青色光）のミュラー行列＝ｒｓＭｓ＋ｒｄＢＭｄＢ　・・・（式１２ｃ）
　なお、
　ｒｓは、Ｒ（赤），Ｇ（緑），Ｂ（青）各色共通の鏡面反射率ｒｓ、
　ｒｄＲ、ｒｄＧ、ｒｄＢは、Ｒ（赤），Ｇ（緑），Ｂ（青）各色によって異なる拡散反射率ｒｄＲ、ｒｄＧ、ｒｄＢである。
　また、被写体２０の１つの点Ｐ対応の観測光（反射光）２２のＲ（赤），Ｇ（緑），Ｂ（青）の偏光状態を示す各色のストークスベクトルＳ'は、
　Ｓ'＝ＭＳ
　上記の関係式に従って、以下に示す（式１３ａ）～（式１３ｃ）として表すことができる。
Figure JPOXMLDOC01-appb-M000004
　撮像部（カラー偏光画像撮影カメラ）５０は、観測光（反射光）２２のＲ（赤），Ｇ（緑），Ｂ（青）の偏光状態を示す各色のストークスベクトル、すなわち、
　Ｓ'Ｒ＝（ｓ'０Ｒ，ｓ'１Ｒ，ｓ'２Ｒ）Ｔ
　Ｓ'Ｇ＝（ｓ'０Ｇ，ｓ'１Ｇ，ｓ'２Ｇ）Ｔ
　Ｓ'Ｂ＝（ｓ'０Ｂ，ｓ'１Ｂ，ｓ'２Ｂ）Ｔ
　これらのストークスベクトルを構成するストークスパラメータを取得するための複数のカラー偏光画像を撮影して、撮影した複数のカラー偏光画像を画像処理装置１００に出力する。
　すなわち、図５に示す
　（ａ）カラー偏光画像ａ
　（ｂ）カラー偏光画像ｂ
　（ｃ）カラー偏光画像ｃ
　これらの３種類の画像である。
　なお、ストークスパラメータｓ０は、無偏光の光強度信号であり、画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）は、ＲＧＢ各色対応の光強度信号（輝度信号）によって構成される画像となる。したがって、このストークスパラメータｓ０によって構成される画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）をホワイトバランス調整対象画像として、ホワイトバランス調整処理を実行すれば被写体２０の色を正確に反映したＲＧＢ画像を取得することができる。
　ホワイトバランス調整前のＲＧＢ画素値から構成される撮影画像を撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）は、被写体２０の各構成点対応の観測光（ｉＲ，ｉＧ，ｉＢ）と同じＲＧＢ画素値によって構成される画像である。
　しかし、被写体２０の各構成点対応の観測光（ｉＲ，ｉＧ，ｉＢ）は、光源１０の光源色（ＬＲ，ＬＧ，ＬＢ）と、被写体２０の各構成点の被写体反射率（ｒＲ，ｒＧ，ｒＢ）との乗算値、すなわち、先に説明した以下の（式１）に従って算出される光となる。
　観測光（ｉＲ，ｉＧ，ｉＢ）
　＝（ＬＲｒＲ，ＬＧｒＧ，ＬＢｒＢ）
　　　　　　　　　・・・・・（式１）
　すなわち、ストークスパラメータｓ０によって構成される撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）、これらの各値は、以下の（式１６）に従って算出される。
　撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）
　＝観測光（ｉＲ，ｉＧ，ｉＢ）
　＝（ＬＲｒＲ，ＬＧｒＧ，ＬＢｒＢ）
　　　　　　　　　・・・・・（式１６）
　上記（式１６）から理解されるように、撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）の画素値は、光源色（ＬＲ，ＬＧ，ＬＢ）や被写体反射率（ｒＲ，ｒＧ，ｒＢ）に比例して変化する画素値となる。
　すなわち、撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）の画素値は、光源１０の光源色（ＬＲ，ＬＧ，ＬＢ）や、被写体反射率（ｒＲ，ｒＧ，ｒＢ）に応じて色が変化してしまい、被写体２０本来の色とは異なる色の画素値によって構成された画像となる。
　なお、前述したように、被写体２０の反射特性が二色性反射モデル（反射率＝拡散反射率＋鏡面反射率）を満たす場合、被写体反射率（ｒＲ，ｒＧ，ｒＢ）の各要素は、Ｒ（赤），Ｇ（緑），Ｂ（青）各色共通の鏡面反射率ｒｓと、Ｒ（赤），Ｇ（緑），Ｂ（青）各色によって異なる拡散反射率ｒｄＲ、ｒｄＧ、ｒｄＢの加算値として示される。
　すなわち、
　ｒＲ＝ｒｓ＋ｒｄＲ
　ｒＧ＝ｒｓ＋ｒｄＧ
　ｒＢ＝ｒｓ＋ｒｄＢ
　である。
　従って、撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）の各値は、以下の（式１７）のように示すことができる。
　撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）
　＝観測光（ｉＲ，ｉＧ，ｉＢ）
　＝（ＬＲｒＲ，ＬＧｒＧ，ＬＢｒＢ）
　＝（ＬＲ（ｒｓ＋ｒｄＲ），ＬＧ（ｒｓ＋ｒｄＧ），ＬＢ（ｒｓ＋ｒｄＢ））
　　　　　　　　　・・・・・（式１７）
　上記（式１７）から理解されるように、撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）のＲＧＢ画素値（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）に対して色変化の影響を与えているのは、
　光源色（ＬＲ，ＬＧ，ＬＢ）と、
　被写体反射率（ｒＲ，ｒＧ，ｒＢ）＝（（ｒｓ＋ｒｄＲ），（ｒｓ＋ｒｄＧ），（ｒｓ＋ｒｄＢ））
　である。
　本開示の画像処理装置１００は、光源色（ＬＲ，ＬＧ，ＬＢ）に起因する色変化を解消するためのホワイトバランスゲインを算出するために、被写体２０の反射率（ｒＲ，ｒＧ，ｒＢ）＝（（ｒｓ＋ｒｄＲ），（ｒｓ＋ｒｄＧ），（ｒｓ＋ｒｄＢ））による色変化のない画素を撮像部５０の撮影画像から検出する。
　すなわち、光源色（ＬＲ，ＬＧ，ＬＢ）のみに基づく色変化が発生していると推定される画素を撮像部５０の撮影画像から検出する。
　この処理として実行する処理が、図５に示す画像処理装置１００の（ステップＡ）の処理である。すなわち、以下の処理である。
　（ステップＡ）入力画像から、異なる２色（ＲとＧ、ＢとＧ）の直線偏光度（ＤｏＬＰ）が一致する画素を検出する。
　このステップＡの処理において検出する検出画素は、被写体の２色（ＲとＧ、ＢとＧ）の反射率が一致し、撮影画像の色変化の原因が光源色（ＬＲ，ＬＧ，ＬＢ）の影響のみとなる画素である。
　なお、前述したように、ホワイトバランスゲイン（ｋＲ，１，ｋＢ）には、
　Ｒ（赤）対応のホワイトバランスゲイン＝ｋＲ、
　Ｂ（青）対応のホワイトバランスゲイン＝ｋＢ、
　これら２種類のホワイトバランスゲインがあり、画像処理装置１００は、これら２種類のホワイトバランスゲインｋＲ、ｋＢを算出する。
　画像処理装置１００は、Ｒ（赤）対応のホワイトバランスゲインｋＲを算出するための処理として、撮像部５０の撮影画像から異なる２色（ＲとＧ）の直線偏光度（ＤｏＬＰＲとＤｏＬＰＧ）が一致する画素を検出する。
　この処理によって検出される画素（ＤｏＬＰＲ＝ＤｏＬＰＧ）は、被写体の２色（ＲとＧ）の反射率が一致し、撮影画像の色変化が光源色（ＬＲ，ＬＧ，ＬＢ）の影響のみによって発生する画素となる。
　さらに、画像処理装置１００は、Ｂ（青）対応のホワイトバランスゲインｋＢを算出するための処理として、撮像部５０の撮影画像から異なる２色（ＢとＧ）の直線偏光度（ＤｏＬＰＢとＤｏＬＰＧ）が一致する画素を検出する。
　この処理によって検出される画素（ＤｏＬＰＢ＝ＤｏＬＰＧ）は、被写体の２色（ＢとＧ）の反射率が一致し、撮影画像の色変化が光源色（ＬＲ，ＬＧ，ＬＢ）の影響のみによって発生する画素となる。
　前述のように、被写体２０の反射率（ｒＲ，ｒＧ，ｒＢ）は、Ｒ（赤），Ｇ（緑），Ｂ（青）各色共通の鏡面反射率ｒｓと、Ｒ（赤），Ｇ（緑），Ｂ（青）各色によって異なる拡散反射率ｒｄＲ、ｒｄＧ、ｒｄＢの加算値として示される。
　すなわち、
　ｒＲ＝ｒｓ＋ｒｄＲ
　ｒＧ＝ｒｓ＋ｒｄＧ
　ｒＢ＝ｒｓ＋ｒｄＢ
　である。
　Ｒ（赤）の反射率ｒＲと、Ｇ（緑）の反射率ｒＧが一致する画素位置は、
　ｒＲ＝ｒＧ
　上記式が成立する画素位置である。
　また、Ｂ（青）の反射率ｒＢと、Ｇ（緑）の反射率ｒＧが一致する画素位置は、
　ｒＢ＝ｒＧ
　上記式が成立する画素位置である。
　撮像部５０から入力される偏光画像から取得可能なストークスパラメータｓ０によって構成されるＲＧＢカラー画像を撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）として、Ｒ（赤）の反射率ｒＲと、Ｇ（緑）の反射率ｒＧが一致する画素位置、すなわち、
　ｒＲ＝ｒＧ
　が成立する画素位置における画素値について検討する。
　Ｒ（赤）の反射率ｒＲと、Ｇ（緑）の反射率ｒＧが一致する画素位置、すなわち、
　ｒＲ＝ｒＧ
　が成立する画素位置では、
　撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）
　＝観測光（ｉＲ，ｉＧ，ｉＢ）
　＝（ＬＲｒＲ，ＬＧｒＧ，ＬＢｒＢ）
　＝（ＬＲｒＧ，ＬＧｒＧ，ＬＢｒＢ）
　　　　　　　　　　　　　・・・（式１８）
　となる。
　すなわち、ＬＲｒＲ＝ＬＧｒＧが成立するので、ＬＲｒＲを、ＬＲｒＧに置き換えることが可能となる。
　上記（式１８）から、以下の（式１９）が導かれる。
　（ｉＧ／ｉＲ）
　＝（（ＬＧｒＧ）／（ＬＲｒＧ））
　＝（ＬＧ／ＬＲ）
　　　　　　　　　　　　　・・・（式１９）
　上記（式１９）の最終項（ＬＧ／ＬＲ）は、
　光源色（ＬＲ，ＬＧ，ＬＢ）のＲ（赤）に対するＧ（緑）の強度比に相当する。
　従って、光源色（ＬＲ，ＬＧ，ＬＢ）の影響を解消するためのホワイトバランスゲイン（ｋＲ，１，ｋＢ）と、光源色（ＬＲ，ＬＧ，ＬＢ）との関係式は、以下の（式２０）に示す関係式となる。
　ホワイトバランスゲイン（ｋＲ，１，ｋＢ）
　＝（（ＬＧ／ＬＲ），１，（ＬＧ／ＬＢ））
　　　　　　　　　　　・・・・・（式２０）
　上記（式１９）によって算出される（ＬＧ／ＬＲ）は、上記（式２０）に示すように、
　ホワイトバランスゲインｋＲに相当する。
　すなわち、上記（式１９）によって算出される（ＬＧ／ＬＲ）は、Ｇ（緑）の画素値（強度）を基準としたとき、Ｒ（赤）の画素値（強度）の補正に適用するホワイトバランスゲインｋＲとなる。
　このように、被写体２０のＲ（赤）の反射率ｒＲと、Ｇ（緑）の反射率ｒＧが一致する画素位置、すなわち、
　ｒＲ＝ｒＧ
　が成立する画素位置を検出できれば、
　撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）
　＝観測光（ｉＲ，ｉＧ，ｉＢ）
　＝（ＬＲｒＲ，ＬＧｒＧ，ＬＢｒＢ）
　＝（ＬＲｒＧ，ＬＧｒＧ，ＬＢｒＢ）
　上記式が成立し、この画素位置のＲ画素値（ｓ'０Ｒ＝ＬＲｒＧ）と、Ｇ画素値（ｓ'０Ｇ＝ＬＧｒＧ）から、
　Ｒ（赤）の画素値（強度）の補正に適用するホワイトバランスゲインｋＲ、すなわち、
　ｋＲ＝（ＬＧ／ＬＲ）
　を算出することができる。
　同様に、Ｂ（青）の反射率ｒＢと、Ｇ（緑）の反射率ｒＧが一致する画素位置、すなわち、
　ｒＢ＝ｒＧ
　が成立する画素位置では、
　撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）
　＝観測光（ｉＲ，ｉＧ，ｉＢ）
　＝（ＬＲｒＲ，ＬＧｒＧ，ＬＢｒＢ）
　＝（ＬＲｒＲ，ＬＧｒＧ，ＬＢｒＧ）
　　　　　　　　　　　　　・・・（式２１）
　となる。
　すなわち、ＬＢｒＢ＝ＬＢｒＧが成立するので、ＬＢｒＢを、ＬＢｒＧに置き換えることが可能となる。
　上記（式２１）から、以下の（式２２）が導かれる。
　（ｉＧ／ｉＢ）
　＝（（ＬＧｒＧ）／（ＬＢｒＧ））
　＝（ＬＧ／ＬＢ）
　　　　　　　　　　　　　・・・（式２２）
　上記（式２２）の最終項（ＬＧ／ＬＢ）は、
　光源色（ＬＲ，ＬＧ，ＬＢ）のＢ（青）に対するＧ（緑）の強度比に相当する。
　従って、光源色（ＬＲ，ＬＧ，ＬＢ）の影響を解消するためのホワイトバランスゲイン（ｋＲ，１，ｋＢ）と、光源色（ＬＲ，ＬＧ，ＬＢ）との関係式は、以下の（式２３）に示す関係式となる。
　ホワイトバランスゲイン（ｋＲ，１，ｋＢ）
　＝（（ＬＧ／ＬＲ），１，（ＬＧ／ＬＢ））
　　　　　　　　　・・・・・（式２３）
　上記（式２２）によって算出される（ＬＧ／ＬＢ）は、上記（式２３）に示すように、
　ホワイトバランスゲインｋＢに相当する。
　すなわち、上記（式２２）によって算出される（ＬＧ／ＬＢ）は、Ｇ（緑）の画素値（強度）を基準としたとき、Ｂ（青）の画素値（強度）の補正に適用するホワイトバランスゲインｋＢとなる。
　このように、撮像部５０の撮影画像からＢ（青）の反射率ｒＢと、Ｇ（緑）の反射率ｒＧが一致する画素位置、すなわち、
　ｒＢ＝ｒＧ
　が成立する画素位置を検出できれば、
　撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）
　＝観測光（ｉＲ，ｉＧ，ｉＢ）
　＝（ＬＲｒＲ，ＬＧｒＧ，ＬＢｒＢ）
　＝（ＬＲｒＲ，ＬＧｒＧ，ＬＢｒＧ）
　上記式が成立し、この画素位置のＲ画素値（ｓ'０Ｂ＝ＬＢｒＧ）と、Ｇ画素値（ｓ'０Ｇ＝ＬＧｒＧ）から、
　Ｂ（青）の画素値（強度）の補正に適用するホワイトバランスゲインｋＢ、すなわち、
　ｋＢ＝（ＬＧ／ＬＢ）
　を算出することができる。
　このように、画像処理装置１００は、Ｒ（赤）対応のホワイトバランスゲインｋＲを算出するための処理として、被写体の２色（ＲとＧ）の反射率が一致し、撮影画像の色変化が光源色（ＬＲ，ＬＧ，ＬＢ）の影響のみによって発生する画素を検出する。
　また、Ｂ（青）対応のホワイトバランスゲインｋＢを算出するための処理として、被写体の２色（ＢとＧ）の反射率が一致し、撮影画像の色変化が光源色（ＬＲ，ＬＧ，ＬＢ）の影響のみによって発生する画素を検出する。
　本開示の理画像処理装置１００は、これら被写体の２色（ＲとＧ）の反射率が一致する画素位置や、被写体の２色（ＢとＧ）の反射率が一致する画素位置を検出するために、図５に示す（ステップＡ）の処理を実行する。
　すなわち、「（ステップＡ）入力画像から、異なる２色（ＲとＧ、ＢとＧ）の直線偏光度（ＤｏＬＰ）が一致する画素を検出する。」処理を実行する。
　例えば、画像処理装置１００は、Ｒ（赤）対応のホワイトバランスゲインｋＲを算出するために必要となる
　ｒＲ＝ｒＧ
　が成立する画素位置を検出するために、撮像部５０の撮影画像からＲ（赤）とＧ（緑）の直線偏光度（ＤｏＬＰＲとＤｏＬＰＧ）が一致する画素を検出する。
　また、Ｂ（青）対応のホワイトバランスゲインｋＢを算出するために必要となる
　ｒＢ＝ｒＧ
　が成立する画素位置を検出するために、撮像部５０の撮影画像からＢ（青）とＧ（緑）の直線偏光度（ＤｏＬＰＢとＤｏＬＰＧ）が一致する画素を検出する。
　直線偏光度（ＤｏＬＰ：Ｄｅｇｒｅｅ　ｏｆ　Ｌｉｎｅａｒ　Ｐｏｌａｒｉｚａｔｉｏｎ）は、観測光（反射光）２２に含まれる直線偏光の割合（％）である。
　以下、Ｒ（赤）対応のホワイトバランスゲインｋＲを算出するために必要となる
　ｒＲ＝ｒＧ
　が成立する画素位置を検出するために、画像処理装置１００が実行する処理、すなわち、撮像部５０の撮影画像からＲ（赤）とＧ（緑）の直線偏光度（ＤｏＬＰＲとＤｏＬＰＧ）が一致する画素を検出する処理について説明する。
　観測光（反射光）２２中のＲ（赤）とＧ（緑）の直線偏光度（ＤｏＬＰ）は、以下の（式２４ａ）、（式２４ｂ）によって算出される。
Figure JPOXMLDOC01-appb-M000005
　上記（式２４ａ）、（式２４ｂ）において、ｓ'０Ｒ、ｓ'１Ｒ、ｓ'２Ｒ、ｓ'０Ｇ、ｓ'１Ｇ、ｓ'２Ｇは、観測光（反射光）２２中のＲ（赤）とＧ（緑）のストークスパラメータであり、
　ｓ'０Ｒと、ｓ'０Ｇは、観測光（反射光）２２中のＲ（赤）とＧ（緑）の無偏光の光強度信号、
　ｓ'１Ｒと、ｓ'１Ｇは、観測光（反射光）２２中のＲ（赤）とＧ（緑）の水平垂直直線偏光成分の差分信号、
　ｓ'２Ｒと、ｓ'２Ｇは、観測光（反射光）２２中のＲ（赤）とＧ（緑）の４５度直線偏光成分の差分信号、
　である。
　これらのストークスパラメータは、いずれも図５に示す撮像部５０が撮影する３つの画像、すなわち以下の各画像から取得可能なパラメータである。
　（ａ）カラー偏光画像ａ
　（ｂ）カラー偏光画像ｂ
　（ｃ）カラー偏光画像ｃ
　Ｒ（赤）の反射率ｒＲと、Ｇ（緑）の反射率ｒＧが一致する画素位置、すなわち、
　ｒＲ＝ｒＧ
　が成立する画素位置は、観測光（反射光）２２中のＲ（赤）とＧ（緑）の直線偏光度（ＤｏＬＰ）が一致する。
　従って、ｒＲ＝ｒＧが成立する画素位置を検出するためには、観測光（反射光）２２中のＲ（赤）の直線偏光度（ＤｏＬＰＲ）とＧ（緑）の直線偏光度（ＤｏＬＰＧ）が一致する画素を検出すればよい。
　ｒＲ＝ｒＧが成立する画素位置で、観測光（反射光）２２中のＲ（赤）とＧ（緑）の直線偏光度（ＤｏＬＰＲとＤｏＬＰＧ）が一致する理由について、以下、説明する。
　先に図５を参照して説明したように、被写体２０の１つの点Ｐ対応の観測光（反射光）２２のＲ（赤），Ｇ（緑），Ｂ（青）の偏光状態を示す各色のストークスベクトルＳ'と、照射光１１の偏光状態を示すストークスベクトルＳと、被写体２０の反射特性を反映した変換行列であるミュラー行列Ｍとの間には、以下の関係式、
　Ｓ'＝ＭＳ
　上記関係式が成立する。
　従って、ＲＧＢ各色についても、先に説明した以下の（式１３ａ）～（式１３ｃ）の関係式が成立する。
Figure JPOXMLDOC01-appb-M000006
　なお、上記（式１３ａ）～（式１３ｃ）中の
　［ｒｓＭｓ＋ｒｄＲＭｄＲ］は、Ｒ（赤色光）のミュラー行列、
　［ｒｓＭｓ＋ｒｄＧＭｄＧ］は、Ｇ（緑色光）のミュラー行列、
　［ｒｓＭｓ＋ｒｄＢＭｄＢ］は、Ｂ（青色光）のミュラー行列、
　であり、
　ｒｓは、Ｒ（赤），Ｇ（緑），Ｂ（青）各色共通の鏡面反射率ｒｓ、
　ｒｄＲ、ｒｄＧ、ｒｄＢは、Ｒ（赤），Ｇ（緑），Ｂ（青）各色によって異なる拡散反射率ｒｄＲ、ｒｄＧ、ｒｄＢである。
　ここで、
　ｒＲ＝ｒＧ、
　が成立する場合、
　［ｒｓＭｓ＋ｒｄＲＭｄＲ］＝［ｒｓＭｓ＋ｒｄＧＭｄＧ］
　が成立する。従って、上記の（式１３ａ）内のＲ（赤色光）のミュラー行列［ｒｓＭｓ＋ｒｄＲＭｄＲ］は、（式１３ｂ）内のＧ（緑色光）のミュラー行列［ｒｓＭｓ＋ｒｄＧＭｄＧ］に置き換えることができる。
　この置き換えによって、（式１３ａ）、（式１３ｂ）は、以下の（式２５ａ）、（式２５ｂ）のように書き換えることができる。
Figure JPOXMLDOC01-appb-M000007
　上記（式２５ａ）、（式２５ｂ）から、
　　ｓ'０Ｒ＝ＬＲ・ｓ'０
　　ｓ'１Ｒ＝ＬＲ・ｓ'１
　　ｓ'２Ｒ＝ＬＲ・ｓ'２
　　ｓ'０Ｇ＝ＬＧ・ｓ'０
　　ｓ'１Ｇ＝ＬＧ・ｓ'１
　　ｓ'２Ｇ＝ＬＧ・ｓ'２
　上記関係式が導かれる。
　これらの関係式に従って、先に説明した（式２４ａ）、（式２４ｂ）、すなわち、観測光（反射光）２２中のＲ（赤）の直線偏光度（ＤｏＬＰＲ）とＧ（緑）の直線偏光度（ＤｏＬＰＧ）は、以下の（式２６ａ）、（式２６ｂ）のように書き換えることができる。
Figure JPOXMLDOC01-appb-M000008
　上記（式２６ａ）、（式２６ｂ）の各々の最終項は一致する。
　これは、観測光（反射光）２２中のＲ（赤）の直線偏光度（ＤｏＬＰＲ）とＧ（緑）の直線偏光度（ＤｏＬＰＧ）が一致することを示している。
　このように、Ｒ（赤）の反射率ｒＲと、Ｇ（緑）の反射率ｒＧが一致する画素位置、すなわち、
　ｒＲ＝ｒＧ
　が成立する画素位置では、観測光（反射光）２２中のＲ（赤）とＧ（緑）の直線偏光度（ＤｏＬＰ）が一致する。すなわち、
　（ＤｏＬＰＲ）＝（ＤｏＬＰＧ）
　上記関係式が成立する。
　このように、Ｒ（赤）の反射率ｒＲと、Ｇ（緑）の反射率ｒＧが一致、すなわち、
　ｒＲ＝ｒＧ
　が成立する画素位置を検出するためには、観測光（反射光）２２中のＲ（赤）の直線偏光度（ＤｏＬＰＲ）とＧ（緑）の直線偏光度（ＤｏＬＰＧ）が一致する画素位置を検出すればよい。
　本開示の画像処理装置１００は、撮像部５０から以下の３枚の画像、すなわち、図５に示す
　（ａ）カラー偏光画像ａ
　（ｂ）カラー偏光画像ｂ
　（ｃ）カラー偏光画像ｃ
　これらの３種類の画像を入力する。
　画像処理装置１００は、これらの画像から観測光（反射光）２２中のＲ（赤）の直線偏光度（ＤｏＬＰＲ）とＧ（緑）の直線偏光度（ＤｏＬＰＧ）を算出するために必要となるストークスパラメータを取得することができる。
　すなわち、画像処理装置１００は、撮像部５０から入力するカラー偏光画像から、先に説明した（式２４ａ）、（式２４ｂ）に示されるＲ（赤）の直線偏光度（ＤｏＬＰＲ）とＧ（緑）の直線偏光度（ＤｏＬＰＧ）を算出するために必要となるストークスパラメータ（ｓ'０Ｒ、ｓ'１Ｒ、ｓ'２Ｒ、ｓ'０Ｇ、ｓ'１Ｇ、ｓ'２Ｇ）を取得する。
　本開示の画像処理装置１００は、撮像部５０から入力する３枚の画像、すなわち、図５に示す画像（ａ）～（ｃ）を用いて、入力画像の各画素位置について、先に説明した（式２４ａ）、（式２４ｂ）に従ってＲ（赤）の直線偏光度（ＤｏＬＰＲ）とＧ（緑）の直線偏光度（ＤｏＬＰＧ）を算出し、これらが一致する画素位置を検出する。
　Ｒ（赤）の直線偏光度（ＤｏＬＰＲ）とＧ（緑）の直線偏光度（ＤｏＬＰＧ）が一致する画素位置は、Ｒ（赤）の反射率ｒＲと、Ｇ（緑）の反射率ｒＧが一致する画素位置、すなわち、
　ｒＲ＝ｒＧ
　が成立する画素位置である。
　本開示の画像処理装置１００は、このように撮像部５０の撮影画像からＲ（赤）の反射率ｒＲと、Ｇ（緑）の反射率ｒＧが一致する画素位置、すなわち、ｒＲ＝ｒＧが成立する画素位置を検出する。
　ｒＲ＝ｒＧが成立する画素位置では、前述したように、
　観測光（ｉＲ，ｉＧ，ｉＢ）
　＝（ＬＲｒＲ，ＬＧｒＧ，ＬＢｒＢ）
　＝（ＬＲｒＧ，ＬＧｒＧ，ＬＢｒＢ）
　上記式が成立し、この画素位置のＲ画素値（ＬＲｒＧ）と、Ｇ画素値（＝ＬＧｒＧ）から、
　Ｒ（赤）の画素値（強度）の補正に適用するホワイトバランスゲインｋＲ、すなわち、
　ｋＲ＝（ＬＧ／ＬＲ）
　を算出することができる。
　なお、前述したように、図５に示す撮像部５０から入力する３種類のカラー偏光画像から取得可能なストークスパラメータｓ０は、無偏光の光強度信号であり、画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）は、ＲＧＢ各色対応の光強度信号（輝度信号）によって構成される画像となる。この画像を観測光（ｉＲ，ｉＧ，ｉＢ）の撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）とみなすことが可能である。従って、
　撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）
　＝観測光（ｉＲ，ｉＧ，ｉＢ）
　＝（ＬＲｒＲ，ＬＧｒＧ，ＬＢｒＢ）
　＝（ＬＲｒＧ，ＬＧｒＧ，ＬＢｒＢ）
　となる。
　従って、
　ｋＲ＝（ＬＧ／ＬＲ）
　＝（ＬＧｒＧ）／（ＬＲｒＧ）
　＝（ｓ'０Ｇ，）／（ｓ'０Ｒ）
　であるので、図５に示す撮像部５０から入力する複数のカラー偏光画像から取得される撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）のＲＧＢ画素値（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）を用いて、Ｒ（赤）の画素値（強度）の補正に適用するホワイトバランスゲインｋＲを算出することができる。
　なお、前述したように、本処理例では、ホワイトバランスゲインを、撮影画像のＧ（緑）の画素値を基準として、Ｇ画素値は変更せず、撮影画像のＲ（赤）の画素値に乗算するホワイトバランスゲインをｋＲとし、撮影画像のＢ（青）の画素値に乗算するホワイトバランスゲインをｋＢとしている。
　上記処理は、ホワイトバランスゲイン（ｋＲ，１，ｋＢ）中の１つのホワイトバランスゲイン、すなわち、Ｒ（赤）の画素値（強度）の補正に適用するホワイトバランスゲインｋＲの算出処理例である。
　このように、上述した処理例は、Ｒ（赤）の画素値（強度）の補正に適用するホワイトバランスゲインｋＲの算出処理例であるが、Ｂ（青）の画素値（強度）の補正に適用するホワイトバランスゲインｋＢの算出処理についても同様に実行することが可能である。
　Ｂ（青）の画素値（強度）の補正に適用するホワイトバランスゲインｋＢを算出する場合は、Ｂ（青）の反射率ｒＢと、Ｇ（緑）の反射率ｒＧが一致、すなわち、
　ｒＢ＝ｒＧ
　が成立する画素位置を検出する。このためには、観測光（反射光）２２中のＢ（青）の直線偏光度（ＤｏＬＰＢ）とＧ（緑）の直線偏光度（ＤｏＬＰＧ）が一致する画素位置を検出する。
　ｒＢ＝ｒＧが成立する画素位置では、前述したように、
　観測光（ｉＲ，ｉＧ，ｉＢ）
　＝（ＬＲｒＲ，ＬＧｒＧ，ＬＢｒＢ）
　＝（ＬＲｒＲ，ＬＧｒＧ，ＬＢｒＧ）
　上記式が成立し、この画素位置のＢ画素値（ＬＢｒＧ）と、Ｇ画素値（＝ＬＧｒＧ）から、
　Ｇ（青）の画素値（強度）の補正に適用するホワイトバランスゲインｋＢ、すなわち、
　ｋＢ＝（ＬＧ／ＬＢ）
　を算出することができる。
　前述したように、図５に示す撮像部５０から入力する複数のカラー偏光画像から取得される撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）のＲＧＢ画素値（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）を観測光（ｉＲ，ｉＧ，ｉＢ）とみなすことが可能である。従って、
　撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）
　＝観測光（ｉＲ，ｉＧ，ｉＢ）
　＝（ＬＲｒＲ，ＬＧｒＧ，ＬＢｒＢ）
　＝（ＬＲｒＲ，ＬＧｒＧ，ＬＢｒＧ）
　となる。
　従って、
　ｋＢ＝（ＬＧ／ＬＢ）
　＝（ＬＧｒＧ）／（ＬＢｒＧ）
　＝（ｓ'０Ｇ，）／（ｓ'０Ｂ）
　であるので、図５に示す撮像部５０から入力する複数のカラー偏光画像から取得される撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）のＲＧＢ画素値（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）を用いて、Ｂ（青）の画素値（強度）の補正に適用するホワイトバランスゲインｋＢを算出することができる。
　前述したように、ホワイトバランスゲイン（ｋＲ，１，ｋＢ）は、光源１０の光源色（ＬＲ，ＬＧ，ＬＢ）を用いて、以下のように示すことができる。
　ホワイトバランスゲイン（ｋＲ，１，ｋＢ）
　＝（（ＬＧ／ＬＲ），１，（ＬＧ／ＬＢ））
　図５に示す撮像部５０から入力する複数のカラー偏光画像から取得される撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）は、ＲＧＢ画素値に相当する輝度信号からなる画素値（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）を有しており、この画素値に対して、算出したホワイトバランスゲイン（ｋＲ，１，ｋＢ）を乗算することで、ホワイトバランス調整処理が実行されホワイトバランス調整後の画像を生成することができる。
　上述した実施例では、
　観測光（反射光）２２中のＲ（赤）の直線偏光度（ＤｏＬＰＲ）とＧ（緑）の直線偏光度（ＤｏＬＰＧ）の一致画素を検出して、Ｒ（赤）とＧ（緑）の反射率ｒＲ，ｒＧの一致画素を検出し、さらに、
　観測光（反射光）２２中のＢ（青）の直線偏光度（ＤｏＬＰＢ）とＧ（緑）の直線偏光度（ＤｏＬＰＧ）の一致画素を検出して、Ｂ（青）とＧ（緑）の反射率ｒＢ，ｒＧの一致画素を検出していた。
　すなわち、異なる色の直線偏光度（ＤｏＬＰ）の一致画素を検出することで、被写体２０のＲＧＢ中の２色の反射率が一致し、光源色（ＬＲ，ＬＧ，ＬＢ）の影響のみが発生する画素位置の検出処理を行っていた。
　具体的には、撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）において、光源色（ＬＲ，ＬＧ，ＬＢ）の影響のみが発生する画素位置の検出処理を行っていた。
　このような画素位置の検出処理には、直線偏光度（ＤｏＬＰ）の一致画素の検出処理ではなく、その他の方法を適用することも可能である。
　例えば、画像処理装置１００が、撮像部５０から入力する画像、すなわち、図５に示す
　（ａ）カラー偏光画像ａ
　（ｂ）カラー偏光画像ｂ
　（ｃ）カラー偏光画像ｃ
　これらの３種類の画像から得られるストークスパラメータのうち、２つの異なる成分（パラメータ）を利用して「第ｎ成分（パラメータ）／第ｍ成分（パラメータ）（ｎ≠ｍ）」を計算して、光源色（ＬＲ，ＬＧ，ＬＢ）の影響のみによって撮影画像の色変化が発生する画素位置の検出処理を行うことも可能である。、
　具体的には、まず、以下に示す（式２７ａ）、（式２７ｂ）、（式２７ｃ）に従って、ストークスパラメータの各成分比（パラメータ比）を算出する。
Figure JPOXMLDOC01-appb-M000009
　さらに、以下に示す（式２８ａ）、または（式２８ｂ）の成立する画素位置を検出する。
Figure JPOXMLDOC01-appb-M000010
　上記（式２８ａ）が成立する画素位置は、Ｒ（赤）とＧ（緑）の反射率が一致し、画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）のＲ（赤）とＧ（緑）については、光源色（ＬＲ，ＬＧ，ＬＢ）の影響のみによって色変化が発生する画素位置となる。
　また、上記（式２８ｂ）が成立する画素位置は、Ｇ（青）とＧ（緑）の反射率が一致し、画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ））のＢ（青）とＧ（緑）については、光源色（ＬＲ，ＬＧ，ＬＢ）の影響のみによって色変化が発生する画素位置となる。
　このような手法で、撮影画像の色変化が光源色（ＬＲ，ＬＧ，ＬＢ）の影響のみによって発生する画素位置を検出し、これらの画素位置に設定された画素値から、ホワイトバランスゲインｋＲ，ｋＢを算出する処理を行ってよもよい。
　　［３－２．偏光情報を用いたホワイトバランスゲイン算出処理例２］
　次に、図６以下を参照して、偏光情報を用いたホワイトバランスゲインの算出処理例２について説明する。
　ホワイトバランスゲイン算出処理例２は、図６に示すように、画像処理装置１００が以下の処理ステップＰ～Ｑを実行してホワイトバランスゲインを算出する処理例である。
　（ステップＰ）関係式生成処理
　「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色」が、「直線偏光度（ＤｏＬＰ）の色（ＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢ）」に等しくなるという関係を利用して、撮影画像から取得可能なストークスパラメータと、未知数である２つのホワイトバランスゲインｋＲ，ｋＢを含む関係式を２つ以上、生成する。（撮影画像の異なる画素位置対応の関係式を２つ以上、生成する。）
　（ステップＱ）ステップＰで生成した２つ以上の関係式を、連立方程式として解くことでホワイトバランスゲインｋＲ、ｋＢを算出する。
　以下、図６を参照して、このホワイトバランスゲイン算出処理例２の詳細について説明する。
　図６には、先に図５を参照して説明したと同様、光源１０と被写体２０、さらに、撮像部（カラー偏光画像撮影カメラ）５０と画像処理装置１００を示している。
　光源１０の照射光１１が被写体２０に反射し、撮像部（カラー偏光画像撮影カメラ）５０は、この反射光からなる観測光２２から特定の偏光成分のみを撮影し、撮影したカラー偏光画像を画像処理部１００に入力する。
　画像処理部１００は、撮像部（カラー偏光画像撮影カメラ）５０が撮影したカラー偏光画像を利用してホワイトバランスゲインを算出し、算出したホワイトバランスゲインを利用してホワイトバランス調整処理を実行する。
　光源１０、被写体２０、撮像部（カラー偏光画像撮影カメラ）５０の構成は先に説明した図５と同様の構成であるので簡略化して説明する。
　光源１０の照射光１１のＲＧＢ各色の偏光状態を示す光源ストークスベクトルＳは、図６に示すように、先に説明した図５と同様であり、前述した式（式１１）によって示される。
　被写体２０の反射特性を示すミュラー行列Ｍも図６に示すように、先に説明した図５と同様であり、前述した（式１２ａ）～（式１２ｃ）によって示される。
　被写体２０の１つの点Ｐ対応の観測光（反射光）２２の偏光状態を示すストークスベクトルＳ'は、
　Ｓ'＝ＭＳ
　上記の関係式に従ったストークスベクトルとなる。
　観測光（反射光）２２のＲ（赤），Ｇ（緑），Ｂ（青）各色のストークスベクトルＳ'は、図６に示すように先に説明した図５と同様であり、前述した（式１３ａ）～（式１３ｃ）として表すことができる。
　撮像部（カラー偏光画像撮影カメラ）５０は、観測光（反射光）２２のＲ（赤），Ｇ（緑），Ｂ（青）の偏光状態を示す各色のストークスベクトル、すなわち、
　Ｓ'Ｒ＝（ｓ'０Ｒ，ｓ'１Ｒ，ｓ'２Ｒ）Ｔ
　Ｓ'Ｇ＝（ｓ'０Ｇ，ｓ'１Ｇ，ｓ'２Ｇ）Ｔ
　Ｓ'Ｂ＝（ｓ'０Ｂ，ｓ'１Ｂ，ｓ'２Ｂ）Ｔ
　これらのストークスベクトルを構成するストークスパラメータを取得するための複数のカラー偏光画像を撮影して、撮影した複数のカラー偏光画像を画像処理装置１００に出力する。
　すなわち、図６に示す
　（ａ）カラー偏光画像ａ
　（ｂ）カラー偏光画像ｂ
　（ｃ）カラー偏光画像ｃ
　これらの３種類の画像である。
　画像処理装置１００は、これら３種類の画像を入力して、ホワイトバランスゲイン算出処理を実行する。さらに算出したホワイトバランスゲインを利用して撮影画像のホワイトバランス調整処理を実行する。
　なお、ホワイトバランスゲインは、撮影画像の各色の画素値（Ｒ，Ｇ，Ｂ）に対する乗算パラメータに相当する。
　撮影画像のＧ（緑）の画素値を基準として、Ｇ画素値は変更せず、撮影画像のＲ（赤）の画素値にはゲインｋＲを乗算し、撮影画像のＢ（青）の画素値にはゲインｋＢを乗算することで、ホワイトバランス調整後の補正画素値を算出することができる。
　前述したように、光源色（ＬＲ，ＬＧ，ＬＢ）の影響を解消するためのホワイトバランスゲイン（ｋＲ，１，ｋＢ）と、光源色（ＬＲ，ＬＧ，ＬＢ）との関係式は、以下の関係式となる。
　ホワイトバランスゲイン（ｋＲ，１，ｋＢ）
　＝（（ＬＧ／ＬＲ），１，（ＬＧ／ＬＢ））
　画像処理装置１００によるホワイトバランスゲイン算出処理の詳細について説明する。
　前述のように、画像処理装置１００は、以下のステップＰ～Ｑを実行してホワイトバランスゲイン算出処理を実行する。
　（ステップＰ）関係式生成処理
　「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色」が、「直線偏光度（ＤｏＬＰ）の色（ＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢ）」に等しくなるという関係を利用して、撮影画像から取得可能なストークスパラメータと、未知数である２つのホワイトバランスゲインｋＲ，ｋＢを含む関係式を２つ以上、生成する。撮影画像の異なる画素位置対応の関係式を２つ以上、生成する。
　（ステップＱ）ステップＰで生成した２つ以上の関係式を、連立方程式として解くことでホワイトバランスゲインｋＲ、ｋＢを算出する。
　上記処理ステップＰ，Ｑの説明の前に、まず、「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色」が、「直線偏光度（ＤｏＬＰ）の色（ＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢ）」に等しくなるという関係が成立する理由について説明する。
　なお、「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色」とは、図６に示す観測光（＝反射光）２２の撮影画像（ｉＲ，ｉＧ，ｉＢ）に対してホワイトバランスゲイン（ｋＲ，１，ｋＢ）を適用して生成したホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色である。
　反対色とは色相環において反対の位置にある色である。反対色関係にある２つの色を混合すると無彩色になる。
　「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色（Ｒ，Ｇ，Ｂ）」＝「直線偏光度（ＤｏＬＰ）の色（ＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢ）」
　この関係が成立する理由は、被写体２０における反射によって発生する鏡面偏光と拡散偏光の位相がずれていること、さらに鏡面偏光の強度と、拡散偏光の強度を比較した場合、鏡面偏光の強度が大きい、すなわち、鏡面偏光度＞拡散偏光度となることが理由である。
　この関係が成立する理由ついては、後段で図７以下を参照して説明する。
　以下、この関係が成立するということを前提として、本開示の画像処理装置１００が実行する処理ステップ、すなわち、
　（ステップＰ）関係式生成処理
　「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色」が、「直線偏光度（ＤｏＬＰ）の色（ＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢ）」に等しくなるという関係を利用して、撮影画像から取得可能なストークスパラメータと、未知数である２つのホワイトバランスゲインｋＲ，ｋＢを含む関係式を２つ以上、生成する。（撮影画像の異なる画素位置対応の関係式を２つ以上、生成する。）
　（ステップＱ）ステップＰで生成した２つ以上の関係式を、連立方程式として解くことでホワイトバランスゲインｋＲ、ｋＢを算出する。
　上記処理ステップＰ，Ｑの詳細について説明する。
　まず、画像処理装置１００は、「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色」が、「直線偏光度（ＤｏＬＰ）の色（ＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢ）」に等しくなるという関係を利用して、撮影画像から取得可能なストークスパラメータと、未知数である２つのホワイトバランスゲインｋＲ，ｋＢを含む関係式を２つ以上、生成する。撮影画像の異なる画素位置対応の関係式を２つ以上、生成する。
　前述したように、「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色」とは、図６に示す観測光（＝反射光）２２（ｉＲ，ｉＧ，ｉＢ）の撮影画像（ｉＲ，ｉＧ，ｉＢ）に対して、ホワイトバランスゲイン（ｋＲ，１，ｋＢ）を適用して生成したホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色である。
　「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色（ＲＧＢ）」を構成するＲＧＢの各値（輝度値）は以下の（式３１）によって定義される。
Figure JPOXMLDOC01-appb-M000011
　また、「直線偏光度（ＤｏＬＰ）の色（ＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢ）」とは、図６に示す観測光（＝反射光）２２（ｉＲ，ｉＧ，ｉＢ）に含まれる直線偏光成分の色に相当する。
　「直線偏光度（ＤｏＬＰ）の色（ＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢ）」を構成するＲＧＢの各値（輝度値）は以下の（式３２）によって定義される。
Figure JPOXMLDOC01-appb-M000012
　なお、上記（式３１）、（式３２）は、いずれも正規化（平均＝０、ノルム＝１）処理後のＲＧＢ値の算出式である。（式３１）、（式３２）の分母として示す式が正規化処理のための係数に相当する。
　上記（式３１）によって示される「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色（ＲＧＢ）」が、上記（式３２）によって示される「直線偏光度（ＤｏＬＰ）の色（ＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢ）」に等しくなるという関係式は、以下の（式３３）によって示される。
Figure JPOXMLDOC01-appb-M000013
　なお、上記（式３３）の左辺は、「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色（ＲＧＢ）」を１つにまとめて示した式である。
　上記（式３３）の右辺は、「直線偏光度（ＤｏＬＰ）の色（ＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢ）」を１つにまとめて示した式である。
　上記（式３３）を整理すると、以下の（式３４）のように示すことができる。
Figure JPOXMLDOC01-appb-M000014
　上記（式３４）におけるＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢは、以下の（式３５ａ）～（式３５ｃ）に示すように、撮像部５０が撮影したカラー偏光画像から取得可能なストークスパラメータを用いて算出可能な値である。
Figure JPOXMLDOC01-appb-M000015
　また、上記（式３４）における（ｉＲ，ｉＧ，ｉＢ）は、撮像部５０が撮影した複数のカラー偏光画像から取得可能なストークスパラメータｓ０によって構成される画像の画素値（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）に置き換えることができる。
　前述したように、ストークスパラメータｓ'０は、観測光２２中の無偏光の光強度信号（輝度信号）に相当し、画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）は、観測光（ｉＲ，ｉＧ，ｉＢ）と同様の強度比を有する信号であるからである。
　この結果、上記（式３４）に示す関係式に含まれる未知数は、２つのホワイトバランスゲインｋＲ，ｋＢのみとなる。
　従って、上記（式３４）に示す関係式を２つ以上生成して連立方程式として解けば、２つのホワイトバランスゲインｋＲ，ｋＢを算出することができる。
　すなわち、２つ以上の画素位置について、上記（式３４）に示す関係式を生成することで２つのホワイトバランスゲインｋＲ，ｋＢを算出することができる。
　画像処理装置１００は、これらの処理によって算出したホワイトバランスゲインｋＲ，ｋＢを撮像部５０の撮影画像に適用してホワイトバランス調整処理を実行する。
　なお、前述したように、ホワイトバランスゲイン（ｋＲ，１，ｋＢ）は、光源１０の光源色（ＬＲ，ＬＧ，ＬＢ）を用いて、以下のように示すことができる。
　ホワイトバランスゲイン（ｋＲ，１，ｋＢ）
　＝（（ＬＧ／ＬＲ），１，（ＬＧ／ＬＢ））
　先に説明したように、図６に示す撮像部５０の撮影画像であるカラー偏光画像に基づいて、ＲＧＢ画素値に相当する輝度信号からなる撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）を生成することが可能である。この撮影画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）の画素値に対して、上記処理によって算出したホワイトバランスゲイン（ｋＲ，１，ｋＢ）を乗算することで、ホワイトバランス調整処理が実行されホワイトバランス調整後の画像を生成することができる。
　次に、上記処理の前提とした関係、すなわち、
　「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色（Ｒ，Ｇ，Ｂ）」＝「直線偏光度（ＤｏＬＰ）の色（ＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢ）」
　この関係が成立する理由について、図７以下を参照して説明する。
　前述したように、上記関係が成立する理由は、被写体２０における反射によって発生する鏡面偏光と拡散偏光の位相がずれていること、さらに鏡面偏光の強度と、拡散偏光の強度を比較した場合、鏡面偏光の強度が大きい、すなわち、鏡面偏光度＞拡散偏光度となることが理由である。
　図７以下を参照して具体例について説明する。
　図７は、図７上段（条件１）に示すように、光源１０の照射光１１が白色（Ｒ＝Ｇ＝Ｂ）であり、被写体２０が赤色の場合の観測光１２（ｉＲ，ｉＧ，ｉＢ）の解析処理例を示す図である。
　この（条件１）の設定は、光源１０の照射光１１が白色（Ｒ＝Ｇ＝Ｂ）であるので、撮像部（カメラ）５０の撮影画像は光源色による色変化が発生しない画像となる。すなわち、被写体２０の色を反映したホワイトバランス調整が不要な画像（＝ホワイトバランス調整済み画像）が撮影される。
　図７下段に示す２つのグラフは、観測光（ｉＲ，ｉＧ，ｉＢ）の解析処理データであり、以下の各解析データである。
　（１ａ）観測光の鏡面反射成分と拡散反射成分の偏光角対応強度データ
　（１ｂ）観測光（鏡面反射成分＋拡散反射成分）の偏光角対応強度データ
　いずれのグラフも横軸に偏向角（ｄｅｇ）、縦軸に強度（ｉｎｔｅｎｓｉｔｙ）を示している。
　なお、観測光の鏡面反射成分は、光源の色成分を反映しており、拡散反射成分は被写体の色成分を反映している。
　この図７に示す条件設定は、図７上段（条件１）に示すように、光源１０の照射光１１が白色（Ｒ＝Ｇ＝Ｂ）であり、被写体２０が赤色の設定である。
　従って、「（１ａ）観測光の鏡面反射成分と拡散反射成分の偏光角対応強度データ」中、観測光の鏡面反射成分（ｉｓ）はＲＧＢ共通の１本のグラフとして示されており、拡散反射成分（ｉＲｄ，ｉＧｄ，ｉＢｄ）はＲＧＢ個別の３本のグラフとして示されている。拡散反射成分（ｉＲｄ，ｉＧｄ，ｉＢｄ）中、Ｂ（赤）の拡散反射成分（ｉＲｄ）が、最も大きく、これは被写体の色（赤）を反映している。
　このように、「（１ａ）観測光の鏡面反射成分と拡散反射成分の偏光角対応強度データ」に示すグラフは、観測光（ｉＲ，ｉＧ，ｉＢ）のＲＧＢ各色の偏光角に応じた鏡面反射成分ｉｓ（＝ｉＲｓ＝ｉＧ，＝ｉＢｓ）と、拡散反射成分（ｉＲｄ，ｉＧｄ，ｉＢｄ）の各強度を個別に示したグラフである。
　このグラフにおいて、鏡面反射成分ｉｓ（＝ｉＲｓ＝ｉＧ，＝ｉＢｓ）と、拡散反射成分（ｉＲｄ，ｉＧｄ，ｉＢｄ）の山や谷の形成位置がずれており、鏡面偏光と拡散偏光の位相がずれていることが理解される。さらに鏡面偏光の強度と、拡散偏光の強度を比較した場合、鏡面偏光の強度が大きい、すなわち、鏡面偏光度＞拡散偏光度となることが理解される。
　さらに、「（１ｂ）観測光（鏡面反射成分＋拡散反射成分）の偏光角対応強度データ」に示すグラフは、観測光（ｉＲ，ｉＧ，ｉＢ）のＲＧＢ各色の偏光角に応じた鏡面反射成分と、拡散反射成分を加算したトータル強度を示したグラフである。
　なお、ＲＧＢ各色の偏光角に応じた鏡面反射成分は、（１ａ）のグラフ中の実線データ（ｉｓ）であり、拡散反射成分は、（１ａ）のグラフに示す点線等のＲＧＢ対応の３本のデータ（ｉＲｄ，ｉＧｄ，ｉＢｄ））である。
　すなわち、（１ｂ）のグラフに示すＲ（赤）の強度信号ｉＲは、（１ａ）のグラフに示すｉｓ（＝ｉＲｓ）とｉＲｄの加算値に相当する。
　同様に、Ｇ（緑）の強度信号ｉＧは、（１ａ）のグラフに示すｉｓ（＝ｉＧｓ）とｉＧｄの加算値に相当する。
　同様に、Ｂ（青）の強度信号ｉＢは、（１ａ）のグラフに示すｉｓ（＝ｉＢｓ）とｉＢｄの加算値に相当する。
　撮像部（カメラ）５０の撮影画像は、この「（１ｂ）観測光（鏡面反射成分＋拡散反射成分）」に示すグラフの観測光（ｉＲ，ｉＧ，ｉＢ）強度に応じた色設定がなされることになる。
　「（１ａ）観測光の鏡面反射成分と拡散反射成分」に示すグラフから理解されるように、ＲＧＢ各色の拡散反射成分（ｉＲｄ，ｉＧｄ，ｉＢｄ）の強度を比較すると、Ｒ（赤）の拡散反射成分（ｉＲｄ）が、Ｇ（緑），Ｂ（青）の拡散反射成分（ｉＧｄ，ｉＢｄ）より大きくなっている。
　この結果として、「（１ｂ）観測光（鏡面反射成分＋拡散反射成分）」に示すグラフの観測光（ｉＲ，ｉＧ，ｉＢ）の強度も、Ｒ（赤）の観測光（ｉＲ）が、Ｇ（緑），Ｂ（青）の観測光（ｉＧ，ｉＢ）より大きくなる。
　これは、光源１０の照射光１１が白色（Ｒ＝Ｇ＝Ｂ）であり、被写体２０が赤色であるからであり、この場合、撮像部（カメラ）５０の撮影画像は、この「（１ｂ）観測光（鏡面反射成分＋拡散反射成分）」に示すグラフの観測光（ｉＲ，ｉＧ，ｉＢ）強度に応じた色が設定された画像、すなわち被写体２０の色（赤）を正確に反映した画像となる。
　この図７に示す（条件１）の設定では、光源１０の照射光１１が白色（Ｒ＝Ｇ＝Ｂ）であるので、撮像部（カメラ）５０の撮影画像は光源色による色変化が発生しない画像となり、被写体２０の色を反映したホワイトバランス調整が不要な画像（＝ホワイトバランス調整済み画像）が撮影される。
　なお、図７「（１ｂ）観測光（鏡面反射成分＋拡散反射成分）」に示すグラフにおいて、強度（ｉｎｔｅｎｓｉｔｙ）の振幅は偏光度（ＤｏＬＰ）の大きさを反映している。すなわち、強度（ｉｎｔｅｎｓｉｔｙ）の振幅が大きいほど偏光度（ＤｏＬＰ）が大きい。
　この図７に示す（条件１）、すなわち、光源１０の照射光１１が白色（Ｒ＝Ｇ＝Ｂ）であり、被写体２０が赤色の設定において観測される観測光（ｉＲ，ｉＧ，ｉＢ）と、ホワイトバランスゲインｋＲ，ｋＢを用いて、先に説明した（式３１）と（式３２）の各式に従って各ＲＧＢ値を算出する。
　すなわち、
　（式３１）＝「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色（Ｒ，Ｇ，Ｂ）」
　（式３２）＝「直線偏光度（ＤｏＬＰ）の色（ＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢ）」
　これらの各ＲＧＢ値を算出する。
　なお、この図７に示す（条件１）では、光源１０の照射光１１が白色（Ｒ＝Ｇ＝Ｂ）であり、ホワイトバランス調整不要な画像が撮影される設定であるので、ホワイトバランスゲインｋＲ，ｋＢはいずれもｋＲ＝ｋＢ＝１として算出する。
　この算出結果は、
　（式３１）＝「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色（Ｒ，Ｇ，Ｂ）」
　＝（－０．８１，０．２９，０．５１）
　（式３２）＝「直線偏光度（ＤｏＬＰ）の色（ＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢ）」
　＝（－０．８１，０．３２，０．４９）
　となった。
　上記結果から、（式３１）≒（式３２）、すなわち、
　「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色（Ｒ，Ｇ，Ｂ）」
　≒「直線偏光度（ＤｏＬＰ）の色（ＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢ）」が成立することが証明される。
　図８は、図７に示す（条件１）と異なる条件設定、すなわち、光源１０が白（Ｒ＝Ｇ＝Ｂ）でなく、撮像部５０の撮影画像が被写体２０の色を高精度に反映した画像（＝ホワイトバランス調整後画像）とならない場合の例である。
　図８は、図８上段（条件２）に示すように、光源１０の照射光１１が緑色（Ｇ）であり、被写体２０が赤色の場合の観測光１２（ｉＲ，ｉＧ，ｉＢ）の解析処理例を示している。
　この（条件２）の設定は、光源１０の照射光１１が緑色（Ｇ）であるので、撮像部（カメラ）５０の撮影画像は光源色による色変化が発生する画像となる。すなわち、被写体２０の色を反映したホワイトバランス調整が必要な画像が撮影される。
　図８下段には、図７と同様、以下の各解析データを示している。
　（２ａ）観測光の鏡面反射成分と拡散反射成分の偏光角対応強度データ
　（２ｂ）観測光（鏡面反射成分＋拡散反射成分）の偏光角対応強度データ
　いずれのグラフも横軸に偏向角（ｄｅｇ）、縦軸に強度（ｉｎｔｅｎｓｉｔｙ）を示している。
　「（２ａ）観測光の鏡面反射成分と拡散反射成分」に示すグラフは、観測光（ｉＲ，ｉＧ，ｉＢ）のＲＧＢ各色の偏光角に応じた鏡面反射成分（ｉＲｓ，ｉＧ，ｉＢｓ）と、拡散反射成分（ｉＲｄ，ｉＧｄ，ｉＢｄ）の各強度を個別に示したグラフである。
　本例では、図７に示す例と異なり、ＲＧＢ各色の偏光角に応じた鏡面反射成分（ｉＲｓ，ｉＧ，ｉＢｓ）はＲＧＢ各色で異なる。
　これは、前述したように観測光の鏡面反射成分は、光源の色成分を反映しており、拡散反射成分は被写体の色成分を反映しているからであり、この図８に示す条件設定は、図８上段（条件２）に示すように、光源１０の照射光１１が白色（Ｒ＝Ｇ＝Ｂ）でなく、緑色（Ｇ）であるので、光源の色成分を反映した鏡面反射成分（ｉＲｓ，ｉＧ，ｉＢｓ）はＲＧＢ各色で異なる。
　「（２ｂ）観測光（鏡面反射成分＋拡散反射成分）」に示すグラフは、観測光（ｉＲ，ｉＧ，ｉＢ）のＲＧＢ各色の偏光角に応じた鏡面反射成分と拡散反射成分を加算したトータル強度を示したグラフである。
　撮像部（カメラ）５０の撮影画像は、この「（２ｂ）観測光（鏡面反射成分＋拡散反射成分）」に示すグラフの観測光（ｉＲ，ｉＧ，ｉＢ）強度に応じた色設定がなされることになる。
　（２ｂ）のグラフに示すＲ（赤）の強度信号ｉＲは、（２ａ）のグラフに示すｉｓ（＝ｉＲｓ）とｉＲｄの加算値に相当する。
　同様に、Ｇ（緑）の強度信号ｉＧは、（２ａ）のグラフに示すｉｓ（＝ｉＧｓ）とｉＧｄの加算値に相当する。
　同様に、Ｂ（青）の強度信号ｉＢは、（２ａ）のグラフに示すｉｓ（＝ｉＢｓ）とｉＢｄの加算値に相当する。
　「（２ａ）観測光の鏡面反射成分と拡散反射成分」に示すグラフにおいて、ＲＧＢ各色の鏡面反射成分（ｉＲｓ，ｉＧ，ｉＢｓ）の強度を比較すると、Ｂ（青）の鏡面反射成分（ｉＢｓ）が、Ｇ（緑）、Ｒ（赤）の鏡面反射成分（ｉＧｓ，ｉＲｓ）より大きくなっている。
　この結果として、「（２ｂ）観測光（鏡面反射成分＋拡散反射成分）」に示すグラフの観測光（ｉＲ，ｉＧ，ｉＢ）の強度も、Ｂ（青）の観測光（ｉＢ）が、Ｇ（緑），Ｒ（赤）の観測光（ｉＧ，ｉＲ）より大きくなっている。
　これは、光源１０の照射光１１が緑色（Ｇ）であり、被写体２０が赤色であることの結果であり、この場合、撮像部（カメラ）５０の撮影画像は、この「（２ｂ）観測光（鏡面反射成分＋拡散反射成分）」に示すグラフの観測光（ｉＲ，ｉＧ，ｉＢ）強度に応じた色が設定された画像、すなわち被写体２０の色（赤）を正確に反映していない画像となる。
　この図８に示す（条件２）の設定では、光源１０の照射光１１が緑色（Ｇ）であるので、撮像部（カメラ）５０の撮影画像は光源色による色変化が発生する画像となり、被写体２０の色を反映していないホワイトバランス調整が必要となる画像が撮影される。
　この図８に示す（条件２）、すなわち、光源１０の照射光１１が緑色（Ｇ）であり、被写体２０が赤色の設定において観測される観測光（ｉＲ，ｉＧ，ｉＢ）と、ホワイトバランスゲインｋＲ，ｋＢを用いて、先に説明した（式３１）と（式３２）の各式に従って各ＲＧＢ値を算出する。
　すなわち、
　（式３１）＝「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色（Ｒ，Ｇ，Ｂ）」
　（式３２）＝「直線偏光度（ＤｏＬＰ）の色（ＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢ）」
　これらの各ＲＧＢ値を算出する。
　なお、この図８に示す（条件２）では、光源１０の照射光１１が白色（Ｒ＝Ｇ＝Ｂ）であり、ホワイトバランス調整が必要な画像が撮影される設定であるので、ホワイトバランスゲインｋＲ，ｋＢは、予め算出した値を用いる。
　この算出結果は、
　（式３１）＝「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色（Ｒ，Ｇ，Ｂ）」
　＝（－０．８１，０．２９，０．５１）
　（式３２）＝「直線偏光度（ＤｏＬＰ）の色（ＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢ）」
　＝（０．２８，０．５２，－０．８０）
　となった。
　上記結果から、（式３１）≠（式３２）、すなわち、
　「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色（Ｒ，Ｇ，Ｂ）」
　≠「直線偏光度（ＤｏＬＰ）の色（ＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢ）」となる。
　図７、図８を参照して説明したように、照明光がホワイトバランス調整の不要な白（Ｒ＝Ｇ＝Ｂ）である場合、
　「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色（Ｒ，Ｇ，Ｂ）」
　＝「直線偏光度（ＤｏＬＰ）の色（ＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢ）」、
　上記関係式が成立する。
　すなわち、先に説明した（式３３）、（式３４）に示す関係式を用いることで、ホワイトバランスゲインｋＲ，ｋＢを算出することができる。
　このように前述の（式３４）に示す関係式を２つ以上生成して連立方程式として解けば、２つのホワイトバランスゲインｋＲ，ｋＢを算出することができる。
　　［４．本開示の画像処理装置の構成例について］
　次に、本開示の画像処理装置の構成例について説明する。
　図９は、本開示の画像処理装置１００の利用例を示す図である。
　光源１０から照射光が照射され、被写体２０において反射された反射光である観測光２２が撮像部（カラー偏光画像撮影カメラ）５０に入力される。
　撮像部（カラー偏光画像撮影カメラ）５０は、複数の異なるカラー偏光画像を撮影し、撮影した複数のカラー偏光画像が画像処理装置１００に入力される。
　画像処理装置１００は、撮像部（カラー偏光画像撮影カメラ）５０から入力した複数のカラー偏光画像を用いて、ホワイトバランスゲインを算出し、算出したホワイトバランスゲインを利用してホワイトバランス調整処理を実行する。
　図１０は、撮像部（カラー偏光画像撮影カメラ）５０と、画像処理装置１００によって構成される撮像システム８０の構成例を示す図である。
　撮像部（カラー偏光画像撮影カメラ）５０は、偏光フィルタ（偏光素子）を用いて偏光画像を撮影する。
　先に図４～図６を参照して説明したように、撮像部（カラー偏光画像撮影カメラ）５０は、被写体２０の反射光からなる観測光２２の３種類のストークスパラメータｓ'０～ｓ'２を取得するため、３種類の画像（カラー偏光偏光画像）を撮影する。
　図４～図６に示す以下の３種類の画像である。
　（ａ）カラー偏光画像ａ
　（ｂ）カラー偏光画像ｂ
　（ｃ）カラー偏光画像ｃ
　図１１以下を参照して撮像部（カラー偏光画像撮影カメラ）５０の複数の具体的構成例について説明する。
　図１１は、撮像部５０を複数の撮像部５０ａ～５０ｃによって構成した例である。
　撮像部５０ａ～５０ｃの各々は、偏光方向が異なる偏光フィルタａ，５１ａ～ｃ，５１ｃを有する。
　偏光フィルタａ，５１ａ～ｃ，５１ｃを介した異なる偏光画像がイメージセンサａ，５２ａ～ｃ，５２ｃに撮影される。
　３つの撮像部５０ａ～５０ｃが撮影した３枚のカラー偏光画像ａ～ｃが画像処理装置１００に入力される。
　図１２は、一つの撮像部５０を用いた構成例である。撮像部５０は、回転可能な構成を持つ回転可能偏光フィルタ５１ｒを有する。
　回転可能偏光フィルタ５１ｒを回転させることで、複数の異なる偏光画像を撮影することができる。
　図１３は、イメージセンサとして偏光子積層センサを用いた構成である。
　撮像部５０の内部のイメージセンサは、各画素対応の偏光子（偏光フィルタ）が対応付けられた偏光子積層センサ５２ｐとして構成されている。偏光子積層センサ５２ｐの各画素には偏光子（偏光フィルタ）を介した光（偏光）が入力される。
　具体的には、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）等のイメージセンサに、複数の偏光方向の偏光子（偏光フィルタ）を対応付けて配置する。
　例えば、図１３左下の（ａ）偏光子積層センサの偏光方向例に示すように、ＲＧＢ各４画素単位で設定された画素各々に４つの異なる偏光方向（ａ，ｂ，ｃ，ｄ）の偏光子を対応付ける。
　これらの４画素にはそれぞれ異なる偏光方向の偏光画像が撮影される。
　この構成では１回の撮影処理で複数の偏光画像を取得でき、高速処理が可能となる。
　なお、偏光子（偏光フィルタ）は、被写体光から直線偏光光を取り出せればよく、例えばワイヤーグリッドやフォトニック液晶等を用いることが可能である。なお、カラー偏光画像を取得する場合、センサの入射面側にカラーフィルタが設けられる。
　なお、例えば図１１に示すような複数の撮像部ａ，５０ａ～ｃ，５０ｃを用いる構成では、被写体に対する視点位置がずれることになる。
　被写体までの距離に対して撮像部ａ，５０ａ～ｃ，５０ｃの位置間隔が無視できる程度に短ければ、偏光方向が異なる複数の偏光画像では視差を無視することができる。この場合は、偏光方向が異なる偏光画像の輝度を平均することで、無偏光の通常輝度画像と同等の画像を取得することができる。
　一方、視差を無視することができない場合は、偏光方向が異なる偏光画像を視差量に応じて位置合わせして、位置合わせ後の偏光画像の輝度を平均すれば無偏光の通常輝度画像と同等の画像を取得することができる。
　また、図１３に示す構成の場合には、画素毎に偏光方向が異なる偏光画像の輝度を平均することで、無偏光である通常輝度画像と同等の画像を取得できる。
　これらの処理によって取得される無偏光である通常輝度画像と同等の画像は、例えば図３～図６に示す観測光２２中のＲＧＢ各色対応の無偏光の光強度信号（輝度信号）に相当するストークスパラメータ（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）によって構成される画像に相当し、画像処理装置１００は、この無偏光の通常輝度画像をホワイトバランス調整対象画像としてホワイトバランス調整処理を行うことで、被写体の色を高精度に反映したＲＧＢ画像を取得することができる。
　なお、ホワイトバランス調整対象画像は、このような無偏光の通常輝度画像に限られない。画像処理装置１００は、撮像部５０の取得した偏光画像を調整対象画像としてホワイトバランス調整処理を実行し、ホワイトバランス調整偏光画像を生成してもよい。
　先に図１３を参照して説明した各画素対応の偏光子（偏光フィルタ）が対応付けられた偏光子積層センサ５２ｐを用いた構成では、画素と偏光子（偏光フィルタ）の組み合わせの様々なパリエーションが可能である。
　図１４～図１６は、複数の偏光方向の画素構成例を示す図である。
　各図に示す構成が水平方向及び垂直方向に繰り返されている。図１４の（ａ）、（ｂ）は偏光画素の配置を例示している。なお、図１４の（ａ）は２×２画素の偏光画素ブロックを、例えば偏光方向（偏光角）が０度、４５度、９０度、１３５度の偏光画素で構成した場合を例示している。
　また、図１４の（ｂ）は２×２画素を偏光方向の単位として、４×４画素の偏光画素ブロックを、例えば偏光方向が０度、４５度、９０度、１３５度の偏光画素で構成した場合を例示している。なお、偏光フィルタの偏光成分単位が図１４の（ｂ）に示すように２×２画素である場合、偏光成分単位毎に得られた偏光成分に対して、隣接する異なる偏光成分単位の領域からの偏光成分の漏れ込み分の割合は、図１４の（ａ）に示す１×１画素に比べて少なくなる。
　また、偏光フィルタがワイヤーグリッドを用いている場合、格子の方向（ワイヤー方向）に対して電場成分が垂直方向である偏光光が透過されて、透過率はワイヤーが長いほど高くなる。このため、偏光成分単位が２×２画素である場合は、１×１画素に比べて透過率が高くなる。このため、偏光成分単位が２×２画素である場合は１×１画素に比べて透過率が高くなり、消光比を良くすることができる。
　図１４の（ｃ）乃至（ｇ）はカラー偏光画像を取得する場合の画素構成を例示している。図１４の（ｃ）は、図１４の（ａ）に示す２×２画素の偏光画素ブロックを１つの色単位として、三原色画素（赤色画素と緑色画素と青色画素）をベイヤ配列とした場合を示している。
　図１４の（ｄ）は、図１４の（ｂ）に示す２×２画素の同一偏光方向の画素ブロック毎に、三原色画素をベイヤ配列で設けた場合を例示している。
　図１４の（ｅ）は、２×２画素の同一偏光方向の画素ブロック毎に、三原色画素をベイヤ配列で設けて、偏光方向が異なる２×２画素のブロックを同一色の画素とした場合を例示している。
　図１４の（ｆ）は、２×２画素の同一偏光方向でベイヤ配列の画素ブロックについて、水平方向に隣接する画素ブロックとの偏光方向の位相差が９０度で、垂直方向に隣接する画素ブロックとの偏光方向の位相差が±４５度である場合を示している。
　図１４の（ｇ）は、２×２画素の同一偏光方向でベイヤ配列の画素ブロックについて、垂直方向に隣接する画素ブロックとの偏光方向の位相差が９０度で、水平方向に隣接する画素ブロックとの偏光方向の位相差が±４５度である場合を示している。
　図１５は三原色画素と白色画素を設けた場合を例示している。例えば、図１５の（ａ）は、図１４の（ｂ）に示す２×２画素の同一偏光方向でベイヤ配列の画素ブロックにおいて１つの緑色画素を白色画素とした場合を例示している。
　図１５の（ｂ）は、図１４の（ｃ）に示す２×２画素の同一偏光方向でベイヤ配列の画素ブロックにおいて１つの緑色画素を白色画素として、偏光方向が異なる２×２画素のブロックを同一色の画素とした場合を例示している。
　このように白色画素を設けることで、特許文献「国際公開第２０１６／１３６０８５号」で開示されているように、法線情報の生成におけるダイナミックレンジを、白色画素を設けていない場合に比べて拡大できる。また、白色画素はＳ／Ｎ比が良好であることから、色差の算出等においてノイズの影響を受けにくくなる。
　図１６は、無偏光画素を設けた場合を例示しており、偏光方向と色画素の表示は、図１４と同様である。
　図１６の（ａ）は、４つ異なる偏光方向である２×２画素の画素ブロックと、無偏光画素からなる２×２画素の画素ブロックをそれぞれ２つ用いて、４×４画素の画素ブロックを構成して、偏光画素の画素ブロックは緑色画素、無偏光画素の画素ブロックは赤色画素または青色画素として、同一色の画素ブロック（２×２画素）をベイヤ配列として設けた場合を例示している。
　図１６の（ｂ）は、２×２画素の画素ブロック内に４５度の位相差を有する偏光画素を斜め方向に設けて、偏光画素の偏光方向は４５度の位相差を有する２方向とした場合を例示しており、２つの異なる偏光方向の偏光画像と２つの無偏光画素からなる画素ブロックを色単位として、三原色の画素ブロックをベイヤ配列として設けた場合を例示している。
　図１６の（ｃ）は、２×２画素の画素ブロックを色単位として、三原色の画素ブロックをベイヤ配列として設けて、緑色画素の画素ブロックに２つの異なる偏光方向の偏光画素を設けた場合を例示している。
　図１６の（ｄ）は、偏光画素が図１６の（ｂ）と同様に設けられており、２つの異なる偏光方向の偏光画像と２つの無偏光画素からなる画素ブロックは３つの緑色画素と、１つの無偏光画素を赤色画素として、隣接ずる画素ブロックでは１つの無偏光画素を青色画素とした場合を例示している。
　図１６の（ｅ）（ｆ）は、無偏光画素を色画素として、４×４画素の画素ブロックに三原色の画素を設けた場合を示している。また、図１６の（ｇ），（ｈ）は、無偏光画素の一部を色画素として、４×４画素の画素ブロックに三原色の画素を設けた場合を示している。
　なお、図１４～図１６に示す構成は例示であって、他の構成を用いてもよい。また、夜間等でも高感度な撮像を可能するため、赤外（ＩＲ）画素を混在して繰り返した構成であってもよい。
　図１７は、偏光画素ブロックを間引きして設けた場合を例示している。図１７の（ａ）は８×８画素のブロック毎に４×４画素の偏光画素ブロックを繰り返し設けた場合を例示している。この場合、偏光方向と色が等しい画素は水平方向および垂直方向のそれぞれで８画素周期となる。
　図１７の（ｂ）は１６×１６画素のブロック毎に４×４画素の偏光画素ブロックを繰り返し設けた場合を例示している。この場合、偏光方向と色が等しい画素は水平方向および垂直方向のそれぞれで１６画素周期となる。なお、偏光画素ブロックは、偏光方向と色が等しい画素は水平方向および垂直方向のそれぞれで３２画素周期や６４画素周期となるように設けてもよい。さらに、偏光方向と色が等しい画素の繰り返し周期は、水平方向と垂直方向で異なる周期としてもよく、イメージセンサの中央部と端部で異なる周期としてもよい。
　なお、カラー偏光画像を取得する撮像部（カラー偏光画像撮影カメラ）５０は、上述の構成に限られるものではなく、ホワイトバランスゲイン算出処理に用いるストークスパラメータ等の偏光情報が得られるカラー偏光画像を取得できれば他の構成であってもよい。
　また、画像処理装置１００で用いるカラー偏光画像は、撮像部（カラー偏光画像撮影カメラ）５０から画像処理装置１００に出力する場合に限られない。例えば撮像部（カラー偏光画像撮影カメラ）５０等で生成されたカラー偏光画像が記録媒体に記録されている場合、記録媒体に記録されたカラー偏光画像を読み出して画像処理装置１００に出力する構成であってもよい。
　図１０に戻り、画像処理装置１００の構成について説明する。
　画像処理装置１００は、偏光情報取得部１０１、ホワイトバランスゲイン算出部１０２、およびホワイトバランス調整部１０３を有している。
　画像処理装置１００の偏光情報取得部１０１は、撮像部（カラー偏光画像撮影カメラ）５０で取得されたカラー偏光画像を用いて、ホワイトバランスゲイン算出に適用する偏光情報を取得する。
　偏光情報取得部１０１は、撮像部（カラー偏光画像撮影カメラ）５０から、例えば複数の異なる偏光画像を入力する。
　具体的には、例えば先に図４～図６を参照して説明した以下の３種類の画像である。
　（ａ）カラー偏光画像ａ
　（ｂ）カラー偏光画像ｂ
　（ｃ）カラー偏光画像ｃ
　偏光情報取得部１０１は、これらの画像から、ホワイトバランスゲイン算出処理に利用する偏光情報を取得する。具体的には、ＲＧＢ各色対応のストークスパラメータや、ストークスパラメータを用いて算出されるＲＧＢ各色対応の直線偏光度（ＤｏＬＰ）の算出処理などを行う。
　偏光情報取得部１０１が取得した偏光情報は、ホワイトバランスゲイン算出部１０２に出力される。
　ホワイトバランスゲイン算出部１０２は、撮像部（カラー偏光画像撮影カメラ）５０で取得されたカラー偏光画像と、偏光情報取得部１０１が取得した偏光情報を利用してホワイトバランス調整に適用するためのホワイトバランスゲインを算出する。
　例えば、撮影画像のＲ（赤）画素値に乗算するホワイトバランスゲインｋＲや、撮影画像のＢ（青）画素値に乗算するホワイトバランスゲインｋＢを算出する。
　ホワイトバランスゲイン（ｋＲ，１，ｋＢ）の各要素は、撮影画像の各色の画素値（Ｒ，Ｇ，Ｂ）に対する乗算パラメータに相当する。
　撮影画像のＧ（緑）の画素値を基準として、Ｇ画素値は変更せず、撮影画像のＲ（赤）の画素値にはホワイトバランスゲインｋＲを乗算し、撮影画像のＢ（青）の画素値にはホワイトバランスゲインｋＢを乗算することで、ホワイトバランス調整後の補正画像を生成することができる。
　ホワイトバランスゲイン算出部１０２が算出したホワイトバランスゲインは、ホワイトバランス調整部１０３へ出力される。
　ホワイトバランス調整部１０３は、撮像部（カラー偏光画像撮影カメラ）５０で取得されたカラー画像に対するホワイトバランス調整処理を実行する。
　例えばカラー画像のＲ（赤）の画素値にホワイトバランスゲインｋＲを乗算し、Ｂ（青）の画素値にホワイトバランスゲインｋＢを乗算することで、ホワイトバランス調整後の補正画像を生成する。
　ホワイトバランス調整部１０３において生成されたホワイトバランス調整画像は外部機器、例えば表示装置や記録装置等へ出力する。
　　［５．本開示の画像処理装置の実行する処理のシーケンスについて］
　次に、本開示の画像処理装置の実行する処理のシーケンスについて説明する。
　図１８を参照して本開示の画像処理装置１００の実行する処理のシーケンスについて説明する。
　なお、本開示の画像処理装置１００は、例えばＣＰＵ等のプログラム実行機能を持ち、図１８以下に示すフローチャートに従った処理は、画像処理装置１００内の記憶部に格納されたプログラムに従って実行することが可能である。
　以下、図１８に示すフローチャートの各ステップの処理について説明する。
　　（ステップＳ２０１）
　まず、画像処理装置１００は、ステップＳ２０１において、カラー偏光画像を入力する。
　図１０に示す撮像部（カラー偏光画像撮影カメラ）５０で撮影されたカラー偏光画像を入力する。
　具体的には、例えば、先に図４～図６を参照して説明した以下の３種類のカラー偏光画像を入力する。
　（ａ）カラー偏光画像ａ
　（ｂ）カラー偏光画像ｂ
　（ｃ）カラー偏光画像ｃ
　　（ステップＳ２０２）
　次に、画像処理装置１００は、ステップＳ２０２において、ステップＳ２０１で入力したカラー偏光画像を用いて、ホワイトバランスゲイン算出に適用する偏光情報を取得する。
　この処理は、図１０に示す画像処理装置１００の偏光情報取得部１０１が実行する処理である。
　偏光情報取得部１０１は、撮像部（カラー偏光画像撮影カメラ）５０から入力したカラー偏光画像から、ホワイトバランスゲイン算出処理に利用する偏光情報を取得する。
　具体的には、ＲＧＢ各色対応のストークスパラメータや、ストークスパラメータを用いて算出されるＲＧＢ各色対応の直線偏光度（ＤｏＬＰ）の算出処理などを行う。
　偏光情報取得部１０１は、撮像部（カラー偏光画像撮影カメラ）５０から入力したカラー偏光画像から、例えば以下のストークスパラメータ、すなわち、
　（ａ）観測光中のＲＧＢ各色対応の無偏光の光強度信号（輝度信号）に相当するストークスパラメータ（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）、
　（ｂ）観測光中のＲＧＢ各色対応の水平垂直直線偏光成分の差分信号に相当するストークスパラメータ（ｓ'１Ｒ，ｓ'１Ｇ，ｓ'１Ｂ）、
　（ｃ）観測光中のＲＧＢ各色対応の４５度直線偏光成分の差分信号に相当するストークスパラメータ（ｓ'２Ｒ，ｓ'２Ｇ，ｓ'２Ｂ）、
　これら３種類のストークスパラメータを取得する。
　さらに、取得したストークスパラメータを用いて、ＲＧＢ各色対応の直線偏光度（ＤｏＬＰ）を算出する。
　なお、前述したように、直線偏光度（ＤｏＬＰ）は、観測光（被写体反射光）に含まれる直線偏光の割合（％）である。
　　（ステップＳ２０３）
　次に、画像処理装置１００は、ステップＳ２０３において、ステップＳ２０２で取得された偏光情報を用いてホライトバランスゲインを算出する。
　この処理は、図１０に示す画像処理装置１００のホワイトバランスゲイン算出部１０２が実行する処理である。
　ホワイトバランスゲイン算出部１０２は、撮影画像の画素値を被写体の本来の色に補正するための画素値調整用パラメータであるホワイトバランスゲインを算出する。
　ホワイトバランスゲイン算出部１０２は、撮像部（カラー偏光画像撮影カメラ）５０で取得されたカラー偏光画像と、偏光情報取得部１０１が取得した偏光情報を利用してホワイトバランス調整に適用するためのホワイトバランスゲインを算出する。
　例えば、撮影画像のＲ（赤）画素値に乗算するホワイトバランスゲインｋＲや、撮影画像のＢ（青）画素値に乗算するホワイトバランスゲインｋＢを算出する。
　ホワイトバランスゲイン（ｋＲ，１，ｋＢ）の各要素は、撮影画像の各色の画素値（Ｒ，Ｇ，Ｂ）に対する乗算パラメータに相当する。
　撮影画像のＧ（緑）の画素値を基準として、Ｇ画素値は変更せず、撮影画像のＲ（赤）の画素値にはホワイトバランスゲインｋＲを乗算し、撮影画像のＢ（青）の画素値にはホワイトバランスゲインｋＢを乗算することで、ホワイトバランス調整後の補正画像を生成することができる。
　このステップＳ２０３におけるホワイトバランスゲイン算出処理は、先に図５、図６を参照して説明した以下の２つの処理例のいずれかを適用して実行する。
　Ａ．ホワイトバランスゲイン算出処理例１（図５）
　Ｂ．ホワイトバランスゲイン算出処理例２（図６）
　上記２つのホワイトバランスゲイン算出処理例の詳細シーケンスについては後段で図１９、図２０に示すフローチャートを参照して説明する。
　　（ステップＳ２０４）
　最後に、画像処理装置１００は、ステップＳ２０４において、ステップＳ２０３で算出したホワイトバランスゲインを適用したホワイトバランス調整処理を実行する。
　この処理は、図１０に示す画像処理装置１００のホワイトバランス調整部１０３が実行する処理である。
　ホワイトバランス調整部１０３は、撮像部（カラー偏光画像撮影カメラ）５０で取得された撮影画像に対するホワイトバランス調整処理を実行する。
　ホワイトバランス調整部１０３は、例えば撮影画像のＲ（赤）の画素値に対して、ステップＳ２０３で算出したホワイトバランスゲインｋＲを乗算し、Ｂ（青）の画素値に対して、ホワイトバランスゲインｋＢを乗算することで、ホワイトバランス調整後の補正画像を生成する。
　ホワイトバランス調整部１０３において生成されたホワイトバランス調整画像は外部機器、例えば表示装置や記録装置等へ出力する。
　次にステップＳ２０３におけるホワイトバランスゲイン算出処理の詳細シーケンスについて、説明する。
　前述したように、ステップＳ２０３におけるホワイトバランスゲイン算出処理は、先に図５、図６を参照して説明した以下の２つの処理例のいずれかを適用して実行される。
　Ａ．ホワイトバランスゲイン算出処理例１（図５）
　Ｂ．ホワイトバランスゲイン算出処理例２（図６）
　まず、図１９に示すフローチャートを参照して、
　Ａ．ホワイトバランスゲイン算出処理例１（図５）
　の詳細シーケンスについて説明する。図１９に示すフローの各ステップの処理について説明する。
　なお、図１９に示すフローのステップＳ２２１～Ｓ２２２の処理は、図１０に示す画像処理装置１００のホワイトバランスゲイン算出部１０２が実行する処理である。
　　（ステップＳ２２１）
　ホワイトバランスゲイン算出部１０２は、ステップＳ２２１において、撮像部（カラー偏光画像撮影カメラ）５０で取得された撮影画像から、異なる２色（ＲとＧ、ＢとＧ）の直線偏光度（ＤｏＬＰ）が一致する画素を検出する。
　なお、検出画素は、被写体の２色（ＲとＧ、ＢとＧ）の反射率が一致し、撮影画像の色変化が光源色（ＬＲ，ＬＧ，ＬＢ）の影響のみによって発生する画素となる。
　先に図５を参照して説明したように、例えばＲ（赤）の反射率ｒＲと、Ｇ（緑）の反射率ｒＧが一致する画素位置、すなわち、
　ｒＲ＝ｒＧ
　が成立する画素位置では、観測光（反射光）２２中のＲ（赤）とＧ（緑）の直線偏光度（ＤｏＬＰ）が一致する。すなわち、
　（ＤｏＬＰＲ）＝（ＤｏＬＰＧ）
　上記関係式が成立する。
　このように、Ｒ（赤）の反射率ｒＲと、Ｇ（緑）の反射率ｒＧが一致、すなわち、
　ｒＲ＝ｒＧ
　が成立する画素位置を検出するために、観測光（反射光）２２中のＲ（赤）の直線偏光度（ＤｏＬＰＲ）とＧ（緑）の直線偏光度（ＤｏＬＰＧ）が一致する画素位置を検出する。
　同様に、Ｂ（青）の反射率ｒＢと、Ｇ（緑）の反射率ｒＧが一致、すなわち、
　ｒＢ＝ｒＧ
　が成立する画素位置を検出するために、観測光（反射光）２２中のＢ（青）の直線偏光度（ＤｏＬＰＢ）とＧ（緑）の直線偏光度（ＤｏＬＰＧ）が一致する画素位置を検出する。
　　（ステップＳ２２２）
　次に、ホワイトバランスゲイン算出部１０２は、ステップＳ２２２において、検出画素の２色（ＲとＧ、ＢとＧ）の画素値に基づいて、ホワイトバランスゲインｋＲ，ｋＢを算出する。
　先に、図５を参照して説明したように、Ｒ（赤）の反射率ｒＲと、Ｇ（緑）の反射率ｒＧが一致、すなわち、
　ｒＲ＝ｒＧが成立する画素位置では、
　観測光（ｉＲ，ｉＧ，ｉＢ）
　＝（ＬＲｒＲ，ＬＧｒＧ，ＬＢｒＢ）
　＝（ＬＲｒＧ，ＬＧｒＧ，ＬＢｒＢ）
　上記式が成立し、この画素位置のＲ画素値（ＬＲｒＧ）と、Ｇ画素値（＝ＬＧｒＧ）から、
　Ｒ（赤）の画素値（強度）の補正に適用するホワイトバランスゲインｋＲ、すなわち、
　ｋＲ＝（ＬＧ／ＬＲ）
　を算出することができる。
　同様に、Ｂ（青）の反射率ｒＢと、Ｇ（緑）の反射率ｒＧが一致、すなわち、
　ｒＢ＝ｒＧが成立する画素位置では、前述したように、
　観測光（ｉＲ，ｉＧ，ｉＢ）
　＝（ＬＲｒＲ，ＬＧｒＧ，ＬＢｒＢ）
　＝（ＬＲｒＲ，ＬＧｒＧ，ＬＢｒＧ）
　上記式が成立し、この画素位置のＢ画素値（ＬＢｒＧ）と、Ｇ画素値（＝ＬＧｒＧ）から、
　Ｇ（青）の画素値（強度）の補正に適用するホワイトバランスゲインｋＢ、すなわち、
　ｋＢ＝（ＬＧ／ＬＢ）
　を算出することができる。
　前述したように、ホワイトバランスゲイン（ｋＲ，１，ｋＢ）は、光源１０の光源色（ＬＲ，ＬＧ，ＬＢ）を用いて、以下のように示すことができる。
　ホワイトバランスゲイン（ｋＲ，１，ｋＢ）
　＝（（ＬＧ／ＬＲ），１，（ＬＧ／ＬＢ））
　撮像部５０から入力する複数のカラー偏光画像から取得される画像（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）は、ＲＧＢ画素値に相当する輝度信号からなる画素値（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）を有しており、この画素値に対して、算出したホワイトバランスゲイン（ｋＲ，１，ｋＢ）を乗算することで、ホワイトバランス調整処理が実行されホワイトバランス調整後の画像を生成することができる。
　次に、図２０に示すフローチャートを参照して、
　「Ｂ．ホワイトバランスゲイン算出処理例２」
　の詳細シーケンスについて説明する。
　この「Ｂ．ホワイトバランスゲイン算出処理例２」は、先に図６を参照して説明したホワイトバランスゲイン算出処理である。
　なお、図２０に示すフローのステップＳ２４１～Ｓ２４２の処理は、図１０に示す画像処理装置１００のホワイトバランスゲイン算出部１０２が実行する処理である。
　　（ステップＳ２４１）
　ホワイトバランスゲイン算出部１０２は、ステップＳ２４１において、以下の処理を実行する。
　「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色」が、「直線偏光度（ＤｏＬＰ）の色（ＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢ）」に等しくなるという関係を利用して、撮影画像から取得可能なストークスパラメータと、未知数である２つのホワイトバランスゲインｋＲ，ｋＢを含む関係式を２つ以上、生成する。撮影画像の異なる画素位置対応の関係式を２つ以上、生成する。
　この関係式のベースとなる関係式は、先に図６を参照して説明した関係式（式３３）である。関係式（式３３）を整理することで、未知数として２つのホワイトバランスゲインｋＲ，ｋＢを含む関係式（式３４）が導かれる。
　前述したように、（式３４）に含まれるパラメータ、例えばＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢは、先に説明した（式３５）に示すように、撮像部５０が撮影したカラー偏光画像から取得可能なストークスパラメータで算出可能である。
　（式３４）に含まれるホワイトバランスゲインｋＲ，ｋＢ以外のその他のパラメータはすべて既知であり、（式３４）に含まれる未知数はホワイトバランスゲインｋＲ，ｋＢのみとなる。
　従って、（式３４）に示す関係式を２つ以上生成して連立方程式として解けば、２つのホワイトバランスゲインｋＲ，ｋＢを算出することができる。
　すなわち、ステップＳ２４１では、２つ以上の画素位置について、（式３４）に示す関係式を生成する。
　　（ステップＳ２４２）
　次に、ホワイトバランスゲイン算出部１０２は、ステップＳ２４２において、ステップＳ２４１で生成した２つ以上の関係式を、連立方程式として解く。
　この処理により、（式３４）に示す関係式に含まれる２つの未知数である２つのホワイトバランスゲインｋＲ，ｋＢを算出する。
　画像処理装置１００は、これらの処理によって算出したホワイトバランスゲインｋＲ，ｋＢを撮像部５０の撮影画像に適用してホワイトバランス調整処理を実行する。
　　［６．画素、または画像領域単位のホワイトバランスゲイン算出と、ホワイトバランス調整処理について］
　次に、画素、または画像領域単位のホワイトバランスゲイン算出と、ホワイトバランス調整処理について説明する。
　上述した実施例において説明した処理に従って算出されるホワイトバランスゲインは、例えば撮像部５０の撮影画像から取得される無偏光の輝度画像に対して適用することでホワイトバランス調整画像、すなわち、被写体の色を高精度に反映したＲＧＢ画像を取得することができる。
　例えば、撮像部５０の撮影画像から取得されるストークスパラメータ（ｓ'０Ｒ，ｓ'０Ｇ，ｓ'０Ｂ）によって構成される画像は無偏光の光強度信号（輝度信号）からなるＲＧＢ画像であり、この画像に対してホワイトバランス調整処理を行うことで、被写体の色を高精度に反映したＲＧＢ画像を取得することができる。
　この際、画像全体に一律のホワイトバランスゲインを適用したホワイトバランス調整処理を行うことも可能であるが、画像を構成する画素単位、あるいは複数の画素によって構成される画像領域単位で異なるホワイトバランスゲインを算出して、画素単位、または画像領域単位で個別のホワイトバランス調整処理を行う構成としてもよい。
　図２１を参照して、画像を構成する画素単位、あるいは複数の画素によって構成される画像領域単位で異なるホワイトバランスゲインを算出する処理の具体例について説明する。
　先に説明したように、図１０に示す本開示の画像処理装置１００は、ホワイトバランスゲイン算出部１０２において、図５、図６を参照して説明した以下の２つの処理のいずれかを実行してホワイトバランスゲイン算出処理を実行する。
　Ａ．ホワイトバランスゲイン算出処理例１（図５）
　Ｂ．ホワイトバランスゲイン算出処理例２（図６）
　図５を参照して説明した「Ａ．ホワイトバランスゲイン算出処理例１」は、図１９に示すフローに従った処理を実行するものであり、撮影画像の画素値に異なる２色（ＲとＧ、ＢとＧ）の反射率の差異による影響が発生せず、光源色（ＬＲ，ＬＧ，ＬＢ）の影響のみが発生する画素位置の２色（ＲとＧ、ＢとＧ）の画素値に基づいてホワイトバランスゲインｋＲ，ｋＢを算出する処理を実行するものである。
　また、図６を参照して説明した「Ｂ．ホワイトバランスゲイン算出処理例２」は、図２０に示すフローに従った処理を実行するものであり、「ホワイトバランス調整画像（ｋＲｉＲ，ｉＧ，ｋＢｉＢ）の反対色」が、「直線偏光度（ＤｏＬＰ）の色（ＤｏＬＰＲ，ＤｏＬＰＧ，ＤｏＬＰＢ）」に等しくなるという関係を利用して２つのホワイトバランスゲインｋＲ，ｋＢを算出する処理を実行するものである。
　これら２つの処理例は、いずれも、画像内の１つの画素、または２つの画素から得られる直線偏光度（ＤｏＬＰ）を利用してホワイトバランスゲインを算出している。
　すなわち、特定の画素対応のホワイトバランスゲインの算出処理を行っていると解釈できる。
　このような特定画素対応のホワイトバランスゲインを画像全体に適用してもよいが、例えば、上記の「Ａ．ホワイトバランスゲイン算出処理例１」、または「Ｂ．ホワイトバランスゲイン算出処理例２」に従って、複数の画素対応のホワイトバランスゲインを算出し、これら複数の画素対応のホワイトバランスゲインを利用して、画像全体の各画素、あるいは画像領域単位のホワイトバランスゲインの算出と、算出ゲインを適用した各画素、あるいは画像領域単位のホワイトバランス調整を行うことも可能である。
　図２１を参照して、複数の画素単位で算出されたホワイトバランスゲインに基づいて、ホワイトバランスゲインが算出されていない画素のホワイトバランスゲインを補間処理によって算出する処理例について説明する。
　図２１（ａ）に示す４つの画素Ｐｗ１～Ｐｗ４が、上記の「Ａ．ホワイトバランスゲイン算出処理例１」、または「Ｂ．ホワイトバランスゲイン算出処理例２」に従って画素対応のホワイトバランスゲインが算出された画素であるとする。
　図１０に示す本開示の画像処理装置１００のホワイトバランスゲイン算出部１０２は、図２１（ａ）に示す４つのホワイトバランスゲイン算出画素Ｐｗ１～Ｐｗ４各々のホワイトバランスゲインの値に基づく補間処理によって他の画素のホワイトバランスゲインを算出する。
　図２１（ｂ）は、例えばＲ（赤）対応のホワイトバランスゲインｋＲを示している。
　画素Ｐｗ１のＲ（赤）対応のホワイトバランスゲインはｋＲ１である。
　画素Ｐｗ２のＲ（赤）対応のホワイトバランスゲインはｋＲ２である。
　画素Ｐｗ３のＲ（赤）対応のホワイトバランスゲインはｋＲ３である。
　画素Ｐｗ４のＲ（赤）対応のホワイトバランスゲインはｋＲ４である。
　ホワイトバランスゲイン算出部１０２は、画素対応のホワイトバランスゲインが算出されていない画素、または画像領域のホワイトバランスゲインを、画素Ｐｗ１～Ｐｗ４からの距離に応じた重みを用いた補間処理により算出する。
　図２１（ｃ）は、画素対応のホワイトバランスゲインが算出されていない画素Ｐｔの補間処理を適用したホワイトバランスゲイン算出処理例を示している。
　図２１（ｃ）には、画素対応のホワイトバランスゲインが算出されていない画素Ｐｔと、画素対応のホワイトバランスゲイン算出済み画素Ｐｗ１～Ｐｗ４と、これらの画素間の距離「Ｌｄ１」～「Ｌｄ４」を示している。
　ホワイトバランスゲイン算出部１０２は、画素ＰｔのＲ（赤）対応のホワイトバランスゲインｋＲＰを以下に示す（式４１）に従って算出する。
Figure JPOXMLDOC01-appb-M000016
　なお、上記（式４１）における係数ｗａは、重みを正規化するための係数である。
　ホワイトバランスゲイン算出部１０２は、各画素について、それぞれ上述した処理と同様の処理を実行し、画像を構成するすべての画素のＲ（赤）対応のホワイトバランスゲインｋＲ、さらにＢ（青）対応のホワイトバランスゲインｋＢを算出する。
　なお、画素単位ではなく、複数画素から構成される画像領域単位でホワイトバランスゲインを算出してもよい。この場合は、例えば、画像領域の重心位置を代表画素として設定し、代表画素のホワイトバランスゲインを上記の処理によって算出し、算出したホワイトバランスゲインを、重心を設定した画像領域全体の画素に適用する。
　ホワイトバランスゲイン算出部１０２は、この場合、１つの画像を複数の画像領域に分割するクラスタリングを行い、各画像領域（各クラス）について重心位置とホワイトバランスゲインの代表値を設定する。
　その後、画像領域（クラス）毎の重心位置とホワイトバランスゲイン代表値を用いて補間処理を行い、各領域のホワイトバランスゲインを算出する。なお、ホワイトバランスゲインの代表値は、画像領域（クラス）単位の代表値であり、例えば平均値や中央値あるいは最頻値等が適用可能である。
　図２２は、画像の領域分割処理としてのクラスタリングを行った例を示している。図２２（ａ）は、複数の画像領域（クラス）ＣＬ１～ＣＬ４を設定したクラスタリング結果を例示している。
　図２２（Ｂ）に示すように、クラスＣＬ１の重心位置が「ＰＷ１」、Ｒ（赤）対応のホワイトバランスゲインの代表値が「ｋＲ１」であるとする。また、クラスＣＬ２の重心位置が「ＰＷ２」でＲ（赤）対応のホワイトバランスゲイン代表値が「ｋＲ２」、クラスＣＬ３の重心位置が「ＰＷ３」でＲ（赤）対応のホワイトバランスゲイン代表値が「ｋＲ３」、クラスＣＬ４の重心位置「ＰＷ４」でＲ（赤）対応のホワイトバランスゲイン代表値が「ｋＲ４」である。
　このような場合、先に図２１を用いて説明した場合と同様の補間処理を行うことで他の画像領域のホワイトバランスゲインを設定できる。
　図２２（Ｃ）に示すように、重心位置「ＰＷｔ」を持つ画像領域（クラス）ＣＬｔのホワイトバランスゲインを補間処理によって算出することができる。
　また、ホワイトバランスゲイン算出部１０２は、カラー偏光画像の領域分割を行い、分割領域単位でホワイトバランスゲイン設定を行う場合、グラフカットや深層学習（ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）やＲＮＮ（Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）など）等を用いて領域分割を行い、その分割された領域内で単一のホワイトバランスゲインを色成分毎に設定してもよい。
　ホワイトバランスゲイン算出部１０２が、画像領域単位のホワイトバランスゲイン算出処理を行う場合、例えば以下のような処理が可能である。
　画像の被写体であるオブジェクトの種類を識別し、識別したオブジェクト種類単位の画像領域を設定してオブジェクト種類単位のホワイトバランスゲイン算出処理を行うといった処理である。
　なお、画像の被写体であるオブジェクトの種類を識別する処理としては、例えば、パターンマッチングや、セマンティック・セグメンテーション等の手法が適用可能である。
　パターンマッチングは、例えば人や車等の形状や特徴情報を含むパターンデータを記憶部に格納し、この記憶部に格納されたパターンデータと撮影画像上の画像領域の被写体を比較して各被写体を識別する処理である。
　セマンティック・セグメンテーションは、様々な実際のオブジェクトの形状、その他の特徴情報に基づくオブジェクト識別用の辞書データ（学習済みデータ）を記憶部に格納し、この辞書データと撮影画像内のオブジェクトとの一致度に基づいて、画像内のオブジェクトが何であるかのオブジェクト識別を行う技術である。セマンティック・セグメンテーションでは撮影画像の画素（ピクセル）単位で物体識別を行う。
　図２３は、領域分割を行って画像領域単位のホワイトバランスゲインを算出する処理例について説明する図である。図２３（ａ）はカラー偏光画像を例示しており、図２３（ｂ）は領域分割結果を例示している。なお、図２３（ｂ）では、空の領域ＡＲａ、道路の領域ＡＲｂ、車を示す領域ＡＲｃ１，ＡＲｃ２、背景を示す領域ＡＲｄ１，ＡＲｄ２，ＡＲｄ３、ＡＲｅが分類されている。これら各領域単位で個別のホワイトバランスゲインを算出する。
　ところで、ホワイトバランスゲイン算出部１０２は、上述の処理を選択して用いるようにしてもよい。例えば、ホワイトバランスゲイン算出部１０２は、画素単位、または画像領域毎に算出した同じ色成分のホワイトバランスゲインのばらつき度合を解析し、解析したばらつき度合に応じて処理の切り替えを行う。
　例えば画素単位、または画像領域ごとのホワイトバランスゲインのばらつきが予め設定された閾値を超えていない場合は、カラー偏光画像の全体に対するゲインを設定して、閾値を超える場合には画素単位、あるいは画像領域単位でホワイトバランスゲインを算出し適用する。
　図２４に示すフローチャートを参照して、ホワイトバランスゲイン算出部１０２が実行する画素単位、または画像領域単位のホワイトバランスゲイン算出処理のシーケンスについて説明する。
　以下、図２４にフローの各ステップの処理について、順次、説明する。
　　（ステップＳ３０１）
　ホワイトバランスゲイン算出部１０２は、まず、ステップＳ３０１において、画素対応のホワイトバランスゲインを算出する。
　ホワイトバランスゲイン算出部１０２は、先に図５、図６を参照して説明した以下の２つの処理のいずれかを実行して特定画素対応のホワイトバランスゲイン算出処理を実行する。
　Ａ．ホワイトバランスゲイン算出処理例１（図５）
　Ｂ．ホワイトバランスゲイン算出処理例２（図６）
　これら２つの処理は、いずれも、画像の１つ、または２つの画素から得られる直線偏光度（ＤｏＬＰ）を利用してホワイトバランスゲインを算出する。すなわち、特定の画素対応のホワイトバランスゲインの算出を行う処理である。
　　（ステップＳ３０２）
　次に、ホワイトバランスゲイン算出部１０２は、ステップＳ３０２において、ステップＳ３０１で算出した画素単位のホワイトバランスゲインのばらつきを解析する。
　なお、ステップＳ３０１では、画像の複数の画素について画素対応のホワイトバランスゲインが算出されているものとする。
　ホワイトバランスゲイン算出部１０２は、ステップＳ３０２において、ステップＳ３０１で算出した複数の画素単位ホワイトバランスゲインのばらつきを解析する。
　　（ステップＳ３０３）
　次に、ホワイトバランスゲイン算出部１０２は、ステップＳ３０３において、ステップＳ３０２で解析した画素単位のホワイトバランスゲインのばらつきが許容範囲内であるか判定する。
　画素単位のホワイトバランスゲインのばらつきが予め設定された許容範囲内であると判定した場合は、ステップＳ３０４に進む。
　一方、ホワイトバランスゲインのばらつきが予め設定された許容範囲内でないと判定した場合は、ステップＳ３０５に進む。
　なお、画素単位のホワイトバランスゲインのばらつきが予め設定された許容範囲内であると判定する場合とは、例えば、画像に含まれる被写体に対して、１つの光源あるいは色温度の差が少ない複数の光源から照明光が照射されているとみなせる場合などである。
　一方、画素単位のホワイトバランスゲインのばらつきが予め設定された許容範囲を超える場合とは、画像に含まれる被写体に対して色温度が異なる複数の光源から照明光が照射されているとみなせる場合などである。
　　（ステップＳ３０４）
　ステップＳ３０３において、画素単位のホワイトバランスゲインのばらつきが予め設定された許容範囲内であると判定した場合は、ステップＳ３０４に進む。
　この場合、ホワイトバランスゲイン算出部１０２は、ステップＳ３０４において、画像の全領域で用いる１つのホワイトバランスゲインを設定する。
　ホワイトバランスゲイン算出部１０２は、画像の全領域に適用するホワイトバランスゲインを、ステップＳ３０１で算出した画素単位のホワイトバケランスゲインの統計処理等によって算出する。
　例えば、ホワイトバランスゲイン算出部１０２は、ステップＳ３０１で算出した画素単位のホワイトバランスゲインの平均値や最頻値，中央値等のいずれかを、画像全領域で用いるホワイトバランスゲインに設定する。
　　（ステップＳ３０５）
　一方、ステップＳ３０３において、画素単位のホワイトバランスゲインのばらつきが予め設定された許容範囲を超えると判定した場合は、ステップＳ３０５に進む。
　この場合、ホワイトバランスゲイン算出部１０２は、ステップＳ３０５において、画像の領域分割処理、すなわちクラスタリング処理を行う。ホワイトバランスゲイン算出部１０２は、画像の位置やオブジェクト種類に基づく領域分割処理としてのクラスタリングを行う。
　次に、ホワイトバランスゲイン算出部１０２は、ステップＳ３０６において、ステップＳ３０５における領域分割処理によって生成した画像領域（クラス）に対応するホワイトバランスゲインのばらつきが許容範囲を超えるか判別する。
　画像領域（クラス）対応のホワイトバランスゲインのばらつきが予め規定した許容範囲を超えると判定した場合は、ステップＳ３０７に進む。
　一方、画像領域（クラス）対応のホワイトバランスゲインのばらつきが予め規定した許容範囲内であると判定した場合は、ステップＳ３０８に進む。
　　（ステップＳ３０７）
　ステップＳ３０６において、画像領域（クラス）対応のホワイトバランスゲインのばらつきが予め規定した許容範囲を超えると判定した場合は、ステップＳ３０７に進む。
　この場合、ホワイトバランスゲイン算出部１０２は、ステップＳ３０７において、ステップＳ３０１で算出されている画素対応のホワイトバランスゲインに基づく補間処理により、新たな画素対応のホワイトバランスゲインを算出する。
　すなわち、先に図２１を参照して説明した補間処理に基づく新たな画素対応のホワイトバランスゲインの算出処理を実行する。
　　（ステップＳ３０８）
　一方、ステップＳ３０６において、画像領域（クラス）対応のホワイトバランスゲインのばらつきが予め規定した許容範囲内であると判定した場合は、ステップＳ３０８に進む。
　この場合、ホワイトバランスゲイン算出部１０２は、ステップＳ３０８において、ステップＳ３０５で実行した領域分割（クラスタリング）処理によって生成した画像領域（クラス）単位の重心、平均値を用いて決定したクラス単位のホワイトバランスゲインに基づく補間処理により、新たな画素、および画像領域（クラス）対応のホワイトバランスゲインを算出する。
　すなわち、先に図２２を参照して説明した補間処理に基づく新たな画素、および画像領域（クラス）対応のホワイトバランスゲインの算出処理を実行する。
　図２５は、複数の画像領域（クラス）対応のホワイトバランスゲイン算出例を示している。図２５（ａ）は撮像シーンを例示している。例えばテーブル上には、車の模型ＯＢａと無彩色の物体ＯＢｃ，ＯＢｄが設けられている。また、テーブル上の模型ＯＢａや物体ＯＢｃ，ＯＢｄに対して、室内に設けられた照明（例えば白熱電球）ＬＴから照明光が照射可能とされている。また、模型ＯＢａや物体ＯＢｃ，ＯＢｄに対して、窓ＬＷから入射した外光（例えば太陽光）が照射される。
　図２５（ｂ）は、図２５（ａ）の撮像エリアのカラー偏光画像を示しており、図２５（ｃ）は領域分割結果の例を示している。
　なお、図２５（ｃ）は、壁の領域ＡＲ１、テーブルの領域ＡＲ２、床の領域ＡＲ３、無彩色の物体を示す領域ＡＲ４、ＡＲ５、模型の領域ＡＲ６が個別の画像領域（クラス）に設定されている。画像領域ＡＲ４（クラスＡＲ４）の物体は室内に設けられた照明（例えば白熱電球）ＬＴから照明光が照射されており、画像領域ＡＲ５（クラスＡＲ５）の物体は窓から入射した外光（例えば太陽光）が照射されている。
　この場合、画像領域ＡＲ４（クラスＡＲ４）と画像領域ＡＲ５（クラスＡＲ５）では照明光の色温度が異なり、例えば画像領域ＡＲ４（クラスＡＲ４）に対するホワイトバランスゲインと、画像領域ＡＲ５（クラスＡＲ５）に対するホワイトバランスゲインは許容範囲を超えるばらつきを生じる。
　従って、例えば画像領域ＡＲ６（クラスＡＲ６）のゲインは、画像領域ＡＲ４（クラスＡＲ４）に対応するホワイトバランスゲインと、画像領域ＡＲ５（クラスＡＲ５）に対応するホワイトバランスゲイン、および画像領域ＡＲ４までの距離と画像領域ＡＲ５までの距離に基づいた補間処理によって算出される。
　また、領域ＡＲ１～ＡＲ３についても、領域ＡＲ６と同様にゲインが設定される。このため、領域ＡＲ１～ＡＲ３，ＡＲ６は、２つの照明光を考慮してより自然なホワイトバランス調整を行うことができるようになる。なお、照明光が光源ＬＴからの光あるいは外光の何れかである場合、領域ＡＲ４と領域ＡＲ５のゲインは略等しくなることから、カラー偏光画像の全体に対するゲインが設定される。
　このように、本開示の画像処理装置１００は、偏光情報を用いることで、撮影画像に対する最適なホワイトバランスゲインを算出する。
　本開示の画像処理装置１００は、撮影画像から無彩色領域を検出できない場合でも、有彩色領域の偏光情報を用いることで、撮影画像に対する最適なホワイトバランスゲインを算出する処理を可能としている。
　さらに、本開示の画像処理装置１００は、偏光情報を用いることで、撮像シーン内の領域毎の最適なホワイトバランスゲインを算出することができる。例えば色温度の異なる光源が複数設けられている場合、物体に照射されている照明光の色温度に対応してホワイトバランスゲインを算出する処理が可能となる。
　　［７．画像処理装置のハードウェア構成例について］
　次に、本開示の画像処理装置１００のハードウェア構成例について説明する。
　図２６は、画像処理装置のハードウェア構成例を示す図である。
　図２６に示すハードウェア構成の各構成部について説明する。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。
　ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。
　ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、カメラの他、各種操作部、スイッチ等よりなる入力部３０６、表示部であるディスプレイやスピーカなどよりなる出力部３０７が接続されている。
　ＣＰＵ３０１は、入力部３０６から入力されるカメラ撮影画像や、操作情報等を入力し、各種の処理を実行し、処理結果を例えば出力部３０７に出力する。
　入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
　入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。
　　［８．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　カラー偏光画像から偏光情報を取得する偏光情報取得部と、
　前記偏光情報取得部が取得した偏光情報を用いてホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、
　前記ホワイトバランスゲイン算出部が算出したホワイトバランスゲインを適用したホワイトバランス調整処理を実行するホワイトバランス調整部を有し、
　前記偏光情報取得部は、
　前記カラー偏光画像から色対応の偏光度を算出し、
　前記ホワイトバランスゲイン算出部は、
　２色の偏光度が一致する画素位置の色対応の偏光情報を用いて、ホワイトバランスゲインを算出する画像処理装置。
　（２）　前記ホワイトバランスゲイン算出部は、
　２色の偏光度が一致する画素位置を、前記２色の被写体反射率が一致する画素位置として検出し、
　前記２色の被写体反射率が一致する画素位置の偏光情報を用いて、ホワイトバランスゲインを算出する（１）に記載の画像処理装置。
　（３）　前記偏光情報取得部は、
　前記カラー偏光画像からＲ（赤）Ｇ（緑）Ｂ（青）各色対応の直線偏光度（ＤｏＬＰ）を算出し、
　前記ホワイトバランスゲイン算出部は、
　ＲＧＢから選択した２色の直線偏光度（ＤｏＬＰ）が一致する画素位置を検出し、
　検出した画素位置の選択した２色のストークスパラメータを用いてホワイトバランスゲインを算出する（１）または（２）に記載の画像処理装置。
　（４）　前記ホワイトバランスゲイン算出部は、
　Ｒ（赤）の直線偏光度（ＤｏＬＰＲ）と、Ｇ（緑）の直線偏光度（ＤｏＬＰＧ）が一致する画素位置を検出し、
　検出した画素位置のＲ（赤）とＧ（緑）２色のストークスパラメータを用いて、Ｒ（赤）対応のホワイトバランスゲインｋＲを算出する（３）に記載の画像処理装置。
　（５）　前記ホワイトバランスゲイン算出部は、
　Ｂ（青）の直線偏光度（ＤｏＬＰＢ）と、Ｇ（緑）の直線偏光度（ＤｏＬＰＧ）が一致する画素位置を検出し、
　検出した画素位置のＢ（青）とＧ（緑）２色のストークスパラメータを用いて、Ｂ（青）対応のホワイトバランスゲインｋＢを算出する（３）または（４）に記載の画像処理装置。
　（６）　前記偏光情報取得部は、
　前記カラー偏光画像からＲ（赤）Ｇ（緑）Ｂ（青）各色対応の直線偏光度（ＤｏＬＰ）を算出し、
　前記ホワイトバランスゲイン算出部は、
　ホワイトバランス調整画像の反対色が、直線偏光度（ＤｏＬＰ）の色に等しくなるという関係を利用してホワイトバランスゲインを算出する（１）～（５）いずれかに記載の画像処理装置。
　（７）　前記ホワイトバランスゲイン算出部は、
　ホワイトバランス調整画像の反対色が、直線偏光度（ＤｏＬＰ）の色に等しくなるという関係を示す関係式を２つ生成し、
　生成した２つの関係式を連立方程式として解いて、２つの関係式に含まれる未知数である２つのホワイトバランスゲインを算出する（６）に記載の画像処理装置。
　（８）　前記関係式は、
　撮影画像から取得可能なストークスパラメータと、未知数であるホワイトバランスゲインを含む関係式である（７）に記載の画像処理装置。
　（９）　前記関係式に含まれる未知数は、
　Ｒ（赤）対応のホワイトバランスゲインｋＲと、
　Ｂ（青）対応のホワイトバランスゲインｋＢ、
　である（７）または（８）に記載の画像処理装置。
　（１０）　前記ホワイトバランスゲイン算出部は、
　画像全領域に適用するホワイトバランスゲインを算出する（１）～（９）いずれかに記載の画像処理装置。
　（１１）　前記ホワイトバランスゲイン算出部は、
　画像を構成する画素単位、または複数画素から構成される画像領域単位で個別のホワイトバランスゲインを算出する（１）～（１０）いずれかに記載の画像処理装置。
　（１２）　前記ホワイトバランスゲイン算出部は、
　画像を構成する画素単位、または複数画素から構成される画像領域単位で算出されたホワイトバランスゲインを用いた補間処理を実行して、ホワイトバランスゲイン未算出画素、または画像領域対応のホワイトバランスゲインを算出する（１１）に記載の画像処理装置。
　（１３）　前記ホワイトバランスゲイン算出部は、
　ホワイトバランスゲイン算出画素と、ホワイトバランスゲイン未算出画素との距離に応じた重みを設定した補間処理を実行する（１１）または（１２）に記載の画像処理装置。
　（１４）　前記ホワイトバランスゲイン算出部は、
　画像の領域分割処理であるクラスタリング処理を行い、
　前記クラスタリング処理によって設定された画像領域であるクラス毎にホワイトバランスゲインを算出する（１１）～（１３）いずれかに記載の画像処理装置。
　（１５）　前記ホワイトバランスゲイン算出部は、
　パターンマッチング、またはセマンティック・セグメンテーションを適用した画像の領域分割処理を実行する（１４）に記載の画像処理装置。
　（１６）　前記ホワイトバランスゲイン算出部は、
　画素、または画像領域単位で算出したホワイトバランスゲインのばらつきに応じて、ホワイトバランスゲインの算出態様を変更する（１１）～（１５）いずれかに記載の画像処理装置。
　（１７）　前記ホワイトバランスゲイン算出部は、
　画素、または画像領域単位で算出したホワイトバランスゲインのばらつきが予め設定された許容範囲内である場合、画像全領域共通のホワイトバランスゲインを算出する（１６）に記載の画像処理装置。
　（１８）　前記ホワイトバランスゲイン算出部は、
　画素、または画像領域単位で算出したホワイトバランスゲインのばらつきが予め設定された許容範囲を超える場合、画素、または画像領域単位で算出したホワイトバランスゲインを最終的なホワイトバランスゲインとする（１６）または（１７）に記載の画像処理装置。
　（１９）　画像処理装置において実行する画像処理方法であり、
　偏光情報取得部が、カラー偏光画像から偏光情報を取得する偏光情報取得ステップと、
　ホワイトバランスゲイン算出部が、前記偏光情報取得ステップで取得した偏光情報を用いてホワイトバランスゲインを算出するホワイトバランスゲイン算出ステップと、
　ホワイトバランス調整部が、前記ホワイトバランスゲイン算出ステップで算出したホワイトバランスゲインを適用したホワイトバランス調整処理を実行するホワイトバランス調整ステップを実行し、
　前記偏光情報取得ステップは、
　前記カラー偏光画像から色対応の偏光度を算出するステップを有し、
　前記ホワイトバランスゲイン算出ステップは、
　２色の偏光度が一致する画素位置の色対応の偏光情報を用いて、ホワイトバランスゲインを算出する画像処理方法。
　（２０）　画像処理装置において画像処理を実行させるプログラムであり、
　偏光情報取得部に、カラー偏光画像から偏光情報を取得させる偏光情報取得ステップと、
　ホワイトバランスゲイン算出部に、前記偏光情報取得ステップで取得した偏光情報を用いてホワイトバランスゲインを算出させるホワイトバランスゲイン算出ステップと、
　ホワイトバランス調整部に、前記ホワイトバランスゲイン算出ステップで算出したホワイトバランスゲインを適用したホワイトバランス調整処理を実行させるホワイトバランス調整ステップを実行させ、
　前記偏光情報取得ステップにおいては、
　前記カラー偏光画像から色対応の偏光度を算出させ、
　前記ホワイトバランスゲイン算出ステップにおいては、
　２色の偏光度が一致する画素位置の色対応の偏光情報を用いて、ホワイトバランスゲインを算出させるプログラム。
　なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　また、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　以上、説明したように、本開示の一実施例の構成によれば、カラー偏光画像から取得した偏光情報を用いてホワイトバランスゲイン算出処理、およびホワイトバランス調整を実行する構成が実現される。
　具体的には、例えば、カラー偏光画像から偏光情報を取得する偏光情報取得部と、取得した偏光情報を用いてホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、算出したホワイトバランスゲインを適用したホワイトバランス調整処理を実行するホワイトバランス調整部を有する。偏光情報取得部は、カラー偏光画像から色対応の偏光度を算出し、ホワイトバランスゲイン算出部は、２色の偏光度が一致する画素位置を、２色の被写体反射率が一致する画素位置に基づいて検出し、検出画素位置の色対応の偏光情報を用いてホワイトバランスゲインを算出する。
　本構成により、カラー偏光画像から取得した偏光情報を用いてホワイトバランスゲイン算出処理、およびホワイトバランス調整を実行する構成が実現される。
　　１０　光源
　　１１　照射光
　　２０　被写体
　　２２　観測光（＝反射光）
　　３０　撮像部
　　５０　撮像部（カラー偏光画像撮影カメラ）
　　５１　偏光フィルタ
　　５２　イメージセンサ
　　８０　撮像システム
　１００　画像処理装置
　１０１　偏光情報取得部
　１０２　ホワイトバランスゲイン算出部
　１０３　ホワイトバランス調整部
　３０１　ＣＰＵ
　３０２　ＲＯＭ
　３０３　ＲＡＭ
　３０４　バス
　３０５　入出力インタフェース
　３０６　入力部
　３０７　出力部
　３０８　記憶部
　３０９　通信部
　３１０　ドライブ
　３１１　リムーバブルメディア

Claims (20)

  1. 　カラー偏光画像から偏光情報を取得する偏光情報取得部と、
    　前記偏光情報取得部が取得した偏光情報を用いてホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、
    　前記ホワイトバランスゲイン算出部が算出したホワイトバランスゲインを適用したホワイトバランス調整処理を実行するホワイトバランス調整部を有し、
    　前記偏光情報取得部は、
    　前記カラー偏光画像から色対応の偏光度を算出し、
    　前記ホワイトバランスゲイン算出部は、
    　２色の偏光度が一致する画素位置の色対応の偏光情報を用いて、ホワイトバランスゲインを算出する画像処理装置。
  2. 　前記ホワイトバランスゲイン算出部は、
    　２色の偏光度が一致する画素位置を、前記２色の被写体反射率が一致する画素位置として検出し、
    　前記２色の被写体反射率が一致する画素位置の偏光情報を用いて、ホワイトバランスゲインを算出する請求項１に記載の画像処理装置。
  3. 　前記偏光情報取得部は、
    　前記カラー偏光画像からＲ（赤）Ｇ（緑）Ｂ（青）各色対応の直線偏光度（ＤｏＬＰ）を算出し、
    　前記ホワイトバランスゲイン算出部は、
    　ＲＧＢから選択した２色の直線偏光度（ＤｏＬＰ）が一致する画素位置を検出し、
    　検出した画素位置の選択した２色のストークスパラメータを用いてホワイトバランスゲインを算出する請求項１に記載の画像処理装置。
  4. 　前記ホワイトバランスゲイン算出部は、
    　Ｒ（赤）の直線偏光度（ＤｏＬＰＲ）と、Ｇ（緑）の直線偏光度（ＤｏＬＰＧ）が一致する画素位置を検出し、
    　検出した画素位置のＲ（赤）とＧ（緑）２色のストークスパラメータを用いて、Ｒ（赤）対応のホワイトバランスゲインｋＲを算出する請求項３に記載の画像処理装置。
  5. 　前記ホワイトバランスゲイン算出部は、
    　Ｂ（青）の直線偏光度（ＤｏＬＰＢ）と、Ｇ（緑）の直線偏光度（ＤｏＬＰＧ）が一致する画素位置を検出し、
    　検出した画素位置のＢ（青）とＧ（緑）２色のストークスパラメータを用いて、Ｂ（青）対応のホワイトバランスゲインｋＢを算出する請求項３に記載の画像処理装置。
  6. 　前記偏光情報取得部は、
    　前記カラー偏光画像からＲ（赤）Ｇ（緑）Ｂ（青）各色対応の直線偏光度（ＤｏＬＰ）を算出し、
    　前記ホワイトバランスゲイン算出部は、
    　ホワイトバランス調整画像の反対色が、直線偏光度（ＤｏＬＰ）の色に等しくなるという関係を利用してホワイトバランスゲインを算出する請求項１に記載の画像処理装置。
  7. 　前記ホワイトバランスゲイン算出部は、
    　ホワイトバランス調整画像の反対色が、直線偏光度（ＤｏＬＰ）の色に等しくなるという関係を示す関係式を２つ生成し、
    　生成した２つの関係式を連立方程式として解いて、２つの関係式に含まれる未知数である２つのホワイトバランスゲインを算出する請求項６に記載の画像処理装置。
  8. 　前記関係式は、
    　撮影画像から取得可能なストークスパラメータと、未知数であるホワイトバランスゲインを含む関係式である請求項７に記載の画像処理装置。
  9. 　前記関係式に含まれる未知数は、
    　Ｒ（赤）対応のホワイトバランスゲインｋＲと、
    　Ｂ（青）対応のホワイトバランスゲインｋＢ、
    　である請求項７に記載の画像処理装置。
  10. 　前記ホワイトバランスゲイン算出部は、
    　画像全領域に適用するホワイトバランスゲインを算出する請求項１に記載の画像処理装置。
  11. 　前記ホワイトバランスゲイン算出部は、
    　画像を構成する画素単位、または複数画素から構成される画像領域単位で個別のホワイトバランスゲインを算出する請求項１に記載の画像処理装置。
  12. 　前記ホワイトバランスゲイン算出部は、
    　画像を構成する画素単位、または複数画素から構成される画像領域単位で算出されたホワイトバランスゲインを用いた補間処理を実行して、ホワイトバランスゲイン未算出画素、または画像領域対応のホワイトバランスゲインを算出する請求項１１に記載の画像処理装置。
  13. 　前記ホワイトバランスゲイン算出部は、
    　ホワイトバランスゲイン算出画素と、ホワイトバランスゲイン未算出画素との距離に応じた重みを設定した補間処理を実行する請求項１１に記載の画像処理装置。
  14. 　前記ホワイトバランスゲイン算出部は、
    　画像の領域分割処理であるクラスタリング処理を行い、
    　前記クラスタリング処理によって設定された画像領域であるクラス毎にホワイトバランスゲインを算出する請求項１１に記載の画像処理装置。
  15. 　前記ホワイトバランスゲイン算出部は、
    　パターンマッチング、またはセマンティック・セグメンテーションを適用した画像の領域分割処理を実行する請求項１４に記載の画像処理装置。
  16. 　前記ホワイトバランスゲイン算出部は、
    　画素、または画像領域単位で算出したホワイトバランスゲインのばらつきに応じて、ホワイトバランスゲインの算出態様を変更する請求項１１に記載の画像処理装置。
  17. 　前記ホワイトバランスゲイン算出部は、
    　画素、または画像領域単位で算出したホワイトバランスゲインのばらつきが予め設定された許容範囲内である場合、画像全領域共通のホワイトバランスゲインを算出する請求項１６に記載の画像処理装置。
  18. 　前記ホワイトバランスゲイン算出部は、
    　画素、または画像領域単位で算出したホワイトバランスゲインのばらつきが予め設定された許容範囲を超える場合、画素、または画像領域単位で算出したホワイトバランスゲインを最終的なホワイトバランスゲインとする請求項１６に記載の画像処理装置。
  19. 　画像処理装置において実行する画像処理方法であり、
    　偏光情報取得部が、カラー偏光画像から偏光情報を取得する偏光情報取得ステップと、
    　ホワイトバランスゲイン算出部が、前記偏光情報取得ステップで取得した偏光情報を用いてホワイトバランスゲインを算出するホワイトバランスゲイン算出ステップと、
    　ホワイトバランス調整部が、前記ホワイトバランスゲイン算出ステップで算出したホワイトバランスゲインを適用したホワイトバランス調整処理を実行するホワイトバランス調整ステップを実行し、
    　前記偏光情報取得ステップは、
    　前記カラー偏光画像から色対応の偏光度を算出するステップを有し、
    　前記ホワイトバランスゲイン算出ステップは、
    　２色の偏光度が一致する画素位置の色対応の偏光情報を用いて、ホワイトバランスゲインを算出する画像処理方法。
  20. 　画像処理装置において画像処理を実行させるプログラムであり、
    　偏光情報取得部に、カラー偏光画像から偏光情報を取得させる偏光情報取得ステップと、
    　ホワイトバランスゲイン算出部に、前記偏光情報取得ステップで取得した偏光情報を用いてホワイトバランスゲインを算出させるホワイトバランスゲイン算出ステップと、
    　ホワイトバランス調整部に、前記ホワイトバランスゲイン算出ステップで算出したホワイトバランスゲインを適用したホワイトバランス調整処理を実行させるホワイトバランス調整ステップを実行させ、
    　前記偏光情報取得ステップにおいては、
    　前記カラー偏光画像から色対応の偏光度を算出させ、
    　前記ホワイトバランスゲイン算出ステップにおいては、
    　２色の偏光度が一致する画素位置の色対応の偏光情報を用いて、ホワイトバランスゲインを算出させるプログラム。
PCT/JP2022/039660 2021-12-08 2022-10-25 画像処理装置、および画像処理方法、並びにプログラム WO2023105961A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-199040 2021-12-08
JP2021199040 2021-12-08

Publications (1)

Publication Number Publication Date
WO2023105961A1 true WO2023105961A1 (ja) 2023-06-15

Family

ID=86730092

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/039660 WO2023105961A1 (ja) 2021-12-08 2022-10-25 画像処理装置、および画像処理方法、並びにプログラム

Country Status (1)

Country Link
WO (1) WO2023105961A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012142903A (ja) * 2011-01-06 2012-07-26 Ricoh Co Ltd 撮像装置
WO2016136085A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 画像処理装置と画像処理方法および撮像素子
WO2018037678A1 (ja) * 2016-08-24 2018-03-01 ソニー株式会社 画像処理装置および情報生成装置と情報生成方法
WO2019102698A1 (ja) * 2017-11-21 2019-05-31 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび固体撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012142903A (ja) * 2011-01-06 2012-07-26 Ricoh Co Ltd 撮像装置
WO2016136085A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 画像処理装置と画像処理方法および撮像素子
WO2018037678A1 (ja) * 2016-08-24 2018-03-01 ソニー株式会社 画像処理装置および情報生成装置と情報生成方法
WO2019102698A1 (ja) * 2017-11-21 2019-05-31 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび固体撮像装置

Similar Documents

Publication Publication Date Title
US9437035B2 (en) Light source detection from synthesized objects
WO2020078243A1 (zh) 一种图像处理和人脸图像识别方法、装置及设备
EP3158532B1 (en) Local adaptive histogram equalization
US20190124319A1 (en) Systems and Methods for Multiscopic Noise Reduction and High-Dynamic Range
US8503771B2 (en) Method and apparatus for estimating light source
US10109063B2 (en) Image processing in a multi-channel camera
CN109565577B (zh) 色彩校正装置、色彩校正系统以及色彩校正方法
WO2012030815A2 (en) Single-shot photometric stereo by spectral multiplexing
US20160227196A1 (en) 3d scanning apparatus and method using lighting based on smart phone
CN102687501A (zh) 图像处理装置、摄像装置及图像处理方法
US9500475B2 (en) Method and apparatus for inspecting an object employing machine vision
KR101695246B1 (ko) 광원 추정 장치 및 광원 추정 방법
Li et al. Color constancy using achromatic surface
US20180176528A1 (en) Light locus generation for automatic white balance
WO2023105961A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US9823131B2 (en) Sample target for improved accuracy of color measurements and color measurements using the same
Martinkauppi et al. Face video database
US11195290B2 (en) Apparatus and method for encoding in structured depth camera system
US20240129642A1 (en) Information processing apparatus, information processing method, and program
JP6103767B2 (ja) 画像処理装置、方法、及びプログラム
Fischer et al. whitebalPR–a New Method for Automatic White Balance
KR20210096517A (ko) RGB-LiDAR 장치 및 그 제어 방법
Sippel et al. Hyperspectral Image Reconstruction from Multispectral Images Using Non-Local Filtering
Lathuilière et al. Colour 3D system characterization
Lucas et al. Camera Calibration: Geometric and Colorimetric Correction

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22903893

Country of ref document: EP

Kind code of ref document: A1