WO2022196038A1 - 情報処理装置と情報処理方法およびプログラム - Google Patents

情報処理装置と情報処理方法およびプログラム Download PDF

Info

Publication number
WO2022196038A1
WO2022196038A1 PCT/JP2022/000051 JP2022000051W WO2022196038A1 WO 2022196038 A1 WO2022196038 A1 WO 2022196038A1 JP 2022000051 W JP2022000051 W JP 2022000051W WO 2022196038 A1 WO2022196038 A1 WO 2022196038A1
Authority
WO
WIPO (PCT)
Prior art keywords
achromatic
white balance
color
gain
region
Prior art date
Application number
PCT/JP2022/000051
Other languages
English (en)
French (fr)
Inventor
大志 大野
雄飛 近藤
楽公 孫
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202280020576.7A priority Critical patent/CN117044220A/zh
Priority to US18/276,364 priority patent/US20240129642A1/en
Priority to JP2023506771A priority patent/JPWO2022196038A1/ja
Publication of WO2022196038A1 publication Critical patent/WO2022196038A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • This technology makes it possible to easily adjust the white balance of an information processing device, information processing method, and program.
  • Non-Patent Document 1 proposes a method of adjusting white balance using deep learning.
  • the method called gray world treats the average color of the image as the light source color, so the accuracy decreases if the hypothesis does not hold, such as when the average color of the object is biased.
  • the average of the entire image since the average of the entire image is used, it is difficult to cope with scenes in which the light source color differs from area to area.
  • the method of estimating the light source color disclosed in Patent Document 1 assumes that the luminance value in the image is composed of "diffuse reflection light only” or “diffuse reflection light + specular reflection light”, and extracts specular reflection light. This is treated as the light source color.
  • the intensity of diffused light varies depending on textures and object normals, so there is a need to select pairs that are not affected by such effects.
  • the assumption that "only diffusely reflected light” is a very strict assumption, and it is also difficult to find a pixel that satisfies this assumption.
  • methods using deep learning can use contexts such as objects, environments, and time zones in images, but they rely on learning data and must perform extremely heavy and complex processing. .
  • an object of this technology is to provide an information processing device, an information processing method, and a program that can easily adjust the white balance using a color polarized image.
  • a first aspect of this technology is an achromatic region extraction unit that extracts an achromatic region in the color polarized image using polarization information obtained from the color polarized image; and a gain setting unit configured to set a white balance gain used in white balance adjustment of the color polarization image to a white balance gain in which the achromatic region extracted by the achromatic region extracting unit is achromatic.
  • the achromatic region extraction unit uses the polarization information acquired from the color polarized image to extract the achromatic region in the color polarized image.
  • the achromatic region extraction unit uses the polarization information to calculate the degree of linear polarization as the achromatic color determination information for each color component of the color polarization image, and obtains a non-uniform distribution of the degree of linear polarization between the color components that has been set in advance.
  • a region within the chromatic region criterion is defined as an achromatic region.
  • the achromatic region extraction unit calculates a Stokes vector as the achromatic color determination information, and extracts a region in which the ratio of the plurality of components of the Stokes vector is within the preset achromatic region determination criterion. Let it be an achromatic region.
  • the achromatic region extracting unit uses at least the component indicating the non-polarized luminance or the average luminance as the plurality of components.
  • the gain setting unit sets the white balance gain used in the white balance adjustment of the color polarized image to a white balance gain that makes the achromatic region extracted by the achromatic region extraction unit achromatic.
  • a white balance gain for an area different from the achromatic area is set by interpolation processing using a white balance gain set for each achromatic area.
  • the gain setting unit sets a white balance gain to be used in the entire area of the color polarization image or a white balance gain for an area different from the achromatic area based on the white balance gain set for each achromatic area.
  • the gain setting unit may perform interpolation processing using the white balance gains of adjacent achromatic regions.
  • the achromatic region extraction unit classifies the extracted achromatic region into classes, and the gain setting unit sets the white balance gain for each class classified by the class classification and the white balance gain of the achromatic region near the position. and position.
  • the gain setting section may divide the color polarization image into areas and set the white balance gain for each divided area.
  • the gain setting unit may switch the setting of the white balance gain for the color polarized image according to the variation in the white balance gain set for each achromatic region extracted by the achromatic region extraction unit. For example, when the variation in the white balance gain is within a preset allowable range, the gain setting unit determines the white balance gain to be used in the entire area of the color polarized image based on the white balance gain set for each achromatic area. set. Further, when the variation in the white balance gain exceeds the allowable range, the gain setting unit sets the white balance gain for the area different from the achromatic area based on the white balance gain set for each achromatic area.
  • a second aspect of this technology is extracting an achromatic region in the color polarized image by an achromatic region extraction unit using the polarization information obtained from the color polarized image;
  • the information processing method includes setting a white balance gain used in white balance adjustment of the color polarization image to a white balance gain in which the achromatic region extracted by the achromatic region extracting unit becomes achromatic by a gain setting unit. .
  • a third aspect of this technology is A program that causes a computer to perform white balance adjustment, A step of extracting an achromatic region in the color polarization image using the polarization information obtained from the color polarization image; and setting the white balance gain used in the white balance adjustment of the color polarization image to a white balance gain that makes the extracted achromatic region achromatic.
  • the program of the present technology is, for example, a storage medium or communication medium provided in a computer-readable format to a general-purpose computer capable of executing various program codes, such as an optical disk, a magnetic disk, or a semiconductor memory. It is a program that can be provided by a medium or a communication medium such as a network. By providing such a program in a computer-readable format, processing according to the program is realized on the computer.
  • FIG. 4 is a diagram illustrating pixel configurations for a plurality of polarization directions; It is the figure which illustrated the pixel structure (when a three primary color pixel and a white pixel are provided) of several polarization directions. It is the figure which illustrated the pixel structure (when a non-polarization pixel is provided) of several polarization directions. It is the figure which illustrated the case where the polarization
  • FIG. 10 is a diagram illustrating a case where a plurality of achromatic regions are clustered based on their positions; It is the figure which illustrated the operation
  • Embodiments for implementing the present technology will be described below. The description will be given in the following order. 1. Extraction of achromatic region using polarization information 2. Embodiment 2-1. Configuration of Embodiment 2-2. Operation of Embodiment 2-3. About gain setting processing
  • the information processing device of the present technology extracts an achromatic region using the polarization information acquired from the color polarization image, and calculates the white balance gain (hereinafter simply referred to as "gain") used in the white balance adjustment of the color polarization image. , is set to a gain that makes the extracted achromatic region achromatic.
  • the color space of the color polarized image is the RGB color space, and the gain is set for each color component of the three primary colors R (red), G (green), and B (blue). .
  • the information processing device uses a Stokes vector that can express the polarization state.
  • the components of the Stokes vector are indicated by four components s0, s1, s2, and s3, and when the polarization state is expressed by the Stokes vector, the conversion of polarization can be expressed by a Mueller matrix.
  • the component s0 indicates the unpolarized luminance or average luminance.
  • the component s1 is the intensity difference (brightness difference) when the polarization direction of the polarizer is 0° and 90°
  • the component s2 is the difference when the polarization direction of the polarizer is 45° and 135°.
  • component s3 indicates the degree of polarization of circularly polarized light.
  • a linear polarizer is used as a polarizer to obtain a color polarized image, so in the present technique, components s0, s1, and s2 are used to extract an achromatic region.
  • the Mueller matrix of an object can be represented by the linear sum of the matrix Ms representing specular reflection and the matrix Md representing diffuse reflection.
  • the weight of each color component for specular reflection is equally “ks”
  • the weight for diffuse reflection is "kdR” for the red component, "kdG” for the green component, and "kdB” for the blue component.
  • the Stokes vector of the incident light is expressed as "kR (s0, s1, s2) T ", kG (s0, s1, s2) T , kB (s0, s1, s2) T
  • the Stokes vector of the observation light is can be expressed by formulas (1) to (3). Also, when the object is achromatic, the relationship of formula (4) holds.
  • the Stokes vector of the observation light becomes Equations (5) to (7) when the object is achromatic.
  • the degree of linear polarization DoLP (Degree of Linear Polarization) is represented by formulas (8) to (10).
  • the formula (11) is established, so if a region that satisfies the formula (11) is searched, the achromatic region can be extracted.
  • extraction of an achromatic region using polarization information is not limited to the case of using the degree of linear polarization DoLP, and other methods may be used.
  • the information processing device extracts an achromatic region using multiple components of the Stokes vector.
  • the component s0 of the Stokes vector indicates the unpolarized luminance or average luminance.
  • the components s1 and s2 show the intensity difference, the variation due to the polarization state is larger than that of the component s0. Therefore, a plurality of components of the Stokes vector, for example, one of the two components is assumed to be the component s0 representing the unpolarized luminance or the average luminance.
  • the information processing device calculates the ratio of the two components of the Stokes vector for each color component as shown in Equations (12) to (14). Also, when the object is achromatic, the relationship of formula (15) is established, so if a region that satisfies formula (15) is searched for, the achromatic region can be extracted.
  • FIG. 1 illustrates the configuration of an imaging system using an information processing device of the present technology.
  • the imaging system 10 has a polarization imaging section 20 and an information processing device 30 .
  • the polarization imaging unit 20 acquires a polarization image using a polarizing element.
  • FIG. 2 illustrates the configuration of the polarization imaging section.
  • the polarization imaging unit 20 has an image sensor 201 such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device), which has a pixel configuration of a plurality of polarization directions.
  • a filter 202 is placed to acquire a polarization image.
  • the polarizing filter 202 can extract linearly polarized light from subject light, and uses a wire grid, photonic liquid crystal, or the like, for example.
  • the polarization imaging section 20 may generate a plurality of polarization images with different polarization directions using a multi-lens array configuration.
  • a plurality of lenses 203 (four in the figure) are provided in front of the image sensor 201 , and each lens 203 forms an optical image of a subject on the imaging surface of the image sensor 201 .
  • a polarizing plate 204 is provided in front of each lens 203, and the polarization directions of the polarizing plate 204 are set to different directions to generate a plurality of polarized images having different polarization directions.
  • polarization imaging unit 20 If the polarization imaging unit 20 is configured in this way, a plurality of polarization images can be acquired by one imaging, so recognition processing of the subject to be recognized can be performed quickly. Further, as shown in FIG. 2C, polarizing plates 212-1 to 212-4 having different polarization directions are provided in front of the imaging units 210-1 to 210-4. A plurality of polarization images with different polarization directions may be generated.
  • a polarizing plate 211 may be provided in front of the imaging section 210 as shown in (d) of FIG. In this case, the polarizing plate 211 is rotated and images are captured in a plurality of different polarization directions to acquire a plurality of polarized images with different polarization directions.
  • FIG. 3 to 5 illustrate pixel configurations for multiple polarization directions, with the configuration shown repeated in the horizontal and vertical directions.
  • (a) and (b) of FIG. 3 illustrate the arrangement of polarization pixels.
  • FIG. 3A illustrates a case where a polarization pixel block of 2 ⁇ 2 pixels is composed of polarization pixels with polarization directions (polarization angles) of, for example, 0 degrees, 45 degrees, 90 degrees, and 135 degrees.
  • 2 ⁇ 2 pixels are used as a unit of polarization direction
  • a polarization pixel block of 4 ⁇ 4 pixels is configured by polarization pixels with polarization directions of 0 degrees, 45 degrees, 90 degrees, and 135 degrees, for example.
  • FIG. 3(c) shows a case where the polarizing pixel block of 2 ⁇ 2 pixels shown in FIG. 3(a) is taken as one color unit, and three primary color pixels (red pixels, green pixels and blue pixels) are arranged in a Bayer arrangement. showing.
  • FIG. 3 illustrates a case where three primary color pixels are provided in a Bayer array for each pixel block of 2 ⁇ 2 pixels having the same polarization direction shown in (b) of FIG. 3 .
  • FIG. 3E shows a case where three primary color pixels are provided in a Bayer array for each pixel block of 2 ⁇ 2 pixels having the same polarization direction, and the 2 ⁇ 2 pixel blocks having different polarization directions are pixels of the same color. exemplified.
  • FIG. 3(f) shows a pixel block of 2 ⁇ 2 pixels in the same polarization direction and in a Bayer array, with a pixel block adjacent in the horizontal direction having a phase difference of 90 degrees in the direction of polarization from the pixel block adjacent in the vertical direction.
  • the phase difference between the polarization directions is ⁇ 45 degrees.
  • FIG. 3 shows pixel blocks of 2 ⁇ 2 pixels in the same polarization direction and in a Bayer array, with a pixel block adjacent in the horizontal direction having a phase difference of 90 degrees in the direction of polarization from the pixel block adjacent in the vertical direction.
  • the phase difference between the polarization directions is ⁇ 45 degrees.
  • FIG. 4 exemplifies a case where three primary color pixels and white pixels are provided.
  • (a) of FIG. 4 illustrates a case where one green pixel is replaced by a white pixel in a pixel block of 2 ⁇ 2 pixels in the same polarization direction and Bayer arrangement shown in (b) of FIG. 3 .
  • FIG. 4(b) is a block of 2 ⁇ 2 pixels with different polarization directions, with one green pixel as a white pixel in the Bayer array pixel block of 2 ⁇ 2 pixels with the same polarization direction shown in FIG. 3(c). are pixels of the same color.
  • the dynamic range in generating normal vector information is expanded compared to the case where white pixels are not provided. can. Also, since the white pixels have a good S/N ratio, the calculation of the color difference is less susceptible to noise.
  • FIG. 5 exemplifies the case where non-polarized pixels are provided, and the display of polarization directions and color pixels is the same as in FIG.
  • FIG. 5(a) shows a 4 ⁇ 4 pixel block using two 2 ⁇ 2 pixel blocks with four different polarization directions and two 2 ⁇ 2 pixel blocks consisting of unpolarized pixels.
  • a pixel block of polarized pixels is green pixels
  • a pixel block of non-polarized pixels is red pixels or blue pixels
  • pixel blocks (2 ⁇ 2 pixels) of the same color are provided in a Bayer array.
  • polarization pixels having a phase difference of 45 degrees are provided in a diagonal direction in a pixel block of 2 ⁇ 2 pixels, and the polarization directions of the polarization pixels are two directions having a phase difference of 45 degrees.
  • a case is exemplified in which a pixel block composed of two polarized images with different polarization directions and two non-polarized pixels is used as a color unit, and a pixel block of three primary colors is provided as a Bayer array.
  • FIG. 5(c) shows a case in which a pixel block of 2 ⁇ 2 pixels is used as a color unit, pixel blocks of three primary colors are provided in a Bayer array, and polarized pixels having two different polarization directions are provided in a pixel block of green pixels. exemplified.
  • polarized pixels are provided in the same manner as in (b) of FIG. A case is illustrated in which one non-polarized pixel is a red pixel and one non-polarized pixel is a blue pixel in an adjacent pixel block.
  • FIG. 5 show the case where non-polarized pixels are used as color pixels and pixels of three primary colors are provided in a pixel block of 4 ⁇ 4 pixels.
  • (g) and (h) of FIG. 5 show a case where some non-polarized pixels are used as color pixels and three primary color pixels are provided in a pixel block of 4 ⁇ 4 pixels.
  • FIGS. 3 to 5 are examples, and other configurations may be used. Moreover, in order to enable high-sensitivity imaging even at night, etc., a configuration in which infrared (IR) pixels are mixed and repeated may be used.
  • IR infrared
  • FIG. 6 exemplifies the case where the polarization pixel blocks are thinned out.
  • (a) of FIG. 6 illustrates a case where polarization pixel blocks of 4 ⁇ 4 pixels are repeatedly provided for each block of 8 ⁇ 8 pixels.
  • the pixels having the same polarization direction and color form an 8-pixel cycle in each of the horizontal and vertical directions.
  • (b) of FIG. 6 exemplifies a case in which polarization pixel blocks of 4 ⁇ 4 pixels are repeatedly provided for each block of 16 ⁇ 16 pixels.
  • pixels having the same polarization direction and color form a period of 16 pixels in each of the horizontal and vertical directions.
  • the polarization pixel block may be provided such that pixels having the same polarization direction and color have a 32-pixel cycle or a 64-pixel cycle in the horizontal direction and the vertical direction, respectively.
  • the repetition period of pixels having the same polarization direction and color may be different in the horizontal direction and the vertical direction, or may be different in the central portion and the end portion of the image sensor.
  • the polarization imaging unit 20 that acquires the color polarization image is not limited to the configuration described above, and may have another configuration as long as it can acquire the color polarization image from which the polarization information used for extracting the achromatic region can be obtained.
  • the color polarization image used in the information processing device 30 is not limited to the case where it is output from the polarization imaging section 20 to the information processing device 30 .
  • the configuration may be such that the color polarization image recorded on the recording medium is read out and output to the information processing device 30 .
  • the information processing device 30 has an achromatic region extraction unit 31, a gain setting unit 32, and a white balance adjustment unit 33.
  • the achromatic region extraction unit 31 of the information processing device 30 uses the polarization information of the color polarization image acquired by the polarization imaging unit 20 to extract a region (achromatic region) representing an achromatic object in the image.
  • the achromatic color region extraction unit 31 uses the polarization information to calculate achromatic color determination information for each color component of the color polarization image, for example, and extracts the region satisfying the condition that the achromatic color determination information is achromatic as the achromatic region. do.
  • the achromatic color determination information is described in ⁇ 1.
  • the degree of linear polarization DoLP indicated by the method described in> may be calculated, and the region that satisfies equation (11) may be extracted as an achromatic region, using the two components of the Stokes vector, One component may be divided by the other component, and a region where the division result satisfies equation (15) may be extracted as an achromatic region.
  • the achromatic region is not limited to the region that satisfies the formula (11) or the formula (15). be the achromatic region.
  • the achromatic region extraction unit 31 outputs the extraction result of the achromatic region to the gain setting unit 32 .
  • the gain setting unit 32 sets the gain for white balance adjustment based on the color polarization image acquired by the polarization imaging unit 20 and the achromatic region extraction result output from the achromatic region extraction unit 31 .
  • the gain setting unit 32 sets a gain for making the color polarized image of the achromatic region extracted by the achromatic region extracting unit 31 achromatic.
  • the gain may be set for each color component, or one of the color components may be used as a reference to set the gains for the other color components.
  • the gain setting section 32 outputs the set gain to the white balance adjustment section 33 .
  • the white balance adjustment unit 33 performs gain adjustment on the color polarization image acquired by the polarization imaging unit 20 using the gain set by the gain setting unit 32, and outputs the color polarization image with the adjusted white balance to an external device. , for example, to a display device, a recording device, or the like.
  • FIG. 7 is a flowchart illustrating the operation of the imaging system using the information processing device of the present technology.
  • the imaging system acquires a color polarization image.
  • the polarization imaging unit 20 of the imaging system 10 acquires a color polarization image including polarization information in multiple polarization directions, and proceeds to step ST2.
  • step ST2 the imaging system performs achromatic region extraction processing.
  • the achromatic region extraction unit 31 of the imaging system 10 extracts an achromatic region in the color polarized image based on the polarization information of the color polarized image acquired in step ST1.
  • the achromatic region extraction unit 31 performs ⁇ 1. Extraction of achromatic region using polarization information>, the degree of linear polarization DoLP (Degree of Linear Polarization) may be used to extract the achromatic region, and the two components of the Stokes vector may be used to extract Achromatic regions may be extracted.
  • the achromatic area extraction unit 31 extracts an achromatic area in the color polarization image, and proceeds to step ST3.
  • step ST3 the imaging system performs gain setting processing.
  • the gain setting unit 32 of the imaging system 10 calculates the gain for each color component that makes the achromatic region extracted in step ST2 achromatic in the color polarization image acquired in step ST1, and based on the calculated gain, , the gain used in the white balance adjustment of the color polarization image acquired in step ST1 is set, and the process proceeds to step ST4. Details of the gain setting process will be described later.
  • the imaging system performs white balance adjustment in step ST4.
  • the white balance adjustment unit 33 of the imaging system 10 adjusts the level of each color component for the color polarization image acquired in step ST1 using the gain set in step ST3 in the same manner as in the conventional art, thereby obtaining a color Adjust the white balance of the polarized image.
  • the gain setting portion 32 sets the gain for each color component that makes the extracted achromatic color region achromatic. Calculate Also, the gain setting unit 32 sets the calculated gain as a gain to be used in the entire area in the white balance adjustment of the color polarization image.
  • the achromatic region extracted by the achromatic region extraction unit 31 is not limited to one region, and multiple regions may be detected.
  • the gain setting unit 32 may set the gain so that the entire achromatic region extracted by the achromatic region extracting unit 31 is most achromatic. For example, the gain of each color component is calculated for each achromatic color area, the statistical value representing the calculated gain, such as the average value, the median value, or the mode value is calculated for each color component, and the entire area of the color polarization image is calculated. is the gain used in
  • a gain may be set for each extracted achromatic region. Further, when a gain is set for each extracted achromatic region, interpolation processing may be performed using the gain set for each achromatic region, and the gain for a region different from the achromatic region may be set.
  • FIG. 8 illustrates a case where a plurality of achromatic regions are detected, and FIG. 8(a) illustrates a case where four achromatic regions Pw1 to Pw4 are extracted.
  • the gain setting unit 32 sets gains for white balance adjustment in regions different from the achromatic regions by interpolation processing using gains in the plurality of achromatic regions.
  • FIG. 8(b) illustrates the gain for the red component, for example.
  • the red component gain set to render the achromatic region Pw1 achromatic is “QR1”.
  • the red components set to render the achromatic regions Pw2 to Pw4 achromatic are the gains "QR2" to "QR4".
  • the gain setting unit 32 calculates the gain for white balance adjustment in the area Pt that is different from the achromatic area using the weight according to the distance.
  • FIG. 8(c) shows distances "Ld1" to "Ld4" from the area Pt different from the achromatic area to the achromatic areas Pw1 to Pw4, respectively.
  • Equation (16) the calculation of formula (16) is performed to calculate the red component gain "QRt" for the region Pt.
  • the coefficient ka in Equation (16) is a coefficient for normalizing the weight as shown in Equation (17).
  • the gain setting unit 32 calculates gains of other color components for the region Pt in the same manner as for the red component.
  • the gain setting unit 32 performs interpolation processing using the gain set for each achromatic region, and sets the gain for the region different from the achromatic region.
  • the gain setting unit 32 may set the gain of the area different from the achromatic area based on the gain of the adjacent achromatic area.
  • the gain setting unit 32 clusters a plurality of achromatic regions based on their positions, and uses the centroid position and gain representative value for each class as the positions and gains of neighboring achromatic regions. Interpolation processing is performed using the position and the representative value of the gain, and the gain of the area different from the achromatic area is set.
  • the representative value of the gain is a value that represents the gain of the achromatic region within the class, and is, for example, an average value, a median value, or a mode value.
  • FIG. 9 exemplifies a case in which clustering is performed on a plurality of achromatic regions based on their positions.
  • (a) of FIG. 9 illustrates the clustering result of a plurality of achromatic regions.
  • the barycentric position of class CL1 is "PW1” and the representative value of the gain of the red component is "QR1".
  • the center of gravity of class CL2 is "PW2" and the representative value of the red component gain is “QR2”
  • the center of gravity of class CL3 is "PW3” and the representative value of the gain of red component is "QR3”
  • the center of gravity of class CL4 When the representative value of the gain of the red component is "QR4" at the position "PW4", the gain of the area different from the achromatic area can be set in the same manner as described with reference to FIG.
  • the gain setting unit 32 may divide the color polarization image into areas and set the gain for each divided area. For example, the gain setting unit 32 performs region division using graph cut, deep learning (CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), etc.), etc., and sets a single gain in the divided region. It may be set for each color component.
  • CNN Convolutional Neural Network
  • RNN Recurrent Neural Network
  • FIG. 10 illustrates the operation when segmentation is performed.
  • FIG. 10(a) exemplifies a color polarization image
  • FIG. 10(b) exemplifies the segmentation result.
  • the sky area ARa, the road area ARb, the areas ARc1 and ARc2 representing cars, the areas ARd1, ARd2 and ARd3 representing the background, and the area ARe representing the achromatic building in the background. are classified.
  • the gain for white balance adjustment is set so that the area ARe is displayed as an achromatic area.
  • the gain of the area ARe is used as the gain of the areas ARa, ARb, ARc1, ARc2, ARd1, ARd2 and ARd3.
  • the gain setting unit 32 may select and use the above-described processing. For example, the gain setting unit 32 switches the processing according to the variation in the gain of the same color component calculated for each achromatic region, and if the variation does not exceed a preset threshold, the entire color polarization image is is set, and if the threshold is exceeded, the gain is set for each pixel position or each divided area obtained by dividing the color polarization image into a plurality of areas.
  • FIG. 11 is a flowchart exemplifying the selection operation of the gain setting process.
  • the gain setting unit calculates the gain of the extracted achromatic region.
  • the gain setting unit 32 calculates gains for pixels in the achromatic region extracted by the achromatic region extracting unit 31, and proceeds to step ST12.
  • the gain setting unit determines whether the gain variation is within the allowable range.
  • the gain setting unit 32 can determine that the illumination light is emitted from one light source or a plurality of light sources with small differences in color temperature. If so, the process proceeds to step ST13, and if the variation exceeds the allowable range, that is, if it can be considered that illumination light is emitted from a plurality of light sources with different color temperatures, the process proceeds to step ST14.
  • the gain setting unit sets the gain to be used in all regions.
  • the gain setting unit 32 sets the gains to be used in the entire area of the color polarization image by statistical processing of the gains calculated in step ST11. For example, the gain setting unit 32 sets any one of the average value, the mode value, the median value, etc. of the gains calculated in step ST11 as the gain to be used in the entire area of the color polarization image.
  • the gain setting unit When proceeding from step ST12 to step ST14, the gain setting unit performs clustering processing in step ST14.
  • the gain setting unit 32 performs position-based clustering on the achromatic regions extracted in step ST11, classifies the achromatic regions, and proceeds to step ST15.
  • the gain setting unit 32 determines whether the class variation exceeds the allowable range.
  • the gain setting unit 32 proceeds to step ST16 if the intra-class and inter-class gain variation exceeds a preset allowable range, and proceeds to step ST17 if it is within the allowable range.
  • the gain setting unit performs interpolation processing based on the achromatic region. As described with reference to FIG. 7, the gain setting unit 32 sets the gain of the area different from the achromatic area by interpolation using the gain of the achromatic area calculated in step ST11 and the distance to the achromatic area. do.
  • the gain setting unit performs interpolation processing based on the class.
  • the gain setting unit 32 calculates the center-of-gravity position and the representative value of the gain for each class classified in step ST14. Furthermore, as described with reference to FIG. 8, the gain setting unit 32 sets the gain of the area different from the achromatic area by the interpolation calculation using the representative value of the gain of the class and the distance to the barycentric position.
  • FIG. 12 illustrates gain settings when multiple achromatic regions are extracted.
  • (a) of FIG. 12 illustrates an imaging scene.
  • a car model OBa and achromatic objects OBc and OBd are provided on the table.
  • Illumination light can be emitted from illumination (for example, incandescent lamp) LT provided in the room to model OBa and objects OBc and OBd on the table.
  • the model OBa and the objects OBc and OBd are irradiated with outside light (for example, sunlight) entering from the window LW.
  • FIG. 12(c) of FIG. 12 shows a color polarization image of the imaging area of (a) of FIG. 12, and (c) of FIG. 12 illustrates the result of segmentation.
  • the wall area AR1, the table area AR2, the floor area AR3, the achromatic object areas AR4 and AR5, and the model area AR6 are classified.
  • An object in the area AR4 is illuminated by illumination light (for example, an incandescent lamp) LT provided in the room, and an object in the area AR5 is illuminated by outside light (for example, sunlight) incident from a window.
  • illumination light for example, an incandescent lamp
  • outside light for example, sunlight
  • the color temperature of the illumination light differs between the area AR4 and the area AR5, and for example, the gain for the area AR4 and the gain for the area AR5 produce variations that exceed the allowable range. Therefore, for example, the gain of area AR6 is set by interpolation processing based on the gain for area AR4, the gain for area AR5, the distance to area AR4, and the distance to area AR5. Gains are also set for the areas AR1 to AR3 in the same manner as for the area AR6. Therefore, the areas AR1 to AR3 and AR6 can be adjusted in a more natural white balance considering the two illumination lights. When the illumination light is either the light from the light source LT or the external light, the gains of the areas AR4 and AR5 are substantially equal, so the gain for the entire color polarization image is set.
  • the white balance gain can be set so that an achromatic object in the captured scene is displayed in an achromatic color.
  • the white balance gain can be set so that an achromatic object is displayed in an achromatic color without considering the color temperature of the light source.
  • the polarization information it becomes possible to set the white balance gain to an optimum value for each area in the imaging scene. For example, when a plurality of light sources with different color temperatures are provided, it is possible to set the white balance gain according to the color temperature of the illumination light illuminating the object.
  • a series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • a program recording a processing sequence is installed in a memory within a computer incorporated in dedicated hardware and executed.
  • the program can be installed and executed in a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program can be stored on flexible discs, CD-ROMs (Compact Disc Read Only Memory), MO (Magneto optical) discs, DVDs (Digital Versatile Discs), BDs (Blu-Ray Discs (registered trademark)), magnetic discs, and semiconductor memory cards. It can be temporarily or permanently stored (recorded) in a removable recording medium such as.
  • Such removable recording media can be provided as so-called package software.
  • the program can also be downloaded from the download site via a network such as WAN (Wide Area Network), LAN (Local Area Network) such as cellular, or the Internet to the computer wirelessly or by wire. You can transfer with The computer can receive the program transferred in this way and install it in a built-in recording medium such as a hard disk.
  • WAN Wide Area Network
  • LAN Local Area Network
  • the information processing apparatus of the present technology can also have the following configuration.
  • an achromatic region extraction unit that extracts an achromatic region in the color polarized image using polarization information obtained from the color polarized image; and a gain setting unit configured to set a white balance gain used in white balance adjustment of the color polarization image to a white balance gain in which the achromatic region extracted by the achromatic region extracting unit is achromatic.
  • the achromatic color region extracting unit calculates achromatic color determination information for each color component of the color polarization image using the polarization information, and selects a region that satisfies a condition that the achromatic color determination information is an achromatic color.
  • the information processing apparatus which is extracted as the achromatic region.
  • the achromatic region extracting unit determines, as the achromatic region, a region in which variation between color components of the degree of linear polarization is within a preset achromatic region criterion. processing equipment.
  • the information processing apparatus according to (2), wherein the achromatic region extraction unit calculates a Stokes vector as the achromatic color determination information.
  • the achromatic region extracting unit determines, as the achromatic region, a region where the ratio of the plurality of components of the Stokes vector is within a preset achromatic region criterion for determining variations between color components (5 ).
  • the gain setting unit sets a white balance gain to be used in the entire area of the color polarization image.
  • the achromatic region extraction unit classifies the extracted achromatic region into classes, The information processing apparatus according to (11), wherein the gain setting unit uses the white balance gain and position set for each class classified by the class classification as the white balance gain and position of the adjacent achromatic region. (13) The information processing apparatus according to any one of (9) to (12), wherein the gain setting unit divides the color polarization image into regions, and sets the white balance gain for each divided region. (14) The gain setting unit switches the setting of the white balance gain for the color polarization image according to the variation in the white balance gain set for each achromatic region extracted by the achromatic region extraction unit ( The information processing apparatus according to any one of 9) to (13).
  • the gain setting unit sets the color polarization image for all of the color polarization images based on the white balance gain set for each achromatic region.
  • the information processing apparatus according to (14), which sets a white balance gain used in the area.
  • the gain setting unit adjusts the white balance of an area different from the achromatic area based on the white balance gain set for each achromatic area.
  • the information processing device according to (14) or (15), which sets a gain.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

無彩色領域抽出部３１は、カラー偏光画像から取得した偏光情報を用いてカラー偏光画像の色成分毎に無彩色判定情報を算出して、無彩色判定情報が無彩色となる条件を満たす領域を無彩色領域として抽出する。ゲイン設定部３２は、無彩色領域抽出部３１で抽出した無彩色領域が無彩色となるホワイトバランスゲインに基づいて、カラー偏光画像のホワイトバランス調整において用いるホワイトバランスゲインを設定する。例えばゲイン設定部３２は、無彩色領域のホワイトバランスゲインに基づきカラー偏光画像の全体に対するホワイトバランスゲイン、あるいは複数の無彩色領域のホワイトバランスゲインに基づき無彩色領域と異なる領域のホワイトバランスゲインを設定する。偏光情報に基づきホワイトバランス調整を容易に行えるようになる。

Description

情報処理装置と情報処理方法およびプログラム
　この技術は、情報処理装置と情報処理方法およびプログラムに関し、容易にホワイトバランスを調整可能とするものである。
　従来、撮像装置を用いて被写体を撮像する場合、白い物体が白く認識されるようにホワイトバランス調整が行われている。ホワイトバランス調整では、撮像シーンの光源等を考慮して色成分毎にホワイトバランスゲイン（以下、単に「ゲイン」という）の設定を自動的に行い、設定されたゲインで色成分毎の信号レベルが調整されている。例えば、グレーワールドと呼ばれる手法では、画像全体の画素値の平均値が無彩色になると仮定してホワイトバランス調整を行うものである。また、特許文献１に示すように、物体の反射モデルを利用して光源色を推定する手法を用いれば、推定した光源色に基づいてホワイトバランス調整を行うことができる。さらに、非特許文献１では、深層学習を用いてホワイトバランス調整を行う手法が提案されている。
特許第４４４７５２０号公報
Afifi, Mahmoud and Brown, Michael S. Deep White-Balance Editing, CVPR 2020.
　ところで、グレーワールドと呼ばれる手法は、画像の平均色を光源色として扱うため、物体の平均色が偏っている等のように仮説が成り立たない場合は精度が低下する。また、画像全体の平均を用いるため，領域ごとに光源色が異なるようなシーンに対応することが難しい。
　また、特許文献１で開示された光源色を推定する手法は、画像内の輝度値を「乱反射光のみ」あるいは「乱反射光＋鏡面反射光」で構成されると仮定して鏡面反射光を取り出して、これを光源色として扱うものである。しかし、実際には乱反射光の強度はテクスチャや物体法線によって変化するため、このような影響を受けないペアを選択する必要性が生じる。また、「乱反射光のみ」という仮定は非常に厳しい仮定であり、この仮定が成立する画素を発見することも困難である。さらに、深層学習を用いる手法は、画像内の物体や環境，時間帯などのコンテキストを利用することが可能であるが、学習データに依存するうえ、非常に重くて複雑な処理を行わなければならない。
　そこで、この技術では、カラー偏光画像を用いて容易にホワイトバランスを調整可能とする情報処理装置と情報処理方法およびプログラムを提供することを目的とする。
　この技術の第１の側面は、
　カラー偏光画像から取得した偏光情報を用いて、前記カラー偏光画像における無彩色領域を抽出する無彩色領域抽出部と、
　前記カラー偏光画像のホワイトバランス調整において用いるホワイトバランスゲインを、前記無彩色領域抽出部で抽出した無彩色領域が無彩色となるホワイトバランスゲインに設定するゲイン設定部と
を備える情報処理装置。
　この技術において、無彩色領域抽出部は、カラー偏光画像から取得した偏光情報を用いて、カラー偏光画像における無彩色領域を抽出する。例えば、無彩色領域抽出部は、偏光情報を用いてカラー偏光画像の色成分毎に無彩色判定情報として直線偏光度を算出して、直線偏光度の色成分間のばらつきが予め設定された無彩色領域判定基準内である領域を無彩色領域とする。また、無彩色領域抽出部は、無彩色判定情報としてストークスベクトルを算出して、ストークスベクトルの複数成分の比率について、色成分間のばらつきが予め設定された無彩色領域判定基準内である領域を無彩色領域とする。この場合、無彩色領域抽出部は、複数成分として少なくとも無偏光の輝度もしくは平均輝度を示す成分を用いる。
　ゲイン設定部は、カラー偏光画像のホワイトバランス調整において用いるホワイトバランスゲインを、無彩色領域抽出部で抽出した無彩色領域が無彩色となるホワイトバランスゲインに設定する。無彩色領域と異なる領域のホワイトバランスゲインは、無彩色領域ごとに設定されたホワイトバランスゲインを用いた補間処理によって設定する。また、ゲイン設定部は、無彩色領域ごとに設定されたホワイトバランスゲインに基づいて、カラー偏光画像の全領域で用いるホワイトバランスゲイン、あるいは無彩色領域と異なる領域のホワイトバランスゲインを設定する。また、ゲイン設定部は、近傍する無彩色領域のホワイトバランスゲインを用いて補間処理を行うようにしてもよい。例えば無彩色領域抽出部は、抽出した無彩色領域のクラス分類を行い、ゲイン設定部は、クラス分類で分類されたクラス毎に設定したホワイトバランスゲインと位置を近傍する無彩色領域のホワイトバランスゲインと位置とする。さらに、ゲイン設定部は、カラー偏光画像の領域分割を行い、分割領域単位でホワイトバランスゲインを設定してもよい。
　また、ゲイン設定部は、無彩色領域抽出部で抽出された無彩色領域ごとに設定されるホワイトバランスゲインのばらつきに応じて、カラー偏光画像に対するホワイトバランスゲインの設定を切り替えてもよい。例えば、ゲイン設定部は、ホワイトバランスゲインのばらつきが予め設定された許容範囲内である場合、無彩色領域ごとに設定されるホワイトバランスゲインに基づいて、カラー偏光画像の全領域で用いるホワイトバランスゲインを設定する。また、ゲイン設定部は、ホワイトバランスゲインのばらつきが許容範囲を超える場合、無彩色領域ごとに設定されるホワイトバランスゲインに基づいて、無彩色領域と異なる領域のホワイトバランスゲインを設定する。
　この技術の第２の側面は、
　カラー偏光画像から取得した偏光情報を用いて、前記カラー偏光画像における無彩色領域を無彩色領域抽出部で抽出することと、
　前記カラー偏光画像のホワイトバランス調整において用いるホワイトバランスゲインを、前記無彩色領域抽出部で抽出した無彩色領域が無彩色となるホワイトバランスゲインにゲイン設定部で設定すること
を含む情報処理方法にある。
　この技術の第３の側面は、
　ホワイトバランス調整をコンピュータで実行させるプログラムであって、
　カラー偏光画像から取得した偏光情報を用いて、前記カラー偏光画像における無彩色領域を抽出する手順と、
　前記カラー偏光画像のホワイトバランス調整において用いるホワイトバランスゲインを、前記抽出した無彩色領域が無彩色となるホワイトバランスゲインに設定する手順と
を前記コンピュータで実行させるプログラムにある。
　なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
撮像システムの構成を例示した図である。 偏光撮像部の構成を例示した図である。 複数の偏光方向の画素構成を例示した図である。 複数の偏光方向の画素構成（三原色画素と白色画素を設けた場合）を例示した図である。 複数の偏光方向の画素構成（無偏光画素を設けた場合）を例示した図である。 偏光画素ブロックを間引きして設けた場合を例示した図である。 撮像システムの動作を例示したフローチャートである。 複数の無彩色領域が検出された場合を例示した図である。 複数の無彩色領域を位置に基づいてクラスタリングを行った場合を例示した図である。 領域分割を行った場合の動作を例示した図である。 ゲイン設定処理の選択動作を例示したフローチャートである。 複数の無彩色領域が抽出された場合のゲイン設定を例示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．偏光情報を利用した無彩色領域の抽出について
　２．実施の形態について
　２－１．実施の形態の構成
　２－２．実施の形態の動作
　２－３．ゲイン設定処理について
　＜１．偏光情報を利用した無彩色領域の抽出について＞
　本技術の情報処理装置は、カラー偏光画像から取得した偏光情報を利用して無彩色領域の抽出を行い、カラー偏光画像のホワイトバランス調整において用いるホワイトバランスゲイン（以下、単に「ゲイン」という）を、抽出された無彩色領域が無彩色となるゲインに設定する。なお、以下の説明では、カラー偏光画像の色空間がＲＧＢ色空間であり、三原色であるＲ（赤），Ｇ（緑），Ｂ（青）の色成分毎のゲインを設定する場合について説明する。
　偏光情報を利用して無彩色領域を抽出する場合、情報処理装置は、偏光状態を表現することができるストークスベクトルを用いる。ストークスベクトルの成分は、４つの成分ｓ0，ｓ1，ｓ2，ｓ3で示されており、偏光状態をストークスベクトルで表現するとき、偏光の変換をミュラー行列で表すことができる。ストークスベクトルにおいて、成分ｓ0は無偏光の輝度もしくは平均輝度を示している。また、成分ｓ1は、偏光子の偏光方向が０°であるときと９０°であるときの強度の差（輝度差）、成分ｓ2は、偏光子の偏光方向が４５°であるときと１３５°であるときの強度の差（輝度差）、成分ｓ3は円偏光の偏光度合いを示している。なお、後述するように、偏光子として直線偏光子を用いてカラー偏光画像を取得することから、本技術では、成分ｓ0，ｓ1，ｓ2を用いて無彩色領域を抽出する。
　物体のミュラー行列は、鏡面反射を示す行列Ｍｓと拡散反射を示す行列Ｍｄの線形和で表せるとする。この場合、鏡面反射に関する各色成分の重みは等しく「ｋｓ」であり、拡散反射に関する重みは、赤色成分の重みを「ｋdR」、緑色成分の重みを「ｋdG」、青色成分の重みを「ｋdB」とする。
　この場合、入射光のストークスベクトルを「ｋR（ｓ0，ｓ1，ｓ2）T」，ｋG（ｓ0，ｓ1，ｓ2）T，ｋB（ｓ0，ｓ1，ｓ2）T」として表すと、観測光のストークスベクトルは式（１）乃至式（３）で示すことができる。また、物体が無彩色である場合は式（４）の関係が成立する。
Figure JPOXMLDOC01-appb-M000001
　したがって、観測光のストークスベクトルは、物体が無彩色である場合に式（５）乃至式（７）となる。
Figure JPOXMLDOC01-appb-M000002
　さらに、直線偏光度ＤｏＬＰ（Degree of Linear Polarization）は、式（８）乃至式（１０）となる。ここで、物体が無彩色である場合、式（１１）が成立することから、式（１１）を満たす領域を探索すれば、無彩色領域を抽出できる。
Figure JPOXMLDOC01-appb-M000003
　また、偏光情報を利用した無彩色領域の抽出は、直線偏光度ＤｏＬＰを用いる場合に限られず、他の方法を用いてもよい。例えば、情報処理装置は、ストークスベクトルの複数成分を用いて無彩色領域を抽出する。ストークスベクトルの成分ｓ0は、無偏光の輝度もしくは平均輝度を示している。また、成分ｓ1，ｓ2は、強度差を示していることから偏光状態による変動が成分ｓ0に比べて大きい。そこで、ストークスベクトルの複数成分、例えば２つの成分における一方の成分は、無偏光の輝度もしくは平均輝度を示す成分ｓ0とする。
　情報処理装置は、式（１２）乃至式（１４）に示すように色成分毎にストークスベクトルの２成分の比を算出する。また、物体が無彩色である場合は式（１５）の関係が成立することから、式（１５）を満たす領域を探索すれば、無彩色領域を抽出できる。
Figure JPOXMLDOC01-appb-M000004
　＜２．実施の形態について＞
　＜２－１．実施の形態の構成＞
　図１は、本技術の情報処理装置を用いた撮像システムの構成を例示している。撮像システム１０は、偏光撮像部２０と情報処理装置３０を有している。
　偏光撮像部２０は、偏光素子を用いて偏光画像を取得する。図２は偏光撮像部の構成を例示している。偏光撮像部２０は、例えば図２の（ａ）に示すように、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサ２０１に、複数の偏光方向の画素構成とされた偏光フィルタ２０２を配置して偏光画像を取得する。偏光フィルタ２０２は、被写体光から直線偏光光を取り出せればよく、例えばワイヤーグリッドやフォトニック液晶等を用いる。また、カラー偏光画像を取得する場合、イメージセンサ２０１の入射面側にカラーフィルタが設けられている。また、偏光撮像部２０は、図２の（ｂ）に示すように、マルチレンズアレイの構成を利用して偏光方向が異なる複数の偏光画像を生成してもよい。例えばイメージセンサ２０１の前面にレンズ２０３を複数（図では４個）設けて、各レンズ２０３によって被写体の光学像をイメージセンサ２０１の撮像面にそれぞれ結像させる。また、各レンズ２０３の前面に偏光板２０４を設けて、偏光板２０４の偏光方向を異なる方向として、偏光方向が異なる複数の偏光画像を生成する。このように偏光撮像部２０を構成すれば、１回の撮像で複数の偏光画像を取得できることから速やかに認識対象の被写体の認識処理を行える。また、図２の（ｃ）に示すように、撮像部２１０-1～２１０-4の前に互いに偏光方向が異なる偏光板２１２-1～２１２-4を設けた構成として、異なる複数の視点から偏光方向が異なる複数の偏光画像を生成してもよい。
　なお、被写体の動きが遅い場合やステップ的に動作する場合には、図２の（ｄ）に示すように、撮像部２１０の前に偏光板２１１を設けた構成としてもよい。この場合、偏光板２１１を回転させて異なる複数の偏光方向でそれぞれ撮像を行い、偏光方向が異なる複数の偏光画像を取得する。
　また、図２の（ｂ），（ｃ）の場合、被写体までの距離に対して各レンズ２０３や撮像部２１０-1～２１０-4の位置間隔が無視できる程度に短ければ、偏光方向が異なる複数の偏光画像では視差を無視することができる。したがって、偏光方向が異なる偏光画像の輝度を平均することで、無偏光の通常輝度画像と同等の画像を取得することができる。また、視差を無視することができない場合は、偏光方向が異なる偏光画像を視差量に応じて位置合わせして、位置合わせ後の偏光画像の輝度を平均すれば無偏光の通常輝度画像と同等の画像を取得することができる。また、図２の（ｄ）の場合、画素毎に偏光方向が異なる偏光画像の輝度を平均することで、無偏光である通常輝度画像と同等の画像を取得できる。
　図３乃至図５は、複数の偏光方向の画素構成を例示しており、図に示す構成が水平方向及び垂直方向に繰り返されている。図３の（ａ）、（ｂ）は偏光画素の配置を例示している。なお、図３の（ａ）は２×２画素の偏光画素ブロックを、例えば偏光方向（偏光角）が０度、４５度、９０度、１３５度の偏光画素で構成した場合を例示している。また、図３の（ｂ）は２×２画素を偏光方向の単位として、４×４画素の偏光画素ブロックを、例えば偏光方向が０度、４５度、９０度、１３５度の偏光画素で構成した場合を例示している。なお、偏光フィルタの偏光成分単位が図３の（ｂ）に示すように２×２画素である場合、偏光成分単位毎に得られた偏光成分に対して、隣接する異なる偏光成分単位の領域からの偏光成分の漏れ込み分の割合は、図３の（ａ）に示す１×１画素に比べて少なくなる。また、偏光フィルタがワイヤーグリッドを用いている場合、格子の方向（ワイヤー方向）に対して電場成分が垂直方向である偏光光が透過されて、透過率はワイヤーが長いほど高くなる。このため、偏光成分単位が２×２画素である場合は、１×１画素に比べて透過率が高くなる。このため、偏光成分単位が２×２画素である場合は１×１画素に比べて透過率が高くなり、消光比を良くすることができる。
　図３の（ｃ）乃至（ｇ）はカラー偏光画像を取得する場合の画素構成を例示している。図３の（ｃ）は、図３の（ａ）に示す２×２画素の偏光画素ブロックを１つの色単位として、三原色画素（赤色画素と緑色画素と青色画素）をベイヤ配列とした場合を示している。
　図３の（ｄ）は、図３の（ｂ）に示す２×２画素の同一偏光方向の画素ブロック毎に、三原色画素をベイヤ配列で設けた場合を例示している。
　図３の（ｅ）は、２×２画素の同一偏光方向の画素ブロック毎に、三原色画素をベイヤ配列で設けて、偏光方向が異なる２×２画素のブロックを同一色の画素とした場合を例示している。
　図３の（ｆ）は、２×２画素の同一偏光方向でベイヤ配列の画素ブロックについて、水平方向に隣接する画素ブロックとの偏光方向の位相差が９０度で、垂直方向に隣接する画素ブロックとの偏光方向の位相差が±４５度である場合を示している。
　図３の（ｇ）は、２×２画素の同一偏光方向でベイヤ配列の画素ブロックについて、垂直方向に隣接する画素ブロックとの偏光方向の位相差が９０度で、水平方向に隣接する画素ブロックとの偏光方向の位相差が±４５度である場合を示している。
　図４は三原色画素と白色画素を設けた場合を例示している。例えば、図４の（ａ）は、図３の（ｂ）に示す２×２画素の同一偏光方向でベイヤ配列の画素ブロックにおいて１つの緑色画素を白色画素とした場合を例示している。
　図４の（ｂ）は、図３の（ｃ）に示す２×２画素の同一偏光方向でベイヤ配列の画素ブロックにおいて１つの緑色画素を白色画素として、偏光方向が異なる２×２画素のブロックを同一色の画素とした場合を例示している。
　このように白色画素を設けることで、特許文献「国際公開第２０１６／１３６０８５号」で開示されているように、法線情報の生成におけるダイナミックレンジを、白色画素を設けていない場合に比べて拡大できる。また、白色画素はＳ／Ｎ比が良好であることから、色差の算出等においてノイズの影響を受けにくくなる。
　図５は、無偏光画素を設けた場合を例示しており、偏光方向と色画素の表示は、図３と同様である。
　図５の（ａ）は、４つ異なる偏光方向である２×２画素の画素ブロックと、無偏光画素からなる２×２画素の画素ブロックをそれぞれ２つ用いて、４×４画素の画素ブロックを構成して、偏光画素の画素ブロックは緑色画素、無偏光画素の画素ブロックは赤色画素または青色画素として、同一色の画素ブロック（２×２画素）をベイヤ配列として設けた場合を例示している。
　図５の（ｂ）は、２×２画素の画素ブロック内に４５度の位相差を有する偏光画素を斜め方向に設けて、偏光画素の偏光方向は４５度の位相差を有する２方向とした場合を例示しており、２つの異なる偏光方向の偏光画像と２つの無偏光画素からなる画素ブロックを色単位として、三原色の画素ブロックをベイヤ配列として設けた場合を例示している。
　図５の（ｃ）は、２×２画素の画素ブロックを色単位として、三原色の画素ブロックをベイヤ配列として設けて、緑色画素の画素ブロックに２つの異なる偏光方向の偏光画素を設けた場合を例示している。
　図５の（ｄ）は、偏光画素が図５の（ｂ）と同様に設けられており、２つの異なる偏光方向の偏光画像と２つの無偏光画素からなる画素ブロックは３つの緑色画素と、１つの無偏光画素を赤色画素として、隣接ずる画素ブロックでは１つの無偏光画素を青色画素とした場合を例示している。
　図５の（ｅ）（ｆ）は、無偏光画素を色画素として、４×４画素の画素ブロックに三原色の画素を設けた場合を示している。また、図５の（ｇ），（ｈ）は、無偏光画素の一部を色画素として、４×４画素の画素ブロックに三原色の画素を設けた場合を示している。
　なお、図３乃至図５に示す構成は例示であって、他の構成を用いてもよい。また、夜間等でも高感度な撮像を可能するため、赤外（ＩＲ）画素を混在して繰り返した構成であってもよい。
　図６は、偏光画素ブロックを間引きして設けた場合を例示している。図６の（ａ）は８×８画素のブロック毎に４×４画素の偏光画素ブロックを繰り返し設けた場合を例示している。この場合、偏光方向と色が等しい画素は水平方向および垂直方向のそれぞれで８画素周期となる。
　図６の（ｂ）は１６×１６画素のブロック毎に４×４画素の偏光画素ブロックを繰り返し設けた場合を例示している。この場合、偏光方向と色が等しい画素は水平方向および垂直方向のそれぞれで１６画素周期となる。なお、偏光画素ブロックは、偏光方向と色が等しい画素は水平方向および垂直方向のそれぞれで３２画素周期や６４画素周期となるように設けてもよい。さらに、偏光方向と色が等しい画素の繰り返し周期は、水平方向と垂直方向で異なる周期としてもよく、イメージセンサの中央部と端部で異なる周期としてもよい。
　なお、カラー偏光画像を取得する偏光撮像部２０は、上述の構成に限られるものではなく、無彩色領域の抽出に用いる偏光情報が得られるカラー偏光画像を取得できれば他の構成であってもよい。また、情報処理装置３０で用いるカラー偏光画像は、偏光撮像部２０から情報処理装置３０に出力する場合に限られない。例えば偏光撮像部２０等で生成されたカラー偏光画像が記録媒体に記録されている場合、記録媒体に記録されたカラー偏光画像を読み出して情報処理装置３０に出力する構成であってもよい。
　情報処理装置３０は、無彩色領域抽出部３１とゲイン設定部３２、ホワイトバランス調整部３３を有している。
　情報処理装置３０の無彩色領域抽出部３１は、偏光撮像部２０で取得されたカラー偏光画像の偏光情報を用いて、画像内における無彩色の物体を示す領域（無彩色領域）を抽出する。無彩色領域抽出部３１は、偏光情報を用いて例えばカラー偏光画像の色成分毎に無彩色判定情報を算出して、無彩色判定情報が無彩色となる条件を満たす領域を無彩色領域として抽出する。無彩色判定情報は、上述の＜１．無彩色領域の抽出について＞で説明した手法で示す直線偏光度ＤｏＬＰを算出して、式（１１）を満たす領域を無彩色領域として抽出してもよく、ストークスベクトルの２成分を利用して、一方の成分を他方の成分で除算して、除算結果が式（１５）を満たす領域を無彩色領域として抽出してもよい。なお、無彩色領域は、式（１１）または式（１５）を満たす領域に限らず、色成分間のばらつきが予め設定された無彩色領域判定基準内（例えば±αの範囲内）である領域を無彩色領域とする。無彩色領域抽出部３１は、無彩色領域の抽出結果をゲイン設定部３２へ出力する。
　ゲイン設定部３２は、偏光撮像部２０で取得されたカラー偏光画像と、無彩色領域抽出部３１から出力された無彩色領域の抽出結果に基づき、ホワイトバランス調整のゲインを設定する。ゲイン設定部３２は、無彩色領域抽出部３１で抽出された無彩色領域のカラー偏光画像を無彩色とするゲインを設定する。ゲインの設定では色成分毎にゲインを設定してもよく、いずれかの色成分を基準として、他の色成分のゲインを設定してもよい。ゲイン設定部３２は、設定したゲインをホワイトバランス調整部３３へ出力する。
　ホワイトバランス調整部３３は、偏光撮像部２０で取得されたカラー偏光画像に対するゲイン調整を、ゲイン設定部３２で設定されたゲインを用いて行い、ホワイトバランスが調整されているカラー偏光画像を外部機器、例えば表示装置や記録装置等へ出力する。
　＜２－２．実施の形態の動作＞
　図７は、本技術の情報処理装置を用いた撮像システムの動作を例示したフローチャートである。
　ステップＳＴ１で撮像システムはカラー偏光画像を取得する。撮像システム１０の偏光撮像部２０は、複数偏光方向の偏光情報を含むカラー偏光画像を取得してステップＳＴ２に進む。
　ステップＳＴ２で撮像システムは無彩色領域抽出処理を行う。撮像システム１０の無彩色領域抽出部３１は、ステップＳＴ１で取得されたカラー偏光画像の偏光情報に基づき、カラー偏光画像における無彩色領域を抽出する。無彩色領域抽出部３１は、＜１．偏光情報を利用した無彩色領域の抽出について＞において説明したように、直線偏光度ＤｏＬＰ（Degree of Linear Polarization）を用いて無彩色領域を抽出してもよく、ストークスベクトルの２つの成分を用いて無彩色領域を抽出してもよい。無彩色領域抽出部３１は、カラー偏光画像における無彩色領域を抽出してステップＳＴ３に進む。
　ステップＳＴ３で撮像システムはゲイン設定処理を行う。撮像システム１０のゲイン設定部３２は、ステップＳＴ１で取得されたカラー偏光画像において、ステップＳＴ２で抽出された無彩色領域が無彩色となる色成分毎のゲインを算出して、算出したゲインに基づき、ステップＳＴ１で取得されたカラー偏光画像のホワイトバランス調整で用いるゲインに設定してステップＳＴ４に進む。なお、ゲイン設定処理の詳細については後述する。
　ステップＳＴ４で撮像システムはホワイトバランス調整を行う。撮像システム１０のホワイトバランス調整部３３は、ステップＳＴ１で取得されたカラー偏光画像に対して、ステップＳＴ３で設定されたゲインを用いて従来と同様に色成分毎のレベル調整を行うことで、カラー偏光画像のホワイトバランス調整を行う。
　このように、本技術によれば、カラー偏光画像から取得した偏光情報に基づいて容易にホワイトバランスを調整できるようになる。
　＜２－３．ゲイン設定処理について＞
　次に、ゲイン設定処理の詳細について説明する。ゲイン設定部３２は、カラー偏光画像から取得した偏光情報に基づき無彩色領域抽出部３１で抽出した無彩色領域が１つである場合、抽出した無彩色領域が無彩色となる色成分毎のゲインを算出する。また、ゲイン設定部３２は、算出したゲインをカラー偏光画像のホワイトバランス調整において全領域で用いるゲインとする。
　また、カラー偏光画像から無彩色領域を抽出する場合、無彩色領域抽出部３１で抽出される無彩色領域は、１つの領域に限られるものではなく、複数の領域が検出される場合もある。このような場合、ゲイン設定部３２は、無彩色領域抽出部３１で抽出された複数の無彩色領域の全体が最も無彩色に近くなるようにゲインを設定してもよい。例えば、無彩色領域毎に各色成分のゲインを算出して、算出したゲインを代表する統計値、例えば平均値や中央値あるいは最頻値を色成分毎に算出して、カラー偏光画像の全領域で用いるゲインとする。
　また、無彩色領域抽出部３１で複数の無彩色領域が検出される場合、抽出された無彩色領域ごとにゲインを設定してもよい。また、抽出された無彩色領域ごとにゲインが設定される場合、無彩色領域ごとに設定されたゲインを用いて補間処理を行い、無彩色領域と異なる領域のゲインを設定してもよい。図８は、複数の無彩色領域が検出された場合を例示しており、図８の（ａ）では、４つの無彩色領域Ｐw1～Ｐw4が抽出された場合を例示している。
　ゲイン設定部３２は、複数の無彩色領域が検出された場合、無彩色領域と異なる領域におけるホワイトバランス調整のゲインは、複数の無彩色領域におけるゲインを用いた補間処理によって設定する。図８の（ｂ）は、例えば赤色成分についてのゲインを例示している。無彩色領域Ｐw1において、無彩色領域Ｐw1を無彩色とするために設定された赤色成分のゲインは「ＱR1」である。また、無彩色領域Ｐw2～Ｐw4を無彩色とするために設定された赤色成分はゲイン「ＱR2」～「ＱR4」である。
　ゲイン設定部３２は、無彩色領域と異なる領域Ｐtにおけるホワイトバランス調整のゲインを、距離に応じた重みを用いて算出する。図８の（ｃ）は、無彩色領域と異なる領域Ｐtから無彩色領域Ｐw1～Ｐw4までのそれぞれの距離「Ｌd1」～「Ｌd4」を示している。
　この場合、式（１６）の演算を行い、領域Ｐtに対する赤色成分のゲイン「ＱRt」を算出する。なお、式（１６）における係数ｋａは、式（１７）に示すように重みを正規化するための係数である。また、ゲイン設定部３２は、赤色成分と同様に領域Ｐtに対する他の色成分のゲインを算出する。
Figure JPOXMLDOC01-appb-M000005
　ゲイン設定部３２は、このような処理を行うことで、無彩色領域ごとに設定されたゲインを用いて補間処理を行い、無彩色領域と異なる領域のゲインを設定する。
　また、ゲイン設定部３２は、近傍する無彩色領域のゲインに基づいて無彩色領域と異なる領域のゲインを設定してもよい。この場合、ゲイン設定部３２は、複数の無彩色領域を位置に基づいてクラスタリングを行い、クラス毎の重心位置とゲインの代表値を、近傍する無彩色領域の位置とゲインとして、クラス毎の重心位置とゲインの代表値を用いて補間処理を行い、無彩色領域と異なる領域のゲインを設定する。なお、ゲインの代表値は、クラス内の無彩色領域のゲインを代表する値であり、例えば平均値や中央値あるいは最頻値等である。
　図９は、複数の無彩色領域を位置に基づいてクラスタリングを行った場合を例示している。図９の（ａ）は、複数の無彩色領域のクラスタリング結果を例示している。例えばクラスＣＬ1の重心位置が「ＰW1」、赤色成分のゲインの代表値が「ＱR1」であるとする。また、クラスＣＬ2の重心位置が「ＰW2」で赤色成分のゲインの代表値が「ＱR2」、クラスＣＬ3の重心位置が「ＰW3」で赤色成分のゲインの代表値が「ＱR3」、クラスＣＬ4の重心位置「ＰW4」で赤色成分のゲインの代表値が「ＱR4」である場合、図８を用いて説明した場合と同様に、無彩色領域と異なる領域のゲインを設定できる。
　また、ゲイン設定部３２は、カラー偏光画像の領域分割を行い、分割領域単位でゲインを設定してもよい。例えば、ゲイン設定部３２は、グラフカットや深層学習（ＣＮＮ（Convolutional Neural Network）やＲＮＮ（Recurrent Neural Network）など）等を用いて領域分割を行い、その分割された領域内で単一のゲインを色成分毎に設定してもよい。
　図１０は、領域分割を行った場合の動作を例示している。図１０の（ａ）はカラー偏光画像を例示しており、図１０の（ｂ）は領域分割結果を例示している。なお、図１０の（ｂ）では、空の領域ＡＲa、道路の領域ＡＲb、車を示す領域ＡＲc1，ＡＲc2、背景を示す領域ＡＲd1，ＡＲd2，ＡＲd3、背景中の無彩色である建物を示す領域ＡＲeが分類されている。ここで、領域ＡＲeが無彩色領域として抽出された場合、領域ＡＲeが無彩色として表示されるように、ホワイトバランス調整のゲインが設定される。また、領域ＡＲeのゲインが領域ＡＲａ，ＡＲb，ＡＲc1，ＡＲc2，ＡＲd1，ＡＲd2，ＡＲd3のゲインとして用いられる。
　ところで、ゲイン設定部３２は、上述の処理を選択して用いるようにしてもよい。例えば、ゲイン設定部３２は、無彩色領域毎に算出した同じ色成分のゲインのばらつきに応じて処理の切り替えを行い、ばらつきが予め設定された閾値を超えていない場合は、カラー偏光画像の全体に対するゲインを設定して、閾値を超える場合には画素位置毎あるいはカラー偏光画像を複数の領域に分割した分割領域毎にゲインを設定する。
　図１１は、ゲイン設定処理の選択動作を例示したフローチャートである。ステップＳＴ１１でゲイン設定部は抽出された無彩色領域のゲインを算出する。ゲイン設定部３２は、無彩色領域抽出部３１で抽出された無彩色領域の画素についてゲインを算出してステップＳＴ１２に進む。
　ステップＳＴ１２でゲイン設定部はゲインのばらつきが許容範囲内であるか判別する。ゲイン設定部３２は、ステップＳＴ１１で算出したゲインのばらつきが予め設定された許容範囲内である場合、すなわち１つの光源あるいは色温度の差が少ない複数の光源から照明光が照射されているとみなせる場合はステップＳＴ１３に進み、ばらつきが許容範囲を超える場合、すなわち色温度が異なる複数の光源から照明光が照射されているとみなせる場合はステップＳＴ１４に進む。
　ステップＳＴ１３でゲイン設定部は全領域で用いるゲインを設定する。ゲイン設定部３２は、カラー偏光画像の全領域で用いるゲインを、ステップＳＴ１１で算出したゲインの統計処理等によって設定する。例えば、ゲイン設定部３２は、ステップＳＴ１１で算出したゲインの平均値や最頻値，中央値等のいずれかを、カラー偏光画像の全領域で用いるゲインに設定する。
　ステップＳＴ１２からステップＳＴ１４に進むと、ステップＳＴ１４でゲイン設定部はクラスタリング処理を行う。ゲイン設定部３２は、ステップＳＴ１１で抽出された無彩色領域について、位置に基づいたクラスタリングを行い、無彩色領域をクラス分類してステップＳＴ１５に進む。
　ステップＳＴ１５でゲイン設定部は、クラスのばらつきが許容範囲を超えるか判別する。ゲイン設定部３２は、クラス内およびクラス間におけるゲインのばらつきが予め設定された許容範囲を超える場合はステップＳＴ１６に進み、許容範囲内である場合はステップＳＴ１７に進む。
　ステップＳＴ１６でゲイン設定部は無彩色領域に基づいた補間処理を行う。ゲイン設定部３２は、図７を用いて説明したように、無彩色領域と異なる領域のゲインをステップＳＴ１１で算出された無彩色領域のゲインと無彩色領域までの距離を用いた補間演算によって設定する。
　ステップＳＴ１７でゲイン設定部はクラスに基づいた補間処理を行う。ゲイン設定部３２は、ステップＳＴ１４で分類されたクラス毎に、重心位置とゲインの代表値を算出する。さらに、ゲイン設定部３２は、図８を用いて説明したように、無彩色領域と異なる領域のゲインをクラスのゲインの代表値と重心位置までの距離を用いた補間演算によって設定する。
　図１２は、複数の無彩色領域が抽出された場合のゲイン設定を例示している。図１２の（ａ）は撮像シーンを例示している。例えばテーブル上には、車の模型ＯＢａと無彩色の物体ＯＢｃ，ＯＢｄが設けられている。また、テーブル上の模型ＯＢａや物体ＯＢｃ，ＯＢｄに対して、室内に設けられた照明（例えば白熱電球）ＬＴから照明光が照射可能とされている。また、模型ＯＢａや物体ＯＢｃ，ＯＢｄに対して、窓ＬＷから入射した外光（例えば太陽光）が照射される。
　図１２の（ｂ）は、図１２の（ａ）の撮像エリアのカラー偏光画像を示しており、図１２の（ｃ）は領域分割結果を例示している。なお、図１２の（ｃ）では、壁の領域ＡＲ1、テーブルの領域ＡＲ2、床の領域ＡＲ3、無彩色の物体を示す領域ＡＲ4、ＡＲ5、模型の領域ＡＲ6が分類されている。領域ＡＲ4の物体は室内に設けられた照明（例えば白熱電球）ＬＴから照明光が照射されており、領域ＡＲ5の物体は窓から入射した外光（例えば太陽光）が照射されている。
　この場合、領域ＡＲ4と領域ＡＲ5では照明光の色温度が異なり、例えば領域ＡＲ4に対するゲインと領域ＡＲ5に対するゲインは許容範囲を超えるばらつきを生じる。したがって、例えば領域ＡＲ6のゲインは、領域ＡＲ4に対するゲインと領域ＡＲ5に対するゲインおよび領域ＡＲ4までの距離と領域ＡＲ5までの距離に基づいた補間処理によって設定される。また、領域ＡＲ1～ＡＲ3についても、領域ＡＲ6と同様にゲインが設定される。このため、領域ＡＲ1～ＡＲ3，ＡＲ6は、２つの照明光を考慮してより自然なホワイトバランス調整を行うことができるようになる。なお、照明光が光源ＬＴからの光あるいは外光の何れかである場合、領域ＡＲ4と領域ＡＲ5のゲインは略等しくなることから、カラー偏光画像の全体に対するゲインが設定される。
　このように、本技術によれば、偏光情報を用いることで、撮像シーン内の無彩色の物体が無彩色で表示されるようにホワイトバランスゲインを設定できる。また、偏光情報を用いることから、光源の色温度等を考慮しなくとも、無彩色の物体が無彩色で表示されるようにホワイトバランスゲインを設定できる。さらに、偏光情報を用いることで、撮像シーン内の領域毎にホワイトバランスゲインを最適な値に設定できるようになる。例えば色温度の異なる光源が複数設けられている場合、物体に照射されている照明光の色温度に対応してホワイトバランスゲインを設定することが可能となる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからセルラーに代表されるＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の情報処理装置は以下のような構成も取ることができる。
　（１）　カラー偏光画像から取得した偏光情報を用いて、前記カラー偏光画像における無彩色領域を抽出する無彩色領域抽出部と、
　前記カラー偏光画像のホワイトバランス調整において用いるホワイトバランスゲインを、前記無彩色領域抽出部で抽出した無彩色領域が無彩色となるホワイトバランスゲインに設定するゲイン設定部と
を備える情報処理装置。
　（２）　前記無彩色領域抽出部は、前記偏光情報を用いて前記カラー偏光画像の色成分毎に無彩色判定情報を算出して、前記無彩色判定情報が無彩色となる条件を満たす領域を前記無彩色領域として抽出する（１）に記載の情報処理装置。
　（３）　前記無彩色領域抽出部は、前記無彩色判定情報として直線偏光度を算出する（２）に記載の情報処理装置。
　（４）　前記無彩色領域抽出部は、前記直線偏光度の色成分間のばらつきが予め設定された無彩色領域判定基準内である領域を、前記無彩色領域とする（３）に記載の情報処理装置。
　（５）　前記無彩色領域抽出部は、前記無彩色判定情報としてストークスベクトルを算出する（２）に記載の情報処理装置。
　（６）　前記無彩色領域抽出部は、前記ストークスベクトルの複数成分の比率について、色成分間のばらつきが予め設定された無彩色領域判定基準内である領域を、前記無彩色領域とする（５）に記載の情報処理装置。
　（７）　前記無彩色領域抽出部は、前記複数成分として少なくとも無偏光の輝度もしくは平均輝度を示す成分を用いる（６）に記載の情報処理装置。
　（８）　前記ゲイン設定部は、前記カラー偏光画像の全領域で用いるホワイトバランスゲインを設定する（１）乃至（７）の何れかに記載の情報処理装置。
　（９）　前記ゲイン設定部は、前記無彩色領域抽出部で抽出された無彩色領域ごとに前記ホワイトバランスゲインを設定する（１）乃至（７）の何れかに記載の情報処理装置。
　（１０）　前記ゲイン設定部は、前記無彩色領域ごとに設定された前記ホワイトバランスゲインを用いて補間処理を行い、前記無彩色領域と異なる領域のホワイトバランスゲインを設定する（９）に記載の情報処理装置。
　（１１）　前記ゲイン設定部は、近傍する前記無彩色領域のホワイトバランスゲインを用いて前記補間処理を行う（１０）に記載の情報処理装置。
　（１２）　前記無彩色領域抽出部は、抽出した無彩色領域のクラス分類を行い、
　前記ゲイン設定部は、前記クラス分類で分類されたクラス毎に設定したホワイトバランスゲインと位置を、前記近傍する前記無彩色領域のホワイトバランスゲインと位置とする（１１）に記載の情報処理装置。
　（１３）　前記ゲイン設定部は、前記カラー偏光画像の領域分割を行い、分割領域単位で前記ホワイトバランスゲインを設定する（９）乃至（１２）の何れかに記載の情報処理装置。
　（１４）　前記ゲイン設定部は、前記無彩色領域抽出部で抽出された無彩色領域ごとに設定される前記ホワイトバランスゲインのばらつきに応じて、前記カラー偏光画像に対するホワイトバランスゲインの設定を切り替える（９）乃至（１３）の何れかに記載の情報処理装置。
　（１５）　前記ゲイン設定部は、前記ホワイトバランスゲインのばらつきが予め設定された許容範囲内である場合、前記無彩色領域ごとに設定される前記ホワイトバランスゲインに基づいて、前記カラー偏光画像の全領域で用いるホワイトバランスゲインを設定する（１４）に記載の情報処理装置。
　（１６）　前記ゲイン設定部は、前記ホワイトバランスゲインのばらつきが前記許容範囲を超える場合、前記無彩色領域ごとに設定される前記ホワイトバランスゲインに基づいて、前記無彩色領域と異なる領域のホワイトバランスゲインを設定する（１４）または（１５）に記載の情報処理装置。
　１０・・・撮像システム
　２０・・・偏光撮像部
　３０・・・情報処理装置
　３１・・・無彩色領域抽出部
　３２・・・ゲイン設定部
　３３・・・ホワイトバランス調整部
　２０１・・・イメージセンサ
　２０２・・・偏光フィルタ
　２０３・・・レンズ
　２０４・・・偏光板
　２１０，２１０-1～２１０-4・・・撮像部
　２１１，２１２-1～２１２-4・・・偏光板

Claims (18)

  1. 　カラー偏光画像から取得した偏光情報を用いて、前記カラー偏光画像における無彩色領域を抽出する無彩色領域抽出部と、
    　前記カラー偏光画像のホワイトバランス調整において用いるホワイトバランスゲインを、前記無彩色領域抽出部で抽出した無彩色領域が無彩色となるホワイトバランスゲインに設定するゲイン設定部と
    を備える情報処理装置。
  2. 　前記無彩色領域抽出部は、前記偏光情報を用いて前記カラー偏光画像の色成分毎に無彩色判定情報を算出して、前記無彩色判定情報が無彩色となる条件を満たす領域を前記無彩色領域として抽出する
    請求項１に記載の情報処理装置。
  3. 　前記無彩色領域抽出部は、前記無彩色判定情報として直線偏光度を算出する
    請求項２に記載の情報処理装置。
  4. 　前記無彩色領域抽出部は、前記直線偏光度の色成分間のばらつきが予め設定された無彩色領域判定基準内である領域を、前記無彩色領域とする
    請求項３に記載の情報処理装置。
  5. 　前記無彩色領域抽出部は、前記無彩色判定情報としてストークスベクトルを算出する
    請求項２に記載の情報処理装置。
  6. 　前記無彩色領域抽出部は、前記ストークスベクトルの複数成分の比率について、色成分間のばらつきが予め設定された無彩色領域判定基準内である領域を、前記無彩色領域とする
    請求項５に記載の情報処理装置。
  7. 　前記無彩色領域抽出部は、前記複数成分として少なくとも無偏光の輝度もしくは平均輝度を示す成分を用いる
    請求項６に記載の情報処理装置。
  8. 　前記ゲイン設定部は、前記カラー偏光画像の全領域で用いるホワイトバランスゲインを設定する
    請求項１に記載の情報処理装置。
  9. 　前記ゲイン設定部は、前記無彩色領域抽出部で抽出された無彩色領域ごとに前記ホワイトバランスゲインを設定する
    請求項１に記載の情報処理装置。
  10. 　前記ゲイン設定部は、前記無彩色領域ごとに設定された前記ホワイトバランスゲインを用いて補間処理を行い、前記無彩色領域と異なる領域のホワイトバランスゲインを設定する
    請求項９に記載の情報処理装置。
  11. 　前記ゲイン設定部は、近傍する前記無彩色領域のホワイトバランスゲインを用いて前記補間処理を行う
    請求項１０に記載の情報処理装置。
  12. 　前記無彩色領域抽出部は、抽出した無彩色領域のクラス分類を行い、
    　前記ゲイン設定部は、前記クラス分類で分類されたクラス毎に設定したホワイトバランスゲインと位置を、前記近傍する前記無彩色領域のホワイトバランスゲインと位置とする
    請求項１１に記載の情報処理装置。
  13. 　前記ゲイン設定部は、前記カラー偏光画像の領域分割を行い、分割領域単位で前記ホワイトバランスゲインを設定する
    請求項９に記載の情報処理装置。
  14. 　前記ゲイン設定部は、前記無彩色領域抽出部で抽出された無彩色領域ごとに設定される前記ホワイトバランスゲインのばらつきに応じて、前記カラー偏光画像に対するホワイトバランスゲインの設定を切り替える
    請求項９に記載の情報処理装置。
  15. 　前記ゲイン設定部は、前記ホワイトバランスゲインのばらつきが予め設定された許容範囲内である場合、前記無彩色領域ごとに設定される前記ホワイトバランスゲインに基づいて、前記カラー偏光画像の全領域で用いるホワイトバランスゲインを設定する
    請求項１４に記載の情報処理装置。
  16. 　前記ゲイン設定部は、前記ホワイトバランスゲインのばらつきが前記許容範囲を超える場合、前記無彩色領域ごとに設定される前記ホワイトバランスゲインに基づいて、前記無彩色領域と異なる領域のホワイトバランスゲインを設定する
    請求項１４に記載の情報処理装置。
  17. 　カラー偏光画像から取得した偏光情報を用いて、前記カラー偏光画像における無彩色領域を無彩色領域抽出部で抽出することと、
    　前記カラー偏光画像のホワイトバランス調整において用いるホワイトバランスゲインを、前記無彩色領域抽出部で抽出した無彩色領域が無彩色となるホワイトバランスゲインにゲイン設定部で設定すること
    を含む情報処理方法。
  18. 　ホワイトバランス調整をコンピュータで実行させるプログラムであって、
    　カラー偏光画像から取得した偏光情報を用いて、前記カラー偏光画像における無彩色領域を抽出する手順と、
    　前記カラー偏光画像のホワイトバランス調整において用いるホワイトバランスゲインを、前記抽出した無彩色領域が無彩色となるホワイトバランスゲインに設定する手順と
    を前記コンピュータで実行させるプログラム。
PCT/JP2022/000051 2021-03-19 2022-01-04 情報処理装置と情報処理方法およびプログラム WO2022196038A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280020576.7A CN117044220A (zh) 2021-03-19 2022-01-04 信息处理装置、信息处理方法和程序
US18/276,364 US20240129642A1 (en) 2021-03-19 2022-01-04 Information processing apparatus, information processing method, and program
JP2023506771A JPWO2022196038A1 (ja) 2021-03-19 2022-01-04

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021045676 2021-03-19
JP2021-045676 2021-03-19

Publications (1)

Publication Number Publication Date
WO2022196038A1 true WO2022196038A1 (ja) 2022-09-22

Family

ID=83320112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000051 WO2022196038A1 (ja) 2021-03-19 2022-01-04 情報処理装置と情報処理方法およびプログラム

Country Status (4)

Country Link
US (1) US20240129642A1 (ja)
JP (1) JPWO2022196038A1 (ja)
CN (1) CN117044220A (ja)
WO (1) WO2022196038A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007129622A (ja) * 2005-11-07 2007-05-24 Konica Minolta Holdings Inc 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
WO2018037678A1 (ja) * 2016-08-24 2018-03-01 ソニー株式会社 画像処理装置および情報生成装置と情報生成方法
WO2018061508A1 (ja) * 2016-09-28 2018-04-05 ソニー株式会社 撮像素子、画像処理装置、および画像処理方法、並びにプログラム
WO2019102698A1 (ja) * 2017-11-21 2019-05-31 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび固体撮像装置
WO2020213238A1 (ja) * 2019-04-19 2020-10-22 ソニー株式会社 撮像装置と画像処理装置および画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007129622A (ja) * 2005-11-07 2007-05-24 Konica Minolta Holdings Inc 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
WO2018037678A1 (ja) * 2016-08-24 2018-03-01 ソニー株式会社 画像処理装置および情報生成装置と情報生成方法
WO2018061508A1 (ja) * 2016-09-28 2018-04-05 ソニー株式会社 撮像素子、画像処理装置、および画像処理方法、並びにプログラム
WO2019102698A1 (ja) * 2017-11-21 2019-05-31 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび固体撮像装置
WO2020213238A1 (ja) * 2019-04-19 2020-10-22 ソニー株式会社 撮像装置と画像処理装置および画像処理方法

Also Published As

Publication number Publication date
CN117044220A (zh) 2023-11-10
US20240129642A1 (en) 2024-04-18
JPWO2022196038A1 (ja) 2022-09-22

Similar Documents

Publication Publication Date Title
JP5021338B2 (ja) ホワイトバランス補正装置および方法
US10303983B2 (en) Image recognition apparatus, image recognition method, and recording medium
KR102346522B1 (ko) 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법
Eichenseer et al. A data set providing synthetic and real-world fisheye video sequences
US20120155753A1 (en) Method and apparatus for estimating light source
CN106934790B (zh) 一种图像清晰度的评价方法、自动聚焦的方法及相应装置
CN104364824A (zh) 物体检测装置
US8860840B2 (en) Light source estimation device, light source estimation method, light source estimation program, and imaging apparatus
US9699386B2 (en) Image processing apparatus and method
JP7024736B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN102687501A (zh) 图像处理装置、摄像装置及图像处理方法
JP6722041B2 (ja) 監視システム
KR101695246B1 (ko) 광원 추정 장치 및 광원 추정 방법
US20110085026A1 (en) Detection method and detection system of moving object
WO2020027210A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
KR20200135196A (ko) 화상처리장치, 그 제어 방법, 촬상 장치, 감시 시스템 및 기록매체
JP6525503B2 (ja) 画像処理装置および撮像装置
WO2022196038A1 (ja) 情報処理装置と情報処理方法およびプログラム
CN113252207B (zh) 一种电气设备金属表面温差检测方法和系统
JP6525723B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
Tominaga et al. Scene illuminant estimation of multiple light sources
WO2013114802A1 (ja) 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
JP6906084B2 (ja) カラーカメラ装置及び光学部品
WO2022097377A1 (ja) 情報処理装置と情報処理方法およびプログラム
JP2016200742A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22770800

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023506771

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18276364

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280020576.7

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22770800

Country of ref document: EP

Kind code of ref document: A1