WO2018230119A1 - 撮像装置と撮像素子および画像処理方法 - Google Patents

撮像装置と撮像素子および画像処理方法 Download PDF

Info

Publication number
WO2018230119A1
WO2018230119A1 PCT/JP2018/014915 JP2018014915W WO2018230119A1 WO 2018230119 A1 WO2018230119 A1 WO 2018230119A1 JP 2018014915 W JP2018014915 W JP 2018014915W WO 2018230119 A1 WO2018230119 A1 WO 2018230119A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
component
polarization
polarized
pixels
Prior art date
Application number
PCT/JP2018/014915
Other languages
English (en)
French (fr)
Inventor
哲平 栗田
俊 海津
康孝 平澤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880034579.XA priority Critical patent/CN110741632B/zh
Priority to US16/619,170 priority patent/US11108951B2/en
Priority to DE112018002992.1T priority patent/DE112018002992T5/de
Priority to JP2019525132A priority patent/JP7006690B2/ja
Publication of WO2018230119A1 publication Critical patent/WO2018230119A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled

Definitions

  • This technology relates to an imaging device, an imaging device, and an image processing method, and enables acquisition of a non-polarized image with high resolution and sensitivity and a reflection component for each color component.
  • an imaging apparatus capable of acquiring not only a color image but also a polarized image.
  • an optical filter having a polarizing filter layer is arranged in front of a Bayer array image sensor.
  • As a polarizing filter layer in order to make either one of the horizontal polarization component and the vertical polarization component of incident light enter only one of two G pixels (green pixels) included in a pixel group consisting of four pixels adjacent vertically and horizontally.
  • a polarizer for making the horizontal polarization component of incident light incident on one of the two G pixels, and a polarizer for making the vertical polarization component of incident light incident on the other A configuration for forming a polarizer for making the horizontally polarized component of incident light incident on an R pixel (red pixel) and a B pixel (blue pixel) is shown.
  • a polarizer for making a vertical polarization component incident, and a polarizer for making a horizontal polarization component of incident light incident on a G pixel diagonally separated from one G pixel by one pixel, and four pixel groups adjacent vertically and horizontally The structure which forms periodically as a unit is shown. Furthermore, a configuration is also shown in which a polarizer for making any one of a horizontal polarization component and a vertical polarization component of incident light incident is formed as a stripe pattern.
  • a horizontal polarization component image, a vertical polarization component image, a color image, and the like are generated by using pixel values for each color generated by an image sensor in which an optical filter having such a polarization filter layer is arranged in the previous stage. ing.
  • Patent Document 1 in a configuration in which a polarizer is provided only in the G pixel, it is not possible to acquire a reflection component for a red component or a blue component.
  • polarizers are provided for two G pixels, one red pixel, and blue pixel of a pixel group, the sensitivity of each pixel decreases.
  • the polarizer is formed as a stripe pattern, the resolution in the direction orthogonal to the stripe direction is deteriorated with respect to the non-polarized pixel.
  • an object of this technique is to provide an imaging device, an imaging element, and an image processing method that can acquire a non-polarized image with high resolution and sensitivity and a reflection component for each color component.
  • the first aspect of this technology is Of the 4 ⁇ 4 pixel region of the image sensor, pixels including at least each of the plurality of color components are polarization pixels having the same polarization direction, and pixels other than the polarization pixel are a majority and non-polarized light of the 4 ⁇ 4 pixel region.
  • An imaging unit that is a pixel;
  • An imaging apparatus comprising: an image processing unit that calculates at least one of a non-polarization component and a diffuse reflection component for each pixel using the pixel signal of the polarization pixel and the pixel signal of the non-polarization pixel generated by the imaging unit It is in.
  • the imaging unit includes a pixel including at least each color component of a plurality of color components in the 4 ⁇ 4 pixel region of the image sensor, which is a polarization pixel in the same polarization direction, and pixels excluding the polarization pixel are 4 ⁇ 4 pixels.
  • the majority of the areas are non-polarized pixels.
  • the object to be imaged is irradiated with polarized light having a polarization direction orthogonal to the polarization direction of the polarization pixel of the image sensor as illumination light, and imaging is performed.
  • the image processing unit calculates the non-polarization component and the diffuse reflection component based on the pixel signal of the non-polarization pixel generated by the imaging unit and the polarization pixel for each color component, and the mirror surface based on the calculated non-polarization component and the diffuse reflection component
  • the reflection component is calculated for each color component, for example.
  • the non-polarized light component and the diffuse reflection component are calculated by, for example, filter processing using a pixel signal.
  • the image processing unit performs filtering using the pixel signal, calculates a low-frequency component for each color component for each pixel, and calculates a high-frequency component based on the pixel signal and the low-frequency component of the color component equal to the pixel for each pixel position. Calculate information.
  • the image processing unit calculates a non-polarization component and a diffuse reflection component for each color component from the high frequency component information calculated for each pixel position and the low frequency component for each color component. Further, the image processing unit may perform an interpolation process instead of the filter process. The image processing unit performs interpolation using the pixel signal of the non-polarized pixel of the same color as the polarized pixel, calculates the non-polarized component of the polarized pixel, and uses the pixel signal of the polarized pixel of the same color as the non-polarized pixel. Interpolation processing is performed to calculate the diffuse reflection component of the non-polarized pixel.
  • the image processing unit generates an output image signal by adjusting and synthesizing at least one of the calculated diffuse reflection component and specular reflection component. For example, the image processing unit combines the diffuse reflection component and the specular reflection component by reducing the component amount of the specular reflection component or by adjusting the component amount of only the diffuse reflection component.
  • the image processing unit performs subject recognition using a non-polarized component or a diffuse reflection component, and adjusts the amount of at least one of the diffuse reflection component and the specular reflection component for each recognized subject region.
  • the imaging unit adds signals from pixels having the same polarization characteristics and color components to generate pixel signals, and the image processing unit orthogonally intersects the arrangement direction of the pixels on which the signals are added. In this direction, image reduction processing is performed according to the number of pixels for which signal addition has been performed.
  • the second aspect of this technology is In a pixel region configured using pixels of a plurality of color components, pixels including at least each color component of the plurality of color components in the 4 ⁇ 4 pixel region are polarization pixels having the same polarization direction, and the 4 ⁇ 4 pixels
  • the imaging element is provided with a region in which pixels other than the polarized pixels in the region are majority and non-polarized pixels.
  • pixels including at least each color component of a plurality of color components in the 4 ⁇ 4 pixel region are polarization pixels in the same polarization direction, and a majority of pixels excluding the polarization pixels in the 4 ⁇ 4 pixel region are null.
  • it be a polarized pixel.
  • a 2 ⁇ 2 pixel region in a 4 ⁇ 4 pixel region is set as a polarization pixel in the same polarization direction including each color component.
  • four 2 ⁇ 2 pixel regions included in the 4 ⁇ 4 pixel region are configured by pixels of each color component, and one pixel in the 2 ⁇ 2 pixel region is a polarization pixel.
  • each 2 ⁇ 2 pixel region of the four 2 ⁇ 2 pixel regions included in the 4 ⁇ 4 pixel region is a pixel of the same color component.
  • the 4 ⁇ 4 pixel region composed of the polarization pixel and the non-polarization pixel is provided repeatedly or repeatedly at a predetermined interval, for example, in the pixel region composed of a plurality of color component pixels.
  • the third aspect of this technology is Of the 4 ⁇ 4 pixel region of the image sensor, pixels including at least each of the plurality of color components are polarization pixels having the same polarization direction, and pixels other than the polarization pixel are a majority and non-polarized light of the 4 ⁇ 4 pixel region.
  • the image processing method includes calculating at least one of a non-polarization component and a diffuse reflection component for each pixel using the pixel signal of the polarization pixel and the pixel signal of the non-polarization pixel acquired from the imaging unit.
  • pixels including at least each color component of a plurality of color components are polarization pixels in the same polarization direction, and pixels excluding the polarization pixels are 4 ⁇ .
  • the majority of the four pixel areas are non-polarized pixels.
  • the image processing unit calculates a non-polarization component and a diffuse reflection component for each pixel using the pixel signal of the polarization pixel and the pixel signal of the non-polarization pixel generated by the imaging unit. Therefore, a non-polarized image with high resolution and sensitivity and a reflection component for each color component can be acquired. Note that the effects described in the present specification are merely examples and are not limited, and may have additional effects.
  • FIG. 1 It is a figure which shows the structure of an imaging device. It is a figure which shows the relationship between the polarization pixel of an imaging part, and the illumination light of an illumination part. It is a figure which shows pixel arrangement
  • FIG. 1 illustrates a configuration of an imaging apparatus according to the present technology.
  • the imaging device 10 includes an imaging unit 20 and an image processing unit 30. Further, the imaging device 10 may include the illumination unit 40, and the illumination unit 40 may be provided separately from the imaging device 10. The illumination unit 40 performs an illumination operation in synchronization with the imaging device 10.
  • the imaging device used in the imaging unit 20 has a configuration in which a color filter and a polarizer are provided on an imaging surface of a sensor unit such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device).
  • a color filter a mosaic filter is used.
  • the pixel array of the image sensor is an array including an R pixel (red pixel), a G pixel (green pixel), and a B pixel (blue pixel) in a 4 ⁇ 4 pixel region. Yes.
  • the polarizer includes a pixel including at least each color component of the plurality of color components in the same polarization direction, and a pixel excluding the polarization pixel is a majority and non-polarized pixel in the 4 ⁇ 4 pixel region. It is comprised so that.
  • a 4 ⁇ 4 pixel region at least one of an R pixel (red pixel), a G pixel (green pixel), and a B pixel (blue pixel) is a polarization pixel having the same polarization direction.
  • the pixels other than the pixels are provided so as to be a majority of the 4 ⁇ 4 pixel region and non-polarized pixels of each color component.
  • the 4 ⁇ 4 pixel region that is the pixel arrangement described above is repeatedly or repeatedly provided at a predetermined interval.
  • the image capturing unit 20 captures a still image or a moving image at the timing when the illumination light is irradiated from the illumination unit 40, and outputs the generated pixel signals of the polarized pixels and the non-polarized pixels to the image processing unit 30. Further, the imaging unit 20 may perform white balance adjustment so that the image processing unit 30 can calculate the non-polarization component and the diffuse reflection component using the pixel signal after the white balance adjustment, as will be described later. The white balance adjustment may be performed by the image processing unit 30.
  • the illumination unit 40 irradiates the subject with polarized light as illumination light.
  • the illumination unit 40 irradiates illumination light in synchronization with the imaging operation of the imaging unit 20 so that the imaging operation of the imaging unit 20 can be performed at the timing when the illumination light is irradiated from the illumination unit 40 as described above. To do.
  • the polarization direction of the polarized light emitted from the illumination unit 40 is set so that the specular reflection component in the reflected light from the subject is removed when the imaging unit 20 performs an imaging operation by irradiating the illumination light. .
  • the polarization direction of the polarized light emitted from the illumination unit 40 is set to be orthogonal to the polarization direction of the polarization pixel in the imaging unit 20.
  • FIG. 2 shows the relationship between the polarization pixel of the imaging unit and the illumination light of the illumination unit.
  • the polarizer 22 provided on the incident surface side of the sensor unit 21 in the imaging unit 20 is, for example, a wire grid type, and the grid direction is the vertical direction.
  • the illumination unit 40 is configured using a light source 41 and, for example, a wire grid type polarizer 42, and the grid direction of the polarizer 42 is a horizontal direction orthogonal to the grid direction of the polarizer 22 of the imaging unit 20. To do. In this case, linearly polarized light whose polarization direction is the vertical direction is irradiated from the illumination unit 40 to the subject OB. Further, the reflected light from the subject OB is extracted by the polarizer 22 in the horizontal direction and is incident on the sensor unit 21.
  • a pixel signal based on the reflected light from the subject OB is generated in the non-polarized pixel in the imaging unit 20, and a pixel signal based on the horizontal polarization component in the reflected light from the subject OB is generated in the polarized pixel.
  • the image processing unit 30 includes, for example, a non-polarization component calculation unit 31, a diffuse reflection component calculation unit 32, a specular reflection component calculation unit 33, and a reflection component adjustment unit 34.
  • the non-polarization component calculation unit 31 calculates the non-polarization component using the non-polarization pixel and the pixel signal of the polarization pixel supplied from the imaging unit 20 and outputs the non-polarization component to the specular reflection component calculation unit 33.
  • the diffuse reflection component calculation unit 32 calculates a diffuse reflection component using the pixel signals of the non-polarized pixel and the polarized pixel supplied from the imaging unit 20 and outputs the diffuse reflection component to the specular reflection component calculation unit 33 and the reflection component adjustment unit 34.
  • the specular reflection component calculation unit 33 calculates a specular reflection component based on the non-polarization component calculated by the non-polarization component calculation unit 31 and the diffuse reflection component calculated by the diffuse reflection component calculation unit 32, thereby reflecting the reflection component adjustment unit. 34.
  • the reflection component adjustment unit 34 uses the diffuse reflection component calculated by the diffuse reflection component calculation unit 32 and the specular reflection component calculated by the specular reflection component calculation unit 33 to output an output image having a reflection component at a desired level. Generate.
  • FIG. 3 shows a pixel arrangement of the imaging unit.
  • the imaging unit 20-1 is configured such that a pixel area formed by using pixels of a plurality of color components has an R pixel, a G pixel, and a B pixel arranged in a Bayer array.
  • the G pixel in which the R pixel is located on the left or right side is also referred to as a Gr pixel
  • the G pixel in which the B pixel is located on the left side or right side is also referred to as a Gb pixel.
  • a 2 ⁇ 2 pixel region composed of an R pixel, a B pixel, and two G pixels (Gr pixel and Gb pixel) is set as a color pixel array unit.
  • FIG. 3A shows a configuration in which the pixels in the upper left 2 ⁇ 2 pixel region are polarized pixels.
  • 3B is a configuration in which a pixel in the center 2 ⁇ 2 pixel region is a polarization pixel
  • FIG. 3C is a pixel in the lower left 2 ⁇ 2 pixel region is a polarization pixel.
  • FIG. 3D illustrates a configuration in which a pixel in the 2 ⁇ 2 pixel region at the center of the right end is a polarization pixel.
  • the configuration of the imaging unit 20-1 only needs to be a configuration in which a pixel in one 2 ⁇ 2 pixel region in a 4 ⁇ 4 pixel region is a polarization pixel and another image is a non-polarization pixel, and is illustrated in FIG.
  • the configuration is not limited.
  • the imaging unit 20-1 is repeatedly provided with the 4 ⁇ 4 pixel region configured as described above.
  • the imaging unit 20-1 performs white balance adjustment on the pixel signals Rs, Gs, and Bs generated by the sensor unit. Specifically, the calculation of Expressions (1) to (3) is performed using the preset white balance adjustment gains Rwg, Gwg, and Bwg for each color, and the pixel signals R, G, and B after the white balance adjustment are performed. And output to the image processing unit 30.
  • the pixel signals Rs and R are pixel signals of the R pixel, the pixel signals Gs and G are pixel signals of the G pixel, and the pixel signals Bs and B are pixel signals of the B pixel.
  • R Rs ⁇ Rwg (1)
  • G Gs x Gwg (2)
  • B Bs x Bwg (3)
  • the non-polarization component calculation unit 31 of the image processing unit 30 calculates the non-polarization component for each color using the pixel signals R, G, and B after white balance adjustment.
  • the non-polarization component calculation unit 31 assumes that the ratio between the low-frequency component and the high-frequency component in each pixel is the same for each color component, and the pixel value of the calculation target pixel of the non-polarization component and the same color component and the same polarization characteristic of the calculation target pixel.
  • High frequency component information corresponding to the relationship between the low frequency component and the high frequency component is calculated from the low frequency component.
  • the non-polarization component calculation unit 31 calculates a non-polarization component for each color component in the calculation target pixel based on the calculated high-frequency component information and the non-polarization low-frequency component in the calculation target pixel.
  • the non-polarization component calculation unit 31 performs filter processing using the pixel signals R, G, and B, and calculates a low-frequency component for each color component for each pixel using the pixel signal of the non-polarization pixel. In addition, the non-polarization component calculation unit 31 calculates high-frequency component information based on the pixel signal and the low-frequency component of the color component equal to the pixel for each pixel, and calculates the high-frequency component information calculated for each pixel and the low-frequency for each color component. A non-polarized component is calculated for each color component from the frequency component. The non-polarization component calculation unit 31 uses a high frequency component coefficient as the high frequency component information.
  • the high frequency component coefficient is a coefficient according to the relationship between the low frequency component and the high frequency component included in the calculation target pixel, for example, a value obtained by dividing the pixel value of the calculation target pixel by the low frequency component of the color component of the calculation target pixel; To do. Therefore, the high frequency component coefficient becomes a large value as the low frequency component in the calculation target pixel decreases, and the high frequency component coefficient becomes a small value as the low frequency component in the calculation target pixel increases. Further, the pixel value of the calculation target pixel including the low frequency component and the high frequency component can be calculated by multiplying the low frequency component by the high frequency component coefficient.
  • the non-polarization component calculation unit 31 performs weighting filter processing on the calculation target pixel and calculates a low frequency component.
  • FIG. 4 exemplifies filter coefficients, and shows a case where filter processing is performed using a pixel signal in a pixel range (filter calculation range) of 9 ⁇ 9 pixels centering on the calculation target pixel.
  • FIG. 5 is a diagram for explaining a low-frequency component calculation operation for a non-polarized G pixel.
  • calculation target pixels are indicated by double frame lines, and pixels used for calculation of low frequency components are indicated by thick line frames.
  • Formula (4) shows a formula for calculating the low frequency component GLPF in the case of FIG. GV (x, y) represents the pixel value of the G pixel at the pixel position (x, y) with the calculation target pixel as a reference.
  • GLPF (1 ⁇ GV ( ⁇ 4, ⁇ 4) + 14 ⁇ GV (0, ⁇ 4) + 1 ⁇ GV (4, ⁇ 4) + 16 x GV (-3, -3) + 48 x GV (-1, -3) + ... +1 x GV (4, 4)) / (1 + 4 + 1 + 15 + 48 + ... + 1) (4)
  • the non-polarized light component calculation unit 31 multiplies the low-frequency component and the high-frequency component coefficient to obtain a green non-polarized light component Gnp in the calculation target pixel, as shown in Expression (6).
  • Gnp HPF ⁇ GLPF (6)
  • the high-frequency component coefficient HPF is calculated using the pixel value of the G pixel.
  • the non-polarization component calculation unit 31 has the same color as the pixel value of the R pixel.
  • the high frequency component coefficient HPF is calculated using the low frequency component of the component.
  • the non-polarized component calculation unit 31 calculates a high frequency component coefficient HPF using a low frequency component having the same color component as the pixel value of the B pixel.
  • the non-polarization component calculation unit 31 performs the above-described processing for each pixel position of the non-polarization pixel, and calculates a non-polarization component for each color component for each pixel of the non-polarization pixel.
  • the non-polarization component calculation unit 31 calculates the low frequency component as described above. That is, the non-polarization component calculation unit 31 performs weighting according to the pixel position with respect to the pixel value of the non-polarization R pixel (G pixel, B pixel) within the filter calculation range, and calculates the sum of the weighted pixel values. calculate. Further, the non-polarization component calculation unit 31 calculates the low frequency components RLPF (GLPF, BLPF) by dividing the weighted sum of the pixel values by the weight sum used for weighting.
  • RLPF low frequency components
  • the non-polarization component calculation unit 31 performs weighting filter processing using the pixel signal of the polarization pixel having the same color as the calculation target pixel, calculates a low frequency component, and divides the pixel value of the calculation target pixel by the low frequency component. Then, the high frequency component coefficient HPF is calculated.
  • a polarization pixel (G pixel) indicated by a broken line frame is a calculation target pixel
  • the non-polarization component calculation unit 31 is a G pixel that is a polarization pixel within a filter calculation range based on the calculation target pixel.
  • the pixel values are weighted according to the pixel position, and the sum of the weighted pixel values is calculated.
  • the non-polarization component calculation unit 31 calculates the low frequency component GLPFp by dividing the sum of the weighted pixel values by the sum of the weights used for weighting.
  • the non-polarization component calculation unit 31 calculates the high frequency component coefficient at the pixel position of the calculation target pixel by dividing the pixel value of the calculation target pixel by the low frequency component of the same polarization component and the same color component. That is, when the calculation target pixel which is a polarization pixel is the pixel value G (0,0) p, the calculation of Expression (9) is performed to calculate the high frequency component coefficient HPF.
  • HPF GV (0,0) p / GLPFp (9)
  • the non-polarization component calculation unit 31 uses the calculated high-frequency component coefficient HPF and the low-frequency component RLPF (GLPF, BLPF) for each color component calculated using the non-polarization pixel with respect to the calculation target pixel, to formulas (6) to (6)
  • the calculation of (8) is performed to calculate a non-polarized component for each color component for each pixel of the polarized pixel.
  • the non-polarization component calculation unit 31 outputs the non-polarization image PRnp, PGnp, and PBnp image signals for each color component in FIG. 6 indicating the non-polarization component calculated in each pixel to the specular reflection component calculation unit 33.
  • the diffuse reflection component calculation unit 32 generates a diffuse reflection component signal for each color using the pixel signals R, G, and B after white balance adjustment.
  • the diffuse reflection component calculation unit 32 assumes that the ratio of the low frequency component and the high frequency component in each pixel is the same for each color component, and the pixel value of the calculation target pixel of the polarization diffusion component and the same color component and the same polarization characteristic of the calculation target pixel. High frequency component information corresponding to the relationship between the low frequency component and the high frequency component is calculated from the low frequency component. Further, the diffuse reflection component calculation unit 32 calculates the diffuse reflection polarization component for each color component in the calculation target pixel based on the calculated high frequency component information and the low frequency component of the polarization in the calculation target pixel.
  • the diffuse reflection component calculation unit 32 performs filter processing using the pixel signals R, G, and B, and calculates a low frequency component for each color component for each pixel using the pixel signal of the polarization pixel. Further, the diffuse reflection component calculation unit 32 calculates high frequency component information for each pixel based on the pixel signal and the low frequency component of the color component equal to the pixel, and calculates the high frequency component information calculated for each pixel and the low frequency for each color component. A diffuse reflection component is calculated for each color component from the frequency component. Further, the diffuse reflection component calculation unit 32 corrects the dimming caused by the polarizer with respect to the calculated diffuse reflection component.
  • the diffuse reflection component calculation unit 32 performs a weighting filter process on the calculation target pixel and calculates a low frequency component.
  • the filter coefficient is the same as that of the non-polarized component calculation unit 31 so that the diffuse reflection component image can be generated with the same characteristics as the generation of the non-polarized component image, for example.
  • the diffuse reflection component calculation unit 32 performs weighting filter processing using the pixel signal of the R pixel in the polarization pixel. Further, when the calculation target pixel is a B pixel, the diffuse reflection component calculation unit 32 performs weighting filter processing using the pixel signal of the B pixel in the polarization pixel, and when the calculation target pixel is a G pixel, Weighting filter processing is performed using the pixel signal of the G pixel.
  • the diffuse reflection component calculation unit 32 when performing weighting filter processing of G pixels, the diffuse reflection component calculation unit 32 weights the pixel values of the G pixels in the polarization pixels within the filter calculation range according to the pixel position, and calculates the weighted pixel values. Calculate the sum. Further, the diffuse reflection component calculation unit 32 calculates the low frequency component GLPFp by dividing the sum of the weighted pixel values by the sum of the weights used for weighting.
  • the diffuse reflection component calculation unit 32 divides the pixel value of the calculation target pixel by the low-frequency component of the same polarization component and the same color component to calculate a high-frequency component coefficient at the pixel position of the calculation target pixel.
  • the calculation target pixel is the pixel value GV (0,0) p
  • the calculation of Expression (10) is performed to calculate the high frequency component coefficient HPFp.
  • HPFp GV (0,0) p / GLPFp (10)
  • the diffuse reflection component calculation unit 32 multiplies the low frequency component and the high frequency component coefficient as shown in Expression (11) to obtain a green diffuse component Gp in the calculation target pixel.
  • Gp HPFp ⁇ GLPFp (11)
  • the diffuse reflection component calculation unit 32 calculates the high frequency component coefficient HPFp using the pixel value of the R pixel in the polarization pixel when the polarization pixel at the position of the calculation target pixel is the R pixel. Further, when the polarization pixel at the position of the calculation target pixel is a B pixel, the diffuse reflection component calculation unit 32 calculates the high frequency component coefficient HPFp using the pixel value of the B pixel in the polarization pixel.
  • the diffuse reflection component calculation unit 32 performs the above processing for each pixel position of the polarization pixel, and calculates a diffuse reflection signal component for each color component for each pixel position of the polarization pixel.
  • the diffuse reflection component calculation unit 32 calculates the low frequency component as described above. That is, the diffuse reflection component calculation unit 32 weights the pixel values of the R pixels (G pixels, B pixels) in the polarization pixels within the filter calculation range according to the pixel position, and calculates the sum of the weighted pixel values. calculate. Further, the diffuse reflection component calculation unit 32 calculates the low frequency components RLPFp (GLPFp, BLPFp) by dividing the sum of the weighted pixel values by the sum of the weights used for weighting.
  • the diffuse reflection component calculation unit 32 calculates a low-frequency component of the calculation target pixel by filtering using a pixel signal of a non-polarized pixel having the same color component as the calculation target pixel, and calculates a pixel value of the calculation target pixel.
  • the high frequency component coefficient HPFp is calculated by dividing by the low frequency component. For example, when the calculation target pixel is a non-polarized G pixel, the diffuse reflection component calculation unit 32 responds to the pixel position with respect to the pixel value of the non-polarization G pixel within the filter calculation range with the calculation target pixel as a reference. The total weight of the pixel values after weighting is calculated.
  • the diffuse reflection component calculation unit 32 uses the calculated high-frequency component coefficient HPFp and the low-frequency components RLPFp (GLPFp, BLPFp) calculated using the polarization pixel for the calculation target pixel, to calculate the expressions (11) to (13). And a diffuse reflection component for each color component is calculated for each non-polarized pixel.
  • the diffuse reflection component calculation unit 32 performs the calculation of Expression (15) using the transmittance r of the polarizer, corrects the light attenuation by the polarizer, and calculates the diffuse reflection component of each pixel.
  • “Ip” indicates diffuse reflection components Rq, Gq, and Bq before correcting the dimming by the polarizer
  • the diffuse reflection component calculation unit 32 outputs the diffuse reflection component image PRdif, PGdif, PBdif image signal for each color component in FIG. 7 indicating the diffuse reflection component calculated in each pixel to the specular reflection component calculation unit 33.
  • the specular reflection component calculation unit 33 calculates the specular reflection component Ispe by subtracting the diffuse reflection component from the non-polarized component for each pixel position for each color component, as shown in Expression (16). “Inp” is a non-polarized component Rnp, Gnp, Bnp for each color component, and “Ispe” is a specular reflection component Rnp, Gnp, Bnp for each color component.
  • the specular reflection component calculation unit 33 outputs an image signal of a specular reflection component image indicating the specular reflection component calculated in each pixel to the reflection component adjustment unit 34.
  • Ispe Inp ⁇ Idif (16)
  • the reflection component adjustment unit 34 combines the diffuse reflection component calculated by the diffuse reflection component calculation unit 32 and the specular reflection component calculated by the specular reflection component calculation unit 33 to generate an image signal in which the reflection component is adjusted. And output. The details of the operation of the reflection component adjustment unit 34 will be described later.
  • FIG. 8 is a flowchart showing the operation of the image processing unit.
  • the image processing unit calculates a non-polarized component.
  • the image processing unit 30 performs weighting filter processing using the pixel signal of the non-polarized pixel, and calculates a low frequency component for each pixel position for each color component. Further, the image processing unit 30 divides the pixel value of the non-polarized pixel by the low frequency component of the same color component, calculates a high frequency component coefficient for each pixel position of the non-polarized pixel, and the high frequency component coefficient and the color component The low-frequency component for each color component is multiplied to calculate a non-polarized component for each color component for each pixel position of the non-polarized pixel.
  • the image processing unit 30 performs weighting filter processing using the pixel value of the polarization pixel, and calculates a low frequency component of the same color component as that of the polarization pixel for each polarization pixel. Further, the image processing unit 30 divides the pixel value of the polarization pixel by the low frequency component of the same color component, and calculates a high frequency component coefficient for each polarization pixel. Further, the image processing unit 30 multiplies the high-frequency component coefficient by the low-frequency component for each color component at the polarization pixel position calculated by the weighting filter processing using the pixel signal of the non-polarized pixel for each polarization pixel. The non-polarized component of the pixel is calculated for each color component. In this way, the image processing unit 30 calculates the non-polarized component for each color component for the polarized pixel and the non-polarized pixel, and proceeds to step ST2.
  • the image processing unit calculates a diffuse reflection component.
  • the image processing unit 30 performs weighting filter processing using the pixel value of the polarization pixel, and calculates a low frequency component for each color component for each polarization pixel. Further, the image processing unit 30 divides the pixel value of the polarization pixel by the low frequency component of the same color component, calculates a high frequency component coefficient for each polarization pixel, and the high frequency component coefficient and the low frequency component for each color component Is multiplied for each polarization pixel, and the diffuse reflection component in the polarization pixel is calculated for each color component.
  • the image processing unit 30 performs weighting filter processing using the pixel signal of the non-polarized pixel, and calculates a low frequency component having the same color component as that of the non-polarized pixel. Further, the image processing unit 30 divides the pixel value of the non-polarized pixel by the low-frequency component of the same color component to calculate a high-frequency component coefficient for each non-polarized pixel. Further, the image processing unit 30 multiplies the low-frequency component for each color component at the non-polarized pixel position calculated by the weighting filter processing using the high-frequency component coefficient and the pixel signal of the polarized pixel for each non-polarized pixel. The diffuse reflection component in the polarization pixel is calculated for each color component. As described above, the image processing unit 30 calculates the diffuse reflection component of the polarized pixel and the non-polarized pixel for each color component, and proceeds to step ST3.
  • step ST3 the image processing unit calculates a specular reflection component.
  • the image processing unit 30 performs a process of subtracting the diffuse reflection component from the non-polarized component for each color component in each pixel, calculates the specular reflection component for each color component, and proceeds to step ST4.
  • step ST4 the image processing unit performs reflection component adjustment processing.
  • the image processing unit 30 performs a process of adding the diffuse reflection component and the specular reflection component at a desired ratio for each color component, and obtains an output image in which the reflection component is adjusted.
  • the operation of the image processing unit 30 is not limited to the order shown in FIG.
  • the calculation of the diffuse reflection component shown in step ST2 may be performed before the calculation of the non-polarized light component shown in step ST1. If parallel processing is possible, the calculation of the non-polarized light component and the calculation of the diffuse reflection component may be performed in parallel.
  • the R pixel, the G pixel, and the B pixel are provided in a Bayer array, and one 2 ⁇ 2 pixel region included in the 4 ⁇ 4 pixel region.
  • a pixel in (color pixel array unit) is a polarization pixel, and the other pixels are non-polarization pixels.
  • the image processing unit 30 calculates a non-polarized component, a diffuse reflection component, and a specular reflection component for each color component using the image signal generated by the imaging unit 20-1. Therefore, it is possible to acquire a non-polarized image with high resolution and sensitivity and reflection components for each color.
  • the imaging unit 20-1 of the first embodiment has the R pixel, the G pixel, and the B pixel arranged in a Bayer arrangement, even if a subject with a fine pattern is imaged, the captured image with less moire Can be obtained.
  • FIG. 9 shows a pixel arrangement of the imaging unit.
  • the imaging unit 20-2 is configured such that a pixel area formed by using pixels of a plurality of color components has an R pixel, a G pixel, and a B pixel arranged as a Bayer array. Further, a 2 ⁇ 2 pixel region composed of an R pixel, a B pixel, and two G pixels (Gr pixel and Gb pixel) is set as a color pixel array unit.
  • the imaging unit 20-2 uses one R pixel, one B pixel, and two G pixels in the 4 ⁇ 4 pixel area, with different color component pixels as polarization pixels in each color pixel array unit included in the 4 ⁇ 4 pixel area. (Gr pixel and Gb pixel) polarization pixels are included.
  • FIG. 9A shows a Gr pixel in the upper left 2 ⁇ 2 pixel region as a polarization pixel, a B pixel in the upper right 2 ⁇ 2 pixel region as a polarization pixel, and an R in the lower left 2 ⁇ 2 pixel region.
  • a configuration in which the pixel is a polarization pixel and the Gb pixel in the lower right 2 ⁇ 2 pixel region is a polarization pixel is shown.
  • FIG. 9B shows an R pixel in the upper left 2 ⁇ 2 pixel region as a polarized pixel, a B pixel in the upper right 2 ⁇ 2 pixel region as a polarized pixel, and a Gb in the lower left 2 ⁇ 2 pixel region.
  • FIG. 9C shows a Gb pixel in the upper left 2 ⁇ 2 pixel region as a polarization pixel, an R pixel in the upper right 2 ⁇ 2 pixel region as a polarization pixel, and a B pixel in the lower left 2 ⁇ 2 pixel region.
  • FIG. 9C shows a Gb pixel in the upper left 2 ⁇ 2 pixel region as a polarization pixel, an R pixel in the upper right 2 ⁇ 2 pixel region as a polarization pixel, and a B pixel in the lower left 2 ⁇ 2 pixel region.
  • FIG. 9C shows a Gb pixel in the upper left 2 ⁇ 2 pixel region as a polarization pixel, an R pixel in the upper right 2 ⁇ 2 pixel region as a polarization pixel, and a B pixel in the lower left 2 ⁇ 2 pixel region.
  • FIG. 9C shows a Gb pixel in the upper left 2 ⁇ 2 pixel region as a polarization
  • FIG. 9D shows a B pixel in the upper left 2 ⁇ 2 pixel region as a polarization pixel, a Gr pixel in the upper right 2 ⁇ 2 pixel region as a polarization pixel, and a Gb in the lower left 2 ⁇ 2 pixel region.
  • a configuration in which the pixel is a polarization pixel and the R pixel in the lower right 2 ⁇ 2 pixel region is a polarization pixel is shown.
  • the imaging unit 20-2 is repeatedly provided with the 4 ⁇ 4 pixel region configured as described above.
  • the imaging unit 20-2 performs white balance adjustment on the pixel signals Rs, Gs, and Bs generated by the sensor unit in the same manner as in the first embodiment, and the image signals R, G, and B after white balance adjustment are performed. And output to the image processing unit 30.
  • the non-polarized component calculation unit 31 of the image processing unit 30 calculates the non-polarized component for each color using the pixel signals R, G, and B after the white balance adjustment, as in the first embodiment.
  • the non-polarization component calculation unit 31 performs weighting filter processing using the pixel value of the non-polarization pixel, and calculates a low frequency component for each pixel position for each color component. Further, the non-polarization component calculation unit 31 calculates the high-frequency component coefficient HPF for each pixel position of the non-polarization pixel by dividing the pixel value of the non-polarization pixel by the low-frequency component of the same color component.
  • non-polarization component calculation unit 31 performs the calculations of the above formulas (6) to (8) using the calculated high-frequency component coefficient and the low-frequency component calculated using the non-polarization pixel, and performs the calculation for each non-polarization pixel
  • the non-polarized component is calculated for each color component.
  • the non-polarization component calculation unit 31 performs weighting filter processing using the pixel value of the polarization pixel, and calculates a low frequency component of the color component of the polarization pixel for each pixel position of the polarization pixel. In addition, the non-polarization component calculation unit 31 divides the pixel value of the polarization pixel by the low frequency component of the same color component, and calculates a high frequency component coefficient for each polarization pixel. Furthermore, the non-polarization component calculation unit 31 performs multiplication of the low-frequency component for each color component at the polarization pixel position calculated by the weighting filter processing using the pixel signal of the non-polarization pixel for each polarization pixel. The non-polarized component of the polarization pixel is calculated for each color component.
  • the non-polarization component calculation unit 31 performs the above-described processing for each pixel, calculates the non-polarization component for each color component in each pixel of the non-polarization pixel and the polarization pixel, and displays the non-polarization component for each color component in FIG.
  • the image signals of the non-polarized images PRnp, PGnp, and PBnp are output to the specular reflection component calculation unit 33.
  • the diffuse reflection component calculation unit 32 generates a diffuse reflection component signal for each color using the pixel signals R, G, and B after white balance adjustment, as in the first embodiment.
  • the diffuse reflection component calculation unit 32 performs weighting filter processing using the pixel value of the polarization pixel, and calculates a low frequency component for each color component for each color component.
  • the diffuse reflection component calculation unit 32 divides the pixel value of the polarization pixel by the low frequency component of the same color component, and calculates a high frequency component coefficient for each polarization pixel. Further, the diffuse reflection component calculation unit 32 performs the calculations of the above formulas (11) to (13) using the calculated high frequency component coefficient and the low frequency component calculated using the polarization pixel, and diffuses each polarization pixel.
  • a reflection component is calculated for each color component. Further, the diffuse reflection component calculation unit 32 performs weighting filter processing using the pixel signal of the non-polarized pixel, and calculates a low frequency component having the same color component as that of the non-polarized pixel. The diffuse reflection component calculation unit 32 divides the pixel value of the non-polarized pixel by the low-frequency component of the same color component to calculate a high-frequency component coefficient for each non-polarized pixel. Further, the image processing unit 30 multiplies the low-frequency component for each color component at the non-polarized pixel position calculated by the weighting filter processing using the high-frequency component coefficient and the pixel signal of the polarized pixel for each non-polarized pixel.
  • the diffuse reflection component of the polarization pixel is calculated for each color component. Furthermore, the diffuse reflection component calculation unit 32 calculates the diffuse reflection component of each pixel by correcting the light attenuation by the polarizer using the transmittance r of the polarizer.
  • the diffuse reflection component calculation unit 32 performs the above processing for each pixel, calculates a diffuse reflection component for each color component in each of the non-polarized pixel and the polarized pixel, and displays the diffuse reflection component for each color component in FIG.
  • the diffuse reflection component images PRdif, PGdif, and PBdif are output to the specular reflection component calculation unit 33.
  • the specular reflection component calculation unit 33 calculates the specular reflection component by subtracting the diffuse reflection component from the non-polarized component for each pixel position for each pixel position, and calculates the specular reflection component image calculated for each pixel. Are output to the reflection component adjustment unit 34.
  • the reflection component adjustment unit 34 combines the diffuse reflection component calculated by the diffuse reflection component calculation unit 32 and the specular reflection component calculated by the specular reflection component calculation unit 33 to generate an image signal in which the reflection component is adjusted. And output.
  • the R pixel, the G pixel, and the B pixel are provided in a Bayer array, and each color pixel array unit included in the 4 ⁇ 4 pixel region, that is, R In a 2 ⁇ 2 pixel area color pixel array unit composed of pixels, B pixels, and two G pixels, different pixels are used as polarization pixels, and one R pixel, B pixel, and two G pixels in the 4 ⁇ 4 pixel area Is provided as a polarization pixel.
  • the image processing unit 30 calculates a non-polarized component, a diffuse reflection component, and a specular reflection component for each color using the image signal generated by the imaging unit 20-2. Therefore, it is possible to acquire a non-polarized image with high resolution and sensitivity and reflection components for each color.
  • the imaging unit 20-2 of the second embodiment is provided with R pixels, G pixels, and B pixels in a Bayer array. Therefore, even when a subject with a fine pattern is imaged, a captured image with less moire can be obtained. Furthermore, in the second embodiment, since the distance between the polarization pixels is small compared to the first embodiment, the resolution of the reflection component can be increased.
  • FIG. 10 shows a pixel arrangement of the imaging unit.
  • a pixel area configured by using pixels of a plurality of color components is configured by pixels of the same color component with a 2 ⁇ 2 pixel area as a color unit.
  • the imaging unit 20-3 has a configuration in which one R pixel, B pixel, and two G pixels are provided adjacent to the 2 ⁇ 2 pixel region in the 4 ⁇ 4 pixel region.
  • the R pixel located at the lower right in the upper left 2 ⁇ 2 pixel region is the polarization pixel
  • the lower left Gr pixel in the upper right 2 ⁇ 2 pixel region is the polarization pixel
  • the Gb pixel located at the upper right in the lower left 2 ⁇ 2 pixel region is a polarization pixel
  • the upper left B pixel in the lower right 2 ⁇ 2 pixel region is a polarization pixel
  • the R pixel located at the lower left in the 2 ⁇ 2 pixel region at the upper left is the polarization pixel
  • the Gr pixel at the lower right in the 2 ⁇ 2 pixel region at the upper right is the polarization pixel.
  • the Gb pixel located at the upper left in the lower left 2 ⁇ 2 pixel region is a polarization pixel
  • the upper right B pixel in the lower right 2 ⁇ 2 pixel region is a polarization pixel
  • the R pixel located at the upper right in the upper left 2 ⁇ 2 pixel region is the polarization pixel
  • the upper left Gr pixel in the upper right 2 ⁇ 2 pixel region is the polarization pixel
  • the Gb pixel located at the lower right in the lower left 2 ⁇ 2 pixel region is a polarization pixel
  • the lower left B pixel in the lower right 2 ⁇ 2 pixel region is a polarization pixel.
  • an R pixel located at the upper left in the upper left 2 ⁇ 2 pixel region is a polarization pixel
  • an upper right Gr pixel in the upper right 2 ⁇ 2 pixel region is a polarization pixel
  • the Gb pixel located at the lower left in the lower left 2 ⁇ 2 pixel region is a polarization pixel
  • the lower right B pixel in the lower right 2 ⁇ 2 pixel region is a polarization pixel.
  • the imaging unit 20-3 is repeatedly provided with the 4 ⁇ 4 pixel region configured as described above.
  • the imaging unit 20-3 performs white balance adjustment on the pixel signals Rs, Gs, and Bs generated by the sensor unit in the same manner as in the first and second embodiments, and the image signals R, G and B are generated and output to the image processing unit 30.
  • the non-polarized component calculation unit 31 of the image processing unit 30 calculates the non-polarized component for each color using the pixel signals R, G, and B after white balance adjustment. .
  • the non-polarization component calculation unit 31 performs weighting filter processing using the pixel value of the non-polarization pixel, and calculates a low frequency component for each pixel position for each color component. Further, the non-polarization component calculation unit 31 calculates the high-frequency component coefficient HPF for each pixel position of the non-polarization pixel by dividing the pixel value of the non-polarization pixel by the low-frequency component of the same color component.
  • non-polarization component calculation unit 31 performs the calculations of the above formulas (6) to (8) using the calculated high-frequency component coefficient and the low-frequency component calculated using the non-polarization pixel, and performs the calculation for each non-polarization pixel.
  • the non-polarized component is calculated for each color component.
  • the non-polarization component calculation unit 31 performs weighting filter processing using the pixel value of the polarization pixel, and calculates a low frequency component of the color component of the polarization pixel for each pixel position of the polarization pixel. In addition, the non-polarization component calculation unit 31 divides the pixel value of the polarization pixel by the low frequency component of the same color component, and calculates a high frequency component coefficient for each polarization pixel. Furthermore, the non-polarization component calculation unit 31 performs multiplication of the low-frequency component for each color component at the polarization pixel position calculated by the weighting filter processing using the pixel signal of the non-polarization pixel for each polarization pixel. The non-polarized component of the polarization pixel is calculated for each color component.
  • the non-polarization component calculation unit 31 performs the above-described processing for each pixel, calculates the non-polarization component for each color component in each pixel of the non-polarization pixel and the polarization pixel, and displays the polarization component for each color component in FIG.
  • the image signals of the non-polarized images PRnp, PGnp, and PBnp are output to the specular reflection component calculation unit 33.
  • the diffuse reflection component calculation unit 32 generates a diffuse reflection component signal for each color using the pixel signals R, G, and B after white balance adjustment.
  • the diffuse reflection component calculation unit 32 performs weighting filter processing using the pixel value of the polarization pixel, and calculates a low frequency component for each color component for each color component.
  • the diffuse reflection component calculation unit 32 divides the pixel value of the polarization pixel by the low frequency component of the same color component, and calculates a high frequency component coefficient for each polarization pixel. Further, the diffuse reflection component calculation unit 32 performs the calculations of the above formulas (11) to (13) using the calculated high frequency component coefficient and the low frequency component calculated using the polarization pixel, and diffuses each polarization pixel.
  • a reflection component is calculated for each color component. Further, the diffuse reflection component calculation unit 32 performs weighting filter processing using the pixel signal of the non-polarized pixel, and calculates a low frequency component having the same color component as that of the non-polarized pixel. The diffuse reflection component calculation unit 32 divides the pixel value of the non-polarized pixel by the low-frequency component of the same color component to calculate a high-frequency component coefficient for each non-polarized pixel. Further, the image processing unit 30 multiplies the low-frequency component for each color component at the non-polarized pixel position calculated by the weighting filter processing using the high-frequency component coefficient and the pixel signal of the polarized pixel for each non-polarized pixel.
  • the diffuse reflection component of the polarization pixel is calculated for each color component. Furthermore, the diffuse reflection component calculation unit 32 calculates the diffuse reflection component of each pixel by correcting the light attenuation by the polarizer using the transmittance r of the polarizer.
  • the diffuse reflection component calculation unit 32 performs the above processing for each pixel, calculates a diffuse reflection component for each color component in each of the non-polarized pixel and the polarized pixel, and displays the diffuse reflection component for each color component in FIG.
  • the diffuse reflection component images PRdif, PGdif, and PBdif are output to the specular reflection component calculation unit 33.
  • the specular reflection component calculation unit 33 calculates the specular reflection component by subtracting the diffuse reflection component from the non-polarized component for each pixel position for each pixel position, and calculates the specular reflection component image calculated for each pixel. Are output to the reflection component adjustment unit 34.
  • the reflection component adjustment unit 34 combines the diffuse reflection component calculated by the diffuse reflection component calculation unit 32 and the specular reflection component calculated by the specular reflection component calculation unit 33 to generate an image signal in which the reflection component is adjusted. And output.
  • the 2 ⁇ 2 pixel region is made up of the same color pixels as the color unit, and the R pixel color unit is arranged in the 4 ⁇ 4 pixel region. And two color units of B pixel and G pixel are provided. Further, the imaging unit 20-3 is configured such that in the 4 ⁇ 4 pixel region, a 2 ⁇ 2 pixel region including one R pixel, B pixel, and two G pixels is a polarization pixel region. Further, the image processing unit 30 calculates a non-polarized component, a diffuse reflection component, and a specular reflection component for each color using the image signal generated by the imaging unit 20-3. Therefore, it is possible to acquire a non-polarized image with high resolution and sensitivity and reflection components for each color.
  • the R pixel, the G pixel, and the B pixel are Bayer as in the first embodiment and the second embodiment. It is possible to obtain a captured image with less color mixing than in the case of providing as an array.
  • FIG. 11 shows a pixel arrangement of the imaging unit.
  • a pixel area configured by using pixels of a plurality of color components is configured by pixels of the same color component with a 2 ⁇ 2 pixel area as a color unit.
  • the imaging unit 20-4 has one pixel for each color unit area as a polarization pixel, and in the 4 ⁇ 4 pixel area, the polarization pixels are distributed every other pixel in the horizontal and vertical directions. It is configured.
  • an R pixel located at the upper right in the upper left 2 ⁇ 2 pixel region is a polarization pixel
  • an upper right Gr pixel in the upper right 2 ⁇ 2 pixel region is a polarization pixel
  • the Gb pixel located at the upper right in the lower left 2 ⁇ 2 pixel region is a polarization pixel
  • the upper right B pixel in the lower right 2 ⁇ 2 pixel region is a polarization pixel.
  • an R pixel located at the upper left in the upper left 2 ⁇ 2 pixel region is a polarization pixel
  • an upper left Gr pixel in the upper right 2 ⁇ 2 pixel region is a polarization pixel.
  • the Gb pixel located at the upper left in the lower left 2 ⁇ 2 pixel region is a polarization pixel
  • the upper left B pixel in the lower right 2 ⁇ 2 pixel region is a polarization pixel
  • the R pixel located at the lower left in the upper left 2 ⁇ 2 pixel region is the polarization pixel
  • the upper right Gr pixel in the upper right 2 ⁇ 2 pixel region is the polarization pixel
  • the Gb pixel located at the upper right in the lower left 2 ⁇ 2 pixel region is a polarization pixel
  • the lower left B pixel in the lower right 2 ⁇ 2 pixel region is a polarization pixel.
  • the R pixel located in the lower right in the upper left 2 ⁇ 2 pixel region is the polarization pixel
  • the upper left Gr pixel in the upper right 2 ⁇ 2 pixel region is the polarization pixel
  • the Gb pixel located at the lower left in the lower left 2 ⁇ 2 pixel region is a polarization pixel
  • the upper right B pixel in the lower right 2 ⁇ 2 pixel region is a polarization pixel.
  • the imaging unit 20-4 is repeatedly provided with the 4 ⁇ 4 pixel region configured as described above.
  • the imaging unit 20-4 performs white balance adjustment on the pixel signals Rs, Gs, and Bs generated by the sensor unit in the same manner as in the first to third embodiments, and the image signals R, G and B are generated and output to the image processing unit 30.
  • the non-polarized component calculation unit 31 of the image processing unit 30 calculates the non-polarized component for each color using the pixel signals R, G, and B after white balance adjustment. .
  • the non-polarization component calculation unit 31 performs weighting filter processing using the pixel value of the non-polarization pixel, and calculates a low frequency component for each pixel position for each color component. Further, the non-polarization component calculation unit 31 calculates the high-frequency component coefficient HPF for each pixel position of the non-polarization pixel by dividing the pixel value of the non-polarization pixel by the low-frequency component of the same color component.
  • non-polarization component calculation unit 31 performs the calculations of the above formulas (6) to (8) using the calculated high-frequency component coefficient and the low-frequency component calculated using the non-polarization pixel, and performs the calculation for each non-polarization pixel.
  • the non-polarized component is calculated for each color component.
  • the non-polarization component calculation unit 31 performs weighting filter processing using the pixel value of the polarization pixel, and calculates a low frequency component of the color component of the polarization pixel for each pixel position of the polarization pixel. In addition, the non-polarization component calculation unit 31 divides the pixel value of the polarization pixel by the low frequency component of the same color component, and calculates a high frequency component coefficient for each polarization pixel. Furthermore, the non-polarization component calculation unit 31 performs multiplication of the low-frequency component for each color component at the polarization pixel position calculated by the weighting filter processing using the pixel signal of the non-polarization pixel for each polarization pixel. The non-polarized component of the polarization pixel is calculated for each color component.
  • the non-polarization component calculation unit 31 performs the above-described processing for each pixel, calculates the non-polarization component for each color component in each pixel of the non-polarization pixel and the polarization pixel, and displays the non-polarization component for each color component in FIG.
  • the image signals of the non-polarized images PRnp, PGnp, and PBnp are output to the specular reflection component calculation unit 33.
  • the diffuse reflection component calculation unit 32 generates a diffuse reflection component signal for each color using the pixel signals R, G, and B after white balance adjustment, as in the first to third embodiments.
  • the diffuse reflection component calculation unit 32 performs weighting filter processing using the pixel value of the polarization pixel, and calculates a low frequency component for each color component for each color component.
  • the diffuse reflection component calculation unit 32 divides the pixel value of the polarization pixel by the low frequency component of the same color component, and calculates a high frequency component coefficient for each polarization pixel. Further, the diffuse reflection component calculation unit 32 performs the calculations of the above formulas (11) to (13) using the calculated high frequency component coefficient and the low frequency component calculated using the polarization pixel, and diffuses each polarization pixel.
  • a reflection component is calculated for each color component. Further, the diffuse reflection component calculation unit 32 performs weighting filter processing using the pixel signal of the non-polarized pixel, and calculates a low frequency component having the same color component as that of the non-polarized pixel. The diffuse reflection component calculation unit 32 divides the pixel value of the non-polarized pixel by the low-frequency component of the same color component to calculate a high-frequency component coefficient for each non-polarized pixel. Further, the image processing unit 30 multiplies the low-frequency component for each color component at the non-polarized pixel position calculated by the weighting filter processing using the high-frequency component coefficient and the pixel signal of the polarized pixel for each non-polarized pixel.
  • the diffuse reflection component of the polarization pixel is calculated for each color component. Furthermore, the diffuse reflection component calculation unit 32 calculates the diffuse reflection component of each pixel by correcting the light attenuation by the polarizer using the transmittance r of the polarizer.
  • the diffuse reflection component calculation unit 32 performs the above processing for each pixel, calculates a diffuse reflection component for each color component in each of the non-polarized pixel and the polarized pixel, and displays the diffuse reflection component for each color component in FIG.
  • the diffuse reflection component images PRdif, PGdif, and PBdif are output to the specular reflection component calculation unit 33.
  • the specular reflection component calculation unit 33 calculates the specular reflection component by subtracting the diffuse reflection component from the non-polarized component for each pixel position for each pixel position, and calculates the specular reflection component image calculated for each pixel. Are output to the reflection component adjustment unit 34.
  • the reflection component adjustment unit 34 combines the diffuse reflection component calculated by the diffuse reflection component calculation unit 32 and the specular reflection component calculated by the specular reflection component calculation unit 33 to generate an image signal in which the reflection component is adjusted. And output.
  • the 2 ⁇ 2 pixel region is made up of the same color pixels as the color unit, and the R pixel color unit is arranged in the 4 ⁇ 4 pixel region. And two color units of B pixel and G pixel are provided.
  • the imaging unit 20-4 has one pixel for each color unit area as a polarization pixel in the 4 ⁇ 4 pixel region, and one pixel in the horizontal direction and the vertical direction in the 4 ⁇ 4 pixel region. It is set as the installation. Therefore, it is possible to acquire a non-polarized image with high resolution and sensitivity and reflection components for each color.
  • the R pixel, the G pixel, and the B pixel are used as a Bayer as in the first embodiment and the second embodiment. It is possible to obtain a captured image with less color mixing than in the case of providing as an array. Further, in the fourth embodiment, since the distance between the polarization pixels is small compared to the third embodiment, the resolution of the reflection component can be increased.
  • the fifth embodiment is different from the first to fourth embodiments in the pixel arrangement of the imaging unit.
  • a case where a 4 ⁇ 4 pixel region having polarization pixels in the same polarization direction including at least each color component of a plurality of color components is repeatedly provided is shown.
  • This form shows a case where a 4 ⁇ 4 pixel region having polarization pixels in the same polarization direction including at least each color component of a plurality of color components is repeatedly provided at a predetermined interval.
  • FIG. 12 shows a pixel arrangement of the imaging unit, and a 4 ⁇ 4 pixel area having polarized pixels in the same polarization direction including at least each color component of a plurality of color components is defined as an interval of the four pixel areas. That is, in the 4 ⁇ 4 pixel region in the 8 ⁇ 8 pixel region, a polarization pixel in the same polarization direction including at least each color component of a plurality of color components is provided, and a majority of the pixels excluding the polarization pixel are set as non-polarization pixels. Yes.
  • the pixel array is a Bayer array, and one R pixel, B pixel, and two G pixels included in one 2 ⁇ 2 pixel region in the 8 ⁇ 8 pixel region.
  • (Gr pixel and Gb pixel) are polarization pixels.
  • the 2 ⁇ 2 pixel area is a color unit area and is composed of pixels of the same color, and the R ⁇ color unit area and the B pixel color unit are arranged in the 4 ⁇ 4 pixel area. Two color unit areas of the area and the G pixel are provided.
  • the 8 ⁇ 8 pixel region including two 4 ⁇ 4 pixel regions including each color unit region on the top, bottom, left, and right, one R pixel and B pixel included in the center 2 ⁇ 2 pixel region, and two G pixel (Gr pixel and Gb pixel) is a polarization pixel.
  • the imaging unit 20-5 performs white balance adjustment on the pixel signals Rs, Gs, and Bs generated by the sensor unit in the same manner as in the first to fourth embodiments, and the image signals R, G and B are generated and output to the image processing unit 30.
  • the non-polarized component calculation unit 31 of the image processing unit 30 calculates a non-polarized component for each color component using the pixel signals R, G, and B after white balance adjustment.
  • the ratio of the polarized pixels to the non-polarized pixels is smaller than in the first to fourth embodiments described above. Therefore, the non-polarization component calculation unit 31 performs an interpolation process using the non-polarization pixel, and calculates the non-polarization component at the pixel position of the polarization pixel.
  • FIG. 13 is a diagram for explaining the operation of the non-polarized component calculation unit.
  • RVt (RV0 + RV1 + RV2 + RV3) / 4 (17)
  • the interpolation value shown in Expression (18) is performed using the pixel values GVr0 and GVr1 of the non-polarization G pixel adjacent in the oblique direction, and the non-polarization is performed.
  • the interpolation operation is performed as described above using the pixel values GVb0 and GVb1 of the non-polarization G pixel adjacent in the oblique direction, and the non-polarization component GVbt. Is calculated.
  • the non-polarization component BVt of the polarization pixel which is a B pixel the pixel value BV0, BV1, BV2, BV3 of the non-polarization B pixel at a position separated by one pixel in the vertical and horizontal directions is used to calculate the R pixel.
  • the non-polarized component BVt is calculated by performing an interpolation operation in the same manner as in FIG.
  • the non-polarization component calculation unit 31 performs the interpolation process in this way, calculates the non-polarization component of the polarization pixel, and generates an image signal of a non-polarization image in a Bayer array in which each pixel indicates the non-polarization component. Further, the non-polarization component calculation unit 31 performs a demosaicing process similar to the conventional one using the image signal of the non-polarization image that is a Bayer array, and generates image signals of the non-polarization images PRnp, PGnp, and PBnp for each color component. And output to the specular reflection component calculation unit 33.
  • the diffuse reflection component calculation unit 32 calculates a diffuse reflection component for each color using the pixel signals R, G, and B after white balance adjustment.
  • the diffuse reflection component calculation unit 32 calculates the diffuse reflection component of the calculation target pixel that is a non-polarization pixel by linear interpolation using the pixel value of the polarization pixel with the non-polarization pixel as the calculation target pixel.
  • FIG. 14 is a diagram for explaining linear interpolation. For example, when calculating the diffuse reflection component It of the pixel to be calculated, pixel values I0, I1, I2, and I3 of, for example, four polarized pixels located around are used.
  • the pixel values I0, I1, I2, and I3 are the pixel values of the R pixel that is a polarization pixel.
  • “It” indicates one of the diffuse reflection components of each color component.
  • “I 0, I 1, I 2, I 3” indicates the pixel value of a polarized pixel having the same color component as “It”.
  • the diffuse reflection component calculation unit 32 calculates the diffuse reflection component of the calculation target pixel based on Expression (19).
  • “h0, h1” is the distance in the vertical direction from the polarization pixel that shows the diffuse reflection component with the same color component as the calculation target pixel
  • “W0, W1” is the same color as the calculation target pixel.
  • the horizontal direction distance is shown with the polarization pixel which shows a diffuse reflection component by a component.
  • the calculation target pixel is a G pixel
  • linear interpolation using pixel values I0, I1, I2, and I3 as Gr pixels and polarization pixel values indicating diffuse reflection components and pixel values I0, I1, I2, and I3.
  • the diffuse reflection component calculation unit 32 performs the above-described linear interpolation processing using each non-polarized pixel as a calculation target pixel, and the diffuse reflection component of each pixel is used to reduce the light due to the polarizer as in the above equation (15).
  • the corrected diffuse reflection component of each pixel is calculated.
  • the diffuse reflection component calculation unit 32 generates an image signal of a diffuse reflection image in a Bayer array in which each pixel indicates a diffuse reflection component. Further, the diffuse reflection component calculation unit 32 performs a demosaic process similar to the conventional one using the image signal of the diffuse reflection image that is a Bayer array, and generates diffuse reflection image PRdif, PGdif, and PBdif image signals for each color component. And output to the specular reflection component calculation unit 33.
  • the specular reflection component calculation unit 33 calculates the specular reflection component by subtracting the diffuse reflection component from the non-polarized component for each pixel position for each pixel position, and calculates the specular reflection component image calculated for each pixel. Are output to the reflection component adjustment unit 34.
  • the reflection component adjustment unit 34 mixes the diffuse reflection component signal generated by the diffuse reflection component calculation unit 32 and the specular reflection component signal generated by the specular reflection component calculation unit 33 to adjust the reflection component. Is generated and output.
  • the image processing unit in the fifth embodiment performs the processing of the flowchart shown in FIG. 8, and in step ST1, the image processing unit converts the non-polarized component of the polarized pixel into the non-polarized component of the non-polarized pixel of the same color component. After performing the interpolation processing using, demosaic processing or the like is performed, and a non-polarized component for each pixel is calculated for each color component.
  • the image processing unit calculates the diffuse reflection component of the non-polarized pixel by the interpolation process using the diffuse reflection component of the polarized pixel having the same color component, and then performs demosaic processing, dimming correction, and the like. A diffuse reflection component is calculated for each color component.
  • the imaging unit 20-5 of the fifth embodiment is provided with one R pixel, B pixel, and two G pixel polarization pixels in a wide pixel region of 8 ⁇ 8 pixel region or more. It has been configured.
  • the 8 ⁇ 8 pixel region or a wider pixel region is a configuration in which an R pixel, a G pixel, and a B pixel are provided as a Bayer array, or a color unit region of a 2 ⁇ 2 pixel region composed of pixels of the same color
  • a color unit region of R pixels, a color unit region of B pixels, and a color unit region of G pixels are provided. Therefore, it is possible to acquire a non-polarized image with high resolution and sensitivity and a reflection component for each color component.
  • one R pixel, B pixel, and two G pixel polarization pixels are provided in a pixel region of 8 ⁇ 8 pixel region or more. For this reason, compared with the 1st thru
  • FIG. 15 shows a list of the characteristics of the first to fifth embodiments and the conventional characteristics. Note that the configuration shown in the prior art (Japanese Patent Laid-Open No. 2013-148505) and the case where no polarizing pixel is provided are shown as conventional examples.
  • the sensitivity is lowered by providing the polarizing pixel, if no polarizing pixel is provided, it is not possible to obtain a reflection component for any of red, green, and blue. Further, in the configuration in which the sensitivity is increased as in the first embodiment of the prior application, the red and blue reflection components cannot be separated, and any of the red, green, and blue reflection components can be separated. When configured, the sensitivity is low.
  • the sensitivity when the polarizing pixel is not provided is “1”, and the sensitivity of the pixel provided with the polarizer is 1 ⁇ 2.
  • the sensitivity in the first embodiment of the prior application, the sensitivity is “0.875”, but red and blue reflection components cannot be obtained.
  • any of red, green, and blue reflection components can be acquired, but the sensitivity becomes “0.75”.
  • the sensitivity is “0.875” or more, and any of red, green, and blue reflection components can be acquired.
  • the reflection component adjustment unit 34 adjusts and synthesizes at least one of the diffuse reflection component Idif and the specular reflection component Ispe.
  • the reflection component adjustment unit 34 performs the calculation of Expression (20) using the specular reflection component Ispe and the diffuse reflection component Idif, and adjusts and synthesizes at least one of the specular reflection component Ispe and the diffuse reflection component Idif.
  • an output image signal Iout in which the reflection component is adjusted is generated.
  • FIG. 16 illustrates an output image when the coefficients ⁇ and ⁇ are changed.
  • the reflection component adjustment unit 34 performs subject recognition using a non-polarization component or a diffuse reflection component, and adjusts the amount of at least one of the diffuse reflection component and the specular reflection component for each recognized subject region. Also good.
  • the face is not displayed in an oily manner as shown in FIG. 17 (b), and the eye portion is bright.
  • the remaining output image can be obtained.
  • the mouth area is determined by subject recognition and the mouth area is set to a different coefficient from the other areas, the lips can be expressed in a glossy color even if the face reflection is reduced. become.
  • the reflection component adjustment unit 34 may adjust the component amount of only the diffuse reflection component.
  • the coefficient ⁇ related to the specular reflection component is fixed, and the coefficient ⁇ related to the diffuse reflection component is changed, for example, to adjust the skin color.
  • FIG. 18 is a diagram illustrating an output image when the coefficient ⁇ is fixed and only the coefficient ⁇ is changed. For example, by making the coefficient ⁇ smaller than that of the non-polarized image shown in FIG. 18A, the skin color can be darkened like tanned as shown in FIG. 18B. . Further, by increasing the coefficient ⁇ , the skin color can be brightened as shown in FIG.
  • FIG. 19 shows the pixels and readout signal lines of the imaging unit.
  • FIG. 19A illustrates a part of the pixel array in the imaging unit 20-1.
  • FIG. 19B shows a read signal line.
  • the pixel of the imaging unit 20-1 includes a photodiode and a charge transfer or reset transistor (not shown). Each pixel drives a reset transistor by a reset signal to discharge the accumulated charge. Thereafter, each pixel drives a charge transfer transistor by the readout signal, and outputs the charge accumulated during the exposure period from the end of reset to the start of readout as a pixel signal to the readout signal line.
  • the readout signal line is connected to an analog / digital conversion unit (A / D), converts an analog pixel signal read from each pixel into a digital pixel signal, performs noise removal, and the like, and then processes the image processing unit 30. Output to.
  • a / D analog / digital conversion unit
  • FIG. 20 is a diagram for explaining a pixel signal reading operation.
  • the imaging unit 20-1 sequentially adds and reads out pixel signals from pixels having the same color component and the same polarization characteristic in pixels in the same column connected to the same readout signal line. For example, as shown in FIG. 20A, the imaging unit 20-1 adds and reads out pixel signals from two R pixels, which are polarization pixels, via the readout signal line VSL0, and is a polarization pixel. A digital pixel signal of one R pixel is generated. Further, the imaging unit 20-1 adds and reads out pixel signals from two Gr pixels that are polarization pixels via the readout signal line VSL1, and generates a digital pixel signal of one Gr pixel that is a polarization pixel.
  • the imaging unit 20-1 adds and reads out pixel signals from two R pixels that are non-polarized pixels via the read signal line VSL2, and reads out a digital pixel signal of one R pixel that is a non-polarized pixel. Generate. Further, the imaging unit 20-1 adds and reads out pixel signals from two Gr pixels that are non-polarized pixels via the readout signal line VSL3, and reads out a digital pixel signal of one Gr pixel that is a non-polarized pixel. Generate. In this way, pixel signals for one line are generated.
  • the imaging unit 20-1 generates a pixel signal for the next line. For example, as illustrated in FIG. 20B, the imaging unit 20-1 adds and reads out pixel signals from two Gr pixels, which are polarization pixels, via the readout signal line VSL0 and is a polarization pixel. A digital pixel signal of one Gr pixel is generated. Further, the imaging unit 20-1 adds and reads out pixel signals from two B pixels that are polarization pixels via the readout signal line VSL1, and generates a digital pixel signal of one B pixel that is a polarization pixel. .
  • the imaging unit 20-1 adds and reads out pixel signals from two Gb pixels that are non-polarized pixels via the readout signal line VSL2, and reads out a digital pixel signal of one Gb pixel that is a non-polarized pixel. Generate. Further, the imaging unit 20-1 adds and reads out pixel signals from two B pixels that are non-polarized pixels via the readout signal line VSL3, and reads out the digital pixel signal of one B pixel that is a non-polarized pixel. Generate. In this way, pixel signals for one line are generated.
  • the imaging unit 20-1 includes two pixels that are non-polarized pixels via the readout signal lines VSL0 to VSL3. Are added and read out to generate a digital pixel signal of one pixel which is a non-polarized pixel.
  • the imaging unit 20-1 generates an image signal by repeating the process of adding two pixels of the same color and the same polarization characteristics shown in FIG. 20 to generate a pixel signal of one pixel. As described above, the imaging unit 20-1 sequentially moves the pixels to be signal-added in the vertical direction, and generates a pixel signal for each line.
  • FIG. 21 shows the relationship between the pixel arrangement of the imaging unit 20-1 and the image based on the pixel signal output from the imaging unit 20-1.
  • the vertical resolution is 1 ⁇ 2. Therefore, the image processing unit 30 may perform processing so that the aspect ratio of the output image does not change by setting the horizontal resolution to 1 ⁇ 2.
  • FIG. 22 exemplifies a configuration of a resolution conversion unit that halves the horizontal resolution.
  • the resolution conversion unit 35 includes an addition unit 351 and a division unit 352.
  • the resolution conversion unit 35 performs resolution conversion using, for example, the image signal output from the reflection component adjustment unit 34.
  • the addition unit 351 of the resolution conversion unit 35 adds the pixel values of two pixels adjacent in the horizontal direction, and outputs the addition result to the division unit 352.
  • the division unit 352 performs a 1-bit right shift process, and performs an operation to halve the addition result of the addition unit 351.
  • the resolution conversion unit 35 adds the pixel values of two pixels adjacent in the horizontal direction, and performs an image reduction process that halves the addition result. Therefore, the image output from the resolution converter 35 may be read out by adding signals from a plurality of pixels in the imaging unit so that the operation at a high frame rate is possible and the S / N ratio of the pixel signal can be improved. Aspect ratio can be kept.
  • each adder and divider are each 1
  • a process of generating a pixel signal of one pixel from a pixel signal of two pixels may be sequentially performed in the horizontal direction for each line.
  • the imaging unit is configured using primary color filters, but the imaging unit may be configured using complementary color filters.
  • the non-polarized pixel is not limited to being composed of color component pixels, and may include pixels having other characteristics, such as white pixels and infrared pixels having sensitivity in the infrared region.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical disc), a DVD (Digital Versatile Disc), a BD (Blu-Ray Disc (registered trademark)), a magnetic disk, or a semiconductor memory card. It can be stored (recorded) in a removable recording medium such as temporarily or permanently. Such a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the imaging device of this technique can also take the following structures.
  • pixels including at least each color component of a plurality of color components are polarization pixels in the same polarization direction, and pixels excluding the polarization pixels are a majority of the 4 ⁇ 4 pixel regions.
  • An imaging apparatus comprising: an image processing unit that calculates at least one of a non-polarization component and a diffuse reflection component for each pixel using the pixel signal of the polarization pixel and the pixel signal of the non-polarization pixel generated by the imaging unit .
  • the imaging apparatus calculates the non-polarization component and the diffuse reflection component, and calculates a specular reflection component based on the calculated non-polarization component and the diffuse reflection component. .
  • the image processing unit calculates at least one of the non-polarization component and the diffuse reflection component, or calculates the non-polarization component, the diffuse reflection component, and the specular reflection component for each color component. Imaging device.
  • the image processing unit performs a filtering process using the pixel signal to calculate a low frequency component for each color component for each pixel, and for each pixel position, a low frequency having a color component equal to the pixel signal and the pixel.
  • the high-frequency component information is calculated based on the component, and the non-polarized component and the diffuse reflection component are calculated for each color component from the high-frequency component information calculated for each pixel position and the low-frequency component for each color component (3).
  • the image processing unit performs an interpolation process using a pixel signal of a non-polarized pixel having the same color as that of the polarized pixel, calculates a non-polarized component of the polarized pixel, and calculates a polarization pixel of the same color as the non-polarized pixel.
  • the imaging apparatus adjusts and synthesizes at least one of the diffuse reflection component and the specular reflection component.
  • the image processing unit performs subject recognition using the non-polarized component or the diffuse reflection component, and adjusts the amount of at least one of the diffuse reflection component and the specular reflection component for each recognized subject region.
  • the imaging device according to (6).
  • the imaging unit adds a signal from a pixel having the same polarization characteristic and color component to generate a pixel signal,
  • the image processing unit performs image reduction processing according to the number of pixels on which the signal is added in a direction orthogonal to the arrangement direction of the pixels on which the signal is added (1) to (9).
  • the imaging device according to any one of the above.
  • the subject imaged by the imaging unit is irradiated with polarized light having a polarization direction orthogonal to the polarization direction of the polarization pixel of the image sensor. Imaging device.
  • pixels including at least each color component of the plurality of color components are polarization pixels in the same polarization direction, and a majority of the pixels in the 4 ⁇ 4 pixel region.
  • the non-polarized component and the diffuse reflection component are calculated for each pixel using the pixel signal of the polarized pixel and the pixel signal of the non-polarized pixel. For this reason, a non-polarized image with high resolution and sensitivity and a reflection component for each color component can be acquired. Therefore, it is suitable for an imaging device having a subject image adjustment function, an electronic device having a function of performing image processing using an image signal generated by an imaging unit, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

撮像部２０は、撮像素子の４×４画素領域のうち、複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、前記偏光画素を除く画素が前記４×４画素領域の過半数かつ無偏光画素とする。画像処理部３０の無偏光成分算出部３１は、撮像部２０で生成された偏光画素の画素信号と無偏光画素の画素信号を用いて、画素毎に無偏光成分を色成分毎に算出する。拡散反射成分算出部３２は、撮像部２０で生成された偏光画素の画素信号と無偏光画素の画素信号を用いて、画素毎に拡散反射成分を色成分毎に算出する。解像度と感度の高い無偏光画像と色成分毎の反射成分を取得できるようになる。

Description

撮像装置と撮像素子および画像処理方法
　この技術は、撮像装置と撮像素子および画像処理方法に関し、解像度と感度の高い無偏光画像と色成分毎の反射成分を取得できるようにする。
　従来、カラー画像だけでなく偏光画像を取得できる撮像装置が提案されている。例えば、特許文献１では、ベイヤー配列の撮像素子の前段に偏光フィルタ層を有する光学フィルタが配置されている。偏光フィルタ層としては、縦横に隣接する４画素からなる画素グループに含まれる２つのＧ画素（緑色画素）の一方にのみ、入射光の水平偏光成分および垂直偏光成分のいずれか一方を入射させるための偏光子を形成する構成や、２つのＧ画素の一方に入射光の水平偏光成分を入射させるための偏光子を形成して、他方に入射光の垂直偏光成分を入射させるための偏光子を形成する構成、この構成に対してＲ画素（赤色画素）およびＢ画素（青色画素）に入射光の水平偏光成分を入射させるための偏光子を形成する構成が示されている。また、１つの画素グループに含まれる２つのＧ画素の一方に入射光の水平偏光成分を入射させるための偏光子と、一方のＧ画素から縦および横に１画素離れたＧ画素に入射光の垂直偏光成分を入射させるための偏光子、および一方のＧ画素から斜めに１画素離れたＧ画素に入射光の水平偏光成分を入射させるための偏光子を、縦横に隣接する４つの画素グループを単位として周期的に形成する構成が示されている。さらに、入射光の水平偏光成分および垂直偏光成分のいずれか一方を入射させるための偏光子をストライプ状のパターンとして形成する構成も示されている。このような偏光フィルタ層を有する光学フィルタを前段に配置した撮像素子で生成された色毎の画素値を用いて、水平偏光成分画像や垂直偏光成分画像、カラー画像等を生成することが行われている。
特開２０１３－１４８５０５号公報
　ところで、特許文献１に示されているように、Ｇ画素にのみ偏光子を設ける構成では、赤色成分や青色成分についての反射成分を取得できない。また、画素グループの２つのＧ画素と１つの赤色画素と青色画素に偏光子を設ける構成では、各画素で感度が低下してしまう。さらに、偏光子をストライプ状のパターンとして形成する構成では、無偏光画素に関して、ストライプ方向と直交する方向の解像度が劣化する。
　そこで、この技術では、解像度と感度の高い無偏光画像と色成分毎の反射成分を取得できる撮像装置と撮像素子および画像処理方法を提供することを目的とする。
　この技術の第１の側面は、
　撮像素子の４×４画素領域のうち、複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、前記偏光画素を除く画素が前記４×４画素領域の過半数かつ無偏光画素である撮像部と、
　前記撮像部で生成された前記偏光画素の画素信号と前記無偏光画素の画素信号を用いて、画素毎に無偏光成分と拡散反射成分の少なくともいずれかを算出する画像処理部と
を備える撮像装置にある。
　この技術において、撮像部は、撮像素子の４×４画素領域のうち、複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、偏光画素を除く画素が４×４画素領域の過半数かつ無偏光画素とされている。撮像対象の被写体には、撮像素子の偏光画素の偏光方向に対して直交する偏光方向の偏光光が照明光として照射されて撮像が行われる。画像処理部は、撮像部で生成された無偏光画素と色成分毎の偏光画素の画素信号に基づき無偏光成分と拡散反射成分を算出して、算出した無偏光成分と拡散反射成分に基づき鏡面反射成分を例えば色成分毎に算出する。無偏光成分と拡散反射成分を算出は、例えば画素信号を用いたフィルタ処理によって算出する。画像処理部は、画素信号を用いてフィルタ処理を行い色成分毎の低周波成分を画素毎に算出して、画素位置毎に画素信号と当該画素と等しい色成分の低周波成分に基づき高周波成分情報を算出する。さらに、画像処理部は、画素位置毎に算出した高周波成分情報と色成分毎の低周波成分から無偏光成分と拡散反射成分を色成分毎に算出する。また、画像処理部は、フィルタ処理に替えて補間処理を行ってもよい。画像処理部は、偏光画素と同一色の無偏光画素の画素信号を用いて補間処理を行い偏光画素の無偏光成分を算出して、無偏光画素と同一色の偏光画素の画素信号を用いて補間処理を行い無偏光画素の拡散反射成分を算出する。
　画像処理部は、算出した拡散反射成分と鏡面反射成分の少なくとも一方の成分量を調整して合成することで出力画像信号を生成する。例えば、画像処理部は鏡面反射成分の成分量を低下させて、あるいは拡散反射成分のみ成分量の調整を行って拡散反射成分と鏡面反射成分を合成する。また、画像処理部は、無偏光成分または拡散反射成分を用いて被写体認識を行い、認識した被写体領域毎に拡散反射成分と鏡面反射成分の少なくとも一方の成分量の調整を行う。
　また、撮像部では、偏光特性と色成分が同一の画素から信号を加算して画素信号の生成が行われて、画像処理部では、信号の加算が行われた画素の配列方向に対して直交する方向に、信号の加算が行われた画素数に応じた画像縮小処理が行われる。
　この技術の第２の側面は、
　複数の色成分の画素を用いて構成される画素領域に、４×４画素領域内における前記複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、前記４×４画素領域内における前記偏光画素を除く画素が過半数かつ無偏光画素である領域を設けた撮像素子にある。
　この技術においては、４×４画素領域内における複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、この４×４画素領域内における偏光画素を除く画素が過半数かつ無偏光画素とする。例えば４×４画素領域における２×２画素領域を、各色成分を含む同一偏光方向の偏光画素とする。あるいは、４×４画素領域に含まれる４つの２×２画素領域を各色成分の画素で構成して、２×２画素領域における１つの画素を偏光画素とする。または、４×４画素領域に含まれる４つの２×２画素領域の各２×２画素領域を同一色成分の画素とする。このように偏光画素と無偏光画素で構成される４×４画素領域が、複数の色成分の画素を用いて構成される画素領域に、例えば繰り返しあるいは所定間隔で繰り返して設ける。
　この技術の第３の側面は、
　撮像素子の４×４画素領域のうち、複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、前記偏光画素を除く画素が前記４×４画素領域の過半数かつ無偏光画素である撮像部から前記偏光画素の画素信号と前記無偏光画素の画素信号を取得することと、
　前記撮像部から取得した前記偏光画素の画素信号と前記無偏光画素の画素信号を用いて、画素毎の無偏光成分と拡散反射成分の少なくともいずれかを算出すこと
を含む画像処理方法にある。
　この技術によれば、撮像部の撮像素子は、４×４画素領域のうち、複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、偏光画素を除く画素が４×４画素領域の過半数かつ無偏光画素とされている。画像処理部は、撮像部で生成された偏光画素の画素信号と無偏光画素の画素信号を用いて、画素毎に無偏光成分と拡散反射成分が算出される。したがって、解像度と感度の高い無偏光画像と色成分毎の反射成分を取得できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
撮像装置の構成を示す図である。 撮像部の偏光画素と照明部の照明光の関係を示す図である。 第１の実施の形態における撮像部の画素配置を示す図である。 フィルタ係数を例示した図である。 無偏光のＧ画素についての低周波成分算出動作を説明するための図である。 色成分毎の無偏光画像を示す図である。 色成分毎の偏光画像示す図である。 画像処理部の動作を示すフローチャートである。 第２の実施の形態における撮像部の画素配置を示す図である。 第３の実施の形態における撮像部の画素配置を示す図である。 第４の実施の形態における撮像部の画素配置を示す図である。 第５の実施の形態における撮像部の画素配置を示す図である。 無偏光成分算出部の動作を説明するための図である。 線形補間を説明するための図である。 第１乃至第５の実施の形態の特性と従来の特性を示す図である。 係数α，βを変化させた場合の出力画像を例示した図である。 被写体領域毎に係数α，βを変化させた場合の出力画像を例示した図である。 係数αを固定して係数βのみを変化させた場合の出力画像を例示した図である。 撮像部の画素と読出信号線を示す図である。 画素信号の読み出し動作を説明するための図である。 撮像部２０-1の画素配置と撮像部２０-1から出力される画素信号に基づく画像の関係を示した図である。 解像度変換部の構成を例示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．撮像装置の構成
　２．第１の実施の形態
　３．第２の実施の形態
　４．第３の実施の形態
　５．第４の実施の形態
　６．第５の実施の形態
　７．第１乃至第５の実施の形態の特性と従来の構成の特性について
　８．反射成分調整部の動作
　９．撮像部における信号読み出しについて
　＜１．撮像装置の構成＞
　図１は、本技術の撮像装置の構成を示している。撮像装置１０は、撮像部２０と画像処理部３０を有している。また、撮像装置１０は照明部４０を有してもよく、撮像装置１０と別個に照明部４０が設けられてもよい。照明部４０は、撮像装置１０と同期して照明動作を行う。
　撮像部２０で用いる撮像素子は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のセンサ部の撮像面にカラーフィルタと偏光子を設けた構成とされている。カラーフィルタはモザイクフィルタが用いられて、例えば撮像素子の画素配列が４×４画素領域内にＲ画素（赤画素）とＧ画素（緑画素）とＢ画素（青画素）を含む配列とされている。偏光子は、４×４画素領域のうち、複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、偏光画素を除く画素が４×４画素領域の過半数かつ無偏光画素となるように構成されている。例えば、撮像素子は、４×４画素領域において、Ｒ画素（赤色画素）とＧ画素（緑色画素）とＢ画素（青色画素）のそれぞれ少なくとも１画素が同一偏光方向の偏光画素とされて、偏光画素を除く画素が４×４画素領域の過半数かつ各色成分の無偏光画素となるように設けられている。複数の色成分の画素を用いて構成される撮像素子の画素領域には、上述の画素配列である４×４画素領域が繰り返し、または所定間隔で繰り返し設けられている。
　撮像部２０は、照明部４０から照明光が照射されているタイミングで静止画または動画の撮像を行い、生成した偏光画素と無偏光画素の画素信号を画像処理部３０へ出力する。また、撮像部２０は、ホワイトバランス調整を行い、ホワイトバランス調整後の画素信号を用いて後述するように画像処理部３０で無偏光成分と拡散反射成分の算出を行えるようにしてもよい。なお、ホワイトバランス調整は画像処理部３０で行ってもよい。
　照明部４０は、偏光光を照明光として被写体に照射する。照明部４０は、撮像部２０の撮像動作と同期して照明光の照射を行い、上述のように、照明部４０から照明光が照射されているタイミングで撮像部２０の撮像動作を行えるようにする。
　照明部４０から照射される偏光光は、照明光を照射して撮像部２０で撮像動作を行ったとき、被写体からの反射光における鏡面反射成分が除去されるように偏光方向が設定されている。具体的には、撮像部２０における偏光画素の偏光方向に対して照明部４０から照射される偏光光の偏光方向が直交するように設定されている。図２は、撮像部の偏光画素と照明部の照明光の関係を示している。撮像部２０におけるセンサ部２１の入射面側に設けられた偏光子２２は、例えばワイヤーグリッドタイプでありグリッド方向が垂直方向とされている。照明部４０は、光源４１と例えばワイヤーグリッドタイプの偏光子４２を用いて構成されており、偏光子４２のグリッド方向は、撮像部２０の偏光子２２のグリッド方向に対して直交する水平方向とする。この場合、被写体ＯＢに対して、照明部４０から偏光方向が垂直方向とされている直線偏光光が照射される。また、被写体ＯＢからの反射光は、偏光子２２によって水平方向の偏光成分が抽出されてセンサ部２１に入射される。したがって、撮像部２０における無偏光画素では、被写体ＯＢからの反射光に基づいた画素信号が生成されて、偏光画素では被写体ＯＢからの反射光における水平方向の偏光成分に基づいた画素信号が生成される。
　画像処理部３０は、例えば無偏光成分算出部３１、拡散反射成分算出部３２、鏡面反射成分算出部３３、反射成分調整部３４を有している。無偏光成分算出部３１は、撮像部２０から供給された無偏光画素と偏光画素の画素信号を用いて無偏光成分を算出して鏡面反射成分算出部３３へ出力する。拡散反射成分算出部３２は、撮像部２０から供給された無偏光画素と偏光画素の画素信号を用いて拡散反射成分を算出して、鏡面反射成分算出部３３と反射成分調整部３４へ出力する。鏡面反射成分算出部３３は、無偏光成分算出部３１で算出された無偏光成分と、拡散反射成分算出部３２で算出された拡散反射成分に基づき、鏡面反射成分を算出して反射成分調整部３４へ出力する。反射成分調整部３４は、拡散反射成分算出部３２で算出された拡散反射成分と、鏡面反射成分算出部３３で算出された鏡面反射成分を用いて、反射成分を所望のレベルとした出力画像を生成する。
　次に、撮像部の構成例と撮像部の構成例に対応する画像処理部の動作について、以下の実施の形態で詳細に説明する。
　＜２．第１の実施の形態＞
　図３は、撮像部の画素配置を示している。撮像部２０-1は、複数の色成分の画素を用いて構成される画素領域が、Ｒ画素とＧ画素とＢ画素をベイヤー配列とした構成とされている。なお、各実施の形態において、Ｒ画素が左側または右側に位置するＧ画素をＧｒ画素、Ｂ画素が左側または右側に位置するＧ画素をＧｂ画素ともいう。また、Ｒ画素とＢ画素と２つのＧ画素（Ｇｒ画素とＧｂ画素）からなる２×２画素領域を色画素配列単位とする。
　例えば、図３の（ａ）は、左上の２×２画素領域内の画素を偏光画素とした構成を示している。また、図３の（ｂ）は、中央の２×２画素領域内の画素を偏光画素とした構成、図３の（ｃ）は、左下の２×２画素領域内の画素を偏光画素とした構成、図３の（ｄ）は、右端中央の２×２画素領域内の画素を偏光画素とした構成を例示している。なお、撮像部２０-1の構成は、４×４画素領域における１つの２×２画素領域内の画素を偏光画素として他の画像を無偏光画素とする構成であればよく、図３に例示した構成に限られない。撮像部２０-1は、このように構成されている４×４画素領域が繰り返し設けられている。
　撮像部２０-1は、センサ部で生成された画素信号Ｒｓ，Ｇｓ，Ｂｓに対してホワイトバランス調整を行う。具体的には、予め設定されている色毎のホワイトバランス調整ゲインＲwg，Ｇwg，Ｂwgを用いて式（１）乃至（３）の演算を行い、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを生成して画像処理部３０へ出力する。なお、画素信号Ｒs，ＲはＲ画素の画素信号、画素信号Ｇs，ＧはＧ画素の画素信号、画素信号Ｂs，ＢはＢ画素の画素信号である。
　　Ｒ　＝　Ｒｓ　×　Ｒwg　　　・・・（１）
　　Ｇ　＝　Ｇｓ　×　Ｇwg　　　・・・（２）
　　Ｂ　＝　Ｂｓ　×　Ｂwg　　　・・・（３）
　画像処理部３０の無偏光成分算出部３１は、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを用いて色毎に無偏光成分を算出する。無偏光成分算出部３１は、各画素において低周波成分と高周波成分との割合が各色成分で等しいとして、無偏光成分の算出対象画素の画素値と算出対象画素における同一色成分かつ同一偏光特性の低周波成分から、低周波成分と高周波成分との関係に応じた高周波成分情報を算出する。さらに、無偏光成分算出部３１は、算出した高周波成分情報と算出対象画素における無偏光の低周波成分に基づき、算出対象画素における色成分毎の無偏光成分を算出する。
　無偏光成分算出部３１は、画素信号Ｒ，Ｇ，Ｂを用いてフィルタ処理を行い、色成分毎の低周波成分を無偏光画素の画素信号を用いて画素毎に算出する。また、無偏光成分算出部３１は、画素毎に画素信号と当該画素と等しい色成分の低周波成分に基づき高周波成分情報を算出して、画素毎に算出した高周波成分情報と色成分毎の低周波成分から無偏光成分を色成分毎に算出する。無偏光成分算出部３１は、高周波成分情報として高周波成分係数を用いる。高周波成分係数は、算出対象画素に含まれる低周波成分と高周波成分との関係に応じた係数であり、例えば算出対象画素の画素値を算出対象画素の色成分の低周波成分で除算した値とする。したがって、算出対象画素における低周波成分が少なくなるに伴い高周波成分係数は大きな値となり、算出対象画素における低周波成分が多くなるに伴い高周波成分係数は小さな値となる。また、低周波成分に高周波成分係数を乗算することで低周波成分と高周波成分を含む算出対象画素の画素値を算出できる。
　無偏光成分算出部３１は、算出対象画素の重み付けフィルタ処理を行い、低周波成分を算出する。図４はフィルタ係数を例示しており、算出対象画素を中心とする９×９画素の画素範囲（フィルタ演算範囲）の画素信号を用いてフィルタ処理を行う場合を示している。
　無偏光成分算出部３１は、算出対象画素がＲ画素である場合、無偏光のＲ画素の画素信号を用いて重み付けフィルタ処理を行う。また、無偏光成分算出部３１は、算出対象画素がＢ画素である場合、無偏光のＢ画素の画素信号を用いて重み付けフィルタ処理を行い、算出対象画素がＧ画素である場合、無偏光のＧ画素の画素信号を用いて重み付けフィルタ処理を行う。　
　図５は、無偏光のＧ画素についての低周波成分算出動作を説明するための図である。なお、図５において、算出対象画素を二重枠線で示しており、低周波成分の算出で用いられる画素を太線枠で示している。無偏光成分算出部３１は、算出対象画素を基準（ｘ＝０，ｙ＝０）として、「ｘ＝－４，ｙ＝－４」乃至「ｘ＝４，ｙ＝４」の範囲内（フィルタ演算範囲内）における無偏光のＧ画素の画素信号を用いて重み付けフィルタ処理を行う。具体的には、無偏光成分算出部３１は、フィルタ演算範囲内における無偏光のＧ画素の画素値に対して画素位置に応じた重み付けを行い、重み付け後の画素値の総和を算出する。さらに、無偏光成分算出部３１は、重み付け後の画素値の総和を重み付けに用いた重みの総和で除算して、算出対象画素の緑色成分の低周波成分ＧLPFを算出する。式（４）は、図５の場合の低周波成分ＧLPFの算出式を示している。なお、ＧＶ（ｘ，ｙ）は、算出対象画素を基準とする画素位置（ｘ，ｙ）のＧ画素の画素値を示している。
　　ＧLPF　＝（１×ＧＶ(-4,-4)＋１４×ＧＶ(0,-4)＋１×ＧＶ(4,-4)＋
　　　　　　　１６×ＧＶ(-3,-3)＋４８×ＧＶ(-1,-3)＋・・・＋１×ＧＶ(4,4)）／
　　　　　　　（１＋４＋１＋１５＋４８＋・・・＋１）　　・・・（４）
　次に、無偏光成分算出部３１は、算出対象画素の画素値を同じ偏光成分で同じ色成分の低周波成分で除算して、算出対象画素の画素位置における高周波成分係数を算出する。例えば、算出対象画素がＧ画素で画素値ＧＶ(0,0)である場合、式（５）の演算を行い、高周波成分係数ＨＰＦを算出する。
　　ＨＰＦ　＝　ＧＶ(0,0)／ＧLPF　　　・・・（５）
　その後、無偏光成分算出部３１は、式（６）に示すように、低周波成分と高周波成分係数を乗算して、算出対象画素における緑色無偏光成分Ｇnpを得る。
　　Ｇnp　＝　ＨＰＦ　×　ＧLPF　　　・・・（６）
　算出対象画素における赤色無偏光成分を算出する場合、無偏光成分算出部３１は、フィルタ演算範囲内における無偏光のＲ画素の画素値に対して画素位置に応じた重み付けを行い、重み付け後の画素値の総和を算出する。さらに、無偏光成分算出部３１は、重み付け後の画素値の総和を重み付けに用いた重みの総和で除算して低周波成分ＲLPFを算出する。無偏光成分算出部３１は、算出した低周波成分ＲLPFと算出されている高周波成分係数ＨＰＦを式（７）に示すように乗算して、算出対象画素における赤色無偏光成分Ｒnpを得る。
　　Ｒnp　＝　ＨＰＦ　×　ＲLPF　　　・・・（７）
　算出対象画素における青色無偏光成分を算出する場合、無偏光成分算出部３１は、フィルタ演算範囲内における無偏光のＢ画素の画素値に対して画素位置に応じた重み付けを行い、重み付け後の画素値の総和を算出する。さらに、無偏光成分算出部３１は、重み付け後の画素値の総和を重み付けに用いた重みの総和で除算して低周波成分ＢLPFを算出する。無偏光成分算出部３１は、算出した低周波成分ＢLPFと算出されている高周波成分係数ＨＰＦを式（８）に示すように乗算して、算出対象画素における青色無偏光成分Ｂnpを得る。
　　Ｂnp　＝　ＨＰＦ　×　ＢLPF　　　・・・（８）
　なお、図５では、Ｇ画素の画素値を用いて高周波成分係数ＨＰＦを算出したが、無偏光成分算出部３１は、算出対象画素がＲ画素である場合にはＲ画素の画素値と同じ色成分の低周波成分を用いて高周波成分係数ＨＰＦを算出する。また、無偏光成分算出部３１は、算出対象画素がＢ画素である場合にはＢ画素の画素値と同じ色成分の低周波成分を用いて高周波成分係数ＨＰＦを算出する。
　無偏光成分算出部３１は、上述の処理を無偏光画素の画素位置毎に行い、無偏光画素の画素毎に色成分毎の無偏光成分を算出する。
　算出対象画素が偏光画素である場合、無偏光成分算出部３１は、上述のように低周波成分を算出する。すなわち、無偏光成分算出部３１は、フィルタ演算範囲内における無偏光のＲ画素（Ｇ画素，Ｂ画素）の画素値に対して画素位置に応じた重み付けを行い、重み付け後の画素値の総和を算出する。さらに、無偏光成分算出部３１は、重み付け後の画素値の総和を重み付けに用いた重みの総和で除算して低周波成分ＲLPF（ＧLPF，ＢLPF）を算出する。
　また、無偏光成分算出部３１は、算出対象画素と等しい色の偏光画素の画素信号を用いて重み付けフィルタ処理を行い低周波成分を算出して、算出対象画素の画素値を低周波成分で除算して高周波成分係数ＨＰＦを算出する。例えば、図５において、破線枠で示す偏光画素（Ｇ画素）が算出対象画素である場合、無偏光成分算出部３１は、算出対象画素を基準としたフィルタ演算範囲内における偏光画素であるＧ画素の画素値に対して画素位置に応じた重み付けを行い、重み付け後の画素値の総和を算出する。さらに、無偏光成分算出部３１は、重み付け後の画素値の総和を重み付けに用いた重みの総和で除算して低周波成分ＧLPFpを算出する。次に、無偏光成分算出部３１は、算出対象画素の画素値を同じ偏光成分で同じ色成分の低周波成分で除算して、算出対象画素の画素位置における高周波成分係数を算出する。すなわち、偏光画素である算出対象画素が画素値Ｇ(0,0)pである場合、式（９）の演算を行い、高周波成分係数ＨＰＦを算出する。
　　ＨＰＦ　＝　ＧＶ(0,0)p／ＧLPFp　　　・・・（９）
　無偏光成分算出部３１は、算出した高周波成分係数ＨＰＦと、算出対象画素について無偏光画素を用いて算出した色成分毎の低周波成分ＲLPF（ＧLPF，ＢLPF）を用いて、式（６）乃至（８）の演算を行い、偏光画素の画素毎に色成分毎の無偏光成分を算出する。
　無偏光成分算出部３１は、各画素で算出された無偏光成分を示す図６の色成分毎の無偏光画像ＰＲnp，ＰＧnp，ＰＢnpの画像信号を鏡面反射成分算出部３３へ出力する。
　拡散反射成分算出部３２は、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを用いて色毎に拡散反射成分信号を生成する。拡散反射成分算出部３２は、各画素において低周波成分と高周波成分との割合が各色成分で等しいとして、偏光拡散成分の算出対象画素の画素値と算出対象画素における同一色成分かつ同一偏光特性の低周波成分から、低周波成分と高周波成分との関係に応じた高周波成分情報を算出する。さらに、拡散反射成分算出部３２は、算出した高周波成分情報と算出対象画素における偏光の低周波成分に基づき、算出対象画素における色成分毎の拡散反射偏光成分を算出する。
　拡散反射成分算出部３２は、画素信号Ｒ，Ｇ，Ｂを用いてフィルタ処理を行い、色成分毎の低周波成分を偏光画素の画素信号を用いて画素毎に算出する。また、拡散反射成分算出部３２は、画素毎に画素信号と当該画素と等しい色成分の低周波成分に基づき高周波成分情報を算出して、画素毎に算出した高周波成分情報と色成分毎の低周波成分から拡散反射成分を色成分毎に算出する。さらに、拡散反射成分算出部３２は、算出した拡散反射成分に対して、偏光子によって生じる減光を補正する。
　拡散反射成分算出部３２は、算出対象画素の重み付けフィルタ処理を行い、低周波成分を算出する。なお、フィルタ係数は、例えば無偏光成分画像の生成と等しい特性で拡散反射成分画像を生成できるように、無偏光成分算出部３１と等しいフィルタ係数を用いる。
　拡散反射成分算出部３２は、算出対象画素がＲ画素である場合、偏光画素におけるＲ画素の画素信号を用いて重み付けフィルタ処理を行う。また、拡散反射成分算出部３２は、算出対象画素がＢ画素である場合、偏光画素におけるＢ画素の画素信号を用いて重み付けフィルタ処理を行い、算出対象画素がＧ画素である場合、偏光画素におけるＧ画素の画素信号を用いて重み付けフィルタ処理を行う。
　拡散反射成分算出部３２は、例えばＧ画素の重み付けフィルタ処理を行う場合、フィルタ演算範囲内の偏光画素におけるＧ画素の画素値に対して画素位置に応じた重み付けを行い、重み付け後の画素値の総和を算出する。さらに、拡散反射成分算出部３２は、重み付け後の画素値の総和を重み付けに用いた重みの総和で除算して低周波成分ＧLPFpを算出する。
　次に、拡散反射成分算出部３２は、算出対象画素の画素値を同じ偏光成分で同じ色成分の低周波成分で除算して、算出対象画素の画素位置における高周波成分係数を算出する。ここで、算出対象画素が画素値ＧＶ(0,0)pである場合、式（１０）の演算を行い、高周波成分係数ＨＰＦpを算出する。
　　ＨＰＦp　＝　ＧＶ(0,0)p／ＧLPFp　　　・・・（１０）
　その後、拡散反射成分算出部３２は、式（１１）に示すように低周波成分と高周波成分係数を乗算して、算出対象画素における緑色拡散成分Ｇpを得る。
　　Ｇp　＝　ＨＰＦp　×　ＧLPFp　　　　　・・・（１１）
　算出対象画素の位置におけるＲ画素の偏光子通過後の拡散反射成分を算出する場合、拡散反射成分算出部３２は、フィルタ演算範囲内の偏光画素におけるＲ画素の画素値に対して画素位置に応じた重み付けを行い、重み付け後の画素値の総和を算出する。さらに、拡散反射成分算出部３２は、重み付け後の画素値の総和を重み付けに用いた重みの総和で除算して低周波成分ＲLPFpを算出する。拡散反射成分算出部３２は、算出した低周波成分ＲLPFpと算出されている高周波成分係数ＨＰＦを式（１２）に示すように乗算して、算出対象画素の位置におけるＲ画素の赤色拡散反射成分Ｒpを得る。
　　Ｒp　＝　ＨＰＦp　×　ＲLPFp　　　・・・（１２）
　算出対象画素の位置におけるＢ画素の偏光子通過後の拡散反射成分を算出する場合、拡散反射成分算出部３２は、フィルタ演算範囲内の偏光画素におけるＢ画素の画素値に対して画素位置に応じた重み付けを行い、重み付け後の画素値の総和を算出する。さらに、拡散反射成分算出部３２は、重み付け後の画素値の総和を重み付けに用いた重みの総和で除算して低周波成分ＢLPFpを算出する。拡散反射成分算出部３２は、算出した低周波成分ＢLPFpと算出されている高周波成分係数ＨＰＦを式（１３）に示すように乗算して、算出対象画素の位置におけるＢ画素の青色拡散反射成分Ｂpを得る。
　　Ｂp　＝　ＨＰＦp　×　ＢLPFp　　　・・・（１３）
　なお、拡散反射成分算出部３２は、算出対象画素の位置の偏光画素がＲ画素である場合、偏光画素におけるＲ画素の画素値を用いて高周波成分係数ＨＰＦpを算出する。また、拡散反射成分算出部３２は、算出対象画素の位置の偏光画素がＢ画素である場合、偏光画素におけるＢ画素の画素値を用いて高周波成分係数ＨＰＦpを算出する。
　拡散反射成分算出部３２は、上述の処理を偏光画素の画素位置毎に行い、偏光画素の画素位置毎に色成分毎の拡散反射信号成分を算出する。
　算出対象画素の位置が無偏光画素の位置である場合、拡散反射成分算出部３２は、上述のように低周波成分を算出する。すなわち、拡散反射成分算出部３２は、フィルタ演算範囲内の偏光画素におけるＲ画素（Ｇ画素，Ｂ画素）の画素値に対して画素位置に応じた重み付けを行い、重み付け後の画素値の総和を算出する。さらに、拡散反射成分算出部３２は、重み付け後の画素値の総和を重み付けに用いた重みの総和で除算して低周波成分ＲLPFp（ＧLPFp，ＢLPFp）を算出する。
　また、拡散反射成分算出部３２は、算出対象画素と等しい色成分の無偏光画素の画素信号を用いたフィルタ処理によって算出対象画素の低周波成分を算出して、算出対象画素の画素値を算出した低周波成分で除算して高周波成分係数ＨＰＦpを算出する。例えば、算出対象画素が無偏光のＧ画素である場合、拡散反射成分算出部３２は、算出対象画素を基準としたフィルタ演算範囲内における無偏光のＧ画素の画素値に対して画素位置に応じた重み付けを行い、重み付け後の画素値の総和を算出する。さらに、拡散反射成分算出部３２は、重み付け後の画素値の総和を重み付けに用いた重みの総和で除算して低周波成分ＧLPFを算出する。次に、拡散反射成分算出部３２は、算出対象画素の画素値を同じ偏光成分で同じ色成分の低周波成分で除算して、算出対象画素の画素位置における高周波成分係数を算出する。すなわち、算出対象画素が無偏光画素で画素値ＧＶ(0,0)である場合、式（１４）の演算を行い、高周波成分係数ＨＰＦpを算出する。
　　ＨＰＦp　＝　ＧＶ(0,0)／ＧLPF　　　・・・（１４）
　拡散反射成分算出部３２は、算出した高周波成分係数ＨＰＦpと、算出対象画素について偏光画素を用いて算出した低周波成分ＲLPFp（ＧLPFp，ＢLPFp）を用いて、式（１１）乃至（１３）の演算を行い、無偏光画素の画素毎に色成分毎の拡散反射成分を算出する。
　さらに、拡散反射成分算出部３２は、偏光子の透過率ｒを用いて式（１５）の演算を行い、偏光子による減光を補正して各画素の拡散反射成分を算出する。なお、「Ｉp」は偏光子による減光を補正する前の拡散反射成分Ｒq，Ｇq，Ｂqを示しており、「Ｉdif」は偏光子による減光を補正した色成分毎の拡散反射成分Ｒdif，Ｇdif，Ｂdifを示している。
　　Ｉdif = （２／ｒ）×　Ｉp　・・・（１５）
　拡散反射成分算出部３２は、各画素で算出された拡散反射成分を示す図７の色成分毎の拡散反射成分画像ＰＲdif，ＰＧdif，ＰＢdifの画像信号を鏡面反射成分算出部３３へ出力する。
　鏡面反射成分算出部３３は、式（１６）に示すように、色成分毎に無偏光成分から拡散反射成分を画素位置毎に減算して鏡面反射成分Ｉspeを算出する。なお「Ｉnp」は色成分毎の無偏光成分Ｒnp，Ｇnp，Ｂnpであり、「Ｉspe」は色成分毎の鏡面反射成分Ｒnp，Ｇnp，Ｂnpである。鏡面反射成分算出部３３は、各画素で算出された鏡面反射成分を示す鏡面反射成分画像の画像信号を反射成分調整部３４へ出力する。
　　Ｉspe＝Ｉnp－Ｉdif　　　　・・・（１６）
　反射成分調整部３４は、拡散反射成分算出部３２で算出された拡散反射成分と、鏡面反射成分算出部３３で算出された鏡面反射成分を合成して、反射成分が調整された画像信号を生成して出力する。なお、反射成分調整部３４の動作についての詳細は後述する。
　図８は、画像処理部の動作を示すフローチャートである。ステップＳＴ１で画像処理部は無偏光成分を算出する。画像処理部３０は、無偏光画素の画素信号を用いて重み付けフィルタ処理を行い、画素位置毎の低周波成分を色成分毎に算出する。また、画像処理部３０は、無偏光画素の画素値を同じ色成分の低周波成分で除算して、無偏光画素の画素位置毎に高周波成分係数を算出して、この高周波成分係数と色成分毎の低周波成分を乗算して、無偏光画素の画素位置毎に、色成分毎の無偏光成分を算出する。また、画像処理部３０は、偏光画素の画素値を用いて重み付けフィルタ処理を行い、偏光画素毎に偏光画素と同一の色成分の低周波成分を算出する。また、画像処理部３０は、偏光画素の画素値を同じ色成分の低周波成分で除算して、偏光画素毎に高周波成分係数を算出する。さらに、画像処理部３０は、この高周波成分係数と、無偏光画素の画素信号を用いた重み付けフィルタ処理によって算出した偏光画素位置における色成分毎の低周波成分の乗算を偏光画素毎に行い、偏光画素の無偏光成分を色成分毎に算出する。このように、画像処理部３０は、偏光画素と無偏光画素について色成分毎の無偏光成分を算出してステップＳＴ２に進む。
　ステップＳＴ２で画像処理部は拡散反射成分を算出する。画像処理部３０は、偏光画素の画素値を用いて重み付けフィルタ処理を行い、偏光画素毎に低周波成分を色成分毎に算出する。また、画像処理部３０は、偏光画素の画素値を同じ色成分の低周波成分で除算して、偏光画素毎に高周波成分係数を算出して、この高周波成分係数と色成分毎の低周波成分の乗算を偏光画素毎に行い、偏光画素における拡散反射成分を色成分毎に算出する。また、画像処理部３０は、無偏光画素の画素信号を用いて重み付けフィルタ処理を行い、無偏光画素と等しい色成分の低周波成分を算出する。また、画像処理部３０は、無偏光画素の画素値を同じ色成分の低周波成分で除算して、無偏光画素毎の高周波成分係数を算出する。さらに、画像処理部３０は、この高周波成分係数と偏光画素の画素信号を用いた重み付けフィルタ処理によって算出した無偏光画素位置における色成分毎の低周波成分の乗算を無偏光画素毎に行い、無偏光画素における拡散反射成分を色成分毎に算出する。このように、画像処理部３０は、偏光画素と無偏光画素の拡散反射成分を色成分毎に算出してステップＳＴ３に進む。
　ステップＳＴ３で画像処理部は鏡面反射成分を算出する。画像処理部３０は、無偏光成分から拡散反射成分を減算する処理を各画素で色成分毎に行い、鏡面反射成分を色成分毎に算出してステップＳＴ４に進む。
　ステップＳＴ４で画像処理部は反射成分調整処理を行う。画像処理部３０は、拡散反射成分と鏡面反射成分を所望の割合で加算する処理を各画素で色成分毎に行い、反射成分が調整された出力画像を得る。
　なお、画像処理部３０の動作は、図８に示す順序に限られない。例えばステップＳＴ２に示す拡散反射成分の算出を、ステップＳＴ１に示す無偏光成分の算出よりも前に行ってもよい。また、並列処理が可能である場合、無偏光成分の算出と拡散反射成分の算出を並列して行うようにしてもよい。
　このように、第１の実施の形態の撮像部２０-1は、Ｒ画素とＧ画素とＢ画素がベイヤー配列で設けられており、４×４画素領域に含まれる１つの２×２画素領域（色画素配列単位）内の画素を偏光画素として、他の画素を無偏光画素とした構成とされている。また、画像処理部３０は、撮像部２０-1で生成された画像信号を用いて、色成分毎に無偏光成分と拡散反射成分と鏡面反射成分が算出される。したがって、解像度と感度の高い無偏光画像と各色についての反射成分を取得できるようになる。
　また、第１の実施の形態の撮像部２０-1は、はＲ画素とＧ画素とＢ画素がベイヤー配列で設けられていることから、細かい模様の被写体を撮像してもモアレの少ない撮像画を得られるようになる。
　＜３．第２の実施の形態＞
　次に、第２の実施の形態について説明する。第２の実施の形態は、撮像部の画素配置が第１の実施の形態と異なる。図９は、撮像部の画素配置を示している。撮像部２０-2は、複数の色成分の画素を用いて構成される画素領域が、Ｒ画素とＧ画素とＢ画素をベイヤー配列とした構成とされている。また、Ｒ画素とＢ画素と２つのＧ画素（Ｇｒ画素とＧｂ画素）からなる２×２画素領域を色画素配列単位とする。撮像部２０-2は、４×４画素領域に含まれる各色画素配列単位において、互いに異なる色成分画素を偏光画素として、４×４画素領域内に１つのＲ画素とＢ画素および２つのＧ画素（Ｇｒ画素とＧｂ画素）の偏光画素が含まれる構成とされている。
　例えば、図９の（ａ）は、左上の２×２画素領域内のＧｒ画素を偏光画素、右上の２×２画素領域内のＢ画素を偏光画素、左下の２×２画素領域内のＲ画素を偏光画素、右下の２×２画素領域内のＧｂ画素を偏光画素とした構成を示している。また、図９の（ｂ）は、左上の２×２画素領域内のＲ画素を偏光画素、右上の２×２画素領域内のＢ画素を偏光画素、左下の２×２画素領域内のＧｂ画素を偏光画素、右下の２×２画素領域内のＧｒ画素を偏光画素とした構成を示している。また、図９の（ｃ）は、左上の２×２画素領域内のＧｂ画素を偏光画素、右上の２×２画素領域内のＲ画素を偏光画素、左下の２×２画素領域内のＢ画素を偏光画素、右下の２×２画素領域内のＧｒ画素を偏光画素とした構成を示している。さらに、図９の（ｄ）は、左上の２×２画素領域内のＢ画素を偏光画素、右上の２×２画素領域内のＧｒ画素を偏光画素、左下の２×２画素領域内のＧｂ画素を偏光画素、右下の２×２画素領域内のＲ画素を偏光画素とした構成を示している。撮像部２０-2は、このように構成されている４×４画素領域が繰り返し設けられている。
　撮像部２０-2は、センサ部で生成された画素信号Ｒｓ，Ｇｓ，Ｂｓに対して第１の実施の形態と同様にホワイトバランス調整を行い、ホワイトバランス調整後の画像信号Ｒ，Ｇ，Ｂを生成して画像処理部３０へ出力する。
　画像処理部３０の無偏光成分算出部３１は、第１の実施の形態と同様に、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを用いて色毎に無偏光成分を算出する。無偏光成分算出部３１は、無偏光画素の画素値を用いて重み付けフィルタ処理を行い、画素位置毎の低周波成分を色成分毎に算出する。また、無偏光成分算出部３１は、無偏光画素の画素値を同じ色成分の低周波成分で除算して、無偏光画素の画素位置毎に高周波成分係数ＨＰＦを算出する。さらに、無偏光成分算出部３１は、算出した高周波成分係数と無偏光画素を用いて算出した低周波成分を用いて、上述の式（６）乃至（８）の演算を行い、無偏光画素毎に無偏光成分を色成分毎に算出する。
　また、無偏光成分算出部３１は、偏光画素の画素値を用いて重み付けフィルタ処理を行い、偏光画素の画素位置毎の偏光画素の色成分の低周波成分を算出する。また、無偏光成分算出部３１は、偏光画素の画素値を同じ色成分の低周波成分で除算して、偏光画素毎に高周波成分係数を算出する。さらに、無偏光成分算出部３１は、この高周波成分係数と、無偏光画素の画素信号を用いた重み付けフィルタ処理によって算出した偏光画素位置における色成分毎の低周波成分の乗算を偏光画素毎に行い、偏光画素の無偏光成分を色成分毎に算出する。
　無偏光成分算出部３１は、上述の処理を画素毎に行い、無偏光画素と偏光画素の各画素で無偏光成分を色成分毎に算出して、無偏光成分を示す図６の色成分毎の無偏光画像ＰＲnp，ＰＧnp，ＰＢnpの画像信号を鏡面反射成分算出部３３へ出力する。
　拡散反射成分算出部３２は、第１の実施の形態と同様に、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを用いて色毎に拡散反射成分信号を生成する。拡散反射成分算出部３２は、偏光画素の画素値を用いて重み付けフィルタ処理を行い、偏光画素毎に低周波成分を色成分毎に算出する。また、拡散反射成分算出部３２は、偏光画素の画素値を同じ色成分の低周波成分で除算して、偏光画素毎に高周波成分係数を算出する。さらに、拡散反射成分算出部３２は、算出した高周波成分係数と偏光画素を用いて算出した低周波成分を用いて、上述の式（１１）乃至（１３）の演算を行い、偏光画素毎に拡散反射成分を色成分毎に算出する。また、拡散反射成分算出部３２は、無偏光画素の画素信号を用いて重み付けフィルタ処理を行い、無偏光画素と等しい色成分の低周波成分を算出する。また、拡散反射成分算出部３２は、無偏光画素の画素値を同じ色成分の低周波成分で除算して、無偏光画素毎の高周波成分係数を算出する。さらに、画像処理部３０は、この高周波成分係数と偏光画素の画素信号を用いた重み付けフィルタ処理によって算出した無偏光画素位置における色成分毎の低周波成分の乗算を無偏光画素毎に行い、無偏光画素の拡散反射成分を色成分毎に算出する。さらに、拡散反射成分算出部３２は、偏光子の透過率ｒを用いて、偏光子による減光を補正して各画素の拡散反射成分を算出する。
　拡散反射成分算出部３２は、上述の処理を画素毎に行い、無偏光画素と偏光画素の各画素で拡散反射成分を色成分毎に算出して、拡散反射成分を示す図７の色成分毎の拡散反射成分画像ＰＲdif，ＰＧdif，ＰＢdifの画像信号を鏡面反射成分算出部３３へ出力する。
　鏡面反射成分算出部３３は、色成分毎に無偏光成分から拡散反射成分を画素位置毎に減算して鏡面反射成分を算出して、各画素で算出された鏡面反射成分を示す鏡面反射成分画像の画像信号を反射成分調整部３４へ出力する。
　反射成分調整部３４は、拡散反射成分算出部３２で算出された拡散反射成分と、鏡面反射成分算出部３３で算出された鏡面反射成分を合成して、反射成分が調整された画像信号を生成して出力する。
　なお、第２の実施の形態における画像処理部の動作は、図８に示すフローチャートと等しい。
　このように、第２の実施の形態の撮像部２０-2は、Ｒ画素とＧ画素とＢ画素がベイヤー配列で設けられており、４×４画素領域に含まれる各色画素配列単位、すなわちＲ画素とＢ画素と２つのＧ画素からなる２×２画素領域の色画素配列単位において、互いに異なる画素を偏光画素として、４×４画素領域内に１つのＲ画素とＢ画素および２つのＧ画素が偏光画素として設けた構成とされている。また、画像処理部３０は、撮像部２０-2で生成された画像信号を用いて、色毎に無偏光成分と拡散反射成分と鏡面反射成分が算出される。したがって、解像度と感度の高い無偏光画像と各色についての反射成分を取得できるようになる。
　また、第２の実施の形態の撮像部２０-2は、Ｒ画素とＧ画素とＢ画素がベイヤー配列で設けられている。したがって、細かい模様の被写体を撮像してもモアレの少ない撮像画を得られるようになる。さらに、第２の実施の形態では、第１の実施の形態に比べて、偏光画素間の距離が小さいことから、反射成分の解像度を高くできる。
　＜４．第３の実施の形態＞
　次に、第３の実施の形態について説明する。第３の実施の形態は、撮像部の画素配置が第１乃至第２の実施の形態と異なる。図１０は、撮像部の画素配置を示している。撮像部２０-3は、複数の色成分の画素を用いて構成される画素領域が、２×２画素領域を色単位として同一色成分の画素で構成されており、４×４画素領域にＲ画素の色単位領域とＢ画素の色単位領域およびＧ画素の２つの色単位領域が設けられている。また、撮像部２０-3は、４×４画素領域において、１つのＲ画素とＢ画素および２つのＧ画素を２×２画素領域に隣接して設けた構成とされている。
　例えば、図１０の（ａ）は、左上の２×２画素領域内における右下に位置するＲ画素を偏光画素、右上の２×２画素領域内における左下のＧｒ画素を偏光画素とする。また、左下の２×２画素領域内における右上に位置するＧｂ画素を偏光画素、右下の２×２画素領域内における左上のＢ画素を偏光画素とした構成を示している。また、図１０の（ｂ）は、左上の２×２画素領域内における左下に位置するＲ画素を偏光画素、右上の２×２画素領域内における右下のＧｒ画素を偏光画素とする。また、左下の２×２画素領域内における左上に位置するＧｂ画素を偏光画素、右下の２×２画素領域内における右上のＢ画素を偏光画素とした構成を示している。また、図１０の（ｃ）は、左上の２×２画素領域内における右上に位置するＲ画素を偏光画素、右上の２×２画素領域内における左上のＧｒ画素を偏光画素とする。また、左下の２×２画素領域内における右下に位置するＧｂ画素を偏光画素、右下の２×２画素領域内における左下のＢ画素を偏光画素とした構成を示している。さらに、図１０の（ｄ）は、左上の２×２画素領域内における左上に位置するＲ画素を偏光画素、右上の２×２画素領域内における右上のＧｒ画素を偏光画素とする。また、左下の２×２画素領域内における左下に位置するＧｂ画素を偏光画素、右下の２×２画素領域内における右下のＢ画素を偏光画素とした構成を示している。撮像部２０-3は、このように構成されている４×４画素領域が繰り返し設けられている。
　撮像部２０-3は、センサ部で生成された画素信号Ｒｓ，Ｇｓ，Ｂｓに対して第１乃至第２の実施の形態と同様にホワイトバランス調整を行い、ホワイトバランス調整後の画像信号Ｒ，Ｇ，Ｂを生成して画像処理部３０へ出力する。
　画像処理部３０の無偏光成分算出部３１は、第１および第２の実施の形態と同様に、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを用いて色毎に無偏光成分を算出する。無偏光成分算出部３１は、無偏光画素の画素値を用いて重み付けフィルタ処理を行い、画素位置毎の低周波成分を色成分毎に算出する。また、無偏光成分算出部３１は、無偏光画素の画素値を同じ色成分の低周波成分で除算して、無偏光画素の画素位置毎に高周波成分係数ＨＰＦを算出する。さらに、無偏光成分算出部３１は、算出した高周波成分係数と無偏光画素を用いて算出した低周波成分を用いて、上述の式（６）乃至（８）の演算を行い、無偏光画素毎に無偏光成分を色成分毎に算出する。
　また、無偏光成分算出部３１は、偏光画素の画素値を用いて重み付けフィルタ処理を行い、偏光画素の画素位置毎の偏光画素の色成分の低周波成分を算出する。また、無偏光成分算出部３１は、偏光画素の画素値を同じ色成分の低周波成分で除算して、偏光画素毎に高周波成分係数を算出する。さらに、無偏光成分算出部３１は、この高周波成分係数と、無偏光画素の画素信号を用いた重み付けフィルタ処理によって算出した偏光画素位置における色成分毎の低周波成分の乗算を偏光画素毎に行い、偏光画素の無偏光成分を色成分毎に算出する。
　無偏光成分算出部３１は、上述の処理を画素毎に行い、無偏光画素と偏光画素の各画素で無偏光成分を色成分毎に算出して、偏光成分を示す図６の色成分毎の無偏光画像ＰＲnp，ＰＧnp，ＰＢnpの画像信号を鏡面反射成分算出部３３へ出力する。
　拡散反射成分算出部３２は、第１および第２の実施の形態と同様に、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを用いて色毎に拡散反射成分信号を生成する。拡散反射成分算出部３２は、偏光画素の画素値を用いて重み付けフィルタ処理を行い、偏光画素毎に低周波成分を色成分毎に算出する。また、拡散反射成分算出部３２は、偏光画素の画素値を同じ色成分の低周波成分で除算して、偏光画素毎に高周波成分係数を算出する。さらに、拡散反射成分算出部３２は、算出した高周波成分係数と偏光画素を用いて算出した低周波成分を用いて、上述の式（１１）乃至（１３）の演算を行い、偏光画素毎に拡散反射成分を色成分毎に算出する。また、拡散反射成分算出部３２は、無偏光画素の画素信号を用いて重み付けフィルタ処理を行い、無偏光画素と等しい色成分の低周波成分を算出する。また、拡散反射成分算出部３２は、無偏光画素の画素値を同じ色成分の低周波成分で除算して、無偏光画素毎の高周波成分係数を算出する。さらに、画像処理部３０は、この高周波成分係数と偏光画素の画素信号を用いた重み付けフィルタ処理によって算出した無偏光画素位置における色成分毎の低周波成分の乗算を無偏光画素毎に行い、無偏光画素の拡散反射成分を色成分毎に算出する。さらに、拡散反射成分算出部３２は、偏光子の透過率ｒを用いて、偏光子による減光を補正して各画素の拡散反射成分を算出する。
　拡散反射成分算出部３２は、上述の処理を画素毎に行い、無偏光画素と偏光画素の各画素で拡散反射成分を色成分毎に算出して、拡散反射成分を示す図７の色成分毎の拡散反射成分画像ＰＲdif，ＰＧdif，ＰＢdifの画像信号を鏡面反射成分算出部３３へ出力する。
　鏡面反射成分算出部３３は、色成分毎に無偏光成分から拡散反射成分を画素位置毎に減算して鏡面反射成分を算出して、各画素で算出された鏡面反射成分を示す鏡面反射成分画像の画像信号を反射成分調整部３４へ出力する。
　反射成分調整部３４は、拡散反射成分算出部３２で算出された拡散反射成分と、鏡面反射成分算出部３３で算出された鏡面反射成分を合成して、反射成分が調整された画像信号を生成して出力する。
　なお、第３の実施の形態における画像処理部の動作は、図８に示すフローチャートと等しい。
　このように、第３の実施の形態の撮像部２０-3は、２×２画素領域が色単位とされて同一色の画素で構成されており、４×４画素領域にＲ画素の色単位とＢ画素の色単位およびＧ画素の２つの色単位の領域が設けられている。また、撮像部２０-3は、４×４画素領域において、１つのＲ画素とＢ画素および２つのＧ画素を含む２×２画素領域を偏光画素領域とする構成とされている。また、画像処理部３０は、撮像部２０-3で生成された画像信号を用いて、色毎に無偏光成分と拡散反射成分と鏡面反射成分が算出される。したがって、解像度と感度の高い無偏光画像と各色についての反射成分を取得できるようになる。
　また、第３の実施の形態では、２×２画素領域が色単位とされているので、第１の実施の形態や第２の実施の形態のようにＲ画素とＧ画素とＢ画素をベイヤー配列として設ける場合に比べて混色の少ない撮像画を得られるようになる。
　＜５．第４の実施の形態＞
　次に、第４の実施の形態について説明する。第４の実施の形態は、撮像部の画素配置が第１乃至第３の実施の形態と異なる。図１１は、撮像部の画素配置を示している。撮像部２０-4は、複数の色成分の画素を用いて構成される画素領域が、２×２画素領域を色単位として同一色成分の画素で構成されており、４×４画素領域にＲ画素の色単位領域とＢ画素の色単位領域およびＧ画素の２つの色単位領域が設けられている。また、撮像部２０-4は、色単位領域毎に１つの画素が偏光画素とされており、４×４画素領域において、偏光画素が水平方向と垂直方向に１画素置きに分散して設けた構成とされている。
　例えば、図１１の（ａ）は、左上の２×２画素領域内における右上に位置するＲ画素を偏光画素、右上の２×２画素領域内における右上のＧｒ画素を偏光画素とする。また、左下の２×２画素領域内における右上に位置するＧｂ画素を偏光画素、右下の２×２画素領域内における右上のＢ画素を偏光画素とした構成を示している。また、図１１の（ｂ）は、左上の２×２画素領域内における左上に位置するＲ画素を偏光画素、右上の２×２画素領域内における左上のＧｒ画素を偏光画素とする。また、左下の２×２画素領域内における左上に位置するＧｂ画素を偏光画素、右下の２×２画素領域内における左上のＢ画素を偏光画素とした構成を示している。また、図１１の（ｃ）は、左上の２×２画素領域内における左下に位置するＲ画素を偏光画素、右上の２×２画素領域内における右上のＧｒ画素を偏光画素とする。また、左下の２×２画素領域内における右上に位置するＧｂ画素を偏光画素、右下の２×２画素領域内における左下のＢ画素を偏光画素とした構成を示している。さらに、図１１の（ｄ）は、左上の２×２画素領域内における右下に位置するＲ画素を偏光画素、右上の２×２画素領域内における左上のＧｒ画素を偏光画素とする。また、左下の２×２画素領域内における左下に位置するＧｂ画素を偏光画素、右下の２×２画素領域内における右上のＢ画素を偏光画素とした構成を示している。撮像部２０-4は、このように構成されている４×４画素領域が繰り返し設けられている。
　撮像部２０-4は、センサ部で生成された画素信号Ｒｓ，Ｇｓ，Ｂｓに対して第１乃至第３の実施の形態と同様にホワイトバランス調整を行い、ホワイトバランス調整後の画像信号Ｒ，Ｇ，Ｂを生成して画像処理部３０へ出力する。
　画像処理部３０の無偏光成分算出部３１は、第１乃至第３の実施の形態と同様に、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを用いて色毎に無偏光成分を算出する。無偏光成分算出部３１は、無偏光画素の画素値を用いて重み付けフィルタ処理を行い、画素位置毎の低周波成分を色成分毎に算出する。また、無偏光成分算出部３１は、無偏光画素の画素値を同じ色成分の低周波成分で除算して、無偏光画素の画素位置毎に高周波成分係数ＨＰＦを算出する。さらに、無偏光成分算出部３１は、算出した高周波成分係数と無偏光画素を用いて算出した低周波成分を用いて、上述の式（６）乃至（８）の演算を行い、無偏光画素毎に無偏光成分を色成分毎に算出する。
　また、無偏光成分算出部３１は、偏光画素の画素値を用いて重み付けフィルタ処理を行い、偏光画素の画素位置毎の偏光画素の色成分の低周波成分を算出する。また、無偏光成分算出部３１は、偏光画素の画素値を同じ色成分の低周波成分で除算して、偏光画素毎に高周波成分係数を算出する。さらに、無偏光成分算出部３１は、この高周波成分係数と、無偏光画素の画素信号を用いた重み付けフィルタ処理によって算出した偏光画素位置における色成分毎の低周波成分の乗算を偏光画素毎に行い、偏光画素の無偏光成分を色成分毎に算出する。
　無偏光成分算出部３１は、上述の処理を画素毎に行い、無偏光画素と偏光画素の各画素で無偏光成分を色成分毎に算出して、無偏光成分を示す図６の色成分毎の無偏光画像ＰＲnp，ＰＧnp，ＰＢnpの画像信号を鏡面反射成分算出部３３へ出力する。
　拡散反射成分算出部３２は、第１乃至第３の実施の形態と同様に、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを用いて色毎に拡散反射成分信号を生成する。拡散反射成分算出部３２は、偏光画素の画素値を用いて重み付けフィルタ処理を行い、偏光画素毎に低周波成分を色成分毎に算出する。また、拡散反射成分算出部３２は、偏光画素の画素値を同じ色成分の低周波成分で除算して、偏光画素毎に高周波成分係数を算出する。さらに、拡散反射成分算出部３２は、算出した高周波成分係数と偏光画素を用いて算出した低周波成分を用いて、上述の式（１１）乃至（１３）の演算を行い、偏光画素毎に拡散反射成分を色成分毎に算出する。また、拡散反射成分算出部３２は、無偏光画素の画素信号を用いて重み付けフィルタ処理を行い、無偏光画素と等しい色成分の低周波成分を算出する。また、拡散反射成分算出部３２は、無偏光画素の画素値を同じ色成分の低周波成分で除算して、無偏光画素毎の高周波成分係数を算出する。さらに、画像処理部３０は、この高周波成分係数と偏光画素の画素信号を用いた重み付けフィルタ処理によって算出した無偏光画素位置における色成分毎の低周波成分の乗算を無偏光画素毎に行い、無偏光画素の拡散反射成分を色成分毎に算出する。さらに、拡散反射成分算出部３２は、偏光子の透過率ｒを用いて、偏光子による減光を補正して各画素の拡散反射成分を算出する。
　拡散反射成分算出部３２は、上述の処理を画素毎に行い、無偏光画素と偏光画素の各画素で拡散反射成分を色成分毎に算出して、拡散反射成分を示す図７の色成分毎の拡散反射成分画像ＰＲdif，ＰＧdif，ＰＢdifの画像信号を鏡面反射成分算出部３３へ出力する。
　鏡面反射成分算出部３３は、色成分毎に無偏光成分から拡散反射成分を画素位置毎に減算して鏡面反射成分を算出して、各画素で算出された鏡面反射成分を示す鏡面反射成分画像の画像信号を反射成分調整部３４へ出力する。
　反射成分調整部３４は、拡散反射成分算出部３２で算出された拡散反射成分と、鏡面反射成分算出部３３で算出された鏡面反射成分を合成して、反射成分が調整された画像信号を生成して出力する。
　なお、第４の実施の形態における画像処理部の動作は、図８に示すフローチャートと等しい。
　このように、第４の実施の形態の撮像部２０-4は、２×２画素領域が色単位とされて同一色の画素で構成されており、４×４画素領域にＲ画素の色単位とＢ画素の色単位およびＧ画素の２つの色単位の領域が設けられている。また、撮像部２０-4は、４×４画素領域において、色単位領域毎に１つの画素が偏光画素とされており、４×４画素領域において、偏光画素が水平方向と垂直方向に１画素置きに設けた構成とされている。したがって、解像度と感度の高い無偏光画像と各色についての反射成分を取得できるようになる。
　また、第４の実施の形態では、２×２画素領域が色単位とされているので、第１の実施の形態や第２の実施の形態のようにＲ画素とＧ画素とＢ画素をベイヤー配列として設ける場合に比べて混色の少ない撮像画を得られるようになる。また、第４の実施の形態では、第３の実施の形態に比べて、偏光画素間の距離が小さいことから、反射成分の解像度を高くできる。
　＜６．第５の実施の形態＞
　次に、第５の実施の形態について説明する。第５の実施の形態は、撮像部の画素配置が第１乃至第４の実施の形態と異なる。第１乃至第４の実施の形態では、複数の色成分の少なくとも各色成分を含む同一偏光方向の偏光画素を有する４×４画素領域が繰り返し設けられた場合を示しているが、第５の実施の形態では、複数の色成分の少なくとも各色成分を含む同一偏光方向の偏光画素を有する４×４画素領域が所定間隔で繰り返し設けられた場合を示している。図１２は、撮像部の画素配置を示しており、複数の色成分の少なくとも各色成分を含む同一偏光方向の偏光画素を有する４×４画素領域が４画素領域の間隔とされている。すなわち、８×８画素領域内の４×４画素領域において複数の色成分の少なくとも各色成分を含む同一偏光方向の偏光画素が設けられて、偏光画素を除く画素の過半数が無偏光画素とされている。
　例えば、図１２の（ａ）は、画素配列がベイヤー配列とされており、８×８画素領域内における１つの２×２画素領域内に含まれる１つのＲ画素とＢ画素および２つのＧ画素（Ｇｒ画素とＧｂ画素）が偏光画素とされている。また、図１２の（ｂ）は、２×２画素領域が色単位領域とされて同一色の画素で構成されており、４×４画素領域にＲ画素の色単位領域とＢ画素の色単位領域およびＧ画素の２つの色単位領域が設けられている。さらに、各色単位領域を含む４×４画素領域を上下左右に２つずつ含む８×８画素領域では、中央に位置する２×２画素領域内に含まれる１つのＲ画素とＢ画素および２つのＧ画素（Ｇｒ画素とＧｂ画素）が偏光画素とされている。
　撮像部２０-5は、センサ部で生成された画素信号Ｒｓ，Ｇｓ，Ｂｓに対して第１乃至第４の実施の形態と同様にホワイトバランス調整を行い、ホワイトバランス調整後の画像信号Ｒ，Ｇ，Ｂを生成して画像処理部３０へ出力する。
　画像処理部３０の無偏光成分算出部３１は、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを用いて色成分毎に無偏光成分を算出する。第５の実施の形態では、上述の第１乃至第４の実施の形態に比べて、無偏光画素に対する偏光画素の割合が少ない。したがって、無偏光成分算出部３１は、無偏光画素を用いて補間処理を行い、偏光画素の画素位置の無偏光成分を算出する。
　図１３は、無偏光成分算出部の動作を説明するための図である。例えばＲ画素である偏光画素の無偏光成分ＲＶｔを算出する場合、上下左右方向に１画素分離れた位置の無偏光のＲ画素の画素値ＲＶ0，ＲＶ1，ＲＶ2，ＲＶ3を用いて式（１７）に示す補間演算を行い、無偏光成分Ｒｔを算出する。なお、無偏光画素の画素値は無偏光成分である。
　　ＲＶt　＝　（ＲＶ0＋ＲＶ1＋ＲＶ2＋ＲＶ3）／４　　・・・（１７）
　また、Ｇｂ画素である偏光画素の無偏光成分Ｇｂtを算出する場合、斜め方向に隣接する無偏光のＧ画素の画素値ＧＶr0，ＧＶr1を用いて式（１８）に示す補間演算を行い、無偏光成分ＧＶｂｔを算出する。
　　ＧＶｂt　＝　（ＧＶr0＋ＧＶr2）／２　　・・・（１８）
　また、Ｇｒ画素である偏光画素の無偏光成分ＧＶrtを算出する場合、斜め方向に隣接する無偏光のＧ画素の画素値ＧＶb0，ＧＶb1を用いて上述のように補間演算を行い、無偏光成分ＧＶbtを算出する。さらに、Ｂ画素である偏光画素の無偏光成分ＢＶｔを算出する場合、上下左右方向に１画素分離れた位置の無偏光のＢ画素の画素値ＢＶ0，ＢＶ1，ＢＶ2，ＢＶ3を用いて、Ｒ画素と同様に補間演算を行い、無偏光成分ＢＶｔを算出する。
　無偏光成分算出部３１は、このように補間処理を行い偏光画素の無偏光成分を算出して、各画素が無偏光成分を示すベイヤー配列の無偏光画像の画像信号を生成する。さらに、無偏光成分算出部３１は、ベイヤー配列である無偏光画像の画像信号を用いて、従来と同様なデモザイク処理を行い、色成分毎の無偏光画像ＰＲnp，ＰＧnp，ＰＢnpの画像信号を生成して、鏡面反射成分算出部３３へ出力する。
　拡散反射成分算出部３２は、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを用いて色毎に拡散反射成分を算出する。拡散反射成分算出部３２は、無偏光画素を算出対象画素として、偏光画素の画素値を用いた線形補間によって、無偏光画素である算出対象画素の拡散反射成分を算出する。図１４は線形補間を説明するための図である。例えば算出対象画素の拡散反射成分Ｉｔを算出する場合、周囲に位置する例えば４つの偏光画素の画素値Ｉ0，Ｉ1，Ｉ2，Ｉ3を用いる。例えば算出対象画素がＲ画素である場合、画素値Ｉ0，Ｉ1，Ｉ2，Ｉ3は、偏光画素であるＲ画素の画素値を用いる。なお、「Ｉｔ」は各色成分の拡散反射成分のいずれかを示している。また、「Ｉ0，Ｉ1，Ｉ2，Ｉ3」は、「Ｉｔ」と色成分が等しい偏光画素の画素値を示している。
　拡散反射成分算出部３２は、式（１９）に基づいて、算出対象画素の拡散反射成分を算出する。なお、式（１９）において、「ｈ０，ｈ１」は、算出対象画素と等しい色成分で拡散反射成分を示す偏光画素との垂直方向の距離、「Ｗ０，Ｗ１」は、算出対象画素と等しい色成分で拡散反射成分を示す偏光画素との水平方向の距離を示している。
Figure JPOXMLDOC01-appb-M000001
　また、算出対象画素がＧ画素である場合、画素値Ｉ0，Ｉ1，Ｉ2，Ｉ3をＧｒ画素で拡散反射成分を示す偏光画素の画素値とした線形補間と、画素値Ｉ0，Ｉ1，Ｉ2，Ｉ3をＧｂ画素で拡散反射成分を示す偏光画素の画素値とした線形補間を行い、２つの線形補間の補間結果の平均値を算出対象画素のＧ画素の拡散反射成分とする。
　拡散反射成分算出部３２は、各無偏光画素を算出対象画素として上述の線形補間処理を行い、各画素の拡散反射成分を用いて上述の式（１５）のように、偏光子による減光が補正された各画素の拡散反射成分を算出する。拡散反射成分算出部３２は、各画素が拡散反射成分を示すベイヤー配列の拡散反射画像の画像信号を生成する。さらに、拡散反射成分算出部３２は、ベイヤー配列である拡散反射画像の画像信号を用いて、従来と同様なデモザイク処理を行い、色成分毎の拡散反射画像ＰＲdif，ＰＧdif，ＰＢdifの画像信号を生成して、鏡面反射成分算出部３３へ出力する。
　鏡面反射成分算出部３３は、色成分毎に無偏光成分から拡散反射成分を画素位置毎に減算して鏡面反射成分を算出して、各画素で算出された鏡面反射成分を示す鏡面反射成分画像の画像信号を反射成分調整部３４へ出力する。
　反射成分調整部３４は、拡散反射成分算出部３２で生成された拡散反射成分信号と、鏡面反射成分算出部３３で生成された鏡面反射成分信号を混合して、反射成分が調整された画像信号を生成して出力する。
　なお、第５の実施の形態における画像処理部は、図８に示すフローチャートの処理を行い、ステップＳＴ１において画像処理部は、偏光画素の無偏光成分を同じ色成分の無偏光画素の無偏光成分を用いた補間処理によって算出したのちデモザイク処理等を行い、画素毎の無偏光成分を色成分毎に算出する。また、ステップＳＴ２において画像処理部は、無偏光画素の拡散反射成分を同じ色成分の偏光画素の拡散反射成分を用いた補間処理によって算出したのちデモザイク処理や減光補正等を行い、画素毎の拡散反射成分を色成分毎に算出する。
　このように、第５の実施の形態の撮像部２０-5は、８×８画素領域またはそれ以上の広範囲の画素領域において、１つのＲ画素とＢ画素および２つのＧ画素の偏光画素を設けた構成とされている。また、８×８画素領域またはそれ以上の広範囲の画素領域は、Ｒ画素とＧ画素とＢ画素をベイヤー配列として設けた構成、または、同一色の画素からなる２×２画素領域の色単位領域として、Ｒ画素の色単位領域とＢ画素の色単位領域およびＧ画素の色単位領域が設けた構成とされている。したがって、解像度と感度の高い無偏光画像と各色成分についての反射成分を取得できるようになる。
　また、第５の実施の形態では、８×８画素領域またはそれ以上の広範囲の画素領域において、１つのＲ画素とＢ画素および２つのＧ画素の偏光画素を設けた構成とされている。このため、第１乃至第４の実施の形態に比べて偏光画素が少なく、高い解像度の無偏光画像を得られるようになる。
　＜７．第１乃至第５の実施の形態の特性と従来の構成の特性について＞
　図１５は、第１乃至第５の実施の形態の特性と従来の特性を一覧として示している。なお、偏光画素を設けていない場合と先行技術（特開２０１３－１４８５０５号公報）で示された構成を従来例として示している。
　偏光画素を設けることで感度が低下することから、偏光画素を設けないようにすると赤色と緑色と青色のいずれについても反射成分も取得できない。また、先願の第１の実施の形態のように感度を高くする構成では赤色と青色の反射成分を分離することができず、赤色と緑色と青色のいずれの反射成分も分離することができる構成とすると感度が低い。
　例えば、偏光画素を設けていない場合の感度を「１」として、偏光子を設けた画素の感度は１／２とする。この場合、先願の第１の実施の形態では感度が「０．８７５」となるが赤色と青色の反射成分を得ることができない。また、先願の第５の実施の形態では、赤色と緑色と青色のいずれの反射成分も取得できるが、感度が「０．７５」となってしまう。しかし、本技術の第１乃至第５の実施の形態によれば、感度が「０．８７５」以上であって、赤色と緑色と青色のいずれの反射成分も取得できるようになる。
　＜８．反射成分調整部の動作＞
　次に、画像処理装置における反射成分調整部の動作について説明する。反射成分調整部３４は、拡散反射成分Ｉdifと鏡面反射成分Ｉspeの少なくとも一方の成分量を調整して合成する。例えば、反射成分調整部３４は、鏡面反射成分Ｉspeと拡散反射成分Ｉdifを用いて式（２０）の演算を行い、鏡面反射成分Ｉspeと拡散反射成分Ｉdifの少なくとも一方の成分量を調整して合成することで、反射成分が調整された出力画像信号Ｉoutを生成する。なお、係数α，βは、ユーザが自由設定できるようにしてもよく、予め係数α，βの組み合わせた複数設定されており、係数α，βの組合せを例えばユーザの指示または被写体、撮像モードや撮像条件、撮像環境等に応じて
選択できるようにしてもよい。
　Ｉout ＝ α×Ｉspe ＋ β×Ｉdif　　　　・・・（２０）
　図１６は、係数α，βを変化させた場合の出力画像を例示している。図１６の（ａ）は、α＝β＝１である場合を示しており、出力画像は無偏光画像となる。図１６の（ｂ）は、α＝０，β＝１である場合を示しており、出力画像は拡散反射成分のみを示す画像となり、つやのない鈍い色であるマットな画像となる。図１６の（ｃ）は、α＝１，β＝０である場合を示しており、出力画像は鏡面反射成分のみを示す画像となる。図１６の（ｄ）は、鏡面反射成分の成分量を低下させて合成する場合、例えばα＝０．２，β＝１とした場合を示している。この場合、拡散反射成分の画像に鏡面反射成分がわずかに含まれて、無偏光画像よりも反射が抑えられて、出力画像を見栄えのよい画像にできる。
　また、反射成分調整部３４は、無偏光成分または拡散反射成分を用いて被写体認識を行い、認識した被写体領域毎に拡散反射成分と鏡面反射成分の少なくとも一方の成分量の調整を行うようにしてもよい。図１７は、被写体領域毎に係数α，βを設定した場合の出力画像を例示した図である。例えば、被写体認識によって、目の領域を判別して、目の領域以外の係数を「α＝０．２，β＝１」に設定して、無偏光画像よりも反射を抑えた画像とする。また、目の領域の係数を「α＝１，β＝１」に設定して、目の領域は反射を残した状態とする。このようにすれば、図１７の（ａ）に示す無偏光画像に比べて、図１７の（ｂ）に示すように顔がオイリーに表示されてしまうことがなく、かつ目の部分は輝きを残した出力画像を得られるようになる。また、被写体認識によって、口の領域を判別して、口の領域を他の領域と異なる係数に設定すれば、顔の反射（てかり）を抑えても、唇をつやのある色で表現できるようになる。
　また、反射成分調整部３４は、拡散反射成分のみ成分量の調整を行うようにしてもよい。具体的には、鏡面反射成分に関する係数αを固定して、拡散反射成分に関する係数βを変化させて、例えば肌の色を調整する。図１８は、係数αを固定して係数βのみを変化させた場合の出力画像を例示した図である。例えば、図１８の（ａ）に示す無偏光画像に比べて、係数βを小さくすることで、図１８の（ｂ）に示すように肌の色を日焼けしたような暗い色とすることができる。また、係数βを大きくすることで、図１８の（ｃ）に示すように肌の色を明るい色とすることができる。
　＜９．撮像部における信号読み出しについて＞
　ところで、撮像部２０でＣＭＯＳイメージセンサを用いた場合、画素信号を加算して読み出すことが可能である。また、画素信号を加算して読み出す場合、高フレームレートで画素信号の読み出しを行うことが可能となり、画素信号のＳ／Ｎ比を向上させることも可能となる。
　次に、撮像部で画素から信号を加算して読み出す場合の動作について、例えば第１の実施の形態の撮像部２０-1を用いた場合について説明する。
　図１９は撮像部の画素と読出信号線を示している。図１９の（ａ）は、撮像部２０-1における画素配列の一部を例示している。また、図１９の（ｂ）は、読出信号線を示している。撮像部２０-1の画素は、図示せずもフォトダイオードおよび電荷転送用やリセット用のトランジスタを有している。各画素は、リセット信号によってリセット用のトランジスタを駆動して蓄積電荷を排出する。その後、各画素は、読出信号によって電荷転送用のトランジスタを駆動して、リセット終了から読出開始までの露光期間中に蓄積された電荷を画素信号として読出信号線に出力する。読出信号線はアナログ／デジタル変換部（Ａ／Ｄ）と接続されており、各画素から読み出されたアナログ画素信号をデジタル画素信号に変換して、ノイズ除去等を行ったのち画像処理部３０へ出力する。
　図２０は、画素信号の読み出し動作を説明するための図である。撮像部２０-1は、同一の読出信号線に接続されている同一列の画素における同一色成分および同一偏光特性の画素から画素信号を順次加算して読み出す。例えば、図２０の（ａ）に示すように、撮像部２０-1は、読出信号線ＶＳＬ０を介して、偏光画素である２つのＲ画素から画素信号を加算して読み出して、偏光画素である１つのＲ画素のデジタル画素信号を生成する。また、撮像部２０-1は、読出信号線ＶＳＬ１を介して、偏光画素である２つのＧｒ画素から画素信号を加算して読み出して、偏光画素である１つのＧｒ画素のデジタル画素信号を生成する。また、撮像部２０-1は、読出信号線ＶＳＬ２を介して、無偏光画素である２つのＲ画素から画素信号を加算して読み出して、無偏光画素である１つのＲ画素のデジタル画素信号を生成する。さらに、撮像部２０-1は、読出信号線ＶＳＬ３を介して、無偏光画素である２つのＧｒ画素から画素信号を加算して読み出して、無偏光画素である１つのＧｒ画素のデジタル画素信号を生成する。このようにして、１ライン分の画素信号を生成する。
　次に、撮像部２０-1は、次ラインの画素信号を生成する。例えば、図２０の（ｂ）に示すように、撮像部２０-1は、読出信号線ＶＳＬ０を介して、偏光画素である２つのＧｒ画素から画素信号を加算して読み出して、偏光画素である１つのＧｒ画素のデジタル画素信号を生成する。また、撮像部２０-1は、読出信号線ＶＳＬ１を介して、偏光画素である２つのＢ画素から画素信号を加算して読み出して、偏光画素である１つのＢ画素のデジタル画素信号を生成する。また、撮像部２０-1は、読出信号線ＶＳＬ２を介して、無偏光画素である２つのＧｂ画素から画素信号を加算して読み出して、無偏光画素である１つのＧｂ画素のデジタル画素信号を生成する。さらに、撮像部２０-1は、読出信号線ＶＳＬ３を介して、無偏光画素である２つのＢ画素から画素信号を加算して読み出して、無偏光画素である１つのＢ画素のデジタル画素信号を生成する。このようにして、１ライン分の画素信号を生成する。
　さらに、撮像部２０-1は、例えば、図２０の（ｃ）（ｄ）に示すように、撮像部２０-1は、読出信号線ＶＳＬ０～ＶＳＬ３を介して、無偏光画素である２つの画素から画素信号を加算して読み出して、無偏光画素である１つの画素のデジタル画素信号を生成する。撮像部２０-1は、図２０に示す同一色で同一偏光特性の２画素を加算して１画素の画素信号を生成する処理を繰り返して画像信号を生成する。このように、撮像部２０-1は、信号加算の対象となる画素を垂直方向に順次移動して、ライン毎に画素信号を生成する。
　図２１は、撮像部２０-1の画素配置と撮像部２０-1から出力される画素信号に基づく画像の関係を示している。図２１の（ａ）に示す撮像部２０-1の画素配置に対して、図２０に示す処理を行うと、撮像部２０-1から出力される画素信号に基づく画像は、図２１の（ｂ）に示すように、垂直方向の解像度が１／２となる。そこで、画像処理部３０では、水平方向の解像度を１／２として、出力画像のアスペクト比が変化しないように処理してもよい。
　図２２は、水平方向の解像度を１／２とする解像度変換部の構成を例示している。解像度変換部３５は、加算部３５１と除算部３５２を有している。解像度変換部３５は、例えば反射成分調整部３４から出力された画像信号を用いて解像度変換を行う。
　解像度変換部３５の加算部３５１は、水平方向に隣接する２画素の画素値を加算して、加算結果を除算部３５２へ出力する。除算部３５２は、１ビットの右シフト処理を行い、加算部３５１の加算結果を１／２とする演算を行う。このように、解像度変換部３５は、水平方向に隣接する２画素の画素値を加算して、加算結果を１／２とする画像縮小処理を行う。したがって、解像度変換部３５から出力される画像は、高フレームレートの動作が可能で画素信号のＳ／Ｎ比を向上できるように、撮像部で複数画素から信号が加算して読み出されても、アスペクト比を保つことができる。なお、図２２では、加算部３５１に複数の加算器を設けて、乗算部３５２では加算部３５１の加算器毎に除算器を設ける場合を例示しているが、加算器と除算器をそれぞれ１つ設けて、２画素の画素信号から１画素の画素信号を生成する処理をライン毎に、順次水平方向に行うようにしてもよい。
　なお、上述の実施の形態では、原色系のカラーフィルタを用いて撮像部が構成されている場合を例示したが、撮像部は補色系のカラーフィルタを用いて構成されてもよい。また、無偏光画素は色成分画素で構成されている場合に限らず、他の特性の画素例えば白画素や赤外領域に感度を有する赤外画素等が含まれていてもよい。
　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の撮像装置は以下のような構成も取ることができる。
　（１）　撮像素子の４×４画素領域のうち、複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、前記偏光画素を除く画素が前記４×４画素領域の過半数かつ無偏光画素である撮像部と、
　前記撮像部で生成された前記偏光画素の画素信号と前記無偏光画素の画素信号を用いて、画素毎に無偏光成分と拡散反射成分の少なくともいずれかを算出する画像処理部と
を備える撮像装置。
　（２）　前記画像処理部は、前記無偏光成分と前記拡散反射成分を算出して、算出した前記無偏光成分と前記拡散反射成分に基づき鏡面反射成分を算出する（１）に記載の撮像装置。
　（３）　前記画像処理部は、前記無偏光成分と前記拡散反射成分の少なくともいずれか、または前記無偏光成分と前記拡散反射成分と前記鏡面反射成分を色成分毎に算出する（２）に記載の撮像装置。
　（４）　前記画像処理部は、前記画素信号を用いてフィルタ処理を行い色成分毎の低周波成分を画素毎に算出して、画素位置毎に画素信号と当該画素と等しい色成分の低周波成分に基づき高周波成分情報を算出して、画素位置毎に算出した高周波成分情報と色成分毎の低周波成分から前記無偏光成分と前記拡散反射成分を前記色成分毎に算出する（３）に記載の撮像装置。
　（５）　前記画像処理部は、偏光画素と同一色の無偏光画素の画素信号を用いて補間処理を行い前記偏光画素の無偏光成分を算出して、無偏光画素と同一色の偏光画素の画素信号を用いて補間処理を行い前記無偏光画素の拡散反射成分を算出する（３）に記載の撮像装置。
　（６）　前記画像処理部は、前記拡散反射成分と前記鏡面反射成分の少なくとも一方の成分量を調整して合成する（２）乃至（５）のいずれかに記載の撮像装置。
　（７）　前記画像処理部は、前記鏡面反射成分の成分量を低下させて合成する（６）に記載の撮像装置。
　（８）　前記画像処理部は、前記拡散反射成分のみ成分量の調整を行う（６）に記載の撮像装置。
　（９）　前記画像処理部は、前記無偏光成分または前記拡散反射成分を用いて被写体認識を行い、認識した被写体領域毎に前記拡散反射成分と前記鏡面反射成分の少なくとも一方の成分量の調整を行う（６）に記載の撮像装置。
　（１０）　前記撮像部は、偏光特性と色成分が同一の画素から信号を加算して画素信号の生成を行い、
　前記画像処理部は、信号の加算が行われた画素の配列方向に対して直交する方向に、前記信号の加算が行われた画素数に応じた画像縮小処理を行う（１）乃至（９）のいずれかに記載の撮像装置。
　（１１）　前記撮像部で撮像される被写体には、前記撮像素子の偏光画素の偏光方向に対して直交する偏光方向の偏光光が照射されている（１）乃至（１０）のいずれかに記載の撮像装置。
　（１２）　前記偏光光を照射する照明部をさらに備える（１１）に記載の撮像装置。
　この技術によれば、撮像素子の４×４画素領域のうち、複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、且つ、４×４画素領域のうち過半数の画素が無偏光画素とされて、偏光画素の画素信号と無偏光画素の画素信号を用いて、画素毎に無偏光成分と拡散反射成分が算出される。このため、解像度と感度の高い無偏光画像と色成分毎の反射成分を取得できる。したがって、被写体画像の調整機能を有する撮像装置や、撮像部で生成された画像信号を用いて画像処理を行う機能を有した電子機器等に適している。
　１０・・・撮像装置
　２０，２０-1，２０-2，２０-3，２０-4，２０-5・・・撮像部
　２１・・・センサ部
　２２，４２・・・偏光子
　３０・・・画像処理部
　３１・・・無偏光成分算出部
　３２・・・拡散反射成分算出部
　３３・・・鏡面反射成分算出部
　３４・・・反射成分調整部
　３５・・・解像度変換部
　３５１・・・加算部
　３５２・・・除算部
　４０・・・照明部
　４１・・・光源

Claims (20)

  1. 　撮像素子の４×４画素領域のうち、複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、前記偏光画素を除く画素が前記４×４画素領域の過半数かつ無偏光画素である撮像部と、
    　前記撮像部で生成された前記偏光画素の画素信号と前記無偏光画素の画素信号を用いて、画素毎に無偏光成分と拡散反射成分の少なくともいずれかを算出する画像処理部と
    を備える撮像装置。
  2. 　前記画像処理部は、前記無偏光成分と前記拡散反射成分を算出して、算出した前記無偏光成分と前記拡散反射成分に基づき鏡面反射成分を算出する
    請求項１に記載の撮像装置。
  3. 　前記画像処理部は、前記無偏光成分と前記拡散反射成分の少なくともいずれか、または前記無偏光成分と前記拡散反射成分と前記鏡面反射成分を色成分毎に算出する
    請求項２に記載の撮像装置。
  4. 　前記画像処理部は、前記画素信号を用いてフィルタ処理を行い色成分毎の低周波成分を画素毎に算出して、画素位置毎に画素信号と当該画素と等しい色成分の低周波成分に基づき高周波成分情報を算出して、画素位置毎に算出した高周波成分情報と色成分毎の低周波成分から前記無偏光成分と前記拡散反射成分を前記色成分毎に算出する
    請求項３に記載の撮像装置。
  5. 　前記画像処理部は、偏光画素と同一色の無偏光画素の画素信号を用いて補間処理を行い前記偏光画素の無偏光成分を算出して、無偏光画素と同一色の偏光画素の画素信号を用いて補間処理を行い前記無偏光画素の拡散反射成分を算出する
    請求項３に記載の撮像装置。
  6. 　前記画像処理部は、前記拡散反射成分と前記鏡面反射成分の少なくとも一方の成分量を調整して合成する
    請求項２に記載の撮像装置。
  7. 　前記画像処理部は、前記鏡面反射成分の成分量を低下させて合成する
    請求項６に記載の撮像装置。
  8. 　前記画像処理部は、前記拡散反射成分のみ成分量の調整を行う
    請求項６に記載の撮像装置。
  9. 　前記画像処理部は、前記無偏光成分または前記拡散反射成分を用いて被写体認識を行い、認識した被写体領域毎に前記拡散反射成分と前記鏡面反射成分の少なくとも一方の成分量の調整を行う
    請求項６に記載の撮像装置。
  10. 　前記撮像部は、偏光特性と色成分が同一の画素から信号を加算して画素信号の生成を行い、
    　前記画像処理部は、信号の加算が行われた画素の配列方向に対して直交する方向に、前記信号の加算が行われた画素数に応じた画像縮小処理を行う
    請求項１に記載の撮像装置。
  11. 　前記撮像部で撮像される被写体には、前記撮像素子の偏光画素の偏光方向に対して直交する偏光方向の偏光光が照射される
    請求項１に記載の撮像装置。
  12. 　前記偏光光を照射する照明部をさらに備える
    請求項１１に記載の撮像装置。
  13. 　複数の色成分の画素を用いて構成される画素領域に、４×４画素領域内における前記複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、前記４×４画素領域内における前記偏光画素を除く画素が過半数かつ無偏光画素である領域を設けた
    撮像素子。
  14. 　前記画素領域に前記４×４画素領域を繰り返し設けた
    請求項１３に記載の撮像素子。
  15. 　前記４×４画素領域を所定間隔で繰り返し設けた
    請求項１４に記載の撮像素子。
  16. 　前記４×４画素領域における２×２画素領域を、前記各色成分を含む同一偏光方向の偏光画素とした
    請求項１３に記載の撮像素子。
  17. 　前記４×４画素領域に含まれる４つの２×２画素領域を前記各色成分の画素で構成して、前記２×２画素領域における１つの画素を前記偏光画素とした
    請求項１３に記載の撮像素子。
  18. 　前記４×４画素領域に含まれる４つの２×２画素領域の各２×２画素領域を同一色成分の画素とした
    請求項１３に記載の撮像素子。
  19. 　前記偏光画素を分散または隣接して設けた
    請求項１８に記載の撮像素子。
  20. 　撮像素子の４×４画素領域のうち、複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、前記偏光画素を除く画素が前記４×４画素領域の過半数かつ無偏光画素である撮像部から前記偏光画素の画素信号と前記無偏光画素の画素信号を取得することと、
    　前記撮像部から取得した前記偏光画素の画素信号と前記無偏光画素の画素信号を用いて、画素毎の無偏光成分と拡散反射成分の少なくともいずれかを算出すこと
    を含む画像処理方法。
PCT/JP2018/014915 2017-06-13 2018-04-09 撮像装置と撮像素子および画像処理方法 WO2018230119A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880034579.XA CN110741632B (zh) 2017-06-13 2018-04-09 拍摄装置、拍摄元件以及图像处理方法
US16/619,170 US11108951B2 (en) 2017-06-13 2018-04-09 Image capturing device and imaging element, and image processing method
DE112018002992.1T DE112018002992T5 (de) 2017-06-13 2018-04-09 Bildgebungseinrichtung, bildgebungselement und bildverarbeitungsverfahren
JP2019525132A JP7006690B2 (ja) 2017-06-13 2018-04-09 撮像装置と撮像素子および画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-115755 2017-06-13
JP2017115755 2017-06-13

Publications (1)

Publication Number Publication Date
WO2018230119A1 true WO2018230119A1 (ja) 2018-12-20

Family

ID=64660016

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/014915 WO2018230119A1 (ja) 2017-06-13 2018-04-09 撮像装置と撮像素子および画像処理方法

Country Status (5)

Country Link
US (1) US11108951B2 (ja)
JP (1) JP7006690B2 (ja)
CN (1) CN110741632B (ja)
DE (1) DE112018002992T5 (ja)
WO (1) WO2018230119A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3937476A4 (en) * 2019-04-19 2022-05-04 Sony Group Corporation IMAGE RECORDING SYSTEM, IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
EP4044574A4 (en) * 2019-10-07 2022-11-09 Sony Semiconductor Solutions Corporation ELECTRONIC DEVICE
US12088929B2 (en) 2020-06-29 2024-09-10 Sony Group Corporation Image processing apparatus and image processing method which performs reflection removal processing by using polarization images

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
JP7330376B2 (ja) 2019-10-07 2023-08-21 ボストン ポーラリメトリックス，インコーポレイティド 偏光によるセンサシステム及び撮像システムの増強のための方法
WO2021108002A1 (en) * 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010263158A (ja) * 2009-05-11 2010-11-18 Sony Corp ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
JP2013148505A (ja) * 2012-01-20 2013-08-01 Ricoh Co Ltd 画像処理システム及びそれを備えた車両
JP2017017563A (ja) * 2015-07-01 2017-01-19 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および情報処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2512124B1 (en) * 2009-12-08 2016-07-06 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus
CN103037751B (zh) * 2010-11-30 2015-06-10 松下电器产业株式会社 图像处理装置
JP5799264B2 (ja) * 2013-02-15 2015-10-21 パナソニックＩｐマネジメント株式会社 画像処理装置および内視鏡

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010263158A (ja) * 2009-05-11 2010-11-18 Sony Corp ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
JP2013148505A (ja) * 2012-01-20 2013-08-01 Ricoh Co Ltd 画像処理システム及びそれを備えた車両
JP2017017563A (ja) * 2015-07-01 2017-01-19 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および情報処理装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3937476A4 (en) * 2019-04-19 2022-05-04 Sony Group Corporation IMAGE RECORDING SYSTEM, IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
US11997398B2 (en) 2019-04-19 2024-05-28 Sony Group Corporation Imaging apparatus, image processing apparatus, and image processing method
EP4044574A4 (en) * 2019-10-07 2022-11-09 Sony Semiconductor Solutions Corporation ELECTRONIC DEVICE
US11917306B2 (en) 2019-10-07 2024-02-27 Sony Semiconductor Solutions Corporation Electronic device that corrects images captured on a side opposite a displaying surface
US12088929B2 (en) 2020-06-29 2024-09-10 Sony Group Corporation Image processing apparatus and image processing method which performs reflection removal processing by using polarization images

Also Published As

Publication number Publication date
DE112018002992T5 (de) 2020-02-27
US20200204729A1 (en) 2020-06-25
CN110741632B (zh) 2021-08-03
JP7006690B2 (ja) 2022-01-24
JPWO2018230119A1 (ja) 2020-04-16
US11108951B2 (en) 2021-08-31
CN110741632A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
WO2018230119A1 (ja) 撮像装置と撮像素子および画像処理方法
JP5284537B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置
US8698924B2 (en) Tone mapping for low-light video frame enhancement
JP5054248B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置
WO2011093112A1 (ja) 画像処理装置、および信号処理方法、並びにプログラム
WO2014027511A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5541205B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP2013055623A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP2014021928A (ja) 画像処理装置、画像処理方法およびプログラム
WO2020210472A1 (en) High-dynamic-range image generation with pre-combination denoising
WO2019124289A1 (ja) 装置、制御方法および記憶媒体
JP2015122634A (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP5843599B2 (ja) 画像処理装置および撮像装置並びにその方法
US9143762B2 (en) Camera module and image recording method
JP5919086B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP5682443B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US11303869B2 (en) Image processing apparatus and image processing method
US10382710B2 (en) Image processing apparatus, image capturing apparatus, and non-transitory computer-readable storage medium
JP2013055622A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
US8406558B2 (en) Imaging apparatus, image processing apparatus, and image processing method
JP6497822B2 (ja) 撮像装置
JP2006166030A (ja) 色雑音低減手法およびカラー撮像装置
JP2014086957A (ja) 画像処理装置及び画像処理方法
JP2013223208A (ja) 撮像処理装置
JP2018007188A (ja) Ｍｔｆ特性を用いたモアレの低減装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18816642

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019525132

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18816642

Country of ref document: EP

Kind code of ref document: A1