WO2016136085A1 - 画像処理装置と画像処理方法および撮像素子 - Google Patents

画像処理装置と画像処理方法および撮像素子 Download PDF

Info

Publication number
WO2016136085A1
WO2016136085A1 PCT/JP2015/084400 JP2015084400W WO2016136085A1 WO 2016136085 A1 WO2016136085 A1 WO 2016136085A1 JP 2015084400 W JP2015084400 W JP 2015084400W WO 2016136085 A1 WO2016136085 A1 WO 2016136085A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarization
image
unit
reflection component
image processing
Prior art date
Application number
PCT/JP2015/084400
Other languages
English (en)
French (fr)
Inventor
雄飛 近藤
康孝 平澤
穎 陸
文香 中谷
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/540,456 priority Critical patent/US10362280B2/en
Priority to JP2017501864A priority patent/JP6673327B2/ja
Priority to CN201580076551.9A priority patent/CN107251553B/zh
Priority to EP15883375.6A priority patent/EP3264754B1/en
Publication of WO2016136085A1 publication Critical patent/WO2016136085A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Definitions

  • This technology enables generation of normal information with high accuracy for an image processing apparatus, an image processing method, and an image sensor.
  • Patent Document 1 discloses a method in which a polarizer is arranged in front of an imaging unit and a polarization image in a plurality of polarization directions is generated by photographing by rotating the polarizer. Also, a method is disclosed in which a polarization image having a plurality of different polarization directions is generated by one imaging by providing a polarizer having a different polarization direction for each pixel.
  • normal information of a subject is generated from polarized images of a plurality of polarization directions.
  • normal information is generated by fitting polarization images of a plurality of polarization directions to a model equation.
  • the polarization image needs to be processed in consideration of the reflection component.
  • this technique provides an image processing apparatus, an image processing method, and an image sensor that separate or extract reflection components.
  • the first aspect of this technology is Using a polarization image generated by an imaging device having a configuration in which a same polarization pixel block including a plurality of pixels of the same polarization direction is provided for each of a plurality of polarization directions and pixels of a predetermined color are provided in the same polarization pixel block,
  • An image processing apparatus includes a polarization image processing unit that separates or extracts a reflection component.
  • the polarization image processing unit has a configuration in which the same polarization pixel block including a plurality of pixels in the same polarization direction is provided for each of three or more polarization directions, and pixels for each predetermined color are provided in the same polarization pixel block. Separation of reflection components or extraction of diffuse reflection components is performed using the polarization image generated by the image sensor. Further, a normal line information generation unit is provided to generate normal line information from the polarization image after separation or extraction of the reflection component.
  • the normal information generation unit when the reflection component is separated into a diffuse reflection component and a specular reflection component, the normal information generation unit generates normal information from each of the polarization image indicating the diffuse reflection component and the polarization image indicating the specular reflection component, and Normal information is integrated by weighting a reflection component having a large luminance change caused by a difference in angle or a reflection component having a small error with respect to a predetermined luminance change caused by a difference in polarization angle as a dominant reflection component.
  • the normal line information generation unit when a diffuse reflection component is extracted, the normal line information generation unit generates normal information from a polarization image indicating the diffuse reflection component.
  • a correction processing unit is provided to perform gain adjustment for each color on the polarization image, and to separate or extract reflection components from the polarization image after gain adjustment.
  • a non-polarized image generation unit is provided to generate a non-polarized image from the polarized image.
  • the second aspect of this technology is The same polarization pixel block composed of a plurality of pixels in the same polarization direction is provided for each of the plurality of polarization directions, and the polarization image for each predetermined color generated by the imaging device having the respective color pixels is provided in the same polarization pixel block.
  • an image processing method including separating or extracting a reflection component in a polarization image processing unit.
  • the third aspect of this technology is A polarizer provided with a plurality of pixels having the same polarization direction and the same polarization pixel block for each of the plurality of polarization directions; A color filter that provides pixels of a predetermined color in the same polarization pixel block of the polarizer;
  • the imaging device includes the polarizer and a sensor unit that generates an image signal based on subject light transmitted through the color filter.
  • a color filter is configured by repeatedly providing, for example, color pattern unit blocks, which are pixel blocks having a predetermined color arrangement, in a row direction and a column direction of pixels, and a polarizer includes a plurality of polarization directions with the same polarization pixel block.
  • a polarization pattern unit block which is a pixel block provided every time, is repeatedly provided in the row direction and the column direction of the pixel. The color pattern unit block and the polarization pattern unit block cause a positional difference, thereby providing pixels for each predetermined color in the same polarization pixel block.
  • the same polarization pixel block of the polarizer may be the same size as the color pattern unit block.
  • the polarizer has a configuration in which the same polarization pixel blocks whose polarization directions are orthogonal to each other are alternately provided in the column direction or row direction of the pixels, and the color filter has pixels of a predetermined color in the same polarization pixel block. May be.
  • the same polarization pixel block having a different polarization direction is repeatedly provided in a predetermined order in the row direction (or column direction) of the pixel, and the polarizer in the next row (or column) is the previous row (or column).
  • the color filter may be provided with pixels for each predetermined color in the same polarization pixel block.
  • the polarizer has a configuration in which, for example, non-polarized pixels are provided in the same polarization pixel block, and the color filter has a non-polarization so that the color arrangement when a non-polarization pixel is selected becomes a predetermined color arrangement.
  • a color may be set for the pixel.
  • the color filter may have a configuration in which, for example, three primary color pixels and white pixels are provided in the same polarization pixel block.
  • a process of separating or extracting the reflection component is performed on the image. Therefore, for example, it is possible to generate normal information with high accuracy in consideration of the reflection component. Note that the effects described in the present specification are merely examples and are not limited, and may have additional effects.
  • FIG. 1 shows a basic configuration of an imaging system using an image processing apparatus of the present technology.
  • the imaging system 10 includes an imaging unit 20 and an image processing unit 30.
  • the image processing unit 30 includes, for example, a correction processing unit 31, a polarization image processing unit 32, a normal line information generation unit 35, and a non-polarization image generation unit 39.
  • the imaging unit 20 generates a polarization image in a plurality of polarization directions with polarized light having a high extinction ratio.
  • the imaging unit 20 is configured using an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device).
  • the imaging unit 20 includes a polarizer and a color filter on an imaging surface of a sensor unit that generates an image signal corresponding to subject light by photoelectric conversion.
  • the polarizer has a configuration in which the same polarization pixel block including a plurality of pixels having the same polarization direction is provided for each of the plurality of polarization directions so that a polarized image having a high extinction ratio can be generated.
  • the color filter has a configuration in which pixels of predetermined colors are provided in the same polarization pixel block of the polarizer.
  • the imaging unit 20 outputs an image signal generated by the sensor unit based on the subject light transmitted through the polarizer and the color filter to the image processing unit 30.
  • FIG. 2 illustrates the configuration of the imaging unit.
  • FIG. 2A illustrates the configuration of the polarizer of the imaging unit.
  • the polarizer 21 has a 2 ⁇ 2 pixel unit having the same polarization direction as the same polarization pixel block, and a 4 ⁇ 4 pixel polarization pattern unit block composed of four identical polarization pixel blocks having different polarization directions from each other in the row direction of the pixel. And repeatedly provided in the column direction.
  • the polarization direction is shown as the hatching line direction. 2
  • FIG. 10, FIG. 14, and FIG. 21 to FIG. 26 illustrate some pixel regions in the imaging unit.
  • FIG. 2B illustrates the configuration of the color filter of the imaging unit.
  • the color filter 22 includes, for example, red pixels R, green pixels G, and blue pixels B in units of 2 ⁇ 2 pixels. Further, the color filter 22 has a color array in which a color pattern unit block composed of one red pixel R, blue pixel B, and two green pixels G is repeatedly provided in the pixel row direction and column direction as shown in the figure. Is a Bayer array.
  • the imaging unit 20 includes a polarizer and a color filter so that the color pattern unit block has a positional difference of one pixel in the horizontal direction and the vertical direction with respect to the polarization pattern unit block. Is provided.
  • the polarizer and the color filter are provided in this way, one red pixel R, one blue pixel B, and two green pixels G are included in one identical polarization pixel block.
  • a pixel block of 2 ⁇ 2 pixels of the same color includes pixels of four polarization directions.
  • the imaging unit By configuring the imaging unit in this way, it is possible to generate a polarization image in a plurality of polarization directions with a high extinction ratio as compared with the case of using a polarizer whose polarization direction is changed in units of 1 ⁇ 1 pixels.
  • the correction processing unit 31 of the image processing unit 30 performs processing on the polarization image generated by the imaging unit 20 by the polarization image processing unit 32 without being affected by the difference in illumination light, the variation of the imaging elements, or the like. Adjust the gain for each color.
  • the correction processing unit 31 performs, for example, sensitivity variation correction of the image sensor, lens shading correction, white balance correction, and the like as correction processing.
  • Sensitivity variation and lens shading are unique to each individual, and differ for each pixel position and color. Therefore, the correction processing unit 31 performs sensor variation correction and shading correction based on Expression (1) using a correction value (gain) GM obtained by measurement or the like in advance.
  • BBij (BAij ⁇ BK) ⁇ GM (1)
  • Equation (1) “BAij” is the pixel value at the pixel position (i, j), “BK” is the black level value, and “BBij” is the corrected pixel value.
  • the same black level value may be used for the entire screen, or a different value may be used for each pixel measured in advance.
  • White balance correction is a correction that adjusts the lighting color to be white.
  • the correction processing unit 31 may use a correction value calculated in the same manner as the auto white balance correction mechanism of the conventional imaging apparatus, or by using the correction value calculated by the mechanism by which the user designates the lighting situation by himself. Also good. It is also possible to calculate a correction value from the polarization image generated by the imaging unit 20.
  • FIG. 3 is a diagram for explaining a polarization image generation operation.
  • the light source LT is used to illuminate the subject OB, and the subject OB is imaged by the imaging unit 20.
  • FIG. 4 is a diagram illustrating a captured image and a reflection component. 4A shows a captured image generated by the imaging unit, and the captured image has a diffuse reflection component shown in FIG. 4B and a specular reflection component shown in FIG. 4C. is doing. Note that the levels of the diffuse reflection component and the specular reflection component change depending on the polarization direction. Specular reflection is often caused by illumination, and as shown in FIGS. 8 and 9 used in the following description, specular reflection has a higher degree of polarization than diffuse reflection and is likely to be polarized.
  • the correction processing unit 31 regards this polarization component as a specular reflection component, performs processing for each color, and detects pixel positions where the luminance of the polarization component is high for all colors. Therefore, the correction value is calculated so that the detected pixel position is white.
  • the correction value (gain) GWred for the red pixel and the correction value (gain) GWblue for the blue pixel are calculated based on the green pixel, and the red pixel is calculated based on the equations (2) and (3). And the pixel value of the blue pixel are corrected.
  • “BDred” represents the pixel value of the red pixel after correction
  • “BCred” represents the pixel value of the red pixel before correction
  • “BDblue” indicates the pixel value of the blue pixel after correction
  • “BCblue” indicates the pixel value of the blue pixel before correction.
  • BDred BCred ⁇ GWred (2)
  • BDblue BCblue ⁇ GWblue (3)
  • the correction processing unit 31 corrects the white balance of the polarization image in this way, and outputs the corrected polarization image to the polarization image processing unit 32.
  • the polarization image processing unit 32 separates or extracts the reflection component from the corrected polarization image, and outputs the polarization image of the separated or extracted reflection component to the normal information generation unit 35.
  • the normal information generation unit 35 generates normal information from the polarization image of the separated or extracted reflection component.
  • the normal line information generation unit 35 obtains a polarization model expression for each separated reflection component or for the extracted reflection component. Further, the normal line information generation unit 35 obtains the azimuth angle and the zenith angle from the polarization model formula, and uses it as normal line information.
  • FIG. 6 is a diagram for explaining a change in luminance of the polarization image.
  • the light source LT is used to illuminate the subject OB, and the subject OB is imaged by the imaging unit CM via the polarizing plate PL.
  • the luminance of the subject OB changes in the polarization image generated by the imaging unit CM according to the rotation of the polarizing plate PL.
  • the highest luminance when the polarizing plate PL is rotated is Imax, and the lowest luminance is Imin.
  • an angle on the xy plane with respect to the x-axis when the polarizing plate PL is rotated is a polarization angle ⁇ pol.
  • the polarizing plate PL returns to the original polarization state when rotated 180 degrees and has a period of 180 degrees.
  • FIG. 7 illustrates the relationship between the luminance and the polarization angle.
  • 7A shows the relationship between the luminance and the polarization angle in diffuse reflection
  • FIG. 7B shows the relationship between the luminance and the polarization angle in specular reflection.
  • the polarization angle ⁇ pol when the maximum luminance Idmax is observed is defined as the azimuth angle ⁇ d.
  • Equation (4) a polarization model equation indicating a change in luminance Idpol observed when the polarizing plate PL is rotated, that is, a predetermined luminance change caused by a difference in polarization angle. Can be represented.
  • Equation (4) the polarization angle ⁇ pol is obvious when the polarization image is generated, and the maximum luminance Idmax, the minimum luminance Idmin, and the azimuth angle ⁇ d are variables. Therefore, since the normal information generating unit 35 has three variables, the normal information generating unit 35 performs fitting to the function shown in Expression (4) using the luminance of the polarization image representing the diffuse reflection component having the polarization direction of three or more directions. Then, the azimuth angle ⁇ d at which the maximum luminance is obtained is determined based on a function indicating the relationship between the luminance and the polarization angle.
  • the object surface normal is expressed in a polar coordinate system, and the normal information is defined as an azimuth angle ⁇ d and a zenith angle ⁇ d.
  • the zenith angle ⁇ d is an angle from the z-axis toward the normal
  • the azimuth angle ⁇ d is an angle in the y-axis direction with respect to the x-axis as described above.
  • the degree of polarization ⁇ d can be calculated by performing the calculation of Expression (5).
  • the relationship between the degree of polarization and the zenith angle is known to have, for example, the characteristics shown in FIG. 8 from the Fresnel equation, and the zenith angle ⁇ d can be determined based on the degree of polarization ⁇ d from the characteristics shown in FIG. Note that the characteristics shown in FIG. 8 are examples, and the characteristics change depending on the refractive index of the subject.
  • the polarization angle ⁇ pol when the minimum luminance Ismin is observed is defined as the azimuth angle ⁇ s.
  • the luminance Ispol observed when the polarizing plate PL is rotated that is, a polarization model equation indicating a predetermined luminance change caused by a difference in polarization angle, is expressed as Equation (6). Can do.
  • the polarization angle ⁇ pol is clear when the polarization image is generated, and the maximum luminance Ismax, the minimum luminance Ismin, and the azimuth angle ⁇ s are variables. Therefore, since the normal information generating unit 35 has three variables, the normal information generating unit 35 performs fitting to the function shown in Expression (6) using the luminance of the polarization image representing the specular reflection component having the polarization direction of three or more. Then, the azimuth angle ⁇ s at which the minimum luminance is obtained is determined based on a function indicating the relationship between the luminance and the polarization angle.
  • the object surface normal is expressed in a polar coordinate system, and the normal information is defined as an azimuth angle ⁇ s and zenith angle ⁇ s.
  • the zenith angle ⁇ s is an angle from the z axis toward the normal
  • the azimuth angle ⁇ s is an angle in the y axis direction with respect to the x axis as described above.
  • the degree of polarization ⁇ s can be calculated by performing the calculation of Expression (7).
  • the relationship between the degree of polarization and the zenith angle is known to have the characteristics shown in FIG. 9, and one or two zenith angles can be determined based on the degree of polarization ⁇ s from the characteristics shown in FIG.
  • the characteristics shown in FIG. 9 are examples, and the characteristics change depending on the refractive index of the subject.
  • FIG. 9 illustrates a case where two zenith angles ⁇ s1 and ⁇ s2 are determined. Note that processing when two zenith angles are determined will be described in a second embodiment of the imaging system described later.
  • the normal line information generation unit 35 obtains the azimuth angles ⁇ d and ⁇ s by obtaining the relationship between the luminance and the polarization angle from the polarization direction and the luminance of the polarization image based on the polarization image of each reflection component having the polarization direction of three or more directions. Determine.
  • the normal information generation unit 35 calculates the degree of polarization using the maximum luminance and the minimum luminance obtained from the relationship between the luminance and the polarization angle, and calculates based on the characteristic curve indicating the relationship between the polarization degree and the zenith angle.
  • the zenith angles ⁇ d and ⁇ s corresponding to the degree of polarization are determined.
  • the normal information generation unit 35 determines normal information (azimuth angle and zenith angle) of the subject for each pixel position based on the polarization image having three or more polarization directions, and generates normal information.
  • the polarizer of the imaging unit has at least three or more directions having different polarization directions in the polarization pattern unit block.
  • the configuration includes the same polarization pixel block.
  • the imaging system 10 includes a non-polarized image generating unit 39 when outputting an image corresponding to normal information.
  • the non-polarized image generating unit 39 generates a non-polarized image corresponding to the case where no polarizer is provided, from the polarized image that has been subjected to the correction processing by the correction processing unit 31 of the image processing unit 30.
  • FIG. 10 is a diagram for explaining the operation of the non-polarized image generation unit.
  • the imaging unit 20 is configured as shown in, for example, FIG. 10A (similar to FIG. 2)
  • the non-polarized image generating unit 39 is polarized in the same color block of 2 ⁇ 2 pixel size. Four polarization pixels in different directions are included. Therefore, as shown in FIG.
  • the non-polarized image generation unit 39 calculates the average value of the pixel values for each block of the same color having a 2 ⁇ 2 pixel size and sets it as the pixel value of the non-polarized image. .
  • the non-polarized image generation unit 39 calculates the average value of the pixel values for each block of the same color having a 2 ⁇ 2 pixel size and sets it as the pixel value of the non-polarized image. .
  • FIG. 11 is a flowchart showing the basic operation of the imaging system.
  • the imaging system 10 generates a polarization image.
  • the imaging unit 20 of the imaging system 10 generates a polarization image in a plurality of polarization directions with polarized light having a high extinction ratio, and proceeds to step ST2.
  • step ST2 the imaging system 10 performs a polarization image correction process.
  • the correction processing unit 31 of the imaging system 10 performs gain adjustment for each color so that the polarization image can be processed without being affected by a difference in illumination light, a characteristic variation of the imaging element, or the like. Do.
  • FIG. 12 is a flowchart showing a polarization image correction process.
  • the correction processing unit 31 acquires a polarization image.
  • the correction processing unit 31 acquires the polarization image generated by the imaging unit 20, and proceeds to step ST12.
  • step ST12 the correction processing unit 31 performs sensor variation correction and shading correction.
  • the correction processing unit 31 performs sensor variation correction and shading correction using a correction value (gain) obtained by measurement or the like in advance, and proceeds to step ST13.
  • step ST13 the correction processing unit 31 calculates a correction value for white balance correction.
  • the correction processing unit 31 calculates a correction value (gain) for white balance correction based on a mechanism for auto white balance correction performed by a conventional imaging apparatus, a mechanism for a user to specify an illumination state, or a specular reflection component. Then, the process proceeds to step ST14.
  • step ST14 the correction processing unit 31 performs white balance correction.
  • the correction processing unit 31 performs white balance correction of the polarization image using the correction value calculated in step ST13, and proceeds to step ST3 in FIG.
  • step ST3 the imaging system 10 performs reflection component processing on the polarization image.
  • the polarization image processing unit 32 of the imaging system 10 performs a process of separating or extracting the reflection component from the polarization image subjected to the correction process in step ST2, and proceeds to step ST4.
  • step ST4 the imaging system 10 generates normal line information.
  • the normal information generation unit 35 of the imaging system 10 generates normal information from the polarized image of the reflected component that has been separated or extracted.
  • step ST5 the imaging system 10 generates an output image.
  • the non-polarized image generation unit 39 of the imaging system 10 generates a non-polarized image corresponding to the case where no polarizer is provided from the polarized image subjected to the correction process in step ST2.
  • the imaging unit can simultaneously generate polarized images of a plurality of polarization directions, it is possible to prevent deterioration of the temporal resolution of the polarized image. For this reason, for example, it is possible to easily acquire the polarization characteristics of a subject that is moving.
  • the imaging unit is configured to include a plurality of pixels in the same polarization direction as the same polarization pixel block and each color pixel is included in the same polarization pixel block, it is possible to generate a polarization image with polarized light having a high extinction ratio.
  • normal information is generated in consideration of the reflection component using a polarization image generated with polarized light having a high extinction ratio, so that normal information with high accuracy can be generated.
  • FIG. 13 shows the configuration of the first embodiment.
  • the imaging system 10 includes an imaging unit 20 and an image processing unit 30.
  • the image processing unit 30 includes, for example, a correction processing unit 31, a polarization image processing unit 32, a normal line information generation unit 35, and a non-polarization image generation unit 39.
  • the specular reflection removal unit 33 is used as the polarization image processing unit 32. Is used.
  • the imaging unit 20 generates a polarization image in a plurality of polarization directions with polarized light having a high extinction ratio as described above.
  • the imaging unit 20 is provided with a polarizer and a color filter on the imaging surface of the sensor unit.
  • the polarizer has a configuration in which the same polarization pixel block including a plurality of pixels having the same polarization direction is provided for each of the plurality of polarization directions so that a polarized image having a high extinction ratio can be generated.
  • the color filter has a configuration in which pixels of predetermined colors are provided in the same polarization pixel block of the polarizer.
  • the imaging unit 20 outputs the generated polarization image to the image processing unit 30.
  • the correction processing unit 31 of the image processing unit 30 performs processing on the polarized image generated by the imaging unit 20 by the specular reflection removing unit 33 without being affected by differences in illumination light or variations in characteristics of the imaging elements. Adjust the gain for each color so that The correction processing unit 31 performs, for example, sensitivity variation correction of the image sensor, lens shading correction, white balance correction, and the like as the correction processing, and outputs the corrected polarization image to the specular reflection removal unit 33.
  • the specular reflection removing unit 33 removes the specular reflection component from the corrected polarization image in order to reduce the influence of the specular reflection.
  • the specular reflection removing unit 33 outputs a polarized image from which the specular reflection component has been removed, that is, a polarized image obtained by extracting the diffuse reflection component, to the normal line information generating unit 35.
  • Specular reflection is caused by the dominant light source in the imaging scene. Further, since the correction value is adjusted in accordance with the color of the illumination in the white balance correction, it is considered that the color of the illumination that causes specular reflection is an achromatic color. In this case, the RGB values representing the illumination color are the same, and the specular reflection component can be removed by obtaining the color difference. Therefore, the specular reflection removal unit 33 uses the color difference for each same polarization pixel block, that is, for each position of the black circle as shown in FIG. Find I' ⁇ pol.
  • the specular reflection removing unit 33 performs such processing for each same polarization pixel block using the pixel value R ⁇ pol of the red pixel, the pixel value G ⁇ pol of the green image, and the pixel value B ⁇ pol of the blue pixel in the block, and the specular reflection component A polarized image having only a diffuse reflection component, which is an image from which the image is removed, is generated.
  • the color array is configured as a Bayer array as shown in FIG. 14, the pixel value G ⁇ pol of the green pixel is, for example, the average value of the pixel values G ⁇ 1 and G ⁇ 2 of the two green pixels.
  • the specular reflection removing unit 33 generates a polarized image from which the specular reflection component by the light source is removed under the assumption that the light source is white, for example.
  • Ref.D.Miyazaki, R.Tan, K.Hara, and K.Ikeuchi. Polarization-based inverse rendering from a single view.Proceedings of International Conference on Computer Vision, pages 982-987,2003 The method disclosed in the above may be used. That is, the color space is converted from the RGB space to the M space based on Expression (9), and an image from which the specular reflection component is removed is generated based on Expression (10). By returning the image from which the specular reflection component has been removed from the M space to the RGB space based on Expression (11), a polarized image from which the specular reflection component has been removed can be generated.
  • the specular reflection removal unit 33 is based on the literature “The Society of Image Processing Society Research Report 2006-CVIM-155.2006 / 9/9. ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ Real-time specular reflection removal based on the dichroic reflection model.
  • the specular reflection component may be removed using the method described in the above. In this method, the diffuse reflection component has a proportional relationship between saturation and intensity in one hue space when projected onto the HSV space.
  • FIG. 15 is a diagram for explaining the process of removing the specular reflection component using the HSV space.
  • the specular reflection removing unit 33 plots the relationship between saturation and luminance for each hue as shown in FIG. 15B, using the HSV space shown in FIG. Further, as shown in FIG. 15C, the specular reflection removing unit 33 removes, as a specular reflection component, a component whose luminance is higher than a predetermined amount set in advance for the approximate straight line LA.
  • the normal line information generation unit 35 generates normal line information from a polarized image from which the specular reflection component is removed, that is, a polarized image showing only the diffuse reflection component. Since the polarization image shows only the diffuse reflection component, the normal line information generation unit 35 performs fitting to the function shown in Expression (4) using the luminance of the pixels in the four polarization directions in the polarization image, and the luminance And an azimuth angle ⁇ d at which the maximum luminance is obtained based on a function indicating a relationship between the polarization angle and the polarization angle. Further, the degree of polarization ⁇ d is calculated by performing the calculation of Expression (5), and the zenith angle ⁇ is determined based on the degree of polarization ⁇ d. The normal line information generating unit 35 uses information indicating the determined azimuth angle ⁇ d and zenith angle ⁇ d as normal line information.
  • FIG. 16 is a flowchart showing the operation of the first embodiment.
  • the imaging system 10 generates a polarization image.
  • the imaging unit 20 of the imaging system 10 generates a polarization image in a plurality of polarization directions with polarized light having a high extinction ratio, similarly to step ST1 of FIG. 11, and proceeds to step ST22.
  • step ST22 the imaging system 10 performs a polarization image correction process.
  • the correction processing unit 31 of the imaging system 10 can process a polarization image on the polarization image without being affected by a difference in illumination light, a characteristic variation of the image sensor, or the like.
  • the gain adjustment for each color is performed so as to be possible, and the process proceeds to step ST23.
  • step ST23 the imaging system 10 performs specular reflection removal processing on the polarized image.
  • the specular reflection removal unit 33 of the imaging system 10 performs a specular reflection component removal process using the above-described method from the polarization image corrected in step ST22, generates a diffuse reflection component polarization image, and performs step ST24. Proceed to
  • FIG. 17 is a flowchart showing the specular reflection removal process.
  • FIG. 17 shows a case where the color difference for each polarization direction is calculated.
  • the specular reflection removing unit 33 acquires a polarization image.
  • the specular reflection removing unit 33 acquires the polarization image subjected to the correction processing by the correction processing unit 31, and proceeds to step ST32.
  • step ST32 the specular reflection removing unit 33 calculates a color difference.
  • the specular reflection removing unit 33 calculates the color difference using the pixel values of the red pixel, the green pixel G, and the blue pixel B in the same polarization pixel block having the same polarization direction, and proceeds to step ST33.
  • step ST33 the specular reflection removal unit 33 performs color difference output processing. As described above, since the color difference is a value that is not affected by the specular reflection component, the specular reflection removal unit 33 outputs a polarization image indicating the color difference calculated in step ST32 to the normal line information generation unit 35.
  • FIG. 18 is a flowchart showing another removal process of specular reflection.
  • FIG. 18 shows a case where a polarized image from which the specular reflection component is removed is generated.
  • the specular reflection removing unit 33 acquires a polarization image.
  • the specular reflection removing unit 33 acquires the polarization image subjected to the correction processing by the correction processing unit 31, and proceeds to step ST42.
  • step ST42 the specular reflection removal unit 33 generates a specular reflection removal image.
  • the specular reflection removal unit 33 generates a polarization image from which the specular reflection component has been removed, using the method disclosed in the above-mentioned document, and proceeds to step ST43.
  • step ST43 the specular reflection removing unit 33 performs a polarization image output process.
  • the specular reflection removal unit 33 outputs the polarization image generated in step ST42, that is, the polarization image of the diffuse reflection component, to the normal line information generation unit 35.
  • step ST24 of FIG. 16 the imaging system 10 generates normal line information.
  • the normal information generation unit 35 of the imaging system 10 generates normal information from the polarization image indicating the diffuse reflection component.
  • step ST25 the imaging system 10 generates an output image.
  • the non-polarized image generation unit 39 of the imaging system 10 generates a non-polarized image corresponding to the case where no polarizer is provided from the polarized image subjected to the correction process in step ST22.
  • the specular reflection component can be removed from the polarization image.
  • normal information is generated from the polarization image indicating the diffuse reflection component obtained by removing the specular reflection component from the polarization image. Therefore, specular reflection and diffuse reflection occur on the object surface, but normal line information can be generated with high accuracy by removing the influence of specular reflection. Further, as in the case of the basic configuration described above, it is possible to prevent deterioration of the temporal resolution of the polarization image.
  • a polarization image can be generated with polarized light having a high extinction ratio, and normal information can be generated from the polarization image.
  • Second Embodiment of Imaging System> Next, a second embodiment of the imaging system will be described. In the second embodiment, a case will be described in which specular reflection components and diffuse reflection components are separated, and normal information generated for each separated reflection component is integrated.
  • FIG. 19 shows the configuration of the second embodiment.
  • the imaging system 10 includes an imaging unit 20 and an image processing unit 30.
  • the image processing unit 30 includes, for example, a correction processing unit 31, a polarization image processing unit 32, a normal line information generation unit 35, and a non-polarization image generation unit 39.
  • the image processing unit 30 includes a reflection component separation unit 34 as the polarization image processing unit 32, a specular reflection normal information generation unit 36, a diffuse reflection normal information generation unit 37, and a normal information integration unit as the normal information generation unit 35. 38 is used.
  • the imaging unit 20 generates a polarization image in a plurality of polarization directions with polarized light having a high extinction ratio as described above.
  • the imaging unit 20 is provided with a polarizer and a color filter on the imaging surface of the sensor unit.
  • the polarizer has a configuration in which the same polarization pixel block including a plurality of pixels having the same polarization direction is provided for each of the plurality of polarization directions so that a polarized image having a high extinction ratio can be generated.
  • the color filter has a configuration in which pixels of predetermined colors are provided in the same polarization pixel block of the polarizer.
  • the imaging unit 20 outputs the generated polarization image to the image processing unit 30.
  • the correction processing unit 31 of the image processing unit 30 performs processing on the polarized image generated by the imaging unit 20 by the specular reflection removing unit 33 without being affected by differences in illumination light or variations in characteristics of the imaging elements. Adjust the gain for each color so that The correction processing unit 31 performs, for example, sensitivity variation correction of the image sensor, lens shading correction, white balance correction, and the like as the correction processing, and outputs the corrected polarization image to the reflection component separation unit 34.
  • the reflection component separation unit 34 separates the specular reflection component and the diffuse reflection component.
  • the reflection component separation unit 34 can separate the specular reflection component by using the above-described method. Therefore, the reflection component separation unit 34 separates the polarization image into the diffuse reflection component polarization image and the specular reflection component polarization image by using the same method as the specular reflection removal unit 33.
  • the reflection component separation unit 34 outputs the polarization image of the specular reflection component to the specular reflection normal information generation unit 36 and the polarization image of the diffuse reflection component to the diffuse reflection normal information generation unit 37.
  • the specular reflection normal information generation unit 36 performs fitting to the polarization model equation shown in the above equation (6) using the luminance of the polarization image of the specular reflection component having the polarization direction of three or more directions, and the luminance and the polarization angle.
  • the azimuth angle ⁇ s at which the minimum luminance is obtained is determined based on the function after fitting indicating the relationship.
  • the specular reflection normal information generation unit 36 calculates the degree of polarization ⁇ s by performing the above-described equation (7) using the minimum luminance Ismin and the maximum luminance Ismax, and calculates the degree of polarization from the characteristics shown in FIG. One or two zenith angles ⁇ s are discriminated based on ⁇ s.
  • the specular reflection normal information generation unit 36 outputs information indicating the determined azimuth angle ⁇ s and zenith angle ⁇ s to the normal information integration unit 38 as normal information. As described later, the specular reflection normal information generation unit 36 performs the weighting using the luminance change caused by the difference in the polarization angle in the integration processing of the normal information integration unit 38, and the minimum luminance Ismin and the maximum luminance are described below. Ismax is output to the normal vector information integration unit 38. Further, when the specular reflection normal information generation unit 36 performs weighting using an error with respect to a predetermined luminance change caused by a difference in polarization angle in the integration processing of the normal information integration unit 38, the fitting error Es is set as normal information. The data is output to the integration unit 38.
  • the fitting error Es is the difference between the function value and the luminance of the polarization image when fitting to the polarization model equation of Equation (6) indicating a predetermined luminance change.
  • the function error and the luminance for each polarization direction The integrated value or average value for the error is used.
  • the diffuse reflection normal information generation unit 37 performs fitting to the polarization model equation shown in the above equation (4) using the luminance of the polarization image of the diffuse reflection component having the polarization direction of three or more directions, and the luminance and the polarization angle. Based on the function after fitting indicating the relationship, the azimuth angle ⁇ d at which the maximum luminance is obtained is determined. Further, the diffuse reflection normal information generating unit 37 calculates the degree of polarization ⁇ d by performing the above-described equation (5) using the minimum luminance Idmin and the maximum luminance Idmax, and calculates the degree of polarization from the characteristics shown in FIG. The zenith angle ⁇ d is determined based on ⁇ d.
  • the diffuse reflection normal information generating unit 37 outputs information indicating the determined azimuth angle ⁇ d and zenith angle ⁇ d to the normal information integrating unit 38 as normal information.
  • the diffuse reflection normal information generation unit 37 performs the weighting by using the luminance change caused by the difference in the polarization angle in the integration processing of the normal information integration unit 38, and the minimum luminance Idmin and the maximum luminance. Idmax is output to the normal vector information integration unit 38.
  • the fitting error Ed is set as normal information.
  • the data is output to the integration unit 38.
  • the fitting error Ed is a difference between the function value and the luminance of the polarization image when fitting to the function of the formula (4) indicating a predetermined luminance change, for example, an error between the function value and the luminance for each polarization direction.
  • the integrated value or average value of is used.
  • the normal information integration unit 38 performs an integration process of the normal information generated by the specular reflection normal information generation unit 36 and the normal information generated by the diffuse reflection normal information generation unit 37.
  • the normal information integration unit 38 averages the acquired normal information, for example, as normal information integration processing. Specifically, an integration process is performed based on Expression (12) to generate an azimuth angle ⁇ ds.
  • an integration process is performed based on Expression (12) to generate an azimuth angle ⁇ ds.
  • the specular reflection normal information generation unit 36 may determine the zenith angles ⁇ s1 and ⁇ s2
  • the integration processing is performed based on the equation (13) or the equation (14) to determine the zenith angle ⁇ ds.
  • the normal information integration unit 38 also performs diffuse reflection and specular reflection on the normal information generated by the specular reflection normal information generation unit 36 and the normal information generated by the diffuse reflection normal information generation unit 37.
  • the integration process may be performed with weighting according to which one is dominant. For the weighting, for example, a luminance change caused by a difference in polarization angle may be used, or an error with respect to a predetermined luminance change caused by a difference in polarization angle may be used.
  • the normal information integration unit 38 sets a reflection component having a large luminance change caused by a difference in polarization angle as a dominant reflection component. In other words, the normal information integration unit 38 integrates the normal information by calculating the luminance amplitude for each reflection component and selecting the larger amplitude. In addition, in the specular reflection component, since there are cases where two zenith angles are distinguished, the one closer to the zenith angle obtained for the diffuse reflection component is selected.
  • Expression (15) represents a calculation formula for the amplitude Ad of the diffuse reflection component
  • Expression (16) represents a calculation formula for the amplitude As of the specular reflection component.
  • the normal information integration unit 38 performs integration processing by weighting using the amplitude of the diffuse reflection component and the amplitude of the specular reflection component, as shown in Expression (17), and generates the azimuth angle ⁇ ds. Further, as shown in the equations (18) and (19), the normal line information integration unit 38 performs integration processing by weighting using the amplitude of the diffuse reflection component and the amplitude of the specular reflection component to generate the zenith angle ⁇ ds.
  • the normal line information integration unit 38 integrates normal line information by selecting the one with a smaller fitting error, which is an error with respect to a predetermined luminance change.
  • the specular reflection component since there are cases where two zenith angles are distinguished, the one closer to the zenith angle obtained for the diffuse reflection component is selected.
  • the normal information integration unit 38 performs integration processing with weighting using the fitting error Ed of the diffuse reflection component and the fitting error Es of the specular reflection component as shown in Expression (20), and generates the azimuth angle ⁇ ds.
  • the normal line information integration unit 38 performs integration processing by weighting using the fitting error Ed of the diffuse reflection component and the fitting error Es of the specular reflection component, and the zenith angle ⁇ ds. Is generated.
  • the normal information integration unit 38 may select either normal information generated from a diffuse reflection component polarization image or normal information generated from a specular reflection component polarization image as integration of normal information. .
  • the normal information integration unit 38 selects reflection normal information that is dominant in either diffuse reflection or specular reflection.
  • the normal line information integration unit 38 assumes that the reflection having a large luminance change caused by the difference in the polarization angle is dominant, and has the larger one of the amplitude Ad of the diffuse reflection component and the amplitude As of the specular reflection component. Select line information.
  • the normal information integration unit 38 assumes that the reflection with a small error with respect to a predetermined luminance change caused by the difference in the polarization angle is dominant, and either the diffuse reflection component fitting error Ed or the specular reflection component fitting error Es. Select normal information with less error. Further, the normal information integration unit 38 may determine an error from surrounding normal information and select normal information having a smaller error. The normal information integration unit 38 may select the normal information by combining these methods, or may select the normal information by combining other methods. Further, when the normal information of the specular reflection component is selected and the two zenith angles ⁇ s1 and ⁇ s2 are determined as described above, the normal information integration unit 38 is indicated by the normal information of the diffuse reflection component. The zenith angle having the smaller angle difference from the zenith angle ⁇ d is selected from the zenith angles ⁇ s1 and ⁇ s2.
  • FIG. 20 is a flowchart showing the operation of the second embodiment.
  • the imaging system 10 generates a polarization image.
  • the imaging unit 20 of the imaging system 10 generates a polarization image in a plurality of polarization directions with polarized light having a high extinction ratio, similarly to step ST1 of FIG. 11, and proceeds to step ST52.
  • step ST52 the imaging system 10 performs a polarization image correction process.
  • the correction processing unit 31 of the imaging system 10 can process a polarization image on the polarization image without being affected by a difference in illumination light, a characteristic variation of the image sensor, or the like.
  • the gain adjustment for each color is performed so as to be possible, and the process proceeds to step ST53.
  • step ST53 the imaging system 10 performs reflection component separation processing on the polarization image.
  • the reflection component separation unit 34 of the imaging system 10 separates the specular reflection component and the diffuse reflection component from the polarization image corrected in step ST52 using the above-described method, and proceeds to steps ST54 and ST55.
  • step ST54 the imaging system 10 generates normal line information based on the specular reflection component.
  • the specular reflection normal information generation unit 36 of the imaging system 10 generates normal information from the polarization image of the specular reflection component, and proceeds to step ST56.
  • step ST55 the imaging system 10 generates normal line information based on the diffuse reflection component.
  • the diffuse reflection normal information generation unit 37 of the imaging system 10 generates normal information from the polarization image of the diffuse reflection component, and proceeds to step ST56.
  • step ST56 the imaging system 10 performs normal information integration processing.
  • the normal information integration unit 38 of the imaging system 10 integrates the normal information acquired in step ST54 and the normal information acquired in step ST55.
  • step ST57 the imaging system 10 generates a non-polarized image.
  • the non-polarized image generating unit 39 of the imaging system 10 generates a non-polarized image corresponding to the case where no polarizer is provided from the polarized image subjected to the correction process in step ST52.
  • the specular reflection component and the diffuse reflection component can be separated from the polarization image. Further, normal line information is generated for each reflection component. In addition, normal information generated for each reflection component is integrated. Further, in the integration of normal information, normal information is integrated depending on whether the specular reflection component or the diffuse reflection component is dominant in the reflection of the object surface. Therefore, normal information can be generated with high accuracy in consideration of specular reflection. Further, as in the case of the basic configuration described above, it is possible to prevent deterioration of the temporal resolution of the polarization image. In addition, a polarization image can be generated with polarized light having a high extinction ratio, and normal information can be generated from the polarization image.
  • imaging unit is not restricted to the structure shown in FIG. 21 to 24 illustrate other configurations of the imaging unit, and the color filter repeatedly provides color pattern unit blocks, which are units of a predetermined color arrangement, in the row direction and the column direction of the pixels.
  • the same polarization pixel block has the same size as the color pattern unit block.
  • the polarizer 21 of the image pickup unit sets 2 ⁇ 2 pixel units having the same polarization direction as the same polarization pixel block as shown in FIG.
  • the polarizer 21 has a configuration in which a 4 ⁇ 4 pixel polarization pattern unit block composed of four identical polarization pixel blocks having different polarization directions is repeatedly provided in the row direction and the column direction of the pixels.
  • the color filter 22 uses a 2 ⁇ 2 pixel block composed of one red pixel R, blue pixel B, and two green pixels G as a color pattern unit block.
  • the color filter 22 has a Bayer array configuration in which the color pattern unit blocks are repeatedly provided in the pixel row direction and column direction.
  • the polarizer and the color filter are configured such that the positions of the same polarization pixel block and the color pattern unit block coincide. 21 (C) and (D) and FIGS. 22 (C) and (D) described later, FIGS. 23 (C) and (D), and FIG. 24 (C) so that the configuration of the pixels can be easily identified.
  • the pixel is enlarged.
  • the same polarization pixel block is in a unit of 2 ⁇ 2 pixels as in the case shown in FIG. 2, so that the polarization image is polarized with a high extinction ratio similarly to the imaging unit shown in FIG. Can be generated.
  • the non-polarized image generation unit is the pixel of the four nearest pixels whose polarization directions are different for each predetermined color.
  • the value average is calculated and set as the pixel value for each color of the non-polarized image.
  • FIG. 21D illustrates the case of a red pixel.
  • the number of pixels of the non-polarized image is not substantially (1/2) times that of the pixels in the horizontal and vertical directions as shown in FIG.
  • the polarizer 21 of the image pickup unit sets 2 ⁇ 2 pixel units having the same polarization direction as the same polarization pixel block as shown in FIG.
  • the polarizer 21 is provided by repeatedly providing a 4 ⁇ 4 pixel polarization pattern unit block composed of four identical polarization pixel blocks having different polarization directions in the row direction and the column direction of the pixels.
  • the polarizer 21 is configured such that the polarization directions of the same polarization pixel blocks adjacent in the horizontal direction have a difference of 90 degrees, for example.
  • the color filter 22 uses a 2 ⁇ 2 pixel block composed of one red pixel R, blue pixel B, and two green pixels G as a color pattern unit block.
  • the color filter 22 has a Bayer arrangement in which the color pattern unit blocks are repeatedly provided in the pixel row direction and column direction.
  • the polarizer and the color filter are configured such that the positions of the same polarization pixel block and the color pattern unit block coincide.
  • the non-polarized image generation unit has two pixel values that are closest to each other in the horizontal direction, with the polarization direction having a difference of 90 degrees, as shown in FIG. Is calculated for each color and used as the pixel value of the non-polarized image. Therefore, the number of pixels of the non-polarized image is not substantially (1/2) times as shown in FIG. 10B in the horizontal and vertical directions. Further, since an average value of two pixel values for each color is used as a non-polarized pixel value, a non-polarized image whose color arrangement is a Bayer arrangement can be easily generated.
  • FIG. 22 illustrates the case where the same polarization pixel blocks having different polarization directions by 90 degrees are provided adjacent to each other in the horizontal direction
  • a configuration in which they are provided adjacent to each other in the vertical direction may be employed.
  • the non-polarized image generation unit 39 sets the average value of two pixel values closest to each other in the vertical direction and having a polarization direction difference of 90 degrees for each color as the pixel value of the non-polarized image.
  • the polarizer 21 of the image pickup unit is provided with one non-polarized pixel in the same polarized pixel block of 2 ⁇ 2 pixel units as shown in FIG.
  • the polarizer 21 is provided by repeatedly providing a 4 ⁇ 4 pixel polarization pattern unit block composed of four identical polarization pixel blocks having different polarization directions in the row direction and the column direction of the pixels.
  • the three polarization pixels in the same polarization pixel block are a red pixel R, a green pixel G, and a blue pixel B. Furthermore, for one non-polarized pixel in the same polarization pixel block, the color arrangement when a non-polarization pixel is selected from each of the same polarization pixel blocks is a desired color arrangement, for example, the Bayer arrangement shown in FIG. In this way, the pixel color is set.
  • the non-polarized image generation unit selects the non-polarized pixel from each identical polarized pixel block as shown in FIG. It is possible to easily generate a non-polarized image which is approximately (1/2) times and whose color arrangement is a Bayer arrangement. Moreover, since no polarization pixel is used, a non-polarized image can be generated without being affected by polarization.
  • the polarizer 21 of the image pickup unit repeatedly provides the same polarization pixel block having a different polarization direction in a predetermined order in the pixel row direction.
  • a difference in block position is generated in the row direction with respect to the previous row, and the same polarization pixel block having a polarization direction different from that in the previous row is repeatedly provided in the row direction in a predetermined order.
  • the polarizer 21 uses 2 ⁇ 2 pixel units having the same polarization direction as the same polarization pixel block.
  • the polarizer 21 is configured such that the polarization direction of the same polarization pixel block adjacent in the horizontal direction has a difference of 90 degrees.
  • the polarizer 21 has the same polarization pixel block group in the next row, that is, the same polarization pixel block adjacent to the lower side in the vertical direction with respect to the same polarization pixel block arranged in the horizontal direction.
  • the polarization direction of the same polarization pixel block that is different in polarization direction from the block and is adjacent in the horizontal direction is configured to have a difference of 90 degrees.
  • the polarizer 21 is configured such that the same polarization pixel block group in the next row has a difference in block position by one pixel in the horizontal direction with respect to the same polarization pixel block group in the previous row.
  • the color filter 22 uses a 2 ⁇ 2 pixel block composed of one red pixel R, blue pixel B, and two green pixels G as a color pattern unit block.
  • the color filter 22 has a Bayer arrangement in which the color pattern unit blocks are repeatedly provided in the pixel row direction and column direction.
  • the polarizer and the color filter are configured such that the positions of the same polarization pixel block and the color pattern unit block coincide.
  • the non-polarized image generating unit has two pixels that are closest to each other in the horizontal direction and have a polarization direction difference of 90 degrees as in the case of FIG.
  • the average value is calculated for each color and is used as the pixel value of the non-polarized image. Therefore, the number of pixels in the non-polarized image is not substantially (1/2) times that shown in FIG. 10B. Further, since an average value of two pixel values for each color is used as a non-polarized pixel value, a non-polarized image whose color arrangement is a Bayer arrangement can be easily generated.
  • FIG. 24 illustrates the case where the same polarization pixel blocks having a polarization direction difference of 90 degrees are provided side by side in the row direction (horizontal direction), but are provided side by side in the column direction (vertical direction).
  • the same polarized pixel block group in the next column may be moved by one pixel in the vertical direction.
  • the non-polarized image generation unit calculates, for each color, the average value of the two pixel values that have a difference of 90 degrees in the polarization direction and are closest to the vertical direction, and the pixel value of the non-polarized image To do.
  • FIG. 25 is a diagram for explaining a configuration and an operation when white pixels are provided.
  • FIG. 25A illustrates a case where white pixels (W) are provided in the imaging unit 20 illustrated in FIG.
  • the sensitivity is easily lowered by providing the polarizer. Therefore, in a dark image portion that is equal to or lower than a preset luminance level, polarization analysis is performed with white pixels as shown in FIG.
  • normal line information is generated as an image having only a diffuse reflection component. In this way, the dynamic range in generating the normal information can be expanded as compared with the case where no white pixel is provided.
  • the equation (8) can be replaced with the equation (23). Further, since the white pixel has a good S / N ratio, it is less susceptible to noise in the calculation of the color difference.
  • FIG. 26 illustrates a case where white pixels are provided in another configuration of the imaging unit.
  • FIG. 26A illustrates a case where white pixels are provided in the imaging unit having the configuration illustrated in FIG.
  • FIG. 26B shows a case where white pixels are provided in the imaging unit having the configuration shown in FIG.
  • FIG. 26C illustrates a case where white pixels are provided in the imaging unit having the configuration illustrated in FIG.
  • a polarization image in a plurality of polarization directions can be generated at the same time, so that it is possible to prevent deterioration of the time resolution of the polarization image.
  • the imaging unit is configured to include a plurality of pixels in the same polarization direction as the same polarization pixel block and each color pixel is included in the same polarization pixel block, it is possible to generate a polarization image with polarized light having a high extinction ratio.
  • normal information can be generated with high accuracy by using a polarization image generated with polarized light having a high extinction ratio.
  • the color arrangement of the imaging unit is not limited to the Bayer arrangement, and may be another color arrangement.
  • the size of the same polarization pixel block is 2 ⁇ 2 pixels.
  • the pixel size is reduced by increasing the resolution of the imaging unit, a sufficient extinction ratio cannot be obtained even with the size of 2 ⁇ 2 pixels. There is a fear.
  • the non-polarized image is obtained by calculating the average value of two neighboring pixels of the same color whose polarization directions are orthogonal, the average value of four neighboring pixels of the same color whose polarization directions are orthogonal, and the pixel position where the average value is calculated. It can be easily generated by performing a process of calculating a pixel value from an average value calculated for pixels in between.
  • the processing shown in the above flowchart is not limited to sequential processing in which the processing is performed in the order of steps, and may be performed by pipeline processing or parallel processing.
  • the color filter is not limited to the primary color system as described above, and a complementary color system color filter may be used.
  • FIG. 27 is a block diagram illustrating a schematic configuration of a vehicle control system using the image processing apparatus of this technology.
  • the vehicle control system 90 includes a plurality of control units and detection units connected via a communication network 920.
  • the vehicle control system 90 includes a drive system control unit 931, a body system control unit 932, a battery control unit 933, an outside vehicle information detection unit 934, a wireless communication unit 935, and an integrated control unit 940.
  • the communication network 920 may be an in-vehicle communication network that conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark).
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • an input unit 951, an audio output unit 952, and a display unit 953 are connected to the integrated control unit 940.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives devices to be controlled. Is provided.
  • the drive system control part 931 controls the operation
  • the drive system controller 931 includes a driving force generator for generating a driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. Functions as a steering mechanism to adjust.
  • the drive system control unit 931 has a function as a control device such as a braking device that generates a braking force of the vehicle, and a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control). Also good.
  • a vehicle state detection unit 9311 is connected to the drive system control unit 931.
  • the vehicle state detection unit 9311 includes, for example, a gyro sensor that detects the angular velocity of the axial rotation motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or an accelerator pedal operation amount, a brake pedal operation amount, and a steering wheel steering. At least one of sensors for detecting an angle, an engine speed, a traveling speed, or the like is included.
  • the drive system control unit 931 performs arithmetic processing using a signal input from the vehicle state detection unit 9311 to control the internal combustion engine, the drive motor, the electric power steering device, the brake device, or the like.
  • the body system control unit 932 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body control unit 932 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 932 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 932 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 933 controls the secondary battery 9331 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or battery remaining capacity is input to the battery control unit 933 from a battery device including the secondary battery 9331.
  • the battery control unit 933 performs arithmetic processing using these signals, and performs temperature adjustment control of the secondary battery 9331 or control of a cooling device provided in the battery device.
  • the outside information detection unit 934 detects information outside the vehicle on which the vehicle control system 90 is mounted.
  • the vehicle outside information detection unit 934 uses an imaging system using an image processing apparatus of this technology.
  • FIG. 28 is a diagram showing an installation example of the imaging unit.
  • the imaging unit 20 of the imaging system is provided at, for example, at least one of the front nose of the vehicle 80, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior.
  • the imaging unit 20-A provided in the front nose and the imaging unit 20-B provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 80.
  • the imaging units 20-C and 20-D provided in the side mirror mainly acquire an image on the side of the vehicle 80.
  • the imaging unit 20-E provided in the rear bumper or the back door mainly acquires an image behind the vehicle 80.
  • FIG. 28 shows an example of the shooting range of each of the imaging units 20-A to 20-E.
  • the imaging range AR-a indicates the imaging range of the imaging unit 20-A provided in the front nose, and the imaging ranges AR-c and AR-d are imaging units 20-C and 20- provided in the side mirrors, respectively.
  • the imaging range AR-e indicates the imaging range of the imaging unit 20-E provided in the rear bumper or the back door.
  • the vehicle exterior information detection unit 934 captures an area around the vehicle and acquires a polarization image. Further, the vehicle exterior information detection unit 934 separates or extracts a reflection component from the acquired polarization image, and generates information that can be used for vehicle control or the like, for example, an image in which the reflection component is separated and removed.
  • the wireless communication unit 935 communicates with a management center that manages other vehicles, road conditions, etc. outside the vehicle via a wireless communication network such as DSRC (registered trademark) (Dedicated Short Range Communication), and performs integrated control of the received information Output to the unit 940. Further, the wireless communication unit 935 may transmit the information acquired by the vehicle outside information detection unit 934 to another vehicle, a management center, or the like. Note that the wireless communication unit 935 may communicate with the management center via a wireless communication network such as a wireless communication network for wireless LAN, a wireless communication network for mobile phones such as 3G, LTE, and 4G. Further, the wireless communication unit 935 may perform positioning by receiving a global positioning system (GNSS) signal or the like, and may output a positioning result to the integrated control unit 940.
  • GNSS global positioning system
  • the integrated control unit 940 is connected to an input unit 951, an audio output unit 952, and a display unit 953.
  • the input unit 951 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the input unit 951 generates an input signal based on information input by a passenger or the like and outputs the input signal to the integrated control unit 940.
  • the audio output unit 952 outputs information based on the audio signal from the integrated control unit 940, thereby audibly notifying the vehicle passengers of the information.
  • the display unit 953 displays an image based on the image signal from the integrated control unit 940 and visually notifies the vehicle occupant of the information.
  • the integrated control unit 940 includes a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), and the like.
  • ROM Read Only Memory stores various programs executed by CPU (Central Processing Unit).
  • RAM Random Access Memory stores information such as various parameters, calculation results or sensor values.
  • the CPU executes various programs stored in the ROM, and acquires information obtained by communication with an input signal from the input unit 951 and each control unit, the vehicle outside information detection unit, and the wireless communication unit via the communication network 920, The overall operation in the vehicle control system 90 is controlled in accordance with information stored in the RAM.
  • the integrated control unit 940 generates an audio signal indicating information to be audibly notified to a vehicle occupant, outputs the audio signal to the audio output unit 952, and generates an image signal for visually notifying the information. And output to the display portion 953.
  • the integrated control unit 940 communicates with various devices existing outside the vehicle such as other vehicles and a management center using the wireless communication unit 935.
  • the integrated control unit 940 performs driving support for the vehicle based on the map information stored in the ROM or RAM and the positioning result acquired from the wireless communication unit 935.
  • At least two control units connected via the communication network 920 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 90 may include another control unit not shown.
  • some or all of the functions of any one of the control units may be provided to another control unit. That is, as long as information is transmitted and received via the communication network 920, a predetermined calculation process may be performed by any of the control units.
  • the image processing device of the present technology when the image processing device of the present technology is applied to, for example, an outside vehicle information detection unit, the outside vehicle information detection unit performs subject recognition based on, for example, an image of a peripheral area from which reflection components are separated and removed.
  • the present invention can also be applied to a monitoring system or the like.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical disc), a DVD (Digital Versatile Disc), a BD (Blu-Ray Disc (registered trademark)), a magnetic disk, or a semiconductor memory card. It can be stored (recorded) in a removable recording medium such as temporarily or permanently. Such a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the image processing apparatus may have the following configuration.
  • An image processing apparatus including a polarization image processing unit that separates or extracts reflection components.
  • the image processing apparatus further including a normal line information generation unit that generates normal line information from a polarization image obtained by separating or extracting the reflection component by the polarization image processing unit.
  • the polarization image processing unit extracts a diffuse reflection component using the polarization image
  • the image processing apparatus wherein the normal line information generation unit generates the normal line information from a polarization image indicating a diffuse reflection component extracted by the polarization image processing unit.
  • the polarization image processing unit separates the diffuse reflection component and the specular reflection component using the polarization image
  • the normal information generation unit is generated from the normal information generated from the polarization image indicating the diffuse reflection component separated by the polarization image processing unit and the polarization image indicating the specular reflection component separated by the polarization image processing unit.
  • the image processing apparatus according to (4), wherein the normal information is integrated.
  • the image processing device performs weighting according to which of diffuse reflection and specular reflection is dominant, and integrates the normal information.
  • the normal information generation unit sets a reflection component having a large luminance change caused by a difference in polarization angle as the dominant reflection component.
  • the normal line information generation unit sets a reflection component having a small error with respect to a predetermined luminance change caused by a difference in polarization angle as the dominant reflection component.
  • a correction processing unit that performs gain adjustment for each of the predetermined colors with respect to the polarized image
  • the image processing apparatus according to any one of (1) to (10), wherein the polarization image processing unit separates or extracts the reflection component from the polarization image whose gain is adjusted by the correction processing unit.
  • the same polarization pixel block including a plurality of pixels having the same polarization direction is provided for each of the plurality of polarization directions, and the pixel for each predetermined color is provided in the same polarization pixel block.
  • a process of separating or extracting the reflection component is performed on the polarization image generated by the imaging device having the configuration of FIG. For this reason, for example, it is possible to generate normal information with high accuracy in consideration of the reflection component. Therefore, it is suitable for a device that acquires a three-dimensional shape of a subject.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

　撮像部２０は、同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設けて、同一偏光画素ブロックに所定の色毎の画素を設けた構成とする。補正処理部３１は、撮像部２０で生成された偏光画像に対して、ホワイトバランス補正等の補正処理を行う。偏光画像処理部３２は、補正処理後の偏光画像を用いて反射成分の分離または抽出を行う。分離または抽出後の反射成分の偏光画像を用いることで、例えば精度よく法線情報を生成することが可能となる。

Description

画像処理装置と画像処理方法および撮像素子
　この技術は、画像処理装置と画像処理方法および撮像素子に関し、精度の高い法線情報を生成できるようにする。
　従来、撮像部と偏光子を用いて偏光画像を生成する方法が開示されている。例えば、特許文献１では、撮像部の前に偏光子を配置して、この偏光子を回して撮影することで複数偏光方向の偏光画像が生成する方法が開示されている。また、画素毎に異なる偏光方向の偏光子を設けることで、１回の撮像で異なる複数の偏光方向の偏光画像を生成する方法が開示されている。
　さらに、複数の偏光方向の偏光画像から被写体の法線情報を生成することが行われている。例えば、非特許文献１や非特許文献２では、複数の偏光方向の偏光画像をモデル式にあてはめることによって法線情報が生成されている。
国際公開第２００８／０９９５８９号
Lawrence B.Wolff and Terrance E.Boult :"Constraining Object Features Using a Polarization Reflectance Model",IEEE Transaction on pattern analysis and machine intelligence,Vol.13、No.7,July 1991 Gary A. Atkinson and Edwin R. Hancock :"Recovery of surface orientation from diffuse polarization",IEEE Transactions of Image Processing, Vol.15, Issue.6, pp.1653-1664, 2006
　ところで、物体表面の反射では、鏡面反射と拡散反射が存在しており、それぞれの反射で偏光の仕方が異なっている。このため、偏光画像については反射成分を考慮した処理が必要である。
　そこで、この技術では、反射成分の分離または抽出を行う画像処理装置と画像処理方法および撮像素子を提供する。
　この技術の第１の側面は、
　同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設けて前記同一偏光画素ブロックに所定の色毎の画素を設けた構成の撮像素子によって生成された偏光画像を用いて、反射成分の分離または抽出を行う偏光画像処理部
を備える画像処理装置にある。
　この技術において、偏光画像処理部は、同一偏光方向の複数画素からなる同一偏光画素ブロックを例えば３方向以上の偏光方向毎に設けて同一偏光画素ブロックに所定の色毎の画素を設けた構成の撮像素子によって生成された偏光画像を用いて、反射成分の分離または拡散反射成分の抽出を行う。また、法線情報生成部を設けて、反射成分の分離または抽出後の偏光画像から法線情報を生成する。法線情報生成部は、例えば反射成分を拡散反射成分と鏡面反射成分に分離した場合、拡散反射成分を示す偏光画像と鏡面反射成分を示す偏光画像のそれぞれから法線情報を生成して、偏光角の違いによって生じる輝度変化が大きい反射成分、または偏光角の違いによって生じる所定の輝度変化に対する誤差が少ない反射成分を支配的な反射成分とした重み付けを行って法線情報を統合する。また、法線情報生成部は、例えば拡散反射成分が抽出された場合、拡散反射成分を示す偏光画像から法線情報を生成する。また、補正処理部を設けて、偏光画像に対して色毎のゲイン調整を行い、ゲイン調整後の偏光画像に対して反射成分の分離または抽出を行う。さらに、無偏光画像生成部を設けて、偏光画像から無偏光の画像を生成する。
　この技術の第２の側面は、
　同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設け、前記同一偏光画素ブロックには各色の画素を設けた構成の撮像素子によって生成された所定の色毎の偏光画像を用いて、偏光画像処理部で反射成分の分離または抽出を行うことを含む画像処理方法にある。
　この技術の第３の側面は、
　同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設ける偏光子と、
　前記偏光子の前記同一偏光画素ブロックに所定の色毎の画素を設けるカラーフィルタと、
　前記偏光子と前記カラーフィルタを透過した被写体光に基づき画像信号を生成するセンサ部と
を備える撮像素子にある。
　この技術において、カラーフィルタは、例えば所定の色配列の画素ブロックである色パターン単位ブロックを画素の行方向と列方向に繰り返し設けて構成し、偏光子は、同一偏光画素ブロックを複数の偏光方向毎に設けた画素ブロックである偏光パターン単位ブロックを画素の行方向と列方向に繰り返し設けて構成する。色パターン単位ブロックと偏光パターン単位ブロックは位置差を生じさせることで、同一偏光画素ブロックに所定の色毎の画素を設ける。
　また、偏光子の同一偏光画素ブロックは色パターン単位ブロックと等しいサイズとしてもよい。また、偏光子は、例えば偏光方向が直交する同一偏光画素ブロックを、画素の列方向または行方向に交互に設けた構成として、カラーフィルタは、同一偏光画素ブロックに所定の色毎の画素を設けてもよい。また、偏光子は、例えば偏光方向が異なる同一偏光画素ブロックを、画素の行方向（または列方向）に所定の順序で繰り返して設け、次の行（または列）では、前の行（または列）に対してブロック位置の位置差を行方向（または列方向）に生じさせて、前の行（または列）と異なる偏光方向の同一偏光画素ブロックを、行方向（または列方向）に所定の順序で繰り返して設けた構成とする。カラーフィルタは、同一偏光画素ブロックに所定の色毎の画素を設けてもよい。また、偏光子は、例えば同一偏光画素ブロックに無偏光の画素を設けた構成として、カラーフィルタは、無偏光の画素を選択したときの色配列が所定の色配列となるように、無偏光の画素に対して色を設定してもよい。さらに、カラーフィルタは、例えば同一偏光画素ブロックに三原色の画素と白色の画素を設けた構成としてもよい。
　この技術によれば、同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設けて同一偏光画素ブロックに所定の色毎の画素を設けた構成の撮像素子で生成された偏光画像に対して、反射成分の分離または抽出する処理が行われる。したがって、例えば反射成分を考慮して精度の高い法線情報を生成できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
撮像システムの基本構成を示す図である。 撮像部の構成を例示した図である。 偏光画像の生成動作を説明するための図である。 撮像画像と反射成分を示す図である。 ４つの偏光方向の画素の輝度値のフィッティングを説明するための図である。 偏光画像の輝度変化を説明するための図である。 輝度と偏光角の関係を例示した図である。 偏光度と天頂角と関係（拡散反射の場合）を例示した図である。 偏光度と天頂角と関係（鏡面反射の場合）を例示した図である。 無偏光画像生成部の動作を説明するための図である。 撮像システムの基本動作を示すフローチャートである。 偏光画像の補正処理を示すフローチャートである。 第１の実施の形態の構成を示す図である。 色差の算出を説明するための図である。 ＨＳＶ空間を用いて鏡面反射成分を除去する処理を説明するための図である。 第１の実施の形態の動作を示すフローチャートである。 鏡面反射の除去処理を示すフローチャートである。 鏡面反射の他の除去処理を示すフローチャートである。 第２の実施の形態の構成を示している。 第２の実施の形態の動作を示すフローチャートである。 撮像部の他の構成を例示した図である。 撮像部の他の構成を例示した図である。 撮像部の他の構成を例示した図である。 撮像部の他の構成を例示した図である。 白色画素を設けた場合の構成と動作を説明するための図である。 撮像部の他の構成において白色画素を設けた場合を例示した図である。 車両制御システムの概略構成を例示したブロック図である。 撮像部の設置例を示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．撮像システムの基本構成
　２．撮像システムの第１の実施の形態
　３．撮像システムの第２の実施の形態
　４．撮像部の他の構成
　５．適用例
　＜１．撮像システムの基本構成＞
　図１は、本技術の画像処理装置を用いた撮像システムの基本構成を示している。撮像システム１０は、撮像部２０と画像処理部３０を有している。また、画像処理部３０は、例えば補正処理部３１、偏光画像処理部３２、法線情報生成部３５、無偏光画像生成部３９を有している。
　撮像部２０は、消光比の高い偏光で複数偏光方向の偏光画像を生成する。撮像部２０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子を用いて構成されている。撮像部２０は、光電変換によって被写体光に応じた画像信号を生成するセンサ部の撮像面に、偏光子とカラーフィルタを設けている。偏光子は、消光比の高い偏光画像を生成できるように、同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設けた構成とする。カラーフィルタは、偏光子の同一偏光画素ブロックに所定の色毎の画素を設けた構成とする。撮像部２０は、偏光子とカラーフィルタを透過した被写体光に基づきセンサ部で生成された画像信号を画像処理部３０へ出力する。
　図２は、撮像部の構成を例示している。図２の（Ａ）は撮像部の偏光子の構成を例示している。偏光子２１は、偏光方向が等しい２×２画素単位を同一偏光画素ブロックとして、偏光方向が互いに異なる４つの同一偏光画素ブロックで構成される４×４画素の偏光パターン単位ブロックを画素の行方向と列方向に繰り返し設けた構成とする。なお、図２の（Ａ）および後述する図２１乃至図２６では、偏光方向をハッチングの線方向として示している。また、図２，図１０，図１４および図２１乃至図２６では、撮像部における一部の画素領域を例示している。
　図２の（Ｂ）は撮像部のカラーフィルタの構成を例示している。カラーフィルタ２２は、例えば赤色画素Ｒと緑色画素Ｇと青色画素Ｂをそれぞれ２×２画素単位とする。また、カラーフィルタ２２は、図に示すように１つの赤色画素Ｒと青色画素Ｂおよび２つの緑色画素Ｇで構成された色パターン単位ブロックを、画素の行方向と列方向に繰り返し設けて色配列をベイヤー配列としている。
　撮像部２０は、図２の（Ｃ）に示すように、偏光パターン単位ブロックに対して色パターン単位ブロックが水平方向および垂直方向にそれぞれ１画素分の位置差を生じるように偏光子とカラーフィルタを設ける。このように偏光子とカラーフィルタを設けると、１つの同一偏光画素ブロックに１つの赤色画素Ｒと１つの青色画素Ｂおよび２つの緑色画素Ｇが含まれる。また、同一色の２×２画素の画素ブロックには４つの偏光方向の画素が含まれる。このように撮像部を構成すれば、１×１画素単位で偏光方向を変えた偏光子を用いる場合に比べて消光比の高い複数偏光方向の偏光画像を生成できる。
　画像処理部３０の補正処理部３１は、撮像部２０で生成された偏光画像に対して、照明光の違いや撮像素子のばらつき等の影響を受けることなく偏光画像処理部３２で処理を行うことができるように色毎のゲイン調整を行う。補正処理部３１は、補正処理として例えば撮像素子の感度ばらつき補正やレンズのシェーディング補正、ホワイトバランス補正等を行う。
　感度ばらつきやレンズのシェーディングは個体特有のものであり、画素位置や色ごとに異なる。したがって、補正処理部３１は、予め計測等によって得られている補正値（ゲイン）ＧＭを用いて、式（１）に基づきセンサばらつき補正とシェーディング補正を行う。
　ＢＢｉｊ＝（ＢＡｉｊ－ＢＫ）×ＧＭ　　・・・（１）
　なお、式（１）において、「ＢＡｉｊ」は画素位置（ｉ，ｊ）における画素値、「ＢＫ」は黒レベル値、「ＢＢｉｊ」は補正後の画素値である。また、黒レベル値は、画面全体で同じ値を用いることもあれば、予め計測した画素毎に異なる値を使用することもある。
　ホワイトバランス補正は、照明の色が白になるように調整する補正である。補正処理部３１は、従来の撮像装置のオートホワイトバランス補正機構と同様にして算出される補正値を用いてもよく、ユーザが自分で照明状況を指定する機構によって算出された補正値を用いてもよい。また、撮像部２０で生成された偏光画像から補正値を算出することも可能である。
　図３は、偏光画像の生成動作を説明するための図である。図３に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、被写体ＯＢを撮像部２０で撮像する。図４は、撮像画像と反射成分を示す図である。図４の（Ａ）は、撮像部で生成される撮像画像を示しており、撮像画像は、図４の（Ｂ）に示す拡散反射成分と図４の（Ｃ）に示す鏡面反射成分を有している。なお、偏光方向によって、拡散反射成分と鏡面反射成分はレベルが変化する。鏡面反射は、照明によって生じることが多く、後述の説明で用いる図８，９で示されているように鏡面反射は拡散反射よりも偏光度が高く偏光しやすい。また、４つの偏光方向の画素の輝度値を用いて、図５に示すように、偏光角に対する輝度変化を示す偏光モデル式（例えばｃｏｓ関数）にフィッティングさせた場合、フィッティング後の関数における振幅成分は偏光成分に相当する。なお、図５において、黒丸印は４つの偏光方向の画素の輝度値を示している。したがって、補正処理部３１では、この偏光成分を鏡面反射成分と見なして色毎に処理を行い、全ての色で偏光成分の輝度が高い画素位置を検出すれば、照明の画素位置を検出できる。したがって、この検出した画素位置が白色となるように補正値を算出する。
　ホワイトバランス補正の補正値は、例えば緑色画素を基準として、赤色画素に対する補正値（ゲイン）ＧＷredと青色画素に対する補正値（ゲイン）ＧＷblueを算出して、式（２）（３）に基づき赤色画素と青色画素の画素値を補正する。なお、式（２）において、「ＢＤred」は補正後の赤色画素の画素値、「ＢＣred」は補正前の赤色画素の画素値を示している。また、式（３）において、「ＢＤblue」は補正後の青色画素の画素値、「ＢＣblue」は補正前の青色画素の画素値を示している。
　ＢＤred　＝　ＢＣred　×　ＧＷred　　　・・・（２）
　ＢＤblue ＝　ＢＣblue ×　ＧＷblue 　　・・・（３）
　補正処理部３１は、このようにして偏光画像のホワイトバランス補正を行い、補正後の偏光画像を偏光画像処理部３２へ出力する。
　偏光画像処理部３２は、補正後の偏光画像から反射成分の分離または抽出を行い、分離または抽出した反射成分の偏光画像を法線情報生成部３５へ出力する。
　法線情報生成部３５は、分離または抽出した反射成分の偏光画像から法線情報を生成する。法線情報生成部３５は、分離した反射成分毎または抽出した反射成分の偏光モデル式を求める。さらに、法線情報生成部３５は、偏光モデル式から方位角と天頂角を求めて法線情報とする。
　図６は、偏光画像の輝度変化を説明するための図である。図６に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、偏光板ＰＬを介して被写体ＯＢを撮像部ＣＭで撮像する。この場合、撮像部ＣＭで生成される偏光画像は、偏光板ＰＬの回転に応じて被写体ＯＢの輝度が変化することが知られている。ここで、偏光板ＰＬを回転させたときの最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面方向としたとき、偏光板ＰＬを回転させたときのｘ軸に対するｘｙ平面上の角度を偏光角υpolとする。偏光板ＰＬは、１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。
　図７は、輝度と偏光角の関係を例示している。図７の（Ａ）は拡散反射における輝度と偏光角の関係、図７の（Ｂ）は鏡面反射における輝度と偏光角の関係を示している。
　拡散反射の場合、最大輝度Ｉdmaxが観測されたときの偏光角υpolを方位角φdとする。このような定義を行うと、偏光板ＰＬを回転させたときに観測される輝度Ｉdpolの変化、すなわち偏光角の違いによって生じる所定の輝度変化を示す偏光モデル式は、式（４）のように表すことができる。
Figure JPOXMLDOC01-appb-M000001
　式（４）では、偏光角υpolが偏光画像の生成時に明らかであり、最大輝度Ｉdmaxと最小輝度Ｉdminおよび方位角φdが変数となる。したがって、法線情報生成部３５は、変数が３つであることから、偏光方向が３方向以上の拡散反射成分を表す偏光画像の輝度を用いて式（４）に示す関数へのフィッティングを行い、輝度と偏光角の関係を示す関数に基づき最大輝度となる方位角φdを判別する。
　また、物体表面法線を極座標系で表現して、法線情報を方位角φdと天頂角θdとする。なお、天頂角θdはｚ軸から法線に向かう角度、方位角φdは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、偏光板ＰＬを回転して得られた最小輝度Ｉdminと最大輝度Ｉdmaxを用いても式（５）の演算を行うことで偏光度ρdを算出できる。
Figure JPOXMLDOC01-appb-M000002
　偏光度と天頂角と関係は、フレネルの式から例えば図８に示す特性を有することが知られており、図８に示す特性から偏光度ρdに基づいて天頂角θdを判別できる。なお、図８に示す特性は例示であって、被写体の屈折率に依存して特性は変化する。
　また、鏡面反射の場合、最小輝度Ｉsminが観測されたときの偏光角υpolを方位角φsとする。このような定義を行うと、偏光板ＰＬを回転させたときに観測される輝度Ｉspol、すなわち偏光角の違いによって生じる所定の輝度変化を示す偏光モデル式は、式（６）のように表すことができる。
Figure JPOXMLDOC01-appb-M000003
　式（６）では、偏光角υpolが偏光画像の生成時に明らかであり、最大輝度Ｉsmaxと最小輝度Ｉsminおよび方位角φsが変数となる。したがって、法線情報生成部３５は、変数が３つであることから、偏光方向が３方向以上の鏡面反射成分を表す偏光画像の輝度を用いて式（６）に示す関数へのフィッティングを行い、輝度と偏光角の関係を示す関数に基づき最小輝度となる方位角φsを判別する。
　また、物体表面法線を極座標系で表現して、法線情報を方位角φsと天頂角θsとする。なお、天頂角θsはｚ軸から法線に向かう角度、方位角φsは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、偏光板ＰＬを回転して得られた最小輝度Ｉsminと最大輝度Ｉsmaxを用いても式（７）の演算を行うことで偏光度ρsを算出できる。
Figure JPOXMLDOC01-appb-M000004
　偏光度と天頂角と関係は、図９に示す特性を有することが知られており、図９に示す特性から偏光度ρsに基づいて天頂角を１または２つ判別できる。なお、図９に示す特性は例示であって、被写体の屈折率に依存して特性は変化する。また、図９では、２つの天頂角θs1，θs2が判別された場合を例示している。なお、天頂角が２つ判別される場合の処理については、後述する撮像システムの第２の実施の形態で説明する。
　したがって、法線情報生成部３５は、偏光方向が３方向以上のそれぞれの反射成分の偏光画像に基づき、偏光方向と偏光画像の輝度から輝度と偏光角の関係を求めて方位角φd，φsを判別する。また、法線情報生成部３５は、輝度と偏光角の関係から得た最大輝度と最小輝度を用いて偏光度を算出して、偏光度と天頂角の関係を示す特性曲線に基づき、算出した偏光度に対応する天頂角θd，θsを判別する。このように、法線情報生成部３５は、偏光方向が３方向以上の偏光画像に基づき、被写体の法線情報（方位角と天頂角）を画素位置毎に求めて法線情報を生成する。
　また、法線情報生成部３５は偏光方向が３方向以上の偏光画像から法線情報を生成するため、撮像部の偏光子は、偏光パターン単位ブロック内に、偏光方向が異なる少なくとも３方向以上の同一偏光画素ブロックを含めた構成とする。
　撮像システム１０は、法線情報に対応する画像を出力する場合に無偏光画像生成部３９を設ける。無偏光画像生成部３９は、画像処理部３０の補正処理部３１で補正処理が行われた偏光画像から、偏光子を設けていない場合に相当する無偏光画像を生成する。図１０は、無偏光画像生成部の動作を説明するための図である。無偏光画像生成部３９は、撮像部２０が例えば図１０の（Ａ）に示すように構成されている場合（図２と同様）、２×２画素サイズの同一色のブロック内には、偏光方向が異なる４方向の偏光画素が含まれている。したがって、無偏光画像生成部３９は、図１０の（Ｂ）に示すように、２×２画素サイズの同一色のブロック毎に画素値の平均値を算出して無偏光画像の画素値とする。このような処理を行えば、水平方向および垂直方向の画素数がそれぞれ略（１／２）倍とされて色配列がベイヤー配列である無偏光画像を生成できる。
　図１１は、撮像システムの基本動作を示すフローチャートである。ステップＳＴ１で撮像システム１０は偏光画像を生成する。撮像システム１０の撮像部２０は、消光比の高い偏光で複数偏光方向の偏光画像を生成してステップＳＴ２に進む。
　ステップＳＴ２で撮像システム１０は偏光画像の補正処理を行う。撮像システム１０の補正処理部３１は、偏光画像に対して、照明光の違いや撮像素子の特性ばらつき等の影響を受けることなく偏光画像の処理を行うことができるように色毎のゲイン調整を行う。
　図１２は、偏光画像の補正処理を示すフローチャートである。ステップＳＴ１１で補正処理部３１は、偏光画像を取得する。補正処理部３１は、撮像部２０で生成された偏光画像を取得してステップＳＴ１２に進む。
　ステップＳＴ１２で補正処理部３１は、センサばらつき補正とシェーディング補正を行う。補正処理部３１は、予め計測等によって得られている補正値（ゲイン）を用いてセンサばらつき補正とシェーディング補正を行ってステップＳＴ１３に進む。
　ステップＳＴ１３で補正処理部３１は、ホワイトバランス補正の補正値を算出する。補正処理部３１は、従来の撮像装置で行っているオートホワイトバランス補正の機構やユーザが自分で照明状況を指定する機構、または鏡面反射成分に基づいてホワイトバランス補正の補正値（ゲイン）を算出してステップＳＴ１４に進む。
　ステップＳＴ１４で補正処理部３１は、ホワイトバランス補正を行う。補正処理部３１は、ステップＳＴ１３で算出した補正値を用いて偏光画像のホワイトバランス補正を行って、図１１のステップＳＴ３に進む。
　ステップＳＴ３で撮像システム１０は偏光画像に対して反射成分処理を行う。撮像システム１０の偏光画像処理部３２は、ステップＳＴ２で補正処理が行われた偏光画像に対して反射成分を分離または抽出する処理を行い、ステップＳＴ４に進む。
　ステップＳＴ４で撮像システム１０は法線情報を生成する。撮像システム１０の法線情報生成部３５は、分離または抽出した反射成分の偏光画像から法線情報を生成する。
　ステップＳＴ５で撮像システム１０は出力画像を生成する。撮像システム１０の無偏光画像生成部３９は、ステップＳＴ２で補正処理が行われた偏光画像から偏光子を設けていない場合に相当する無偏光画像を生成する。
　このように、撮像部では同時に複数の偏光方向の偏光画像を生成できるので、偏光画像の時間解像度の劣化を防止できる。このため、例えば動きを生じている被写体の偏光特性を容易に取得できる。また、撮像部は、同一偏光方向の複数の画素を同一偏光画素ブロックとして、同一偏光画素ブロックに各色の画素が含まれる構成とされているので、消光比の高い偏光で偏光画像を生成できる。さらに、消光比の高い偏光で生成された偏光画像を用いて反射成分を考慮した法線情報の生成が行われることから、精度の高い法線情報を生成できる。
　＜２．撮像システムの第１の実施の形態＞
　次に、撮像システムの第１の実施の形態について説明する。第１の実施の形態では、鏡面反射を除去した偏光画像から法線情報を生成することで、屋外などにおいて問題となる鏡面反射の影響が軽減された法線情報を生成する場合について説明する。
　図１３は、第１の実施の形態の構成を示している。撮像システム１０は、撮像部２０と画像処理部３０を有している。また、画像処理部３０は、例えば補正処理部３１、偏光画像処理部３２、法線情報生成部３５、無偏光画像生成部３９を有しており、偏光画像処理部３２として鏡面反射除去部３３を用いている。
　撮像部２０は、上述のように消光比の高い偏光で複数偏光方向の偏光画像を生成する。
撮像部２０は、センサ部の撮像面に、偏光子とカラーフィルタを設けている。偏光子は、消光比の高い偏光画像を生成できるように、同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設けた構成とする。カラーフィルタは、偏光子の同一偏光画素ブロックに所定の色毎の画素を設けた構成とする。撮像部２０は、生成した偏光画像を画像処理部３０へ出力する。
　画像処理部３０の補正処理部３１は、撮像部２０で生成された偏光画像に対して、照明光の違いや撮像素子の特性ばらつき等の影響を受けることなく鏡面反射除去部３３で処理を行うことができるように色毎のゲイン調整を行う。補正処理部３１は、補正処理として例えば撮像素子の感度ばらつき補正やレンズのシェーディング補正、ホワイトバランス補正等を行い、補正後の偏光画像を鏡面反射除去部３３へ出力する。
　鏡面反射除去部３３は、鏡面反射の影響を軽減するため、補正後の偏光画像から鏡面反射成分を除去する。鏡面反射除去部３３は、鏡面反射成分の除去された偏光画像すなわち拡散反射成分を抽出した偏光画像を法線情報生成部３５へ出力する。
　鏡面反射は、撮像シーンにおいて支配的な光源が原因となって発生している。また、ホワイトバランスの補正では照明の色に合わせて補正値を調整するため、鏡面反射を発生させる照明の色は無彩色になっていると考えられる。この場合、照明の色を表すＲＧＢ値は同じ値となり、色差を求めることで鏡面反射成分を除去することが可能となる。したがって、鏡面反射除去部３３は、補正処理部３１によってホワイトバランス補正等がなされた偏光画像から式（８）に基づき、図１４に示すように同一偏光画素ブロック毎すなわち黒丸印の位置毎に色差Ｉ'υpolを求める。鏡面反射除去部３３は、このような処理を同一偏光画素ブロック毎に、ブロック内の赤色画素の画素値Ｒυpolと緑色画像の画素値Ｇυpolと青色画素の画素値Ｂυpolを用いて行い、鏡面反射成分が除去された画像である拡散反射成分のみの偏光画像を生成する。なお、図１４に示すように色配列がベイヤー配列で構成されている場合、緑色画素の画素値Ｇυpolは、例えば２つの緑色画素の画素値Ｇυ1，Ｇυ2の平均値とする。
Figure JPOXMLDOC01-appb-M000005
　また、鏡面反射除去部３３は、例えば、光源が白色であるという仮定のもとで光源による鏡面反射成分が除かれた偏光画像を生成する。鏡面反射成分の除去では文献「D.Miyazaki, R.Tan, K.Hara, and K.Ikeuchi. Polarization-based inverse rendering from a single view.Proceedings of International Conference on Computer Vision, pages 982-987,2003」等に開示されている手法を用いてもよい。すなわち、式（９）に基づき色空間をＲＧＢ空間からＭ空間に変換して式（１０）に基づき鏡面反射成分が除去された画像を生成する。鏡面反射成分が除去された画像を式（１１）に基づきＭ空間からＲＧＢ空間に戻すことで、鏡面反射成分が除かれた偏光画像を生成できる。
Figure JPOXMLDOC01-appb-M000006
　さらに、鏡面反射除去部３３は、文献「社団法人 画像処理学会 研究報告 2006-CVIM-155.2006/9/9. 二色性反射モデルに基づくリアルタイム鏡面反射成分除去.肥後智明、宮崎大輔、池内克史」等に記載されている手法を用いて鏡面反射成分を除去してもよい。この手法では、ＨＳＶ空間に射影したときに一つの色相（hue）空間において、拡散反射成分は彩度(saturation)と輝度(intensity）が比例の関係にあることを利用する。図１５はＨＳＶ空間を用いて鏡面反射成分を除去する処理を説明するための図である。鏡面反射除去部３３は、ＲＧＢ空間を変換した図１５の（Ａ）に示すＨＳＶ空間を用いて、色相毎に彩度と輝度の関係を図１５の（Ｂ）のようにプロットする。また、鏡面反射除去部３３は、図１５の（Ｃ）に示すように、近似された直線ＬＡに対して、輝度が予め設定した所定量より高い成分を鏡面反射成分として除去する。
　法線情報生成部３５は、鏡面反射成分が除去された偏光画像すなわち拡散反射成分のみを示す偏光画像から法線情報を生成する。法線情報生成部３５は、偏光画像が拡散反射成分のみを示していることから、この偏光画像における４偏光方向の画素の輝度を用いて式（４）に示す関数へのフィッティングを行い、輝度と偏光角の関係を示す関数に基づき最大輝度となる方位角φdを判別する。また、式（５）の演算を行うことで偏光度ρdを算出して、偏光度ρdに基づいて天頂角θを判別する。法線情報生成部３５は、判別した方位角φdと天頂角θdを示す情報を法線情報とする。
　図１６は、第１の実施の形態の動作を示すフローチャートである。ステップＳＴ２１で撮像システム１０は偏光画像を生成する。撮像システム１０の撮像部２０は、図１１のステップＳＴ１と同様に、消光比の高い偏光で複数偏光方向の偏光画像を生成してステップＳＴ２２に進む。
　ステップＳＴ２２で撮像システム１０は偏光画像の補正処理を行う。撮像システム１０の補正処理部３１は、図１１のステップＳＴ２と同様に、偏光画像に対して、照明光の違いや撮像素子の特性ばらつき等の影響を受けることなく偏光画像の処理を行うことができるように色毎のゲイン調整を行い、ステップＳＴ２３に進む。
　ステップＳＴ２３で撮像システム１０は偏光画像に対して鏡面反射除去処理を行う。撮像システム１０の鏡面反射除去部３３は、ステップＳＴ２２で補正処理が行われた偏光画像から上述の手法を用いて鏡面反射成分の除去処理を行い、拡散反射成分の偏光画像を生成してステップＳＴ２４に進む。
　図１７は鏡面反射の除去処理を示すフローチャートである。なお、図１７は偏光方向毎の色差を算出する場合を示している。ステップＳＴ３１で鏡面反射除去部３３は偏光画像を取得する。鏡面反射除去部３３は、補正処理部３１で補正処理が行われた偏光画像を取得してステップＳＴ３２に進む。
　ステップＳＴ３２で鏡面反射除去部３３は色差を算出する。鏡面反射除去部３３は、偏光方向が同一である同一偏光画素ブロックにおける赤色画素と緑色画素Ｇと青色画素Ｂの画素値を用いて色差を算出してステップＳＴ３３に進む。
　ステップＳＴ３３で鏡面反射除去部３３は色差の出力処理を行う。上述のように、色差は鏡面反射成分の影響がない値となることから、鏡面反射除去部３３は、ステップＳＴ３２で算出した色差を示す偏光画像を法線情報生成部３５に出力する。
　図１８は鏡面反射の他の除去処理を示すフローチャートである。なお、図１８は鏡面反射成分が除かれた偏光画像を生成する場合を示している。ステップＳＴ４１で鏡面反射除去部３３は偏光画像を取得する。鏡面反射除去部３３は、補正処理部３１で補正処理が行われた偏光画像を取得してステップＳＴ４２に進む。
　ステップＳＴ４２で鏡面反射除去部３３は鏡面反射除去画像を生成する。鏡面反射除去部３３は、上述の文献の開示された手法を用いて、鏡面反射成分が除去された偏光画像を生成してステップＳＴ４３に進む。
　ステップＳＴ４３で鏡面反射除去部３３は偏光画像の出力処理を行う。鏡面反射除去部３３は、ステップＳＴ４２で生成した偏光画像、すなわち拡散反射成分の偏光画像を法線情報生成部３５に出力する。
　図１６のステップＳＴ２４で撮像システム１０は法線情報を生成する。撮像システム１０の法線情報生成部３５は、拡散反射成分を示す偏光画像から法線情報を生成する。
　ステップＳＴ２５で撮像システム１０は出力画像を生成する。撮像システム１０の無偏光画像生成部３９は、ステップＳＴ２２で補正処理が行われた偏光画像から偏光子を設けていない場合に相当する無偏光画像を生成する。
　このように、第１の実施の形態では、偏光画像から鏡面反射成分を除去できる。また、偏光画像から鏡面反射成分を除去して得られた拡散反射成分を示す偏光画像から法線情報が生成される。したがって、物体表面で鏡面反射と拡散反射が生じるが、鏡面反射の影響を除去して精度よく法線情報を生成できるようになる。さらに、上述の基本構成の場合と同様に、偏光画像の時間解像度の劣化を防止できる。また、消光比の高い偏光で偏光画像を生成して、この偏光画像から法線情報を生成できる。
　＜３．撮像システムの第２の実施の形態＞
　次に、撮像システムの第２の実施の形態について説明する。第２の実施の形態では、鏡面反射成分と拡散反射成分の分離を行い、分離後の反射成分毎に生成した法線情報を統合する場合について説明する。
　図１９は、第２の実施の形態の構成を示している。撮像システム１０は、撮像部２０と画像処理部３０を有している。画像処理部３０は、例えば補正処理部３１、偏光画像処理部３２、法線情報生成部３５、無偏光画像生成部３９を有している。また、画像処理部３０は、偏光画像処理部３２として反射成分分離部３４、法線情報生成部３５として鏡面反射法線情報生成部３６と拡散反射法線情報生成部３７と法線情報統合部３８を用いている。
　撮像部２０は、上述のように消光比の高い偏光で複数偏光方向の偏光画像を生成する。
撮像部２０は、センサ部の撮像面に、偏光子とカラーフィルタを設けている。偏光子は、消光比の高い偏光画像を生成できるように、同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設けた構成とする。カラーフィルタは、偏光子の同一偏光画素ブロックに所定の色毎の画素を設けた構成とする。撮像部２０は、生成した偏光画像を画像処理部３０へ出力する。
　画像処理部３０の補正処理部３１は、撮像部２０で生成された偏光画像に対して、照明光の違いや撮像素子の特性ばらつき等の影響を受けることなく鏡面反射除去部３３で処理を行うことができるように色毎のゲイン調整を行う。補正処理部３１は、補正処理として例えば撮像素子の感度ばらつき補正やレンズのシェーディング補正、ホワイトバランス補正等を行い、補正後の偏光画像を反射成分分離部３４へ出力する。
　反射成分分離部３４は、鏡面反射成分と拡散反射成分を分離する。反射成分分離部３４では、上述のような手法を用いることで鏡面反射成分を分離できる。したがって、反射成分分離部３４は、鏡面反射除去部３３と同様な手法を用いることで、偏光画像を拡散反射成分の偏光画像と鏡面反射成分の偏光画像に分離する。反射成分分離部３４は、鏡面反射成分の偏光画像を鏡面反射法線情報生成部３６、拡散反射成分の偏光画像を拡散反射法線情報生成部３７へ出力する。
　鏡面反射法線情報生成部３６は、偏光方向が３方向以上の鏡面反射成分の偏光画像の輝度を用いて上述の式（６）に示す偏光モデル式へのフィッティングを行い、輝度と偏光角の関係を示すフィッティング後の関数に基づき最小輝度となる方位角φsを判別する。また、鏡面反射法線情報生成部３６は、最小輝度Ｉsminと最大輝度Ｉsmaxを用いて上述の式（７）の演算を行うことで偏光度ρsを算出して、図９に示す特性から偏光度ρsに基づいて天頂角θsを１または２つ判別する。鏡面反射法線情報生成部３６は、判別した方位角φsと天頂角θsを示す情報を法線情報として法線情報統合部３８へ出力する。なお、鏡面反射法線情報生成部３６は、後述するように、法線情報統合部３８の統合処理で、偏光角の違いによって生じる輝度変化を用いて重み付けを行う場合、最小輝度Ｉsminと最大輝度Ｉsmaxを法線情報統合部３８へ出力する。また、鏡面反射法線情報生成部３６は、法線情報統合部３８の統合処理で、偏光角の違いによって生じる所定の輝度変化に対する誤差を用いて重み付けを行う場合、フィッティング誤差Ｅsを法線情報統合部３８へ出力する。フィッティング誤差Ｅsは、所定の輝度変化を示す式（６）の偏光モデル式へのフィッティングを行った場合における関数値と偏光画像の輝度との差であり、例えば偏光方向毎の関数値と輝度との誤差についての積算値または平均値等を用いる。
　拡散反射法線情報生成部３７は、偏光方向が３方向以上の拡散反射成分の偏光画像の輝度を用いて上述の式（４）に示す偏光モデル式へのフィッティングを行い、輝度と偏光角の関係を示すフィッティング後の関数に基づき最大輝度となる方位角φdを判別する。また、拡散反射法線情報生成部３７は、最小輝度Ｉdminと最大輝度Ｉdmaxを用いて上述の式（５）の演算を行うことで偏光度ρdを算出して、図８に示す特性から偏光度ρdに基づいて天頂角θdを判別する。拡散反射法線情報生成部３７は、判別した方位角φdと天頂角θdを示す情報を法線情報として法線情報統合部３８へ出力する。なお、拡散反射法線情報生成部３７は、後述するように、法線情報統合部３８の統合処理で、偏光角の違いによって生じる輝度変化を用いて重み付けを行う場合、最小輝度Ｉdminと最大輝度Ｉdmaxを法線情報統合部３８へ出力する。また、拡散反射法線情報生成部３７は、法線情報統合部３８の統合処理で、偏光角の違いによって生じる所定の輝度変化に対する誤差を用いて重み付けを行う場合、フィッティング誤差Ｅdを法線情報統合部３８へ出力する。フィッティング誤差Ｅdは、所定の輝度変化を示す式（４）の関数へのフィッティングを行った場合における関数値と偏光画像の輝度との差であり、例えば偏光方向毎の関数値と輝度との誤差の積算値または平均値等を用いる。
　法線情報統合部３８は、鏡面反射法線情報生成部３６で生成された法線情報と拡散反射法線情報生成部３７で生成された法線情報の統合処理を行う。法線情報統合部３８は、法線情報の統合処理として、例えば取得した法線情報を平均化する。具体的には式（１２）に基づいて統合処理を行い、方位角φdsを生成する。また、鏡面反射法線情報生成部３６では天頂角θs1，θs2が判別される場合があるため、式（１３）または式（１４）に基づいて統合処理を行い、天頂角θdsを決定する。
Figure JPOXMLDOC01-appb-M000007
　また、法線情報統合部３８は、鏡面反射法線情報生成部３６で生成された法線情報と拡散反射法線情報生成部３７で生成された法線情報に対して、拡散反射と鏡面反射の何れが支配的であるかに応じた重み付けで統合処理を行ってもよい。重み付けは、例えば偏光角の違いによって生じる輝度変化を用いてもよく、偏光角の違いによって生じる所定の輝度変化に対する誤差を用いてもよい。
　次に、偏光角の違いによって生じる輝度変化を用いて重み付けを行う場合について説明する。法線情報統合部３８は、偏光角の違いによって生じる輝度変化が大きい反射成分を支配的な反射成分とする。すなわち、法線情報統合部３８は、反射成分毎の輝度の振幅を算出して振幅が大きい方を選択することで、法線情報を統合する。また、鏡面反射成分においては、２つの天頂角が判別される場合があるため、拡散反射成分について求めた天頂角に近い方を選択する。式（１５）は拡散反射成分の振幅Ａdの算出式、式（１６）は鏡面反射成分の振幅Ａsの算出式を示している。
　Ａd　＝　Ｉdmax－Ｉdmin　　　・・・（１５）
　Ａs　＝　Ｉsmax－Ｉsmin　　　・・・（１６）
　法線情報統合部３８は、式（１７）に示すように、拡散反射成分の振幅と鏡面反射成分の振幅を用いた重み付けで統合処理を行い、方位角φdsを生成する。また、法線情報統合部３８は、式（１８）（１９）に示すように、拡散反射成分の振幅と鏡面反射成分の振幅を用いた重み付けで統合処理を行い、天頂角θdsを生成する。
Figure JPOXMLDOC01-appb-M000008
　次に、偏光角の違いによって生じる所定の輝度変化に対する誤差を用いて重み付けを行う場合について説明する。法線情報統合部３８は、所定の輝度変化に対する誤差であるフィッティング誤差が少ない方を選択することで、法線情報を統合する。また、鏡面反射成分においては、２つの天頂角が判別される場合があるため、拡散反射成分について求めた天頂角に近い方を選択する。法線情報統合部３８は、式（２０）に示すように、拡散反射成分のフィッティング誤差Ｅdと鏡面反射成分のフィッティング誤差Ｅsを用いた重み付けで統合処理を行い、方位角φdsを生成する。また、法線情報統合部３８は、式（２１）（２２）に示すように、拡散反射成分のフィッティング誤差Ｅdと鏡面反射成分のフィッティング誤差Ｅsを用いた重み付けで統合処理を行い、天頂角θdsを生成する。
Figure JPOXMLDOC01-appb-M000009
　また、法線情報統合部３８は、法線情報の統合として拡散反射成分の偏光画像から生成した法線情報と鏡面反射成分の偏光画像から生成した法線情報の何れかを選択してもよい。ここで、法線情報統合部３８は、拡散反射と鏡面反射の何れか支配的である反射の法線情報を選択する。法線情報統合部３８は、例えば、偏光角の違いによって生じる輝度変化の大きい反射を支配的であるとして、拡散反射成分の振幅Ａdと鏡面反射成分の振幅Ａsのいずれか振幅が大きい方の法線情報を選択する。また、法線情報統合部３８は、偏光角の違いによって生じる所定の輝度変化に対する誤差の少ない反射が支配的であるとして、拡散反射成分のフィッティング誤差Ｅdと鏡面反射成分のフィッティング誤差Ｅsのいずれか誤差が少ない方の法線情報を選択する。また、法線情報統合部３８は、周囲の法線情報との誤差を判別して、誤差が少ない方の法線情報を選択してもよい。また、法線情報統合部３８は、これらの方法を組み合わせて法線情報の選択を行ってもよく、他の方法も組み合わせて法線情報の選択を行うようにしてもよい。さらに、鏡面反射成分の法線情報が選択されて、上述のように２つの天頂角θs1，θs2が判別されている場合、法線情報統合部３８は、拡散反射成分の法線情報で示された天頂角θdとの角度差が少ない方の天頂角を、天頂角θs1，θs2から選択する。
　図２０は、第２の実施の形態の動作を示すフローチャートである。ステップＳＴ５１で撮像システム１０は偏光画像を生成する。撮像システム１０の撮像部２０は、図１１のステップＳＴ１と同様に、消光比の高い偏光で複数偏光方向の偏光画像を生成してステップＳＴ５２に進む。
　ステップＳＴ５２で撮像システム１０は偏光画像の補正処理を行う。撮像システム１０の補正処理部３１は、図１１のステップＳＴ２と同様に、偏光画像に対して、照明光の違いや撮像素子の特性ばらつき等の影響を受けることなく偏光画像の処理を行うことができるように色毎のゲイン調整を行い、ステップＳＴ５３に進む。
　ステップＳＴ５３で撮像システム１０は偏光画像に対して反射成分分離処理を行う。撮像システム１０の反射成分分離部３４は、ステップＳＴ５２で補正処理が行われた偏光画像から上述の手法を用いて鏡面反射成分と拡散反射成分を分離してステップＳＴ５４，５５に進む。
　ステップＳＴ５４で撮像システム１０は鏡面反射成分に基づき法線情報を生成する。撮像システム１０の鏡面反射法線情報生成部３６は、鏡面反射成分の偏光画像から法線情報を生成してステップＳＴ５６に進む。
　ステップＳＴ５５で撮像システム１０は拡散反射成分に基づき法線情報を生成する。撮像システム１０の拡散反射法線情報生成部３７は、拡散反射成分の偏光画像から法線情報を生成してステップＳＴ５６に進む。
　ステップＳＴ５６で撮像システム１０は法線情報統合処理を行う。撮像システム１０の法線情報統合部３８は、ステップＳＴ５４で取得した法線情報とステップＳＴ５５で取得した法線情報を統合する。
　ステップＳＴ５７で撮像システム１０は無偏光画像を生成する。撮像システム１０の無偏光画像生成部３９は、ステップＳＴ５２で補正処理が行われた偏光画像から偏光子を設けていない場合に相当する無偏光画像を生成する。
　このように、第２の実施の形態では、偏光画像から鏡面反射成分と拡散反射成分を分離できる。また、反射成分毎に法線情報が生成される。また、反射成分毎に生成された法線情報が統合される。さらに、法線情報の統合では、物体表面の反射が鏡面反射成分と拡散反射成分の何れが支配的であるかに応じて法線情報の統合が行われる。したがって、鏡面反射を考慮して精度よく法線情報を生成できる。さらに、上述の基本構成の場合と同様に、偏光画像の時間解像度の劣化を防止できる。また、消光比の高い偏光で偏光画像を生成して、この偏光画像から法線情報を生成できる。
　＜４．撮像部の他の構成＞
　ところで、撮像部の構成は、図２に示す構成に限られない。図２１～図２４は、撮像部の他の構成を例示しており、カラーフィルタは、所定の色配列の単位である色パターン単位ブロックを画素の行方向と列方向に繰り返し設ける。また、偏光子は、同一偏光画素ブロックを色パターン単位ブロックと等しいサイズとする。
　図２１において、撮像部の偏光子２１は、図２１の（Ａ）のように、偏光方向が等しい２×２画素単位を同一偏光画素ブロックとする。また、偏光子２１は、偏光方向が互いに異なる４つの同一偏光画素ブロックからなる４×４画素の偏光パターン単位ブロックを、画素の行方向と列方向に繰り返し設けた構成とする。
　また、カラーフィルタ２２は、図２１の（Ｂ）に示すように、１つの赤色画素Ｒと青色画素Ｂおよび２つの緑色画素Ｇからなる２×２画素のブロックを色パターン単位ブロックとする。また、カラーフィルタ２２は、この色パターン単位ブロックを画素の行方向と列方向に繰り返し設けたベイヤー配列の構成とする。
　さらに、偏光子とカラーフィルタは、図２１の（Ｃ）に示すように、同一偏光画素ブロックと色パターン単位ブロックの位置が一致した構成とする。なお、図２１の（Ｃ）（Ｄ）および後述する図２２の（Ｃ）（Ｄ），図２３の（Ｃ）（Ｄ），図２４の（Ｃ）では、画素の構成を判別しやすいように画素を拡大して示している。
　このように撮像部を構成した場合、同一偏光画素ブロックは図２に示す場合と同様に２×２画素単位であることから、図２に示す撮像部と同様に消光比の高い偏光で偏光画像を生成できる。
　また、この構成の撮像部を用いた場合、無偏光画像生成部は、図２１の（Ｄ）に示すように、所定の色毎に、偏光方向が異なっている最も近傍する４つの画素の画素値平均を算出して、無偏光画像の色毎の画素値とする。なお、図２１の（Ｄ）では赤色画素の場合を例示している。この場合、無偏光画像の画素数は、水平および垂直方向の画素数が図１０の（Ｂ）で示したように略（１／２）倍となってしまうことがない。また、色毎に偏光方向が異なり最も近傍する４つの画素の画素値平均を順次算出して無偏光画像の画素値とすることから、色配列がベイヤー配列である無偏光画像を容易に生成できる。
　図２２において、撮像部の偏光子２１は、図２２の（Ａ）のように、偏光方向が等しい２×２画素単位を同一偏光画素ブロックとする。また、偏光子２１は、偏光方向が互いに異なる４つの同一偏光画素ブロックからなる４×４画素の偏光パターン単位ブロックを画素の行方向と列方向に繰り返し設ける。また、偏光子２１は、例えば水平方向に隣接する同一偏光画素ブロックの偏光方向が９０度の差を有するように構成する。
　また、カラーフィルタ２２は、図２２の（Ｂ）に示すように、１つの赤色画素Ｒと青色画素Ｂおよび２つの緑色画素Ｇからなる２×２画素のブロックを色パターン単位ブロックとする。また、カラーフィルタ２２は、この色パターン単位ブロックを画素の行方向と列方向に繰り返し設けたベイヤー配列の構成とする。
　さらに、偏光子とカラーフィルタは、図２２の（Ｃ）に示すように、同一偏光画素ブロックと色パターン単位ブロックの位置が一致した構成とする。
　このように撮像部を構成した場合、無偏光画像生成部は、図２２の（Ｄ）に示すように、偏光方向が９０度の差を有しており水平方向に最も近接した２つの画素値の平均値を色毎に算出して、無偏光画像の画素値とする。したがって、無偏光画像の画素数は、水平および垂直方向が図１０の（Ｂ）で示したように略（１／２）倍となってしまうことがない。また、色毎に２つの画素値の平均値を無偏光の画素値として用いることから、色配列がベイヤー配列である無偏光画像を容易に生成できる。
　なお、図２２では、偏光方向が９０度異なる同一偏光画素ブロックを水平方向に隣接して設けた場合を例示しているが、垂直方向に隣接して設ける構成であってもよい。この場合、無偏光画像生成部３９は、色毎に偏光方向が９０度の差を有しており垂直方向に最も近接した２つの画素値の平均値を無偏光画像の画素値とする。
　図２３において、撮像部の偏光子２１は、図２３の（Ａ）のように、２×２画素単位の同一偏光画素ブロックに無偏光の１画素を設ける。また、偏光子２１は、偏光方向が互いに異なる４つの同一偏光画素ブロックからなる４×４画素の偏光パターン単位ブロックを画素の行方向と列方向に繰り返し設ける。
　また、カラーフィルタ２２は、図２３の（Ｂ）に示すように、同一偏光画素ブロック内の３つの偏光画素は赤色画素Ｒと緑色画素Ｇと青色画素Ｂとする。さらに、同一偏光画素ブロック内の１つの無偏光画素は、各同一偏光画素ブロックから無偏光画素を選択したときの色配列が所望の色配列、例えば図２３の（Ｃ）に示すベイヤー配列となるように画素の色を設定する。
　このように撮像部を構成した場合、無偏光画像生成部は、図２３の（Ｄ）に示すように、各同一偏光画素ブロックから無偏光画素を選択することで、水平および垂直方向のサイズが略（１／２）倍で色配列がベイヤー配列である無偏光画像を容易に生成できる。また、偏光画素を用いないことから、偏光による影響を受けることなく無偏光画像を生成できる。
　図２４において、撮像部の偏光子２１は、偏光方向が異なる同一偏光画素ブロックを、画素の行方向に所定の順序で繰り返して設ける。また、次の行では、前の行に対してブロック位置の差を行方向に生じさせて、前の行と異なる偏光方向の同一偏光画素ブロックを、行方向に所定の順序で繰り返して設ける。偏光子２１は、例えば図２４の（Ａ）のように、偏光方向が等しい２×２画素単位を同一偏光画素ブロックとする。また、偏光子２１は、水平方向に隣接する同一偏光画素ブロックの偏光方向が９０度の差を有するように構成する。また、偏光子２１は、水平方向に並んだ同一偏光画素ブロックに対して、次の行の同一偏光画素ブロック群すなわち垂直方向下側に隣接する同一偏光画素ブロックは、前の行の同一偏光画素ブロックと異なる偏光方向であって水平方向に隣接する同一偏光画素ブロックの偏光方向が９０度の差を有するように構成する。さらに、偏光子２１は、次の行の同一偏光画素ブロック群は、前の行の同一偏光画素ブロック群に対して水平方向に１画素分だけブロック位置の差を生じた構成とする。
　また、カラーフィルタ２２は、図２４の（Ｂ）に示すように、１つの赤色画素Ｒと青色画素Ｂおよび２つの緑色画素Ｇからなる２×２画素のブロックを色パターン単位ブロックとする。また、カラーフィルタ２２は、この色パターン単位ブロックを画素の行方向と列方向に繰り返し設けたベイヤー配列の構成とする。
　さらに、偏光子とカラーフィルタは、図２４の（Ｃ）に示すように、同一偏光画素ブロックと色パターン単位ブロックの位置が一致した構成とする。
　このように撮像部を構成した場合、無偏光画像生成部は、図２２の（Ｄ）の場合と同様に、偏光方向が９０度の差を有しており水平方向に最も近接した２つの画素値の平均値を色毎に算出して、無偏光画像の画素値とする。したがって、無偏光画像の画素数は、水平および垂直方向の画素数が図１０の（Ｂ）で示したように略（１／２）倍となってしまうことがない。また、色毎に２つの画素値の平均値を無偏光の画素値として用いることから、色配列がベイヤー配列である無偏光画像を容易に生成できる。
　なお、図２４では、偏光方向が９０度の差を有する同一偏光画素ブロックを行方向（水平方向）に並んで設けた場合を例示しているが、列方向（垂直方向）に並んで設けて、次の列の同一偏光画素ブロック群は垂直方向に１画素分だけ移動した位置としてもよい。この場合、無偏光画像生成部は、偏光方向が９０度の差を有しており垂直方向に最も近接した２つの画素値の平均値を色毎に算出して、無偏光画像の画素値とする。
　さらに、次の行（列）の同一偏光画素ブロックは水平方向（垂直方向）に１画素分だけブロック位置が移動していることから、図２２の構成に比べて、法線情報の空間解像度を高めることが可能となる。
　さらに、図２および図２１乃至図２４では、同一偏光画素ブロックが赤色画素と緑色画素と青色画素で構成されている場合を例示したが、同一偏光画素ブロックに白色画素を設ける構成としてもよい。図２５は、白色画素を設けた場合の構成と動作を説明するための図である。図２５の（Ａ）は、図２に示す撮像部２０に白色画素（Ｗ）を設けた場合を例示している。撮像部２０では、偏光子を設けたことで感度が下がりやすい。したがって、予め設定した輝度レベル以下である暗い画像部分では図２５の（Ｂ）に示すように白色画素で偏光解析を行う。また、設定した輝度レベルよりも明るい画像部分では図２５の（Ｃ）に示すように赤色画素と緑色画素と青色画素を用いて偏光解析を行い、法線情報を生成する。また、暗い画像部分は鏡面反射成分が少ないので、拡散反射成分のみの画像として法線情報を生成する。このようにすれば、法線情報の生成におけるダイナミックレンジを、白色画素を設けていない場合に比べて拡大できる。
　また、鏡面反射成分の除去処理で色差を算出する場合、Ｗ＝Ｒ＋Ｇ＋Ｂと仮定すれば、式（８）は式（２３）に置き換えることができる。また、白色画素はＳ／Ｎ比が良好であることから、色差の算出においてノイズの影響を受けにくい。
Figure JPOXMLDOC01-appb-M000010
　図２６は、撮像部の他の構成において白色画素を設けた場合を例示している。図２６の（Ａ）は、図２１に示す構成の撮像部に白色画素を設けた場合を示している。図２６の（Ｂ）は、図２２に示す構成の撮像部に白色画素を設けた場合を示している。図２６の（Ｃ）は、図２４に示す構成の撮像部に白色画素を設けた場合を示している。
　このような撮像部の他の構成でも、複数の偏光方向の偏光画像を同時に生成できるので、偏光画像の時間解像度の劣化を防止できる。また、撮像部は、同一偏光方向の複数の画素を同一偏光画素ブロックとして、同一偏光画素ブロックに各色の画素が含まれる構成とされているので、消光比の高い偏光で偏光画像を生成できる。さらに、消光比の高い偏光で生成された偏光画像を用いることで、法線情報を精度よく生成できる。なお、撮像部の色配列はベイヤー配列に限らず他の色配列であってもよい。
　また、上述の実施の形態では同一偏光画素ブロックのサイズを２×２画素としたが、撮像部の高解像度化によって画素サイズが小さくなると２×２画素のサイズでも十分な消光比を得られないおそれがある。このような場合、例えば同一偏光画素ブロックを拡大して４×４画素とすれば、十分な消光比の偏光画像を取得できる。この場合も、無偏光画像は、偏光方向が直交する同一色の２つの近傍画素の平均値、偏光方向が直交する同一色の４つの近傍画素の平均値の算出、平均値を算出した画素位置間の画素について算出した平均値から画素値を算出する処理等を行えば容易に生成できる。
　なお、上述のフローチャートで示した処理は、ステップ順に処理を行う順序処理に限らず、パイプライン処理や並列処理で行ってもよい。また、カラーフィルタは上述のように原色系に限らず補色系のカラーフィルタを用いてもよい。
　＜５．適用例＞
　次に、画像処理装置（画像処理方法）の適用例について説明する。図２７は、この技術の画像処理装置を用いた車両制御システムの概略構成を例示したブロック図である。車両制御システム９０は、通信ネットワーク９２０を介して接続された複数の制御部や検出部を備える。図２７に示した例では、車両制御システム９０は、駆動系制御部９３１、ボディ系制御部９３２、バッテリ制御部９３３、車外情報検出部９３４、無線通信部９３５および統合制御部９４０を備える。通信ネットワーク９２０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）またはＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。また、統合制御部９４０には、入力部９５１、音声出力部９５２、表示部９５３が接続されている。
　各制御部は、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラムまたは各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。
　駆動系制御部９３１は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御部９３１は、内燃機関または駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構として機能する。また、駆動系制御部９３１は、車両の制動力を発生させる制動装置等の制御装置としての機能、ＡＢＳ（Antilock　Brake　System）またはＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御部９３１には、車両状態検出部９３１１が接続される。車両状態検出部９３１１には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数または走行速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御部９３１は、車両状態検出部９３１１から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置またはブレーキ装置等を制御する。
　ボディ系制御部９３２は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御部９３２は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカーまたはフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御部９３２には、鍵を代替する携帯機から発信される電波または各種スイッチの信号が入力され得る。ボディ系制御部９３２は、これらの電波または信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御部９３３は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池９３３１を制御する。例えば、バッテリ制御部９３３には、二次電池９３３１を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧またはバッテリの残存容量等の情報が入力される。バッテリ制御部９３３は、これらの信号を用いて演算処理を行い、二次電池９３３１の温度調節制御またはバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出部９３４は、車両制御システム９０を搭載した車両の外部の情報を検出する。車外情報検出部９３４では、この技術の画像処理装置を用いた撮像システムを利用する。
　図２８は、撮像部の設置例を示した図である。撮像システムの撮像部２０は、例えば、車両８０のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部２０-Ａおよび車室内のフロントガラスの上部に備えられる撮像部２０-Ｂは、主として車両８０の前方の画像を取得する。サイドミラーに備えられる撮像部２０-Ｃ，２０-Ｄは、主として車両８０の側方の画像を取得する。リアバンパまたはバックドアに備えられる撮像部２０-Ｅは、主として車両８０の後方の画像を取得する。なお、図２８には、それぞれの撮像部２０-Ａ乃至２０-Ｅの撮影範囲の一例を示している。撮像範囲ＡＲ-ａは、フロントノーズに設けられた撮像部２０-Ａの撮像範囲を示し、撮像範囲ＡＲ-ｃ，ＡＲ-ｄは、それぞれサイドミラーに設けられた撮像部２０-Ｃ，２０-Ｄの撮像範囲を示し、撮像範囲ＡＲ-ｅは、リアバンパまたはバックドアに設けられた撮像部２０-Ｅの撮像範囲を示す。
　図２７に戻り、車外情報検出部９３４は、車両の周辺領域を撮像して偏光画像を取得する。また、車外情報検出部９３４は、取得した偏光画像から反射成分の分離または抽出を行い、車両制御等に利用可能な情報、例えば反射成分を分離して取り除いた画像の生成等を行う。
　無線通信部９３５は、ＤＳＲＣ（登録商標）（Dedicated Short Range Communication）等の無線通信網を介して車外、例えば他車両や道路状況等を管理する管理センタと通信を行い、受信した情報を統合制御部９４０に出力する。また、無線通信部９３５は車外情報検出部９３４で取得した情報を他車両や管理センタ等へ送信してもよい。なお、無線通信部９３５は、無線ＬＡＮの無線通信網、３Ｇ，ＬＴＥ，４Ｇなどの携帯電話用の無線通信網等の無線通信網を介して管理センタとの通信を行ってもよい。また、無線通信部９３５は、全地球測位システム（GNSS：Global Navigation Satellite System）の信号等を受信して測位を行い、測位結果を統合制御部９４０へ出力してもよい。
　統合制御部９４０には、入力部９５１、音声出力部９５２、表示部９５３が接続されている。入力部９５１は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチまたはレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部９５１は、搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御部９４０に出力する。
　音声出力部９５２は、統合制御部９４０からの音声信号に基づいた音声を出力することで、車両の搭乗者に対して聴覚的に情報を通知する。表示部９５３は、統合制御部９４０からの画像信号に基づいて画像表示を行い、車両の搭乗者に対して視覚的に情報を通知する。
　統合制御部９４０は、ＣＰＵ(Central Processing Unit)，ＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read　Only　Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random　Access　Memory）は、各種パラメータ、演算結果またはセンサ値等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、入力部９５１からの入力信号および通信ネットワーク９２０を介した各制御部や車外情報検出部および無線通信部との通信によって取得した情報、およびＲＡＭに記憶されている情報等に応じて車両制御システム９０内の動作全般を制御する。また、統合制御部９４０は、車両の搭乗者に対して、聴覚的に通知する情報を示す音声信号を生成して音声出力部９５２へ出力して、視覚的に情報を通知する画像信号を生成して表示部９５３へ出力する。また、統合制御部９４０は、無線通信部９３５を用いて他車両や管理センタ等の車外に存在する様々な機器と通信を行う。また、統合制御部９４０は、ＲＯＭまたはＲＡＭに記憶されている地図情報と無線通信部９３５から取得した測位結果に基づき、車両の走行支援を行う。
　なお、図２７に示した例において、通信ネットワーク９２０を介して接続された少なくとも二つの制御部が一つの制御部として一体化されてもよい。あるいは、個々の制御部が、複数の制御部により構成されてもよい。さらに、車両制御システム９０が、図示されていない別の制御部を備えてもよい。また、上記の説明において、いずれかの制御部が担う機能の一部または全部を、他の制御部に持たせてもよい。つまり、通信ネットワーク９２０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御部で行われるようになってもよい。
　このような車両制御システムにおいて、本技術の画像処理装置を例えば車外情報検出部に適用した場合、車外情報検出部では、例えば反射成分を分離して取り除いた周辺領域の画像に基づき被写体認識を行うことで、反射光によって認識しにくくなっている被写体をｙ容易に認識できるようになる。したがって、本技術の画像処理装置（画像処理方法）を用いることで、安全な走行を可能とする車両制御システムを構築できる。また、反射光によって認識しにくくなっている被写体を容易に認識できることから、監視システム等にも適用できる。
　また、明細書中において説明した一連の処理は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータに、上述の処理を行うプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した実施の形態に限定して解釈されるべきではない。この実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設けて前記同一偏光画素ブロックに所定の色毎の画素を設けた構成の撮像素子によって生成された偏光画像を用いて、反射成分の分離または抽出を行う偏光画像処理部
を備える画像処理装置。
　（２）　前記偏光画像処理部は、前記偏光画像を用いて拡散反射成分の抽出を行う（１）に記載の画像処理装置。
　（３）　前記偏光画像処理部は、前記偏光画像を用いて拡散反射成分と鏡面反射成分の分離を行う（１）に記載の画像処理装置。
　（４）　前記偏光画像処理部で前記反射成分の分離または抽出が行われた偏光画像から法線情報を生成する法線情報生成部をさらに備える（１）に記載の画像処理装置。
　（５）　前記偏光画像処理部は、前記偏光画像を用いて拡散反射成分の抽出を行い、
　前記法線情報生成部は、前記偏光画像処理部で抽出された拡散反射成分を示す偏光画像から前記法線情報を生成する（４）に記載の画像処理装置。
　（６）　前記偏光画像処理部は、前記偏光画像を用いて拡散反射成分と鏡面反射成分の分離を行い、
　前記法線情報生成部は、前記偏光画像処理部で分離された拡散反射成分を示す偏光画像から生成された法線情報と前記偏光画像処理部で分離された鏡面反射成分を示す偏光画像から生成された法線情報とを統合する（４）に記載の画像処理装置。
　（７）　前記法線情報生成部は、前記拡散反射成分を示す偏光画像と前記鏡面反射成分を示す偏光画像に対して、重み付けを行って前記法線情報を統合する（６）に記載の画像処理装置。
　（８）　前記法線情報生成部は、拡散反射と鏡面反射の何れが支配的であるかに応じた重み付けを行って、前記法線情報を統合する（７）に記載の画像処理装置。
　（９）　前記法線情報生成部は、偏光角の違いによって生じる輝度変化が大きい反射成分を前記支配的な反射成分とする（８）に記載の画像処理装置。
　（１０）　前記法線情報生成部は、偏光角の違いによって生じる所定の輝度変化に対する誤差が少ない反射成分を前記支配的な反射成分とする（８）に記載の画像処理装置。
　（１１）　前記偏光画像に対して前記所定の色毎のゲイン調整を行う補正処理部を備え、
　前記偏光画像処理部は、前記補正処理部でゲイン調整が行われた偏光画像に対して前記反射成分の分離または抽出を行う（１）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）　前記偏光画像から、色毎に、偏光方向が直交する画素を用いて無偏光の画像を生成する無偏光画像生成部をさらに備える（１）乃至（１１）のいずれかに記載の画像処理装置。
　この技術の画像処理装置と画像処理方法および撮像素子によれば、同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設けて前記同一偏光画素ブロックに所定の色毎の画素を設けた構成の撮像素子で生成された偏光画像に対して、反射成分の分離または抽出する処理が行われる。このため、例えば反射成分を考慮して精度の高い法線情報を生成できる。したがって、被写体の３次元形状を取得する機器等に適している。
　１０・・・撮像システム
　２０・・・撮像部
　２１・・・偏光子
　２２・・・カラーフィルタ
　３０・・・画像処理部
　３１・・・補正処理部
　３２・・・偏光画像処理部
　３３・・・鏡面反射除去部
　３４・・・反射成分分離部
　３５・・・法線情報生成部
　３６・・・鏡面反射法線情報生成部
　３７・・・拡散反射法線情報生成部
　３８・・・法線情報統合部
　３９・・・無偏光画像生成部
　８０・・・車両
　９０・・・車両制御システム

Claims (20)

  1. 　同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設けて前記同一偏光画素ブロックに所定の色毎の画素を設けた構成の撮像素子によって生成された偏光画像を用いて、反射成分の分離または抽出を行う偏光画像処理部
    を備える画像処理装置。
  2. 　前記偏光画像処理部は、前記偏光画像を用いて拡散反射成分の抽出を行う
    請求項１記載の画像処理装置。
  3. 　前記偏光画像処理部は、前記偏光画像を用いて拡散反射成分と鏡面反射成分の分離を行う
    請求項１記載の画像処理装置。
  4. 　前記偏光画像処理部で前記反射成分の分離または抽出が行われた偏光画像から法線情報を生成する法線情報生成部をさらに備える
    請求項１記載の画像処理装置。
  5. 　前記偏光画像処理部は、前記偏光画像を用いて拡散反射成分の抽出を行い、
    　前記法線情報生成部は、前記偏光画像処理部で抽出された拡散反射成分を示す偏光画像から前記法線情報を生成する
    請求項４記載の画像処理装置。
  6. 　前記偏光画像処理部は、前記偏光画像を用いて拡散反射成分と鏡面反射成分の分離を行い、
    　前記法線情報生成部は、前記偏光画像処理部で分離された拡散反射成分を示す偏光画像から生成された法線情報と前記偏光画像処理部で分離された鏡面反射成分を示す偏光画像から生成された法線情報とを統合する
    請求項４記載の画像処理装置。
  7. 　前記法線情報生成部は、前記拡散反射成分を示す偏光画像と前記鏡面反射成分を示す偏光画像に対して、重み付けを行って前記法線情報を統合する
    請求項６記載の画像処理装置。
  8. 　前記法線情報生成部は、拡散反射と鏡面反射の何れが支配的であるかに応じた重み付けを行って、前記法線情報を統合する
    請求項７に記載の画像処理装置。
  9. 　前記法線情報生成部は、偏光角の違いによって生じる輝度変化が大きい反射成分を前記支配的な反射成分とする
    請求項８記載の画像処理装置。
  10. 　前記法線情報生成部は、偏光角の違いによって生じる所定の輝度変化に対する誤差が少ない反射成分を前記支配的な反射成分とする
    請求項８記載の画像処理装置。
  11. 　前記偏光画像に対して前記所定の色毎のゲイン調整を行う補正処理部を備え、
    　前記偏光画像処理部は、前記補正処理部でゲイン調整が行われた偏光画像に対して前記反射成分の分離または抽出を行う
    請求項１記載の画像処理装置。
  12. 　前記偏光画像から、色毎に、偏光方向が直交する画素を用いて無偏光の画像を生成する無偏光画像生成部をさらに備える
    請求項１記載の画像処理装置。
  13. 　同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設け、前記同一偏光画素ブロックには各色の画素を設けた構成の撮像素子によって生成された所定の色毎の偏光画像を用いて、偏光画像処理部で反射成分の分離または抽出を行うことを
    含む画像処理方法。
  14. 　同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設けた偏光子と、
    　前記偏光子の前記同一偏光画素ブロックに所定の色毎の画素を設けたカラーフィルタと、
    　前記偏光子と前記カラーフィルタを透過した被写体光に基づき画像信号を生成するセンサ部と
    を備える撮像素子。
  15. 　前記カラーフィルタは、所定の色配列の画素ブロックである色パターン単位ブロックを画素の行方向と列方向に繰り返し設けて構成し、
    　前記偏光子は、前記同一偏光画素ブロックを複数の偏光方向毎に設けた画素ブロックである偏光パターン単位ブロックを画素の行方向と列方向に繰り返し設けて構成し、
    　前記色パターン単位ブロックと前記偏光パターン単位ブロックとの位置差を生じさせて、前記同一偏光画素ブロックに所定の色毎の画素を設けた
    請求項１４記載の撮像素子。
  16. 　前記カラーフィルタは、所定の色配列の単位である色パターン単位ブロックを画素の行方向と列方向に繰り返し設けて構成し、
    　前記偏光子の前記同一偏光画素ブロックは前記色パターン単位ブロックと等しいサイズとする
    請求項１４記載の撮像素子。
  17. 　前記偏光子は、偏光方向が直交する前記同一偏光画素ブロックを、画素の行方向または列方向に交互に設けた
    請求項１６記載の撮像素子。
  18. 　前記偏光子は、偏光方向が異なる前記同一偏光画素ブロックを、画素の行方向（または列方向）に所定の順序で繰り返して設け、次の行（または列）では、前の行（または列）に対してブロック位置の差を行方向（または列方向）に生じさせて、前の行（または列）と異なる偏光方向の前記同一偏光画素ブロックを、行方向（または列方向）に所定の順序で繰り返して設けた
    請求項１６記載の撮像素子。
  19. 　前記偏光子は、前記同一偏光画素ブロックに無偏光の画素を設け、
    　前記カラーフィルタは、前記無偏光の画素を選択したときの色配列が所望の配列となるように、前記無偏光の画素に対して色を設定した
    請求項１６記載の撮像素子。
  20. 　前記カラーフィルタは、前記同一偏光画素ブロックに三原色の画素と白色の画素を設けた
    請求項１４記載の撮像素子。
PCT/JP2015/084400 2015-02-27 2015-12-08 画像処理装置と画像処理方法および撮像素子 WO2016136085A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/540,456 US10362280B2 (en) 2015-02-27 2015-12-08 Image processing apparatus, image processing method, and image pickup element for separating or extracting reflection component
JP2017501864A JP6673327B2 (ja) 2015-02-27 2015-12-08 画像処理装置と画像処理方法および撮像素子
CN201580076551.9A CN107251553B (zh) 2015-02-27 2015-12-08 图像处理装置、图像处理方法和图像拾取元件
EP15883375.6A EP3264754B1 (en) 2015-02-27 2015-12-08 Image processing device, image processing method and image capturing element

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-038164 2015-02-27
JP2015038164 2015-02-27

Publications (1)

Publication Number Publication Date
WO2016136085A1 true WO2016136085A1 (ja) 2016-09-01

Family

ID=56789644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/084400 WO2016136085A1 (ja) 2015-02-27 2015-12-08 画像処理装置と画像処理方法および撮像素子

Country Status (6)

Country Link
US (1) US10362280B2 (ja)
EP (1) EP3264754B1 (ja)
JP (1) JP6673327B2 (ja)
CN (1) CN107251553B (ja)
TW (1) TWI682671B (ja)
WO (1) WO2016136085A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018061508A1 (ja) * 2016-09-28 2018-04-05 ソニー株式会社 撮像素子、画像処理装置、および画像処理方法、並びにプログラム
WO2018207661A1 (ja) * 2017-05-11 2018-11-15 ソニー株式会社 光センサ、及び、電子機器
WO2019102698A1 (ja) * 2017-11-21 2019-05-31 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび固体撮像装置
WO2020039575A1 (ja) * 2018-08-24 2020-02-27 ヤマハ発動機株式会社 三次元計測装置、三次元計測方法
JP2020038107A (ja) * 2018-09-04 2020-03-12 株式会社三井フォトニクス 温度計測装置
WO2022249562A1 (ja) * 2021-05-28 2022-12-01 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および方法、並びにプログラム
US11637967B2 (en) 2018-04-09 2023-04-25 Sony Corporation Information processing apparatus, information processing method, and calibration apparatus
WO2023105961A1 (ja) * 2021-12-08 2023-06-15 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2023145574A1 (ja) * 2022-01-31 2023-08-03 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法、プログラム

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10444617B2 (en) * 2015-04-30 2019-10-15 Sony Corporation Image processing apparatus and image processing method
JP6697681B2 (ja) * 2016-08-17 2020-05-27 ソニー株式会社 検査装置、検査方法、およびプログラム
US10168273B1 (en) * 2017-07-01 2019-01-01 Kla-Tencor Corporation Methods and apparatus for polarizing reticle inspection
US11598715B2 (en) * 2017-11-24 2023-03-07 Sony Corporation Detection apparatus and method of producing electronic apparatus
EP3805717B1 (en) * 2018-06-05 2023-05-17 Sony Group Corporation Information generation device, information generation method, and program
US11004253B2 (en) * 2019-02-21 2021-05-11 Electronic Arts Inc. Systems and methods for texture-space ray tracing of transparent and translucent objects
CN113557709A (zh) * 2019-04-19 2021-10-26 索尼集团公司 成像装置、图像处理装置和图像处理方法
WO2021033326A1 (ja) * 2019-08-22 2021-02-25 オリンパス株式会社 撮像素子、内視鏡および内視鏡システム
JP2021056164A (ja) * 2019-10-01 2021-04-08 富士ゼロックス株式会社 情報処理装置、発光装置、情報処理システム、及びプログラム
TW202131671A (zh) * 2019-10-07 2021-08-16 日商索尼半導體解決方案公司 電子機器
US20220366668A1 (en) * 2019-10-30 2022-11-17 Sony Group Corporation Image processing apparatus, image processing method, and image processing program
CN110784633B (zh) * 2019-11-12 2021-07-16 Oppo广东移动通信有限公司 图像传感器、相机模组、终端和成像方法
CN110708453A (zh) * 2019-11-12 2020-01-17 Oppo广东移动通信有限公司 图像传感器、相机模组、终端和成像方法
CN110995968B (zh) * 2019-11-25 2021-08-20 Oppo广东移动通信有限公司 图像传感器、摄像装置、电子设备和成像方法
US20230342963A1 (en) * 2019-12-13 2023-10-26 Sony Group Corporation Imaging device, information processing device, imaging method, and information processing method
CN113516607B (zh) * 2021-04-23 2024-02-13 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质
CN113286067B (zh) * 2021-05-25 2023-05-26 Oppo广东移动通信有限公司 图像传感器、摄像装置、电子设备及成像方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099589A1 (ja) * 2007-02-13 2008-08-21 Panasonic Corporation 画像処理システム、方法、装置、及び画像フォーマット
JP2010263158A (ja) * 2009-05-11 2010-11-18 Sony Corp ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
WO2013031100A1 (ja) * 2011-09-02 2013-03-07 パナソニック株式会社 偏光撮像素子および内視鏡

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099589A1 (ja) * 2007-02-13 2008-08-21 Panasonic Corporation 画像処理システム、方法、装置、及び画像フォーマット
JP2010263158A (ja) * 2009-05-11 2010-11-18 Sony Corp ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
WO2013031100A1 (ja) * 2011-09-02 2013-03-07 パナソニック株式会社 偏光撮像素子および内視鏡

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3264754A4 *
TOMOAKI HIGO ET AL.: "Realtime Removal of Specular Reflection Component Based on Dichromatic Reflection Model", IPSJ SIG TECHNICAL REPORTS, vol. 2006, no. 93, 2006, pages 211 - 218, XP055464055, ISSN: 0919-6072 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018061508A1 (ja) * 2016-09-28 2018-04-05 ソニー株式会社 撮像素子、画像処理装置、および画像処理方法、並びにプログラム
WO2018207661A1 (ja) * 2017-05-11 2018-11-15 ソニー株式会社 光センサ、及び、電子機器
JPWO2018207661A1 (ja) * 2017-05-11 2020-06-18 ソニー株式会社 光センサ、及び、電子機器
JP7044107B2 (ja) 2017-05-11 2022-03-30 ソニーグループ株式会社 光センサ、及び、電子機器
JP7230824B2 (ja) 2017-11-21 2023-03-01 ソニーグループ株式会社 画像処理装置、画像処理方法およびプログラム
WO2019102698A1 (ja) * 2017-11-21 2019-05-31 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび固体撮像装置
US11605661B2 (en) 2017-11-21 2023-03-14 Sony Corporation Image processing apparatus, image processing method, and solid-state imaging apparatus to detect polarization properties of each color
CN111357282A (zh) * 2017-11-21 2020-06-30 索尼公司 图像处理装置、图像处理方法、程序和固态成像装置
JPWO2019102698A1 (ja) * 2017-11-21 2020-12-03 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび固体撮像装置
US11637967B2 (en) 2018-04-09 2023-04-25 Sony Corporation Information processing apparatus, information processing method, and calibration apparatus
JPWO2020039575A1 (ja) * 2018-08-24 2021-09-16 ヤマハ発動機株式会社 三次元計測装置、三次元計測方法
JP7051260B2 (ja) 2018-08-24 2022-04-11 ヤマハ発動機株式会社 三次元計測装置、三次元計測方法
WO2020039575A1 (ja) * 2018-08-24 2020-02-27 ヤマハ発動機株式会社 三次元計測装置、三次元計測方法
JP2020038107A (ja) * 2018-09-04 2020-03-12 株式会社三井フォトニクス 温度計測装置
WO2022249562A1 (ja) * 2021-05-28 2022-12-01 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および方法、並びにプログラム
WO2023105961A1 (ja) * 2021-12-08 2023-06-15 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2023145574A1 (ja) * 2022-01-31 2023-08-03 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法、プログラム

Also Published As

Publication number Publication date
CN107251553A (zh) 2017-10-13
JP6673327B2 (ja) 2020-03-25
TWI682671B (zh) 2020-01-11
JPWO2016136085A1 (ja) 2017-12-07
EP3264754A1 (en) 2018-01-03
EP3264754B1 (en) 2022-02-16
US10362280B2 (en) 2019-07-23
CN107251553B (zh) 2019-12-17
EP3264754A4 (en) 2018-09-05
TW201705758A (zh) 2017-02-01
US20180013988A1 (en) 2018-01-11

Similar Documents

Publication Publication Date Title
WO2016136085A1 (ja) 画像処理装置と画像処理方法および撮像素子
CN108353153B (zh) 图像处理装置和图像处理方法
US11405603B2 (en) Imaging device, image processing device and image processing method
JP6693530B2 (ja) 画像処理装置と画像処理方法
CN109804621B (zh) 图像处理装置、图像处理方法和图像拾取装置
US20170228606A1 (en) Information processing apparatus, information processing method, and recording medium
WO2018179671A1 (ja) 画像処理装置と画像処理方法および撮像装置
JP7230824B2 (ja) 画像処理装置、画像処理方法およびプログラム
US11172173B2 (en) Image processing device, image processing method, program, and imaging device
JP2013092975A (ja) 車両認識装置、車両認識方法、プログラム
JP2023054293A (ja) 固体撮像装置、補正方法、および電子装置
WO2022249562A1 (ja) 信号処理装置および方法、並びにプログラム
JP6733279B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15883375

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017501864

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015883375

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15540456

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE