WO2018037678A1 - 画像処理装置および情報生成装置と情報生成方法 - Google Patents

画像処理装置および情報生成装置と情報生成方法 Download PDF

Info

Publication number
WO2018037678A1
WO2018037678A1 PCT/JP2017/021793 JP2017021793W WO2018037678A1 WO 2018037678 A1 WO2018037678 A1 WO 2018037678A1 JP 2017021793 W JP2017021793 W JP 2017021793W WO 2018037678 A1 WO2018037678 A1 WO 2018037678A1
Authority
WO
WIPO (PCT)
Prior art keywords
correction information
polarization
unit
polarization image
image
Prior art date
Application number
PCT/JP2017/021793
Other languages
English (en)
French (fr)
Inventor
雄飛 近藤
俊 海津
哲平 栗田
沱 庄
康孝 平澤
穎 陸
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2018535478A priority Critical patent/JP7040447B2/ja
Priority to US16/313,394 priority patent/US10848727B2/en
Priority to DE112017004203.8T priority patent/DE112017004203T5/de
Priority to CN201780048453.3A priority patent/CN109565546B/zh
Publication of WO2018037678A1 publication Critical patent/WO2018037678A1/ja
Priority to US16/670,239 priority patent/US10904503B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J4/00—Measuring polarisation of light
    • G01J4/04—Polarimeters using electric detection means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Definitions

  • This technique relates to an image processing apparatus, an information generation apparatus, and an information generation method, so that a high-quality polarized image can be obtained.
  • Patent Document 1 discloses a method in which a polarizer is arranged in front of an imaging unit and a polarization image in a plurality of polarization directions is generated by photographing by rotating the polarizer. Also, a method is disclosed in which a polarization image having a plurality of different polarization directions is generated by one imaging by providing a polarizer having a different polarization direction for each pixel.
  • normal information of a subject is generated from polarized images of a plurality of polarization directions.
  • normal information is generated by applying polarization images of a plurality of polarization directions to a polarization model equation.
  • the polarization image may be an image having a variation in luminance even if the image is captured.
  • an object of this technique is to provide an image processing apparatus, an information generation apparatus, and an information generation method for obtaining a high-quality polarized image.
  • An image processing apparatus includes a correction processing unit that corrects a sensitivity variation caused by a difference in polarization direction using correction information generated in advance for a polarization image.
  • the correction gain for correcting the sensitivity variation due to the difference in the polarization direction generated in the polarization image is stored in advance in the correction information storage unit as the correction information for correcting the sensitivity variation.
  • the correction information is generated for each polarization direction or each pixel of the polarization image, for example.
  • the correction information includes information for correcting shading generated in the polarization image.
  • the correction information is generated for each color component of the polarization image, and the correction information includes information for correcting the white balance of the polarization image.
  • correction processing unit correction of sensitivity variation caused by the difference in polarization direction is performed on the polarization image using correction information generated in advance and stored in the correction information storage unit.
  • the second aspect of this technology is A measurement light irradiation unit that irradiates measurement light with uniform intensity to a polarization image acquisition unit that acquires a polarization image; Correction information generation for generating correction information for correcting sensitivity variation due to a difference in polarization direction generated in the polarization image based on the polarization image obtained by irradiating the measurement light from the measurement light irradiation unit and acquired by the polarization image acquisition unit And an information generation apparatus including the unit.
  • the measurement light irradiation unit irradiates the polarization image acquisition unit that acquires the polarization image with measurement light having a uniform intensity.
  • the measurement light irradiation unit irradiates the polarized image acquisition unit with non-polarized light.
  • the measurement light irradiation unit irradiates the polarization image acquisition unit with the measurement light via the spherical diffusion plate.
  • the correction information generation unit emits measurement light from the measurement light irradiation unit to the polarization image acquisition unit using a predetermined imaging optical system, and is generated in the polarization image based on the polarization image acquired by the polarization image acquisition unit. Correction information for correcting sensitivity variations due to differences in polarization direction is generated.
  • the measurement light irradiation unit irradiates the polarization image acquisition unit with measurement light via the plate-like diffusion plate, and the correction information generation unit moves the direction of the polarization image acquisition unit with respect to the plate-like diffusion plate.
  • the measurement light irradiation unit irradiates the polarization image acquisition unit with measurement light via the plate-shaped diffusion plate, and the correction information generation unit performs pixel-by-pixel based on the focal length and the optical axis center of the polarization image acquisition unit. The correction information is generated.
  • the third aspect of this technology is Irradiating the polarization image acquisition unit for acquiring the polarization image with measurement light having a uniform intensity from the measurement light irradiation unit; Based on the polarization image obtained by irradiating the measurement light from the measurement light irradiation unit and acquired by the polarization image acquisition unit, correction information for correcting sensitivity variation due to the difference in polarization direction generated in the polarization image is obtained as a correction information generation processing unit It is in the information generation method including generating by.
  • correction processing is performed on a polarization image to correct sensitivity variations caused by differences in polarization direction using correction information generated in advance.
  • a high-quality polarized image can be acquired.
  • FIG. 1 is a diagram for explaining acquisition of a polarization image.
  • the light source LT is used to illuminate the subject OB
  • the imaging unit CM images the subject OB via the polarizer PL.
  • the luminance of the subject OB changes according to the polarization direction of the polarizer PL.
  • the highest luminance is Imax and the lowest luminance is Imin.
  • the angle in the y-axis direction with respect to the x-axis when the polarization direction of the polarizer is rotated is defined as a polarization angle ⁇ pol.
  • the polarization direction of the polarizer returns to the original polarization state when rotated by 180 degrees about the z-axis direction and has a period of 180 degrees.
  • the luminance I observed when the polarization direction is rotated can be expressed as shown in Expression (1).
  • FIG. 2 illustrates the relationship between the luminance and the polarization angle.
  • the polarization angle ⁇ pol is obvious when the polarization image is generated, and the maximum luminance Imax, the minimum luminance Imin, and the azimuth angle ⁇ are variables. Therefore, by performing fitting to the polarization model equation shown in Equation (1) using the luminance of the polarization image having three or more polarization directions, the desired value can be obtained based on the polarization model equation indicating the relationship between the luminance and the polarization angle. Can be estimated.
  • the normal of the object surface can be indicated by an azimuth angle ⁇ and a zenith angle ⁇ using a polar coordinate system.
  • the zenith angle ⁇ is an angle from the z axis toward the normal
  • the azimuth angle ⁇ is an angle in the y axis direction with respect to the x axis as described above.
  • the degree of polarization ⁇ can be calculated from the minimum luminance Imin and the maximum luminance Imax based on the equation (2).
  • the relationship between the degree of polarization and the zenith angle is known to have, for example, the characteristics shown in FIG. 3A in the case of diffuse reflection and the characteristics shown in FIG. 3B in the case of specular reflection.
  • FIG. 4 illustrates a configuration of a polarization image system using the image processing apparatus of the present technology.
  • the polarization image system 10 includes a polarization image acquisition unit 20, a correction information storage unit 30, and a correction processing unit 40.
  • the correction information generation unit 50 that generates variation correction information and stores the variation correction information in the correction information storage unit 30 can be used.
  • the polarization image acquisition unit 20 acquires a polarization image including pixels for each polarization direction of a plurality of polarization directions.
  • FIG. 5 illustrates the configuration of the polarization image acquisition unit.
  • the polarization image acquisition unit 20 includes an image sensor 200 such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device), and a polarizer 201 or a polarizer 201 and a color filter 202.
  • the image sensor 200 performs photoelectric conversion of the subject light incident through the polarizer 201 or the polarizer 201 and the color filter 202, and generates an image signal corresponding to the subject light, that is, an image signal of a polarized image.
  • the polarization image acquisition unit 20 outputs the image signal of the polarization image to the correction processing unit 40.
  • the polarization image acquisition unit 20 outputs an image signal of the polarization image to the correction information generation unit 50.
  • FIG. 6 illustrates a polarizer and a color filter.
  • 6A and 6B illustrate the polarization pattern of the polarizer 201.
  • the polarizer 201 only needs to be able to extract linearly polarized light from subject light.
  • a wire grid, a photonic liquid crystal, or the like is used.
  • FIG. 6A shows a plurality of polarization directions (for example, 0 °, 45 °, 90 °, etc.) so that the fitting to the polarization model equation shown in Equation (1) can be performed using one pixel as a polarization component unit. A case where pixels in four directions of 135 ° are provided is illustrated.
  • the color filter color component array unit is a 2 ⁇ 2 pixel unit
  • the 2 ⁇ 2 pixel unit is a polarization unit
  • a plurality of polarization directions for example, 0 °, 45
  • pixels in four directions (°, 90 °, and 135 °) are provided is illustrated.
  • the color filter is a color demosaic filter composed of color components such as red, blue and green (RGB) color components.
  • the color filter is not limited to the case where one pixel is used as one color component unit and the RGB color components are configured as a Bayer array as shown in FIG. 6C, but 2 ⁇ 2 as shown in FIG. 6D.
  • the configuration may be such that the pixels are repeated as one color component unit.
  • FIG. 6 (e) a configuration in which white pixels are mixed and repeated in a Bayer array may be used, and as shown in FIG. 6 (f), 2 ⁇ 2 pixels are used as one color component unit.
  • a configuration in which white pixels are mixed and repeated in the arrangement of 2 ⁇ 2 color component units as described above may be used. Furthermore, in order to enable high-sensitivity imaging at night or the like, for example, a configuration in which infrared (IR) pixels are mixed and repeated as shown in FIG.
  • FIG. 7 illustrates a combination of a polarizer and a color filter.
  • FIG. 7A shows a case where the color filter has the configuration shown in FIG. 6D, and a polarizer having the configuration shown in FIG. 6A is used.
  • a pixel for each polarization direction is included for each color component unit, and four polarization components are obtained for each color component.
  • FIG. 7B shows a case where the color filter has the configuration shown in FIG. 6D, and the color filter having the configuration shown in FIG. 6B is used.
  • the polarization component unit of the polarizer is used with the phase shifted by one pixel in the horizontal and vertical directions with respect to the color component unit of the color filter, so that a pixel for each polarization direction is included for each color component unit.
  • four polarization components can be obtained for each color component.
  • the ratio of the leakage amount of the polarization component from the adjacent region of the different polarization component unit in the polarization component obtained for each polarization component unit is 1 ⁇ 1 pixel.
  • the polarizer is a wire grid, polarized light whose electric field component is perpendicular to the direction of the lattice (wire direction) is transmitted, and the transmittance increases as the wire becomes longer. For this reason, when the polarization component unit is 2 ⁇ 2 pixels, the transmittance is higher than that of 1 ⁇ 1 pixel. Therefore, the polarization image acquisition unit can improve the extinction ratio by using the combination shown in FIG.
  • the polarization image acquisition unit can increase the accuracy of the normal compared to the case where the combination shown in FIG. 7B is used.
  • FIG. 7C shows a case where the color filter has the configuration shown in FIG. 6C and the polarization pattern having the configuration shown in FIG. 6B is used.
  • a pixel for each color component is included for each polarization component unit, and four polarization components can be obtained for each color component.
  • the color component unit is 1 ⁇ 1 pixel, the arrangement bias of the color component pixels is small compared to 2 ⁇ 2 pixels. Therefore, the polarization image acquisition unit can improve the image quality by using the combination shown in FIG. 7C as compared to, for example, the case shown in FIG. 7A.
  • FIG. 7D shows a case where the color filter has the configuration shown in FIG. 6F and the polarization pattern having the configuration shown in FIG. 6B is used.
  • the polarization component unit of the polarization pattern is used by shifting the phase by one pixel in the horizontal and vertical directions with respect to the color component unit of the color filter, so that each color component unit includes a pixel for each polarization direction.
  • four polarization components can be obtained for each color component.
  • the white component is included in the color component unit, the sensitivity can be improved compared to the case where the color filter not including the white pixel is used, for example, when the combination shown in FIG. 7B is used. it can.
  • the correction information storage unit 30 in FIG. 4 stores variation correction information calculated in advance by the correction information generation unit 50.
  • the variation correction information is acquired by the polarization image acquisition unit 20 by irradiating the polarization image acquisition unit 20 that acquires a polarization image with measurement light having a uniform intensity from the measurement light irradiation unit of the correction information generation unit. This is a correction gain for correcting the sensitivity variation due to the difference in polarization direction generated in the polarization image based on the polarization image.
  • the polarization image is a color image
  • variation correction information for each color component is stored.
  • the correction processing unit 40 sets the polarization image correction information using the variation correction information stored in the correction information storage unit 30, and the polarization acquired by the polarization image acquisition unit 20 using the set polarization image correction information. Perform image correction processing.
  • the correction information generation unit 50 generates variation correction information used for correcting sensitivity variations and sensitivity variations of the polarization image acquisition unit 20 and shading.
  • the correction information generation unit 50 performs processing for generating variation correction information for each polarization direction in the polarization image or processing for generating variation correction information for each pixel in the polarization image.
  • the correction information generation unit 50 stores the generated variation correction information in the correction information storage unit 30.
  • the correction processing unit 40 adjusts the gain of each pixel based on the polarization image correction information, and corrects the polarization image acquired by the polarization image acquisition unit 20.
  • Expression (3) represents a correction expression used in the polarization image correction processing.
  • the pixel value Iij is a pixel value at the pixel position (i, j) in the polarization image acquired by the polarization image acquisition unit 20.
  • the pixel value BK indicates the black level. As the black level pixel value BK, the same value may be used for the entire screen, or the pixel value BK measured in advance for each pixel may be used.
  • the polarization image correction information GAij is a correction gain for the pixel at the pixel position (i, j).
  • the correction processing unit 40 performs the calculation of Expression (3) on the pixel at the pixel position (i, j) in the polarization image using the polarization image correction information GAij and the pixel value Iij, and the pixel whose sensitivity variation has been corrected.
  • the value Cij is calculated.
  • the polarization image correction information is not limited to correction information for performing sensitivity variation correction, and may include correction information for performing shading correction and white balance correction.
  • shading correction information GS performs measurement for each individual imaging optical system used in the polarization image acquisition unit 20, and uses shading correction information generated based on the measurement result. Alternatively, shading correction information calculated from lens design data or the like may be used.
  • the shading correction information GS is stored in the correction information storage unit 30.
  • the correction processing unit 40 acquires the variation correction information GVij and the shading correction information GSij for the pixel at the pixel position (i, j) in the polarization image from the correction information storage unit 30, Based on (5), the polarization image correction information GAij is set. Further, the correction processing unit 40 performs the calculation of Expression (3) on the pixel at the pixel position (i, j) in the polarization image using the polarization image correction information GAij set as the pixel value Iij, and the sensitivity variation A pixel value Cij subjected to correction and shading correction is calculated.
  • GAij GVij ⁇ GSij (5)
  • the correction information generation unit 50 can generate variation correction information including not only sensitivity variation correction but also shading correction by generating variation correction information for each pixel as described later.
  • the correction processing unit 40 can perform sensitivity variation correction and shading correction by setting the variation correction information GVij as the polarization image correction information GAij.
  • the information for white balance correction (hereinafter referred to as “white balance correction information”) GW may generate white balance correction information by providing a white balance detection mechanism, for example, and white balance correction according to the lighting setting of the user or the like. Information may be used. Further, the white balance correction information may be generated based on the polarization image. For example, when the luminance values of pixels in four polarization directions are used to fit a polarization model equation (for example, a cosine function) indicating luminance change with respect to the polarization angle, as shown in FIG. The amplitude change corresponds to the specular reflection component, and the pixel position of the illumination can be detected by detecting the pixel position having the highest luminance in each color component. Further, correction information for generating a white pixel position of the detected illumination is generated and used as white balance correction information.
  • a polarization model equation for example, a cosine function
  • the correction processing unit 40 uses the variation correction information GVij and the white balance correction information GWij for the pixel at the pixel position (i, j) in the polarization image, based on Expression (6).
  • Polarization image correction information GAij is set. Further, the correction processing unit 40 performs the calculation of Expression (3) on the pixel at the pixel position (i, j) in the polarization image using the polarization image correction information GAij set as the pixel value Iij, and the sensitivity variation A pixel value Cij subjected to correction and white balance correction is calculated.
  • GAij GVij ⁇ GWij (6)
  • the correction processing unit 40 uses variation correction information GVij, shading correction information GSij, and white balance correction information GWij for the pixel at the pixel position (i, j) in the polarization image.
  • the polarization image correction information GAij is calculated based on the equation (7).
  • the correction processing unit 40 performs the calculation of Expression (3) on the pixel at the pixel position (i, j) in the polarization image using the polarization image correction information GAij set as the pixel value Iij, and the sensitivity variation A pixel value Cij subjected to correction, shading correction, and white balance correction is calculated.
  • GAij GVij ⁇ GSij ⁇ GWij (7)
  • FIG. 8 is a flowchart illustrating the operation of the correction processing unit.
  • the correction processing unit acquires a polarization image.
  • the correction processing unit 40 acquires the polarization image from the polarization image acquisition unit 20, and proceeds to step ST5.
  • the correction processing unit acquires variation correction information.
  • the correction processing unit 40 acquires variation correction information corresponding to the polarization direction of the correction target pixel.
  • variation correction information for each pixel is stored in the correction information storage unit 30
  • the correction processing unit 40 acquires variation correction information corresponding to the pixel position of the correction target pixel.
  • the correction processing unit 40 acquires variation correction information corresponding to the correction target pixel, and proceeds to step ST3.
  • step ST3 the correction processing unit 40 acquires shading correction information.
  • the correction processing unit 40 acquires shading correction information corresponding to the correction target pixel from the correction information storage unit 30, and proceeds to step ST4.
  • step ST4 the correction processing unit acquires white balance correction information.
  • the correction processing unit 40 obtains the white balance correction information generated by the white balance detection mechanism, the white balance correction information according to the illumination setting of the user or the like, or the white balance correction information generated based on the polarization image. Proceed to ST5.
  • step ST5 the correction processing unit performs correction calculation processing.
  • the correction processing unit 40 sets the polarization image correction information GAij using the correction information acquired in the processes of steps ST2 to ST4. Further, the correction processing unit 40 performs the calculation of Expression (3) using the set polarization image correction information GAij, and generates a polarization image subjected to sensitivity variation correction and the like.
  • any correction information may be preferentially acquired.
  • the process of step ST3 or step ST4 may be performed as necessary. For example, when the information for performing shading correction is included in the variation correction information, the process of step ST3 is omitted. Further, when the polarization image is a color image, the process of step ST4 is performed. Further, the correction processing unit 40 may repeat the process of FIG. 8 for each pixel of the polarization image.
  • FIG. 9A shows, for example, a luminance histogram of a polarization image acquired by irradiating the polarization image acquisition unit 20 with non-polarized light for each polarization direction.
  • the luminance histogram for each polarization direction may have different luminance average values due to sensitivity variations caused by difficulty in forming a polarizer.
  • the luminance histogram of the polarization direction in the processed polarization image has the same luminance average value for each polarization direction as shown in FIG.
  • the pixel value of each pixel is the average of all the pixels.
  • the pixel value is corrected to be a value. Therefore, as shown in FIG. 9C, the luminance histogram of the polarization direction in the processed polarization image has less variation compared to FIGS. 9A and 9B regardless of the polarization direction.
  • the mode value is a histogram indicating the luminance average value.
  • FIG. 10A illustrates a polarization image when sensitivity variation and shading occur in the upper left of the screen when a subject with uniform brightness is imaged.
  • the correction processing unit 40 calculates the polarization image correction information GAij based on, for example, the above equation (5), performs correction processing using the calculated polarization image correction information GAij, and corrects sensitivity variations and shading. Therefore, the corrected polarization image output from the correction processing unit 40 is a high-quality polarization image in which sensitivity variations and shading are corrected as shown in FIG.
  • the present technology it is possible to correct variation in sensitivity or the like in the polarization image acquired by the polarization image acquisition unit 20, so that a high-quality polarization image can be obtained. Further, since a high-quality polarized image can be obtained, for example, it is possible to prevent deterioration in processing performance due to sensitivity variations in processing using a polarized image.
  • the correction information generation unit 50 includes a measurement light irradiation unit and a correction information generation processing unit.
  • the measurement light irradiation unit irradiates the polarization image acquisition unit 20 that acquires a polarization image with measurement light having a uniform intensity.
  • the correction information generation processing unit irradiates measurement light from the measurement light irradiation unit, and based on the polarization image acquired by the polarization image acquisition unit, variation correction information for correcting sensitivity variation due to the difference in polarization direction generated in the polarization image Is generated. Further, the correction information generation processing unit stores the generated variation correction information in the correction information storage unit 30.
  • variation correction information it is desirable to acquire a measurement polarization image using measurement light that is sufficiently bright so as not to cause an adverse effect due to noise and extending the exposure time. Further, noise in the measurement polarization image may be reduced by acquiring a plurality of polarization images, performing an averaging process, and using the averaged polarization image. As described above, by using the measurement polarization image with less noise, variation correction information corresponding to the polarization image acquisition unit 20 can be correctly generated.
  • FIG. 11 illustrates a part of the measurement polarization image acquired by the polarization image acquisition unit.
  • FIG. 11A illustrates a measurement polarization image when the measurement polarization image is a black and white image
  • FIG. 11B illustrates measurement polarization. The case where an image is a color image is shown.
  • “C1” indicates the pixel value of the pixel in the first polarization direction in the measurement polarization image.
  • C2 is the pixel value of the pixel in the second polarization direction in the measurement polarization image,
  • C3 is the pixel value of the pixel in the third polarization direction in the measurement polarization image, and
  • C4 is the fourth polarization direction in the measurement polarization image.
  • R1 indicates a pixel value of the pixel that is a red pixel in the first polarization direction in the measurement polarization image.
  • R2 is a pixel value of the pixel that is a red pixel in the second polarization direction in the measurement polarization image,
  • R3 is a pixel value of the pixel that is a red pixel in the third polarization direction in the measurement polarization image, and
  • R4 is The pixel value of the pixel that is the red pixel in the fourth polarization direction in the measurement polarization image is shown.
  • “G1” to “G4” indicate pixel values of the pixels that are green pixels in each polarization direction
  • “B1” to “B4” indicate pixel values of the pixels that are blue pixels in each polarization direction.
  • “C1” to “C4”, “R1” to “R4”, “G1” to “G4”, “B1” to “B4” are pixel values excluding the pixel value BK of the black level.
  • the first polarization direction to the fourth polarization direction are set to polarization directions that can be fitted to the polarization model equation. In the third embodiment described later, the polarization direction is set so as to have an angle difference of 90 °.
  • FIG. 12 is a diagram for explaining the first embodiment of the correction information generation unit.
  • the measurement light irradiation unit 51-1 of the correction information generation unit 50-1 is configured using a light source that emits parallel unpolarized light as measurement light.
  • the correction information generation processing unit 52-1 generates variation correction information from the polarization image generated by irradiating the polarization image acquisition unit 20 with the measurement light from the measurement light irradiation unit 51-1.
  • FIG. 13 is a flowchart showing the operation of the first embodiment.
  • the correction information generation unit acquires a measurement polarization image using parallel non-polarized light.
  • the correction information generation unit 50-1 irradiates the polarization image acquisition unit 20 with parallel non-polarized light from the measurement light irradiation unit 51-1, and corrects the measurement polarization image generated by the polarization image acquisition unit 20 as a correction information generation processing unit.
  • the information is acquired at 52-1 and proceeds to step ST12.
  • step ST12 the correction information generation unit generates variation correction information.
  • the correction information generation processing unit 52-1 of the correction information generation unit 50-1 generates variation correction information indicating a correction value for each polarization direction or for each pixel, as will be described later, based on the acquired measurement polarization image. Proceed to step ST13.
  • step ST13 the correction information generation unit stores variation correction information.
  • the correction information generation processing unit 52-1 of the correction information generation unit 50-1 stores the generated variation correction information in the correction information storage unit 30.
  • the ideal measurement polarization image when the illumination light is parallel non-polarized light has the same pixel value regardless of the polarization direction or the pixel position.
  • the correction information generation processing unit 52-1 of the correction information generation unit 50-1 generates variation correction information indicating a correction value for each polarization direction or for each pixel for correcting variations in pixel values in the measured polarization image. To do.
  • the correction information generation processing unit 52-1 performs pixel average values (C1mean, C2mean, and C2mean) for each polarization direction in the entire region or the center region of the measurement polarization image shown in FIG. Based on (C3mean, C4mean), the calculation of Expression (8) or Expression (9) is performed to calculate the reference pixel value Cbase.
  • Cbase (C1mean + C2mean + C3mean + C4mean) / 4
  • Cbase Max (C1mean, C2mean, C3mean, C4mean) (9)
  • the correction information generation processing unit 52-1 performs calculations of equations (10) to (13) to generate variation correction information for each polarization direction.
  • “GVd1” represents a correction gain for the first polarization direction
  • “GVd2” to “GVd4” represent correction gains for the second to fourth polarization directions.
  • the reference pixel value Cbase is calculated using Expression (8)
  • the reference pixel value Cbase is calculated using the equation (9)
  • the correction gain becomes a value of “1” or more, so that the pixel value is lowered or saturated by the correction processing using the variation correction information.
  • the pixel value is not desaturated.
  • GVd1 Cbase / C1mean (10)
  • GVd2 Cbase / C2mean (11)
  • GVd3 Cbase / C3mean (12)
  • GVd4 Cbase / C4mean (13)
  • the correction information generation processing unit 52-1 When the measurement polarization image is a color image, the correction information generation processing unit 52-1 performs the same process for each color based on the measurement polarization image shown in FIG. For example, when generating variation correction information for a red pixel, the correction information generation processing unit 52-1 performs pixel average values (R1mean, R2mean, R3mean, and R3mean) for each polarization direction of the red pixel in the entire region or the central region of the measured polarization image.
  • R4mean is used to calculate the reference pixel value Cbase based on the formula (14) or the formula (15).
  • Rbase (R1mean + R2mean + R3mean + R4mean) / 4 (14)
  • Rbase Max (R1mean, R2mean, R3mean, R4mean) (15)
  • the correction information generation processing unit 52-1 performs calculations of equations (16) to (19) to generate variation correction information for each polarization direction in the red pixel.
  • “GVd1R” represents a correction gain for the first polarization direction of the red pixel
  • “GVd2R” to “GVd4R” represent the correction gains for the second to fourth polarization directions of the red pixel.
  • GVd1R Rbase / R1mean (16)
  • GVd2R Rbase / R2mean (17)
  • GVd3R Rbase / R3mean (18)
  • GVd4R Rbase / R4mean (19)
  • the correction information generation processing unit 52-1 also performs the same processing for the green pixel and the blue pixel as in the case of the red pixel, so that the variation correction information for each polarization direction in the green pixel and the polarization direction in the blue pixel Variation correction information is generated.
  • the correction information generation processing unit 52-1 performs the calculation of Expression (20) for each pixel.
  • GVij Cbase / Cij (20)
  • the correction information generation processing unit 52-1 performs the same process for each color based on the measurement polarization image shown in FIG. For example, when the variation correction information for the red pixel is generated for each pixel, the calculation of Expression (21) is performed for each pixel.
  • GVRij Rbase / Rij (21)
  • the correction information generation processing unit 52-1 also performs the same processing for the green pixel and the blue pixel as in the case of the red pixel, thereby varying the variation correction information GVGij for each pixel in the green pixel and the polarization direction in the blue pixel. Variation correction information GVBij is generated.
  • the correction information generation processing unit 52-1 stores the generated variation correction information in the correction information storage unit 30.
  • FIG. 14 is a diagram for explaining a second embodiment of the correction information generation unit.
  • the measurement light irradiation unit 51-2 of the correction information generation unit 50-2 is configured using a spherical diffusion plate DBa and a light source LT.
  • the spherical diffusion plate DBa of the measurement light irradiation unit 51-2 is arranged so that the center of the sphere is the principal point of the polarization image acquisition unit 20, and is incident on the polarization image acquisition unit 20 via the spherical diffusion plate DBa.
  • the correction information generation processing unit 52-2 generates variation correction information on the basis of the polarization image generated by irradiating the polarization image acquisition unit 20 with the measurement light from the measurement light irradiation unit 51-2.
  • FIG. 15 is a flowchart showing the operation of the second embodiment.
  • the correction information generation unit acquires a measurement polarization image using a spherical diffuser.
  • the measurement light irradiation unit 51-2 in the correction information generation unit 50-2 irradiates the correction information generation unit 50-2 with measurement light via the spherical diffusion plate DBa.
  • the correction information generation processing unit 52-2 of the correction information generation unit 50-2 acquires the measurement polarization image generated by the polarization image acquisition unit 20, and proceeds to step ST22.
  • step ST22 the correction information generation unit generates variation correction information.
  • the minimum luminance Imin the maximum luminance Imax. That is, when there is no sensitivity variation, the pixel values are equal regardless of the polarization direction. Therefore, the correction information generation processing unit 52-2 of the correction information generation unit 50-2 generates variation correction information indicating a correction value for each polarization direction or for each pixel, as will be described later, based on the acquired measurement polarization image. Then, the process proceeds to step ST23.
  • step ST23 the correction information generation unit stores variation correction information.
  • the correction information generation processing unit 52-2 of the correction information generation unit 50-2 stores the generated variation correction information in the correction information storage unit 30.
  • the ideal measurement polarization image acquired by the polarization image acquisition unit 20 has the same pixel value regardless of the polarization direction or the pixel position.
  • the correction information generation processing unit 52-2 of the correction information generation unit 50-2 generates variation correction information indicating the correction value for each polarization direction or for each pixel for correcting the variation of the pixel value in the measured polarization image. To do.
  • the correction information generation processing unit 52-2 uses the equations (8) to (8) as in the first embodiment, based on the measurement polarization image shown in FIG. By performing the calculation of 13), variation correction information is generated for each polarization direction.
  • the correction information generation processing unit 52-2 performs the same process for each color based on the measurement polarization image shown in FIG. For example, when the variation correction information for the red pixel is generated, the correction information generation processing unit 52-2 performs the calculations of Expressions (14) to (19) in the same manner as in the first embodiment, so that the red pixel Variation correction information for each polarization direction is generated.
  • correction information generation processing unit 52-2 also performs the same processing for the green pixel and the blue pixel as in the case of the red pixel, so that the variation correction information for each polarization direction in the green pixel and the polarization direction in the blue pixel. Variation correction information is generated.
  • the correction information generation processing unit 52-2 When the correction information generation processing unit 52-2 generates variation correction information for each pixel, when the measurement polarization image is a black and white image, the correction information generation processing unit 52-2 performs the calculation of Expression (20) for each pixel, and the measurement polarization image is color. When it is an image, the calculation of Expression (21) is performed for each pixel. Furthermore, the correction information generation processing unit 52-2 also performs the same processing for the green pixel and the blue pixel as for the red pixel, thereby causing variation correction information for each pixel in the green pixel and variation for each polarization direction in the blue pixel. Generate correction information.
  • FIG. 16 is a diagram for explaining a third embodiment of the correction information generation unit.
  • the measurement light irradiation unit 51-3 of the correction information generation unit 50-3 is configured by using a planar diffusion plate DBb and a light source LT.
  • the correction information generation processing unit 52-3 uses the polarization image generated by irradiating the measurement light irradiation unit 51-3 with the measurement light to the polarization image acquisition unit 20 through the plane diffusion plate, and then uses the polarization image acquisition unit 20 to generate the correction information.
  • Correction information is generated based on the focal length information and the optical axis center information.
  • FIG. 17 is a flowchart showing the operation of the third embodiment.
  • the correction information generation unit acquires a measurement polarization image using a planar diffusion plate.
  • the correction information generation processing unit 52-3 of the correction information generation unit 50-3 irradiates the correction information generation unit 50-3 with measurement light via the planar diffusion plate DBb.
  • the correction information generation processing unit 52-3 of the correction information generation unit 50-3 acquires the measurement polarization image generated by the polarization image acquisition unit 20, and proceeds to step ST33.
  • step ST32 the correction information generation unit acquires optical axis center information and focal length information.
  • the correction information generation processing unit 52-3 of the correction information generation unit 50-3 acquires the optical axis center information indicating the position of the optical axis center and the focal length information indicating the focal length when the planar diffusion plate is imaged. Proceed to ST33.
  • the optical axis center information and focal length information information acquired in advance from the characteristics of the imaging optical system used in the polarization image acquisition unit 20 may be stored in the correction information generation processing unit 52-3. May be entered. Further, the optical axis center information and the focal length information may be acquired by calibration. Note that the process in step ST32 may be performed only when correction information is generated for each pixel.
  • step ST33 the correction information generation unit generates variation correction information.
  • the correction information generation processing unit 52-2 of the correction information generation unit 50-2 generates variation correction information indicating correction values for each polarization direction or for each pixel, as will be described later, based on the acquired measurement polarization image. Proceed to step ST34.
  • step ST34 the correction information generation unit stores variation correction information.
  • the correction information generation processing unit 52-3 of the correction information generation unit 50-3 stores the generated variation correction information in the correction information storage unit 30.
  • the correction information generation processing unit 52-3 of the correction information generation unit 50-3 generates variation correction information indicating a correction value for each polarization direction based on the image in the vicinity region of the optical axis center in the measurement image. .
  • the correction information generation processing unit 52-3 uses the equations (8) to ((2)) as in the first embodiment based on the measurement polarization image shown in (a) of FIG. By performing the calculation of 13), variation correction information is generated for each polarization direction.
  • the correction information generation processing unit 52-3 performs the same processing for each color based on the measurement polarization image shown in FIG. For example, when the variation correction information for the red pixel is generated, the correction information generation processing unit 52-3 performs the calculations of Expressions (14) to (19) as in the first embodiment, so that the red pixel Variation correction information for each polarization direction is generated.
  • the correction information generation processing unit 52-3 performs the same processing for the green pixel and the blue pixel as in the case of the red pixel, so that the variation correction information for each polarization direction in the green pixel and the polarization direction in the blue pixel. Variation correction information is generated.
  • FIG. 18 shows a case where a plane diffusion plate is imaged by the polarization image acquisition unit.
  • the inclination of the normal increases as the pixel position moves away from the optical axis center of the polarization image acquisition unit 20.
  • (A) of FIG. 18 is orthogonal to the optical axis direction of the imaging optical system in the polarization image acquisition part 20 with respect to the principal point which is the center of the imaging optical system in the polarization image acquisition part 20, and the planar diffusion plate DBb. Shown from the perspective.
  • FIG. 18B shows the viewpoint in the optical axis direction.
  • FIG. 18C shows the normal direction when the viewpoint direction of each pixel in the measurement polarization image is parallel.
  • the inclination of the normal line changes according to the pixel in the measurement polarization image, and the inclination of the normal line increases as the pixel position moves away from the center of the optical axis.
  • the zenith angle ⁇ increases as the pixel position moves away from the center of the optical axis, as shown in FIG. 18D, where the difference between the minimum luminance Imin and the maximum luminance Imax increases.
  • the correction information generation processing unit 52-3 calculates a normal line to be observed at the correction target pixel position from the optical axis center position, the focal length, and the correction target pixel position, and uses the normal line as a polarization model equation. Apply. Further, by setting a reference value (Imax + Imin) / 2 from the pixel value near the center of the optical axis and applying it to the polarization model formula, an ideal luminance value is calculated and variation correction information corresponding to the correction target pixel position is generated.
  • FIG. 19 is a diagram for explaining normal calculation.
  • 19A shows the arrangement of the polarization image acquisition unit 20 and the planar diffusion plate DBb
  • FIG. 19B shows the azimuth angle ⁇
  • FIG. 19C shows the zenith angle ⁇ .
  • the optical axis center LC is set as coordinates (Cx, Cy)
  • the correction target pixel HP is set as coordinates (Hx, Hy).
  • the focal length fm (the unit is “mm”) can be converted into a focal length f in pixel units based on the equation (22).
  • “ps” indicates the pixel size of one pixel (the unit is “mm / pixel”).
  • the azimuth angle ⁇ of the correction target pixel HP can be calculated based on Expression (23). Further, the zenith angle ⁇ of the correction target pixel HP can be calculated based on Expression (24).
  • the polarized light image acquisition unit 20 is irradiated with the measurement light by illuminating from the back side of the flat diffuser plate, in principle, it can be regarded as diffuse reflection light that does not cause specular reflection.
  • the correction information generation processing unit 52-3 performs fitting to the polarization model equation shown in Equation (1) using the pixel value of the polarization image acquired by the polarization image acquisition unit 20 by irradiating the measurement light.
  • Formula (1) can be shown as Formula (25), and the polarization degree p in Formula (25) can be calculated based on Formula (2).
  • the degree of polarization ⁇ is calculated based on the equation (26).
  • Expression (26) is known as an expression indicating the degree of polarization in diffusely reflected light, and the refractive index n is the refractive index of the planar diffusion plate to be used.
  • the correction information generation processing unit 52-3 can use the pixel average value of pixels whose polarization directions are different by 90 degrees as an estimated value of ((Imax + Imin) / 2). In the estimation of ((Imax + Imin) / 2), pixels whose polarization directions are different by 90 degrees in the vicinity of the optical axis center are used so that the influence of the zenith angle ⁇ is eliminated.
  • the correction information generation processing unit 52-3 performs the calculation of Expression (28) using an equal number (m in each of the i and j directions) of pixel values for each polarization direction from the vicinity region of the optical axis center.
  • the calculated average value is set as the estimated value ((Imax + Imin) / 2) base.
  • the correction information generation processing unit 52-3 uses the polarization angle ⁇ pol indicating the polarization direction of the correction target pixel HP, the azimuth angle ⁇ of the correction target pixel HP, the polarization degree ⁇ , and the estimated ((Imax + Imin) / 2) base.
  • the ideal luminance value ID is calculated by performing the calculation of equation (29).
  • the correction information generation processing unit 52-3 generates the variation correction information GV for each pixel with each pixel of the polarization image as the correction target pixel, and stores the variation correction information GV in the correction information storage unit 30.
  • each pixel is in a state of facing the diffusion plate as in the case of using a spherical diffusion plate even when a planar diffusion plate is used. . Therefore, when a planar diffuser and a telecentric optical system are used, variation correction information may be generated in the same manner as in the second embodiment.
  • FIG. 20 is a diagram for explaining a fourth embodiment of the correction information generation unit.
  • the measurement light irradiation unit 51-4 of the correction information generation unit 50-4 irradiates the polarized light image acquisition unit 20 with illumination light from the light source LT via the planar diffusion plate DBb.
  • the correction information generation processing unit 52-4 controls the rotation unit 53 that rotates the direction of the polarization image acquisition unit 20 in the pan direction or the tilt direction so that the correction target pixel faces the planar diffusion plate DBb.
  • correction information generation processing unit 52-4 uses the pixel values of the correction target pixel and the peripheral pixels that face the planar diffusion plate DBb and uses the pixel values of the correction target pixel in the same manner as in the first or second embodiment. Generate correction information.
  • FIG. 21 is a flowchart showing the operation of the fourth embodiment.
  • the correction information generation unit causes the correction target pixel to face the planar diffusion plate.
  • the correction information generation unit 50-4 drives the polarization image acquisition unit 20 in the pan direction and the tilt direction so that the correction target pixel of the polarization image acquisition unit 20 faces the planar diffusion plate, and proceeds to step ST42.
  • step ST42 the correction information generation unit 50-4 acquires a measurement polarization image using a planar diffusion plate.
  • the correction information generation unit 50-1 corrects the measurement polarization image generated by the polarization image acquisition unit 20 by irradiating the polarization image acquisition unit 20 with illumination light from the measurement light irradiation unit 51-1 via the plane diffusion plate. Obtained by the information generation processing unit 52-4, the process proceeds to step ST43.
  • step ST43 the correction information generation unit generates variation correction information.
  • the correction information generation processing unit 52-4 of the correction information generation unit 50-4 uses the polarization direction of the correction target pixel or the correction target pixel based on the acquired measurement polarization image, as in the first to second embodiments.
  • the variation correction information indicating the correction value for is generated, and the process proceeds to step ST44.
  • step ST44 the correction information generation unit determines whether to end the variation correction information generation process.
  • the correction information generation unit 50-4 determines whether the generation of variation correction information for a desired pixel has been completed. If there is a pixel for which variation correction information has not been generated, the correction information generation unit 50-4 proceeds to step ST45. In addition, when the generation of variation correction information for the desired pixel is completed, the correction information generation unit 50-4 proceeds to step ST46.
  • step ST45 the correction information generation unit updates the correction target pixel.
  • the correction information generation unit 50-4 returns the pixel for which the generation of variation correction information has not been completed as a new correction target pixel to step ST41, and causes the new correction target pixel to face the planar diffusion plate.
  • step ST46 the correction information generation unit stores variation correction information.
  • the correction information generation processing unit 52-4 of the correction information generation unit 50-4 stores the generated variation correction information in the correction information storage unit 30.
  • variation correction information may be generated using any pixel in the region as a correction target pixel, and the generated variation correction information and variation correction information for each pixel in the region may be used.
  • the correction information generation unit generates either the correction information for each polarization direction or the variation correction information for each pixel. What is necessary is just to memorize
  • the polarization image acquisition unit 20 generates variation correction information for each polarization direction when it is clear that the sensitivity variation of pixels in the same polarization direction is smaller than the threshold value.
  • variation correction information for each pixel is generated. Note that when the variation correction information is generated for each polarization direction, the data amount of the variation correction information is smaller than when the variation correction information is generated for each pixel. Therefore, the storage capacity of the correction information storage unit 30 can be reduced. . In addition, since the correction processing unit 40 does not need to read the variation correction information for each pixel from the correction information storage unit 30, the correction processing can be performed efficiently. Furthermore, when the variation correction information is generated for each pixel, it is possible to perform the correction process with high accuracy even when the variation is larger than when the variation correction information is generated for each polarization direction.
  • the polarization image acquisition unit 20 is equipped with a predetermined imaging optical system that is used when the polarization image acquisition unit 20 is mounted on various devices.
  • measurement light corresponding to the characteristics of a predetermined imaging optical system is incident on the image sensor 200 via a polarizer or a color filter. Therefore, the correction information generation unit 50 generates variation correction information for each pixel, thereby generating variation correction information for correcting both sensitivity variations caused by shading and polarizer variations caused by a predetermined imaging optical system. .
  • the correction information generation unit can generate variation correction information for correcting only the sensitivity variation caused by the variation of the polarizer.
  • the pixel value is corrected using the variation correction information for each pixel that corrects only the sensitivity variation for the polarization image obtained by mounting the imaging optical system
  • the pixel value generated in the corrected polarization image This variation indicates a variation caused by the characteristics of the imaging optical system. Therefore, if the variation correction information for each pixel that corrects only the sensitivity variation is used, it is possible to measure the characteristics when acquiring the polarization image in the imaging optical system.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be any kind of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor). You may implement
  • FIG. 22 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, a vehicle exterior information detection unit 7400, a vehicle interior information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 for connecting the plurality of control units conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for communicating with other control units via a communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided. In FIG.
  • a microcomputer 7610 as a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
  • the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 23 shows an example of the installation positions of the imaging unit 7410 and the vehicle outside information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 23 shows an example of shooting ranges of the respective imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
  • the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the vehicle interior information detection unit 7500 detects vehicle interior information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera.
  • the passenger can input information using a gesture.
  • data obtained by detecting the movement of the wearable device worn by the passenger may be input.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
  • a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi (registered trademark)). Other wireless communication protocols such as Bluetooth (registered trademark) may also be implemented.
  • the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point.
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. You may connect with.
  • a terminal for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal
  • P2P Peer To Peer
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
  • the dedicated communication I / F 7630 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
  • the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) Perform V2X communication, which is a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station installed on the road, and acquires information such as the current position, traffic jam, closed road, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link) via a connection terminal (and a cable if necessary). ) Etc. may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device that a passenger has, or an information device that is carried into or attached to the vehicle.
  • In-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • In-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform the cooperative control for the purpose of driving.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 is information acquired via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
  • the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
  • the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
  • the imaging units 7410, 7910, 7912, 7914, 7916, and 7918 are configured to use the polarization image acquisition unit 20.
  • the correction information storage unit 30 and the correction processing unit 40 are provided in the integrated control unit 7600 of the application example shown in FIG. With such a configuration, since the imaging units 7410, 7910, 7912, 7914, 7916, and 7918 can acquire a polarized image with little sensitivity variation, the acquired polarized image can be used for driving support, driving control, and the like.
  • the correction information storage unit 30 and the correction processing unit 40 may be realized in a module (for example, an integrated circuit module including one die) for the integrated control unit 7600 illustrated in FIG.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical disc), a DVD (Digital Versatile Disc), a BD (Blu-Ray Disc (registered trademark)), a magnetic disk, or a semiconductor memory card. It can be stored (recorded) in a removable recording medium such as temporarily or permanently. Such a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the image processing apparatus may have the following configuration.
  • An image processing apparatus including a correction processing unit that corrects a sensitivity variation caused by a difference in polarization direction using correction information generated in advance for a polarization image.
  • the polarization image is an image including pixels for each polarization direction of a plurality of polarization directions acquired by a polarization image acquisition unit having a polarization imaging element in which a polarizer is arranged. .
  • (3) The image processing apparatus according to (1) or (2), wherein the correction information is generated for each polarization direction.
  • the image processing apparatus according to any one of (1) to (3), wherein the correction information is generated for each pixel position of the polarization image.
  • the image processing device according to any one of (1) to (4), wherein the correction information includes information for correcting shading generated in the polarization image.
  • the polarization image is a color image, and the correction information is generated for each color component of the polarization image.
  • the correction information includes information for correcting white balance of the polarized image.
  • the correction information is generated in the polarization image based on the polarization image acquired by the polarization image acquisition unit by irradiating the polarization image acquisition unit with measurement light having a uniform intensity from the measurement light irradiation unit.
  • the image processing apparatus according to (2), wherein the image processing apparatus is a correction gain that corrects sensitivity variations due to differences in polarization direction.
  • the image processing apparatus according to any one of (1) to (8), further including a correction information storage unit that stores the correction information.
  • the information generation apparatus of the present technology can also have the following configuration.
  • a measurement light irradiation unit that irradiates measurement light with uniform intensity to a polarization image acquisition unit that acquires a polarization image;
  • Correction information generation for generating correction information for correcting sensitivity variation due to a difference in polarization direction generated in the polarization image based on the polarization image obtained by irradiating the measurement light from the measurement light irradiation unit and acquired by the polarization image acquisition unit
  • An information generation device comprising a unit.
  • the information generation apparatus wherein the measurement light irradiation unit irradiates the polarization image acquisition unit with the measurement light via a spherical diffusion plate.
  • the measurement light irradiation unit irradiates the polarization image acquisition unit with the measurement light via a plate-like diffusion plate,
  • the information generation device wherein the correction information generation unit generates the correction information by moving a direction of the polarization image acquisition unit with respect to the plate-like diffusion plate.
  • the measurement light irradiation unit irradiates the measurement image light to the polarization image acquisition unit via a plate-like diffusion plate,
  • the information generation apparatus according to (1), wherein the correction information generation unit generates correction information for each pixel based on a focal length and an optical axis center of the polarization image acquisition unit.
  • the image processing device, the information generation device, and the information generation method of this technology based on the polarization image acquired by irradiating the measurement image with uniform intensity to the polarization image acquisition unit that acquires the polarized image, Correction information for correcting the sensitivity variation due to the difference in the generated polarization direction is generated in advance, and using this correction information generated in advance, the sensitivity variation generated by the difference in the polarization direction is corrected for the polarization image. Correction processing is performed. For this reason, it becomes possible to acquire a high-quality polarized image, which is suitable for a device that recognizes, for example, a three-dimensional shape using the polarized image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

補正情報生成部５０は、偏光画像を取得する偏光画像取得部２０に強度が一様の計測光を照射する。また、補正情報生成部５０は、偏光画像取得部２０から取得した計測偏光画像に基づき、この計測偏光画像に生じた偏光方向の違いによる感度ばらつきを補正するばらつき補正情報を生成して補正情報記憶部３０に記憶させる。補正処理部４０は、予め生成されて補正情報記憶部３０に記憶されているばらつき補正情報を用いて、その後、偏光画像取得部２０で取得された偏光画像に対して、偏光方向の違いによって生じた感度ばらつきを補正する。このため、補正処理部４０から出力される偏光画像を、感度ばらつき等が補正された高画質の偏光画像にできる。

Description

画像処理装置および情報生成装置と情報生成方法
　この技術は、画像処理装置および情報生成装置と情報生成方法に関し、高画質の偏光画像を得られるようにする。
　従来、撮像部と偏光子を用いて偏光画像を生成する方法が開示されている。例えば、特許文献１では、撮像部の前に偏光子を配置して、この偏光子を回して撮影することで複数偏光方向の偏光画像が生成する方法が開示されている。また、画素毎に異なる偏光方向の偏光子を設けることで、１回の撮像で異なる複数の偏光方向の偏光画像を生成する方法が開示されている。
　さらに、複数の偏光方向の偏光画像から被写体の法線情報を生成することが行われている。例えば、非特許文献１や非特許文献２では、複数の偏光方向の偏光画像を偏光モデル式に当てはめることによって法線情報が生成されている。
国際公開第２００８／０９９５８９号
Lawrence B.Wolff and Terrance E.Boult :"Constraining Object Features Using a Polarization Reflectance Model",IEEE Transaction on pattern analysis and machine intelligence,Vol.13、No.7,July 1991 Gary A. Atkinson and Edwin R. Hancock :"Recovery of surface orientation from diffuse polarization",IEEE Transactions of Image Processing, Vol.15, Issue.6, pp.1653-1664, 2006
　ところで、画素毎に偏光子を設けた画像センサで偏光画像を生成する場合、微細な画素に偏光子を形成する難しさ等によって感度のばらつきを生じて、例えば輝度が均一である無偏光の被写体を撮像しても偏光画像は輝度のばらつきを生じた画像となってしまう場合がある。
　そこで、この技術では、高画質の偏光画像を得るための画像処理装置および情報生成装置と情報生成方法を提供することを目的とする。
　この技術の第１の側面は、
　偏光画像に対して、予め生成されている補正情報を用いて偏光方向の違いによって生じた感度ばらつきを補正する補正処理部
を備える画像処理装置にある。
　この技術においては、偏光子が配された偏光撮像素子を有する偏光画像取得部に計測光照射部から強度が一様の計測光を照射して偏光画像取得部で取得された複数偏光方向の画素を含む偏光画像に基づき、該偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正ゲインが、感度ばらつきを補正する補正情報として、予め補正情報記憶部に記憶される。補正情報は、例えば偏光方向毎または偏光画像の画素毎に生成されている。また、補正情報には、偏光画像に生じたシェーディングを補正する情報が含められる。また、偏光画像はカラー画像であるとき、補正情報は、偏光画像の色成分毎に生成されて、補正情報には、偏光画像のホワイトバランスを補正する情報が含まれる。補正処理部では、偏光画像に対して、予め生成されて補正情報記憶部に記憶されている補正情報を用いて偏光方向の違いによって生じた感度ばらつきの補正が行われる。
　この技術の第２の側面は、
　偏光画像を取得する偏光画像取得部に強度が一様の計測光を照射する計測光照射部と、
　前記計測光照射部から計測光を照射して前記偏光画像取得部で取得された偏光画像に基づき、該偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正情報を生成する補正情報生成部とを備える情報生成装置にある。
　この技術において、計測光照射部は、偏光画像を取得する偏光画像取得部に強度が一様の計測光を照射する。例えば、計測光照射部は無偏光光を偏光画像取得部に照射する。または、計測光照射部は球状拡散板を介して計測光を偏光画像取得部に照射する。補正情報生成部は、計測光照射部から計測光を所定の撮像光学系を用いた偏光画像取得部に照射して、この偏光画像取得部で取得された偏光画像に基づき、この偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正情報を生成する。
　また、計測光照射部は板状拡散板を介して計測光を偏光画像取得部に照射して、補正情報生成部は、板状拡散板に対する偏光画像取得部の向きを移動させる。あるいは、計測光照射部は、板状拡散板を介して計測光を偏光画像取得部に照射して、補正情報生成部は、偏光画像取得部の焦点距離と光軸中心に基づいて、画素毎に補正情報を生成する。
　この技術の第３の側面は、
　偏光画像を取得する偏光画像取得部に計測光照射部から強度が一様の計測光を照射することと、
　前記計測光照射部から計測光を照射して前記偏光画像取得部で取得された偏光画像に基づき、該偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正情報を補正情報生成処理部で生成すること
を含む情報生成方法にある。
　この技術によれば、偏光画像に対して、予め生成されている補正情報を用いて偏光方向の違いによって生じた感度ばらつきを補正する補正処理が行われる。このため高画質の偏光画像を取得できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また付加的な効果があってもよい。
偏光画像の取得について説明するための図である。 輝度と偏光角との関係を例示した図である。 偏光度と天頂角の関係を例示した図である。 画像処理装置を用いた偏光画像システムの構成を例示した図である。 偏光画像取得部の構成を例示した図である。 偏光子およびカラーフィルタを例示した図である。 偏光子とカラーフィルタの組み合わせを例示した図である。 補正処理部の動作を例示したフローチャートである。 補正処理部の処理結果を例示した図である。 補正処理部の処理結果を例示した図である。 偏光画像取得部で取得される計測偏光画像の一部を例示した図である。 補正情報生成部の第１の実施の形態を説明するための図である。 第１の実施の形態の動作を示すフローチャートである。 補正情報生成部の第２の実施の形態を説明するための図である。 第２の実施の形態の動作を示すフローチャートである。 補正情報生成部の第３の実施の形態を説明するための図である。 第３の実施の形態の動作を示すフローチャートである。 偏光画像取得部で平面拡散板を撮像する場合を示した図である。 法線の算出を説明するための図である。 補正情報生成部の第４の実施の形態を説明するための図である。 第４の実施の形態の動作を示すフローチャートである。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部および車外情報検出部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．偏光画像の取得について
　２．偏光画像システムの構成　
　３．補正処理部の動作
　４．ばらつき補正情報の生成について
　４－１．補正情報生成部の第１の実施の形態
　４－２．補正情報生成部の第２の実施の形態
　４－３．補正情報生成部の第３の実施の形態
　４－４．補正情報生成部の第４の実施の形態
　５．他の構成および動作について
　６．応用例
　＜１．偏光画像の取得について＞
　図１は、偏光画像の取得について説明するための図である。例えば図１に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、撮像部ＣＭは偏光子ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光子ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、説明を容易とするため、例えば偏光方向を回転したとき、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光子の平面上としたとき、偏光子の偏光方向を回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υpolとする。偏光子の偏光方向は、ｚ軸方向を軸として１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、偏光方向を回転させたときに観測される輝度Ｉは式（１）のように表すことができる。なお、図２は、輝度と偏光角との関係を例示している。
Figure JPOXMLDOC01-appb-M000001
　式（１）では、偏光角υpolが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角φが変数となる。したがって、偏光方向が３方向以上の偏光画像の輝度を用いて、式（１）に示す偏光モデル式へのフィッティングを行うことにより、輝度と偏光角の関係を示す偏光モデル式に基づいて、所望の方位角φの輝度を推定できる。
　また、物体表面の法線は、極座標系を用いて方位角φと天頂角θで示すことができる。なお、天頂角θはｚ軸から法線に向かう角度、方位角φは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、最小輝度Ｉminと最大輝度Ｉmaxから、式（２）に基づき偏光度ρを算出できる。
Figure JPOXMLDOC01-appb-M000002
　偏光度と天頂角の関係は、例えば拡散反射の場合は図３の（ａ）に示す特性、鏡面反射の場合は図３の（ｂ）に示す特性を有することが知られており、例えば天頂角θが「θ＝０」である場合、偏光度ρは「ρ＝０」となる。すなわち、最小輝度Ｉmin＝最大輝度Ｉmaxとなり、方位角φに係らず輝度は一定となる。
　＜２．偏光画像システムの構成＞
　図４は、本技術の画像処理装置を用いた偏光画像システムの構成を例示している。偏光画像システム１０は、偏光画像取得部２０、補正情報記憶部３０、補正処理部４０を有している。また、偏光画像システム１０では、ばらつき補正情報を生成して補正情報記憶部３０に記憶させる補正情報生成部５０を用いることができる。
　偏光画像取得部２０は、複数偏光方向の偏光方向毎の画素を含む偏光画像を取得する。図５は、偏光画像取得部の構成を例示している。偏光画像取得部２０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサ２００と、偏光子２０１または偏光子２０１とカラーフィルタ２０２を用いて構成される。イメージセンサ２００は、偏光子２０１または偏光子２０１とカラーフィルタ２０２を介して入射された被写体光の光電変換を行い、被写体光に応じた画像信号、すなわち偏光画像の画像信号を生成する。偏光画像取得部２０は、偏光画像の画像信号を補正処理部４０へ出力する。また、補正情報生成部５０を用いる場合、偏光画像取得部２０は、偏光画像の画像信号を補正情報生成部５０へ出力する。
　図６は偏光子およびカラーフィルタを例示している。図６の（ａ），（ｂ）は偏光子２０１の偏光パターンを例示している。偏光子２０１は、被写体光から直線偏光光を取り出せればよく、例えばワイヤーグリッドやフォトニック液晶等を用いる。図６の（ａ）は、１画素を偏光成分単位として、例えば式（１）に示す偏光モデル式へのフィッティングを行うことができるように複数偏光方向（例えば０°，４５°，９０°，１３５°の４方向）の画素を設けた場合を例示している。また、図６の（ｂ）は、例えばカラーフィルタの色成分配列単位が２×２画素単位であり、２×２画素単位を偏光単位として、上述のように複数偏光方向（例えば０°，４５°，９０°，１３５°の４方向）の画素を設けた場合を例示している。
　図６の（ｃ）～（ｇ）はカラーフィルタを例示している。カラーフィルタは、色成分例えば赤と青と緑（ＲＧＢ）の色成分からなるカラーデモザイクフィルタである。カラーフィルタは、図６の（ｃ）に示すように１画素を１つの色成分単位として、ＲＧＢ色成分をＢａｙｅｒ配列とした場合に限らず、図６の（ｄ）に示すように２×２画素を１つの色成分単位として繰り返した構成であってもよい。また、図６の（ｅ）に示すようにＢａｙｅｒ配列に白色画素を混載して繰り返した構成であってもよく、図６の（ｆ）に示すように２×２画素を１つの色成分単位とした２×２色成分単位の配列に白色画素を混載して繰り返した構成であってもよい。さらに、夜間等でも高感度な撮像を可能するため、図６の（ｇ）に示すように例えば赤外（ＩＲ）画素を混在して繰り返した構成であってもよい。
　カラーフィルタと偏光子は、色成分毎に４つの偏光成分が得られるように組み合わせて用いる。図７は、偏光子とカラーフィルタの組み合わせを例示している。
　図７の（ａ）は、カラーフィルタが図６の（ｄ）の構成であり、図６の（ａ）に示す構成の偏光子を用いた場合を示している。この組み合わせは、色成分単位毎に偏光方向毎の画素が含まれて、色成分毎に４つの偏光成分が得られるようになる。
　図７の（ｂ）は、カラーフィルタが図６の（ｄ）の構成であり、図６の（ｂ）に示す構成のカラーフィルタを用いた場合を示している。この組み合わせでは、カラーフィルタの色成分単位に対して偏光子の偏光成分単位を左右および上下方向に１画素分だけ位相をずらして用いることで、色成分単位毎に偏光方向毎の画素が含まれて、色成分毎に４つの偏光成分が得られるようになる。
　偏光子の偏光成分単位が２×２画素である場合、偏光成分単位毎に得られた偏光成分における隣接する異なる偏光成分単位の領域からの偏光成分の漏れ込み分の割合は１×１画素に比べて少なくなる。また、偏光子がワイヤーグリッドである場合、格子の方向（ワイヤー方向）に対して電場成分が垂直方向である偏光光が透過されて、透過率はワイヤーが長いほど高くなる。このため、偏光成分単位が２×２画素である場合は１×１画素に比べて透過率が高くなる。したがって、偏光画像取得部は、図７の（ｂ）に示す組み合わせを用いることで、図７の（ａ）に示す組み合わせを用いた場合に比べて消光比を良くすることができる。また、偏光成分単位が２×２画素である場合、１×１画素に比べて偏光方向の画素の配置の偏りが大きい。したがって、偏光画像取得部は、図７の（ａ）に示す組み合わせを用いることで、図７の（ｂ）に示す組み合わせを用いた場合に比べて法線の精度を高くできる。
　図７の（ｃ）は、カラーフィルタが図６の（ｃ）の構成であり、図６の（ｂ）に示す構成の偏光パターンを用いた場合を示している。この組み合わせによれば、偏光成分単位毎に色成分毎の画素が含まれて、色成分毎に４つの偏光成分が得られるようになる。さらに、色成分単位が１×１画素であることから、２×２画素に比べて色成分画素の配置の偏りが小さい。したがって、偏光画像取得部は、図７の（ｃ）に示す組み合わせを用いることで、例えば図７の（ａ）に示す組み合わせを用いた場合に比べて画質を良くすることができる。
　図７の（ｄ）は、カラーフィルタが図６の（ｆ）の構成であり、図６（ｂ）に示す構成の偏光パターンを用いた場合を示している。この組み合わせでは、カラーフィルタの色成分単位に対して偏光パターンの偏光成分単位を左右および上下方向に１画素分だけ位相をずらして用いることで、色成分単位毎に偏光方向毎の画素が含まれて、色成分毎に４つの偏光成分が得られるようになる。さらに、色成分単位に白色画素が含まれていることから、白色画素を含まないカラーフィルタを用いた場合例えば図７の（ｂ）に示す組み合わせを用いた場合に比べて感度を良くすることができる。
　図４の補正情報記憶部３０は、予め補正情報生成部５０によって算出されたばらつき補正情報を記憶している。ばらつき補正情報は、例えば後述するように、偏光画像を取得する偏光画像取得部２０に補正情報生成部の計測光照射部から強度が一様の計測光を照射して偏光画像取得部２０で取得された偏光画像に基づき、偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正ゲインである。また、偏光画像がカラー画像である場合は、色成分毎のばらつき補正情報が記憶されている。
　補正処理部４０は、補正情報記憶部３０に記憶されているばらつき補正情報を用いて偏光画像補正情報を設定して、設定した偏光画像補正情報を用いて偏光画像取得部２０で取得された偏光画像の補正処理を行う。
　補正情報生成部５０は偏光画像取得部２０の感度ばらつきや感度ばらつきとシェーディングの補正に用いるばらつき補正情報を生成する。補正情報生成部５０は、偏光画像における偏光方向毎にばらつき補正情報を生成する処理、または偏光画像における画素毎にばらつき補正情報を生成する処理を行う。補正情報生成部５０は、生成したばらつき補正情報を補正情報記憶部３０に記憶させる。
　＜３．補正処理部の動作＞
　次に、補正処理部４０の動作について説明する。補正処理部４０では、偏光画像補正情報に基づいて各画素のゲイン調整を行い、偏光画像取得部２０で取得した偏光画像の補正処理を行う。式（３）は、偏光画像の補正処理で用いる補正式を示している。式（３）において、画素値Ｉijは、偏光画像取得部２０で取得された偏光画像における画素位置（ｉ，ｊ）の画素値である。画素値ＢＫは、黒レベルを示している。黒レベルの画素値ＢＫは、画面全体で同じ値を用いてもよく、あらかじめ画素毎に計測した画素値ＢＫを用いてもよい。偏光画像補正情報ＧＡijは、画素位置（ｉ，ｊ）の画素に対する補正ゲインであり、例えば、式（４）に示すように、予め感度ばらつきの計測結果に基づいて生成されて補正情報記憶部３０に記憶されているばらつき補正情報ＧＶijとする。
　　Ｃij＝（Ｉij－ＢＫ）×ＧＡij　　 ・・・（３）
　　ＧＡij＝ＧＶij　　　　　　　　　・・・（４）
　補正処理部４０は、偏光画像における画素位置（ｉ，ｊ）の画素に対して、偏光画像補正情報ＧＡijと画素値Ｉijを用いて式（３）の演算を行い、感度ばらつきが補正された画素値Ｃijを算出する。
　また、偏光画像補正情報は、感度ばらつき補正を行うための補正情報に限らず、シェーディング補正やホワイトバランス補正を行うための補正情報を含めてもよい。
　シェーディング補正のための情報（以下「シェーディング補正情報」という）ＧＳは、偏光画像取得部２０で用いられる撮像光学系の個体毎に計測を行い、計測結果に基づいて生成したシェーディング補正情報を用いてもよく、レンズ設計データなどから算出したシェーディング補正情報を用いてもよい。なお、シェーディング補正情報ＧＳは補正情報記憶部３０に記憶させる。
　補正処理部４０は、感度ばらつき補正とシェーディング補正を行う場合、偏光画像における画素位置（ｉ，ｊ）の画素に対するばらつき補正情報ＧＶijとシェーディング補正情報ＧＳijを補正情報記憶部３０から取得して、式（５）に基づき偏光画像補正情報ＧＡijを設定する。さらに、補正処理部４０は、偏光画像における画素位置（ｉ，ｊ）の画素に対して、画素値Ｉijと設定された偏光画像補正情報ＧＡijを用いて式（３）の演算を行い、感度ばらつき補正とシェーディング補正が行われた画素値Ｃijを算出する。
　　ＧＡij＝ＧＶij　×　ＧＳij　　・・・（５）
　なお、補正情報生成部５０において、後述するように画素毎にばらつき補正情報の生成を行うことで、感度ばらつき補正だけでなくシェーディング補正を含めたばらつき補正情報を生成できる。この場合、補正処理部４０は、ばらつき補正情報ＧＶijを偏光画像補正情報ＧＡijとして設定することで、感度ばらつき補正とシェーディング補正を行うことができる。
　ホワイトバランス補正のための情報（以下「ホワイトバランス補正情報」という）ＧＷは、例えばホワイトバランス検出機構を設けてホワイトバランス補正情報を生成してもよく、ユーザー等の照明設定に応じたホワイトバランス補正情報を用いてもよい。また、ホワイトバランス補正情報は、偏光画像に基づいて生成してもよい。例えば、４つの偏光方向の画素の輝度値を用いて、図２に示すように、偏光角に対する輝度変化を示す偏光モデル式（例えばｃｏｓ関数）にフィッティングさせた場合、フィッティング後の偏光モデル式における振幅変化分は鏡面反射成分に相当しており、各色成分で輝度が最も高い画素位置を検出すれば、照明の画素位置を検出できる。さらに、検出した照明の画素位置を白色とする補正情報を生成してホワイトバランス補正情報とする。
　補正処理部４０は、感度ばらつき補正とホワイトバランス補正を行う場合、偏光画像における画素位置（ｉ，ｊ）の画素に対するばらつき補正情報ＧＶijとホワイトバランス補正情報ＧＷijを用いて、式（６）に基づき偏光画像補正情報ＧＡijを設定する。さらに、補正処理部４０は、偏光画像における画素位置（ｉ，ｊ）の画素に対して、画素値Ｉijと設定された偏光画像補正情報ＧＡijを用いて式（３）の演算を行い、感度ばらつき補正とホワイトバランス補正が行われた画素値Ｃijを算出する。
　　ＧＡij＝ＧＶij　×　ＧＷij　　・・・（６）
　さらに。補正処理部４０は、感度ばらつき補正とシェーディング補正とホワイトバランス補正を行う場合、偏光画像における画素位置（ｉ，ｊ）の画素に対するばらつき補正情報ＧＶijとシェーディング補正情報ＧＳijとホワイトバランス補正情報ＧＷijを用いて、式（７）に基づき偏光画像補正情報ＧＡijを算出する。さらに、補正処理部４０は、偏光画像における画素位置（ｉ，ｊ）の画素に対して、画素値Ｉijと設定された偏光画像補正情報ＧＡijを用いて式（３）の演算を行い、感度ばらつき補正とシェーディング補正とホワイトバランス補正が行われた画素値Ｃijを算出する。
　　ＧＡij＝ＧＶij　×　ＧＳij　×　ＧＷij　　・・・（７）
　図８は、補正処理部の動作を例示したフローチャートである。ステップＳＴ１で補正処理部は偏光画像を取得する。補正処理部４０は、偏光画像取得部２０から偏光画像を取得してステップＳＴ５に進む。また、ステップＳＴ２で補正処理部はばらつき補正情報を取得する。補正処理部４０は、補正情報記憶部３０に偏光方向毎のばらつき補正情報が記憶されている場合、補正対象画素の偏光方向に対応するばらつき補正情報を取得する。補正処理部４０は、補正情報記憶部３０に画素毎のばらつき補正情報が記憶されている場合、補正対象画素の画素位置に対応するばらつき補正情報を取得する。補正処理部４０は、補正対象画素に対応するばらつき補正情報を取得してステップＳＴ３に進む。
　ステップＳＴ３で、補正処理部４０はシェーディング補正情報を取得する。補正処理部４０は補正情報記憶部３０から補正対象画素に対応するシェーディング補正情報を取得してステップＳＴ４に進む。
　ステップＳＴ４で補正処理部はホワイトバランス補正情報を取得する。補正処理部４０は、ホワイトバランス検出機構で生成されたホワイトバランス補正情報、またはユーザー等の照明設定に応じたホワイトバランス補正情報、あるいは偏光画像に基づいて生成したホワイトバランス補正情報を取得してステップＳＴ５に進む。
　ステップＳＴ５で補正処理部は補正演算処理を行う。補正処理部４０はステップＳＴ２乃至ステップＳＴ４の処理で取得した補正情報を用いて偏光画像補正情報ＧＡijを設定する。さらに、補正処理部４０は設定した偏光画像補正情報ＧＡijを用いて式（３）の演算を行い、感度ばらつき補正等が行われた偏光画像を生成する。
　なお、ステップＳＴ２からステップＳＴ４の処理は、いずれの補正情報を優先して取得してもよい。また、ステップＳＴ３またはステップＳＴ４の処理は、必要に応じて行うようにしてもよい。例えば、ばらつき補正情報にシェーディング補正を行える情報が含まれている場合、ステップＳＴ３の処理を省くようにする。また、偏光画像がカラー画像の場合にステップＳＴ４の処理を行うようにする。また、補正処理部４０は、図８の処理を偏光画像の画素毎に繰り返してもよい。
　図９，図１０は、補正処理部の処理結果を例示している。図９の（ａ）は、例えば無偏光光を偏光画像取得部２０に照射して取得された偏光画像の輝度ヒストグラムを偏光方向毎に示している。偏光方向毎の輝度ヒストグラムは、偏光子を形成する難しさ等によって生じた感度のばらつきのために輝度平均値が異なる場合がある。
　ここで、偏光画像補正情報が、例えば後述する補正情報生成部の第１の実施の形態で示すように偏光方向毎に算出されている場合、輝度平均値が最も高い偏光方向に対して、他の偏光方向の輝度平均値が等しくなるように画素値が補正される。したがって、処理後の偏光画像における偏光方向の輝度ヒストグラムは、図９の（ｂ）に示すように、偏光方向毎の輝度平均値が一致する。
　また、偏光画像補正情報が、例えば後述する補正情報生成部の実施の形態で示すように全画素の平均値に基づいて画素毎に算出されている場合、各画素の画素値が全画素の平均値となるように画素値が補正される。したがって、処理後の偏光画像における偏光方向の輝度ヒストグラムは、図９の（ｃ）に示すように、偏光方向に係らず図９の（ａ）や図９の（ｂ）に比べてばらつきが少なく最頻値が輝度平均値を示すヒストグラムとなる。
　図１０の（ａ）は、輝度が均一である被写体を撮像したときに、感度ばらつきと画面左上にシェーディングが生じているときの偏光画像を例示している。補正処理部４０は、例えば上述の式（５）に基づき偏光画像補正情報ＧＡijを算出して、算出した偏光画像補正情報ＧＡijを用いて補正処理を行い、感度ばらつきとシェーディングを補正する。したがって、補正処理部４０から出力される補正処理後の偏光画像は、図１０の（ｂ）に示すように感度ばらつきとシェーディングが補正された高画質の偏光画像となる。
　以上のように、本技術によれば、偏光画像取得部２０で取得された偏光画像における感度ばらつき等を補正できるので、高画質の偏光画像を得られるようになる。また、高画質の偏光画像が得られるようになるので、例えば偏光画像を用いた処理において感度ばらつきによる処理性能の劣化を防止できる。
　＜４．ばらつき補正情報の生成について＞
　次に、ばらつき補正情報の生成について説明する。補正情報生成部５０は計測光照射部と補正情報生成処理部を有している。計測光照射部は、偏光画像を取得する偏光画像取得部２０に強度が一様の計測光を照射する。補正情報生成処理部は、計測光照射部から計測光を照射して偏光画像取得部で取得された偏光画像に基づき、この偏光画像に生じた偏光方向の違いによる感度ばらつきを補正するばらつき補正情報を生成する。さらに、補正情報生成処理部は、生成したばらつき補正情報を補正情報記憶部３０に記憶させる。なお、ばらつき補正情報の生成では、ノイズによる悪影響を生じないように十分に明るい計測光を用いて露光時間を長くして計測偏光画像を取得することが望ましい。また、複数枚の偏光画像を取得して平均化処理を行い、平均化処理後の偏光画像を用いることで、計測偏光画像におけるノイズを低減させてもよい。このように、ノイズの少ない計測偏光画像を用いることで、偏光画像取得部２０に応じたばらつき補正情報を正しく生成できる。
　図１１は、偏光画像取得部で取得される計測偏光画像の一部を例示しており、図１１の（ａ）は計測偏光画像が白黒画像である場合、図１１の（ｂ）は計測偏光画像がカラー画像である場合を示している。また、「Ｃ１」は、計測偏光画像における第１偏光方向である当該画素の画素値を示している。「Ｃ２」は計測偏光画像における第２偏光方向の当該画素の画素値、「Ｃ３」は計測偏光画像における第３偏光方向の当該画素の画素値、「Ｃ４」は計測偏光画像における第４偏光方向の当該画素の画素値を示している。「Ｒ１」は計測偏光画像における第１偏光方向の赤色画素である当該画素の画素値を示している。「Ｒ２」は計測偏光画像における第２偏光方向の赤色画素である当該画素の画素値、「Ｒ３」は計測偏光画像における第３偏光方向の赤色画素である当該画素の画素値、「Ｒ４」は計測偏光画像における第４偏光方向の赤色画素である当該画素の画素値を示している。同様に、「Ｇ１」～「Ｇ４」は各偏光方向の緑色画素である当該画素の画素値、「Ｂ１」～「Ｂ４」は各偏光方向の青色画素である当該画素の画素値を示している。なお、「Ｃ１」～「Ｃ４」「Ｒ１」～「Ｒ４」「Ｇ１」～「Ｇ４」「Ｂ１」～「Ｂ４」は、黒レベルの画素値ＢＫを除いた画素値である。また、第１偏光方向～第４偏光方向は、偏光モデル式へのフィッティングを行うことができる偏光方向に設定されている。また、後述する第３の実施の形態では、９０°の角度差を有するように偏光方向を設定する。
　＜４－１．補正情報生成部の第１の実施の形態＞
　図１２は、補正情報生成部の第１の実施の形態を説明するための図である。補正情報生成部５０-1の計測光照射部５１-1は、計測光として平行無偏光光を出射する光源を用いて構成されている。補正情報生成処理部５２-1は、計測光照射部５１-1から偏光画像取得部２０に計測光を照射して生成された偏光画像からばらつき補正情報を生成する。
　図１３は、第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１１で補正情報生成部は平行無偏光光を用いて計測偏光画像を取得する。補正情報生成部５０-1は、計測光照射部５１-1から平行無偏光光を偏光画像取得部２０に照射して、偏光画像取得部２０で生成された計測偏光画像を補正情報生成処理部５２-1で取得してステップＳＴ１２に進む。
　ステップＳＴ１２で補正情報生成部はばらつき補正情報を生成する。補正情報生成部５０-1の補正情報生成処理部５２-1は、取得した計測偏光画像に基づいて、後述するように偏光方向毎または画素毎に補正値を示したばらつき補正情報を生成してステップＳＴ１３に進む。
　ステップＳＴ１３で補正情報生成部はばらつき補正情報を記憶させる。補正情報生成部５０-1の補正情報生成処理部５２-1は生成したばらつき補正情報を補正情報記憶部３０に記憶させる。
　次に、ばらつき補正情報の生成について説明する。照明光が平行無偏光光である場合の理想計測偏光画像は、偏光方向や画素位置に係らず画素値が等しくなる。しかし、偏光子の偏光方向に応じて感度ばらつきを生じると、画素の偏光方向に応じた画素値のばらつきを生じる。したがって、補正情報生成部５０-1の補正情報生成処理部５２-1は、計測偏光画像における画素値のばらつきを補正するための偏光方向毎または画素毎の補正値を示したばらつき補正情報を生成する。
　計測偏光画像が白黒画像である場合、補正情報生成処理部５２-1は、図１１の（ａ）に示す計測偏光画像の全領域または中央領域における偏光方向毎の画素平均値（Ｃ１mean，Ｃ２mean，Ｃ３mean，Ｃ４mean）に基づき、式（８）または式（９）の演算を行い基準画素値Ｃbaseを算出する。
　　Ｃbase＝（Ｃ１mean＋Ｃ２mean＋Ｃ３mean＋Ｃ４mean）／４　　　・・・（８）
　　Ｃbase＝Ｍａｘ（Ｃ１mean，Ｃ２mean，Ｃ３mean，Ｃ４mean）　　・・・（９）
　次に、補正情報生成処理部５２-1は、式（１０）～（１３）の演算を行い、偏光方向毎のばらつき補正情報を生成する。なお、「ＧＶd1」は第１偏光方向に対する補正ゲイン、「ＧＶd2」～「ＧＶd4」は第２～第４偏光方向に対する補正ゲインを示している。また、式（８）を用いて基準画素値Ｃbaseを算出すれば、式（９）を用いる比べてノイズ等の影響を受けにくい基準画素値Ｃbaseを算出できる。また、式（９）を用いて基準画素値Ｃbaseを算出すれば、補正ゲインは「１」以上の値となるので、ばらつき補正情報を用いた補正処理によって画素値が低下することや、飽和している画素値が非飽和状態となってしまうことがない。
　　ＧＶd1＝Ｃbase／Ｃ１mean　　　・・・（１０）
　　ＧＶd2＝Ｃbase／Ｃ２mean　　　・・・（１１）
　　ＧＶd3＝Ｃbase／Ｃ３mean　　　・・・（１２）
　　ＧＶd4＝Ｃbase／Ｃ４mean　　　・・・（１３）
　計測偏光画像がカラー画像である場合、補正情報生成処理部５２-1は、図１１の（ｂ）に示す計測偏光画像に基づき、色毎に同様な処理を行う。例えば赤色画素についてのばらつき補正情報を生成する場合、補正情報生成処理部５２-1は、計測偏光画像の全領域または中央領域における赤色画素の偏光方向毎の画素平均値（Ｒ１mean，Ｒ２mean，Ｒ３mean，Ｒ４mean）に基づき、式（１４）または式（１５）に基づき基準画素値Ｃbaseを算出する。
　Ｒbase＝（Ｒ１mean＋Ｒ２mean＋Ｒ３mean＋Ｒ４mean）／４　　　・・・（１４）
　Ｒbase＝Ｍａｘ（Ｒ１mean，Ｒ２mean，Ｒ３mean，Ｒ４mean）　　・・・（１５）
　次に、補正情報生成処理部５２-1は、式（１６）～（１９）の演算を行い、赤色画素における偏光方向毎にばらつき補正情報を生成する。なお、「ＧＶd1R」は赤色画素の第１偏光方向に対する補正ゲイン、「ＧＶd2R」～「ＧＶd4R」は赤色画素の第２～第４偏光方向に対する補正ゲインを示している。
　　ＧＶd1R＝Ｒbase／Ｒ１mean　　　・・・（１６）
　　ＧＶd2R＝Ｒbase／Ｒ２mean　　　・・・（１７）
　　ＧＶd3R＝Ｒbase／Ｒ３mean　　　・・・（１８）
　　ＧＶd4R＝Ｒbase／Ｒ４mean　　　・・・（１９）
　また、補正情報生成処理部５２-1は、緑色画素および青色画素についても赤色画素の場合と同様な処理を行うことで、緑色画素における偏光方向毎にばらつき補正情報と青色画素における偏光方向毎にばらつき補正情報を生成する。
　また、補正情報生成処理部５２-1は、画素毎にばらつき補正情報を生成する場合、式（２０）の演算を画素毎に行う。
　　ＧＶij＝Ｃbase／Ｃij　　　・・・（２０）
　計測偏光画像がカラー画像である場合、補正情報生成処理部５２-1は、図１１の（ｂ）に示す計測偏光画像に基づき、色毎に同様な処理を行う。例えば赤色画素についてのばらつき補正情報を画素毎に生成する場合、式（２１）の演算を画素毎に行う。
　　ＧＶRij＝Ｒbase／Ｒij　　　・・・（２１）
　また、補正情報生成処理部５２-1は、緑色画素および青色画素についても赤色画素の場合と同様な処理を行うことで、緑色画素における画素毎にばらつき補正情報ＧＶGijと青色画素における偏光方向毎にばらつき補正情報ＧＶBijを生成する。補正情報生成処理部５２-1は、生成したばらつき補正情報を補正情報記憶部３０に記憶させる。
　＜４－２．補正情報生成部の第２の実施の形態＞
　図１４は、補正情報生成部の第２の実施の形態を説明するための図である。補正情報生成部５０-2の計測光照射部５１-2は、球状拡散板ＤＢａと光源ＬＴを用いて構成されている。計測光照射部５１-2の球状拡散板ＤＢａは、球の中心が偏光画像取得部２０の主点となるように配置されて、球状拡散板ＤＢａを介して偏光画像取得部２０に入射する計測光は、球状拡散板ＤＢａのいずれの位置でも天頂角θが「θ＝０」となるように構成されている。補正情報生成処理部５２-2は、計測光照射部５１-2から偏光画像取得部２０に計測光を照射して生成された偏光画像に基づいてばらつき補正情報を生成する。
　図１５は、第２の実施の形態の動作を示すフローチャートである。ステップＳＴ２１で補正情報生成部は球状拡散板を用いて計測偏光画像を取得する。補正情報生成部５０-2における計測光照射部５１-2は、球状拡散板ＤＢａを介して補正情報生成部５０-2に計測光を照射する。補正情報生成部５０-2の補正情報生成処理部５２-2は、偏光画像取得部２０で生成された計測偏光画像を取得してステップＳＴ２２に進む。
　ステップＳＴ２２で補正情報生成部はばらつき補正情報を生成する。天頂角θが「θ＝０」となるように照明が行われる場合、上述したように、最小輝度Ｉmin＝最大輝度Ｉmaxとなる。すなわち、感度ばらつきを生じていない場合は、偏光方向に係らず画素値が等しくなる。したがって、補正情報生成部５０-2の補正情報生成処理部５２-2は、取得した計測偏光画像に基づいて、後述するように偏光方向毎または画素毎に補正値を示したばらつき補正情報を生成してステップＳＴ２３に進む。
　ステップＳＴ２３で補正情報生成部はばらつき補正情報を記憶させる。補正情報生成部５０-2の補正情報生成処理部５２-2は生成したばらつき補正情報を補正情報記憶部３０に記憶させる。
　次に、ばらつき補正情報の生成について説明する。天頂角θが「θ＝０」となるように照明が行われる場合、偏光画像取得部２０で取得された理想計測偏光画像は、偏光方向や画素位置に係らず画素値が等しくなる。しかし、偏光子の偏光方向に応じて感度ばらつきを生じると、画素の偏光方向に応じた画素値のばらつきを生じる。したがって、補正情報生成部５０-2の補正情報生成処理部５２-2は、計測偏光画像における画素値のばらつきを補正するための偏光方向毎または画素毎の補正値を示したばらつき補正情報を生成する。
　計測偏光画像が白黒画像である場合、補正情報生成処理部５２-2は、図１１の（ａ）に示す計測偏光画像に基づき、第１の実施の形態と同様に式（８）乃至式（１３）の演算を行うことで、偏光方向毎にばらつき補正情報を生成する。また、計測偏光画像がカラー画像である場合、補正情報生成処理部５２-2は、図１１の（ｂ）に示す計測偏光画像に基づき、色毎に同様な処理を行う。例えば赤色画素についてのばらつき補正情報を生成する場合、補正情報生成処理部５２-2は、第１の実施の形態と同様に式（１４）乃至式（１９）の演算を行うことで、赤色画素の偏光方向毎のばらつき補正情報を生成する。また、補正情報生成処理部５２-2は、緑色画素および青色画素についても赤色画素の場合と同様な処理を行うことで、緑色画素における偏光方向毎にばらつき補正情報と青色画素における偏光方向毎にばらつき補正情報を生成する。
　また、補正情報生成処理部５２-2は、画素毎にばらつき補正情報を生成する場合、計測偏光画像が白黒画像であるときは式（２０）の演算を画素毎に行い、計測偏光画像がカラー画像であるときは式（２１）の演算を画素毎に行う。さらに、補正情報生成処理部５２-2は、緑色画素および青色画素についても赤色画素の場合と同様な処理を行うことで、緑色画素における画素毎にばらつき補正情報と青色画素における偏光方向毎にばらつき補正情報を生成する。
　＜４－３．補正情報生成部の第３の実施の形態＞
　図１６は、補正情報生成部の第３の実施の形態を説明するための図である。補正情報生成部５０-3の計測光照射部５１-3は、平面拡散板ＤＢｂと光源ＬＴを用いて構成されている。補正情報生成処理部５２-3は、計測光照射部５１-3から偏光画像取得部２０に平面拡散板を介して計測光を照射して生成された偏光画像を用いて、偏光画像取得部２０の焦点距離情報と光軸中心情報に基づいて補正情報を生成する。
　図１７は、第３の実施の形態の動作を示すフローチャートである。ステップＳＴ３１で補正情報生成部は平面拡散板を用いて計測偏光画像を取得する。補正情報生成部５０-3の補正情報生成処理部５２-3は、平面拡散板ＤＢｂを介して補正情報生成部５０-3に計測光を照射する。補正情報生成部５０-3の補正情報生成処理部５２-3は、偏光画像取得部２０で生成された計測偏光画像を取得してステップＳＴ３３に進む。
　ステップＳＴ３２で補正情報生成部は光軸中心情報と焦点距離情報を取得する。補正情報生成部５０-3の補正情報生成処理部５２-3は、光軸中心の位置を示す光軸中心情報と平面拡散板を撮像したときの焦点距離を示す焦点距離情報を取得してステップＳＴ３３に進む。なお、光軸中心情報と焦点距離情報は、偏光画像取得部２０で用いている撮像光学系の特性からあらかじめ取得されている情報を補正情報生成処理部５２-3に記憶させてもよく、ユーザーが入力してもよい。また、キャリブレーションによって光軸中心情報と焦点距離情報を取得してもよい。なお、ステップＳＴ３２の処理は、画素毎に補正情報を生成する場合にのみ行うようにしてもよい。
　ステップＳＴ３３で補正情報生成部は、ばらつき補正情報を生成する。補正情報生成部５０-2の補正情報生成処理部５２-2は、取得した計測偏光画像に基づいて、後述するように偏光方向毎または画素毎に補正値を示したばらつき補正情報を生成してステップＳＴ３４に進む。
　ステップＳＴ３４で補正情報生成部はばらつき補正情報を記憶させる。補正情報生成部５０-3の補正情報生成処理部５２-3は生成したばらつき補正情報を補正情報記憶部３０に記憶させる。
　次に、ばらつき補正情報の生成について説明する。計測偏光画像において、光軸中心の近傍領域では、天頂角θが「θ≒０」となり、光軸から離れた画角端では天頂角θが大きくなる。また、天頂角θが「θ≒０」である場合、最小輝度Ｉminと最大輝度Ｉmaxは略等しいと見なすことができる。すなわち、感度ばらつきを生じていない場合は、偏光方向に係らず画素値が略等しくなる。したがって、補正情報生成部５０-3の補正情報生成処理部５２-3は、計測画像における光軸中心の近傍領域の画像に基づいて、偏光方向毎に補正値を示したばらつき補正情報を生成する。
　計測偏光画像が白黒画像である場合、補正情報生成処理部５２-3は、図１１の（ａ）に示す計測偏光画像に基づき、第１の実施の形態と同様に式（８）乃至式（１３）の演算を行うことで、偏光方向毎にばらつき補正情報を生成する。また、計測偏光画像がカラー画像である場合、補正情報生成処理部５２-3は、図１１の（ｂ）に示す計測偏光画像に基づき、色毎に同様な処理を行う。例えば赤色画素についてのばらつき補正情報を生成する場合、補正情報生成処理部５２-3は、第１の実施の形態と同様に式（１４）乃至式（１９）の演算を行うことで、赤色画素の偏光方向毎のばらつき補正情報を生成する。また、補正情報生成処理部５２-3は、緑色画素および青色画素についても赤色画素の場合と同様な処理を行うことで、緑色画素における偏光方向毎にばらつき補正情報と青色画素における偏光方向毎にばらつき補正情報を生成する。
　次に、画素毎にばらつき補正情報を生成する場合について説明する。図１８は、偏光画像取得部で平面拡散板を撮像する場合を示している。計測偏光画像において、偏光画像取得部２０の光軸中心から画素位置が離れると法線の傾き（天頂角θ）が大きくなる。図１８の（ａ）は、偏光画像取得部２０における撮像光学系の中心である主点と平面拡散板ＤＢｂの関係を、偏光画像取得部２０における撮像光学系の光軸方向に対して直交する方向からの視点で示している。また、図１８の（ｂ）は、光軸方向の視点で示している。なお、図１８の（ｃ）は、計測偏光画像における各画素の視点方向を平行としたときの法線方向を示している。
　このように、計測偏光画像における画素に応じて法線の傾きが変化して、光軸中心から画素位置が外側に離れるに伴い法線の傾きが大きくなる。すなわち、天頂角θは、画素位置が光軸中心から外側に離れるに伴い、図１８の（ｄ）に示すように、最小輝度Ｉminと最大輝度Ｉmaxの差が大きくなる。
　したがって、補正情報生成処理部５２-3は、光軸中心位置と焦点距離および補正対象画素位置から、その補正対象画素位置で観測されるべき法線を算出して、法線を偏光モデル式に適用する。さらに、光軸中心近傍の画素値から基準値（Ｉmax＋Ｉmin）／２を設定して偏光モデル式に当てはめることで、理想輝度値を算出して補正対象画素位置に対応するばらつき補正情報を生成する。
　図１９は法線の算出を説明するための図である。図１９の（ａ）は、偏光画像取得部２０と平面拡散板ＤＢｂの配置、図１９の（ｂ）は方位角φ、図１９の（ｃ）は天頂角θを示している。また、図１９において、光軸中心ＬＣを座標（Ｃｘ，Ｃｙ）、補正対象画素ＨＰを座標（Ｈｘ，Ｈｙ）とする。焦点距離ｆm（単位は「ｍｍ」）は、式（２２）に基づき画素単位の焦点距離ｆに変換できる。なお、式（２２）において「ｐｓ」は１画素の画素サイズ（単位は「ｍｍ／ピクセル」）を示している。
　ｆ＝ｆm／ｐｓ　・・・（２２）
　補正対象画素ＨＰの方位角φは、式（２３）に基づき算出できる。また、補正対象画素ＨＰの天頂角θは式（２４）に基づき算出できる。
Figure JPOXMLDOC01-appb-M000003
　また、平面拡散板の裏側から照明を行うことで計測光を偏光画像取得部２０に照射する場合、原理的には鏡面反射が発生しない拡散反射光と見なすことができる。補正情報生成処理部５２-3は、計測光を照射して偏光画像取得部２０で取得された偏光画像の画素値を用いて式（１）に示す偏光モデル式へのフィッティングを行う。また、式（１）は式（２５）として示すことができ、式（２５）における偏光度ρは、式（２）に基づき算出できる。
Figure JPOXMLDOC01-appb-M000004
　また、式（２４）に基づき天頂角θが算出されていることから、式（２６）に基づき偏光度ρを算出する。なお、式（２６）は、拡散反射光における偏光度を示す式として知られており、屈折率ｎは使用する平面拡散板の屈折率とする。
Figure JPOXMLDOC01-appb-M000005
　以上の演算処理を行うと、偏光モデル式において、補正対象画素ＨＰの偏光方向を示す偏光角υpol、方位角φ、偏光度ρが既知となる。したがって、（（Ｉmax＋Ｉmin）／２）を推定して、補正対象画素ＨＰの理想輝度Ｉpolを算出できるようにする。
　（（Ｉmax＋Ｉmin）／２）の推定では、偏光方向が９０度異なる画素値の平均値を推定値とする。式（２７）は、偏光方向が９０度異なる２つの画素値Ｉpol，Ｉpol+90の加算式を示している。画素値Ｉpolと画素値Ｉpol+90の加算結果は、（Ｉmax＋Ｉmin）となることが式（２７）に基づき明らかである。
Figure JPOXMLDOC01-appb-M000006
　したがって、補正情報生成処理部５２-3は、偏光方向が９０度異なる画素の画素平均値を（（Ｉmax＋Ｉmin）／２）の推定値として用いることができる。また、（（Ｉmax＋Ｉmin）／２）の推定では、天頂角θによる影響が無くなるように、光軸中心の近傍領域における偏光方向が９０度異なる画素を用いる。
　補正情報生成処理部５２-3は、具体的には光軸中心の近傍領域から偏光方向毎に等しい数（ｉ，ｊ方向のそれぞれｍ個）の画素値を用いて式（２８）の演算を行い、算出した平均値を推定値（（Ｉmax＋Ｉmin）／２）baseとする。
Figure JPOXMLDOC01-appb-M000007
 　
　さらに、補正情報生成処理部５２-3は、補正対象画素ＨＰの偏光方向を示す偏光角υpol、補正対象画素ＨＰの方位角φ、偏光度ρおよび推定した（（Ｉmax＋Ｉmin）／２）baseを用いて式（２９）の演算を行うことで、理想輝度値ＩＤを算出する。
Figure JPOXMLDOC01-appb-M000008
　また、補正情報生成処理部５２-3は、画素位置（ｉ，ｊ）である補正対象画素ＨＰの画素値Ｃijと理想輝度値ＩＤijに基づき、式（３０）を用いてばらつき補正情報ＧＶijを生成する。
　　ＧＶij＝ＩＤij／Ｃij　　　・・・（３０）
　このようにして、補正情報生成処理部５２-3は、偏光画像の各画素を補正対象画素として画素毎にばらつき補正情報ＧＶを生成して補正情報記憶部３０に記憶させる。
　なお、偏光画像取得部２０の撮像光学系としてテレセントリック光学系を用いた場合、各画素は、平面拡散板を用いても球状拡散板を用いた場合と同様に拡散板と正対した状態となる。したがって、平面拡散板とテレセントリック光学系を用いた場合には、第２の実施の形態と同様にしてばらつき補正情報を生成すればよい。
　＜４－４．補正情報生成部の第４の実施の形態＞
　図２０は、補正情報生成部の第４の実施の形態を説明するための図である。補正情報生成部５０-4の計測光照射部５１-4は、平面拡散板ＤＢｂを介して光源ＬＴからの照明光を偏光画像取得部２０に照射する。補正情報生成処理部５２-4は、偏光画像取得部２０の向きをパン方向またはチルト方向に回動させる回動部５３を制御して、補正対象画素を平面拡散板ＤＢｂと正対させる。また、補正情報生成処理部５２-4は、平面拡散板ＤＢｂと正対する補正対象画素および周辺画素の画素値を用いて、第１または第２の実施の形態と同様にして補正対象画素に対するばらつき補正情報を生成する。
　図２１は、第４の実施の形態の動作を示すフローチャートである。ステップＳＴ４１で補正情報生成部は補正対象画素を平面拡散板に正対させる。補正情報生成部５０-4は、偏光画像取得部２０をパン方向やチルト方向に駆動して、偏光画像取得部２０の補正対象画素を平面拡散板と正対させてステップＳＴ４２に進む。
　ステップＳＴ４２で補正情報生成部５０-4は、平面拡散板を用いて計測偏光画像を取得する。補正情報生成部５０-1は、計測光照射部５１-1から平面拡散板を介して照明光を偏光画像取得部２０に照射して、偏光画像取得部２０で生成された計測偏光画像を補正情報生成処理部５２-4で取得してステップＳＴ４３に進む。
　ステップＳＴ４３で補正情報生成部は、ばらつき補正情報を生成する。補正情報生成部５０-4の補正情報生成処理部５２-4は、取得した計測偏光画像に基づいて、第１乃至第２の実施の形態と同様に、補正対象画素の偏光方向または補正対象画素に対する補正値を示したばらつき補正情報を生成してステップＳＴ４４に進む。
　ステップＳＴ４４で補正情報生成部はばらつき補正情報の生成処理を終了するか判別する。補正情報生成部５０-4は、所望の画素のばらつき補正情報の生成が完了したか判別する。補正情報生成部５０-4は、ばらつき補正情報の生成が完了していない画素がある場合はステップＳＴ４５に進む。また、補正情報生成部５０-4は、所望の画素についてばらつき補正情報の生成が完了した場合はステップＳＴ４６に進む。
　ステップＳＴ４５で補正情報生成部は補正対象画素を更新する。補正情報生成部５０-4は、ばらつき補正情報の生成が完了していない画素を新たな補正対象画素としてステップＳＴ４１に戻り、新たな補正対象画素を平面拡散板と正対させる。
　ステップＳＴ４６で補正情報生成部はばらつき補正情報を記憶させる。補正情報生成部５０-4の補正情報生成処理部５２-4は生成したばらつき補正情報を補正情報記憶部３０に記憶させる。
　また、補正対象画素を平面拡散板と正対するように偏光画像取得部２０の向きをパン方向またはチルト方向に調整する場合に、画素毎に平面拡散板と正対するように調整するためには、高精度の向き調整機構が必要となる。このため、複数画素からなる領域毎に、領域内のいずれかの画素を補正対象画素としてばらつき補正情報の生成を行い、生成したばらつき補正情報と当該領域内の各画素のばらつき補正情報としてもよい。
　上述の第１乃至第３の実施の形態では、偏光方向毎にばらつき補正情報を生成する場合と画素毎にばらつき補正情報を生成する場合について説明した。また、第４の実施の形態では、画素毎にばらつき補正情報を生成する場合について説明したが、補正情報生成部は、偏光方向毎または画素毎のばらつき補正情報のいずれかを生成して補正情報記憶部３０に記憶させてばよい。例えば、偏光画像取得部２０において、同一偏光方向の画素の感度ばらつきが閾値よりも少ないことが明らかな場合には偏光方向毎のばらつき補正情報を生成する。また、同一偏光方向の画素の感度ばらつきが閾値以上であることが明らかな場合には画素毎のばらつき補正情報を生成する。なお、偏光方向毎にばらつき補正情報を生成する場合は、画素毎にばらつき補正情報を生成する場合に比べてばらつき補正情報のデータ量が少なくなるので、補正情報記憶部３０の記憶容量を少なくできる。また、補正処理部４０では、画素毎にばらつき補正情報を補正情報記憶部３０から読み出す必要がないので、効率よく補正処理を行える。さらに、画素毎にばらつき補正情報を生成する場合は、偏光方向毎にばらつき補正情報を生成する場合に比べてばらつきが大きくても高精度に補正処理を行うことが可能となる。
　＜５．他の構成および動作について＞
　ところで、ばらつき補正情報の生成において、偏光画像取得部２０は、偏光画像取得部２０を各種装置等に搭載する際に使用する所定の撮像光学系を装着する。この場合、イメージセンサ２００には、所定の撮像光学系の特性に応じた計測光が偏光子やカラーフィルタを介して入射される。したがって、補正情報生成部５０では、画素毎にばらつき補正情報の生成を行うことで、所定の撮像光学系によって生じるシェーディングと偏光子のばらつき等によって生ずる感度ばらつきを共に補正するばらつき補正情報を生成できる。
　また、撮像光学系を用いることなく画素毎にばらつき補正情報の生成を行うようにすれば、補正情報生成部では、偏光子のばらつき等によって生ずる感度ばらつきのみを補正するばらつき補正情報を生成できる。また、撮像光学系を装着して取得した偏光画像に対して、感度ばらつきのみを補正する画素毎のばらつき補正情報を用いて画素値を補正した場合、補正後の偏光画像に生じている画素値のばらつきは、撮像光学系の特性によって生じたばらつきを示す。したがって、感度ばらつきのみを補正する画素毎のばらつき補正情報を用いれば、撮像光学系における偏光画像を取得する際の特性を測定することも可能となる。
　＜６．応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２２に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２２では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図２３は、撮像部７４１０及び車外情報検出部７４２０の設置位置の一例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２３には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図２２に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２２の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図２２に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　以上説明した車両制御システム７０００において、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８は、偏光画像取得部２０を用いる構成とする。また、図２２に示した応用例の統合制御ユニット７６００に補正情報記憶部３０と補正処理部４０を設ける。このような構成とすれば、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８では感度ばらつきの少ない偏光画像を取得できるので、取得した偏光画像を運転支援や運転制御等に利用できる。なお、補正情報記憶部３０と補正処理部４０は、図２２に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　偏光画像に対して、予め生成されている補正情報を用いて偏光方向の違いによって生じた感度ばらつきを補正する補正処理部を備える画像処理装置。
　（２）　前記偏光画像は、偏光子が配された偏光撮像素子を有する偏光画像取得部によって取得される複数偏光方向の偏光方向毎の画素を含む画像である（１）に記載の画像処理装置。
　（３）　前記補正情報は、偏光方向毎に生成されている（１）または（２）に記載の画像処理装置。
　（４）　前記補正情報は、前記偏光画像の画素位置毎に生成されている（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）　前記補正情報は、前記偏光画像に生じたシェーディングを補正する情報を含む（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）　前記偏光画像はカラー画像であり、前記補正情報は、前記偏光画像の色成分毎に生成されている（１）乃至（５）のいずれかに記載の画像処理装置。
　（７）　前記補正情報は、前記偏光画像のホワイトバランスを補正する情報を含む（６）に記載の画像処理装置。
　（８）　前記補正情報は、前記偏光画像取得部に計測光照射部から強度が一様の計測光を照射して前記偏光画像取得部で取得された偏光画像に基づき、該偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正ゲインである（２）に記載の画像処理装置。
　（９）　前記補正情報を記憶する補正情報記憶部をさらに備える（１）乃至（８）のいずれかに記載の画像処理装置。
　また、本技術の情報生成装置は以下のような構成も取ることができる。
　（１）　偏光画像を取得する偏光画像取得部に強度が一様の計測光を照射する計測光照射部と、
　前記計測光照射部から計測光を照射して前記偏光画像取得部で取得された偏光画像に基づき、該偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正情報を生成する補正情報生成部と
を備える情報生成装置。
　（２）　前記計測光照射部は、前記計測光として無偏光光を照射する（１）に記載の情報生成装置。
　（３）　前記計測光照射部は、球状拡散板を介して前記計測光を前記偏光画像取得部に照射する（１）に記載の情報生成装置。
　（４）　前記計測光照射部は、板状拡散板を介して前記計測光を前記偏光画像取得部に照射して、
　前記補正情報生成部は、前記板状拡散板に対する前記偏光画像取得部の向きを移動させて、前記補正情報を生成する（１）に記載の情報生成装置。
　（５）　前記計測光照射部は、板状拡散板を介して前記計測光を前記偏光画像取得部に照射して、
　前記補正情報生成部は、前記偏光画像取得部の焦点距離と光軸中心に基づいて、画素毎に補正情報を生成する（１）に記載の情報生成装置。
　この技術の画像処理装置および情報生成装置と情報生成方法によれば、 偏光画像を取得する偏光画像取得部に強度が一様の計測光を照射して取得した偏光画像に基づき、この偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正情報が予め生成されて、この予め生成されている補正情報を用いて、偏光画像に対して、偏光方向の違いによって生じた感度ばらつきを補正する補正処理が行われる。このため、高画質の偏光画像を取得できるようになり、偏光画像を用いて例えば三次元形状の認識等を行う機器に適している。
　１０・・・偏光画像システム
　２０・・・偏光画像取得部
　３０・・・補正情報記憶部
　４０・・・補正処理部
　５０，５０-1，５０-2，５０-3，５０-4・・・補正情報生成部
　５１-1，５１-2，５１-3，５１-4・・・計測光照射部
　５２-1，５２-2，５２-3，５２-4・・・補正情報生成処理部
　５３・・・回動部
　２００・・・イメージセンサ
　２０１・・・偏光子
　２０２・・・カラーフィルタ

Claims (15)

  1. 　偏光画像に対して、予め生成されている補正情報を用いて偏光方向の違いによって生じた感度ばらつきを補正する補正処理部
    を備える画像処理装置。
  2. 　前記偏光画像は、偏光子が配された偏光撮像素子を有する偏光画像取得部によって取得される複数偏光方向の偏光方向毎の画素を含む画像である
    請求項１に記載の画像処理装置。
  3. 　前記補正情報は、偏光方向毎に生成されている
    請求項１に記載の画像処理装置。
  4. 　前記補正情報は、前記偏光画像の画素位置毎に生成されている
    請求項１に記載の画像処理装置。
  5. 　前記補正情報は、前記偏光画像に生じたシェーディングを補正する情報を含む
    請求項１に記載の画像処理装置。
  6. 　前記偏光画像はカラー画像であり、前記補正情報は、前記偏光画像の色成分毎に生成されている
    請求項１に記載の画像処理装置。
  7. 　前記補正情報は、前記偏光画像のホワイトバランスを補正する情報を含む
    請求項６に記載の画像処理装置。
  8. 　前記補正情報は、前記偏光画像取得部に計測光照射部から強度が一様の計測光を照射して前記偏光画像取得部で取得された偏光画像に基づき、該偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正ゲインである
    請求項２に記載の画像処理装置。
  9. 　前記補正情報を記憶する補正情報記憶部をさらに備える
    請求項１に記載の画像処理装置。
  10. 　偏光画像を取得する偏光画像取得部に強度が一様の計測光を照射する計測光照射部と、
    　前記計測光照射部から計測光を照射して前記偏光画像取得部で取得された偏光画像に基づき、該偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正情報を生成する補正情報生成処理部と
    を備える情報生成装置。
  11. 　前記計測光照射部は、前記計測光として無偏光光を照射する
    請求項１０に記載の情報生成装置。
  12. 　前記計測光照射部は、球状拡散板を介して前記計測光を前記偏光画像取得部に照射する請求項１０に記載の情報生成装置。
  13. 　前記計測光照射部は、板状拡散板を介して前記計測光を前記偏光画像取得部に照射して、
    　前記補正情報生成処理部は、前記板状拡散板に対する前記偏光画像取得部の向きを移動させて、前記補正情報を生成する
    請求項１０に記載の情報生成装置。
  14. 　前記計測光照射部は、板状拡散板を介して前記計測光を前記偏光画像取得部に照射して、
    　前記補正情報生成処理部は、前記偏光画像取得部の焦点距離と光軸中心に基づいて、画素毎に補正情報を生成する
    請求項１０に記載の情報生成装置。
  15. 　偏光画像を取得する偏光画像取得部に計測光照射部から強度が一様の計測光を照射することと、
    　前記計測光照射部から計測光を照射して前記偏光画像取得部で取得された偏光画像に基づき、該偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正情報を補正情報生成処理部で生成すること
    を含む情報生成方法。
PCT/JP2017/021793 2016-08-24 2017-06-13 画像処理装置および情報生成装置と情報生成方法 WO2018037678A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018535478A JP7040447B2 (ja) 2016-08-24 2017-06-13 画像処理装置および情報生成装置と情報生成方法
US16/313,394 US10848727B2 (en) 2016-08-24 2017-06-13 Image processing device, information generation device, and information generation method
DE112017004203.8T DE112017004203T5 (de) 2016-08-24 2017-06-13 Bildverarbeitungsvorrichtung, informationserzeugungsvorrichtung und informationserzeugungsverfahren
CN201780048453.3A CN109565546B (zh) 2016-08-24 2017-06-13 图像处理设备、信息生成设备以及信息生成方法
US16/670,239 US10904503B2 (en) 2016-08-24 2019-10-31 Image processing device, information generation device, and information generation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016163627 2016-08-24
JP2016-163627 2016-08-24

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/313,394 A-371-Of-International US10848727B2 (en) 2016-08-24 2017-06-13 Image processing device, information generation device, and information generation method
US16/670,239 Division US10904503B2 (en) 2016-08-24 2019-10-31 Image processing device, information generation device, and information generation method

Publications (1)

Publication Number Publication Date
WO2018037678A1 true WO2018037678A1 (ja) 2018-03-01

Family

ID=61246681

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/021793 WO2018037678A1 (ja) 2016-08-24 2017-06-13 画像処理装置および情報生成装置と情報生成方法

Country Status (5)

Country Link
US (2) US10848727B2 (ja)
JP (1) JP7040447B2 (ja)
CN (1) CN109565546B (ja)
DE (1) DE112017004203T5 (ja)
WO (1) WO2018037678A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019220722A1 (ja) * 2018-05-18 2019-11-21 ソニー株式会社 固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法
WO2020017002A1 (ja) * 2018-07-19 2020-01-23 株式会社ソニー・インタラクティブエンタテインメント 電子機器および撮影方法
WO2020100431A1 (ja) * 2018-11-13 2020-05-22 ソニーセミコンダクタソリューションズ株式会社 受光装置
WO2022091508A1 (ja) * 2020-10-27 2022-05-05 Ckd株式会社 三次元計測装置
WO2022196038A1 (ja) * 2021-03-19 2022-09-22 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
WO2023105961A1 (ja) * 2021-12-08 2023-06-15 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP7494031B2 (ja) 2020-07-06 2024-06-03 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6568301B2 (ja) * 2016-02-29 2019-08-28 富士通フロンテック株式会社 撮像装置及び撮像方法
US10598838B2 (en) * 2018-06-29 2020-03-24 Intel Corporation Pixel level polarizer for flexible display panels
CN113557709A (zh) * 2019-04-19 2021-10-26 索尼集团公司 成像装置、图像处理装置和图像处理方法
US11525782B2 (en) * 2019-09-03 2022-12-13 Tianma Japan, Ltd. Fluorescent image analyzer
TW202131671A (zh) * 2019-10-07 2021-08-16 日商索尼半導體解決方案公司 電子機器
JPWO2021140873A1 (ja) * 2020-01-09 2021-07-15
US11838699B2 (en) * 2020-07-06 2023-12-05 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, and image processing method
DE102021132644A1 (de) 2021-12-10 2023-06-15 Valeo Schalter Und Sensoren Gmbh Verfahren zur Farbkalibrierung einer farbauflösenden Kamera für ein Kraftfahrzeug, Steuereinrichtung und Kamera

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006013731A (ja) * 2004-06-24 2006-01-12 Casio Comput Co Ltd 撮像装置とホワイトバランス制御方法、光量調整装置
JP2007134903A (ja) * 2005-11-09 2007-05-31 Sharp Corp 周辺光量補正装置、周辺光量補正方法、電子情報機器、制御プログラムおよび可読記録媒体
JP2009192520A (ja) * 2007-11-15 2009-08-27 Nikon Corp 表面検査装置
WO2014119257A1 (ja) * 2013-01-29 2014-08-07 パナソニック株式会社 撮像システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4713983B2 (ja) * 2005-08-31 2011-06-29 オリンパスイメージング株式会社 色調整方法及び色調整装置
EP2202688B1 (en) 2007-02-13 2013-11-20 Panasonic Corporation System, method and apparatus for image processing and image format
JP4748266B2 (ja) * 2009-01-30 2011-08-17 ソニー株式会社 情報入力装置、情報入出力装置および電子機器
JP2012203274A (ja) * 2011-03-28 2012-10-22 Sony Corp 撮像装置および電子機器
WO2012155141A2 (en) * 2011-05-12 2012-11-15 Reald Inc. Polarization compensated stereoscopic systems
JP5982751B2 (ja) * 2011-08-04 2016-08-31 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN103182984B (zh) * 2011-12-28 2015-08-26 财团法人车辆研究测试中心 车用影像显示系统及其校正方法
JP2014174517A (ja) * 2013-03-13 2014-09-22 Seiko Epson Corp プロジェクターおよび制御方法
JP6471424B2 (ja) * 2013-11-13 2019-02-20 セイコーエプソン株式会社 プロジェクター

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006013731A (ja) * 2004-06-24 2006-01-12 Casio Comput Co Ltd 撮像装置とホワイトバランス制御方法、光量調整装置
JP2007134903A (ja) * 2005-11-09 2007-05-31 Sharp Corp 周辺光量補正装置、周辺光量補正方法、電子情報機器、制御プログラムおよび可読記録媒体
JP2009192520A (ja) * 2007-11-15 2009-08-27 Nikon Corp 表面検査装置
WO2014119257A1 (ja) * 2013-01-29 2014-08-07 パナソニック株式会社 撮像システム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019220722A1 (ja) * 2018-05-18 2019-11-21 ソニー株式会社 固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法
JPWO2019220722A1 (ja) * 2018-05-18 2021-07-01 ソニーグループ株式会社 固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法
WO2020017002A1 (ja) * 2018-07-19 2020-01-23 株式会社ソニー・インタラクティブエンタテインメント 電子機器および撮影方法
WO2020100431A1 (ja) * 2018-11-13 2020-05-22 ソニーセミコンダクタソリューションズ株式会社 受光装置
JP7494031B2 (ja) 2020-07-06 2024-06-03 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法
WO2022091508A1 (ja) * 2020-10-27 2022-05-05 Ckd株式会社 三次元計測装置
JP2022070426A (ja) * 2020-10-27 2022-05-13 Ckd株式会社 三次元計測装置
JP7300432B2 (ja) 2020-10-27 2023-06-29 Ckd株式会社 三次元計測装置
WO2022196038A1 (ja) * 2021-03-19 2022-09-22 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
WO2023105961A1 (ja) * 2021-12-08 2023-06-15 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
US10848727B2 (en) 2020-11-24
JPWO2018037678A1 (ja) 2019-06-20
JP7040447B2 (ja) 2022-03-23
US20200068182A1 (en) 2020-02-27
CN109565546B (zh) 2020-12-01
US20190166342A1 (en) 2019-05-30
CN109565546A (zh) 2019-04-02
US10904503B2 (en) 2021-01-26
DE112017004203T5 (de) 2019-06-13

Similar Documents

Publication Publication Date Title
JP7040447B2 (ja) 画像処理装置および情報生成装置と情報生成方法
JP7070423B2 (ja) 画像処理装置と画像処理方法および撮像装置
US10957029B2 (en) Image processing device and image processing method
WO2018092540A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US10704957B2 (en) Imaging device and imaging method
WO2018034209A1 (ja) 撮像装置と撮像方法
WO2017208536A1 (ja) 画像処理装置と画像処理方法および学習装置と学習方法
US10877288B2 (en) Imaging device and imaging method
WO2017217177A1 (ja) 画像処理装置、および撮像装置、ならびに画像処理システム
JP2018207453A (ja) 制御装置、撮像装置、制御方法、プログラム及び撮像システム
JP7235906B2 (ja) 固体撮像装置
WO2018150683A1 (ja) 情報処理装置と情報処理方法とプログラムおよび撮像装置
JP6981416B2 (ja) 画像処理装置と画像処理方法
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
WO2021229983A1 (ja) 撮像装置及びプログラム
WO2020255589A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17843166

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018535478

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17843166

Country of ref document: EP

Kind code of ref document: A1