WO2018042815A1 - 画像処理装置と画像処理方法 - Google Patents

画像処理装置と画像処理方法 Download PDF

Info

Publication number
WO2018042815A1
WO2018042815A1 PCT/JP2017/021792 JP2017021792W WO2018042815A1 WO 2018042815 A1 WO2018042815 A1 WO 2018042815A1 JP 2017021792 W JP2017021792 W JP 2017021792W WO 2018042815 A1 WO2018042815 A1 WO 2018042815A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
polarization
target
pixel value
defect
Prior art date
Application number
PCT/JP2017/021792
Other languages
English (en)
French (fr)
Inventor
哲平 栗田
俊 海津
雄飛 近藤
康孝 平澤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2018536962A priority Critical patent/JP6981416B2/ja
Priority to US16/324,937 priority patent/US11336849B2/en
Priority to CN201780051223.2A priority patent/CN109644241B/zh
Priority to EP17845826.1A priority patent/EP3509294B1/en
Publication of WO2018042815A1 publication Critical patent/WO2018042815A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Definitions

  • This technology relates to an image processing apparatus and an image processing method, and enables detection of a defect in a polarization imaging device.
  • a pixel defect occurs in a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor, and therefore processing for detecting and correcting the pixel defect has been performed.
  • CCD Charge-Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • Patent Document 1 the same color pixel in the vicinity of the target pixel is used as a comparison pixel, and the number of comparison pixels in which the difference absolute value between the comparison pixel and the target pixel is larger than a first threshold is detected.
  • a target pixel larger than the second threshold is determined as a defective pixel.
  • Patent Document 2 if a difference in signal output level between a predetermined pixel and a plurality of pixels around the predetermined pixel is larger than a defect detection threshold, the predetermined pixel is determined as a defective pixel.
  • the determination of defective pixels as described above does not take into account the use of a polarization imaging device provided with a polarizer having a different polarization direction in units of pixels or in units of a plurality of pixels on the incident surface side.
  • an object of this technique is to provide an image processing apparatus and an image processing method capable of detecting a defect in a polarization imaging device.
  • the first aspect of this technology is The pixel value of the target polarization pixel generated by the polarization imaging unit that acquires the polarization pixels of a plurality of polarization directions and the polarization characteristics corresponding to the pixel values of peripheral pixels having different polarization directions with respect to the target polarization pixel
  • the image processing apparatus includes a defect detection unit that detects whether the target polarization pixel is a defective pixel using a pixel value of the target polarization pixel.
  • the defect detection unit is a pixel of peripheral pixels having different polarization directions with respect to the target polarization pixel generated by the polarization imaging unit including polarization pixels for each polarization direction of a plurality of polarization directions configured by arranging polarizers. If the pixel value of the target polarization pixel is estimated from the polarization characteristics corresponding to the value, and the difference between the pixel value of the target polarization pixel and the estimated pixel value is outside the preset allowable range, the target polarization pixel is defective. Let it be a pixel.
  • the defect detection unit switches the pixel to be selected from the plurality of pixels having the same polarization direction.
  • the target polarization pixel may be determined as a defective pixel when the proportion of combinations outside the permissible range is greater than a predetermined ratio set in advance.
  • the defect detection unit may detect whether the target polarization pixel is a defective pixel by using the pixel value of the target polarization pixel and the pixel values of peripheral pixels having the same polarization direction as the target polarization pixel.
  • the defect detection unit includes pixels of peripheral pixels having the same pixel value and polarization direction as the difference between the pixel value of the target polarization pixel and the estimated pixel value is outside the preset first allowable range. If the difference from the value is outside the preset second allowable range, the target polarization pixel is determined as a defective pixel.
  • the defect detection unit may determine that the difference between the pixel value of the target polarization pixel and the estimated pixel value is outside the preset first allowable range, and that the difference is within the preset first allowable range.
  • the target polarization pixel may be a defective pixel.
  • the defect detection unit estimates the pixel value of the target polarization pixel based on the polarization characteristics corresponding to the pixel values of the peripheral pixels that are the same color component pixels as the target polarization pixel and have different polarization directions with respect to the target polarization pixel. .
  • a white balance adjustment unit that equalizes pixel values for each color component generated by imaging a white subject is provided, and the defect detection unit converts the pixel values for each color component generated by imaging the white subject to white.
  • the pixel value of the target polarization pixel may be estimated from the pixel value of each pixel adjusted by the balance adjustment unit using the pixel value of the peripheral pixel having a polarization direction different from that of the target polarization pixel.
  • the defect detection unit may include pixel values of peripheral pixels having different time directions in the pixel values of the peripheral pixels.
  • the defect detection unit updates the defect information based on the defect detection result of the target polarization pixel.
  • Peripheral pixels are pixels with at least two polarization directions different from the target polarization pixel. Further, the peripheral pixels may be a pixel having one polarization direction different from the target polarization pixel and a non-polarization pixel. In this case, the angle difference between the polarization directions of the target polarization pixel and the peripheral pixels is an angle difference within a predetermined range with 45 ° as a reference.
  • a defect correction unit that uses a pixel value estimated based on polarization characteristics corresponding to pixel values of peripheral pixels having different polarization directions with respect to the defective pixel as a corrected pixel value, or a polarization direction of the defective pixel
  • a defect correction unit that calculates pixel values after correction of defective pixels using pixel values of peripheral pixels determined to be equal to the texture equal to the defective pixels may be provided.
  • the defect correction unit sets the average value of the pixel values of the peripheral pixels of the texture of the defective pixel equal to that of the defective pixel as the pixel value of the defective pixel.
  • the second aspect of this technology is The pixel value of the target polarization pixel generated by the polarization imaging unit that acquires the polarization pixels of a plurality of polarization directions and the polarization characteristics corresponding to the pixel values of peripheral pixels having different polarization directions with respect to the target polarization pixel
  • the pixel value of the target polarization pixel is used to detect whether the target polarization pixel is a defective pixel by a defect detection unit.
  • the pixel value of the target polarization pixel generated by the polarization imaging unit that acquires the polarization pixels of a plurality of polarization directions and the pixel values of the peripheral pixels having different polarization directions with respect to the target polarization pixel are supported. Whether the target polarization pixel is a defective pixel is detected using the pixel value of the target polarization pixel estimated from the polarization characteristics. Therefore, it becomes possible to detect a pixel defect in the polarization imaging unit that generates the polarization image.
  • FIG. 1 is a diagram for explaining generation of a polarization image.
  • the light source LT is used to illuminate the subject OB
  • the imaging unit CM images the subject OB via the polarizer PL.
  • the luminance of the subject OB changes according to the polarization direction of the polarizer PL.
  • the highest luminance is Imax and the lowest luminance is Imin.
  • the angle in the y-axis direction with respect to the x-axis when the polarization direction of the polarizer is rotated is defined as a polarization angle ⁇ pol.
  • the angle ⁇ is the zenith angle.
  • the polarization direction of the polarizer returns to the original polarization state when rotated by 180 degrees about the z-axis direction and has a period of 180 degrees. Further, the luminance I observed when the polarization direction is rotated can be expressed as shown in Expression (1).
  • FIG. 2 illustrates the relationship between the luminance and the polarization direction.
  • the polarization angle ⁇ pol is obvious when the polarization image is generated, and the maximum luminance Imax, the minimum luminance Imin, and the azimuth angle ⁇ are variables. Therefore, by performing fitting to the polarization model equation shown in Equation (1) using the luminance of the polarization image having three or more polarization directions, it is possible to obtain a desired value based on the polarization model equation indicating the relationship between the luminance and the polarization direction. Can be estimated.
  • the image processing apparatus performs fitting to the polarization model using peripheral pixels with different polarization directions located around the target polarization pixel, and estimates the pixel value of the target polarization pixel.
  • the image processing apparatus uses the pixel value estimated as the pixel value of the target polarization pixel to detect a defect whether or not the target polarization pixel is a defective pixel, and performs defect correction when it is determined as a defective pixel.
  • FIG. 3 is a diagram for explaining the operation of the image processing apparatus.
  • fitting to the polarization model equation is performed based on the peripheral pixels, and the estimated pixel value I3est of the target polarization pixel C3 can be calculated from the polarization model equation after the fitting.
  • the image processing apparatus performs defect correction using the equation (3) as a prediction equation, and the pixel values I1, I2, and I4 of the peripheral pixels C1, C2, and C4.
  • the estimated pixel value I3est calculated based on is set as the corrected pixel value I3c.
  • the target polarization pixel is the pixel C1
  • defect correction is performed using Equation (4) as a prediction equation
  • the estimated pixel value I1est calculated based on the pixel values of peripheral pixels having different polarization directions is used as the correction pixel value.
  • defect correction is performed using the equation (5) as a prediction equation
  • an estimated pixel value I2est calculated based on pixel values of peripheral pixels having different polarization directions is set as a correction pixel value.
  • I1est (I2 + I4) ⁇ I3 (4)
  • I2est (I1 + I3) ⁇ I4 (5)
  • I4est (I1 + I3) ⁇ I2 (6)
  • the image processing apparatus may correct a defective pixel by using pixel values of peripheral pixels having the same polarization direction as that of the defective pixel.
  • FIG. 4 illustrates the configuration of a polarization image system using an image processing apparatus.
  • the polarization image system 10 includes a polarization imaging unit 20 and an image processing unit 30, and the image processing unit 30 corresponds to an image processing device of the present technology.
  • the image processing unit 30 includes a defect detection unit 35, a defect information storage unit 34, and a defect correction unit 36, and polarization imaging including polarization pixels for each polarization direction of a plurality of polarization directions configured by arranging polarizers. Defect detection and defect correction are performed on the polarized RAW image generated by the unit 20. Note that the image processing unit 30 may have either a defect detection unit 35 or a defect correction unit 36, and the defect information storage unit 34 may be configured separately from the image processing unit 30.
  • the polarization image is a black and white image
  • the case where the polarization image is a color image will be described.
  • the polarization direction of the polarization image is two directions will be described.
  • FIG. 5 illustrates a configuration of a polarization imaging unit that generates a monochrome polarization image.
  • the polarization imaging unit 20 is configured using an image sensor 201 such as a complementary metal oxide semiconductor (CMOS) or a charge coupled device (CCD) and a polarizer 202.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the image sensor 201 performs photoelectric conversion of the subject light incident via the polarizer 202, and generates an image signal corresponding to the subject light, that is, a RAW image signal of a monochrome polarized image.
  • the polarization imaging unit 20 outputs a RAW image signal of a monochrome polarization image to the image processing unit 30.
  • the polarizer 202 only needs to be able to extract linearly polarized light from the subject light.
  • a wire grid or a photonic liquid crystal is used.
  • the polarizer 202 has a plurality of polarization directions (for example, 0 °, 45 °, 90 °, 135 °) so that the polarization component unit can be a pixel unit and the conditions for fitting and predicting the polarization model equation can be satisfied. A case where pixels in four directions) are provided is illustrated.
  • the defect detection unit 35 of the image processing unit 30 detects whether the target polarization pixel in the monochrome polarized RAW image (hereinafter referred to as “polarization image”) generated by the polarization imaging unit 20 is a defective pixel. Further, the defect detection unit 35 performs defect detection based on the defect information stored in the defect information storage unit 34 when it is indicated that the target polarization pixel is not a defective pixel, so that the target polarization pixel is defective. You may detect whether it changed into the pixel.
  • the defect detection unit 35 determines the target polarization pixel as a defective pixel when the difference between the pixel value of the target polarization pixel and the estimated pixel value is outside a preset allowable range.
  • the defect detection unit 35 determines that the target polarization pixel is a defective pixel
  • the defect detection unit 35 adds information indicating that the target polarization pixel is a defect pixel to the defect information acquired from the defect information storage unit 34, along with the polarization image.
  • the data is output to the defect correction unit 36.
  • the defect correction unit 36 corrects the defect pixel indicated by the defect information in the polarization image based on the polarization image and the defect information supplied from the defect detection unit 35 using peripheral pixels located around the defect pixel. To do.
  • FIG. 6 is a flowchart showing the operation of the defect detection unit.
  • the defect detection unit determines whether the target polarization pixel is a known defect pixel. If the defect information stored in the defect information storage unit 34 indicates that the target polarization pixel is a defective pixel, the defect detection unit 35 determines that the target polarization pixel is a known defect pixel and performs step ST4. Proceed to In addition, when the defect information does not indicate that the target polarization pixel is a defective pixel, the defect detection unit 35 proceeds to step ST2.
  • step ST2 the defect detection unit calculates an estimated pixel value of the target polarization pixel.
  • the defect detection unit 35 calculates an estimated pixel value using peripheral pixels with different polarization directions located around the defective pixel of the target polarization pixel, and proceeds to step ST3. The calculation of the estimated pixel value will be described later.
  • step ST3 the defect detection unit determines whether the difference absolute value is equal to or less than a threshold value.
  • the defect detection unit 35 calculates a difference absolute value between the pixel value of the target polarization pixel and the estimated pixel value calculated in step ST3. If the difference absolute value is larger than the threshold value, the defect detection unit 35 proceeds to step ST4, and the difference absolute value is the threshold value. When it is below, it progresses to step ST5.
  • step ST4 the defect detection unit determines that the target polarization pixel is a defective pixel.
  • the defect detection unit 35 determines that the target polarization pixel has a difference absolute value greater than a threshold value from the known defect pixel or the estimated pixel value. The pixel is determined as a defective pixel.
  • the defect detection unit determines that the target polarization pixel is a non-defective pixel.
  • the defect detection unit 35 is that the target polarization pixel is not a known defect pixel, and the difference absolute value from the estimated pixel value is equal to or less than a threshold value.
  • the target polarization pixel is determined as a non-defective pixel.
  • the defect detection unit 35 calculates the estimated pixel value of the target polarization pixel using the pixel values of the peripheral pixels with respect to the target polarization pixel.
  • the estimated pixel value is calculated using the pixel values of many polarization pixels, so that the resistance to noise can be improved.
  • the defect detection unit 35 calculates an estimated pixel value using peripheral pixels within a preset region size so as to be highly resistant to noise and less affected by a texture different from that of the target polarization pixel.
  • FIG. 7 is a diagram for explaining the defect determination operation of the defect detection unit in the first embodiment.
  • FIG. 7A shows a target polarization pixel and peripheral pixels for defect detection.
  • the defect detection unit 35 calculates the estimated pixel value using the pixel values of the peripheral pixels in the 3 ⁇ 3 pixel region (peripheral pixel region) centered on the target polarization pixel C3 (x, y).
  • the polarization direction of the target polarization pixel C3 is 90 °
  • the peripheral pixels C1 (x ⁇ 1, y ⁇ 1), C1 (x ⁇ 1, y + 1), C1 (x + 1, y + 1), C1 (x + 1, y-1) has a polarization direction of 0 °
  • peripheral pixels C2 (x-1, y) have a polarization direction of 45 °
  • peripheral pixels C4 (x, y-1) When the polarization direction of C4 (x, y + 1) is 135 °, the above equation (3) is established in an ideal state.
  • the pixel values I1, I2, and I4 in Expression (3) are pixel average values of pixels having the same polarization direction in the peripheral pixel region. That is, in the case of (a) in FIG. 7, the defect detection unit 35 uses the pixel values I1, I2, and I4 calculated by the equations (7) to (9).
  • I1 (I1 (x-1, y-1) + I1 (x-1, y + 1) + I1 (x + 1, y + 1) + I1 (x + 1, y-1)) / 4 ...
  • I2 (I2 (x-1, y) + I2 (x + 1, y)) / 2
  • I4 (I4 (x, y-1) + I4 (x, y + 1)) / 2 (9)
  • the defect detection unit 35 determines that the pixel is a defective pixel when the difference between the pixel value of the target polarization pixel and the estimated pixel value is outside the preset allowable range. That is, the defect detection unit 35 calculates the estimated pixel value I3est that the pixel value I3 (x, y) of the target polarization pixel C3 (x, y) is calculated based on the equations (3) and (7) to (9). Is determined as a defective pixel when the allowable range Lp is exceeded.
  • FIG. 7B shows the pixel values for the polarization model and the polarization direction
  • the white circles show the pixel values of the target polarization pixel and the surrounding pixels. Black circles indicate average pixel values for each polarization direction, and triangles indicate estimated pixel values.
  • the defect detection unit 35 determines that the target polarization pixel C3 (x, y) is a non-defective pixel.
  • the allowable range Lp may be set in advance, or the allowable range may be adjusted according to a non-polarized pixel value (for example, I2 + I4). Specifically, by reducing the allowable range Lp as the non-polarized pixel value decreases, for example, when the non-polarized pixel value decreases, the defective pixel becomes a non-defective pixel when the allowable range is fixed. Can be easily discriminated.
  • the defect correction unit 36 uses, for example, the estimated pixel value estimated based on the polarization characteristic corresponding to the pixel value generated in the peripheral pixel having a polarization direction different from that of the defective pixel as the corrected pixel value of the defective pixel.
  • the defect correction unit 36 uses the calculated estimated pixel value I3est as the correction pixel value I3c (x, y) of the target polarization pixel C3 (x, y). y).
  • the target polarization pixels are pixels C1, C2, and C4. determination of defective pixels and correction of defective pixels are performed using estimated pixel values I1est, I2est, and I4est calculated using equations (4) to (6). I do.
  • the defect detection unit 35 is limited to the case where the estimated pixel value is calculated using the pixel values of the peripheral pixels in the 3 ⁇ 3 pixel region (peripheral pixel region) centered on the target polarization pixel C3 (x, y). Absent. For example, when processing is performed in the order of raster scanning, an estimated pixel value cannot be calculated unless a pixel value of 3 pixels is obtained from the start of the third line. Therefore, the defect detection unit 35 performs fitting to the polarization model equation using the pixel values of the other three pixels having different polarization directions in the 2 ⁇ 2 pixel region including the target polarization pixel, and estimates the pixel value of the target polarization pixel. May be calculated. If defect detection is performed using pixel values in the 2 ⁇ 2 pixel area in this way, an estimated pixel value can be calculated when pixel values for two pixels are obtained from the start of the second line, so pixel defect detection and defect correction are performed. Can start quickly.
  • the absolute value of the difference increases due to the difference in the polarization direction.
  • the pixel value of the target polarization pixel is larger than the pixel value of the surrounding pixels if the incident light has a polarization component equal to the polarization direction of the target polarization pixel.
  • the target polarization pixel is determined to be a defective pixel even if no defect has occurred.
  • defect detection can be performed without causing erroneous detection due to a difference in polarization direction.
  • defect detection is performed using pixel values of peripheral pixels having different polarization directions, defect detection is performed based on absolute values of differences from peripheral pixels having the same polarization direction as in a conventional non-polarized image. In comparison, the peripheral pixel region can be reduced.
  • the second embodiment differs from the first embodiment in the operation of the defect detection unit.
  • a plurality of pixels having different polarization directions and the same polarization direction with respect to the target polarization pixel are included in the peripheral pixels.
  • the defect detection unit switches a pixel to be selected from a plurality of pixels having the same polarization direction, thereby setting a plurality of combinations of peripheral pixels used for estimating the pixel value of the target polarization pixel.
  • the defect detection unit detects a defect of the target polarization pixel in accordance with a combination ratio in which the pixel value of the target polarization pixel exceeds the allowable range based on the estimated pixel value.
  • FIG. 8 is a diagram for explaining the defect determination operation of the defect detection unit in the second embodiment.
  • the defect detection unit 35 calculates the estimated pixel value using the pixel values of the peripheral pixels in the 3 ⁇ 3 pixel region (peripheral pixel region) centering on the target polarization pixel C3 (x, y).
  • the polarization direction of the target polarization pixel C3 is 90 °
  • the peripheral pixels C1 (x ⁇ 1, y ⁇ 1), C1 (x ⁇ 1, y + 1), C1 (x + 1, y + 1), C1 (x + 1, y-1) has a polarization direction of 0 °
  • peripheral pixels C2 (x-1, y) have a polarization direction of 45 °
  • Equation (3) is established as described above in the ideal state.
  • the pixel values I1, I2, and I4 in Expression (3) are selected from a plurality of pixel values having the same polarization direction in the peripheral pixel region.
  • the pixel C1 is 4 pixels
  • the pixel C2 is 2 pixels
  • the pixel C4 is 2 pixels. Accordingly, there are 16 (4 ⁇ 2 ⁇ 2) combinations of peripheral pixels, and the defect detection unit 35 calculates an estimated pixel value for each of the 16 combinations.
  • the defect detection unit 35 calculates the estimated pixel value I3est based on Expression (3), and the pixel value I3 (x, y) of the target polarization pixel C3 (x, y) is based on the estimated pixel value I3est. It is determined whether or not the allowable range Lp is exceeded.
  • FIG. 8A shows peripheral pixels of a 3 ⁇ 3 pixel region (peripheral pixel region) centered on the target polarization pixel C3 (x, y), and FIGS. 8B to 8D show the peripheral pixels.
  • the polarization model formula is illustrated for some of the different combinations of peripheral pixels. In the combination (case1) of dotted lines in FIG. 8A, as shown in FIG.
  • the pixel value I3 (x, y) of the target polarization pixel C3 (x, y) is within the allowable range Lp. It is determined to be within. Further, in the combination (case 2) of the alternate long and short dash line in FIG. 8A, as shown in FIG. 8C, the pixel value I3 (x, y) of the target polarization pixel C3 (x, y) is within the allowable range. It is determined to be out of the range of Lp. Further, in the combination of two-dot chain lines (case 3) in (a) of FIG. 8, the pixel value I3 (x, y) of the target polarization pixel C3 (x, y) is allowed as shown in (d) of FIG.
  • the allowable range Lp may be set in advance as in the first embodiment, and the allowable range may be adjusted according to a non-polarized pixel value (for example, I2 + I4).
  • the defect detection unit 35 determines the target polarization when the ratio of the combination in which the pixel value I3 (x, y) of the target polarization pixel C3 (x, y) is determined to be outside the allowable range Lp is greater than the predetermined ratio.
  • the pixel C3 (x, y) is a defective pixel and the ratio is equal to or less than a predetermined ratio
  • the target polarization pixel C3 (x, y) is determined as a non-defective pixel.
  • the defect correction unit 36 corrects the corrected pixel value I3c (of the target polarization pixel C3 (x, y) based on the estimated pixel value I3est calculated for each combination. x, y) is calculated. For example, the defect correction unit 36 sets the average value of the estimated pixel values I3est calculated for each combination as the corrected pixel value I3c (x, y). Further, the defect correction unit 36 may use the estimated pixel value I3est calculated in the same manner as in the first embodiment as the corrected pixel value I3c (x, y) of the target polarization pixel C3 (x, y).
  • correction target polarization pixels are the pixels C1, C2, and C4, it is possible to detect and correct defective pixels by performing the same processing using the equations (4) to (6).
  • defect detection can be performed with high accuracy as in the first embodiment.
  • defect detection can be performed with a plurality of combinations of peripheral pixels, stable defect detection can be performed as compared with the first embodiment.
  • the third embodiment differs from the first to second embodiments in the operation of the defect detection unit.
  • defect detection is performed using not only peripheral pixels located around the target polarization pixel but having different polarization directions, and pixel values of adjacent pixels having the same polarization direction as the target polarization pixel.
  • FIG. 9 is a diagram for explaining the defect determination operation of the defect detection unit in the third embodiment.
  • the defect detection unit 35 includes pixels C3 (x, y-2), C3 (x-2, y), and C3 (x + 2, y), which are peripheral pixels having the same polarization direction as the target polarization pixel C3 (x, y). , C3 (x, y + 2) is used for defect detection (defect detection using peripheral information). Further, as in the first or second embodiment, the defect detection unit 35 uses pixel values of peripheral pixels having different polarization directions in the peripheral pixel region centered on the target polarization pixel C3 (x, y). Defect detection (defect detection using polarization characteristics) is performed. Furthermore, the defect detection unit 35 determines whether the target polarization pixel C3 (x, y) is a defective pixel based on the defect detection results of the defect detection using the peripheral information and the defect detection using the polarization characteristics.
  • Pixel values of the pixels C3 (x, y-2), C3 (x-2, y), C3 (x + 2, y), and C3 (x, y + 2) are I3 (x, y-2), I3 (x-2, y), I3 (x + 2, y), I3 (x, y + 2). ((I3 (x, y-2) + I3 (x-2, y) + I3 (x + 2, y) + I3 (x, y + 2)) / 4) ⁇ I3 (x, y)> DEth (10)
  • FIG. 10 is a flowchart showing the defect determination operation of the defect detection unit in the third embodiment.
  • the defect detection unit determines whether the polarization characteristic utilization defect detection result is a defective pixel candidate.
  • the defect detection unit 35 performs polarization characteristic-based defect detection, which is defect detection similar to that in the first or second embodiment. If the pixel value of the target polarization pixel is outside the allowable range Lp, the defect pixel candidate is detected. And proceed to step ST12. In addition, when the pixel value of the target polarization pixel is within the allowable range Lp, the defect detection unit 35 determines that the pixel is not a defective pixel candidate and proceeds to step ST14.
  • step ST12 the defect detection unit determines whether the peripheral information use defect detection result is a defective pixel candidate.
  • the defect detection unit 35 detects the defect using the peripheral information, and if the difference between the average value of the peripheral pixels having the same polarization direction and the pixel value of the target polarization pixel is larger than the threshold value, it is determined as a defective pixel candidate and the process proceeds to step ST13. move on. If the difference is equal to or smaller than the threshold, the defect detection unit 35 determines that the defect pixel candidate is not a defective pixel candidate, and proceeds to step ST14.
  • step ST ⁇ b> 13 the defect detection unit determines that the target polarization pixel is a defective pixel, and the defect detection unit 35 determines that the target polarization pixel is determined as a defective pixel candidate through polarization characteristic-based defect detection and peripheral information-based defect detection.
  • the target polarization pixel is determined as a defective pixel.
  • step ST ⁇ b> 14 the defect detection unit determines that the target polarization pixel is a non-defective pixel.
  • the defect detection unit 35 determines that the target polarization pixel is not a defective pixel candidate through polarization characteristic use defect detection or peripheral information use defect detection. Therefore, the target polarization pixel is determined as a non-defective pixel. By performing such a defect determination operation, a defective pixel can be reliably detected.
  • FIG. 11 is a flowchart showing another defect determination operation of the defect detection unit according to the third embodiment.
  • the defect detection unit determines whether the polarization characteristic utilization defect detection result is a defective pixel candidate.
  • the defect detection unit 35 performs polarization characteristic-based defect detection, which is defect detection similar to that in the first or second embodiment. If the pixel value of the target polarization pixel is outside the allowable range Lp, the defect pixel candidate is detected. And the process proceeds to step ST23. In addition, when the pixel value of the target polarization pixel is within the allowable range Lp, the defect detection unit 35 determines that the pixel is not a defective pixel candidate and proceeds to step ST22.
  • the defect detection unit determines whether the peripheral information use defect detection result is a defective pixel candidate.
  • the defect detection unit 35 performs defect detection using peripheral information. If the difference between the average value of adjacent pixels having the same polarization direction and the pixel value of the target polarization pixel is larger than the threshold value, the defect detection unit 35 determines that the pixel is a defective pixel candidate, and step ST23 Proceed to If the difference is equal to or smaller than the threshold, the defect detection unit 35 determines that the defect pixel candidate is not a defective pixel candidate, and proceeds to step ST24.
  • step ST ⁇ b> 23 the defect detection unit determines that the target polarization pixel is a defective pixel.
  • the defect detection unit 35 determines that the target polarization pixel is a defective pixel candidate by either polarization characteristic-based defect detection or peripheral information-based defect detection. If so, the target polarization pixel is determined as a defective pixel.
  • step ST ⁇ b> 24 the defect detection unit determines that the target polarization pixel is a non-defective pixel.
  • the defect detection unit 35 determines that the target polarization pixel is not a defective pixel candidate through polarization characteristic use defect detection and peripheral information use defect detection. Therefore, the target polarization pixel is determined as a non-defective pixel. By performing such a defect determination operation, detection failure of defective pixels can be reduced.
  • the defect correction unit 36 When the target polarization pixel C3 (x, y) is determined as a defective pixel, the defect correction unit 36 performs the same calculation as in the first embodiment, calculates the estimated pixel value I3est, and calculates the estimated pixel The value I3est is set as the corrected pixel value I3c (x, y) of the target polarization pixel C3 (x, y). Alternatively, when the target polarization pixel C3 (x, y) is determined to be a defective pixel, the defect correction unit 36 calculates an average value of the estimated pixel value I3est calculated for each combination, for example, as in the second embodiment. The corrected pixel value I3c (x, y) may be used.
  • defect detection is further performed using peripheral pixels having the same polarization direction, compared to a case where defect detection is performed using only peripheral pixels having different polarization directions, Defect detection performance can be improved.
  • the fourth embodiment is different from the first to third embodiments in that the operation of the defect correction unit is different, and the correction pixel value of the target polarization pixel is calculated using the pixel values of the peripheral pixels having the same polarization direction. To do.
  • the defect correction unit 36 has pixel values of peripheral pixels having the same polarization direction, for example, the pixels C3 (x, y-2) and C3 shown in FIG.
  • the pixel values of (x-2, y), C3 (x + 2, y), and C3 (x, y + 2) are I3 (x, y-2), I3 (x-2, y), I3 (x If it is +2, y), I3 (x, y + 2), the calculation of Expression (11) is performed to calculate I3c (x, y).
  • I3c (x, y) ((I3 (x, y-2) + I3 (x-2, y) + I3 (x + 2, y) + I3 (x, y + 2)) / 4 (11)
  • the defective pixel can be easily corrected.
  • defect correction is performed using pixel values of peripheral pixels in the horizontal direction, defect correction can be performed with only one line of pixels. Therefore, when the defect correction unit 36 is configured by hardware, a circuit is used. The scale can be reduced.
  • the fifth embodiment differs from the fourth embodiment in the operation of the defect correction unit, and uses the pixel values of peripheral pixels determined to have a texture whose polarization direction is equal to that of the defective pixel and equal to that of the defective pixel. The corrected pixel value is calculated.
  • the defect correction unit 36 performs texture detection using, for example, a Laplacian filter, and when the target polarization pixel is the pixel C3 (x, y) illustrated in FIG. 9, the horizontal texture determination value dh and the formula are calculated based on the formula (13). Based on (14), the vertical texture determination value dv is calculated.
  • the texture determination value has a small absolute value when the textures are equal, and has a large entertainment value when the textures are different.
  • the defect correction unit 36 compares the horizontal texture determination value dh with the horizontal texture determination value dh, and as shown in the equations (15) to (17), the polarization direction is equal to the defective pixel and equal to the defective pixel.
  • the corrected pixel value of the pixel C3 (x, y) is calculated using the pixel values of the peripheral pixels determined as the texture.
  • texture detection it is only necessary to detect a texture boundary, and not only a Laplacian filter but also a high-pass filter or a Sobel filter may be used.
  • texture detection is performed, and defect correction is performed using pixel values of peripheral pixels determined to have a texture whose polarization direction is equal to that of the defective pixel and equal to that of the defective pixel.
  • Peripheral pixels having different textures are not used, and defective pixels can be corrected with high accuracy.
  • defect detection is performed using peripheral pixels in the spatial direction, that is, peripheral pixels in the same frame as the target polarization pixel. In the sixth embodiment, however, the time direction The defect detection is also performed using the peripheral pixels.
  • defect detection is performed using the frame of the target polarization pixel and the past frame.
  • FIG. 12 illustrates the configuration of the sixth embodiment.
  • the image processing unit 30 includes a past image storage unit 31, a defect information storage unit 34, a defect detection unit 35, and a defect correction unit 36.
  • the past image storage unit 31 stores polarized images for the past predetermined number of frames generated by the polarization imaging unit 20. In addition, the polarization image stored in the past image storage unit 31 is output to the defect detection unit 35.
  • the defect detection unit 35 detects a defect of the target polarization pixel in the polarization image based on the defect information stored in the defect information storage unit 34 and the polarization image stored in the past image storage unit 31.
  • the defect detection unit 35 has n frames as the polarization image on which the defect detection is performed. ) Generate an averaged polarization image of the frame polarization image.
  • the averaged polarization image is generated by averaging pixel values of n frames, (n ⁇ 1) frames, and (n ⁇ 2) frames for each pixel position.
  • the defect detection unit 35 uses the pixel values I1, I2, and I4 of the peripheral pixels C1, C2, and C4 in the averaged polarization image when calculating the estimated pixel value using Expression (3). In the past polarization image, an image having the same texture as the polarization image for defect detection is used.
  • the defect correction unit 36 sets the estimated pixel value as the correction pixel value I3c of the target polarization pixel C3.
  • the defect correction unit 36 calculates an estimated pixel value for a known defective pixel, and sets the calculated estimated pixel value as a corrected pixel value for the known defective pixel.
  • FIG. 13 illustrates the configuration of the seventh embodiment.
  • the image processing unit 30 includes a defect information storage unit 34, a defect detection unit 35, and a defect correction unit 36.
  • the defect detection unit 35 generates additional defect information indicating the position of the detected defective pixel and outputs it to the defect information storage unit 34.
  • the defect information storage unit 34 updates the stored defect information using the additional defect information supplied from the defect detection unit 35. Further, the defect information storage unit 34 outputs the updated defect information to the defect detection unit 35 when the defect detection unit 35 performs defect detection of the subsequent polarization image.
  • FIG. 14 is a diagram for explaining the operation of the defect detection unit in the seventh embodiment.
  • the defect detection unit 35 When the defect detection unit 35 is newly determined to be a defective pixel, and the pixel newly determined to be a defective pixel is continuously determined to be a defective pixel in, for example, a predetermined number of consecutive frames, the pixel position of the defective pixel is determined. Is generated and output to the defect information storage unit 34.
  • the defect detection unit 35 performs a predetermined number of consecutive frames. Additional defect information indicating the pixel position of the pixel C3 determined as a defective pixel in (3 frames in the figure) is generated and output to the defect information storage unit 34.
  • the defect information storage unit 34 updates the stored defect information based on the additional defect information supplied from the defect detection unit 35, and adds that the pixel C3 is a defective pixel to the defect information. Therefore, in the defect detection of the polarization image after the n + 2 frame, the pixel C3 is processed as a known defective pixel.
  • the defect detection is not performed continuously for the defective pixel, and the defect detection can be performed efficiently.
  • defect information is updated when it is continuously determined as a defective pixel in a predetermined number of consecutive frames, even if it is erroneously detected as a defective pixel in one frame, for example, the defect information is determined according to this defect detection result. Will never be updated.
  • the polarization imaging unit 20 generates a color polarization image including polarization pixels for each polarization direction of a plurality of polarization directions.
  • FIG. 15 illustrates the configuration of a polarization imaging unit that generates a color polarization image.
  • the polarization imaging unit 20 is configured using an image sensor 201 such as a complementary metal oxide semiconductor (CMOS) or a charge coupled device (CCD), a polarizer 202, and a color filter 203.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the image sensor 201 performs photoelectric conversion of subject light incident through the polarizer 202 and the color filter 203, and generates an image signal corresponding to the subject light, that is, an image signal of a color polarization image.
  • the polarization imaging unit 20 outputs an image signal of a color polarization image to the image processing unit 30.
  • the polarizer 202 only needs to be able to extract linearly polarized light from the subject light.
  • a wire grid or a photonic liquid crystal is used.
  • the polarizer 202 has a plurality of polarization directions (for example, 0 °, 45 °, 90 °, and 135 °) so that fitting to the polarization model equation shown in Equation (1) can be performed using, for example, one pixel as a polarization component unit. (4 directions) pixels are provided.
  • the color filter 203 has, for example, a color component arrangement unit of 2 ⁇ 2 pixel units, and a 2 ⁇ 2 pixel unit as a polarization unit, and has a plurality of polarization directions (for example, 0 °, 45 °, 90 °, 135) as described above. Pixels in four directions (°) are provided.
  • a color demosaic filter having a Bayer array of red, blue, and green color components (RGB components) is used.
  • FIG. 16 is a diagram for explaining the defect determination operation of the defect detection unit according to the eighth embodiment.
  • the pixel R1 is a red pixel having a polarization direction of 0 °
  • the pixel R2 is a red pixel having a polarization direction of 45 °
  • the pixel R3 is a red pixel having a polarization direction of 90 °
  • the pixel R4 is a red pixel having a polarization direction of 135 °. is there.
  • the pixels G1 to G4 are green pixels for each polarization direction
  • the pixels B1 to B4 are blue pixels for each polarization direction.
  • the defect detection unit 35 performs processing similar to the flowchart shown in FIG. 6 to detect defective pixels.
  • the defect detection unit 35 uses peripheral pixels that are color component pixels that are equal to the target polarization pixel and have different polarization directions with respect to the target polarization pixel.
  • the defect detection unit 35 is based on the defect information stored in the defect information storage unit 34, and the target polarization pixel in the color polarization RAW image (hereinafter referred to as “color polarization image”) generated by the polarization imaging unit 20 is not a defect pixel. Is detected, the defect detection of the target polarization pixel is performed. The defect detection unit 35 determines whether the target polarization pixel is a defective pixel using peripheral pixels that are color component pixels that are equal to the target polarization pixel and have different polarization directions with respect to the target polarization pixel.
  • the target polarization pixel is a defective pixel is determined by calculating the estimated pixel value of the target polarization pixel from the polarization model equation after fitting corresponding to the pixel values of the surrounding pixels, and then calculating the pixel of the target polarization pixel in the polarization image. When the value is outside the allowable range based on the estimated pixel value, it is determined as a defective pixel. If the defect detection unit 35 determines that the target polarization pixel is a defective pixel, the defect detection unit 35 adds information indicating that the target polarization pixel is a defect pixel to the defect information acquired from the defect information storage unit 34 to obtain a polarization image. At the same time, it is output to the defect correction unit 36.
  • the defect detection unit 35 calculates the estimated pixel value using the pixel value of the peripheral pixel having the same color as the target polarization pixel in the 3 ⁇ 3 pixel region (peripheral pixel region) centered on the target polarization pixel C3 (x, y). .
  • the polarization direction of the target polarization pixel R3 is 90 °
  • the polarization direction of the peripheral pixel R1 (x + 1, y + 1) is 0 °
  • the polarization direction of the peripheral pixel R2 (x + 1, y) is 45 °
  • the pixel value of the peripheral pixel R1 (x + 1, y + 1) is Ir1
  • the pixel value of the peripheral pixel R2 (x + 1, y) is Ir2
  • the pixel value of the peripheral pixel R4 (x, y + 1) is Let it be Ir4.
  • Ir3 (Ir2 + Ir4) ⁇ Ir1 (18)
  • the defect detection unit 35 uses the pixel value Ir3 calculated based on Expression (18) as the estimated pixel value Ir3est of the target polarization pixel R3 (x, y), and the pixel value Ir3 (x) of the target polarization pixel R3 (x, y). , y) is determined as a defective pixel when it is outside the allowable range Lp with the estimated pixel value Ir3est as a reference. The defect detection unit 35 determines that the target polarization pixel R3 (x, y) is a non-defective pixel when the pixel value Ir3 (x, y) of the target polarization pixel R3 (x, y) is within the allowable range Lp. Is determined.
  • the defect correction unit 36 uses the calculated estimated pixel value Ir3est as the correction pixel value Ir3c (x, y) of the target polarization pixel R3 (x, y). y).
  • the defect correction unit 36 may calculate the correction pixel value of the target polarization pixel using the pixel values of the peripheral pixels as in the fourth embodiment described above. In this case, the defect correction unit 36 uses pixels of the same color component and the same polarization direction as peripheral pixels. For example, as shown in FIG. 16, when the target polarization pixel is R3, the corrected image value is calculated using the pixel R3 indicated by a circle as a peripheral pixel.
  • defect detection and defect correction can be performed using polarization characteristics even when the polarization image is a color image.
  • FIG. 17 illustrates the configuration of the ninth embodiment.
  • the polarization imaging unit 20 generates a color polarization image including polarization pixels for each polarization direction of a plurality of polarization directions and outputs the color polarization image to the image processing unit 30.
  • the image processing unit 30 includes a white balance adjustment unit 32, a defect information storage unit 34, a defect detection unit 35, and a defect correction unit 36.
  • the white balance adjustment unit 32 applies each color component or each pixel for each polarization direction so that when the white object is imaged by the polarization imaging unit 20, the pixel value is the same regardless of the color component in the pixel having the same polarization direction in the polarization image. Multiply the corresponding gain to adjust the white balance.
  • Expressions (19) to (21) show a case where white balance adjustment is performed by multiplying each pixel value of a corresponding color component by a red component gain Rgain, a green component gain Ggain, and a blue component gain Bgain. Yes.
  • the variable N indicates the polarization direction as described above.
  • Ir [N] Rgain ⁇ Ir [N] (19)
  • Ig [N] Ggain ⁇ Ig [N] (20)
  • Ib [N] Ggain ⁇ Ib [N] (21)
  • the polarization characteristics are the same as when the polarization imaging unit 20 that generates a monochrome polarization image is used.
  • the polarization image is supplied to the defect detection unit 35.
  • the defect detection unit 35 uses the pixel values of the surrounding pixels having different polarization directions and color components. By performing defect detection similar to that of the seventh embodiment, it is possible to detect whether the target polarization pixel is a defective pixel.
  • FIG. 18 is a diagram for explaining a relationship between a pixel value of a polarized pixel and a pixel value of a non-polarized pixel.
  • the sensitivity of the polarization pixel is ideally (1/2) times that of the non-polarization pixel, and the average value of the specular reflection component and the addition value of the diffuse reflection component are 1 ⁇ 2 of the pixel value I0 of the non-polarization pixel. Doubled.
  • the pixel of the polarization imaging unit 20 when the pixel of the polarization imaging unit 20 is composed of the non-polarized pixel C0 and the polarized pixels C1 and C2, the pixel C3 in the polarization direction in which no pixel is provided.
  • the pixel values I3 and I4 of C4 can be calculated based on the equations (23) and (24).
  • I3 I0 ⁇ I1 (23)
  • I4 I0 ⁇ I2 (24)
  • the angle difference between the polarization directions of the target polarization pixel and the peripheral pixel is 90 °, the sum of the pixel values of the target polarization pixel and the peripheral pixel becomes “I0 / 2”.
  • the pixel value of the polarization direction different from the polarization direction of is equal to the pixel value of the target polarization pixel and the peripheral pixels, and the polarization characteristics cannot be calculated. Therefore, the angle difference between the polarization directions of the target polarization pixel and the surrounding pixels is set to be an angle difference within a predetermined range with reference to 45 °, for example.
  • the defect detection unit 35 calculates the pixel value I1 based on the pixel values of eight peripheral pixels C1 having the same polarization direction as the target polarization pixel C1 in the peripheral pixel region of 5 ⁇ 5 pixels shown in FIG. Further, the defect detection unit 35 calculates the pixel value I2 based on the pixel values of the four peripheral pixels C2 having different polarization directions from the target polarization pixel C1. For example, the defect detection unit 35 sets the average of the pixel values of the eight peripheral pixels C1 as the pixel value I1 and the average value of the pixel values of the four peripheral pixels C2 as the pixel value I2.
  • the defect detection unit 35 determines that the pixel is a defective pixel when the pixel value I1 (x, y) of the target polarization pixel C1 (x, y) is outside the allowable range Lp with the estimated pixel value I1est as a reference. In addition, the defect detection unit 35 determines that the target polarization pixel C1 (x, y) is a non-defective pixel when the pixel value I1 (x, y) of the target polarization pixel C1 (x, y) is within the allowable range Lp. Is determined.
  • the allowable range Lp is set in the same manner as in the above embodiment.
  • the defect correction unit 36 uses the calculated estimated pixel value I1est as the correction pixel value I1c (x, y) of the target polarization pixel C1 (x, y). y).
  • the target polarization pixel is the pixel C2
  • the defective pixel is determined and the defective pixel is corrected using the pixel value calculated by using the equation (26) as the estimated pixel value I2est.
  • I2est (I1 + I3) ⁇ I4 (26)
  • the sensitivity of the polarization pixel is set to (1/2) times that of the non-polarization pixel.
  • the sensitivity ratio between the polarization pixel and the non-polarization pixel is set in advance. Then, the estimated pixel value is calculated using the measured sensitivity ratio. In this way, defect detection and defect correction can be accurately performed according to the sensitivity of the polarization imaging unit.
  • FIG. 19 illustrates another configuration and combination of a polarizer and a color filter.
  • the case where the polarizer shown in FIG. 19A and the color filter shown in FIG. 19C are used is illustrated, but the polarizer may be configured as shown in FIG. Good.
  • the polarizer shown in FIG. 19A and the color filter shown in FIG. 19C are used is illustrated, but the polarizer may be configured as shown in FIG. Good.
  • 19B has a configuration in which 2 ⁇ 2 pixels are used as a polarization unit composed of pixels in the same polarization direction, and polarization units in four polarization directions are repeatedly provided.
  • the color filter a color mosaic filter in which pixels of three primary colors (red pixel R, green pixel G, and blue pixel B) are arranged in a Bayer arrangement as shown in FIG.
  • a polarizer having 2 ⁇ 2 pixels as a polarization unit for example, by combining a color demosaic filter with a Bayer arrangement as shown in FIG. 19 (e), each color component of the three primary colors in a polarization unit of 2 ⁇ 2 pixels.
  • a polarized image can be generated. Further, as shown in FIG.
  • FIG. 20 is a diagram for explaining a case where a polarizer having a polarization unit of 2 ⁇ 2 pixels is used.
  • the defect correction unit corrects the defective pixel using pixel values of peripheral pixels in the same polarization direction with respect to the defective pixel. Therefore, for example, when the pixel C2 indicated by a double frame in FIG. 20A is a defective pixel, the defect correction unit calculates a corrected image value using the pixel C2 indicated by a circle as a peripheral pixel.
  • the defect correction unit may calculate, for example, an average value of pixel values of peripheral pixels to obtain a corrected image value, or may use an average value calculated by weighting according to the distance from the defective pixel to the peripheral pixel as a corrected image value. Good.
  • the defect correction unit has the same color component and the same polarization direction with respect to the defective pixel.
  • the defective pixel is corrected using the pixel value of the pixel. Therefore, for example, when the pixel R4 indicated by a double frame in FIG. 20B is a defective pixel, the same calculation as in the case of a black and white polarized image is performed using the pixel R4 indicated by a circle as a peripheral pixel. Calculate the image value.
  • texture detection may be performed using the pixel values of the pixels indicated by the circles.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be any type of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor).
  • FIG. 21 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, a vehicle exterior information detection unit 7400, a vehicle interior information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 for connecting the plurality of control units conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for communicating with other control units via a communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided. In FIG.
  • a microcomputer 7610 As a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
  • the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 22 shows an example of installation positions of the imaging unit 7410 and the vehicle outside information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or
  • FIG. 22 shows an example of shooting ranges of the respective imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
  • the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the vehicle interior information detection unit 7500 detects vehicle interior information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera.
  • the passenger can input information using a gesture.
  • data obtained by detecting the movement of the wearable device worn by the passenger may be input.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
  • a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi (registered trademark)). Other wireless communication protocols such as Bluetooth (registered trademark) may also be implemented.
  • the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point.
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. You may connect with.
  • a terminal for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal
  • P2P Peer To Peer
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
  • the dedicated communication I / F 7630 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
  • the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) Perform V2X communication, which is a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station installed on the road, and acquires information such as the current position, traffic jam, closed road, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link) via a connection terminal (and a cable if necessary). ) Etc. may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device that a passenger has, or an information device that is carried into or attached to the vehicle.
  • In-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • In-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform the cooperative control for the purpose of driving.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 acquires information via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
  • the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
  • the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
  • the imaging units 7410, 7910, 7912, 7914, 7916, and 7918 are configured to use the polarization imaging unit 20.
  • a defect information storage unit 34, a defect detection unit 35, and a defect correction unit 36 are provided in the integrated control unit 7600 of the application example shown in FIG.
  • the imaging units 7410, 7910, 7912, 7914, 7916, and 7918 can acquire a polarization image corrected for defective pixels, the acquired polarization image can be used for driving support and driving control.
  • the defect information storage unit 34 and the defect correction unit 36 may be realized in a module (for example, an integrated circuit module configured by one die) for the integrated control unit 7600 illustrated in FIG.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical disc), a DVD (Digital Versatile Disc), a BD (Blu-Ray Disc (registered trademark)), a magnetic disk, or a semiconductor memory card. It can be stored (recorded) in a removable recording medium such as temporarily or permanently. Such a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the image processing apparatus may have the following configuration. (1) From the pixel value of the target polarization pixel generated by the polarization imaging unit that acquires the polarization pixels of a plurality of polarization directions and the polarization characteristics corresponding to the pixel values of peripheral pixels having different polarization directions with respect to the target polarization pixel An image processing apparatus comprising a defect detection unit that detects whether or not the target polarization pixel is a defective pixel using the estimated pixel value of the target polarization pixel.
  • the defect detection unit sets the target polarization pixel as a defective pixel when a difference between a pixel value of the target polarization pixel and the estimated pixel value is outside a preset allowable range
  • An image processing apparatus 1.
  • the peripheral pixels include a plurality of pixels having the same polarization direction, The defect detection unit performs estimation of a pixel value of the target polarization pixel a plurality of times with different combinations of the plurality of pixels, and a difference between the pixel value of the target polarization pixel and the estimated pixel value is set in advance.
  • the defect detection unit detects whether the target polarization pixel is a defective pixel by using a pixel value of the target polarization pixel and a pixel value of a peripheral pixel having the same polarization direction as the target polarization pixel (1). ).
  • a difference between a pixel value of the target polarization pixel and the estimated pixel value is outside a first allowable range set in advance, and the pixel value of the target polarization pixel and the polarization direction (4)
  • the image processing apparatus wherein when the difference between the pixel values of peripheral pixels having the same value is outside the second allowable range set in advance, the target polarization pixel is a defective pixel.
  • the defect detection unit when a difference between a pixel value of the target polarization pixel and the estimated pixel value is outside a preset first allowable range, and when the difference is a preset first tolerance When the difference between the pixel value of the target polarization pixel and the pixel value of a peripheral pixel having the same polarization direction is outside the range of the second allowable range set in advance, the target polarization pixel is determined as a defective pixel.
  • the image processing apparatus according to (4).
  • (7) The image processing device according to (1), wherein the defect detection unit includes pixel values of peripheral pixels having different time directions in the pixel values of the peripheral pixels.
  • the defect detection unit is configured to detect the target polarization pixel based on a polarization characteristic corresponding to a pixel value of a peripheral pixel that is a color component pixel equal to the target polarization pixel and has a polarization direction different from that of the target polarization pixel.
  • the image processing apparatus according to (1), wherein a pixel value is estimated.
  • a white balance adjustment unit that equalizes pixel values for each color component generated by imaging a white subject;
  • the defect detection unit is a peripheral having a polarization direction different from that of the target polarization pixel based on a pixel value for each pixel obtained by adjusting the pixel value for each color component generated by imaging the white object by the white balance adjustment unit.
  • the image processing apparatus wherein a pixel value of the target polarization pixel is estimated using a pixel value of the pixel.
  • the peripheral pixels are pixels having at least two polarization directions different from the target polarization pixel.
  • the peripheral pixels are a pixel having one polarization direction different from the target polarization pixel and a non-polarization pixel.
  • an angle difference between polarization directions of the target polarization pixel and the peripheral pixels is an angle difference within a predetermined range with 45 ° as a reference.
  • the image processing apparatus having a defect information storage unit for storing defect information indicating a defective pixel;
  • the image processing apparatus according to any one of (1) to (12), wherein the defect detection unit updates defect information stored in the defect information storage unit based on a defect detection result of the target polarization pixel.
  • the image processing apparatus further includes a defect correction unit that uses a pixel value estimated based on polarization characteristics corresponding to pixel values of peripheral pixels having different polarization directions with respect to the defective pixel as a pixel value after correcting the defective pixel.
  • the image processing device according to any one of (13) to (13).
  • the image processing apparatus according to any one of (1) to (13), further including a defect correction unit that sets an average value of pixel values of peripheral pixels having a polarization direction equal to that of the defective pixel as a pixel value of the defective pixel.
  • the defect correction unit calculates a pixel value after correction of the defective pixel, using a pixel value of a peripheral pixel determined to have a texture whose polarization direction is equal to that of the defective pixel and equal to the defective pixel.
  • the pixel value of the target polarization pixel generated by the polarization imaging unit that acquires the polarization pixels of a plurality of polarization directions is different from the polarization direction of the target polarization pixel.
  • the defect detection unit uses the pixel value of the target polarization pixel estimated from the polarization characteristics corresponding to the pixel values of the peripheral pixels, the defect detection unit detects whether the target polarization pixel is a defective pixel. For this reason, it becomes possible to detect a pixel defect in a polarization imaging unit that generates a polarization image, and can be applied to a device that recognizes a three-dimensional shape, for example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

偏光撮像部２０は、偏光子を配して構成された複数偏光方向の偏光方向毎の偏光画素を含み、偏光画像の画像信号を画像処理部３０の欠陥検出部３５へ出力する。欠陥検出部３５は、偏光撮像部で生成された対象偏光画素の画素値と、対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性から推定した対象偏光画素の画素値との差が予め設定した許容範囲より大きい場合に対象偏光画素を欠陥画素とする。したがって、偏光画像を生成する偏光撮像部における画素の欠陥を検出できるようになる。

Description

画像処理装置と画像処理方法
　この技術は、画像処理装置と画像処理方法に関し、偏光撮像素子の欠陥を検出できるようにする。
　従来、ＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子では画素欠陥が生じることから、画素欠陥を検出して補正する処理が行われている。例えば特許文献１では、対象画素の近傍の同色画素を比較画素として、比較画素と対象画素の差分絶対値が第１の閾値より大きい比較画素の数を検出して、検出した比較画素の数が第２の閾値より大きい対象画素を欠陥画素と判定している。また、特許文献２では、所定の画素と所定の画素の周囲の複数の画素との信号出力レベルの差が欠陥検出閾値より大きければ所定の画素を欠陥画素と判定することが行われている。
特開２００８－０６７１５８号公報 特開２００２－２２３３９１号公報
　ところで、上述のような欠陥画素の判定は、入射面側に画素単位あるいは複数画素単位で偏光方向が異なる偏光子を設けた偏光撮像素子を用いることが考慮されていない。
　そこで、この技術では偏光撮像素子の欠陥検出を行うことができる画像処理装置と画像処理方法を提供することを目的とする。
　この技術の第１の側面は、
　複数の偏光方向の偏光画素を取得する偏光撮像部で生成された対象偏光画素の画素値と、前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性から推定した前記対象偏光画素の画素値を用いて、前記対象偏光画素が欠陥画素であるか検出する欠陥検出部を備える画像処理装置にある。
　この技術において、欠陥検出部は、偏光子を配して構成された複数偏光方向の偏光方向毎の偏光画素を含む偏光撮像部で生成された対象偏光画素について、偏光方向が異なる周辺画素の画素値に対応する偏光特性から対象偏光画素の画素値を推定して、対象偏光画素の画素値と推定した画素値との差が予め設定した許容範囲の範囲外である場合に対象偏光画素を欠陥画素とする。
　また、周辺画素は、対象偏光画素に対して異なる偏光方向であって、偏光方向が等しい複数の画素を含む場合、欠陥検出部は、偏光方向が等しい複数の画素から選択する画素を切り替えることで、対象偏光画素の画素値の推定に用いる周辺画素を複数の組み合わせとして、組み合わせ毎に対象偏光画素の画素値を推定して、対象偏光画素の画素値と推定した画素値との差が予め設定した許容範囲の範囲外となる組み合わせの割合が、予め設定された所定割合より大きい場合に対象偏光画素を欠陥画素としてもよい。
　また、欠陥検出部は、対象偏光画素の画素値と、さらに対象偏光画素と偏光方向が等しい周辺画素の画素値を用いて、対象偏光画素が欠陥画素であるか検出してもよい。この場合、欠陥検出部は、対象偏光画素の画素値と推定した画素値との差が予め設定した第１許容範囲の範囲外で、対象偏光画素の画素値と偏光方向が等しい周辺画素の画素値との差が予め設定した第２許容範囲の範囲外である場合、対象偏光画素を欠陥画素とする。また、欠陥検出部は、対象偏光画素の画素値と推定した画素値との差が予め設定した第１許容範囲の範囲外である場合、および差が予め設定した第１許容範囲の範囲内であって、対象偏光画素の画素値と偏光方向が等しい周辺画素の画素値との差が予め設定した第２許容範囲の範囲外である場合、対象偏光画素を欠陥画素としてもよい。
　また、欠陥検出部は、対象偏光画素と等しい色成分画素であって対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性に基づいて対象偏光画素の画素値を推定する。また、白色被写体を撮像して生成された色成分毎の画素値を等しくするホワイトバランス調整部を設けて、欠陥検出部は、白色被写体を撮像して生成された色成分毎の画素値をホワイトバランス調整部で調整した画素毎の画素値から、対象偏光画素に対して偏光方向が異なる周辺画素の画素値を用いて対象偏光画素の画素値を推定してもよい。
　さらに、欠陥検出部は、周辺画素の画素値に、時間方向が異なる周辺画素の画素値を含めてもよい。また、欠陥画素を示す欠陥情報を記憶する欠陥情報記憶部を設けている場合、欠陥検出部は、対象偏光画素の欠陥検出結果に基づき欠陥情報を更新する。
　周辺画素は、対象偏光画素と異なる少なくとも２偏光方向以上の画素である。また、周辺画素は、対象偏光画素と異なる１つの偏光方向の画素と無偏光画素としてもよい。この場合、対象偏光画素と周辺画素の偏光方向の角度差は、４５°を基準とした所定範囲内の角度差とする。
　また、欠陥画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性に基づいて推定した画素値を欠陥画素の補正後の画素値とする欠陥補正部、または、偏光方向が欠陥画素と等しく欠陥画素と等しいテクスチャと判定した周辺画素の画素値を用いて欠陥画素の補正後の画素値を算出する欠陥補正部を設けてもよい。欠陥補正部は、例えば偏光方向が欠陥画素と等しく欠陥画素のテクスチャの周辺画素の画素値の平均値を欠陥画素の画素値とする。
　この技術の第２の側面は、
　複数の偏光方向の偏光画素を取得する偏光撮像部で生成された対象偏光画素の画素値と、前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性から推定した前記対象偏光画素の画素値を用いて、前記対象偏光画素が欠陥画素であるか欠陥検出部で検出すること
を含む画像処理方法にある。
　この技術によれば、複数の偏光方向の偏光画素を取得する偏光撮像部で生成された対象偏光画素の画素値と、前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性から推定した前記対象偏光画素の画素値を用いて、前記対象偏光画素が欠陥画素であるか検出される。したがって、偏光画像を生成する偏光撮像部における画素の欠陥を検出できるようになる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
偏光画像の生成について説明するための図である。 輝度と偏光角との関係を例示した図である。 画像処理装置の動作を説明するための図である。 画像処理装置を用いた偏光画像システムの構成を例示した図である。 白黒偏光画像を生成する偏光撮像部の構成を例示した図である。 欠陥検出部の動作を示すフローチャートである。 第１の実施の形態における欠陥検出部の欠陥判定動作を説明するための図である。 第２の実施の形態における欠陥検出部の欠陥判定動作を説明するための図である。 第３の実施の形態における欠陥検出部の欠陥判定動作を説明するための図である。 第３の実施の形態における欠陥検出部の欠陥判定動作を示すフローチャートである。 第３の実施の形態における欠陥検出部の他の欠陥判定動作を示すフローチャートである。 第６の実施の形態の構成を例示した図である。 第７の実施の形態の構成を例示した図である。 第７の実施の形態における欠陥検出部の動作を説明するための図である。Ｓ　示す図である。 カラー偏光画像を生成する偏光撮像部の構成を例示した図である。 第８の実施の形態における欠陥検出部の欠陥判定動作を説明するための図である。 第９の実施の形態の構成を例示した図である。 偏光画素の画素値と無偏光画素の画素値の関係を説明するための図である。 偏光子とカラーフィルタの他の構成および組み合わせを例示した図である。 ２×２画素を偏光単位とした偏光子を用いる場合を説明するための図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部および撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．偏光画像と画像処理装置について
　２．画像処理装置の実施の形態
　　２－１．第１の実施の形態
　　２－２．第２の実施の形態
　　２－３．第３の実施の形態
　　２－４．第４の実施の形態
　　２－５．第５の実施の形態
　　２－６．第６の実施の形態
　　２－７．第７の実施の形態
　　２－８．第８の実施の形態
　　２－９．第９の実施の形態
　　２－１０．第１０の実施の形態
　　２－１１．他の実施の形態
　３．応用例
　＜１．偏光画像と画像処理装置について＞
　図１は、偏光画像の生成について説明するための図である。例えば図１に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、撮像部ＣＭは偏光子ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光子ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、説明を容易とするため、例えば偏光方向を回転したとき、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光子の平面上としたとき、偏光子の偏光方向を回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υpolとする。図１において、角度θは天頂角である。
　偏光子の偏光方向は、ｚ軸方向を軸として１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、偏光方向を回転させたときに観測される輝度Ｉは式（１）のように表すことができる。なお、図２は、輝度と偏光方向との関係を例示している。
Figure JPOXMLDOC01-appb-M000001
　式（１）では、偏光角υpolが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角φが変数となる。したがって、偏光方向が３方向以上の偏光画像の輝度を用いて、式（１）に示す偏光モデル式へのフィッティングを行うことにより、輝度と偏光方向の関係を示す偏光モデル式に基づいて、所望の偏光方向φの輝度を推定できる。
　画像処理装置は、対象偏光画素の周辺に位置する偏光方向が異なる周辺画素を用いて偏光モデル式へのフィッティングを行い、対象偏光画素の画素値を推定する。また、画像処理装置は、対象偏光画素の画素値と推定した画素値を用いて対象偏光画素が欠陥画素であるか否かの欠陥検出、および欠陥画素と判別されたときの欠陥補正を行う。なお、以下の説明では、偏光方向を示す変数Ｎを用いて、４つの偏光方向の偏光画素をＣＮ（Ｎ＝１～４）として示す。
　図３は画像処理装置の動作を説明するための図である。対象偏光画素Ｃ３は偏光方向Ｎ＝３で画素値Ｉ３、周辺画素Ｃ１は偏光方向Ｎ＝１で画素値Ｉ１、周辺画素Ｃ２は偏光方向Ｎ＝２で画素値Ｉ２、周辺画素Ｃ４は偏光方向Ｎ＝４で画素値Ｉ４とする。この場合、周辺画素に基づき偏光モデル式へのフィッティングを行い、フィッティング後の偏光モデル式から対象偏光画素Ｃ３の推定画素値Ｉ３estを算出できる。画像処理装置は、対象偏光画素Ｃ３の画素値Ｉ３が、推定画素値Ｉ３estを基準とした許容範囲Ｌpを超える場合に対象偏光画素Ｃ３を欠陥画素と判定する。また、偏光方向Ｎ＝１を０°，Ｎ＝２を４５°，Ｎ＝３を９０°，Ｎ４を１３５°とすると、理想状態では式（２）が成り立ち、式（２）を変形すると式（３）となる。
　　（Ｉ２＋Ｉ４）／２＝（Ｉ１＋Ｉ３）／２　　 　・・・（２）
　　Ｉ３est＝（Ｉ２＋Ｉ４）－Ｉ１　　　　　　　　・・・（３）
　したがって、画像処理装置は、対象偏光画素Ｃ３が欠陥画素と判定された場合、式（３）を予測式として用いて欠陥補正を行い、周辺画素Ｃ１，Ｃ２，Ｃ４の画素値Ｉ１，Ｉ２，Ｉ４に基づき算出した推定画素値Ｉ３estを補正画素値Ｉ３ｃとする。
　なお、対象偏光画素が画素Ｃ１である場合、式（４）を予測式として用いて欠陥補正を行い、偏光方向が異なる周辺画素の画素値に基づいて算出した推定画素値Ｉ１estを補正画素値とする。対象偏光画素が画素Ｃ２である場合、式（５）を予測式として用いて欠陥補正を行い、偏光方向が異なる周辺画素の画素値に基づいて算出した推定画素値Ｉ２estを補正画素値とする。対象偏光画素が画素Ｃ４である場合、式（６）を予測式として用いて欠陥補正を行い、偏光方向が異なる周辺画素の画素値に基づいて算出した推定画素値Ｉ４estを補正画素値とする。
　　Ｉ１est＝（Ｉ２＋Ｉ４）－Ｉ３　　　　　　　　・・・（４）
　　Ｉ２est＝（Ｉ１＋Ｉ３）－Ｉ４　　　　　　　　・・・（５）
　　Ｉ４est＝（Ｉ１＋Ｉ３）－Ｉ２　　　　　　　　・・・（６）
　また、画像処理装置は、欠陥画素と偏光方向が等しい周辺画素の画素値を用いて欠陥画素の補正を行ってもよい。
　＜２．画像処理装置の実施の形態＞
　次に、画像処理装置の実施の形態について説明する。図４は、画像処理装置を用いた偏光画像システムの構成を例示している。偏光画像システム１０は、偏光撮像部２０と画像処理部３０を有しており、画像処理部３０は本技術の画像処理装置に相当する。
　画像処理部３０は、欠陥検出部３５と欠陥情報記憶部３４および欠陥補正部３６を有しており、偏光子を配して構成された複数偏光方向の偏光方向毎の偏光画素を含む偏光撮像部２０で生成された偏光ＲＡＷ画像に対して欠陥検出や欠陥補正を行う。なお、画像処理部３０は、欠陥検出部３５と欠陥補正部３６のいずれかを有する構成であってもよく、欠陥情報記憶部３４は、画像処理部３０と別個に構成されていてもよい。
　第１～第７の実施の形態では偏光画像が白黒画像である場合について説明する。また、第８,第９の実施の形態では偏光画像がカラー画像である場合について説明する。さらに、第１０の実施の形態では偏光画像の偏光方向が２方向である場合について説明する。
　＜２－１．第１の実施の形態＞
　図５は、白黒偏光画像を生成する偏光撮像部の構成を例示している。偏光撮像部２０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサ２０１と、偏光子２０２を用いて構成される。イメージセンサ２０１は、偏光子２０２を介して入射された被写体光の光電変換を行い、被写体光に応じた画像信号、すなわち白黒偏光画像のＲＡＷ画像信号を生成する。偏光撮像部２０は、白黒偏光画像のＲＡＷ画像信号を画像処理部３０へ出力する。
　偏光子２０２は、被写体光から直線偏光光を取り出せればよく、例えばワイヤーグリッドやフォトニック液晶等を用いる。偏光子２０２は、偏光成分単位を画素単位として、偏光モデル式へのフィッティングおよび予測式が成立する条件を満たすことができるように複数偏光方向（例えば０°，４５°，９０°，１３５°の４方向）の画素を設けた場合を例示している。
　画像処理部３０の欠陥検出部３５は、偏光撮像部２０で生成された白黒偏光ＲＡＷ画像（以下「偏光画像」という）における対象偏光画素が欠陥画素であるか検出する。また、欠陥検出部３５は、欠陥情報記憶部３４に記憶されている欠陥情報に基づき、対象偏光画素が欠陥画素でないことが示されている場合に欠陥検出を行うことで、対象偏光画素が欠陥画素に変化したか検出してもよい。対象偏光画素が欠陥画素であるか否かの判別は、偏光方向が異なる周辺画素の画素値に対応する偏光特性を示すフィッティング後の偏光モデル式に基づき対象偏光画素の画素値を推定して、対象偏光画素の画素値と推定した画素値（以下「推定画素値」という）に基づいて行う。例えば、欠陥検出部３５は、対象偏光画素の画素値と推定した画素値との差が予め設定した許容範囲の範囲外である場合に対象偏光画素を欠陥画素と判定する。欠陥検出部３５は、対象偏光画素が欠陥画素であると判別した場合、対象偏光画素が欠陥画素であることを示す情報を、欠陥情報記憶部３４から取得した欠陥情報に加えて、偏光画像と共に欠陥補正部３６へ出力する。
　欠陥補正部３６は、欠陥検出部３５から供給された偏光画像と欠陥情報に基づき、偏光画像における欠陥情報で示された欠陥画素の補正を、欠陥画素の周辺に位置する周辺画素を用いて補正する。
　次に欠陥検出部３５の動作について説明する。図６は、欠陥検出部の動作を示すフローチャートである。ステップＳＴ１で欠陥検出部は対象偏光画素が既知欠陥画素であるか判別する。欠陥検出部３５は、欠陥情報記憶部３４に記憶されている欠陥情報によって、対象偏光画素が欠陥画素であると示されている場合、対象偏光画素は既知欠陥画素であると判別してステップＳＴ４に進む。また、欠陥検出部３５は、欠陥情報によって、対象偏光画素が欠陥画素であると示されていない場合、ステップＳＴ２に進む。
　ステップＳＴ２で欠陥検出部は対象偏光画素の推定画素値を算出する。欠陥検出部３５は、対象偏光画素の欠陥画素の周辺に位置する偏光方向が異なる周辺画素を用いて推定画素値を算出してステップＳＴ３に進む。なお、推定画素値を算出については後述する。
　ステップＳＴ３で欠陥検出部は差分絶対値が閾値以下であるか判別する。欠陥検出部３５は、対象偏光画素の画素値とステップＳＴ３で算出した推定画素値の差分絶対値を算出して、差分絶対値が閾値よりも大きい場合はステップＳＴ４に進み、差分絶対値が閾値以下である場合はステップＳＴ５に進む。
　ステップＳＴ４で欠陥検出部は、対象偏光画素を欠陥画素と判定する、欠陥検出部３５は、対象偏光画素が既知欠陥画素または推定画素値との差分絶対値が閾値よりも大きいことから、対象偏光画素を欠陥画素と判別する。
　ステップＳＴ５で欠陥検出部は、対象偏光画素を非欠陥画素と判定する、欠陥検出部３５は、対象偏光画素が既知欠陥画素ではなく、推定画素値との差分絶対値が閾値以下であることから、対象偏光画素を非欠陥画素と判別する。
　次に、欠陥検出部における推定画素値の算出動作と欠陥判定動作について説明する。欠陥検出部３５は、対象偏光画素に対する周辺画素の画素値を用いて対象偏光画素の推定画素値を算出する。推定画素値の算出する用いる周辺画素の領域を大きくした場合、多くの偏光画素の画素値を用いて推定画素値の算出が行われることからノイズに対する耐性を向上できる。しかし、周辺画素の領域を大きくすると、対象偏光画素と異なるテクスチャの画素が含まれ易くなり、周辺画素に異なるテクスチャの画素が含まれると正しい推定画素値が得られない。そこで、欠陥検出部３５は、ノイズに対する耐性が高く対象偏光画素と異なるテクスチャの影響が少ないように予め設定された領域サイズ内の周辺画素を用いて推定画素値を算出する。
　図７は第１の実施の形態における欠陥検出部の欠陥判定動作を説明するための図である。図７の（ａ）は、欠陥検出を行う対象偏光画素と周辺画素を示している。欠陥検出部３５は、対象偏光画素Ｃ３(x,y)を中心とした３×３画素領域（周辺画素領域）の周辺画素の画素値を用いて推定画素値を算出する。対象偏光画素Ｃ３の偏光方向が９０°、周辺画素Ｃ１(x-1,y-1)，Ｃ１(x-1,y+1)，Ｃ１(x+1,y+1)，Ｃ１(x+1,y-1)の偏光方向が０°、周辺画素Ｃ２(x-1,y)，Ｃ２(x+1,y)の偏光方向が４５°、周辺画素Ｃ４(x,y-1)，Ｃ４(x,y+1)の偏光方向が１３５°である場合、理想状態では上述の式（３）が成り立つ。また、第１の実施の形態では、式（３）における画素値Ｉ１，Ｉ２，Ｉ４を、周辺画素領域内における偏光方向が等しい画素の画素平均値とする。すなわち、図７における（ａ）の場合、欠陥検出部３５は、式（７）～（９）で算出された画素値Ｉ１，Ｉ２，Ｉ４を用いる。
　Ｉ１＝(Ｉ１(x-1,y-1)＋Ｉ１(x-1,y+1)＋Ｉ１(x+1,y+1)＋Ｉ１(x+1,y-1))／４
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（７）
　Ｉ２＝(Ｉ２(x-1,y)＋Ｉ２(x+1,y))／２　・・・（８）
　Ｉ４＝(Ｉ４(x,y-1)＋Ｉ４(x,y+1))／２　・・・（９）
　欠陥検出部３５は、対象偏光画素の画素値と推定した画素値との差が予め設定した許容範囲の範囲外である場合に欠陥画素と判定する。すなわち、欠陥検出部３５は、対象偏光画素Ｃ３(x,y)の画素値Ｉ３(x,y)が、式（３）と式（７）乃至式（９）に基づき算出した推定画素値Ｉ３estを基準とする許容範囲Ｌpを超える場合に欠陥画素と判定する。なお、図７の（ｂ）は、偏光モデルと偏光方向に対する画素値を示しており、白丸は対象偏光画素と周辺画素の画素値を示している。黒丸は偏光方向毎の画素平均値、三角印は推定画素値を示している。
　欠陥検出部３５は、対象偏光画素Ｃ３(x,y)の画素値Ｉ３(x,y)が許容範囲Ｌpの範囲内である場合、対象偏光画素Ｃ３(x,y)を非欠陥画素と判定する。許容範囲Ｌpは、予め設定されていてもよく、無偏光の画素値（例えばＩ２＋Ｉ４）に応じて許容範囲を調整してもよい。具体的には、無偏光の画素値が小さくなるに伴い許容範囲Ｌｐを狭くすることで、例えば無偏光の画素値が小さくなると、許容範囲が固定されている場合に、欠陥画素が非欠陥画素と判別され易くなってしまうことを防止できる。
　欠陥補正部３６は、例えば欠陥画素に対して偏光方向が異なる周辺画素で生成された画素値に対応する偏光特性に基づいて推定した推定画素値を欠陥画素の補正画素値とする。欠陥補正部３６は、対象偏光画素Ｃ３(x,y)が欠陥画素と判定された場合、算出されている推定画素値Ｉ３estを対象偏光画素Ｃ３(x,y)の補正画素値Ｉ３ｃ(x,y)とする。
　なお、対象偏光画素が画素Ｃ１，Ｃ２，Ｃ４の場合は、式（４）乃至（６）を用いて算出した推定画素値Ｉ１est，Ｉ２est，Ｉ４estを用いて、欠陥画素の判定や欠陥画素の補正を行う。
　また、欠陥検出部３５は、対象偏光画素Ｃ３(x,y)を中心とした３×３画素領域（周辺画素領域）の周辺画素の画素値を用いて推定画素値を算出する場合に限られない。例えば、ラスタースキャン順に処理を行う場合、３ライン目の開始から３画素の画素値が得られないと推定画素値を算出できない。したがって、欠陥検出部３５は、対象偏光画素を含む２×２画素領域内の偏光方向が異なる他の３画素の画素値を用いて偏光モデル式へのフィッティングを行い、対象偏光画素の推定画素値を算出してもよい。このように２×２画素領域の画素値を用いて欠陥検出を行えば、２ライン目の開始から２画素分の画素値が得られると推定画素値を算出できるので、画素欠陥検出と欠陥補正を速やかに開始できる。
　偏光画像では、対象偏光画素と周辺画素の偏光方向が異なると、偏光方向の違いによって差分絶対値が大きくなる。例えば、対象偏光画素と周辺画素の偏光方向が直交する場合、入射光が対象偏光画素の偏光方向と等しい偏光成分であると、対象偏光画素の画素値は周辺画素の画素値に比べて大きくなる。したがって、偏光子を用いていない従来の無偏光画像と同様に周辺画素との差分絶対値に基づき欠陥検出を行うと、対象偏光画素が欠陥を生じていなくとも欠陥画素と判定されてしまう。
　しかし、第１の実施の形態によれば、対象偏光画素の画素値と、この対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性から推定した対象偏光画素の画素値を用いて、対象偏光画素の欠陥検出が行われる。このため、偏光方向の異なる周辺画素を用いても、偏光方向の違いによる誤検出を生じることなく欠陥検出を行うことができる。また、偏光方向が異なる周辺画素の画素値を用いて欠陥検出を行うことができるので、従来の無偏光画像と同様に偏光方向が等しい周辺画素との差分絶対値に基づき欠陥検出を行う場合に比べて周辺画素領域を小さくできる。
　＜２－２．第２の実施の形態＞
　次に第２の実施の形態について説明する。第２の実施の形態は、第１の実施の形態に対して、欠陥検出部の動作が異なる。第２の実施の形態では、対象偏光画素に対して異なる偏光方向であって、偏光方向が等しい複数の画素を周辺画素に含めるようにする。また、欠陥検出部は、偏光方向が等しい複数の画素から選択する画素を切り替えることで、対象偏光画素の画素値の推定に用いる周辺画素を複数の組み合わせとする。さらに、欠陥検出部は、対象偏光画素の画素値が推定画素値を基準とした許容範囲を超える組み合わせの割合に応じて、対象偏光画素の欠陥検出を行う。
　図８は、第２の実施の形態における欠陥検出部の欠陥判定動作を説明するための図である。欠陥検出部３５は対象偏光画素Ｃ３(x,y)を中心とした３×３画素領域（周辺画素領域）の周辺画素の画素値を用いて推定画素値を算出する。対象偏光画素Ｃ３の偏光方向が９０°、周辺画素Ｃ１(x-1,y-1)，Ｃ１(x-1,y+1)，Ｃ１(x+1,y+1)，Ｃ１(x+1,y-1)の偏光方向が０°、周辺画素Ｃ２(x-1,y)，Ｃ２(x+1,y)の偏光方向が４５°、周辺画素Ｃ４(x,y-1)，Ｃ４(x,y+1)の偏光方向が１３５°である場合、理想状態では上述のように式（３）が成り立つ。第２の実施の形態では、式（３）における画素値Ｉ１，Ｉ２，Ｉ４を、周辺画素領域内における偏光方向が等しい複数の画素値から選択して用いる。ここで、周辺画素領域において画素Ｃ１は４画素、画素Ｃ２は２画素、画素Ｃ４は２画素である。したがって、周辺画素の組み合わせは、１６通り（４×２×２）となり、欠陥検出部３５は、１６通りの組み合わせ毎に推定画素値を算出する。
　欠陥検出部３５は、組み合わせ毎に、式（３）に基づき推定画素値Ｉ３estを算出して、対象偏光画素Ｃ３(x,y)の画素値Ｉ３(x,y)が推定画素値Ｉ３estを基準とした許容範囲Ｌpを超えるか否かを判定する。図８の（ａ）は、対象偏光画素Ｃ３(x,y)を中心とした３×３画素領域（周辺画素領域）の周辺画素を示しており、図８の（ｂ）乃至（ｄ）は周辺画素の異なる組み合わせの一部について偏光モデル式を例示している。図８の（ａ）における点線の組み合わせ（ｃａｓｅ１）では、図８の（ｂ）に示すように、対象偏光画素Ｃ３(x,y)の画素値Ｉ３(x,y)が許容範囲Ｌpの範囲内と判定されている。また、図８の（ａ）における一点鎖線の組み合わせ（ｃａｓｅ２）では、図８の（ｃ）に示すように、対象偏光画素Ｃ３(x,y)の画素値Ｉ３(x,y)が許容範囲Ｌpの範囲外と判定されている。また、図８の（ａ）における二点鎖線の組み合わせ（ｃａｓｅ３）では、図８の（ｄ）に示すように、対象偏光画素Ｃ３(x,y)の画素値Ｉ３(x,y)が許容範囲Ｌpの範囲外と判定されている。さらに、図示しない他の組み合わせについても同様に、対象偏光画素Ｃ３(x,y)の画素値Ｉ３(x,y)が許容範囲Ｌpの範囲外であるか否かを判定する。なお、許容範囲Ｌpは、第１の実施の形態と同様に、予め設定されていてもよく、無偏光の画素値（例えばＩ２＋Ｉ４）に応じて許容範囲を調整してもよい。
　その後、欠陥検出部３５は、対象偏光画素Ｃ３(x,y)の画素値Ｉ３(x,y)が許容範囲Ｌpの範囲外と判定された組み合わせの割合が所定割合よりも大きい場合に対象偏光画素Ｃ３(x,y)を欠陥画素、所定割合以下である場合に対象偏光画素Ｃ３(x,y)を非欠陥画素と判定する。
　欠陥補正部３６は、対象偏光画素Ｃ３(x,y)が欠陥画素と判定された場合、組み合わせ毎に算出した推定画素値Ｉ３estに基づき対象偏光画素Ｃ３(x,y)の補正画素値Ｉ３ｃ(x,y)を算出する。欠陥補正部３６は、例えば組み合わせ毎に算出した推定画素値Ｉ３estの平均値を補正画素値Ｉ３ｃ(x,y)とする。また、欠陥補正部３６は、第１の実施の形態と同様に算出した推定画素値Ｉ３estを対象偏光画素Ｃ３(x,y)の補正画素値Ｉ３ｃ(x,y)としてもよい。
　なお、補正対象偏光画素が画素Ｃ１，Ｃ２，Ｃ４の場合も、式（４）～（６）を用いて同様な処理を行うことで欠陥画素の検出や補正を行うことができる。
　このように、第２の実施の形態によれば、第１の実施の形態と同様に精度よく欠陥検出を行うことができる。また、周辺画素の複数の組み合わせで欠陥検出を行うことができるので、第１の実施の形態に比べて、安定した欠陥検出を行うことができる。
　＜２－３．第３の実施の形態＞
　次に第３の実施の形態について説明する。第３の実施の形態は、第１乃至第２の実施の形態に対して、欠陥検出部の動作が異なる。第３の実施の形態では、対象偏光画素の周辺に位置する偏光方向が異なる周辺画素だけでなく、対象偏光画素と偏光方向が等しい近接した画素の画素値をさらに用いて欠陥検出を行う。
　図９は、第３の実施の形態における欠陥検出部の欠陥判定動作を説明するための図である。欠陥検出部３５は対象偏光画素Ｃ３(x,y)と偏光方向が等しい周辺画素である画素Ｃ３(x,y-2)，Ｃ３(x-2,y)，Ｃ３(x+2,y)，Ｃ３(x,y+2)の画素値を用いた欠陥検出（周辺情報利用欠陥検出）を行う。また、欠陥検出部３５は、第１または第２の実施の形態のように、対象偏光画素Ｃ３(x,y)を中心とした周辺画素領域の偏光方向が異なる周辺画素の画素値を用いた欠陥検出（偏光特性利用欠陥検出）を行う。さらに、欠陥検出部３５は、周辺情報利用欠陥検出と偏光特性利用欠陥検出の欠陥検出結果に基づき、対象偏光画素Ｃ３(x,y)が欠陥画素であるか判定する。
　周辺情報利用欠陥検出では、偏光方向が等しい周辺画素の平均値と対象偏光画素の画素値との差分が第２許容範囲の範囲外である場合、例えば式（１０）の条件を満たす場合に対象偏光画素を欠陥画素候補と判定する。画素Ｃ３(x,y-2)，Ｃ３(x-2,y)，Ｃ３(x+2,y)，Ｃ３(x,y+2)の画素値はＩ３(x,y-2)，Ｉ３(x-2,y)，Ｉ３(x+2,y)，Ｉ３(x,y+2)である。
　((Ｉ３(x,y-2)＋Ｉ３(x-2,y)＋Ｉ３(x+2,y)＋Ｉ３(x,y+2))／４)－Ｉ３(x,y)＞ＤＥth                                                              ・・・（１０）
　図１０は、第３の実施の形態における欠陥検出部の欠陥判定動作を示すフローチャートである。ステップＳＴ１１で欠陥検出部は、偏光特性利用欠陥検出結果が欠陥画素候補であるか判別する。欠陥検出部３５は、第１または第２の実施の形態と同様な欠陥検出である偏光特性利用欠陥検出を行い、対象偏光画素の画素値が許容範囲Ｌｐの範囲外である場合は欠陥画素候補と判別してステップＳＴ１２に進む。また、欠陥検出部３５は、対象偏光画素の画素値が許容範囲Ｌｐの範囲内である場合は欠陥画素候補でないと判別してステップＳＴ１４に進む。
　ステップＳＴ１２で欠陥検出部は、周辺情報利用欠陥検出結果が欠陥画素候補であるか判別する。欠陥検出部３５は、周辺情報利用欠陥検出を行い、偏光方向が等しい周辺画素の平均値と対象偏光画素の画素値との差分が閾値よりも大きい場合は欠陥画素候補と判別してステップＳＴ１３に進む。また、欠陥検出部３５は、差分が閾値以下である場合、欠陥画素候補でないと判別してステップＳＴ１４に進む。
　ステップＳＴ１３で欠陥検出部は、対象偏光画素を欠陥画素と判定する、欠陥検出部３５は、対象偏光画素が偏光特性利用欠陥検出と周辺情報利用欠陥検出で欠陥画素候補と判別されていることから、対象偏光画素を欠陥画素と判別する。
　ステップＳＴ１４で欠陥検出部は、対象偏光画素を非欠陥画素と判定する、欠陥検出部３５は、対象偏光画素が偏光特性利用欠陥検出または周辺情報利用欠陥検出で欠陥画素候補でないと判別されていることから、対象偏光画素を非欠陥画素と判別する。このような欠陥判定動作を行うことで、欠陥画素を確実に検出できる。
　図１１は、第３の実施の形態における欠陥検出部の他の欠陥判定動作を示すフローチャートである。ステップＳＴ２１で欠陥検出部は、偏光特性利用欠陥検出結果が欠陥画素候補であるか判別する。欠陥検出部３５は、第１または第２の実施の形態と同様な欠陥検出である偏光特性利用欠陥検出を行い、対象偏光画素の画素値が許容範囲Ｌｐの範囲外である場合は欠陥画素候補と判別してステップＳＴ２３に進む。また、欠陥検出部３５は、対象偏光画素の画素値が許容範囲Ｌｐの範囲内である場合は欠陥画素候補でないと判別してステップＳＴ２２に進む。
　ステップＳＴ２２で欠陥検出部は、周辺情報利用欠陥検出結果が欠陥画素候補であるか判別する。欠陥検出部３５は、周辺情報利用欠陥検出を行い、偏光方向が等しい近接した画素の平均値と対象偏光画素の画素値との差分が閾値よりも大きい場合は欠陥画素候補と判別してステップＳＴ２３に進む。また、欠陥検出部３５は、差分が閾値以下である場合、欠陥画素候補でないと判別してステップＳＴ２４に進む。
　ステップＳＴ２３で欠陥検出部は、対象偏光画素を欠陥画素と判定する、欠陥検出部３５は、対象偏光画素が偏光特性利用欠陥検出と周辺情報利用欠陥検出のいずれかで欠陥画素候補と判別されている場合、対象偏光画素を欠陥画素と判別する。
　ステップＳＴ２４で欠陥検出部は、対象偏光画素を非欠陥画素と判定する、欠陥検出部３５は、対象偏光画素が偏光特性利用欠陥検出と周辺情報利用欠陥検出で欠陥画素候補でないと判別されていることから、対象偏光画素を非欠陥画素と判別する。このような欠陥判定動作を行うことで、欠陥画素の検出漏れを少なくできる。
　欠陥補正部３６は、対象偏光画素Ｃ３(x,y)が欠陥画素と判定された場合、第１の実施の形態と同様な演算を行い、推定画素値Ｉ３estを算出して、算出した推定画素値Ｉ３estを対象偏光画素Ｃ３(x,y)の補正画素値Ｉ３ｃ(x,y)とする。または、欠陥補正部３６は、対象偏光画素Ｃ３(x,y)が欠陥画素と判定された場合、第２の実施の形態と同様に、例えば組み合わせ毎に算出した推定画素値Ｉ３estの平均値を補正画素値Ｉ３ｃ(x,y)としてもよい。
　このような第３の実施の形態によれば、偏光方向の等しい周辺画素をさらに用いて欠陥検出が行われることから、偏光方向の異なる周辺画素のみを用いて欠陥検出を行う場合に比べて、欠陥検出性能を高めることが可能となる。
　＜２－４．第４の実施の形態＞
　次に第４の実施の形態について説明する。第４の実施の形態は、第１乃至第３の実施の形態に対して、欠陥補正部の動作が異なり、偏光方向の等しい周辺画素の画素値を用いて対象偏光画素の補正画素値を算出する。
　欠陥補正部３６は、対象偏光画素Ｃ３(x,y)が欠陥画素と判定された場合、偏光方向の等しい周辺画素の画素値、例えば図９に示す画素Ｃ３(x,y-2)，Ｃ３(x-2,y)，Ｃ３(x+2,y)，Ｃ３(x,y+2)の画素値がＩ３(x,y-2)，Ｉ３(x-2,y)，Ｉ３(x+2,y)，Ｉ３(x,y+2)である場合、式（１１）の演算を行い、Ｉ３ｃ(x,y)を算出する。
　Ｉ３ｃ(x,y)＝((Ｉ３(x,y-2)＋Ｉ３(x-2,y)＋Ｉ３(x+2,y)＋Ｉ３(x,y+2))／４
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１１）
　また、偏光方向の等しく水平方向の周辺画素の画素値を用いて対象偏光画素の補正画素値を算出してもよい。例えば対象偏光画素Ｃ３(x,y)が欠陥画素と判定された場合、式（１２）の演算を行い、Ｉ３ｃ(x,y)を算出する。
　Ｉ３ｃ(x,y)＝(Ｉ３(x-2,y)＋Ｉ３(x+2,y))／４　　　　・・・（１２）
　このように、第４の実施の形態では、偏光方向の等しい周辺画素の画素値を用いて対象偏光画素の補正画素値を算出することから、欠陥画素の補正を容易に行うことができる。また、水平方向の周辺画素の画素値を用いて欠陥補正を行うようにすれば、１ラインの画素のみで欠陥補正を行うことができるので、欠陥補正部３６をハードウェアで構成する場合に回路規模を小さくできる。
　＜２－５．第５の実施の形態＞
　次に第５の実施の形態について説明する。第５の実施の形態は、第４の実施の形態に対して欠陥補正部の動作が異なり、偏光方向が欠陥画素と等しく欠陥画素と等しいテクスチャと判定した周辺画素の画素値を用いて欠陥画素の補正後の画素値を算出する。
　テクスチャ検出では、周辺画素領域にテクスチャ境界が含まれているか水平方向と垂直方向で検出して、テクスチャ検出結果に基づき補正画素値の算出に用いる周辺画素を選択する。欠陥補正部３６は、例えばラプラシアンフィルタを用いてテクスチャ検出を行い、対象偏光画素が図９に示す画素Ｃ３(x,y)である場合、式（１３）に基づき水平方向テクスチャ判定値ｄｈと式（１４）に基づき垂直方向テクスチャ判定値ｄｖを算出する。テクスチャ判定値は、テクスチャが等しい場合に絶対値が小さく、テクスチャが異なる場合に接待値が大きくなる。
　　ｄｈ＝ＡＢＳ（Ｉ３(x,y-2)－２×Ｉ３(x,y)＋Ｉ３(x,y+2)）　・・・（１３）
　　ｄｖ＝ＡＢＳ（Ｉ３(x-2,y)－２×Ｉ３(x,y)＋Ｉ３(x+2,y)）　・・・（１４）
　さらに、欠陥補正部３６は、水平方向テクスチャ判定値ｄｈと水平方向テクスチャ判定値ｄｈを比較して、式（１５）～（１７）に示すように、偏光方向が欠陥画素と等しく欠陥画素と等しいテクスチャと判定した周辺画素の画素値を用いて、画素Ｃ３(x,y)の補正画素値を算出する。
　ｄｈ＞ｄｖの場合
　　Ｉ３ｃ(x,y)＝（Ｉ３(x-2,y)＋Ｉ３(x+2,y)）／２　　　・・・（１５）
　ｄｈ＜ｄｖの場合
　　Ｉ３ｃ(x,y)＝（Ｉ３(x,y-2)＋Ｉ３(x,y+2)）／２　　　・・・（１６）
　ｄｈ＝ｄｖの場合
　　Ｉ３ｃ(x,y)＝((Ｉ３(x,y-2)＋Ｉ３(x-2,y)＋Ｉ３(x+2,y)＋Ｉ３(x,y+2))／４
　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１７）
　なお、テクスチャ検出では、テクスチャ境界を検出できればよく、ラプラシアンフィルタに限らずハイパスフィルタやソーベルフィルタを用いてもよい。
　このように、第５の実施の形態では、テクスチャ検出を行い、偏光方向が欠陥画素と等しく欠陥画素と等しいテクスチャと判定した周辺画素の画素値を用いて欠陥補正を行うことから、欠陥補正において異なるテクスチャの周辺画素が用いられることがなく、精度よく欠陥画素を補正できる。
　＜２－６．第６の実施の形態＞
　次に第６の実施の形態について説明する。上述の第１乃至第５の実施の形態では、空間方向の周辺画素、すなわち対象偏光画素と同一フレームの周辺画素を用いて欠陥検出を行っているが、第６の実施の形態では、時間方向の周辺画素も用いて欠陥検出を行う。以下、対象偏光画素のフレームと過去フレームを用いて欠陥検出を行う場合について説明する。
　図１２は、第６の実施の形態の構成を例示している。画像処理部３０は、過去画像記憶部３１、欠陥情報記憶部３４、欠陥検出部３５、欠陥補正部３６を有している。
　過去画像記憶部３１は、偏光撮像部２０で生成された過去所定フレーム数分の偏光画像を記憶する。また、過去画像記憶部３１に記憶されている偏光画像は、欠陥検出部３５へ出力される。
　欠陥検出部３５は、欠陥情報記憶部３４に記憶されている欠陥情報と過去画像記憶部３１に記憶されている偏光画像に基づき、偏光画像における対象偏光画素の欠陥検出を行う。
　欠陥検出部３５は、欠陥検出を行う偏光画像がｎフレームであり、例えば過去偏光画像として（ｎ－１）フレームと（ｎ－２）フレームの偏光画像を用いる場合、ｎフレーム乃至（ｎ－２）フレームの偏光画像の平均化偏光画像を生成する。平均化偏光画像は、画素位置毎にｎフレームと（ｎ－１）フレームと（ｎ－２）フレームの画素値を平均して生成する。欠陥検出部３５は、式（３）を用いて推定画素値を算出する場合、平均化偏光画像における周辺画素Ｃ１，Ｃ２，Ｃ４の画素値Ｉ１，Ｉ２，Ｉ４を用いる。また、過去偏光画像では、欠陥検出を行う偏光画像と同一テクスチャの画像を用いる。
　欠陥補正部３６は、対象偏光画素Ｃ３が推定画素値に基づいて欠陥画素と判定された場合、推定画素値を対象偏光画素Ｃ３の補正画素値Ｉ３ｃとする。また、欠陥補正部３６は、既知欠陥画素について推定画素値の算出を行い、算出した推定画素値を既知欠陥画素の補正画素値とする。
　このような処理を行えば、例えば動画撮像時にｎフレームの周辺画素にノイズ等が生じても、過去偏光画像を用いることでノイズ等の影響を軽減して、欠陥検出や欠陥補正を行うことができる。
　＜２－７．第７の実施の形態＞
　第７の実施の形態では、欠陥検出部３５の欠陥検出結果に基づき欠陥情報記憶部３４の欠陥情報を更新する場合について説明する。
　図１３は第７の実施の形態の構成を例示している。画像処理部３０は、欠陥情報記憶部３４、欠陥検出部３５、欠陥補正部３６を有している。欠陥検出部３５は、検出した欠陥画素の位置を示す追加欠陥情報を生成して欠陥情報記憶部３４へ出力する。欠陥情報記憶部３４は、欠陥検出部３５から供給された追加欠陥情報を用いて、記憶している欠陥情報を更新する。また、欠陥情報記憶部３４は、その後の偏光画像の欠陥検出を欠陥検出部３５で行う際に、更新後の欠陥情報を欠陥検出部３５へ出力する。
　図１４は、第７の実施の形態における欠陥検出部の動作を説明するための図である。欠陥検出部３５は、新たに欠陥画素と判別された場合、新たに欠陥画素と判別された画素が例えば連続する所定数のフレームで欠陥画素と引き続き判定された場合に、この欠陥画素の画素位置を示す追加欠陥情報を生成して欠陥情報記憶部３４へ出力する。例えば画素Ｃ３が、ｎ－２フレームで欠陥画素と判定されておらず、ｎ－１フレームからｎ＋１フレームまで連続して欠陥画素と判別された場合、欠陥検出部３５は、連続する所定数のフレーム（図では３フレーム）で欠陥画素と判定された画素Ｃ３の画素位置を示す追加欠陥情報を生成して欠陥情報記憶部３４へ出力する。
　欠陥情報記憶部３４は、欠陥検出部３５から供給された追加欠陥情報に基づき、記憶している欠陥情報の更新を行い、画素Ｃ３が欠陥画素であることを欠陥情報に追加する。したがって、ｎ＋２フレーム以降の偏光画像の欠陥検出では、画素Ｃ３が既知欠陥画素として処理される。
　このように、第７の実施の形態によれば、非欠陥画素が欠陥画素となった場合、欠陥となった画素が、既知欠陥画素として欠陥情報に登録される。したがって、欠陥となった画素に対して、欠陥検出が引き続き行われることがなく、欠陥検出を効率よく行える。また、連続する所定数のフレームで欠陥画素と引き続き判定された場合に欠陥情報の更新が行われることから、例えば１つのフレームで欠陥画素と誤って検出されても、この欠陥検出結果によって欠陥情報の更新が行われてしまうことがない。
　＜２－８．第８の実施の形態＞
　次に、第８の実施の形態では、偏光画像がカラー画像である場合について説明する。偏光撮像部２０は、複数偏光方向の偏光方向毎の偏光画素からなるカラー偏光画像を生成する。図１５は、カラー偏光画像を生成する偏光撮像部の構成を例示している。偏光撮像部２０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサ２０１と、偏光子２０２とカラーフィルタ２０３を用いて構成される。イメージセンサ２０１は、偏光子２０２とカラーフィルタ２０３を介して入射された被写体光の光電変換を行い、被写体光に応じた画像信号、すなわちカラー偏光画像の画像信号を生成する。偏光撮像部２０は、カラー偏光画像の画像信号を画像処理部３０へ出力する。
　偏光子２０２は、被写体光から直線偏光光を取り出せればよく、例えばワイヤーグリッドやフォトニック液晶等を用いる。偏光子２０２は、例えば１画素を偏光成分単位として、式（１）に示す偏光モデル式へのフィッティングを行うことができるように複数偏光方向（例えば０°，４５°，９０°，１３５°の４方向）の画素を設ける。また、カラーフィルタ２０３は、例えば色成分配列単位が２×２画素単位であり、２×２画素単位を偏光単位として、上述のように複数偏光方向（例えば０°，４５°，９０°，１３５°の４方向）の画素を設ける。カラーフィルタ２０３は、例えば赤と青と緑の色成分(ＲＧＢ成分)をベイヤー配列としたカラーデモザイクフィルタを用いる。
　図１６は、第８の実施の形態における欠陥検出部の欠陥判定動作を説明するための図である。なお、画素Ｒ１は偏光方向が０°の赤色画素、画素Ｒ２は偏光方向が４５°の赤色画素、画素Ｒ３は偏光方向が９０°の赤色画素、画素Ｒ４は偏光方向が１３５°の赤色画素である。同様に、画素Ｇ１～Ｇ４は偏光方向毎の緑色画素、画素Ｂ１～Ｂ４は偏光方向毎の青色画素である。
　欠陥検出部３５は、図６に示すフローチャートと同様な処理を行い、欠陥画素を検出する。また、欠陥検出部３５は、対象偏光画素と等しい色成分画素であって対象偏光画素に対して偏光方向が異なる周辺画素を用いる。
　欠陥検出部３５は、欠陥情報記憶部３４に記憶されている欠陥情報に基づき、偏光撮像部２０で生成されたカラー偏光ＲＡＷ画像（以下「カラー偏光画像」という）における対象偏光画素が欠陥画素でないことが示されている場合、対象偏光画素の欠陥検出を行う。欠陥検出部３５は、対象偏光画素と等しい色成分画素であって対象偏光画素に対して偏光方向が異なる周辺画素を用いて、対象偏光画素が欠陥画素であるか判別する。対象偏光画素が欠陥画素であるか否かの判別は、周辺画素の画素値に対応するフィッティング後の偏光モデル式から対象偏光画素の推定画素値を算出して、偏光画像における対象偏光画素の画素値が推定画素値を基準とした許容範囲の範囲外である場合に欠陥画素と判定する。欠陥検出部３５は、対象偏光画素が欠陥画素であると判別した場合、対象偏光画素が欠陥画素であることを示す情報を、欠陥情報記憶部３４から取得した欠陥情報に追加して、偏光画像と共に欠陥補正部３６へ出力する。
　欠陥検出部３５は対象偏光画素Ｃ３(x,y)を中心とした３×３画素領域（周辺画素領域）における対象偏光画素と同色である周辺画素の画素値を用いて推定画素値を算出する。対象偏光画素Ｒ３の偏光方向が９０°、周辺画素Ｒ１(x+1,y+1)の偏光方向が０°、周辺画素Ｒ２(x+1,y)の偏光方向が４５°、周辺画素Ｒ４(x,y+1)の偏光方向が１３５°である場合、理想状態では式（１８）が成り立つ。なお、周辺画素Ｒ１(x+1,y+1)の画素値をＩｒ１、周辺画素Ｒ２(x+1,y)の画素値をＩｒ２、周辺画素Ｒ４(x,y+1)の画素値をＩｒ４とする。
　　　　Ｉr３＝（Ｉｒ２＋Ｉｒ４）－Ｉｒ１　　　　　　　・・・（１８）
　欠陥検出部３５は、式（１８）に基づいて算出した画素値Ｉｒ３を対象偏光画素Ｒ３(x,y)の推定画素値Ｉｒ３estとして、対象偏光画素Ｒ３(x,y)の画素値Ｉｒ３(x,y)が推定画素値Ｉｒ３estを基準とした許容範囲Ｌpの範囲外である場合に欠陥画素と判定する。また、欠陥検出部３５は、対象偏光画素Ｒ３(x,y)の画素値Ｉｒ３(x,y)が許容範囲Ｌpの範囲内である場合、対象偏光画素Ｒ３(x,y)を非欠陥画素と判定する。
　欠陥補正部３６は、対象偏光画素Ｒ３(x,y)が欠陥画素と判定された場合、算出されている推定画素値Ｉｒ３estを対象偏光画素Ｒ３(x,y)の補正画素値Ｉｒ３ｃ(x,y)とする。また、欠陥補正部３６は、上述の第４の実施の形態と同様に周辺画素の画素値を用いて対象偏光画素の補正画素値を算出してもよい。この場合、欠陥補正部３６は、周辺画素として、同一色成分で同一偏光方向の画素を用いる。例えば、図１６に示すように、対象偏光画素がＲ３である場合、○印で示す画素Ｒ３を周辺画素として用いて補正画像値を算出する。
　このように、第８の実施の形態によれば、偏光画像がカラー画像である場合も偏光特性を利用して欠陥検出や欠陥補正を行うことができる。
　＜２－９．第９の実施の形態＞
　次に、第９の実施の形態では、色成分毎の特性をそろえて推定画素値の算出に利用可能な周辺画素の数を増やして、推定画素値の精度を向上させる場合について説明する。
　図１７は、第９の実施の形態の構成を例示している。偏光撮像部２０は、複数偏光方向の偏光方向毎の偏光画素からなるカラー偏光画像を生成して画像処理部３０へ出力する。画像処理部３０は、ホワイトバランス調整部３２、欠陥情報記憶部３４、欠陥検出部３５、欠陥補正部３６を有している。
　ホワイトバランス調整部３２は、白色被写体を偏光撮像部２０で撮像したとき偏光画像における偏光方向が等しい画素では色成分にかかわらず画素値が等しくなるように、偏光方向毎に各色成分または各画素に応じたゲインを乗算してホワイトバランス調整を行う。式（１９）乃至式（２１）は、赤色成分のゲインＲgainと緑色成分のゲインＧgainと青色成分のゲインＢgainを対応する色成分の各画素値に乗算してホワイトバランス調整を行う場合を示している。なお、式（１９）乃至式（２１）において、変数Ｎは上述のように偏光方向を示している。
　　Ｉｒ[Ｎ]　＝Ｒgain×Ｉｒ[Ｎ]　　・・・（１９）
　　Ｉｇ[Ｎ]　＝Ｇgain×Ｉｇ[Ｎ]　　・・・（２０）
　　Ｉｂ[Ｎ]　＝Ｇgain×Ｉｂ[Ｎ]　　・・・（２１）
　このようなホワイトバランス調整を行うと、カラー偏光画像を生成する偏光撮像部２０を用いて白色被写体を撮像したとき、白黒偏光画像を生成する偏光撮像部２０を用いた場合と同様な偏光特性の偏光画像が欠陥検出部３５に供給される。
　欠陥検出部３５は、ホワイトバランス調整部３２から供給される偏光画像が白黒偏光画像と同様な偏光特性であることから、偏光方向および色成分が異なる周辺画素の画素値を用いて第１乃至第７の実施の形態と同様な欠陥検出を行うことで、対象偏光画素が欠陥画素であるか検出できる。
　このように、第９の実施の形態によれば、偏光撮像部２０で生成されたカラー偏光画像に対してホワイトバランス調整を行うことで、対象偏光画素が欠陥画素であるか判定する際に、対象偏光画素と等しい色成分の周辺画素だけでなく異なる色成分の周辺画素を用いることが可能となる。したがって、第８の実施の形態に比べて精度よく欠陥検出を行うことができるようになる。
　＜２－１０．第１０の実施の形態＞
　次に、第１０の実施の形態について説明する。上述の実施の形態では、周辺画素の画素値を用いて偏光モデル式へのフィッティングを行うために、偏光撮像部は例えば４つの偏光方向の画素で構成されている場合について説明した。これに対して第１０の実施の形態では、無偏光画素を設けて偏光画素を２つの偏光方向とした場合について説明する。
　図１８は、偏光画素の画素値と無偏光画素の画素値の関係を説明するための図である。偏光画素の感度は理想的には無偏光画素の（１／２）倍であり、鏡面反射成分の平均値と拡散反射成分の加算値は、無偏光画素の画素値Ｉ０に対して１／２倍となる。また、偏光方向が４５°間隔で４方向とされている場合、例えば図１８の（ａ）示すように、偏光方向Ｎ＝１を０°，Ｎ＝２を４５°，Ｎ＝３を９０°，Ｎ４を１３５°とすると式（２２）が成り立つ。ここで、偏光撮像部２０の画素が図１８の（ｂ）に示すように、無偏光画素Ｃ０と偏光画素Ｃ１，Ｃ２で構成されている場合、画素が設けられていない偏光方向の画素Ｃ３，Ｃ４の画素値Ｉ３，Ｉ４は、式（２３）（２４）に基づいて算出できる。
　　　（Ｉ２＋Ｉ４）／２＝（Ｉ１＋Ｉ３）／２＝Ｉ０／２　　・・・（２２）
　　　Ｉ３＝Ｉ０－Ｉ１　　・・・（２３）
　　　Ｉ４＝Ｉ０－Ｉ２　　・・・（２４）
　ここで、対象偏光画素と周辺画素の偏光方向の角度差が９０°であると、対象偏光画素と周辺画素の画素値の和が「Ｉ０／２」となってしまい、対象偏光画素と周辺画素の偏光方向とは異なる偏光方向の画素値は、対象偏光画素や周辺画素の画素値と等しくなって、偏光特性を算出できない。したがって、対象偏光画素と周辺画素の偏光方向の角度差は例えば４５°を基準とした所定範囲内の角度差とする。
　欠陥検出部３５は、図１８の（ｂ）に示す５×５画素の周辺画素領域において対象偏光画素Ｃ１と偏光方向が等しい８つの周辺画素Ｃ１の画素値に基づき画素値Ｉ１を算出する。また、欠陥検出部３５は、対象偏光画素Ｃ１と偏光方向が異なる４つの周辺画素Ｃ２の画素値に基づき画素値Ｉ２を算出する。欠陥検出部３５は、例えば８つの周辺画素Ｃ１の画素値の平均を画素値Ｉ１、４つの周辺画素Ｃ２の画素値の平均値を画素値Ｉ２とする。さらに、欠陥検出部３５は、周辺画素の画素値から算出した画素値Ｉ１，Ｉ２を用いて画素値Ｉ３，Ｉ４を算出して、式（２５）に基づき対象偏光画素Ｃ１の推定画素値を算出する。
　　Ｉ１est＝（Ｉ２＋Ｉ４）－Ｉ３　　・・・（２５）
　欠陥検出部３５は、対象偏光画素Ｃ１(x,y)の画素値Ｉ１(x,y)が推定画素値Ｉ１estを基準とした許容範囲Ｌpの範囲外である場合に欠陥画素と判定する。また、欠陥検出部３５は、対象偏光画素Ｃ１(x,y)の画素値Ｉ１(x,y)が許容範囲Ｌpの範囲内である場合、対象偏光画素Ｃ１(x,y)を非欠陥画素と判定する。なお、許容範囲Ｌpは、上述の実施の形態と同様に設定する。
　欠陥補正部３６は、対象偏光画素Ｃ１(x,y)が欠陥画素と判定された場合、算出されている推定画素値Ｉ１estを対象偏光画素Ｃ１(x,y)の補正画素値Ｉ１ｃ(x,y)とする。なお、対象偏光画素が画素Ｃ２の場合は式（２６）を用いて算出した画素値を推定画素値Ｉ２estとして、欠陥画素の判定や欠陥画素の補正を行う。
　　Ｉ２est＝（Ｉ１＋Ｉ３）－Ｉ４　　・・・（２６）
　第１０の実施の形態では、技術の理解を容易とするため、偏光画素の感度は無偏光画素の（１／２）倍としたが、実際には偏光画素と無偏光画素の感度比を予め測定して、測定された感度比を用いて、推定画素値の算出を行う。このようにすれば、偏光撮像部の感度に応じて精度よく欠陥検出や欠陥補正を行うことができるようになる。
　このように第１０の実施の形態によれば、無偏光画素を設けることで、偏光画素を２つの偏光方向としても偏光画素の欠陥検出と欠陥補正を行うことができる。
　＜２－１１．他の実施の形態＞
　ところで、偏光画像を生成する偏光撮像部２０は、４つの偏光方向の偏光画像を生成する場合に偏光子とカラーフィルタの構成は上述の構成に限られない。図１９は、偏光子とカラーフィルタの他の構成および組み合わせを例示している。上述の実施の形態では図１９の（ａ）に示す偏光子と図１９の（ｃ）に示すカラーフィルタを用いた場合を例示したが、偏光子は図１９の（ｂ）に示す構成としてもよい。図１９の（ｂ）に示す偏光子は、２×２画素を同一偏光方向の画素からなる偏光単位として、４つの偏光方向の偏光単位を繰り返し設ける構成である。カラーフィルタは、図１９の（ｄ）に示すように三原色の画素（赤色画素Ｒ，緑色画素Ｇ、青色画素Ｂ）をベイヤー配列としたカラーモザイクフィルタを用いてもよい。２×２画素を偏光単位とした偏光子を用いる場合、例えば図１９の（ｅ）に示すようにベイヤー配列のカラーデモザイクフィルタを組み合わせることで、２×２画素の偏光単位で三原色の各色成分の偏光画像を生成できる。また、図１９の（ｆ）に示すように２×２画素を偏光単位とした偏光子と、２×２画素を色成分単位としたカラーフィルタを、偏光単位と色成分単位が水平方向および垂直方向に１画素の位置ずれを生じるように用いても、２×２画素の偏光単位で三原色の各色成分の偏光画像を生成できる。
　図２０は、２×２画素を偏光単位とした偏光子を用いる場合を説明するための図である。２×２画素を偏光単位とした偏光子を用いて白黒偏光画像を生成した場合、欠陥補正部は、欠陥画素に対する同一偏光方向の周辺画素の画素値を用いて欠陥画素の補正を行う。したがって、例えば図２０の（ａ）において二重枠で示す画素Ｃ２が欠陥画素である場合、欠陥補正部は、○印で示す画素Ｃ２を周辺画素として用いて補正画像値を算出する。欠陥補正部は、例えば周辺画素の画素値の平均値を算出して補正画像値としてもよく、欠陥画素から周辺画素までの距離に応じた重み付けを行って算出した平均値を補正画像値としてもよい。
　また、２×２画素を偏光単位とした偏光子とベイヤー配列のカラーでモザイクフィルタを用いてカラー偏光画像を生成した場合、欠陥補正部は、欠陥画素に対する同一色成分で同一偏光方向である周辺画素の画素値を用いて欠陥画素の補正を行う。したがって、例えば図２０の（ｂ）において二重枠で示す画素Ｒ４が欠陥画素である場合、○印で示す画素Ｒ４を周辺画素として用いて、白黒偏光画像の場合と同様な演算を行い、補正画像値を算出する。また、水平方向や垂直方向のテクスチャ検出を行う場合には、○印で示す画素の画素値を用いてテクスチャ検出を行えばよい。
　＜３．応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図Ｅ１に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２１では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも１つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも１つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも１つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも１つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも１つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図２２は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも１つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２２には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図２１に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも１つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも１つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２１の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも１つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図２１に示した例において、通信ネットワーク７０１０を介して接続された少なくとも２つの制御ユニットが１つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　以上説明した車両制御システム７０００において、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８は、偏光撮像部２０を用いる構成とする。また、図２１に示した応用例の統合制御ユニット７６００に欠陥情報記憶部３４と欠陥検出部３５と欠陥補正部３６を設ける。このような構成とすれば、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８では欠陥画素について補正された偏光画像を取得できるので、取得した偏光画像を運転支援や運転制御等に利用できる。なお欠陥情報記憶部３４と欠陥補正部３６は、図２１に示した統合制御ユニット７６００のためのモジュール（例えば、１つのダイで構成される集積回路モジュール）において実現されてもよい。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　複数の偏光方向の偏光画素を取得する偏光撮像部で生成された対象偏光画素の画素値と、前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性から推定した前記対象偏光画素の画素値を用いて、前記対象偏光画素が欠陥画素であるか検出する欠陥検出部を備える画像処理装置。
　（２）　前記欠陥検出部は、前記対象偏光画素の画素値と前記推定した画素値との差が予め設定した許容範囲の範囲外である場合に前記対象偏光画素を欠陥画素とする（１）に記載の画像処理装置。
　（３）　前記周辺画素は、それぞれの偏光方向が等しい複数の画素を含み、
　前記欠陥検出部は、前記対象偏光画素の画素値の推定を前記複数の画素の異なる組合せによって複数回実行し、前記対象偏光画素の画素値と前記推定した画素値との差が予め設定した許容範囲の範囲外となる組み合わせの割合が、予め設定された所定割合より大きい場合に前記対象偏光画素を欠陥画素とする（１）に記載の画像処理装置。
　（４）　前記欠陥検出部は、前記対象偏光画素の画素値と、前記対象偏光画素と偏光方向が等しい周辺画素の画素値を用いて、前記対象偏光画素が欠陥画素であるか検出する（１）に記載の画像処理装置。
　（５）　前記欠陥検出部は、前記対象偏光画素の画素値と前記推定した画素値との差が予め設定した第１許容範囲の範囲外であり、前記対象偏光画素の画素値と前記偏光方向が等しい周辺画素の画素値との差が予め設定した第２許容範囲の範囲外である場合、前記対象偏光画素を欠陥画素とする（４）に記載の画像処理装置。
　（６）　前記欠陥検出部は、前記対象偏光画素の画素値と前記推定した画素値との差が予め設定した第１許容範囲の範囲外である場合、および前記差が予め設定した第１許容範囲以下であって、前記対象偏光画素の画素値と前記偏光方向が等しい周辺画素の画素値との差が予め設定した第２許容範囲の範囲外である場合、前記対象偏光画素を欠陥画素とする（４）に記載の画像処理装置。
　（７）　前記欠陥検出部は、前記周辺画素の画素値に、時間方向が異なる周辺画素の画素値を含める（１）に記載の画像処理装置。
　（８）　前記欠陥検出部は、前記対象偏光画素と等しい色成分画素であって前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性に基づいて前記対象偏光画素の画素値を推定する（１）に記載の画像処理装置。
　（９）　白色被写体を撮像して生成された色成分毎の画素値を等しくするホワイトバランス調整部を有し、
　前記欠陥検出部は、前記白色被写体を撮像して生成された色成分毎の画素値を前記ホワイトバランス調整部で調整した画素毎の画素値から、前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値を用いて前記対象偏光画素の画素値を推定する（１）に記載の画像処理装置。
　（１０）　前記周辺画素は、前記対象偏光画素と異なる少なくとも２偏光方向以上の画素である（１）に記載の画像処理装置。
　（１１）　前記周辺画素は、前記対象偏光画素と異なる１つの偏光方向の画素と無偏光画素である（１）に記載の画像処理装置。
　（１２）　前記対象偏光画素と前記周辺画素の偏光方向の角度差は、４５°を基準とした所定範囲内の角度差とする（１１）に記載の画像処理装置。
　（１３）　欠陥画素を示す欠陥情報を記憶する欠陥情報記憶部を有し、
　前記欠陥検出部は、前記対象偏光画素の欠陥検出結果に基づき前記前記欠陥情報記憶部に記憶している欠陥情報を更新する（１）乃至（１２）のいずれかに記載の画像処理装置。
　（１４）　欠陥画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性に基づいて推定した画素値を前記欠陥画素の補正後の画素値とする欠陥補正部をさらに有する（１）乃至（１３）のいずれかに記載の画像処理装置。
　（１５）　偏光方向が欠陥画素と等しい周辺画素の画素値の平均値を前記欠陥画素の画素値とする欠陥補正部をさらに有する（１）乃至（１３）のいずれかに記載の画像処理装置。
　（１６）　欠陥補正部は、偏光方向が欠陥画素と等しく前記欠陥画素と等しいテクスチャと判定した周辺画素の画素値を用いて前記欠陥画素の補正後の画素値を算出する（１５）に記載の画像処理装置。
　この技術の画像処理装置と画像処理方法によれば、複数の偏光方向の偏光画素を取得する偏光撮像部で生成された対象偏光画素の画素値と、前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性から推定した前記対象偏光画素の画素値を用いて、前記対象偏光画素が欠陥画素であるか欠陥検出部で検出される。このため、偏光画像を生成する偏光撮像部における画素の欠陥を検出できるようになり、例えば三次元形状の認識等を行う機器に適用できる。
　１０・・・偏光画像システム
　２０・・・偏光撮像部
　３０・・・画像処理部
　３１・・・過去画像記憶部
　３２・・・ホワイトバランス調整部
　３４・・・欠陥情報記憶部
　３５・・・欠陥検出部
　３６・・・欠陥補正部
　２０１・・・イメージセンサ
　２０２・・・偏光子
　２０３・・・カラーフィルタ

Claims (17)

  1. 　複数の偏光方向の偏光画素を取得する偏光撮像部で生成された対象偏光画素の画素値と、前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性から推定した前記対象偏光画素の画素値を用いて、前記対象偏光画素が欠陥画素であるか検出する欠陥検出部
    を備える画像処理装置。
  2. 　前記欠陥検出部は、前記対象偏光画素の画素値と前記推定した画素値との差が予め設定した許容範囲の範囲外である場合に前記対象偏光画素を欠陥画素とする
    請求項１に記載の画像処理装置。　　　　　　
  3. 　前記周辺画素は、それぞれの偏光方向が等しい複数の画素を含み、
    　前記欠陥検出部は、前記対象偏光画素の画素値の推定を前記複数の画素の異なる組合せによって複数回実行し、前記対象偏光画素の画素値と前記推定した画素値との差が予め設定した許容範囲の範囲外となる組み合わせの割合が、予め設定された所定割合より大きい場合に前記対象偏光画素を欠陥画素とする
    請求項１に記載の画像処理装置。　　　　　　
  4. 　前記欠陥検出部は、前記対象偏光画素の画素値と、前記対象偏光画素と偏光方向が等しい周辺画素の画素値を用いて、前記対象偏光画素が欠陥画素であるか検出する
    請求項１に記載の画像処理装置。
  5. 　前記欠陥検出部は、前記対象偏光画素の画素値と前記推定した画素値との差が予め設定した第１許容範囲の範囲外で、前記対象偏光画素の画素値と前記偏光方向が等しい周辺画素の画素値との差が予め設定した第２許容範囲の範囲外である場合、前記対象偏光画素を欠陥画素とする
    請求項４に記載の画像処理装置。
  6. 　前記欠陥検出部は、前記対象偏光画素の画素値と前記推定した画素値との差が予め設定した第１許容範囲の範囲外である場合、および前記差が予め設定した第１許容範囲の範囲内であって、前記対象偏光画素の画素値と前記偏光方向が等しい周辺画素の画素値との差が予め設定した第２許容範囲の範囲外である場合、前記対象偏光画素を欠陥画素とする
    請求項４に記載の画像処理装置。
  7. 　前記欠陥検出部は、前記周辺画素の画素値に、時間方向が異なる周辺画素の画素値を含める
    請求項１に記載の画像処理装置。
  8. 　前記欠陥検出部は、前記対象偏光画素と等しい色成分画素であって前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性に基づいて前記対象偏光画素の画素値を推定する
    請求項１に記載の画像処理装置。
  9. 　白色被写体を撮像して生成された色成分毎の画素値を等しくするホワイトバランス調整部を有し、
    　前記欠陥検出部は、前記白色被写体を撮像して生成された色成分毎の画素値を前記ホワイトバランス調整部で調整した画素毎の画素値から、前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値を用いて前記対象偏光画素の画素値を推定する
    請求項１に記載の画像処理装置。
  10. 　前記周辺画素は、前記対象偏光画素と異なる少なくとも２偏光方向以上の画素である
    請求項１に記載の画像処理装置。
  11. 　前記周辺画素は、前記対象偏光画素と異なる１つの偏光方向の画素と無偏光画素である
    請求項１に記載の画像処理装置。
  12. 　前記対象偏光画素と前記周辺画素の偏光方向の角度差は、４５°を基準とした所定範囲内の角度差とする
    請求項１１に記載の画像処理装置。
  13. 　欠陥画素を示す欠陥情報を記憶する欠陥情報記憶部を有し、
    　前記欠陥検出部は、前記対象偏光画素の欠陥検出結果に基づき前記欠陥情報記憶部に記憶している欠陥情報を更新する
    請求項１に記載の画像処理装置。
  14. 　欠陥画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性に基づいて推定した画素値を前記欠陥画素の補正後の画素値とする欠陥補正部をさらに有する
    請求項１に記載の画像処理装置。
  15. 　偏光方向が欠陥画素と等しい周辺画素の画素値の平均値を前記欠陥画素の画素値とする欠陥補正部をさらに有する
    請求項１に記載の画像処理装置。
  16. 　欠陥補正部は、偏光方向が欠陥画素と等しく前記欠陥画素と等しいテクスチャと判定した周辺画素の画素値を用いて前記欠陥画素の補正後の画素値を算出する
    請求項１５に記載の画像処理装置。
  17. 　複数の偏光方向の偏光画素を取得する偏光撮像部で生成された対象偏光画素の画素値と、前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性から推定した前記対象偏光画素の画素値を用いて、前記対象偏光画素が欠陥画素であるか欠陥検出部で検出すること
    を含む画像処理方法。
PCT/JP2017/021792 2016-08-31 2017-06-13 画像処理装置と画像処理方法 WO2018042815A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018536962A JP6981416B2 (ja) 2016-08-31 2017-06-13 画像処理装置と画像処理方法
US16/324,937 US11336849B2 (en) 2016-08-31 2017-06-13 Image processing apparatus and image processing method
CN201780051223.2A CN109644241B (zh) 2016-08-31 2017-06-13 图像处理设备和图像处理方法
EP17845826.1A EP3509294B1 (en) 2016-08-31 2017-06-13 Image processing device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016169271 2016-08-31
JP2016-169271 2016-08-31

Publications (1)

Publication Number Publication Date
WO2018042815A1 true WO2018042815A1 (ja) 2018-03-08

Family

ID=61300463

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/021792 WO2018042815A1 (ja) 2016-08-31 2017-06-13 画像処理装置と画像処理方法

Country Status (5)

Country Link
US (1) US11336849B2 (ja)
EP (1) EP3509294B1 (ja)
JP (1) JP6981416B2 (ja)
CN (1) CN109644241B (ja)
WO (1) WO2018042815A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024101113A1 (ja) * 2022-11-09 2024-05-16 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3805717B1 (en) * 2018-06-05 2023-05-17 Sony Group Corporation Information generation device, information generation method, and program
JPWO2021140873A1 (ja) * 2020-01-09 2021-07-15

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002223391A (ja) 2001-01-24 2002-08-09 Sharp Corp 固体撮像素子の自動欠陥検出補正装置およびそれを用いた撮像装置
JP2008067158A (ja) 2006-09-08 2008-03-21 Sony Corp 電子機器、情報処理方法、およびプログラム
JP2011223545A (ja) * 2010-03-26 2011-11-04 Fujifilm Corp 放射線撮影システム、並びに欠陥画素検出装置及び方法
JP2015041793A (ja) * 2013-08-20 2015-03-02 オリンパス株式会社 撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3128485B2 (ja) 1995-08-29 2001-01-29 三洋電機株式会社 固体撮像素子の欠陥画素検出装置
JP3773773B2 (ja) 1999-10-27 2006-05-10 三洋電機株式会社 画像信号処理装置及び画素欠陥の検出方法
JP3661530B2 (ja) 1999-11-17 2005-06-15 三菱電機株式会社 通信妨害方法および通信妨害装置
JP2003298947A (ja) 2002-04-04 2003-10-17 Fuji Photo Film Co Ltd 撮像装置及びデジタルカメラ
EP2034743A4 (en) 2007-05-31 2014-03-05 Panasonic Corp IMAGE PROCESSING DEVICE
JP5450995B2 (ja) 2008-07-18 2014-03-26 キヤノン株式会社 撮像装置、及び撮像装置の制御方法
JP2011114473A (ja) 2009-11-25 2011-06-09 Hitachi Kokusai Electric Inc 画素欠陥補正装置
EP2512124B1 (en) * 2009-12-08 2016-07-06 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus
JP2016048815A (ja) 2014-08-27 2016-04-07 ソニー株式会社 画像処理装置、画像処理方法、及び、画像処理システム
JP6914001B2 (ja) 2015-08-12 2021-08-04 株式会社ソニー・インタラクティブエンタテインメント 撮像素子、イメージセンサ、撮像装置、および情報処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002223391A (ja) 2001-01-24 2002-08-09 Sharp Corp 固体撮像素子の自動欠陥検出補正装置およびそれを用いた撮像装置
JP2008067158A (ja) 2006-09-08 2008-03-21 Sony Corp 電子機器、情報処理方法、およびプログラム
JP2011223545A (ja) * 2010-03-26 2011-11-04 Fujifilm Corp 放射線撮影システム、並びに欠陥画素検出装置及び方法
JP2015041793A (ja) * 2013-08-20 2015-03-02 オリンパス株式会社 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3509294A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024101113A1 (ja) * 2022-11-09 2024-05-16 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、プログラム

Also Published As

Publication number Publication date
CN109644241B (zh) 2021-10-22
US20210281786A1 (en) 2021-09-09
EP3509294B1 (en) 2020-08-12
JP6981416B2 (ja) 2021-12-15
EP3509294A4 (en) 2019-07-31
US11336849B2 (en) 2022-05-17
JPWO2018042815A1 (ja) 2019-06-24
CN109644241A (zh) 2019-04-16
EP3509294A1 (en) 2019-07-10

Similar Documents

Publication Publication Date Title
US10957029B2 (en) Image processing device and image processing method
US10904503B2 (en) Image processing device, information generation device, and information generation method
US10704957B2 (en) Imaging device and imaging method
WO2018179671A1 (ja) 画像処理装置と画像処理方法および撮像装置
WO2017208536A1 (ja) 画像処理装置と画像処理方法および学習装置と学習方法
WO2018034209A1 (ja) 撮像装置と撮像方法
US10877288B2 (en) Imaging device and imaging method
WO2017217177A1 (ja) 画像処理装置、および撮像装置、ならびに画像処理システム
JP7500798B2 (ja) 固体撮像装置、補正方法、および電子装置
WO2018150683A1 (ja) 情報処理装置と情報処理方法とプログラムおよび撮像装置
WO2018016150A1 (ja) 画像処理装置と画像処理方法
WO2018016151A1 (ja) 画像処理装置と画像処理方法
JP6981416B2 (ja) 画像処理装置と画像処理方法
US20230013424A1 (en) Information processing apparatus, information processing method, program, imaging apparatus, and imaging system
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP2018011246A (ja) 固体撮像装置、補正方法、および電子装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17845826

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018536962

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017845826

Country of ref document: EP

Effective date: 20190401