WO2018074064A1 - 画像処理装置と画像処理方法および撮像装置 - Google Patents

画像処理装置と画像処理方法および撮像装置 Download PDF

Info

Publication number
WO2018074064A1
WO2018074064A1 PCT/JP2017/030719 JP2017030719W WO2018074064A1 WO 2018074064 A1 WO2018074064 A1 WO 2018074064A1 JP 2017030719 W JP2017030719 W JP 2017030719W WO 2018074064 A1 WO2018074064 A1 WO 2018074064A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
polarization
polarized
image
pixels
Prior art date
Application number
PCT/JP2017/030719
Other languages
English (en)
French (fr)
Inventor
俊 海津
康孝 平澤
雄飛 近藤
哲平 栗田
穎 陸
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2018546174A priority Critical patent/JP7070423B2/ja
Priority to DE112017005244.0T priority patent/DE112017005244T5/de
Priority to US16/339,579 priority patent/US10750136B2/en
Priority to CN201780062762.6A priority patent/CN109804621B/zh
Publication of WO2018074064A1 publication Critical patent/WO2018074064A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Definitions

  • This technique relates to an image processing apparatus, an image processing method, and an imaging apparatus, and makes it possible to acquire highly accurate polarization information.
  • Patent Document 1 discloses a method of obtaining a polarization image in a plurality of polarization directions by disposing a polarization filter in front of an imaging unit and rotating the polarization filter to take an image. Further, there is disclosed a method for acquiring a polarization image in which a polarization component for each polarization direction is indicated by a pixel by one imaging by using a polarization filter in which a pixel is in any one of a plurality of polarization directions. ing.
  • the normal information of the subject is acquired from the polarization image in which the polarization component for each polarization direction is shown in units of pixels.
  • normal information is calculated by applying a polarization component for each of a plurality of polarization directions to a model equation.
  • this technology provides an image processing apparatus, an image processing method, and an imaging apparatus that can acquire polarization information with high accuracy.
  • the first aspect of this technology is A demosaic processing unit that generates a non-polarized image and a polarization component image for each polarization direction from a captured image composed of non-polarized pixels and polarization pixels for at least two polarization directions;
  • the image processing apparatus includes a polarization information generation unit that generates polarization information indicating polarization characteristics of a subject included in the captured image from the non-polarized image and the polarization component image generated by the demosaic processing unit.
  • the demosaic processing unit generates a non-polarized image and a polarization component image for each polarization direction from a captured image including non-polarized pixels and at least two polarization pixels for each polarization direction.
  • the generation of the polarization component image for example, using a polarized pixel at the pixel position in the same polarization direction in the pixel of interest and peripheral pixels of the pixel of interest, and a non-polarized pixel at the pixel position equal to the polarized pixel and the pixel position of the pixel of interest, Using the relationship between the pixel average value of the non-polarized pixels at the pixel position having the same polarization direction for each polarization direction and the pixel value of the non-polarized pixel at the pixel position of the target pixel, the polarized pixel at the pixel position having the same polarization direction The pixel value of the polarization pixel at the pixel position of the target pixel with respect to the pixel average value is calculated to generate
  • a pixel processing unit that generates a non-polarized image by generating a pixel at the pixel position of the polarization pixel using the non-polarization pixel, the non-polarization pixel at the pixel position of the target pixel, and the same polarization direction as the target pixel Based on the non-polarized pixel at the pixel position of the peripheral pixel, the weight used for the smoothing filter processing is calculated, and the calculated weight, the pixel of interest, and the polarized pixel at the pixel position of the peripheral pixel having the same polarization direction as the pixel of interest are calculated.
  • a polarization component image is generated using the polarization pixel from which noise has been removed.
  • the polarization information generation unit calculates a polarization parameter of a polarization model formula indicating the polarization characteristics of the target pixel position based on the polarization direction, the non-polarized pixel at the target pixel position, and the polarization pixel for each polarization direction, thereby capturing the captured image.
  • Polarization information indicating the polarization characteristics of the subject included in is generated.
  • the polarization information generation unit uses the pixel value of the non-polarized pixel having the same sensitivity as that of the polarized pixel as the polarization parameter.
  • a normal information generation unit that generates normal information of the subject based on the polarization information generated by the polarization information generation unit is provided.
  • the second aspect of this technology is Generating a non-polarized image and a polarization component image for each polarization direction in the demosaic processing unit from a captured image composed of non-polarized pixels and polarized pixels for at least two polarization directions;
  • the polarization information generation unit generates polarization information indicating polarization characteristics of a subject included in the captured image from the non-polarized image and the polarization component image generated by the demosaic processing unit.
  • the third aspect of this technology is Arrange non-polarized pixels and polarized pixels,
  • the polarizing pixel is in an imaging device provided for at least two polarization directions.
  • a non-polarized pixel and a polarized pixel are arranged, and the polarized pixel is provided with at least two polarization directions for each polarization direction as symmetric angles with respect to the sides of the rectangular pixel.
  • the non-polarized pixel and the polarized pixel are arranged such that, for example, a non-polarized pixel is provided at a diagonal pixel position in a 2 ⁇ 2 pixel region and the remaining pixels are used as a polarized pixel.
  • the polarization pixels for each polarization direction are the same color
  • the non-polarization pixels are pixels for each predetermined color component.
  • a pixel control unit that performs control to match the sensitivity of the non-polarized pixel and the polarized pixel is provided, for example, the exposure period of the non-polarized pixel or the polarized pixel is controlled to match the sensitivity of the non-polarized pixel and the polarized pixel.
  • a pixel processing unit is provided to perform interpolation processing using non-polarized pixels or integration processing of adjacent polarized pixels in the same polarization direction and integration processing of adjacent non-polarized pixels, for example. Generate an image. The pixel processing unit performs integration processing for pixels of the same color.
  • a non-polarized image and a polarization component image for each polarization direction are generated by the demosaic processing unit from a captured image including non-polarized pixels and polarization pixels for at least two polarization directions.
  • Polarization information indicating the polarization characteristics of the subject included in the captured image is generated from the component image.
  • polarization information is generated using not only a polarization component image but also a non-polarization image that does not cause a decrease in the amount of light. Therefore, polarization with higher accuracy than when polarization information is generated based on a polarization component image. Information can be acquired. Note that the effects described in the present specification are merely examples and are not limited, and may have additional effects.
  • FIG. 1 shows the structure of embodiment of an image processing apparatus. It is the figure which illustrated the composition of a 1st embodiment of an image pick-up part. It is the figure which illustrated the composition of the image sensor in a 1st embodiment of an image pick-up part. It is the figure which illustrated the structure of the polarizing filter in 1st Embodiment of an imaging part. It is the figure which illustrated the structure of the image sensor in 2nd Embodiment of an imaging part. It is a figure for demonstrating operation
  • FIG. 1 illustrates the configuration of an embodiment of an image processing apparatus.
  • the image processing apparatus 10 includes an imaging unit 20, a demosaic processing unit 50, a polarization information generation unit 60, and a normal line information generation unit 70. Further, the image processing apparatus 10 may have a configuration in which the pixel processing unit 30 is provided according to the configuration of the imaging unit 20, or may have a configuration in which the noise removal unit 40 is provided in order to reduce adverse effects due to noise. Note that the imaging unit 20, the normal vector information generation unit 70, and the like may be separated from the image processing apparatus 10.
  • the imaging unit 20 is provided with non-polarized pixels and polarized pixels provided for at least two polarization directions.
  • the imaging unit 20 generates an image signal of a captured image to generate a pixel processing unit 30, a noise removal unit 40, or a demosaic processing unit 50. Output to.
  • the imaging unit In the first embodiment of the imaging unit, the imaging unit generates an image signal of a captured image from non-polarized pixels and pixels for at least two polarization components.
  • FIG. 2 illustrates the configuration of the imaging unit according to the first embodiment.
  • the imaging unit 20-1 has a configuration in which a polarizing filter 22-1 is disposed on the incident surface of the image sensor 21-1.
  • FIG. 3 illustrates the configuration of the image sensor in the first embodiment of the imaging unit.
  • the image sensor 21-1 includes a pixel array unit 211 in which a plurality of pixels are arranged in an array, for example, a two-dimensional matrix, and a vertical scanning circuit 212 and a horizontal scanning circuit 213 that perform drive control of the pixel array 211. is doing.
  • the pixel array unit 211 shows only some pixels in the row direction and the column direction.
  • the pixel of the pixel array unit 211 includes a photodiode and a charge transfer or reset transistor (not shown). Each pixel is connected to the vertical scanning circuit 212 via a reset line and a selection line, and is connected to the horizontal scanning circuit 213 via a signal line.
  • the vertical scanning circuit 212 outputs a reset signal to the pixel resetting transistor via the reset line to discharge the accumulated charge. Thereafter, the vertical scanning circuit 212 outputs a readout signal to the charge transfer transistors of the polarization pixel and the non-polarization pixel via the selection line, and an exposure period from when the reset signal is output until the readout signal is output. The charge accumulated therein is output to the signal line as a signal current.
  • the horizontal scanning circuit 213 performs a process of converting a signal current read from each pixel into a digital pixel signal, a gain adjustment process of the pixel signal, and the like, and processes the processed pixel signals in the order of pixels in the horizontal direction. Or output to the noise removing unit 40 or the demosaic processing unit 50. Further, the vertical scanning circuit 212 and the horizontal scanning circuit 213 perform the above processing for each line.
  • FIG. 4 illustrates the configuration of the polarization filter in the first embodiment of the imaging unit.
  • the polarizing filter 22-1 includes non-polarizing pixels and at least two polarizing pixels in a plurality of polarization directions.
  • the polarization direction is set to at least two polarization directions using a photonic liquid crystal or a wire grid.
  • the polarizing filter 22-1 is configured so that two pixel positions (for example, diagonal positions) in the 2 ⁇ 2 pixel region are non-polarized pixels and the remaining pixels are polarized pixels. Yes.
  • the imaging unit configured in this manner sequentially reads out pixel signals to generate an image signal of a captured image composed of polarized pixels and non-polarized pixels, and the demosaic processing unit 50 or the pixel processing unit 30 and noise removal.
  • the data is output to the demosaic processing unit 50 via the unit 40.
  • the image sensor is different from the first embodiment, and the pixel control unit performs control for matching the sensitivity of the polarized pixel and the non-polarized pixel to generate an image signal of the captured image. .
  • FIG. 5 illustrates the configuration of the image sensor in the second embodiment of the imaging unit.
  • the image sensor 21-2 includes a pixel array unit 211 in which a plurality of pixels are arranged in a two-dimensional matrix, a vertical scanning circuit 212-2, and a horizontal scanning circuit 213.
  • the image sensor 21-2 controls the exposure period of the polarization pixel and the non-polarization pixel to match the sensitivity of the polarization pixel and the non-polarization pixel.
  • the pixel array unit 211 shows only some pixels in the row direction and the column direction.
  • the pixel of the pixel array unit 211 includes a photodiode and a charge transfer or reset transistor (not shown).
  • the polarization pixel is connected to the vertical scanning circuit 212-2 via a polarization pixel reset line and a selection line, and is connected to the horizontal scanning circuit 213 via a signal line.
  • the non-polarized pixels are connected to the vertical scanning circuit 212-2 via a non-polarized pixel reset line and a selection line, and are connected to the horizontal scanning circuit 213 via a signal line.
  • the polarization direction in the polarization pixel is indicated by an arrow.
  • the vertical scanning circuit 212-2 outputs a reset signal to the resetting transistor of the polarizing pixel via the reset line of the polarizing pixel, and discharges the accumulated charge.
  • the vertical scanning circuit 212-2 outputs a reset signal to the reset transistor of the non-polarized pixel via the reset line of the non-polarized pixel, and discharges the accumulated charge.
  • the vertical scanning circuit 212 outputs a readout signal to the charge transfer transistors of the polarization pixel and the non-polarization pixel via the selection line, and an exposure period from when the reset signal is output until the readout signal is output.
  • the charge accumulated therein is output to the signal line as a signal current.
  • the horizontal scanning circuit 213 performs a process of converting the signal current read from each pixel into a digital pixel signal, a gain adjustment process of the pixel signal, and the like, and the demosaic processing unit 50 processes the processed pixel signals in the order of the pixels in the horizontal direction. Output to. Further, the vertical scanning circuit 212 and the horizontal scanning circuit 213 perform the above processing for each line. Further, the vertical scanning circuit 212 controls the exposure period of the polarization pixel or the non-polarization pixel to match the sensitivity of the polarization pixel and the non-polarization pixel.
  • the vertical scanning circuit 212 operates as a pixel control unit, controls the timing of the reset signal of the non-polarized pixel, and controls the exposure period of the non-polarized pixel so that the non-polarized pixel becomes equal to the sensitivity of the polarized pixel.
  • the sensitivity of the polarization pixel and the non-polarization pixel are matched.
  • FIG. 6 is a diagram for explaining the operation of the image sensor in the second embodiment of the imaging unit.
  • the imaging unit 20-2 by independently controlling the output of the polarization pixel reset signal and the non-polarization pixel reset signal, for example, when a non-polarization subject is imaged, the signal levels of the polarization pixel and the non-polarization pixel become equal. Thus, the exposure period of the non-polarized pixels is adjusted.
  • FIG. 6A shows a read signal SCa for reading a signal corresponding to the accumulated charge from the polarized pixel and the non-polarized pixel.
  • FIG. 6B shows the reset signal SCbp for the polarization pixel, and
  • FIG. 6C shows the amount of accumulated charge in the polarization pixel.
  • FIG. 6 shows a reset signal SCbn for the non-polarized pixel
  • (e) in FIG. 6 shows the accumulated charge amount in the non-polarized pixel.
  • the charge accumulated at the time t3 is read by the read signal SCa. That is, the period from the time point t1 to t3 is the exposure time Tep for the polarized pixel, and the period from the time point t2 to t3 is the exposure time Ten for the non-polarized pixel. Therefore, by shortening the exposure time Ten with respect to the exposure time Tep in accordance with the sensitivity of the non-polarized pixel with respect to the polarized pixel, the signal level SLp of the polarized pixel even if there is a difference in sensitivity between the polarized pixel and the non-polarized pixel. And an unpolarized pixel signal level SLn can be generated.
  • the imaging unit may operate the pixel control unit with the horizontal scanning circuit 213 to adjust the gain of the pixel signal so that the sensitivity of the polarized pixel matches that of the non-polarized pixel.
  • the image pickup unit 20-2 can generate an image signal of a picked-up image in which a sensitivity difference does not occur between the polarized pixel and the non-polarized pixel.
  • the polarizing filter 22-3 used in the third embodiment of the imaging unit is configured so that the polarization directions are symmetric with respect to the sides of the rectangular pixels of the image sensor.
  • FIG. 7 illustrates the configuration of the polarization filter in the third embodiment of the imaging unit.
  • FIG. 8 is a diagram for explaining the positional relationship between the polarization direction and the rectangular pixels.
  • the polarization direction is not limited to the above-described angle, and for example, “10 °, 80, 100 °, 170 °” is an angle in which the polarization direction is symmetric with respect to the sides of the rectangular pixel of the image sensor. In this case, the angle difference between the polarization directions is a different angle (20 ° or 70 °). Further, the polarization direction may be in a range including an allowable error EA with respect to the above-described angle, for example, “22.5 ° ⁇ EA, 67.5 ° ⁇ EA,.
  • the polarizing pixels having a plurality of polarization directions are arranged adjacent to each other, crosstalk occurs between the adjacent pixels. Therefore, the pixels having a large angle difference between the adjacent pixels are arranged apart from each other. For example, as shown in FIG. 9, the polarizing pixels having an angle difference of 90 ° are arranged at an oblique position.
  • the positional relationship of the polarization direction with respect to the pixel of the image sensor is equal in a plurality of polarization directions, it is difficult to form a polarization filter in a fine pixel. It becomes the same in each polarization direction, and variation in sensitivity due to the difference in polarization direction can be reduced.
  • the pixel processing unit 30 is based on the image signal of the captured image generated by the imaging unit 20, and the image signal of the non-polarized image composed of non-polarized pixels or the image of the polarized image composed of polarized pixels in a plurality of polarization directions. A signal and an image signal of a non-polarized image are generated and output to the noise removing unit 40 or the demosaic processing unit 50.
  • the pixel processing unit 30 has a pixel arrangement in the imaging unit 20 as shown in FIG. 4A, in which the two pixel positions in the 2 ⁇ 2 pixel region are non-polarized pixels and the remaining pixels have different polarization directions.
  • the noise removal unit 40 performs noise removal
  • the pixel processing unit 30 performs the first form of processing.
  • the pixel arrangement in the imaging unit 20 is configured such that two pixel positions in the 2 ⁇ 2 pixel region are non-polarized pixels and the remaining pixels are polarized pixels having the same polarization direction. If so, the pixel processing unit 30 performs the second type of processing.
  • FIG. 10 is a diagram for explaining the first embodiment of the image processing unit.
  • the pixel processing unit 30 includes a non-polarized pixel interpolation unit 31 as illustrated in FIG.
  • the non-polarization pixel interpolation unit 31 calculates the pixel value of the pixel position of the polarization pixel for which the pixel value of the non-polarization pixel is not obtained by interpolation processing using the pixel values of the surrounding non-polarization pixels. For example, as shown in FIG. 10B, when calculating a non-polarized pixel value Q (x, y) at a position (x, y) indicated by a double frame, a pixel of a non-polarized pixel located in the periphery.
  • the pixel processing unit 30 performs interpolation processing using peripheral non-polarized pixels for each pixel position of the polarized pixel, and as shown in FIG. 10A, the captured image generated by the imaging unit 20, that is, the polarized pixel and A non-polarized image is generated from a captured image composed of non-polarized pixels.
  • FIG. 11 is a diagram for explaining a second embodiment of the image processing unit.
  • the pixel processing unit 30 has a pixel value calculation unit 32 as shown in FIG.
  • the pixel value calculation unit 32 sets a unit region so as to include a pixel having the same polarization direction and a non-polarization pixel, and performs pixel addition or pixel averaging for each of the polarization pixel and the non-polarization pixel having the same polarization direction in the unit region. Do.
  • the pixel value calculation unit 32 includes pixels in the same polarization direction and non-polarized pixels as shown in FIG. 11B.
  • a 2 ⁇ 2 pixel area is set as a unit area.
  • the pixel value calculation unit 32 uses the pixel addition value or the pixel average value of two pixels in the same polarization direction included in the unit area as indicated by the white arrow as the pixel value of the polarization image, and includes the non-polarized light included in the unit area.
  • the pixel addition value or pixel average value of two pixels is set as the pixel value of the non-polarized image.
  • the resolution of the image is 1 ⁇ 2.
  • the noise removing unit 40 performs noise removal of the captured image generated by the imaging unit 20 or the polarized image generated by the pixel processing unit 30 using the non-polarized image.
  • the noise removing unit 40 is used for the smoothing filter processing based on the non-polarized pixel at the pixel position of the target pixel which is a pixel from which noise is removed and the non-polarized pixel at the pixel position of the peripheral pixel having the same polarization direction as the target pixel
  • the weight is calculated, and the pixel value of the polarization pixel at the pixel position of the target pixel is calculated using the calculated weight, the target pixel, and the polarization pixel at the pixel position of the peripheral pixel having the same polarization direction as the target pixel.
  • the noise removing unit 40 removes noise from the polarization pixel of the captured image and the noise of the polarization image by performing smoothing filter processing by increasing the weight of the portion closer to the target pixel from which noise is removed.
  • smoothing filter processing by increasing the weight of the portion closer to the target pixel from which noise is removed.
  • FIG. 12 illustrates the configuration of the embodiment of the noise removal unit.
  • the noise removal unit 40 includes a weight calculation unit 41, multiplication units 42 and 44, and integration units 43 and 45.
  • the weight calculation unit 41 uses the luminance difference between the target pixel and the peripheral pixel and the distance information between the pixels using the peripheral pixel located in the periphery of the target pixel and the target pixel from the non-polarized image. Pixel weights are calculated and output to the multipliers 42 and 44.
  • the multiplication unit 42 multiplies the pixel values of the target pixel and the surrounding pixels by the weight using the polarization image and the weight calculated by the weight calculation unit 41, and outputs the multiplication result to the integration unit 43.
  • the multiplication unit 44 multiplies the pixel values of the target pixel and the surrounding pixels by using the non-polarized image and the weight calculated by the weight calculation unit 41, and outputs the multiplication result to the integration unit 45.
  • the integrating unit 43 integrates the multiplication results of the multiplying unit 42 to obtain the pixel value of the polarization image after removing noise from the pixel of interest (pixels indicated by a double frame).
  • the accumulating unit 45 accumulates the multiplication results of the multiplying unit 44 to obtain the pixel value of the non-polarized image after removing the noise of the pixel of interest (pixel indicated by a double frame).
  • the noise removing unit 40 sequentially sets each pixel of the non-polarized pixel as the target pixel, calculates the weight as described above, multiplies the target pixel and the surrounding pixels, and accumulates the multiplication results, thereby obtaining the polarization image and the non-polarized image.
  • the noise is removed, and the polarization image after the noise removal is output to the demosaic processing unit 50.
  • FIG. 13A and 13B are diagrams for explaining the operation of the noise removing unit.
  • FIG. 13A is a captured image generated by the imaging unit 20, and
  • FIG. 13B is a non-polarized pixel of the pixel processing unit 30. The non-polarized image produced
  • the weight calculation unit 41 of the noise removal unit 40 sets a peripheral pixel position whose polarization direction is equal to the polarization pixel of the target pixel position “x, y” as the peripheral pixel position. Therefore, the pixel positions “x-2, y-2”, “x, y-2”, “x + 2, y-2”, “x-2, y”, “x + 2, y”, “x-2” , y + 2 ”,“ x, y + 2 ”, and“ x + 2, y + 2 ”are the peripheral pixel positions.
  • the pixel value of the pixel of interest in the polarization image is “P (x, y)”, and the pixel values at the peripheral pixel positions are “P (x ⁇ 2, y ⁇ 2)” and “P (x, y ⁇ 2)”.
  • P (x + 2, y-2) "P (x-2, y)”
  • P (x + 2, y) "P (x + 2, y)”
  • P (x-2, y + 2) P (x, y +2)
  • P (x, y +2) and“ P (x + 2, y + 2)
  • the pixel value of the target pixel in the non-polarized image is “Q (x, y)”, and the pixel values at the peripheral pixel positions are “Q (x ⁇ 2, y ⁇ 2)” and “Q (x, y ⁇ 2)”.
  • the multiplication unit 42 multiplies the pixel values of the target pixel and the surrounding pixels by the weight using the polarization image and the weight calculated by the weight calculation unit 41.
  • the integrating unit 43 integrates the multiplication results of the multiplying unit 42 to obtain the pixel value of the polarization image after removing the noise of the target pixel. That is, the multiplication unit 42 and the integration unit 43 perform the calculation of Expression (4) to calculate the polarization pixel value Pnr (x, y) after removing the noise of the target pixel.
  • Pnr polarization pixel value
  • the multiplication unit 44 multiplies the pixel values of the target pixel and the surrounding pixels by the weight using the non-polarized image and the weight calculated by the weight calculation unit 41.
  • the accumulating unit 45 accumulates the multiplication results of the multiplying unit 44 to obtain the pixel value of the non-polarized image after removing the noise of the target pixel.
  • the noise is removed by calculating the weight using not only the peripheral pixel positions having the same polarization direction but also the non-polarized pixels at the peripheral pixel positions having the different polarization directions. That is, the multiplication unit 44 and the integration unit 45 perform the calculation of Expression (5) to calculate the non-polarized pixel value Qnr (x, y) after removing the noise of the pixel of interest.
  • FIG. 14A is a polarization image generated by the pixel value calculation unit 32
  • FIG. 14B is a pixel value calculation unit.
  • generated by 32 is illustrated. Since the pixel value calculation unit 32 uses a 2 ⁇ 2 pixel region as a unit region, two pixels in FIG. 13 correspond to one pixel in FIG. In FIG.
  • the weight is calculated in the same manner as described above, and the calculated weight and the pixel values of the peripheral pixels in the same polarization direction are used.
  • the pixel value after noise removal of the target pixel can be calculated.
  • the noise removal unit 40 removes noise from the polarization image or the polarization image and the non-polarization image, and outputs the image after noise removal to the demosaic processing unit 50. Further, the noise removing unit 40 can perform noise removal of the polarized pixels with high accuracy by calculating a weight used for the smoothing filter processing using a highly sensitive non-polarized image.
  • the smoothing filter is not limited to the joint bilateral filter, and the weight may be calculated from the non-polarized image using another smoothing filter such as a Gaussian filter.
  • the demosaic processing unit performs demosaic processing according to the pixel arrangement of the polarization pixel and the non-polarization pixel in the imaging unit, and generates a polarization component image or a polarization component image and a non-polarization image for each polarization direction.
  • FIG. 15 illustrates the first embodiment of the demosaic processing unit.
  • the demosaic processing unit includes a Bayer equivalent processing unit 51.
  • the pixel arrangement in the imaging unit 20 is such that two diagonal pixels in the 2 ⁇ 2 pixel region are non-polarized pixels, and the remaining pixels are polarized pixels having different polarization directions.
  • the pixel array corresponds to a Bayer array.
  • a non-polarized pixel is a green pixel in a Bayer array
  • a polarized pixel whose polarization direction is “ ⁇ 1 45 °”.
  • the Bayer equivalent processing unit 51 generates an image signal for each color from the red, blue, and green pixels of the Bayer array, for example, the documents “B. Gunturk, J. Glotzbach, Y. Altunbasak, R.schafer, and R.
  • the Bayer equivalent processing unit 51 performs such processing, and the polarization direction based on the image signal supplied from the imaging unit 20 or the image signal supplied from the imaging unit 20 via the pixel processing unit 30 or the noise removal unit 40.
  • An image signal for each polarization component image and non-polarized image is generated.
  • the non-polarized image may be a non-polarized image generated by the pixel processing unit 30.
  • Second Embodiment of Demosaic Processing Unit a case where the arrangement of the polarized pixels and the non-polarized pixels is different from the Bayer array will be described.
  • the demosaic processing unit performs demosaic processing using the image signal supplied from the pixel processing unit 30 or the image signal supplied from the pixel processing unit 30 via the noise removal unit 40.
  • the pixel value of the polarization pixel at the pixel position of the target pixel is calculated for each polarization direction.
  • the demosaic processing unit considers that there is a positive correlation between the non-polarization pixel and the polarization pixel, and compensates the high-frequency component lost in the polarization component image from the non-polarization image to obtain a high-resolution polarization component image. Generate.
  • the demosaic processing unit uses the relationship between the pixel average value of the non-polarized pixels at the pixel position in the same polarization direction and the pixel value of the non-polarized pixel at the pixel position of the target pixel to determine the pixel position in the same polarization direction.
  • the pixel value of the polarization pixel at the pixel position of the target pixel with respect to the pixel average value of the polarization pixel is calculated.
  • the polarization direction is four directions will be described.
  • FIG. 16 illustrates a second embodiment of the demosaic processing unit.
  • the demosaic processing unit includes a polarization pixel averaging processing unit 52, a non-polarization pixel averaging processing unit 53, a center pixel acquisition unit 54, and a correlation processing unit 55.
  • the polarization pixel averaging processing unit 52 calculates the pixel average value for the target pixel for each polarization direction using the target pixel and the peripheral pixels located around the target pixel, and outputs the pixel average value to the correlation processing unit 55.
  • the non-polarization pixel averaging processing unit 53 uses the pixel of interest at the pixel position equal to the case where the polarization pixel averaging processing unit 52 calculates the pixel average value for each polarization direction using the pixel of interest and the peripheral pixels located around the pixel of interest. A pixel average value is calculated from the pixels and output to the correlation processing unit 55.
  • the center pixel acquisition unit 54 extracts the image value of the target pixel from the non-polarized image and outputs it to the correlation processing unit 55.
  • the correlation processing unit 55 calculates the pixel average value for each polarization direction calculated by the polarization pixel averaging processing unit 52 and the pixel average value calculated by the non-polarization pixel averaging processing unit 53 corresponding to the pixel average value for each polarization direction. Then, the pixel value for each polarization direction of the target pixel is calculated from the pixel value of the target pixel extracted by the central pixel acquisition unit 54.
  • the operation of the second embodiment of the demosaic processing unit will be described with reference to FIG. FIG. 17A shows a polarized image, and FIG. 17B shows a non-polarized image.
  • the polarization pixel averaging processing unit 52 of the demosaic processing unit includes the target pixel position “x, y” and the peripheral pixel positions “x ⁇ 1, y ⁇ 1”, “x, y ⁇ 1”, “x + 1, y” in the polarization image. -1 ",” x-1, y “,” x + 1, y “,” x-1, y + 1 ",” x, y + 1 ",” x + 1, y + 1 " Calculate the value.
  • the pixel value at the target pixel position in the polarization image is “P (x, y)”, and the pixel values at the peripheral pixel positions are “P (x ⁇ 1, y ⁇ 1)” and “P (x, y ⁇ 1)”.
  • “" P (x + 1, y-1) "" P (x-1, y) "" P (x + 1, y) "" P (x-1, y + 1) "" P (x, y + 1) "P (x + 1, y + 1)”.
  • the pixel value at the target pixel position in the non-polarized image is “Q (x, y)”, and the pixel values at the peripheral pixel positions are “Q (x ⁇ 1, y ⁇ 1)” and “Q (x, y ⁇ 1)”.
  • mP0 (x, y) P (x, y) (6)
  • mP1 (x, y) (P (x-1, y) + P (x + 1, y)) / 2
  • mP2 (x, y) (P (x-1, y-1) + P (x + 1, y-1) + P (x-1, y + 1) + P (x + 1, y + 1)) / 4 ...
  • mP3 (x, y) (P (x, y-1) + P (x, y + 1)) / 2 (9)
  • the correlation processing unit 55 assumes that there is a positive correlation between the polarization pixel and the non-polarization pixel, the pixel average value calculated from the polarization image, the pixel average value calculated from the non-polarization image, and the pixel of the target pixel in the non-polarization image
  • the pixel value for each polarization direction at the target pixel position is calculated from the value.
  • the correlation processing unit 55 outputs the pixel value Q (x, y) as the pixel value of the target pixel of the non-polarized image.
  • P0 (x, y) mP0 (x, y) .Q (x, y) / mQ0 (x, y) (14)
  • P1 (x, y) mP1 (x, y) Q (x, y) / mQ1 (x, y) (15)
  • P2 (x, y) mP2 (x, y) .Q (x, y) / mQ2 (x, y) (16)
  • P3 (x, y) mP3 (x, y) .Q (x, y) / mQ3 (x, y) (17)
  • the demosaic processing unit generates the polarization component image for each polarization direction by performing the above-described processing using each pixel of the polarization image as the pixel of interest.
  • the signal component of the non-polarized pixel is normalized by the pixel average value and superimposed on the polarized pixel, for example, aliasing caused by the frequency limit of the polarized pixel, etc.
  • a polarization component image having a resolution equivalent to that of a non-polarized image can be generated for each polarization direction.
  • the demosaic processing unit 50 performs the processing of the pixel processing unit 30, and an image or a non-polarized image in which the polarization pixel and the non-polarization pixel have a pixel arrangement corresponding to the Bayer array Generate.
  • the polarization information generation unit 60 generates polarization information using the polarization component image and the non-polarized image generated by the demosaic processing unit 50.
  • the relationship between the subject and the polarization image will be described with reference to FIG.
  • the subject OB is illuminated using the light source LT, and the camera CM images the subject OB via the polarizing plate PL.
  • the luminance of the subject OB changes according to the polarization direction of the polarizing plate PL.
  • a plurality of polarization images are acquired by rotating the polarizing plate PL, for example, and the highest luminance is Imax and the lowest luminance is Imin.
  • the angle in the y-axis direction with respect to the x-axis when the polarizing plate PL is rotated is a polarization angle ⁇ .
  • the polarizing plate PL returns to the original polarization state when rotated 180 degrees and has a period of 180 degrees. Further, the polarization angle ⁇ when the maximum luminance Imax is observed is defined as the azimuth angle ⁇ (polarization phase of the observation light).
  • the luminance I observed when the polarizing plate PL is rotated can be expressed as in Expression (18).
  • Formula (18) can also be expressed as Formula (19).
  • the polarization parameter Wa is a value calculated using Expression (20)
  • the polarization parameter Wb is calculated using Expression (21)
  • the polarization parameter Wc is calculated using Expression (22).
  • FIG. 19 illustrates the relationship between luminance and polarization angle.
  • This example shows a diffuse reflection polarization model.
  • the azimuth angle is shifted by 90 degrees from the polarization angle.
  • the polarization angle ⁇ is apparent when the polarization image is generated, and the maximum luminance Imax, the minimum luminance Imin, and the azimuth angle ⁇ are variables. It becomes. Therefore, by performing fitting to the polarization model equation shown in Equation (18) or Equation (19), it is possible to determine the azimuth angle ⁇ , which is the polarization angle with the maximum luminance, based on the polarization model equation after fitting. .
  • the pixel of interest in the polarization component image whose polarization direction is the polarization angle ⁇ 0 is defined as luminance (pixel value) I0. Also, let the pixel of interest in the polarization component image whose polarization direction is the polarization angle ⁇ 1 be luminance (pixel value) I1.
  • the polarization information generation unit 60 calculates the polarization parameter Wc using the luminance (pixel value) Ic of the non-polarized pixel based on Expression (23).
  • the coefficient K in Expression (23) is a coefficient that absorbs the sensitivity difference between the polarized pixel and the non-polarized pixel, and the luminance Ic is the pixel value of the non-polarized pixel.
  • the coefficient K is a coefficient that makes the pixel value of the non-polarized pixel equal to the pixel value of the polarized pixel when a predetermined subject is imaged in advance.
  • the polarization information generation unit 60 calculates the polarization parameters Wa and Wb in the polarization model equation of the equation (19) based on the polarization pixels and the non-polarization pixels in the two polarization directions, for example, using the least square method.
  • the polarization parameter x is defined as in Expression (24).
  • the polarization model A is defined as shown in Expression (25).
  • the polarization parameter Wa uses the equation (28) and the polarization parameter Wb uses the equation (29).
  • the polarization parameter Wa is the equation (30)
  • the polarization parameter Wb is the equation. This is a value calculated using (31).
  • the polarization parameter Wc is a value calculated using the equation (23).
  • the polarization information generation unit 60 acquires the polarization model equation by calculating the polarization parameters Wa, Wb, and Wc, and generates polarization information indicating the acquired polarization model equation.
  • Second Operation of Polarization Information Generation Unit a case where the parameters of the polarization model equation (19) are calculated from the polarization component images and the non-polarized images for each of the four polarization directions will be described with reference to FIG.
  • the polarization information generation unit 60 calculates the polarization parameters Wa, Wb, Wc in the polarization model equation of Equation (19) using, for example, the least square method.
  • the polarization parameter Wa is a value calculated using the equation (36)
  • the polarization parameter Wb is a value calculated using the equation (37)
  • the polarization parameter Wc is a value calculated using the equation (23).
  • the polarization parameter Wc may be calculated using Expression (38) when only the polarization component image is used.
  • Wc (I0 + I1 + I2 + I3) / 4 (38)
  • the polarization information generation unit 60 acquires the polarization model equation by calculating the polarization parameters Wa, Wb, and Wc, and generates polarization information indicating the acquired polarization model equation.
  • the polarization pixel of the imaging unit is composed of pixels of two polarization directions
  • correct polarization information cannot be generated if the pixel value is saturated in one of the polarization pixels.
  • the polarization pixel of the imaging unit is composed of pixels of four polarization directions
  • the other three polarization pixels are used to make three polarizations. Parameters can be calculated. Therefore, compared with the case where the polarization pixel of the imaging unit has two polarization directions, it is possible to make the pixel value loss due to saturation or the like more robust.
  • the normal information generation unit 70 generates normal information, for example, normal information indicating an azimuth angle and a zenith angle, based on the polarization information generated by the polarization information generation unit 60.
  • the normal information generation unit 70 calculates the azimuth angle ⁇ based on, for example, the equation (39). Further, the normal information generation unit 70 calculates the zenith angle ⁇ based on the equation (40).
  • the parameters A, B, C, and D in the equation (40) are values calculated by the equations (41) to (44), and the degree of polarization ⁇ shown in the equations (40) and (41) is expressed by the equation (40). 45).
  • parameters A, C, and D are calculated using the refractive index n of the subject OB.
  • FIG. 22 is a flowchart showing the processing of the embodiment of the image processing apparatus.
  • the image processing apparatus acquires a captured image.
  • the image processing apparatus generates a captured image using an imaging unit including a polarization pixel and a non-polarization pixel, and proceeds to step ST2.
  • step ST2 the image processing apparatus generates a polarization component image and a non-polarized image for each polarization direction.
  • the image processing apparatus 10 performs demosaic processing using the captured image, and generates a polarization component image and a non-polarized image that are polarization images for each polarization direction.
  • the image processing apparatus 10 generates a high-quality polarization component image using the non-polarized image.
  • the image processing apparatus 10 may perform demosaic processing by removing noise of polarized pixels in a captured image using a non-polarized image.
  • the image processing apparatus 10 generates a polarization component image and a non-polarized image, and proceeds to step ST3.
  • step ST3 the image processing apparatus generates polarization information.
  • the image processing apparatus 10 performs fitting to the polarization model equation based on the pixel value for each polarization direction and the non-polarized pixel value of the target pixel, generates polarization information indicating the polarization model equation after the fitting, and proceeds to step ST4. move on.
  • step ST4 the image processing apparatus generates normal line information.
  • the image processing apparatus 10 calculates the azimuth angle and zenith angle at the target pixel based on the polarization information generated in step ST3, and generates normal information indicating the calculated azimuth angle and zenith angle.
  • the image processing apparatus demosaicing the non-polarized image and the polarization component image for each polarization direction from the captured image generated by the imaging unit 20 in which the non-polarized pixels and at least two polarization pixels for each polarization direction are arranged.
  • the polarization information generation unit 60 generates polarization information indicating the polarization characteristics of the subject included in the captured image from the non-polarized image and the polarization component image generated by the demosaic processing unit 50.
  • the demosaic processing unit 50 can generate a high-resolution polarization component image for each polarization direction using a non-polarized image.
  • the noise removal unit can perform noise removal of a polarization image and a polarization pixel with high accuracy by using a highly sensitive non-polarized image.
  • FIG. 23 illustrates the configuration of an imaging unit that generates a color image.
  • a color mosaic filter 23 is provided on the incident surface of the image sensor 21.
  • the color mosaic filter 23 is not limited to being provided between the image sensor 21 and the polarizing filter 22, and may be provided on the incident surface of the polarizing filter 22.
  • the polarizing filter 22 and the color mosaic filter 23 are configured by providing pixels with the same color in each polarization direction so as not to be affected by the difference in color between the polarization pixels with different polarization directions. Further, the polarization filter 22 and the color mosaic filter 23 are configured to obtain pixel values of non-polarized pixels for each color.
  • FIG. 24 illustrates the relationship between the color mosaic filter and the polarizing filter (two polarization directions).
  • the polarizing filter 22 is configured to receive two polarized pixels and two non-polarized pixels having different polarization directions in a 2 ⁇ 2 pixel region.
  • the color mosaic filter 23 has a 2 ⁇ 2 pixel area in units of red (R), green (G), and blue (B) color units, and the 4 ⁇ 4 pixel area is a red 2 ⁇ 2 pixel area. And a blue 2 ⁇ 2 pixel region and two green 2 ⁇ 2 pixel regions.
  • the imaging unit 20 generates a pixel value of a polarized pixel for each of two polarization directions and a pixel value of a non-polarized pixel of red, green, or blue for each 2 ⁇ 2 pixel region.
  • the color mosaic filter 23 has a 2 ⁇ 2 pixel area in units of red (R), green (G), and blue (B) colors.
  • the polarization filter 22 has a configuration in which two polarized pixels having different polarization directions and two non-polarized pixels are received in a green 2 ⁇ 2 pixel region, and the 4 ⁇ 4 pixel region is a red 2 ⁇ 2 pixel region. A blue 2 ⁇ 2 pixel region and two green 2 ⁇ 2 pixel regions are used.
  • the imaging unit 20 generates a pixel value of a non-polarized pixel of red, green, or blue and a pixel value of a polarized pixel of two polarization directions in green for each 2 ⁇ 2 pixel region.
  • the polarizing filter 22 is configured to receive two polarized pixels and two non-polarized pixels having different polarization directions in a 2 ⁇ 2 pixel region.
  • the color mosaic filter 23 has a configuration in which the 2 ⁇ 2 pixel region includes three green (G) pixels and one red (R) or blue (B) pixel. Two 2 ⁇ 2 pixel regions including 2 and two 2 ⁇ 2 pixel regions including blue pixels.
  • a pixel value of a non-polarized pixel that is a green pixel and a red pixel or a green pixel and a blue pixel, and a pixel value of a polarized pixel for each of two polarization directions in green Is generated.
  • the color mosaic filter 23 has a 2 ⁇ 2 pixel region in which two white pixels and two pixels of any color of red (R), green (G), or blue (B) are used.
  • the 4 ⁇ 4 pixel region is a 2 ⁇ 2 pixel region including a red pixel, a 2 ⁇ 2 pixel region including a blue pixel, and two 2 ⁇ 2 pixel regions including a green pixel.
  • the polarization filter 22 has a configuration in which white pixels in a 2 ⁇ 2 pixel region including a green pixel are polarized pixels having the same polarization direction, and two polarization pixels in two polarization directions are provided in the 4 ⁇ 4 pixel region, respectively. To do.
  • the imaging unit 20 for each 2 ⁇ 2 pixel region, the pixel value of a non-polarized pixel of red, green, or blue and the two polarization directions in the 2 ⁇ 2 pixel region including the green pixel are obtained. Pixel values of polarization pixels in any polarization direction are generated.
  • the color mosaic filter 23 divides a 2 ⁇ 2 pixel region into two white pixels and green (G) and red (R), or two white pixels and green (G) and blue (B). It is set as the pixel of this.
  • the 4 ⁇ 4 pixel region is defined as two 2 ⁇ 2 pixel regions including red pixels and two 2 ⁇ 2 pixel regions including blue pixels.
  • the polarization filter 22 has a configuration in which one white pixel in the 2 ⁇ 2 pixel region is provided as a polarization pixel, and two polarization pixels in two polarization directions are provided in the 4 ⁇ 4 pixel region.
  • the imaging unit 20 generates, for each 2 ⁇ 2 pixel area, pixel values of non-polarized pixels of green and red or green and blue, and pixel values of polarized pixels in any of the two polarization directions. Is done.
  • the imaging unit 20 generates pixel values of non-polarized pixels for each color and pixel values of polarized pixels for each polarization direction for each 4 ⁇ 4 pixel region.
  • FIG. 25 illustrates the relationship between the color mosaic filter and the polarizing filter (four polarization directions).
  • the color mosaic filter 23 has a 2 ⁇ 2 pixel region in which two white pixels and two pixels of any color of red (R), green (G), or blue (B) are used.
  • the 4 ⁇ 4 pixel region is a 2 ⁇ 2 pixel region including a red pixel, a 2 ⁇ 2 pixel region including a blue pixel, and two 2 ⁇ 2 pixel regions including a green pixel.
  • the polarizing filter 22 has a configuration in which a white pixel in a 2 ⁇ 2 pixel region is provided as a polarization pixel in any polarization direction, and two polarization pixels in four polarization directions are provided in a 4 ⁇ 4 pixel region.
  • the imaging unit 20 for each 2 ⁇ 2 pixel region, the pixel value of the non-polarized pixel of red, green, or blue and the polarization pixel that is one of the four polarization directions are polarized. Pixel values are generated.
  • the color mosaic filter 23 divides a 2 ⁇ 2 pixel region into two white pixels and green (G) and red (R) or two white pixels and green (G) and blue (B).
  • the configuration is a pixel.
  • the 4 ⁇ 4 pixel region is defined as two 2 ⁇ 2 pixel regions including red pixels and two 2 ⁇ 2 pixel regions including blue pixels.
  • the polarization filter 22 has a configuration in which two white pixels in the 2 ⁇ 2 pixel region are polarized pixels having different polarization directions, and two polarization pixels in four polarization directions are provided in the 4 ⁇ 4 pixel region.
  • the imaging unit 20 generates pixel values of green and red or green and blue non-polarized pixels and pixel values of polarized pixels in two polarization directions for each 2 ⁇ 2 pixel region.
  • the imaging unit 20 for each 2 ⁇ 2 pixel region, the pixel value of the non-polarized pixel of green and red or green and blue and the pixel value of the polarized pixel in any two polarization directions in the four polarization directions are obtained. Generated.
  • the color mosaic filter 23 has a configuration in which the 2 ⁇ 2 pixel region is a red (R), green (G), and blue (B) color unit, and the 4 ⁇ 4 pixel region is red. 2 ⁇ 2 pixel region, blue 2 ⁇ 2 pixel region, and two green 2 ⁇ 2 pixel regions.
  • the polarizing filter 22 has a configuration in which four polarizing pixels having different polarization directions are provided in a green 2 ⁇ 2 pixel region. In this case, the imaging unit 20 generates pixel values of non-polarized pixels in the red or blue 2 ⁇ 2 pixel region, and generates pixel values of polarized pixels in each polarization direction in the green 2 ⁇ 2 pixel region.
  • the imaging unit 20 generates a pixel value of a non-polarized pixel of each color and a pixel value of a polarized pixel for each polarization direction for each 4 ⁇ 4 pixel region.
  • the demosaic processing unit 50 When a color captured image is generated by the imaging unit 20, the demosaic processing unit 50 generates a non-polarized image for each color component from the color captured image. Further, the demosaic processing unit 50 generates a polarization component image for each polarization direction.
  • the polarization information generation unit 60 generates polarization information using the polarization component image and the non-polarization image generated by the demosaic processing unit 50. Since the polarization pixels are white or the same color pixels as described above, there is no influence due to the color difference between the polarization pixels. Therefore, polarization information can be correctly generated even when a color captured image is used. In FIG.
  • the green pixel is a polarized pixel
  • the sensitivity of the green pixel is lower than that of a red pixel or a blue pixel that is a non-polarized pixel. Therefore, if correction is performed on the pixel value of the green pixel according to the decrease in sensitivity of the polarized pixel, the conventional Bayer array demosaic process is performed, which is the same as when the pixels of each color component are non-polarized pixels. A color component image can be generated.
  • the pixel processing unit 30 can generate an unpolarized image for each color by performing integration processing using pixels of the same color.
  • the configuration of the image processing apparatus is not limited to the configuration shown in FIG.
  • the pixel processing unit 30 is configured corresponding to the pixel configuration of the imaging unit 20 as described above, the imaging unit 20 and the pixel processing unit 30 may be configured integrally. Further, when the imaging unit 20 is used only in an imaging environment that does not cause an influence due to the low sensitivity of the polarized pixels, the noise removing unit 40 may be omitted.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be any kind of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor).
  • FIG. 26 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 for connecting the plurality of control units conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for communicating with other control units via a communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided. In FIG.
  • a microcomputer 7610 As the functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
  • the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 27 shows an example of installation positions of the imaging unit 7410 and the vehicle outside information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or
  • FIG. 27 shows an example of shooting ranges of the respective imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
  • the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the vehicle interior information detection unit 7500 detects vehicle interior information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera.
  • the passenger can input information using a gesture.
  • data obtained by detecting the movement of the wearable device worn by the passenger may be input.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
  • a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi (registered trademark)). Other wireless communication protocols such as Bluetooth (registered trademark) may also be implemented.
  • the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point.
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. You may connect with.
  • a terminal for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal
  • P2P Peer To Peer
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
  • the dedicated communication I / F 7630 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
  • the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) Perform V2X communication, which is a concept including one or more of communication.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station installed on the road, and acquires information such as the current position, traffic jam, closed road, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link) via a connection terminal (and a cable if necessary). ) Etc. may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device possessed by a passenger, or an information device carried into or attached to the vehicle.
  • In-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • In-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generation device, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that automatic driving that autonomously travels regardless of the driver's operation is performed. For example, cooperative control may be performed.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 is information acquired via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
  • the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
  • the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
  • the outside information detection unit when the image processing apparatus of the present technology is applied to, for example, an outside information detection unit, the outside information detection unit can acquire polarization information and normal information with high accuracy. It is also possible to acquire a non-polarized image. For this reason, it becomes possible to accurately detect obstacles using the polarization information, the normal information, and the non-polarized image acquired by the outside information detection unit, and to enable safer driving A control system can be constructed.
  • the above-described image processing apparatus may be an imaging apparatus or an electronic device having an imaging function.
  • the series of processing described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical disc), a DVD (Digital Versatile Disc), a BD (Blu-Ray Disc (registered trademark)), a magnetic disk, or a semiconductor memory card. It can be stored (recorded) in a removable recording medium such as temporarily or permanently. Such a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the image processing apparatus may have the following configuration.
  • a demosaic processing unit that generates a non-polarized image and a polarization component image for each polarization direction from a captured image composed of non-polarized pixels and polarization pixels for at least two polarization directions;
  • An image processing apparatus comprising: a polarization information generation unit that generates polarization information indicating polarization characteristics of a subject included in the captured image from the non-polarized image and the polarization component image generated by the demosaic processing unit.
  • the demosaic processing unit uses a polarized pixel at a pixel position in the same polarization direction in a pixel of interest and peripheral pixels of the pixel of interest, and a non-polarized pixel at a pixel position equal to the polarized pixel and the pixel position of the pixel of interest.
  • the image processing apparatus according to (1) wherein a pixel value of a polarization pixel at a pixel position of the target pixel is calculated for each polarization direction.
  • the demosaic processing unit has the same polarization direction by using a relationship between a pixel average value of non-polarized pixels at a pixel position having the same polarization direction and a pixel value of the non-polarized pixel at the pixel position of the target pixel.
  • the image processing apparatus according to (2) wherein a pixel value of the polarization pixel at the pixel position of the target pixel is calculated with respect to a pixel average value of the polarization pixel at the pixel position.
  • a pixel processing unit that generates a non-polarized image by performing pixel generation of the pixel position of the polarized pixel using the non-polarized pixel; Based on the non-polarized pixel at the pixel position of the target pixel and the non-polarized pixel at the pixel position of the peripheral pixel having the same polarization direction as the target pixel, the weight used for the smoothing filter processing is calculated, and the calculated weight and the target pixel A noise removing unit that calculates a pixel value of the polarization pixel at the pixel position of the pixel of interest using a polarization pixel at a pixel position of a peripheral pixel that is in the same polarization direction as the pixel and the pixel of interest;
  • the image processing apparatus according to any one of (1) to (3), wherein the demosaic processing unit generates a polarization component image using a polarization pixel from which noise has been removed by the noise removal unit.
  • the polarization information generation unit determines a polarization model-type polarization parameter indicating the polarization characteristic at the target pixel position based on the polarization direction, the non-polarized pixel at the target pixel position, and the polarization pixel for each polarization direction.
  • the image processing apparatus according to any one of (1) to (4) to be calculated.
  • the image processing device according to (5), wherein the polarization information generation unit uses, as the polarization parameter, a pixel value of the non-polarization pixel having a sensitivity equal to that of the polarization pixel.
  • the imaging device of this technique can also take the following structures.
  • (1) Arrange non-polarized pixels and polarized pixels, An imaging apparatus in which the polarizing pixel is provided for each of at least two polarization directions.
  • (2) The imaging apparatus according to (1), further including a pixel control unit that performs control to match sensitivity of the non-polarized pixel and the polarized pixel.
  • (3) The imaging device according to (2), wherein the pixel control unit controls the exposure period of the non-polarized pixel or the polarized pixel to match the sensitivity of the non-polarized pixel and the polarized pixel.
  • (4) The imaging device according to any one of (1) to (3), wherein the at least two polarization directions are symmetric with respect to a side of a rectangular pixel.
  • the imaging device according to any one of (1) to (4), wherein the non-polarized pixels are provided at diagonal pixel positions in a 2 ⁇ 2 pixel region, and the remaining pixels are used as polarized pixels.
  • (6) The imaging device according to any one of (1) to (5), wherein the polarization pixels for each polarization direction are the same color, and the non-polarization pixels are pixels for each predetermined color component.
  • Pixel processing for generating a non-polarized image or a non-polarized image and a polarized image by performing interpolation processing using non-polarized pixels or integration processing of adjacent polarized pixels in the same polarization direction and integration processing of adjacent non-polarized pixels The imaging device according to any one of (1) to (6), further including a portion.
  • (8) The imaging device according to (7), which performs integration processing of pixels of the same color.
  • the non-polarized image and the polarization component image for each polarization direction are obtained from the non-polarized pixel and the polarization pixel for each polarization direction by the demosaic processing unit. Then, polarization information indicating the polarization characteristics of the subject included in the captured image is generated from the non-polarized image and the polarization component image. For this reason, since polarization information is generated using not only a polarization component image but also a non-polarization image that does not cause a decrease in the amount of light, polarization information is more accurate than when polarization information is generated based on a polarization component image. Will be able to get. Therefore, it is suitable for a device capable of performing control or the like using polarization information, such as a vehicle control system.

Abstract

撮像部２０は、無偏光画素と偏光画素を配置して、偏光画素は少なくとも二つの偏光方向の角度毎に設けた構成とする。デモザイク処理部５０は、撮像部２０で生成された撮像画像から、無偏光画像と偏光方向毎の偏光成分画像を生成する。偏光情報生成部６０は、デモザイク処理部５０で生成された無偏光画像と偏光成分画像から、撮像画像に含まれる被写体の偏光特性を示す偏光情報を生成する。このように、偏光成分画像だけでなく光量の低下を生じていない無偏光画像を用いて偏光情報を生成することから、偏光成分画像に基づいて偏光情報を生成する場合に比べて精度の良い偏光情報を取得できるようになる。

Description

画像処理装置と画像処理方法および撮像装置
　この技術は、画像処理装置と画像処理方法および撮像装置に関し、精度の良好な偏光情報を取得できるようにする。
　従来、撮像部と偏光フィルタを用いて偏光画像を取得する方法が開示されている。例えば、特許文献１では、撮像部の前に偏光フィルタを配置して、この偏光フィルタを回して撮影することで複数の偏光方向の偏光画像を取得する方法が開示されている。また、画素が複数の偏光方向の何れかの方向とされている偏光フィルタを用いることで、１回の撮像によって偏光方向毎の偏光成分を画素単位で示した偏光画像を取得する方法が開示されている。
　また、偏光方向毎の偏光成分が画素単位で示されている偏光画像から被写体の法線情報を取得することが行われている。例えば、非特許文献１や非特許文献２では、複数の偏光方向毎の偏光成分をモデル式にあてはめることによって法線情報を算出することが行われている。
国際公開第２００８／０９９５８９号
Lawrence B.Wolff and Terrance E.Boult :"Constraining Object Features Using a Polarization Reflectance Model",IEEE Transaction on pattern analysis and machine intelligence,Vol.13,No.7,July 1991 Gary A. Atkinson and Edwin R. Hancock :"Recovery of surface orientation from diffuse polarization",IEEE Transactions of Image Processing, Vol.15, Issue.6, pp.1653-1664, 2006
　ところで、無偏光の光を偏光フィルタに通すと、特定の偏光方向例えば垂直に振動する光を遮断して、水平光のみを取得することができるが、垂直に振動する光が遮断されることから光量が低下する。このため、光量の低下によって偏光画像におけるノイズが多くなると偏光画像から偏光情報を精度良く取得することができない。
　そこで、この技術では、偏光情報を精度良く取得できる画像処理装置と画像処理方法および撮像装置を提供する。
　この技術の第１の側面は、
　無偏光画素と少なくとも二つの偏光方向毎の偏光画素からなる撮像画像から、無偏光画像と偏光方向毎の偏光成分画像を生成するデモザイク処理部と、
　前記デモザイク処理部で生成された前記無偏光画像と前記偏光成分画像から、前記撮像画像に含まれる被写体の偏光特性を示す偏光情報を生成する偏光情報生成部
を備える画像処理装置にある。
　この技術において、デモザイク処理部は、無偏光画素と少なくとも二つの偏光方向毎の偏光画素からなる撮像画像から、無偏光画像と偏光方向毎の偏光成分画像の生成を行う。偏光成分画像の生成では、例えば注目画素と注目画素の周辺画素における同一偏光方向の画素位置の偏光画素と、該偏光画素と等しい画素位置および前記注目画素の画素位置の無偏光画素を用いて、偏光方向毎に同一偏光方向である画素位置の無偏光画素の画素平均値と前記注目画素の画素位置の無偏光画素の画素値との関係を用いて、同一偏光方向である画素位置の偏光画素の画素平均値に対する注目画素の画素位置における偏光画素の画素値を算出して偏光方向毎の偏光成分画像を生成する。
　また、無偏光画素を用いて偏光画素の画素位置の画素生成を行い、無偏光画像を生成する画素処理部と、注目画素の画素位置の無偏光画素と、前記注目画素と同一偏光方向である周辺画素の画素位置の無偏光画素に基づき、平滑化フィルタ処理に用いる重みを算出して、算出した重みと前記注目画素および前記注目画素と同一偏光方向である周辺画素の画素位置の偏光画素を用いて、前記注目画素の画素位置における偏光画素の画素値を算出することで、注目画素の画素位置における偏光画素のノイズ除去を行うノイズ除去部を設けて、デモザイク処理部は、ノイズ除去部でノイズ除去が行われた偏光画素を用いて偏光成分画像を生成する。
　偏光情報生成部は、例えば注目画素位置の偏光特性を示す偏光モデル式の偏光パラメータを、偏光方向と注目画素位置における無偏光画素と偏光方向毎の偏光画素に基づいて算出することで、撮像画像に含まれる被写体の偏光特性を示す偏光情報を生成する。また、偏光情報生成部は、偏光画素と等しい感度とした無偏光画素の画素値を偏光パラメータとして用いる。
　さらに、偏光情報生成部で生成された偏光情報に基づいて被写体の法線情報を生成する法線情報生成部を設ける。
　この技術の第２の側面は、
　無偏光画素と少なくとも二つの偏光方向毎の偏光画素からなる撮像画像から、無偏光画像と偏光方向毎の偏光成分画像をデモザイク処理部で生成することと、
　前記デモザイク処理部で生成された前記無偏光画像と前記偏光成分画像から、前記撮像画像に含まれる被写体の偏光特性を示す偏光情報を偏光情報生成部で生成することを含む画像処理方法にある。
　この技術の第３の側面は、
　無偏光画素と偏光画素を配置して、
　前記偏光画素は少なくとも二つの偏光方向毎に設けた撮像装置にある。
　この技術においては、無偏光画素と偏光画素を配置して、偏光画素は少なくとも二つの偏光方向を矩形状の画素の辺に対して対称な角度として偏光方向毎に設ける。また、無偏光画素と偏光画素は、例えば２×２画素領域における対角の画素位置に無偏光画素を設けて残りの画素を偏光画素とした配置とする。さらに、偏光方向毎の偏光画素は同一色として、無偏光画素は所定の色成分毎の画素とする。
　また、無偏光画素と偏光画素の感度を一致させる制御を行う画素制御部を設けて、例えば無偏光画素または偏光画素の露光期間を制御して無偏光画素と偏光画素の感度を一致させる。また、画素処理部を設けて例えば無偏光画素を用いた補間処理または同一偏光方向の近接する偏光画素の統合処理と近接する無偏光画素の統合処理を行い、無偏光画像または無偏光画像と偏光画像を生成する。また、画素処理部は同一色の画素の統合処理を行う。
　この技術によれば、無偏光画素と少なくとも二つの偏光方向毎の偏光画素からなる撮像画像から、無偏光画像と偏光方向毎の偏光成分画像がデモザイク処理部で生成されて、無偏光画像と偏光成分画像から、撮像画像に含まれる被写体の偏光特性を示す偏光情報が生成される。このように、偏光成分画像だけでなく光量の低下を生じていない無偏光画像を用いて偏光情報を生成することから、偏光成分画像に基づいて偏光情報を生成する場合に比べて精度の良い偏光情報を取得できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
画像処理装置の実施の形態の構成を示す図である。 撮像部の第１の実施の形態の構成を例示した図である。 撮像部の第１の実施の形態におけるイメージセンサの構成を例示した図である。 撮像部の第１の実施の形態における偏光フィルタの構成を例示した図である。 撮像部の第２の実施の形態におけるイメージセンサの構成を例示した図である。 撮像部の第２の実施の形態におけるイメージセンサの動作を説明するための図である。 撮像部の第３の実施の形態における偏光フィルタの構成を例示した図である。 偏光方向と矩形状の画素の位置関係を説明するための図である。 複数偏光方向の偏光画素を隣接して配置する場合の例を示す図である。 画像処理部の第１の実施の形態を説明するための図である。 画像処理部の第２の実施の形態を説明するための図である。 ノイズ除去部の実施の形態の構成を例示した図である。 ノイズ除去部の動作を説明するための図である。 ノイズ除去部の他の動作を説明するための図である。 デモザイク処理部の第１の実施の形態を例示した図である。 デモザイク処理部の第２の実施の形態を例示した図である。 デモザイク処理部の第２の実施の形態の動作を説明するための図である。 被写体の形状と偏光画像の関係を説明するための図である。 輝度と偏光角との関係を例示した図である。 二つの偏光方向毎の偏光成分画像と無偏光画像から偏光モデル式のパラメータを算出する場合を説明するための図である。 四つの偏光方向毎の偏光成分画像と無偏光画像から偏光モデル式のパラメータを算出する場合を説明するための図である。 画像処理装置の実施の形態の処理を示すフローチャートである。 カラー画像を生成する撮像部の構成を例示した図である。 カラーモザイクフィルタと偏光フィルタ（２偏光方向）の関係を例示した図である。 カラーモザイクフィルタと偏光フィルタ（４偏光方向）の関係を例示した図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．画像処理装置の実施の形態の構成と動作
　　１－１．撮像部について
　　　１－１－１．撮像部の第１の実施の形態
　　　１－１－２．撮像部の第２の実施の形態
　　　１－１－３．撮像部の第３の実施の形態
　　１－２．画素処理部について
　　　１－２－１．画素処理部の第１の実施の形態
　　　１－２－２．画素処理部の第２の実施の形態
　　１－３．ノイズ除去部について
　　１－４．デモザイク処理部について
　　　１－４－１．デモザイク処理部の第１の実施の形態
　　　１－４－２．デモザイク処理部の第２の実施の形態
　　１－５．偏光情報生成部について
　　　１－５－１．偏光情報生成部の第１の動作
　　　１－５－２．偏光情報生成部の第２の動作
　　１－６．法線情報生成部について
　２．他の実施の形態
　３．適用例
　＜１．画像処理装置の実施の形態の構成と動作＞
　図１は、画像処理装置の実施の形態の構成を例示している。画像処理装置１０は、撮像部２０、デモザイク処理部５０、偏光情報生成部６０、法線情報生成部７０を有している。また、画像処理装置１０は、撮像部２０の構成に応じて画素処理部３０を設けた構成としてもよく、ノイズによる悪影響を少なくするためノイズ除去部４０を設けた構成としてもよい。なお、撮像部２０や法線情報生成部７０等は、画像処理装置１０から分離した構成であってもよい。
　＜１－１．撮像部について＞
　撮像部２０は、無偏光画素と少なくとも二つの偏光方向毎に設けた偏光画素が配置されており、撮像画像の画像信号を生成して画素処理部３０、またはノイズ除去部４０あるいはデモザイク処理部５０へ出力する。
　＜１－１－１．撮像部の第１の実施の形態＞
　撮像部の第１の実施の形態では、撮像部によって、無偏光の画素と少なくとも二つの偏光成分毎の画素から撮像画像の画像信号を生成する。図２は、撮像部の第１の実施の形態の構成を例示している。撮像部２０-1は、イメージセンサ２１-1の入射面に、偏光フィルタ２２-1を配置した構成とされている。
　図３は、撮像部の第１の実施の形態におけるイメージセンサの構成を例示している。イメージセンサ２１-1は、複数個の画素がアレイ状例えば二次元マトリクス状に配列された画素アレイ部２１１と、画素アレイ部２１１の駆動制御等を行う垂直走査回路２１２および水平走査回路２１３を有している。なお、説明を簡単とするため、画素アレイ部２１１では、行方向および列方向の一部の画素のみを示している。
　画素アレイ部２１１の画素は、図示せずもフォトダイオードおよび電荷転送用やリセット用のトランジスタを有している。各画素は、リセット線と選択線を介して垂直走査回路２１２と接続されており、信号線を介して水平走査回路２１３と接続されている。
　垂直走査回路２１２は、リセット線を介してリセット信号を画素のリセット用のトランジスタへ出力して蓄積電荷を排出させる。その後、垂直走査回路２１２は、選択線を介して読出信号を偏光画素および無偏光画素の電荷転送用のトランジスタへ出力して、リセット信号が出力されてから読出信号が出力されるまでの露光期間中に蓄積された電荷を信号電流として信号線に出力させる。水平走査回路２１３は、各画素から読み出された信号電流をデジタルの画素信号に変換する処理や画素信号の利得調整処理等を行い、処理後の画素信号を水平方向の画素順に画素処理部３０、またはノイズ除去部４０あるいはデモザイク処理部５０へ出力する。また、垂直走査回路２１２と水平走査回路２１３は、上述の処理をライン毎に行う。
　図４は、撮像部の第１の実施の形態における偏光フィルタの構成を例示している。偏光フィルタ２２-1は、無偏光画素と少なくとも二つの複数偏光方向の偏光画素で構成されている。偏光画素ではフォトニック液晶またはワイヤグリッド等を用いて、偏光方向が少なくとも二つの偏光方向とされている。図４の（ａ）では、偏光方向が二つの偏光方向例えば二つの偏光方向の偏光角αが「α0＝０°，α1＝４５°」の場合を示している。図４の（ｂ）では、偏光方向が四つの偏光方向例えば四つの偏光方向の偏光角αが「α0＝０°，α1＝４５°，α2＝９０°，α3＝１３５°」の場合を示している。また、図４に示すように、偏光フィルタ２２-1は、２×２画素領域における二つの画素位置（例えば対角位置）が無偏光画素で残りの画素が偏光画素となるように構成されている。
　このように構成された撮像部では、順次画素信号を読み出すことで、偏光画素と無偏光画素から構成された撮像画像の画像信号を生成してデモザイク処理部５０、または画素処理部３０やノイズ除去部４０を介してデモザイク処理部５０へ出力する。
　＜１－１－２．撮像部の第２の実施の形態＞
　次に撮像部の第２の実施の形態について説明する。撮像部の第２の実施の形態では、イメージセンサが第１の実施の形態と異なり、偏光画素と無偏光画素の感度を一致させる制御を画素制御部で行って撮像画像の画像信号を生成する。
　図５は、撮像部の第２の実施の形態におけるイメージセンサの構成を例示している。イメージセンサ２１-2は、複数個の画素が二次元マトリクス状に配列された画素アレイ部２１１と垂直走査回路２１２-2および水平走査回路２１３を有している。イメージセンサ２１-2は、偏光画素と無偏光画素の露光期間を制御して偏光画素と無偏光画素の感度を一致させる。なお、説明を簡単とするため、画素アレイ部２１１では、行方向および列方向の一部の画素のみを示している。
　画素アレイ部２１１の画素は、図示せずもフォトダイオードおよび電荷転送用やリセット用のトランジスタを有している。偏光画素は、偏光画素リセット線と選択線を介して垂直走査回路２１２-2と接続されており、信号線を介して水平走査回路２１３と接続されている。また、無偏光画素は、無偏光画素リセット線と選択線を介して垂直走査回路２１２-2と接続されており、信号線を介して水平走査回路２１３と接続されている。なお、図５では、偏光画素における偏光方向を矢印で示している。
　垂直走査回路２１２-2は、偏光画素のリセット線を介してリセット信号を偏光画素のリセット用のトランジスタへ出力して蓄積電荷を排出させる。また、垂直走査回路２１２-2は、無偏光画素のリセット線を介してリセット信号を無偏光画素のリセット用のトランジスタへ出力して蓄積電荷を排出させる。その後、垂直走査回路２１２は、選択線を介して読出信号を偏光画素および無偏光画素の電荷転送用のトランジスタへ出力して、リセット信号が出力されてから読出信号が出力されるまでの露光期間中に蓄積された電荷を信号電流として信号線に出力させる。水平走査回路２１３は、各画素から読み出された信号電流をデジタルの画素信号に変換する処理や画素信号の利得調整処理等を行い、処理後の画素信号を水平方向の画素順にデモザイク処理部５０へ出力する。また、垂直走査回路２１２と水平走査回路２１３は、上述の処理をライン毎に行う。さらに、垂直走査回路２１２は、偏光画素または無偏光画素の露光期間を制御して偏光画素と無偏光画素の感度を一致させる。例えば、垂直走査回路２１２は画素制御部としての動作を行い、無偏光画素のリセット信号のタイミングを制御して、無偏光画素が偏光画素の感度と等しくなるように無偏光画素の露光期間を制御して、偏光画素と無偏光画素の感度を一致させる。
　図６は、撮像部の第２の実施の形態におけるイメージセンサの動作を説明するための図である。撮像部２０-2では、偏光画素リセット信号と無偏光画素リセット信号の出力を独立に制御することで、例えば無偏光の被写体を撮像した場合に、偏光画素と無偏光画素の信号レベルが等しくなるように無偏光画素の露光期間を調整する。
　図６の（ａ）は偏光画素と無偏光画素から蓄積電荷に応じた信号を読み出すための読み出し信号ＳＣaを示している。図６の（ｂ）は、偏光画素に対するリセット信号ＳＣbpを示しており、図６の（ｃ）は偏光画素における蓄積電荷量を示している。偏光画素は、リセット信号ＳＣbpによって蓄積電荷が排出されたのち、リセット信号ＳＣbpが終了した時点ｔ１から偏光画素において入射光に応じて電荷の蓄積が行われる。
　図６の（ｄ）は、無偏光画素に対するリセット信号ＳＣbn、図６の（ｅ）は、無偏光画素における蓄積電荷量を示している。無偏光画素は、リセット信号ＳＣbnによって蓄積電荷が排出されたのち、リセット信号ＳＣbnが終了した時点ｔ２から無偏光画素において、入射光に応じて電荷の蓄積が行われる。
　偏光画素と無偏光画素は、読み出し信号ＳＣaによって時点ｔ３で蓄積された電荷の読み出しが行われる。すなわち偏光画素では時点ｔ１～ｔ３の期間が露光時間Ｔepとなり、無偏光画素では時点ｔ２～ｔ３の期間が露光時間Ｔenとなる。したがって、偏光画素に対する無偏光画素の感度に応じて露光時間Ｔepに対して露光時間Ｔenを短くすることで、偏光画素と無偏光画素で感度差を有していても、偏光画素の信号レベルＳＬpと無偏光画素の信号レベルＳＬnが等しい画像信号を生成できる。
　なお、撮像部は、水平走査回路２１３で画素制御部の動作を行い、偏光画素と無偏光画素の感度が一致するように画素信号の利得調整を行うようにしてもよい。
　このような撮像部の第２の実施の形態によれば、偏光画素と無偏光画素で感度差を生じていない撮像画像の画像信号を撮像部２０-2で生成できるようになる。
　＜１－１－３．撮像部の第３の実施の形態＞
　次に、撮像部の第３の実施の形態について説明する。撮像部の第１の実施の形態で示したように複数偏光方向の偏光画素を設ける場合、微細な画素に偏光子を形成する難しさ等によって感度のばらつきを生じるおそれがある。このため、撮像部で感度ばらつきを生じると、例えば輝度が均一である無偏光の被写体を撮像しても偏光画素で生成される画素信号は信号レベルのばらつきを生じてしまう。そこで、撮像部の第３の実施の形態では、第１および第２の実施の形態の偏光フィルタとは異なる構成の偏光フィルタを用いて、偏光方向の違いによる感度ばらつきを少なくする。
　撮像部の第３の実施の形態で用いる偏光フィルタ２２-3は、イメージセンサの矩形状の画素の辺に対して各偏光方向が対称な角度となるように構成する。図７は撮像部の第３の実施の形態における偏光フィルタの構成を例示しており、例えば図７の（ａ）に示す偏光フィルタの偏光方向は「α0＝２２．５°，α1＝６７．５°」とする。また、図７の（ａ）に示す偏光フィルタの偏光方向は「α0＝２２．５°，α1＝６７．５°，α2＝１１２．５°，α3＝１５７．５°」とする。
　図８は、偏光方向と矩形状の画素の位置関係を説明するための図である。図８に示すように、「α0＝２２．５°」である偏光画素を上下方向または左右方向に反転すると偏光方向は「α3＝１５７．５°」となる。また、基準とする辺の切り替えすなわち「α0＝２２．５°」である偏光画素を９０°回転すると、偏光方向は「α2＝１１２．５°」となり、さらに上下方向または左右方向に反転すると偏光方向は「α1＝６７．５°」となる。このように、イメージセンサの矩形状の画素の辺に対して各偏光方向が対称な角度となるように偏光フィルタ２２-3を構成すると、微細な画素に偏光フィルタを形成する難しさ等は偏光方向に係らず等しくなり、偏光方向の違いによる偏光画素の感度ばらつきを、偏光方向が対称でない角度とされている例えば図４に示す偏光フィルタを用いた場合に比べて少なくできる。また、偏光方向を「α0＝２２．５°，α1＝６７．５°，α2＝１１２．５°，α3＝１５７．５°」とすれば、偏光方向の角度差を等しい角度（４５°）とすることができる。なお、偏光方向は、上述の角度に限らず例えば「１０°，８０，１００°，１７０°」としてもイメージセンサの矩形状の画素の辺に対して偏光方向が対称な角度となる。この場合、偏光方向の角度差は異なる角度（２０°または７０°）となる。また、偏光方向は、上述の角度に対して許容可能な誤差ＥＡを含めた範囲例えば「２２．５°±ＥＡ，６７．５°±ＥＡ，・・・」としてもよい。
　さらに、複数偏光方向の偏光画素を隣接して配置する場合、隣接する画素間でのクロストークが発生することから、隣接画素間の角度差が大きい画素を離して配置する。例えば図９に示すように、角度差が９０°の偏光画素は斜めの位置に配置する。
　このような撮像部の第３の実施の形態によれば、イメージセンサの画素に対する偏光方向の位置関係が、複数の偏光方向で等しくなるため、微細な画素に偏光フィルタを形成する難しさ等が各偏光方向で同等となり偏光方向の違いによる感度のばらつきを少なくできる。
　＜１－２．画素処理部について＞
　画素処理部３０は、撮像部２０で生成された撮像画像の画像信号に基づき、無偏光画素で構成された無偏光画像の画像信号、または複数偏光方向の偏光画素で構成された偏光画像の画像信号と無偏光画像の画像信号を生成してノイズ除去部４０またはデモザイク処理部５０へ出力する。
　また、画素処理部３０は、撮像部２０における画素配置が、図４の（ａ）に示すように、２×２画素領域における二つの画素位置が無偏光画素で残りの画素が偏光方向の異なる偏光画素で構成されており、ノイズ除去部４０でノイズ除去を行う場合、画素処理部３０は第１の形態の処理を行う。また、撮像部２０における画素配置が、図４の（ｂ）に示すように、２×２画素領域における二つの画素位置が無偏光画素で残りの画素が同じ偏光方向の偏光画素で構成されている場合、画素処理部３０は第２の形態の処理を行う。
　＜１－２－１．画素処理部の第１の実施の形態＞
　画像処理部の第１の実施の形態では無偏光画像を生成する場合について説明する。図１０は、画像処理部の第１の実施の形態を説明するための図である。
　画素処理部３０は、図１０の（ａ）に示すように無偏光画素補間部３１を有している。無偏光画素補間部３１は、無偏光画素の画素値が得られていない偏光画素の画素位置の画素値を、周辺の無偏光画素の画素値を用いた補間処理によって算出する。例えば、図１０の（ｂ）に示すように、二重枠で示す位置（ｘ、ｙ）における無偏光の画素値Ｑ（ｘ，ｙ）を算出する場合、周辺に位置する無偏光画素の画素値Ｑ（x,y-1)，Ｑ（x-1,y)，Ｑ（x+1,y)，Ｑ（x+1,y+1)を用いて式（１）に示す演算を行い、画素値Ｑ(x,y)を算出する。
　Ｑ(x,y)＝(Ｑ（x,y-1)＋Ｑ（x-1,y)＋Ｑ（x+1,y)＋Ｑ（x+1,y+1))／４
　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　画素処理部３０は、偏光画素の画素位置毎に周辺の無偏光画素を用いて補間処理を行い、図１０の（ａ）に示すように、撮像部２０で生成された撮像画像すなわち偏光画素と無偏光画素で構成されている撮像画像から無偏光画像を生成する。
　＜１－２－２．画素処理部の第２の実施の形態＞
　画素処理部３０の第２の実施の形態では、同一偏光方向の近接する偏光画素の統合処理と近接する無偏光画素の統合処理を行い無偏光画像と偏光画像を生成する場合について説明する。図１１は、画像処理部の第２の実施の形態を説明するための図である。
　画素処理部３０は、図１１の（ａ）に示すように画素値演算部３２を有している。画素値演算部３２は、同一偏光方向の画素と無偏光画素を含むように単位領域を設定して、単位領域内における同一偏光方向の偏光画素と無偏光画素のそれぞれについて、画素加算または画素平均化を行う。画素値演算部３２は、撮像部２０の画素配置が例えば図４の（ｂ）に示す構成である場合、図１１の（ｂ）に示すように、同一偏光方向の画素と無偏光画素を含む２×２画素領域を単位領域として設定する。また、画素値演算部３２は、白色矢印で示すように単位領域に含まれる同一偏光方向の２画素の画素加算値または画素平均値を偏光画像の画素値として、単位領域に含まれる無偏光の２画素の画素加算値または画素平均値を無偏光画像の画素値とする。なお、画素値演算部３２で生成される複数偏光方向の偏光画素からなる偏光画像と無偏光画像は、２×２画素領域を単位領域としていることから画像の解像度は１／２となる。
　＜１－３．ノイズ除去部について＞
　ノイズ除去部４０は、撮像部２０で生成された撮像画像または画素処理部３０で生成された偏光画像のノイズ除去を、無偏光画像を用いて行う。ノイズ除去部４０は、ノイズを除去する画素である注目画素の画素位置の無偏光画素と、注目画素と同一偏光方向である周辺画素の画素位置の無偏光画素に基づき、平滑化フィルタ処理に用いる重みを算出して、算出した重みと注目画素および注目画素と同一偏光方向である周辺画素の画素位置の偏光画素を用いて、注目画素の画素位置における偏光画素の画素値を算出する。ノイズ除去部４０は、ノイズを除去する注目画素に近い部分ほど重みを大きくして平滑化フィルタ処理を行うことで、撮像画像の偏光画素や偏光画像のノイズの除去を行う。以下、ノイズ除去部の実施の形態では、平滑化フィルタとしてジョイントバイラテラルフィルタを用いた場合について説明する。
　図１２は、ノイズ除去部の実施の形態の構成を例示している。ノイズ除去部４０は、重み算出部４１と乗算部４２，４４、積算部４３，４５を有している。重み算出部４１は、無偏光画像から注目画素と注目画素の周辺に位置する周辺画素を用いて、注目画素と周辺画素との輝度差分および画素間の距離情報を使用して、注目画素および周辺画素の重みを算出して乗算部４２，４４へ出力する。
　乗算部４２は、偏光画像と重み算出部４１で算出された重みを用いて、注目画素および周辺画素の画素値に重みを乗算して、乗算結果を積算部４３へ出力する。乗算部４４は、無偏光画像と重み算出部４１で算出された重みを用いて、注目画素および周辺画素の画素値に重みを乗算して、乗算結果を積算部４５へ出力する。
　積算部４３は、乗算部４２の乗算結果を積算して、注目画素（二重枠で示す画素）のノイズ除去後の偏光画像の画素値とする。積算部４５は、乗算部４４の乗算結果を積算して、注目画素（二重枠で示す画素）のノイズ除去後の無偏光画像の画素値とする。
　ノイズ除去部４０は無偏光画素の各画素を順次注目画素として、上述のように重みを算出して注目画素および周辺画素と乗算して乗算結果を積算することで、偏光画像と無偏光画像からノイズを除去して、ノイズ除去後の偏光画像をデモザイク処理部５０へ出力する。
　図１３は、ノイズ除去部の動作を説明するための図であり、図１３の（ａ）は撮像部２０で生成された撮像画像、図１３の（ｂ）は画素処理部３０の無偏光画素補間部３１で生成された無偏光画像を示している。
　ノイズ除去部４０の重み算出部４１は、偏光方向が注目画素位置「ｘ，ｙ」の偏光画素と等しい周辺画素の位置を周辺画素位置とする。したがって、図に示す画素位置「x-2,y-2」「x,y-2」「x+2,y-2」「x-2,y」「x+2,y」「x-2,y＋2」「x,y＋2」「x+2,y+2」が周辺画素位置となる。
　ここで、偏光画像における注目画素の画素値を「Ｐ(x,y)」、周辺画素位置の画素値を「Ｐ(x-2,y-2)」「Ｐ(x,y-2)」「Ｐ(x+2,y-2)」「Ｐ(x-2,y)」「Ｐ(x+2,y)」「Ｐ(x-2,y+2)」「Ｐ(x,y+2)」「Ｐ(x+2,y+2)」とする。また、無偏光画像における注目画素の画素値を「Ｑ(x,y)」、周辺画素位置の画素値を「Ｑ(x-2,y-2)」「Ｑ(x,y-2)」「Ｑ(x+2,y-2)」「Ｑ(x-2,y)」「Ｑ(x+2,y)」「Ｑ(x-2,y+2)」「Ｑ(x,y+2)」「Ｑ(x+2,y+2)」とする。
　重み算出部４１は、式（２）に基づき注目画素からの距離に応じた重みＳ(i,j)を算出する。また、重み算出部４１は、式（３）に基づき注目画素と周辺画素の輝度差に応じた重みＴ(i,j)を算出する。なお、式（２）におけるσsと式（３）におけるσtは標準偏差である。また、図１３の場合「ｉ＝－２，０，２、ｊ＝－２，０，２」である。
Figure JPOXMLDOC01-appb-M000001
　乗算部４２は、偏光画像と重み算出部４１で算出された重みを用いて、注目画素および周辺画素の画素値に重みを乗算する。積算部４３は、乗算部４２の乗算結果を積算して、注目画素のノイズ除去後の偏光画像の画素値とする。すなわち、乗算部４２と積算部４３によって式（４）の演算を行い、注目画素のノイズ除去後の偏光画素値Ｐnr(x,y)が算出される。なお、図１３の場合、偏光方向が等しい周辺画素は１画素おきであることから、式（４）に示すように１画素おきに重みや画素値を用いる。
Figure JPOXMLDOC01-appb-M000002
　乗算部４４は、無偏光画像と重み算出部４１で算出された重みを用いて、注目画素および周辺画素の画素値に重みを乗算する。積算部４５は、乗算部４４の乗算結果を積算して、注目画素のノイズ除去後の無偏光画像の画素値とする。また、無偏光画素のノイズ除去では、偏光方向が等しい周辺画素位置だけでなく偏光方向が異なる周辺画素位置の無偏光画素も用いて重みを算出してノイズ除去を行う。すなわち、乗算部４４と積算部４５によって式（５）の演算を行い、注目画素のノイズ除去後の無偏光画素値Ｑnr(x,y)が算出される。
Figure JPOXMLDOC01-appb-M000003
　また、画素処理部３０では、画素値演算部３２によって、複数偏光方向の偏光画素からなる偏光画像と無偏光画像が生成された場合、同様に処理することで偏光画像と無偏光画像のそれぞれからノイズを除去できる。図１４は、ノイズ除去部の他の動作を説明するための図であり、図１４の（ａ）は画素値演算部３２で生成された偏光画像、図１４の（ｂ）は画素値演算部３２で生成された無偏光画像を例示している。なお、画素値演算部３２では、２×２画素領域を単位領域としていることから図１３における２画素が図１４における１画素に相当する。図１４では、同一偏光方向の画素が１画素おきの位置となっていることから、上述の場合と同様に重みを算出して、算出した重みと、同一偏光方向の周辺画素の画素値を用いて、注目画素のノイズ除去後の画素値を算出できる。
　このように、ノイズ除去部４０は、偏光画像または偏光画像と無偏光画像からノイズを除去して、ノイズ除去後の画像をデモザイク処理部５０へ出力する。また、ノイズ除去部４０は、感度の高い無偏光画像を用いて平滑化フィルタ処理に用いる重みを算出することで、偏光画素のノイズ除去を高精度に行うことができる。なお、平滑フィルタはジョイントバイラテラルフィルタに限らず、他の平滑フィルタ例えばガウシアンフィルタ等を用いて無偏光画像から重みを算出しても良い。
　＜１－４．デモザイク処理部について＞
　デモザイク処理部は、撮像部における偏光画素と無偏光画素の画素配置に応じたデモザイク処理を行い、偏光方向毎の偏光成分画像または偏光成分画像と無偏光画像を生成する。
　＜１－４－１．デモザイク処理部の第１の実施の形態＞
　デモザイク処理部の第１の実施の形態では、偏光画素と無偏光画素がベイヤー配列に相当する画素配置である場合について説明する。
　図１５は、デモザイク処理部の第１の実施の形態を例示している。デモザイク処理部は、ベイヤー相当処理部５１を有している。例えば、撮像部２０における画素配置が、図４の（ａ）に示すように、２×２画素領域における二つの対角位置の画素が無偏光画素で残りの画素が偏光方向の異なる偏光画素で構成されている場合、画素配列はベイヤー配列に相当する。すなわち、無偏光画素はベイヤー配列における緑色画素、偏光方向が「α0＝０°」である偏光画素はベイヤー配列における赤色画素（または青色画素）、偏光方向が「α1＝４５°」である偏光画素はベイヤー配列における青色画素（または赤色画素）に相当する。したがって、ベイヤー相当処理部５１は、ベイヤー配列の赤色画素と青色画素と緑色画素から色毎の画像信号を生成する処理、例えば文献「B.Gunturk, J. Glotzbach, Y. Altunbasak, R.schafer, and R. Mersereau, “Demosaicing: Color filter array interpolation,”.in IEEE Signal Processing Magazine, vol. 22, no. 1, Jan 2005.」で開示された処理と同様な処理を行う。ベイヤー相当処理部５１は、このような処理を行い、撮像部２０から供給された画像信号、または画素処理部３０やノイズ除去部４０を介して撮像部２０から供給された画像信号に基づき偏光方向毎の偏光成分画像と無偏光画像の画像信号を生成する。なお、無偏光画像は、画素処理部３０で生成された無偏光画像を用いてもよい。
　＜１－４－２．デモザイク処理部の第２の実施の形態＞
　デモザイク処理部の第２の実施の形態では、偏光画素と無偏光画素の配置がベイヤー配列と異なる場合について説明する。デモザイク処理部は、画素処理部３０から供給された画像信号、またはノイズ除去部４０を介して画素処理部３０から供給された画像信号を用いてデモザイク処理を行う。また、デモザイク処理部の第２の実施の形態では、注目画素と注目画素の周辺画素における同一偏光方向の画素位置の偏光画素と、この偏光画素と等しい画素位置および注目画素の画素位置の無偏光画素を用いて、偏光方向毎に注目画素の画素位置における偏光画素の画素値を算出する。
　偏光画素よりも感度の高い無偏光画素の画素間隔が同一偏光方向の画素間隔以下である場合、無偏光画素から生成した無偏光画像は、同一偏光方向の画素から生成される偏光成分画像以上の解像度である。したがって、デモザイク処理部は、無偏光画素と偏光画素で正の相関があると見なして、偏光成分画像で失われている高域成分を、無偏光画像から補うことで高解像度の偏光成分画像を生成する。例えば、デモザイク処理部は、同一偏光方向である画素位置の無偏光画素の画素平均値と注目画素の画素位置の無偏光画素の画素値との関係を用いて、同一偏光方向である画素位置の偏光画素の画素平均値に対する注目画素の画素位置における偏光画素の画素値を算出する。なお、デモザイク処理部の第２の実施の形態では偏光方向が４方向である場合について説明する。
　図１６は、デモザイク処理部の第２の実施の形態を例示している。デモザイク処理部は、偏光画素平均化処理部５２と無偏光画素平均化処理部５３と中心画素取得部５４および相関処理部５５を有している。
　偏光画素平均化処理部５２は、注目画素と注目画素の周辺に位置する周辺画素を用いて、偏光方向毎に注目画素に対する画素平均値を算出して相関処理部５５へ出力する。
　無偏光画素平均化処理部５３は、注目画素と注目画素の周辺に位置する周辺画素を用いて、偏光画素平均化処理部５２で偏光方向毎の画素平均値を算出する場合と等しい画素位置の画素から画素平均値を算出して相関処理部５５へ出力する。
　中心画素取得部５４は注目画素の画像値を無偏光画像から抽出して相関処理部５５へ出力する。
　相関処理部５５は、偏光画素平均化処理部５２で算出した偏光方向毎の画素平均値と、偏光方向毎の画素平均値に対応して無偏光画素平均化処理部５３で算出した画素平均値と、中心画素取得部５４で抽出した注目画素の画素値から、注目画素の偏光方向毎の画素値を算出する。
　図１７を用いて、デモザイク処理部の第２の実施の形態の動作について説明する。図１７の（ａ）は偏光画像、図１７の（ｂ）は無偏光画像を示している。デモザイク処理部の偏光画素平均化処理部５２は、偏光画像における注目画素位置「ｘ，ｙ」と周辺画素位置「x-1,y-1」「x,y-1」「x+1,y-1」「x-1,y」「x+1,y」「x-1,y＋1」「x,y＋1」「x+1,y+1」の画素を用いて、偏光方向毎の画素平均値を算出する。ここで、偏光画像における注目画素位置の画素値を「Ｐ(x,y)」、周辺画素位置の画素値を「Ｐ(x-1,y-1)」「Ｐ(x,y-1)」「Ｐ(x+1,y-1)」「Ｐ(x-1,y)」「Ｐ(x+1,y)」「Ｐ(x-1,y+1)」「Ｐ(x,y+1)」「Ｐ(x+1,y+1)」とする。また、無偏光画像における注目画素位置の画素値を「Ｑ(x,y)」、周辺画素位置の画素値を「Ｑ(x-1,y-1)」「Ｑ(x,y-1)」「Ｑ(x+1,y-1)」「Ｑ(x-1,y)」「Ｑ(x+1,y)」「Ｑ(x-1,y+1)」「Ｑ(x,y+1)」「Ｑ(x+1,y+1)」とする。
　偏光画素平均化処理部５２は、例えば式（６）に基づき、注目画素位置「ｘ，ｙ」における偏光方向が「α0＝０°」の画素平均値ｍＰ0(x,y)を算出する。同様に、偏光画素平均化処理部５２は、式（７）に基づき、注目画素位置「ｘ，ｙ」における偏光方向が「α1＝４５°」の画素平均値ｍＰ1(x,y)を算出する。また、偏光画素平均化処理部５２は、式（８）に基づき、注目画素位置「ｘ，ｙ」における偏光方向が「α2＝９０°」の画素平均値ｍＰ2(x,y)を算出する。さらに、偏光画素平均化処理部５２は、式（９）に基づき、注目画素位置「ｘ，ｙ」における偏光方向が「α3＝１３５°」の画素平均値ｍＰ3(x,y)を算出する。
　ｍＰ0(x,y)＝Ｐ(x,y)　　　　　　　　　　　　・・・（６）
　ｍＰ1(x,y)＝（Ｐ(x-1,y)＋Ｐ(x+1,y)）／２　　・・・（７）
　ｍＰ2(x,y)＝（Ｐ(x-1,y-1)＋Ｐ(x+1,y-1)＋Ｐ(x-1,y+1)＋Ｐ(x+1,y+1)）／４
　　　　　　　　　　　　　　　　　　　　 　  ・・・（８）
　ｍＰ3(x,y)＝（Ｐ(x,y-1)＋Ｐ(x,y+1)）／２　 　・・・（９）
　無偏光画素平均化処理部５３は、無偏光画像における注目画素と注目画素の周辺画素を用いて、偏光方向毎の画素平均値を算出する場合と等しい画素位置の画素値から画素平均値を算出する。例えば、無偏光画素平均化処理部５３は、注目画素位置「ｘ，ｙ」において、式（１０）に基づき、偏光方向が「α0＝０°」の画素平均値に対する画素平均値ｍＱ0(x,y)を算出する。同様に、無偏光画素平均化処理部５３は、式（１１）に基づき、偏光方向が「α1＝４５°」の画素平均値に対する画素平均値ｍＱ1(x,y)を算出する。また、無偏光画素平均化処理部５３は、式（１２）に基づき、偏光方向が「α2＝９０°」の画素平均値に対する画素平均値ｍＱ2(x,y)を算出する。さらに、無偏光画素平均化処理部５３は、式（１３）に基づき、偏光方向が「α3＝１３５°」の画素平均値に対する画素平均値ｍＱ3(x,y)を算出する。
　ｍＱ0(x,y)＝Ｑ(x,y)　　　　　　　　　　　　　・・・（１０）
　ｍＱ1(x,y)＝（Ｑ(x-1,y)＋Ｑ(x+1,y)）／２　　　・・・（１１）
　ｍＱ2(x,y)＝（Ｑ(x-1,y-1)＋Ｑ(x+1,y-1)＋Ｑ(x-1,y+1)＋Ｑ(x+1,y+1)）／４
　　　　　　　　　　　　　　　　　　　　　　  ・・・（１２）
　ｍＱ3(x,y)＝（Ｑ(x,y-1)＋Ｑ(x,y+1)）／２　　　・・・（１３）
　相関処理部５５は、偏光画素と無偏光画素との間に正の相関があるとして、偏光画像から算出した画素平均値と無偏光画像から算出した画素平均値と無偏光画像における注目画素の画素値から、注目画素位置の偏光方向毎の画素値を算出する。
　例えば、相関処理部５５は、式（１４）に基づき、注目画素位置「ｘ，ｙ」における偏光方向が「α0＝０°」の偏光画素の画素値Ｐ0(x,y)を算出する。同様に、相関処理部５５は、式（１５）に基づき、注目画素位置「ｘ，ｙ」における偏光方向が「α1＝４５°」の偏光画素の画素値Ｐ1(x,y)を算出する。また、相関処理部５５は、式（１６）に基づきい、注目画素位置「ｘ，ｙ」における偏光方向が「α2＝９０°」の偏光画素の画素値Ｐ2(x,y)を算出する。さらに、相関処理部５５は、式（１７）に基づき、注目画素位置「ｘ，ｙ」における偏光方向が「α3＝１３５°」の偏光画素の画素値Ｐ3(x,y)を算出する。なお、相関処理部５５は、無偏光画像の注目画素の画素値として画素値Ｑ(x,y)を出力する。
　Ｐ0(x,y)＝ｍＰ0(x,y)・Ｑ(x,y)／ｍＱ0(x,y)　　・・・（１４）
　Ｐ1(x,y)＝ｍＰ1(x,y)・Ｑ(x,y)／ｍＱ1(x,y)　　・・・（１５）
　Ｐ2(x,y)＝ｍＰ2(x,y)・Ｑ(x,y)／ｍＱ2(x,y)　　・・・（１６）
　Ｐ3(x,y)＝ｍＰ3(x,y)・Ｑ(x,y)／ｍＱ3(x,y)　　・・・（１７）
　デモザイク処理部は偏光画像の各画素を注目画素として上述の処理を行うことで、偏光方向毎の偏光成分画像を生成する。また、デモザイク処理部の第２の実施の形態では、無偏光画素の信号成分が画素平均値で正規化されて偏光画素に重畳されることになるので、例えば偏光画素の周波数限界によって生じる折り返し等の問題を改善することが可能となり、無偏光画像と同等の解像度を有した偏光成分画像を、偏光方向毎に生成できるようになる。なお、画素処理部３０が設けられていない場合、デモザイク処理部５０は、画素処理部３０の処理を行い、偏光画素と無偏光画素がベイヤー配列に相当する画素配置である画像または無偏光画像の生成を行う。
　＜１－５．偏光情報生成部について＞
　偏光情報生成部６０は、デモザイク処理部５０で生成された偏光成分画像と無偏光画像を用いて偏光情報を生成する。
　ここで、被写体と偏光画像の関係について図１８を用いて説明する。例えば図１８に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、カメラＣＭは偏光板ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光板ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、説明を容易とするため、例えば偏光板ＰＬを回転して撮像を行うことで、複数の偏光画像を取得して、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面上としたとき、偏光板ＰＬを回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υとする。
　偏光板ＰＬは、１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、最大輝度Ｉmaxが観測されたときの偏光角υを方位角φ（観測光の偏光位相）とする。このような定義を行うと、偏光板ＰＬを回転させたときに観測される輝度Ｉは式（１８）のように表すことができる。また、式（１８）は式（１９）として表すこともできる。なお、式（１９）において、偏光パラメータＷａは式（２０）、偏光パラメータＷｂは式（２１）、偏光パラメータＷｃは式（２２）を用いて算出された値である。
Figure JPOXMLDOC01-appb-M000004
　図１９は、輝度と偏光角との関係を例示している。また、この例は拡散反射の偏光モデルを示しており、鏡面反射の場合は方位角が偏光角に比べて９０度ずれる。輝度と偏光角の関係を示す偏光モデル式である式（１８）または式（１９）は、偏光角υが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角φが変数となる。したがって、式（１８）または式（１９）に示す偏光モデル式へのフィッティングを行うことにより、フィッティング後の偏光モデル式に基づき、最大輝度となる偏光角である方位角φを判別することができる。
　＜１－５－１．偏光情報生成部の第１の動作＞
　偏光情報生成部の第１の動作では、二つの偏光方向毎の偏光成分画像と無偏光画像から式（１９）の偏光モデル式のパラメータを算出する場合について図２０を用いて説明する。
　偏光方向が偏光角α0である偏光成分画像における注目画素を輝度（画素値）Ｉ0とする。また、偏光方向が偏光角α1である偏光成分画像における注目画素を輝度（画素値）Ｉ1とする。
　偏光情報生成部６０は、式（２３）に基づき無偏光画素の輝度（画素値）Ｉcを用いて偏光パラメータＷｃを算出する。式（２３）における係数Ｋは、偏光画素と無偏光画素の感度差を吸収する係数であり、輝度Ｉcは無偏光画素の画素値である。係数Ｋは、撮像部２０の第１の実施の形態の場合、予め所定の被写体を撮像したときに無偏光画素の画素値を偏光画素の画素値と等しくする係数である。また、係数Ｋは、撮像部２０が第２の実施の形態である場合、画素制御部の動作をさらに含めた係数であり、画素制御部で偏光画素と無偏光画素の感度を一致させる制御が行われている場合、係数Ｋは「Ｋ＝１」とする。したがって、撮像部２０の第２の実施の形態のように偏光画素と無偏光画素の感度が等しくされている場合、偏光画素と等しい感度とした無偏光画素の輝度（画素値）は、偏光パラメータＷｃに相当する。
　　Ｗｃ＝Ｋ・Ｉc　　　・・・（２３）
　偏光情報生成部６０は、式（１９）の偏光モデル式における偏光パラメータＷａ，Ｗｂを、二つの偏光方向の偏光画素と無偏光画素に基づき例えば最小二乗法を用いて算出する。ここで、偏光パラメータｘを式（２４）のように定義する。また、偏光モデルＡを式（２５）のように定義する。さらに、輝度ｙを式（２６）のように定義する。このように偏光パラメータｘと偏光モデルＡと輝度ｙを定義した場合、理想的にはｙ＝Ａｘが成立する。したがって、最小二乗法によって式（２７）に基づき偏光パラメータｘを算出する。
Figure JPOXMLDOC01-appb-M000005
　ここで、図４の（ａ）に示すように偏光方向が「α0＝０°，α1＝４５°」である場合、偏光パラメータＷａは式（２８）、偏光パラメータＷｂは式（２９）を用いて算出された値となる。また、偏光パラメータＷｃは式（２３）を用いて算出された値である。
　Ｗａ＝Ｉ1－Ｋ・Ｉc　　・・・（２８）
　Ｗｂ＝Ｉ0－Ｋ・Ｉc　　・・・（２９）
　また、撮像部の第３の実施の形態のように偏光方向が「α0＝２２．５°，α1＝６７．５°」である場合、偏光パラメータＷａは式（３０）、偏光パラメータＷｂは式（３１）を用いて算出された値となる。なお、偏光パラメータＷｃは式（２３）を用いて算出された値である。
Figure JPOXMLDOC01-appb-M000006
　偏光情報生成部６０は、偏光パラメータＷａ，Ｗｂ，Ｗｃを算出することにより偏光モデル式を取得して、取得した偏光モデル式を示す偏光情報を生成する。
　＜１－５－２．偏光情報生成部の第２の動作＞
　偏光情報生成部の第２の動作では、四つの偏光方向毎の偏光成分画像と無偏光画像から式（１９）の偏光モデル式のパラメータを算出する場合について図２１を用いて説明する。
　偏光情報生成部６０は、式（１９）の偏光モデル式における偏光パラメータＷａ，Ｗｂ，Ｗｃを、例えば最小二乗法を用いて算出する。なお、偏光方向が「α0＝０°」である偏光成分画像における注目画素を輝度（画素値）Ｉ0とする。また、偏光方向が「α1＝４５°，α2＝９０°，α3＝１３５°」である偏光成分画像における注目画素を輝度（画素値）Ｉ1，Ｉ2，Ｉ3とする。
　偏光情報生成部６０は、偏光パラメータｘを式（２４）のように定義する。また、偏光モデルＡを式（３２）のように定義する。さらに、輝度ｙを式（３３）のように定義する。このように偏光パラメータｘと偏光モデルＡと輝度ｙを定義した場合、理想的にはｙ＝Ａｘが成立する。したがって、第１の動作と同様に最小二乗法によって式（２７）に基づき偏光パラメータｘを算出する。
Figure JPOXMLDOC01-appb-M000007
　ここで、偏光方向が「α0＝０°，α1＝４５°，α2＝９０°，α3＝１３５°」である場合、偏光パラメータＷａは式（３４）、偏光パラメータＷｂは式（３５）、偏光パラメータＷｃは式（２３）を用いて算出された値となる。
　Ｗａ＝（Ｉ1－Ｉ3）／２　　・・・（３４）
　Ｗｂ＝（Ｉ0－Ｉ2）／２　　・・・（３５）
　また、撮像部の第３の実施の形態のように偏光方向が「α0＝２２．５°，α1＝６７．５°，α2＝１１２．５°，α3＝１５７．５°」である場合、偏光パラメータＷａは式（３６）、偏光パラメータＷｂは式（３７）を用いて算出された値となる。また、偏光パラメータＷｃは式（２３）を用いて算出された値である。
Figure JPOXMLDOC01-appb-M000008
　なお、偏光パラメータＷｃは、偏光成分画像のみを用いる場合、式（３８）を用いて算出してもよい。
　Ｗｃ＝（Ｉ0＋Ｉ1＋Ｉ2＋Ｉ3）／４　　・・・（３８）
　このように偏光情報生成部６０は、偏光パラメータＷａ，Ｗｂ，Ｗｃを算出することにより偏光モデル式を取得して、取得した偏光モデル式を示す偏光情報を生成する。
　また、撮像部の偏光画素が二つの偏光方向の画素で構成されている場合、何れか一方の偏光画素で画素値が飽和してしまうと、正しい偏光情報を生成できない。しかし撮像部の偏光画素を四つの偏光方向の画素で構成した場合、四つの偏光方向の画素の何れか一つの画素で画素値が飽和しても他の三つの偏光画素を用いて三つの偏光パラメータを算出できる。したがって、撮像部の偏光画素が二つの偏光方向である場合に比べて、飽和等による画素値の欠損に対してロバストとすることができる。
　＜１－６．法線情報生成部について＞
　法線情報生成部７０は、偏光情報生成部６０で生成された偏光情報に基づき法線情報、例えば方位角や天頂角を示す法線情報を生成する。
　法線情報生成部７０は、例えば式（３９）に基づいて方位角φを算出する。また、法線情報生成部７０は、式（４０）に基づいて天頂角θを算出する。なお、式（４０）におけるパラメータＡ，Ｂ，Ｃ，Ｄは、式（４１）～（４４）で算出される値であり、式（４０），（４１）に示す偏光度ρは、式（４５）に基づいて算出する。また、式（４１）（４３）（４４）では、被写体ＯＢの屈折率ｎを用いてパラメータＡ，Ｃ，Ｄを算出する。
Figure JPOXMLDOC01-appb-M000009
　図２２は、画像処理装置の実施の形態の処理を示すフローチャートである。ステップＳＴ１で画像処理装置は撮像画像を取得する。画像処理装置は、偏光画素と無偏光画素で構成された撮像部を用いて撮像画像を生成してステップＳＴ２に進む。
　ステップＳＴ２で画像処理装置は、偏光方向毎の偏光成分画像と無偏光画像を生成する。画像処理装置１０は、撮像画像を用いてデモザイク処理を行い、偏光方向毎の偏光画像である偏光成分画像と無偏光画像を生成する。また、画像処理装置１０は、無偏光画像を用いて高画質の偏光成分画像を生成する。さらに、画像処理装置１０では、無偏光画像を用いて撮像画像における偏光画素のノイズを除去してデモザイク処理を行うようにしてもよい。画像処理装置１０は、偏光成分画像と無偏光画像を生成して、ステップＳＴ３に進む。
　ステップＳＴ３で画像処理装置は偏光情報を生成する。画像処理装置１０は、注目画素における偏光方向毎の画素値と無偏光の画素値に基づき、偏光モデル式へのフィッティングを行い、フィッティング後の偏光モデル式を示す偏光情報を生成してステップＳＴ４に進む。
　ステップＳＴ４で画像処理装置は法線情報を生成する。画像処理装置１０は、ステップＳＴ３で生成された偏光情報に基づき、注目画素における方位角や天頂角を算出して、算出した方位角や天頂角を示す法線情報を生成する。
　以上のように、画像処理装置は、無偏光画素と少なくとも二つの偏光方向毎の偏光画素を配置した撮像部２０で生成された撮像画像から、無偏光画像と偏光方向毎の偏光成分画像をデモザイク処理部５０で生成する。また、画像処理装置は、デモザイク処理部５０で生成した無偏光画像と偏光成分画像から、撮像画像に含まれる被写体の偏光特性を示す偏光情報を偏光情報生成部６０で生成する。このように、偏光成分画像だけでなく高感度の無偏光画像を用いて偏光情報を生成することから、偏光成分画像に基づいて偏光情報を生成する場合に比べて精度の良い偏光情報を取得できるようになる。また、デモザイク処理部５０は、無偏光画像を用いて偏光方向毎の高解像の偏光成分画像を生成できる。また、ノイズ除去部は、感度の高い無偏光画像を用いることで、偏光画像や偏光画素のノイズ除去を高精度に行うことができる。
　＜２．他の実施の形態＞
　ところで、上述の画像処理装置では、撮像部で生成される撮像画像が白黒画像である場合について説明したが、撮像画像はカラー画像であってもよい。図２３は、カラー画像を生成する撮像部の構成を例示している。撮像部２０でカラー画像を生成する場合、イメージセンサ２１の入射面に、カラーモザイクフィルタ２３を設ける。なお、カラーモザイクフィルタ２３は、イメージセンサ２１と偏光フィルタ２２との間に設ける場合に限らず、偏光フィルタ２２の入射面に設けてもよい。
　偏光フィルタ２２とカラーモザイクフィルタ２３は、異なる偏光方向の偏光画素間で色の違いによる影響を受けることがないように、同じ色で各偏光方向の画素を設けた構成する。また、偏光フィルタ２２とカラーモザイクフィルタ２３は、各色で無偏光画素の画素値を得られるように構成する。
　図２４は、カラーモザイクフィルタと偏光フィルタ（２偏光方向）の関係を例示している。図２４の（ａ）において、偏光フィルタ２２は、２×２画素領域に偏光方向が異なる二つの偏光画素と二つの無偏光画素を受けた構成とする。また、カラーモザイクフィルタ２３は、２×２画素領域を赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の色単位とした構成として、４×４画素領域は、赤色の２×２画素領域と青色の２×２画素領域と緑色の二つの２×２画素領域とする。この場合、撮像部２０では、２×２画素領域毎に、二つの偏光方向毎の偏光画素の画素値と赤色または緑色または青色の何れかの色の無偏光画素の画素値が生成される。
　図２４の（ｂ）において、カラーモザイクフィルタ２３は、２×２画素領域を赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の色単位とした構成とする。また、偏光フィルタ２２は、緑色の２×２画素領域に偏光方向が異なる二つの偏光画素と二つの無偏光画素を受けた構成として、４×４画素領域は、赤色の２×２画素領域と青色の２×２画素領域と緑色の二つの２×２画素領域とする。この場合、撮像部２０では、２×２画素領域毎に、赤色または緑色または青色の何れかの色の無偏光画素の画素値と、緑色における二つの偏光方向の偏光画素の画素値が生成される。
　図２４の（ｃ）において、偏光フィルタ２２は、２×２画素領域に偏光方向が異なる二つの偏光画素と二つの無偏光画素を受けた構成とする。また、カラーモザイクフィルタ２３は、２×２画素領域を三つの緑色（Ｇ）の画素と一つの赤色（Ｒ）または青色（Ｂ）の画素とした構成として、４×４画素領域は、赤色画素を含む二つの２×２画素領域と青色画素を含む二つの２×２画素領域とする。この場合、撮像部２０では、２×２画素領域毎に、緑色画素と赤色画素または緑色画素と青色画素である無偏光画素の画素値と、緑色における二つの偏光方向毎の偏光画素の画素値が生成される。
　図２４の（ｄ）において、カラーモザイクフィルタ２３は、２×２画素領域を二つの白色画素と赤色（Ｒ）または緑色（Ｇ）または青色（Ｂ）の何れの色の二つの画素とした構成とする。また、４×４画素領域は、赤色画素を含む２×２画素領域と青色画素を含む２×２画素領域と緑色画素を含む二つの２×２画素領域とする。また、偏光フィルタ２２は、緑色画素を含む２×２画素領域の白色画素を偏光方向が等しい偏光画素として、４×４画素領域では、二つの偏光方向の偏光画素をそれぞれ２画素設けた構成とする。この場合、撮像部２０では、２×２画素領域毎に、赤色または緑色または青色の何れかの色の無偏光画素の画素値と、緑色画素を含む２×２画素領域において二つの偏光方向における何れかの偏光方向の偏光画素の画素値が生成される。
　図２４の（ｅ）において、カラーモザイクフィルタ２３は、２×２画素領域を二つの白色画素と緑色（Ｇ）と赤色（Ｒ）、または二つの白色画素と緑色（Ｇ）と青色（Ｂ）の画素とした構成とする。また、４×４画素領域は、赤色画素を含む二つの２×２画素領域と青色画素を含む二つの２×２画素領域とする。また、偏光フィルタ２２は、２×２画素領域における一つの白色画素を偏光画素として、４×４画素領域は、二つの偏光方向の偏光画素をそれぞれ２画素設けた構成とする。この場合、撮像部２０では、２×２画素領域毎に、緑色と赤色または緑色と青色の無偏光画素の画素値と、二つの偏光方向における何れかの偏光方向の偏光画素の画素値が生成される。
　また、図２４において、撮像部２０では、４×４画素領域毎に各色の無偏光画素の画素値と偏光方向毎の偏光画素の画素値が生成される。
　図２５は、カラーモザイクフィルタと偏光フィルタ（４偏光方向）の関係を例示している。図２５の（ａ）において、カラーモザイクフィルタ２３は、２×２画素領域を二つの白色画素と赤色（Ｒ）または緑色（Ｇ）または青色（Ｂ）の何れの色の二つの画素とした構成とする。また、４×４画素領域は、赤色画素を含む２×２画素領域と青色画素を含む２×２画素領域と緑色画素を含む二つの２×２画素領域とする。また、偏光フィルタ２２は、２×２画素領域の白色画素を何れかの偏光方向の偏光画素として、４×４画素領域では、四つの偏光方向の偏光画素をそれぞれ２画素設けた構成とする。この場合、撮像部２０では、２×２画素領域毎に、赤色または緑色または青色の何れかの色の無偏光画素の画素値と、四つの偏光方向における何れかの偏光方向である偏光画素の画素値が生成される。
　図２５の（ｂ）において、カラーモザイクフィルタ２３は、２×２画素領域を二つの白色画素と緑色（Ｇ）と赤色（Ｒ）または二つの白色画素と緑色（Ｇ）と青色（Ｂ）の画素とした構成とする。また、４×４画素領域は、赤色画素を含む二つの２×２画素領域と青色画素を含む二つの２×２画素領域とする。また、偏光フィルタ２２は、２×２画素領域の二つの白色画素を偏光方向が異なる偏光画素として、４×４画素領域では、四つの偏光方向の偏光画素をそれぞれ２画素設けた構成とする。この場合、撮像部２０では、２×２画素領域毎に、緑色と赤色または緑色と青色の無偏光画素の画素値と、二つの偏光方向の偏光画素の画素値が生成される。この場合、撮像部２０では、２×２画素領域毎に、緑色と赤色または緑色と青色の無偏光画素の画素値と、四つの偏光方向における何れか二つの偏光方向の偏光画素の画素値が生成される。
　図２５の（ｃ）において、カラーモザイクフィルタ２３は、２×２画素領域を赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の色単位とした構成として、４×４画素領域は、赤色の２×２画素領域と青色の２×２画素領域と緑色の二つの２×２画素領域とする。また、偏光フィルタ２２は、緑色の２×２画素領域に偏光方向が互いに異なる四つの偏光画素を設けた構成とする。この場合、撮像部２０では、赤色または青色の２×２画素領域では無偏光画素の画素値が生成されて、緑色の２×２画素領域では、各偏光方向の偏光画素の画素値が生成される。
　また、図２５の（ａ）（ｂ）において、撮像部２０では、４×４画素領域毎に各色の無偏光画素の画素値と偏光方向毎の偏光画素の画素値が生成される。
　撮像部２０でカラー撮像画像が生成された場合、デモザイク処理部５０では、カラー撮像画像から色成分毎に無偏光画像を生成する。また、デモザイク処理部５０は、偏光方向毎の偏光成分画像を生成する。偏光情報生成部６０は、デモザイク処理部５０で生成された偏光成分画像や無偏光画像を用いて偏光情報を生成する。偏光画素は、上述のように白色または同一色の画素とされていることから、偏光画素間では色の違いによる影響がない。したがって、カラー撮像画像を用いても偏光情報を正しく生成することができる。なお、図２５の（ｃ）では緑色画素が偏光画素とされているため、緑色画素は無偏光画素である赤色画素や青色画素に比べて感度が低下する。したがって、緑色画素の画素値に対して、偏光画素の感度低下に応じた補正を行えば、従来のベイヤー配列のデモザイク処理を行うことで、各色成分の画素が無偏光画素である場合と同様な色成分画像を生成できる。
　このように、撮像部でカラー撮像画像を生成すれば、色を利用して精度の良い偏光情報を生成できるようになる。また、撮像部でカラー撮像画像を生成する場合、画素処理部３０は同一色の画素を用いて統合処理を行うことで、色毎に無偏光画像を生成できる。
　また、画像処理装置の構成は図１に示す構成に限られない。例えば画素処理部３０は、上述したように撮像部２０の画素構成に対応して構成されることから、撮像部２０と画素処理部３０を一体に構成してもよい。また、偏光画素の感度が低いことによる影響を生じない撮像環境等でのみ撮像部２０が使用される場合、ノイズ除去部４０を省いた構成としてもよい。
　＜３．適用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２６に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２６では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図２７は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２７には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図２６に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの一つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも一つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２６の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図２６に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　このような車両制御システムにおいて、本技術の画像処理装置を例えば車外情報検出部に適用した場合、車外情報検出部では、精度良く偏光情報や法線情報を取得することが可能となる。また、無偏光画像を取得することもできる。このため、車外情報検出部で取得された偏光情報や法線情報および無偏光画像を用いて、障害物の検出等を精度良く行うことができるようになり、より安全な走行を可能とする車両制御システムを構築できる。
　また、上述の画像処理装置は、撮像装置や撮像機能を有した電子機器等であってもよい。さらに、明細書中において説明した一連の処理は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　無偏光画素と少なくとも二つの偏光方向毎の偏光画素からなる撮像画像から、無偏光画像と偏光方向毎の偏光成分画像を生成するデモザイク処理部と、
　前記デモザイク処理部で生成された前記無偏光画像と前記偏光成分画像から、前記撮像画像に含まれる被写体の偏光特性を示す偏光情報を生成する偏光情報生成部
を備える画像処理装置。
　（２）　前記デモザイク処理部は、注目画素と注目画素の周辺画素における同一偏光方向の画素位置の偏光画素と、該偏光画素と等しい画素位置および前記注目画素の画素位置の無偏光画素を用いて、前記偏光方向毎に前記注目画素の画素位置における偏光画素の画素値の算出する（１）に記載の画像処理装置。
　（３）　前記デモザイク処理部は、同一偏光方向である画素位置の無偏光画素の画素平均値と前記注目画素の画素位置の無偏光画素の画素値との関係を用いて、同一偏光方向である画素位置の偏光画素の画素平均値に対する前記注目画素の画素位置における偏光画素の画素値を算出する（２）に記載の画像処理装置。
　（４）　無偏光画素を用いて偏光画素の画素位置の画素生成を行い、無偏光画像を生成する画素処理部と、
　注目画素の画素位置の無偏光画素と、前記注目画素と同一偏光方向である周辺画素の画素位置の無偏光画素に基づき、平滑化フィルタ処理に用いる重みを算出して、算出した重みと前記注目画素および前記注目画素と同一偏光方向である周辺画素の画素位置の偏光画素を用いて、前記注目画素の画素位置における偏光画素の画素値を算出するノイズ除去部をさらに有し、
　前記デモザイク処理部は、前記ノイズ除去部でノイズ除去が行われた偏光画素を用いて偏光成分画像を生成する（１）乃至（３）の何れかに記載の画像処理装置。
　（５）　前記偏光情報生成部は、注目画素位置の前記偏光特性を示す偏光モデル式の偏光パラメータを、前記偏光方向と前記注目画素位置における無偏光画素と前記偏光方向毎の偏光画素に基づいて算出する（１）乃至（４）の何れかに記載の画像処理装置。
　（６）　前記偏光情報生成部は、前記偏光画素と等しい感度とした前記無偏光画素の画素値を前記偏光パラメータとして用いる（５）に記載の画像処理装置。
　（７）　前記偏光情報生成部で生成された偏光情報に基づいて前記被写体の法線情報を生成する法線情報生成部をさらに有する（１）乃至（６）の何れかに記載の画像処理装置。
　また、本技術の撮像装置は以下のような構成も取ることができる。
　（１）　無偏光画素と偏光画素を配置して、
　前記偏光画素は少なくとも二つの偏光方向毎に設けた撮像装置。
　（２）　前記無偏光画素と前記偏光画素の感度を一致させる制御を行う画素制御部をさらに有する（１）に記載の撮像装置。
　（３）　前記画素制御部は、前記無偏光画素または前記偏光画素の露光期間を制御して前記無偏光画素と前記偏光画素の感度を一致させる（２）に記載の撮像装置。
　（４）　前記少なくとも二つの偏光方向を矩形状の画素の辺に対して対称な角度とする（１）乃至（３）の何れかに記載の撮像装置。
　（５）　２×２画素領域における対角の画素位置に前記無偏光画素を設けて残りの画素を偏光画素とした（１）乃至（４）の何れかに記載の撮像装置。
　（６）　前記偏光方向毎の偏光画素を同一色として、前記無偏光画素を所定の色成分毎の画素とした（１）乃至（５）の何れかに記載の撮像装置。
　（７）　無偏光画素を用いた補間処理または同一偏光方向の近接する偏光画素の統合処理と近接する無偏光画素の統合処理を行い、無偏光画像または無偏光画像と偏光画像を生成する画素処理部をさらに有する（１）乃至（６）の何れかに記載の撮像装置。
　（８）　同一色の画素の統合処理を行う（７）に記載の撮像装置。
　この技術の画像処理装置と画像処理方法および撮像装置では、無偏光画素と少なくとも二つの偏光方向毎の偏光画素からなる撮像画像から、無偏光画像と偏光方向毎の偏光成分画像がデモザイク処理部で生成されて、無偏光画像と偏光成分画像から、撮像画像に含まれる被写体の偏光特性を示す偏光情報が生成される。このため、偏光成分画像だけでなく光量の低下を生じていない無偏光画像を用いて偏光情報を生成することから、偏光成分画像に基づいて偏光情報を生成する場合に比べて精度の良い偏光情報を取得できるようになる。したがって、偏光情報を利用して制御等を行うことができる機器、例えば車両制御システム等に適している。
　１０・・・画像処理装置
　２０，２０-1，２０-2・・・撮像部
　２１，２１-1，２１-2・・・イメージセンサ
　２２，２２-1，２２-3・・・偏光フィルタ
　２３・・・カラーモザイクフィルタ
　３０・・・画素処理部
　３１・・・無偏光画素補間部
　３２・・・画素値演算部
　４０・・・ノイズ除去部
　４１・・・重み算出部
　４２，４４・・・乗算部
　４３，４５・・・積算部
　５０・・・デモザイク処理部
　５１・・・ベイヤー相当処理部
　５２・・・偏光画素平均化処理部
　５３・・・無偏光画素平均化処理部
　５４・・・中心画素取得部
　５５・・・相関処理部
　６０・・・偏光情報生成部
　７０・・・法線情報生成部
　２１１・・・画素アレイ部
　２１２，２１２-2・・・垂直走査回路
　２１３・・・水平走査回路

Claims (16)

  1. 　無偏光画素と少なくとも二つの偏光方向毎の偏光画素からなる撮像画像から、無偏光画像と偏光方向毎の偏光成分画像を生成するデモザイク処理部と、
    　前記デモザイク処理部で生成された前記無偏光画像と前記偏光成分画像から、前記撮像画像に含まれる被写体の偏光特性を示す偏光情報を生成する偏光情報生成部
    を備える画像処理装置。
  2. 　前記デモザイク処理部は、注目画素と注目画素の周辺画素における同一偏光方向の画素位置の偏光画素と、該偏光画素と等しい画素位置および前記注目画素の画素位置の無偏光画素を用いて、前記偏光方向毎に前記注目画素の画素位置における偏光画素の画素値の算出する
    請求項１に記載の画像処理装置。
  3. 　前記デモザイク処理部は、同一偏光方向である画素位置の無偏光画素の画素平均値と前記注目画素の画素位置の無偏光画素の画素値との関係を用いて、同一偏光方向である画素位置の偏光画素の画素平均値に対する前記注目画素の画素位置における偏光画素の画素値を算出する
    請求項２に記載の画像処理装置。
  4. 　無偏光画素を用いて偏光画素の画素位置の画素生成を行い、無偏光画像を生成する画素処理部と、
    　注目画素の画素位置の無偏光画素と、前記注目画素と同一偏光方向である周辺画素の画素位置の無偏光画素に基づき、平滑化フィルタ処理に用いる重みを算出して、算出した重みと前記注目画素および前記注目画素と同一偏光方向である周辺画素の画素位置の偏光画素を用いて、前記注目画素の画素位置における偏光画素の画素値を算出するノイズ除去部をさらに有し、
    　前記デモザイク処理部は、前記ノイズ除去部でノイズ除去が行われた偏光画素を用いて偏光成分画像を生成する
    請求項１に記載の画像処理装置。
  5. 　前記偏光情報生成部は、注目画素位置の前記偏光特性を示す偏光モデル式の偏光パラメータを、前記偏光方向と前記注目画素位置における無偏光画素と前記偏光方向毎の偏光画素に基づいて算出する
    請求項１に記載の画像処理装置。
  6. 　前記偏光情報生成部は、前記偏光画素と等しい感度とした前記無偏光画素の画素値を前記偏光パラメータとして用いる
    請求項５に記載の画像処理装置。
  7. 　前記偏光情報生成部で生成された偏光情報に基づいて前記被写体の法線情報を生成する法線情報生成部をさらに有する
    請求項１に記載の画像処理装置。
  8. 　無偏光画素と少なくとも二つの偏光方向毎の偏光画素からなる撮像画像から、前記被写体の偏光特性を示す偏光情報を偏光情報生成部で生成すること
    を含む画像処理方法。
  9. 　無偏光画素と偏光画素を配置して、
    　前記偏光画素は少なくとも二つの偏光方向毎に設けた撮像装置。
  10. 　前記無偏光画素と前記偏光画素の感度を一致させる制御を行う画素制御部をさらに有する
    請求項９に記載の撮像装置。
  11. 　前記画素制御部は、前記無偏光画素または前記偏光画素の露光期間を制御して前記無偏光画素と前記偏光画素の感度を一致させる
    請求項１０に記載の撮像装置。
  12. 　前記少なくとも二つの偏光方向を矩形状の画素の辺に対して対称な角度とする
    請求項９に記載の撮像装置。
  13. 　２×２画素領域における対角の画素位置に前記無偏光画素を設けて残りの画素を偏光画素とした
    請求項９に記載の撮像装置。
  14. 　前記偏光方向毎の偏光画素を同一色として、前記無偏光画素を所定の色成分毎の画素とした
    請求項９に記載の撮像装置。
  15. 　無偏光画素を用いた補間処理または同一偏光方向の近接する偏光画素の統合処理と近接する無偏光画素の統合処理を行い、無偏光画像または無偏光画像と偏光画像を生成する画素処理部をさらに有する
    請求項９に記載の撮像装置。
  16. 　前記画素処理部は、同一色の画素の統合処理を行う
    請求項１５に記載の撮像装置。
PCT/JP2017/030719 2016-10-17 2017-08-28 画像処理装置と画像処理方法および撮像装置 WO2018074064A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018546174A JP7070423B2 (ja) 2016-10-17 2017-08-28 画像処理装置と画像処理方法および撮像装置
DE112017005244.0T DE112017005244T5 (de) 2016-10-17 2017-08-28 Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildaufnahmevorrichtung
US16/339,579 US10750136B2 (en) 2016-10-17 2017-08-28 Image processing apparatus, image processing method, and image pickup device
CN201780062762.6A CN109804621B (zh) 2016-10-17 2017-08-28 图像处理装置、图像处理方法和图像拾取装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-203366 2016-10-17
JP2016203366 2016-10-17

Publications (1)

Publication Number Publication Date
WO2018074064A1 true WO2018074064A1 (ja) 2018-04-26

Family

ID=62019201

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/030719 WO2018074064A1 (ja) 2016-10-17 2017-08-28 画像処理装置と画像処理方法および撮像装置

Country Status (5)

Country Link
US (1) US10750136B2 (ja)
JP (1) JP7070423B2 (ja)
CN (1) CN109804621B (ja)
DE (1) DE112017005244T5 (ja)
WO (1) WO2018074064A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019235019A1 (ja) * 2018-06-05 2019-12-12 ソニー株式会社 情報生成装置と情報生成方法およびプログラム
WO2020105201A1 (ja) * 2018-11-22 2020-05-28 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
WO2020110594A1 (ja) * 2018-11-26 2020-06-04 富士フイルム株式会社 撮像装置及び撮像方法
WO2020110595A1 (ja) * 2018-11-26 2020-06-04 富士フイルム株式会社 撮像装置及び撮像方法
WO2020213238A1 (ja) 2019-04-19 2020-10-22 ソニー株式会社 撮像装置と画像処理装置および画像処理方法
WO2021111779A1 (ja) * 2019-12-02 2021-06-10 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
WO2021140873A1 (ja) 2020-01-09 2021-07-15 ソニーグループ株式会社 画像処理装置と画像処理方法および撮像装置
WO2021153472A1 (ja) * 2020-01-31 2021-08-05 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP2021534378A (ja) * 2018-08-09 2021-12-09 アウスター インコーポレイテッド マルチスペクトル測距／撮像センサアレイ及びシステム
WO2022196477A1 (ja) * 2021-03-19 2022-09-22 富士フイルム株式会社 画像データ処理装置、画像データ処理方法、画像データ処理プログラム及び撮像システム
US11473969B2 (en) 2018-08-09 2022-10-18 Ouster, Inc. Channel-specific micro-optics for optical arrays
JP7479831B2 (ja) 2019-12-18 2024-05-09 キヤノン株式会社 撮像装置およびその制御方法、プログラム
US11982899B2 (en) 2020-01-31 2024-05-14 Fujifilm Corporation Image processing device, imaging device, image processing method, and image processing program

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018029280A (ja) * 2016-08-18 2018-02-22 ソニー株式会社 撮像装置と撮像方法
US10721458B1 (en) * 2018-12-14 2020-07-21 Ambarella International Lp Stereoscopic distance measurements from a reflecting surface
US10853913B2 (en) * 2019-03-11 2020-12-01 Qualcomm Incorporated Color filter array pattern conversion
US11079857B2 (en) * 2019-09-03 2021-08-03 Pixart Imaging Inc. Optical detecting device
TW202131671A (zh) * 2019-10-07 2021-08-16 日商索尼半導體解決方案公司 電子機器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000152095A (ja) * 1998-11-18 2000-05-30 Canon Inc 撮像装置及びそれを用いた撮像システム
JP2010166580A (ja) * 2007-12-07 2010-07-29 Panasonic Corp 画像処理装置および画像処理方法ならびに撮像装置
JP2014074690A (ja) * 2012-10-05 2014-04-24 Olympus Corp 撮像装置
WO2014119257A1 (ja) * 2013-01-29 2014-08-07 パナソニック株式会社 撮像システム
JP2015046698A (ja) * 2013-08-27 2015-03-12 ソニー株式会社 撮像装置およびその撮像方法、画像処理装置およびその画像処理方法、並びに、プログラム
JP2015128257A (ja) * 2013-12-27 2015-07-09 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ホワイトバランス調整装置及び露光量調整装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7440009B2 (en) * 2004-02-13 2008-10-21 Matsushita Electric Industrial Co., Ltd. High definition imaging method and imaging apparatus having electro-optical polarization element between two birefrigent elements forming alternately on sensor single and overlapping images
EP2202688B1 (en) 2007-02-13 2013-11-20 Panasonic Corporation System, method and apparatus for image processing and image format
US8130293B2 (en) * 2007-06-15 2012-03-06 Panasonic Corporation Image processing apparatus having patterned polarizer, patterned polarizer, and image processing method
US9041770B2 (en) * 2010-01-05 2015-05-26 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional image capture device
CN101968573A (zh) * 2010-09-03 2011-02-09 黄凤仙 一种偏振式立体双投影光学系统
JP5944904B2 (ja) * 2010-09-20 2016-07-05 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． 風景の背景と前景とを区別する方法、及び風景の画像において背景を置き換える方法
JP2012143363A (ja) * 2011-01-11 2012-08-02 Panasonic Corp 画像処理装置
JP5899684B2 (ja) * 2011-07-11 2016-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2013143729A (ja) * 2012-01-12 2013-07-22 Sony Corp 撮像素子、撮像装置、電子機器および撮像方法
JP6697681B2 (ja) * 2016-08-17 2020-05-27 ソニー株式会社 検査装置、検査方法、およびプログラム
EP3585045B1 (en) * 2017-02-15 2023-11-01 Sony Group Corporation Information processing device, information processing method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000152095A (ja) * 1998-11-18 2000-05-30 Canon Inc 撮像装置及びそれを用いた撮像システム
JP2010166580A (ja) * 2007-12-07 2010-07-29 Panasonic Corp 画像処理装置および画像処理方法ならびに撮像装置
JP2014074690A (ja) * 2012-10-05 2014-04-24 Olympus Corp 撮像装置
WO2014119257A1 (ja) * 2013-01-29 2014-08-07 パナソニック株式会社 撮像システム
JP2015046698A (ja) * 2013-08-27 2015-03-12 ソニー株式会社 撮像装置およびその撮像方法、画像処理装置およびその画像処理方法、並びに、プログラム
JP2015128257A (ja) * 2013-12-27 2015-07-09 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ホワイトバランス調整装置及び露光量調整装置

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112204364A (zh) * 2018-06-05 2021-01-08 索尼公司 信息生成装置、信息生成方法和程序
WO2019235019A1 (ja) * 2018-06-05 2019-12-12 ソニー株式会社 情報生成装置と情報生成方法およびプログラム
JP7243721B2 (ja) 2018-06-05 2023-03-22 ソニーグループ株式会社 情報生成装置と情報生成方法およびプログラム
JPWO2019235019A1 (ja) * 2018-06-05 2021-07-08 ソニーグループ株式会社 情報生成装置と情報生成方法およびプログラム
US11733092B2 (en) 2018-08-09 2023-08-22 Ouster, Inc. Channel-specific micro-optics for optical arrays
JP7426377B2 (ja) 2018-08-09 2024-02-01 アウスター インコーポレイテッド マルチスペクトル測距／撮像センサアレイ及びシステム
US11473970B2 (en) 2018-08-09 2022-10-18 Ouster, Inc. Subpixel apertures for channels in a scanning sensor array
US11473969B2 (en) 2018-08-09 2022-10-18 Ouster, Inc. Channel-specific micro-optics for optical arrays
JP2021534378A (ja) * 2018-08-09 2021-12-09 アウスター インコーポレイテッド マルチスペクトル測距／撮像センサアレイ及びシステム
EP3834003A4 (en) * 2018-08-09 2022-04-06 Ouster, Inc. MULTISPECTRAL RANGE/IMAGEMENT SENSOR ARRANGEMENTS AND SYSTEMS
US11457201B2 (en) 2018-11-22 2022-09-27 Sony Semiconductor Solutions Corporation Imaging device and electronic apparatus
TWI813646B (zh) * 2018-11-22 2023-09-01 日商索尼半導體解決方案公司 攝像裝置及電子機器
WO2020105201A1 (ja) * 2018-11-22 2020-05-28 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
JP7325949B2 (ja) 2018-11-22 2023-08-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
JP2020088565A (ja) * 2018-11-22 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
JPWO2020110595A1 (ja) * 2018-11-26 2021-11-04 富士フイルム株式会社 撮像装置及び撮像方法
US11877076B2 (en) 2018-11-26 2024-01-16 Fujifilm Corporation Imaging device and imaging method
US11917276B2 (en) 2018-11-26 2024-02-27 Fujifilm Corporation Imaging device and imaging method
WO2020110595A1 (ja) * 2018-11-26 2020-06-04 富士フイルム株式会社 撮像装置及び撮像方法
JP7135109B2 (ja) 2018-11-26 2022-09-12 富士フイルム株式会社 撮像装置及び撮像方法
JP7135108B2 (ja) 2018-11-26 2022-09-12 富士フイルム株式会社 撮像装置及び撮像方法
JPWO2020110594A1 (ja) * 2018-11-26 2021-10-14 富士フイルム株式会社 撮像装置及び撮像方法
WO2020110594A1 (ja) * 2018-11-26 2020-06-04 富士フイルム株式会社 撮像装置及び撮像方法
WO2020213238A1 (ja) 2019-04-19 2020-10-22 ソニー株式会社 撮像装置と画像処理装置および画像処理方法
WO2021111779A1 (ja) * 2019-12-02 2021-06-10 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
JP7479831B2 (ja) 2019-12-18 2024-05-09 キヤノン株式会社 撮像装置およびその制御方法、プログラム
WO2021140873A1 (ja) 2020-01-09 2021-07-15 ソニーグループ株式会社 画像処理装置と画像処理方法および撮像装置
US11758290B2 (en) 2020-01-09 2023-09-12 Sony Group Corporation Image processing device, image processing method, and image pickup device
EP4060981A1 (en) 2020-01-09 2022-09-21 Sony Group Corporation Image processing device, image processing method, and imaging device
WO2021153472A1 (ja) * 2020-01-31 2021-08-05 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP7399194B2 (ja) 2020-01-31 2023-12-15 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US11982899B2 (en) 2020-01-31 2024-05-14 Fujifilm Corporation Image processing device, imaging device, image processing method, and image processing program
WO2022196477A1 (ja) * 2021-03-19 2022-09-22 富士フイルム株式会社 画像データ処理装置、画像データ処理方法、画像データ処理プログラム及び撮像システム

Also Published As

Publication number Publication date
CN109804621A (zh) 2019-05-24
JP7070423B2 (ja) 2022-05-18
DE112017005244T5 (de) 2019-07-11
JPWO2018074064A1 (ja) 2019-08-15
US20190260974A1 (en) 2019-08-22
US10750136B2 (en) 2020-08-18
CN109804621B (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
JP7070423B2 (ja) 画像処理装置と画像処理方法および撮像装置
US10904503B2 (en) Image processing device, information generation device, and information generation method
US10957029B2 (en) Image processing device and image processing method
US10704957B2 (en) Imaging device and imaging method
JP6743889B2 (ja) 画像処理装置と画像処理方法および学習装置と学習方法
WO2018179671A1 (ja) 画像処理装置と画像処理方法および撮像装置
JP6977722B2 (ja) 撮像装置、および画像処理システム
WO2018034209A1 (ja) 撮像装置と撮像方法
WO2018150683A1 (ja) 情報処理装置と情報処理方法とプログラムおよび撮像装置
US10877288B2 (en) Imaging device and imaging method
JP7235906B2 (ja) 固体撮像装置
WO2017043331A1 (ja) 画像処理装置、及び、画像処理方法
JP2018064007A (ja) 固体撮像素子、および電子装置
JP6981416B2 (ja) 画像処理装置と画像処理方法
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP2021180459A (ja) 撮像装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17861559

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018546174

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17861559

Country of ref document: EP

Kind code of ref document: A1