WO2019220722A1 - 固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法 - Google Patents

固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法 Download PDF

Info

Publication number
WO2019220722A1
WO2019220722A1 PCT/JP2019/005778 JP2019005778W WO2019220722A1 WO 2019220722 A1 WO2019220722 A1 WO 2019220722A1 JP 2019005778 W JP2019005778 W JP 2019005778W WO 2019220722 A1 WO2019220722 A1 WO 2019220722A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarization
pixel
pixels
pixel group
subject
Prior art date
Application number
PCT/JP2019/005778
Other languages
English (en)
French (fr)
Inventor
康孝 平澤
穎 陸
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/055,790 priority Critical patent/US20210235060A1/en
Priority to JP2020518985A priority patent/JPWO2019220722A1/ja
Priority to CN201980031730.9A priority patent/CN112106350A/zh
Publication of WO2019220722A1 publication Critical patent/WO2019220722A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • This technology relates to a solid-state imaging device, an information processing device, an information processing method, and a calibration method, so that the polarization state can be obtained with high accuracy.
  • an active method or a passive method is used for obtaining a three-dimensional shape.
  • energy such as light is emitted, and three-dimensional measurement is performed based on the amount of reflected energy from the subject. Therefore, it is necessary to provide an energy radiating part for radiating energy, and further, the cost for energy radiation and an increase in power consumption are caused, so that it cannot be used easily.
  • this passive method measurement is performed using image characteristics, and there is no need to provide an energy radiating section, and there is no increase in cost and power consumption for energy emission. .
  • a depth map is generated using a stereo camera.
  • polarization imaging that obtains polarization images in a plurality of polarization directions and generates a normal map is also performed.
  • a polarizing plate is placed in front of the imaging unit, and imaging is performed by rotating the polarizing plate about the optical axis direction of the imaging unit as a rotation axis, thereby obtaining polarization images in a plurality of polarization directions.
  • Japanese Patent Application Laid-Open No. 2004-228561 describes that a polarization image in a plurality of polarization directions is acquired by one imaging by disposing a polarizer having different polarization directions on each pixel of an imaging unit.
  • a polarization image having a plurality of polarization directions is generated by using a plurality of pixels at different positions for each polarization direction. Since pixels at different positions correspond to different positions on the subject, the accuracy of the obtained polarization state may be reduced for subjects with rapidly changing shapes, subjects with textures, subject edges, etc. .
  • this technology provides a solid-state imaging device, an information processing device, an information processing method, and a calibration method that can accurately acquire the polarization state.
  • the first aspect of this technology is A microlens is provided for each pixel group including a plurality of pixels,
  • the pixel group includes at least three or more polarization pixels having different polarization directions,
  • the pixels included in the pixel group are in a solid-state imaging device that performs photoelectric conversion of light incident through the microlens.
  • a microlens is provided for each pixel group including a plurality of pixels, and the pixel group has at least three or more polarization pixels having different polarization directions.
  • the pixel group may have two pixels having the same polarization direction.
  • the pixel group is a pixel in a 2 ⁇ 2 pixel two-dimensional region, the pixel group includes a polarization pixel whose polarization direction is a specific angle, a polarization image whose polarization direction has an angle difference of 45 degrees from the specific angle, and 2 It consists of two non-polarized pixels.
  • polarized pixels that are one pixel apart have the same polarization direction.
  • a color filter may be provided for each pixel group, and the color filters of adjacent pixel groups may have different wavelengths of transmitted light. Pixels included in the pixel group generate a black and white polarized image or a color polarized image by performing photoelectric conversion of light incident through the microlens.
  • the second aspect of this technology is A solid-state imaging device provided with a microlens for each pixel group having at least three or more polarization pixels having different polarization directions, and a polarization image of a subject acquired using the main lens, and in advance for each microlens according to the main lens
  • the information processing apparatus includes a polarization state calculation unit that calculates a polarization state of the subject using a set correction parameter.
  • a polarization image of a subject acquired using a solid-state imaging device and a main lens provided with a microlens for each pixel group having at least three or more polarized pixels having different polarization directions, and a main lens in advance.
  • the polarization state calculation unit uses the correction parameter set for each microlens, calculates the polarization state of the subject.
  • the pixel group includes two pixels having the same polarization direction.
  • One viewpoint image is generated using one pixel having the same polarization direction for each pixel group, and the other viewpoint image is generated using the other pixel.
  • the depth information indicating the distance to the subject based on the one viewpoint image and the other viewpoint image may be generated by the depth information generation unit, and the normal line of the subject is determined based on the calculated polarization state of the subject.
  • the normal information shown may be generated by a normal information generation unit. Furthermore, when the depth information and the normal information are generated, the generated depth information may be generated by the highly accurate depth information and information integration unit based on the normal information.
  • the third aspect of this technology is A solid-state imaging device provided with a microlens for each pixel group having at least three or more polarization pixels having different polarization directions, and a polarization image of a subject acquired using the main lens, and in advance for each microlens according to the main lens
  • An information processing method includes calculating a polarization state of the subject by a polarization state calculation unit using a set correction parameter.
  • the fourth aspect of this technology is Calculated based on a polarization image obtained by imaging a light source with a clear polarization state using a solid-state imaging device and a main lens provided with a microlens for each pixel group having at least three or more polarization pixels having different polarization directions.
  • the correction parameter generation unit generates a correction parameter that corrects the polarization state of the light source that has been clarified to the polarization state of the light source that has been clarified.
  • the correction parameter generation unit performs the switching control of the polarization state of the light source and the imaging control of the solid-state imaging device, and acquires a polarization image for each of the plurality of polarization states by the solid-state imaging device.
  • the solid-state imaging device has a configuration in which a microlens is provided for each pixel group having at least three or more polarized pixels with different polarization directions, and a polarized image is obtained by imaging a light source with a clear polarization state using the main lens. To do.
  • the correction parameter generation unit generates a correction parameter that corrects the polarization state of the light source calculated based on the acquired polarization image to the apparent polarization state of the light source.
  • the solid-state imaging device includes a microlens for each pixel group including a plurality of pixels, and the pixel group includes at least three or more polarization pixels having different polarization directions.
  • Photoelectric conversion of light incident through the microlens is performed.
  • the information processing apparatus uses the polarization image of the subject acquired using the solid-state imaging device and the main lens, and the correction parameter set in advance for each microlens according to the main lens, to determine the polarization state of the subject. Calculated. Therefore, the polarization state can be acquired with high accuracy. Note that the effects described in the present specification are merely examples and are not limited, and may have additional effects.
  • FIG. 1 illustrates a configuration of a system using a solid-state imaging device and an information processing device of the present technology.
  • the system 10 includes a main lens 15, a polarization imaging unit 20, and an information processing unit 30.
  • the polarization imaging unit 20 corresponds to the solid-state imaging device of the present technology
  • the information processing unit 30 corresponds to the information processing device of the present technology.
  • the polarization imaging unit 20 images a subject using the main lens 15, acquires polarization images in a plurality of polarization directions, and outputs them to the information processing unit 30.
  • the information processing unit 30 calculates the polarization state of the subject using the polarization image acquired by the polarization imaging unit 20 and the correction parameter set in advance for each microlens according to the main lens 15.
  • the light source LT is used to illuminate the subject OB
  • the imaging unit 41 images the subject OB via the polarizing plate 42.
  • the luminance of the subject OB changes according to the polarization direction of the polarizing plate 42.
  • the highest luminance is Imax and the lowest luminance is Imin.
  • the x-axis and y-axis in two-dimensional coordinates are on the plane of the polarizing plate 42, and the polarization direction of the polarizing plate 42 is the angle in the y-axis direction with respect to the x-axis.
  • the polarizing plate 42 has a period in which the polarization direction is 180 degrees, and returns to the original polarization state when rotated 180 degrees.
  • the polarization angle ⁇ when the maximum luminance Imax is observed is defined as an azimuth angle ⁇ . If such a definition is performed, if the polarization direction of the polarizing plate 42 is changed, the observed luminance I can be expressed by the polarization model expression of Expression (1). That is, the polarization state of the subject OB can be calculated.
  • FIG. 3 illustrates the relationship between the luminance and the polarization angle.
  • the polarization imaging unit 20 is provided with a microlens for each pixel group including a plurality of pixels, and the pixel group is configured to have at least three or more polarization pixels having different polarization directions.
  • the pixels included in the pixel group perform photoelectric conversion of light incident through the microlens so that the polarization state of the subject can be accurately calculated.
  • FIG. 4 illustrates a part of the pixel structure of the polarization imaging unit 20.
  • the pixels of the polarization imaging unit 20 are, for example, 2 ⁇ 2 pixels as one pixel group, and in the pixels 201a to 201d constituting one pixel group, polarizers 202a to 202d are arranged on the incident surface.
  • polarizers 202a to 202d for example, a wire grid is used.
  • the polarizer of each pixel has a different polarization direction.
  • the polarizer 202a provided in the pixel 201a transmits 0-degree polarized light.
  • the polarizer 202b of the pixel 201b transmits 135-degree polarized light
  • the polarizer 202c of the pixel 201c transmits 45-degree polarized light
  • the polarizer 202d of the pixel 201d transmits 90-degree polarized light.
  • the pixel 201a is a polarization pixel whose polarization direction is 0 degree and outputs an observation value (pixel value or luminance value) corresponding to 0 degree polarized light
  • the pixel 201b is an observation value corresponding to 135 degree polarized light.
  • the output polarization direction is a polarization pixel of 135 degrees.
  • the pixel 201c is a polarization pixel whose polarization direction outputs an observation value corresponding to 45 degrees of polarized light
  • the pixel 201d has a polarization direction of 90 which outputs an observation value corresponding to 90 degrees of polarization light. Degree of polarization pixel.
  • the polarizer is provided on the incident surface side of the pixel and the polarization pixels of four polarization directions are provided for one pixel group, the observation value for each polarization direction can be obtained. It can be calculated.
  • interpolation processing is performed to calculate the observation value of the polarization pixel in another polarization direction using the observation value of the polarization pixel in the same polarization direction, the polarization state can be calculated for each pixel.
  • a microlens 203 is disposed in each pixel group, and light passing through the microlens 203 is incident on each pixel of the pixel group. Note that the microlens 203 only needs to be provided for each pixel group including a plurality of pixels, and the pixel group is not limited to a pixel in a 2 ⁇ 2 pixel two-dimensional region.
  • 4 illustrates the case where the polarized light transmitted through the polarizer is 0 degree, 45 degrees, 90 degrees, and 135 degrees, the configuration in which the polarization state can be calculated, that is, different three polarization directions (polarized light). Any angle may be used as long as non-polarized light may be included in the direction).
  • FIG. 5 shows another pixel arrangement of the polarization imaging unit. FIGS.
  • FIG. 5A and 5B illustrate a case where a pixel group is configured with two polarized pixels and two non-polarized pixels whose polarization directions have an angle difference of 45 degrees or 135 degrees.
  • the polarization imaging unit 20 may acquire a color polarization image
  • FIG. 5C illustrates a pixel arrangement in the case of acquiring a red polarization image, a green polarization image, and a blue polarization image.
  • a color filter is provided so that the wavelengths of light transmitted through adjacent pixel groups are different.
  • FIG. 5C illustrates a case where the pixel group is one color unit and the color arrangement is a Bayer arrangement.
  • FIG. 6 is a diagram for explaining the operation of the polarization imaging unit.
  • 6A shows an optical path of a conventional polarization imaging unit without a microlens
  • FIG. 6B shows an optical path of a polarization imaging unit of the present technology using a microlens.
  • FIG. 6 illustrates a polarization pixel 201e having a first polarization direction and a polarization pixel 201f having a second polarization direction different from the first direction.
  • the focal plane of the main lens 15 is the imaging plane (sensor plane) of the polarization imaging unit 20
  • the light incident on the polarization pixel 201e and the polarization pixel 201f indicates different positions of the subject OB. Therefore, when the observation values of the polarization pixel 201e and the polarization pixel 201f are used, the polarization state of the subject cannot be accurately calculated.
  • the microlens 203 is provided for each pixel group, and the position of the microlens 203 is the position of the focal plane of the main lens 15.
  • the light collected through the upper side of the main lens 15 from a desired position in the subject OB enters the polarization pixel 201f via the microlens 203.
  • the light collected through the lower side of the main lens 15 from a desired position in the subject OB enters the polarization pixel 201e via the micro lens 203.
  • the polarization imaging unit 20 performs the same operation as a so-called light field camera, and the observation values of the polarization pixel 201e and the polarization pixel 201f indicate the polarization state at a desired position in the subject OB. Therefore, it becomes possible to calculate the polarization state of the subject with higher accuracy than before by using the observation values of the polarization pixel 201e and the polarization pixel 201f.
  • the configuration and operation of the information processing unit will be described.
  • the light incident on the pixels in the pixel group is light that passes through a different part of the main lens 15 and is condensed for each pixel.
  • FIG. 7 shows a passage position of light incident on each pixel when the microlens 203 is provided in the pixel group of 2 ⁇ 2 pixels. For example, the light collected by passing through the lower right quarter area LA4 of the main lens 15 enters the pixel 201a.
  • the pixel 201b is focused through the lower left quarter area LA3 of the main lens 15, and the pixel 201c is focused through the upper right quarter area LA2 of the main lens 15.
  • the collected light and the light collected through the upper left quarter area LA1 of the main lens 15 are incident on the pixel 201d.
  • the information processing unit 30 corrects the change in the polarization state generated by the main lens 15 and calculates the polarization state of the subject with higher accuracy than in the past.
  • the information processing unit 30 includes a polarization state calculation unit 31 and a correction parameter storage unit 32.
  • the polarization state calculation unit 31 calculates the polarization state of the subject based on the polarization images of a plurality of polarization directions acquired by the polarization imaging unit 20. Further, the polarization state calculation unit 31 uses the correction parameters stored in the correction parameter storage unit 32 to correct the change in the polarization state caused by the lens generated in the polarization image, and calculates the polarization state of the subject.
  • the polarization state calculation unit 31 calculates a Stokes vector S indicating the polarization state as the calculation of the polarization state.
  • the observation value of the polarization pixel whose polarization direction is 0 degree is I 0
  • the observation value of the polarization pixel whose polarization direction is 45 degrees is I 45
  • the observation value of the polarization pixel whose polarization direction is 90 degrees is I 90. If the observation value of the polarization pixel whose polarization direction is 135 degrees is I 135 , the relationship between the Stokes vector and the observation value is expressed by Equation (2).
  • the component s 0 represents non-polarized luminance or average luminance.
  • the component s 1 indicates the difference between observation values whose polarization directions are 0 degrees and 90 degrees
  • the component s 2 indicates the difference between observation values whose polarization directions are 45 degrees and 135 degrees.
  • FIG. 7 shows a main lens passing position of light incident on each pixel of the pixel group.
  • light that has passed through the lower right quarter area LA4 of the main lens 15 is incident on the pixel 201a.
  • the pixel 201b has light that has passed through the lower left quarter area LA3 of the main lens 15, the pixel 201c has light that has passed through the upper right quarter area LA2, and the pixel 201d has Lights that have passed through the upper left quarter area LA1 of the main lens 15 are respectively incident.
  • the polarization state calculation unit 31 acquires the correction parameter corresponding to each microlens from the correction parameter storage unit 32, and uses the acquired correction parameter in the calculation of the Stokes vector S.
  • Formula (3) shows the calculation formula of the polarization state.
  • the polarization state calculation unit 31 is preset for each microlens according to the observation values I 0 , I 45 , I 90 , and I 135 of each pixel of the pixel group provided with the microlens 203 and the main lens 15.
  • the correction parameter P the Stokes vector S of the subject position indicated by the pixels of the pixel group is calculated. Details of the correction parameter will be described later.
  • FIG. 8 is a flowchart showing the operation of the information processing unit according to the first embodiment.
  • the information processing unit acquires a polarization image.
  • the information processing unit 30 acquires a polarization image obtained by imaging a desired subject with the polarization imaging unit 20 using the main lens 15, and proceeds to step ST2.
  • step ST2 the information processing unit acquires correction parameters.
  • the polarization state calculation unit 31 of the information processing unit 30 acquires the correction parameter for each microlens 203 corresponding to the main lens 15 from the correction parameter storage unit 32, and proceeds to step ST3.
  • step ST3 the information processing unit calculates the polarization state.
  • the polarization state calculation unit 31 calculates the Stokes vector S by performing the calculation of Expression (3) using the observation value of each pixel of the pixel group and the correction parameter corresponding to the microlens of the pixel group.
  • the information processing unit it is possible to calculate the polarization state of the subject with higher accuracy than in the past by correcting the change in the polarization state generated in the main lens.
  • Equation (4) can be changed to Equation (5).
  • Equation (6) the inverse matrix of the matrix A in Equation (5).
  • the observed value when the illumination light as the Stokes vector S is observed can be calculated based on the equation (8).
  • Equation (9) the matrix M in Equation (9) is a Mueller matrix, and shows a change in the polarization state when the illumination light passes through the lens, and Equation (9) can be expressed as Equation (10).
  • the observation value when the illumination light that is the Stokes vector S is observed by the polarization imaging unit 20 can be calculated based on the equation (11).
  • the Mueller matrix corresponding to the upper left lens area LA1 shown in FIG. 7 is M1
  • the Mueller matrix corresponding to the upper right lens area LA2 is M2
  • the Mueller matrix corresponding to the lower left lens area LA3 is M3, and the lower right lens area.
  • the Mueller matrix corresponding to LA4 is M4.
  • the illumination light incident on the pixel 201a is light that has passed through the lower right quarter area LA4 of the lens.
  • the illumination light incident on the pixel 201b is light that has passed through the lower left quarter area LA3 of the lens
  • the illumination light that is incident on the pixel 201c is incident on the pixel 201d, light that has passed through the upper right quarter area LA2.
  • the illumination light to be transmitted is light that has passed through the upper left quarter area LA1 of the lens. Therefore, the actual observed value is expressed by equation (13).
  • Equation (13) m rc n is an element of r rows and c columns of the Mueller matrix M n .
  • each line of Formula (13) is independent, common m rc n does not appear between the lines.
  • observations I 0 4 pixels 201a can be calculated based on equation (14). Further, if six sets of observed values I 0 4 are obtained for the illumination light of the Stokes vector S, m rc 4 in equation (14) can be calculated. Similarly, if the elements m rc 1 , m rc 2 , and m rc 3 are calculated, the Stokes vector S can be calculated based on the observed value. That is, the elements m rc 1 , m rc 2 , m rc 3 , and m rc 4 are calculated and used as the correction parameter P.
  • FIG. 9 illustrates the configuration of a calibration apparatus that generates correction parameters.
  • the calibration device 50 includes the above-described main lens 15 used for acquiring a polarization image, a polarization imaging unit 20, a polarization illumination unit 51, and a correction parameter generation unit 52.
  • the polarized illumination unit 51 emits linearly polarized light whose polarization direction is clear in the direction of the main lens 15 as illumination light.
  • the polarization imaging unit 20 captures the polarization illumination unit 51 using the main lens 15 and acquires a polarization image.
  • the correction parameter generation unit 52 controls the polarization illumination unit 51 to switch and output the illumination light of different Stokes vectors S.
  • the correction parameter generation unit 52 controls the polarization imaging unit 20 to acquire a polarization image every time the illumination light output from the polarization illumination unit 51 is switched. Further, the correction parameter generation unit 52 generates a correction parameter for each microlens using the polarization image acquired for each illumination light of a plurality of different Stokes vectors S.
  • the polarization illumination unit 51 can switch the linearly polarized light of the six types of Stokes vectors S so as to be emitted as illumination light, and the correction parameter generation unit 52 is provided for each of the six types of Stokes vectors S of illumination light.
  • a polarization image is acquired by the polarization imaging unit 20.
  • the correction parameter generation unit 52 uses the elements m rc 1 , m rc 2 , and m rc 3 as described above based on the observation values of the captured images of the illumination light of the six different Stokes vectors S and the Stokes vector S of the illumination light.
  • M rc 4 is calculated as a correction parameter.
  • the correction parameter can be easily calculated by using the Mueller matrix of refraction. That is, by using the Mueller matrix of refraction, the above equation (11) becomes the equation (16) and the equation (12) becomes the equation (17), so that the correction parameter can be easily calculated.
  • the polarization state calculation unit 31 can calculate the Stokes vector S by holding the pseudo inverse matrix of the matrix of Expression (17) in the correction parameter storage unit 32, only the five unknowns constituting the matrix are held. It is also possible to calculate a pseudo inverse matrix when calculating the actual polarization state.
  • the correction parameters are not limited to being held for all the microlenses, but may be held for some of the microlenses. In this case, for a microlens for which the corresponding correction parameter is not stored, the correction parameter may be calculated by interpolation processing using a correction parameter for a microlens located in the vicinity.
  • Second Embodiment of Information Processing Unit Next, a second embodiment of the information processing unit will be described.
  • depth information is generated based on the polarization image acquired by the polarization imaging unit 20.
  • a set of pixels having the same polarization characteristics is provided in a pixel group for each microlens in the polarization imaging unit.
  • FIG. 10 illustrates a pixel arrangement in which a set of pixels having the same polarization characteristics is provided.
  • FIG. 10A shows a case where a set of pixels having the same polarization characteristic is non-polarized pixels PN01 and PN02 in the same row.
  • the pixel group is a pixel in a two-dimensional region of n ⁇ n pixels (n is a natural number of 3 or more), for example, a pixel in a two-dimensional region of 3 ⁇ 3 pixels.
  • n is a natural number of 3 or more
  • the set of pixels having the same polarization characteristics is not limited to a set of polarized pixels that are separated by one pixel in the middle stage of the pixel group, but may be a set of polarized pixels in the upper stage or the lower stage. Further, the set of pixels having the same polarization characteristic may be pixels in the same column.
  • FIG. 11 shows the configuration of the information processing unit according to the second embodiment.
  • the information processing unit 30 includes a polarization state calculation unit 31, a correction parameter storage unit 32, and a depth information generation unit 33.
  • the polarization state calculation unit 31 and the correction parameter storage unit 32 are configured in the same manner as in the first embodiment.
  • the polarization state calculation unit 31 is based on polarization images of a plurality of polarization directions acquired by the polarization imaging unit 20.
  • the polarization state of the subject is calculated.
  • the polarization state calculation unit 31 uses the correction parameters stored in the correction parameter storage unit 32 to correct the change in the polarization state caused by the lens generated in the polarization image, and calculates the polarization state of the subject.
  • the depth information generation unit 33 generates a plurality of viewpoint images from the polarization image acquired by the polarization imaging unit 20, and calculates the distance to the subject based on the viewpoint images.
  • FIG. 12 is a diagram for explaining generation of a plurality of viewpoint images.
  • the depth information generation unit 33 generates a first image using one pixel of a set of pixels having the same polarization characteristic from each pixel group provided with a microlens, and uses the other pixel to generate a second image. Generate an image.
  • the depth information generation unit 33 generates the first image G01 using, for example, one non-polarized pixel PN01 of a set of pixels having the same polarization characteristic from each pixel group of 2 ⁇ 2 pixels, and the other non-polarized pixel A second image G02 is generated using PN02.
  • the incident light of the non-polarized pixel PN01 and the non-polarized pixel PN02 is light that has passed through different regions of the main lens 15 as described above, and the non-polarized pixel PN01 and the non-polarized pixel PN02 are pixels having different viewpoints. That is, the first image using one pixel of the set of pixels having the same polarization characteristic from each pixel group and the second image using the other pixel correspond to two viewpoint images of the stereo camera. Therefore, by using the first image and the second image corresponding to the two viewpoint images of the stereo camera, the stereo matching process is performed in the same manner as in the prior art to calculate the distance (depth) to the subject, and the depth indicating the calculated distance Output information.
  • FIG. 13 is a flowchart illustrating the operation of the information processing unit according to the second embodiment.
  • the information processing unit acquires a polarization image.
  • the information processing unit 30 acquires a polarization image obtained by imaging a desired subject with the polarization imaging unit 20 using the main lens 15, and proceeds to step ST12.
  • step ST12 the information processing unit acquires correction parameters.
  • the polarization state calculation unit 31 of the information processing unit 30 acquires the correction parameter for each microlens 203 corresponding to the main lens 15 from the correction parameter storage unit 32, and proceeds to step ST13.
  • step ST13 the information processing unit calculates the polarization state.
  • the polarization state calculation unit 31 calculates the Stokes vector S using the observation value of each pixel of the pixel group and the correction parameter corresponding to the microlens of the pixel group, and proceeds to step ST14.
  • step ST14 the information processing unit generates a multi-viewpoint image.
  • the depth information generation unit 33 of the information processing unit 30 uses the first image and the other pixel from one pixel group having the same polarization characteristic from each pixel group provided with the microlens. Two images are generated as a multi-viewpoint image, and the process proceeds to step ST15.
  • step ST15 the information processing unit generates depth information.
  • the depth information generation unit 33 calculates a distance to the subject by performing a stereo matching process using the multiple viewpoint images generated in step ST14, and generates depth information indicating the calculated distance.
  • the operation of the second embodiment is not limited to the order shown in FIG. 13 as long as the process of step ST12 is performed before the process of step ST13 and the process of step ST14 is performed before the process of step ST15. .
  • the second embodiment of the information processing unit it is possible to calculate the polarization state of the subject more accurately than in the past by correcting the change in the polarization state caused by the lens generated in the polarization image.
  • depth information can be generated.
  • FIG. 14 shows the configuration of the information processing unit according to the third embodiment.
  • the information processing unit 30 includes a polarization state calculation unit 31, a correction parameter storage unit 32, a depth information generation unit 33, a normal information generation unit 34, and an information integration unit 35.
  • the polarization state calculation unit 31 and the correction parameter storage unit 32 are configured in the same manner as in the first embodiment.
  • the polarization state calculation unit 31 is based on polarization images of a plurality of polarization directions acquired by the polarization imaging unit 20.
  • the polarization state of the subject is calculated.
  • the polarization state calculation unit 31 uses the correction parameters stored in the correction parameter storage unit 32 to correct the change in the polarization state caused by the lens generated in the polarization image, and calculates the polarization state of the subject.
  • the calculated polarization state is output to the normal vector information generation unit 34.
  • the depth information generation unit 33 is configured in the same manner as in the first embodiment, generates a plurality of viewpoint images from the polarization image acquired by the polarization imaging unit 20, and determines the distance to the subject based on the viewpoint image. Calculation is performed, and depth information indicating the calculated distance is output to the information integration unit 35.
  • the normal line information generation unit 34 calculates the normal line of the subject based on the polarization state calculated by the polarization state calculation unit 31.
  • the degree of polarization ⁇ can be calculated based on the equation (18).
  • the degree of polarization ⁇ can be calculated using the relative refractive index n r of the subject OB and the zenith angle ⁇ , which is an angle from the z axis toward the normal, as shown in Expression (18).
  • the z-axis in this case is a line-of-sight axis indicating the direction of light rays from the observation target point of the subject OB toward the imaging unit 41.
  • the relationship between the degree of polarization and the zenith angle is, for example, the characteristic shown in FIG. 15.
  • the zenith angle ⁇ can be calculated based on the degree of polarization ⁇ .
  • the characteristic shown in FIG. 15 is dependent from the expression (18) to clear the relative refractive index n r, the degree of polarization increases with the relative refractive index n r is increased.
  • the normal information generating unit 34 calculates the zenith angle ⁇ based on the degree of polarization ⁇ calculated using the equation (18).
  • the normal angle information indicating the zenith angle ⁇ and the azimuth angle ⁇ is generated and output to the information integration unit 35 with the polarization angle ⁇ when the highest luminance Imax is observed as the azimuth angle ⁇ .
  • the information integration unit 35 integrates the depth information generated by the depth information generation unit 33 and the normal information generated by the normal information generation unit 34, and is more accurate than the distance calculated by the depth information generation unit 33. High depth information is generated.
  • the information integration unit 35 obtains the depth value based on the surface shape of the subject indicated by the normal information and the depth value indicated by the depth information. The surface shape of the subject is traced starting from. The information integration unit 35 calculates the depth value corresponding to the pixel for which the depth value is not obtained by following the surface shape. In addition, the information integration unit 35 includes the estimated depth value in the depth information generated by the depth information generation unit 33, thereby generating depth information having accuracy higher than that of the depth information generated by the depth information generation unit 33. Output.
  • FIG. 16 is a diagram for explaining the information integration process. For the sake of simplicity, for example, an integration process for one line will be described.
  • the subject OB is imaged, and the depth information generator 33 shows the depth value shown in FIG. 16 (b), and the normal information generator 34 shows it in FIG. 16 (c).
  • the normal is calculated.
  • the depth value for the leftmost pixel is “2 (meters)”, and the depth value is not stored in other pixels indicated by “x”.
  • the information integration unit 35 estimates the surface shape of the subject OB based on the normal information.
  • the information integration unit 35 estimates the depth value of the second pixel from the left end by tracing the surface shape of the subject OB starting from the left end pixel, and sets it to “1.5 (meters)”, for example. Further, the information integration unit 35 stores the estimated depth value in the depth information. It can be determined that the third pixel from the left end corresponds to the surface facing the polarization imaging unit 20 based on the normal direction of this pixel.
  • the information integration unit 35 estimates the depth value of the third pixel from the left end by tracing the surface shape of the subject OB starting from the left end pixel, and sets it to “1 (meter)”, for example. Further, the information integration unit 35 stores the estimated depth value in the depth information. It can be determined that the fourth pixel from the left end corresponds to an inclined surface in a direction away from the polarization imaging unit 20 from the subject surface corresponding to the third pixel from the left end. Accordingly, the information integration unit 35 estimates the depth value of the fourth pixel from the left end by tracing the surface shape of the subject OB starting from the left end pixel, and sets it to “1.5 (meters)”, for example. Further, the information integration unit 35 stores the estimated depth value in the depth map. Similarly, the depth value of the fifth pixel from the left end is estimated and stored in the depth map as “2 (meters)”, for example.
  • the information integration unit 35 performs the integration process of the depth information and the normal information, and estimates the depth value by following the surface shape based on the normal information starting from the depth value indicated by the depth information. . Therefore, even if some depth values are missing in the depth information shown in FIG. 16B generated by the depth information generating unit 33, the information integration unit 35 can compensate for the missing depth values. It becomes possible. Accordingly, it is possible to generate the depth information shown in FIG. 16D, which is more accurate than the depth information shown in FIG.
  • FIG. 17 is a flowchart illustrating the operation of the information processing unit according to the third embodiment.
  • the information processing unit acquires a polarization image.
  • the information processing unit 30 acquires a polarization image obtained by imaging a desired subject with the polarization imaging unit 20 using the main lens 15, and proceeds to step ST22.
  • step ST22 the information processing unit acquires correction parameters.
  • the polarization state calculation unit 31 of the information processing unit 30 acquires the correction parameter for each microlens 203 corresponding to the main lens 15 from the correction parameter storage unit 32, and proceeds to step ST23.
  • step ST23 the information processing unit calculates the polarization state.
  • the polarization state calculation unit 31 calculates the Stokes vector S using the observation value of each pixel of the pixel group and the correction parameter corresponding to the microlens of the pixel group, and proceeds to step ST24.
  • step ST24 the information processing unit generates a multi-viewpoint image.
  • the depth information generation unit 33 of the information processing unit 30 uses the first image and the other pixel from one pixel group having the same polarization characteristic from each pixel group provided with the microlens. Two images are generated as a multi-viewpoint image, and the process proceeds to step ST25.
  • step ST25 the information processing unit generates depth information.
  • the depth information generation unit 33 performs a stereo matching process using the multiple viewpoint images generated in step S24, calculates the distance to the subject, generates depth information indicating the calculated distance, and proceeds to step ST26.
  • step ST26 the information processing unit generates normal line information.
  • the normal information generation unit 34 of the information processing unit 30 calculates a zenith angle and an azimuth angle from the polarization state calculated in step ST23, generates normal information indicating the calculated zenith angle and azimuth angle, and performs step ST27. Proceed to
  • step ST27 the information processing unit performs information integration processing.
  • the information integration unit 35 of the information processing unit 30 performs integration processing of the depth information generated in step ST25 and the normal information generated in step ST26, and depth information with higher accuracy than the depth information generated in step ST25. Is generated.
  • the process of step ST22 is before the process of step ST23
  • the process of step ST23 is before the process of step ST26
  • the process of step ST24 is before the process of step ST25
  • the processes of steps ST25 and 26 are performed.
  • the process is not limited to the order shown in FIG. 17 as long as it is performed before the process of step ST27.
  • the third embodiment of the information processing unit it is possible to calculate the polarization state of the subject with higher accuracy than in the past by correcting the change in the polarization state generated in the main lens. Also, normal information can be generated with high accuracy based on the calculated polarization state of the subject. Further, depth information with high accuracy can be generated by integrating the normal information and the depth information generated based on the polarization image acquired by the polarization imaging unit.
  • the information processing unit may calculate the polarization state and generate the normal information without generating the depth information. Good.
  • an image processing unit may be provided in the information processing unit, and the image processing unit may perform image processing of the subject image, for example, adjustment or removal of the reflection component, using the calculation result of the polarization state.
  • the Stokes vector S calculated by the polarization state calculation unit 31 corrects the change in the polarization state that occurs in the main lens, and indicates the polarization state of the subject more accurately than in the past. Therefore, the image processing unit performs the calculation of Expression (8) using the Stokes vector S calculated by the polarization state calculation unit 31 and the matrix B shown in Expression (7), and calculates the observed value for each calculated polarization direction. To obtain the polarization model equation of equation (1).
  • the amplitude of the polarization model equation indicates a specular reflection component and the minimum value indicates a diffuse reflection component
  • adjustment or removal of the specular reflection component is performed based on the Stokes vector S calculated by the polarization state calculation unit 31. Can be performed with high accuracy.
  • the polarization imaging unit 20 and the information processing unit 30 are not limited to being provided individually, but the polarization imaging unit 20 and the information processing unit 30 are configured integrally, and one of the polarization imaging unit 20 and the information processing unit 30 is the other. The configuration may be included.
  • the technology according to the present disclosure can be applied to various fields.
  • the technology according to the present disclosure is realized as a device mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • the technology according to the present disclosure can also be applied to the medical field. For example, if it is applied to the case where an operation image is used at the time of surgery, it is possible to accurately obtain an image without a three-dimensional shape or reflection of the operation part, and to reduce the operator's fatigue and safely. Surgery can be performed more reliably.
  • the technology according to the present disclosure can be applied to fields such as public services. For example, when an image of a subject is published in a book or magazine, an unnecessary reflection component or the like can be accurately removed from the image of the subject.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical disc), a DVD (Digital Versatile Disc), a BD (Blu-Ray Disc (registered trademark)), a magnetic disk, or a semiconductor memory card. It can be stored (recorded) in a removable recording medium such as temporarily or permanently. Such a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the solid-state imaging device of the present technology can also have the following configuration.
  • a microlens is provided for each pixel group including a plurality of pixels, The pixel group includes at least three or more polarization pixels having different polarization directions, A pixel included in the pixel group is a solid-state imaging device that performs photoelectric conversion of light incident through the microlens.
  • the pixel group is a pixel in a 2 ⁇ 2 pixel two-dimensional region, The solid-state imaging according to (2), wherein the pixel group includes a polarization pixel whose polarization direction is a specific angle, a polarization image whose polarization direction has an angle difference of 45 degrees from the specific angle, and two non-polarization pixels. apparatus.
  • the pixel group is a pixel in a two-dimensional area of n ⁇ n pixels (n is a natural number of 3 or more), (2)
  • a color filter is provided for each pixel group, The solid-state imaging device according to any one of (1) to (4), wherein the color filters of adjacent pixel groups have different wavelengths of transmitted light.
  • the solid-state imaging device includes a microlens for each pixel group including a plurality of pixels, and the pixel group has at least three or more different polarization directions.
  • the information processing apparatus determines the polarization state of the subject using the polarization image of the subject acquired using the solid-state imaging device and the main lens and the correction parameter set in advance for each microlens according to the main lens. calculate. Therefore, the polarization state can be acquired with high accuracy. For this reason, it is suitable for a field for grasping the surrounding environment in three dimensions, a field for adjusting reflection components, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

偏光撮像部２０は、複数の画素を含む画素群毎にマイクロレンズを設けて、画素群は偏光方向が異なる少なくとも３以上の偏光画素を有する構成として、画素群に含まれる画素は、マイクロレンズを介して入射される光の光電変換を行うことで偏光画像を取得する。情報処理部３０の偏光状態算出部３１は、偏光撮像部２０とメインレンズ１５を用いて取得された被写体の偏光画像と、メインレンズに応じて予め補正パラメータ記憶部３２に記憶されているマイクロレンズ毎に設定されている補正パラメータを用いて、被写体の偏光状態を精度よく取得する。

Description

固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法
　この技術は、固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法に関し、偏光状態を精度よく取得できるようにする。
　近年、被写体の三次元形状を取得することが行われており、三次元形状の取得では、アクティブな方法やパッシブな方式が用いられている。アクティブな方法では、光などのエネルギーを放射して、被写体からのエネルギーの反射量に基づいて三次元計測を行う。したがって、エネルギーを放射するエネルギー放射部を設ける必要があり、さらに、エネルギー放射のためのコストや消費電力の増加をまねくことから、手軽に用いることができない。このアクティブな方法に対してパッシブな方法では、画像の特徴を利用して計測するものであり、エネルギー放射部を設ける必要がなく、エネルギー放射のためのコストや消費電力の増加をまねくこともない。パッシブな方法を用いた三次元形状の取得では、例えばステレオカメラを用いてデプスマップを生成することが行われている。また、複数の偏光方向の偏光画像を取得して法線マップを生成する偏光イメージングなども行われている。
　偏光画像の取得では、撮像部の前に偏光板を配置して、撮像部の光軸方向を回転軸として偏光板を回転させて撮像を行うことで、複数の偏光方向の偏光画像を取得できる。また、特許文献１では、撮像部の各画素上に異なる偏光方向の偏光子を配置することで、１度の撮像で複数偏光方向の偏光画像を取得することが記載されている。
特開２００９－０５５６２４号公報
　ところで、撮像部の各画素上に異なる偏光方向の偏光子を配置する方法では、複数の異なる位置の画素を偏光方向毎に用いて複数偏光方向の偏光画像が生成されている。異なる位置の画素は、被写体上の異なる位置に対応しているため、形状が急激に変化する被写体やテクスチャを持った被写体および被写体のエッジ等では、得られる偏光状態の精度が低下するおそれがある。
　そこで、この技術では偏光状態を精度よく取得できる固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法を提供する。
　この技術の第１の側面は、
　複数の画素を含む画素群毎にマイクロレンズを設け、
　前記画素群は偏光方向が異なる少なくとも３以上の偏光画素を有し、
　前記画素群に含まれる画素は、前記マイクロレンズを介して入射される光の光電変換を行う固体撮像装置にある。
　この技術においては、複数の画素を含む画素群毎にマイクロレンズを設けて、画素群は偏光方向が異なる少なくとも３以上の偏光画素を有する構成とする。また、画素群は偏光方向が等しい２つの画素を有する構成としてもよい。画素群を２×２画素の二次元領域内の画素とした場合、画素群は偏光方向が特定角度である偏光画素と、偏光方向が前記特定角度と４５度の角度差を有する偏光画像と２つの無偏光画素で構成する。画素群をｎ×ｎ画素（ｎは３以上の自然数）の二次元領域内の画素とした場合、１画素離れた偏光画素を等しい偏光方向とする。また、画素群毎にカラーフィルタを設け、隣接する画素群のカラーフィルタは透過する光の波長が異なる構成としてもよい。画素群に含まれる画素は、マイクロレンズを介して入射される光の光電変換を行うことで白黒偏光画像あるいはカラー偏光画像を生成する。
　この技術の第２の側面は、
　偏光方向が異なる少なくとも３以上の偏光画素を有する画素群毎にマイクロレンズを設けた固体撮像装置とメインレンズを用いて取得された被写体の偏光画像と、前記メインレンズに応じて予めマイクロレンズ毎に設定されている補正パラメータを用いて、前記被写体の偏光状態を算出する偏光状態算出部
を備える情報処理装置にある。
　この技術においては、偏光方向が異なる少なくとも３以上の偏光画素を有する画素群毎にマイクロレンズを設けた固体撮像装置とメインレンズを用いて取得された被写体の偏光画像と、メインレンズに応じて予めマイクロレンズ毎に設定されている補正パラメータを用いて、偏光状態算出部で被写体の偏光状態を算出する。また、画素群は偏光方向が等しい２つの画素を有しており、画素群毎の偏光方向が等しい一方の画素を用いて一方の視点画像の生成と他方の画素を用いて他方の視点画像の生成を行い、一方の視点画像と他方の視点画像に基づき被写体までの距離を示すデプス情報をデプス情報生成部で生成してもよく、算出された被写体の偏光状態に基づき、被写体の法線を示す法線情報を法線情報生成部で生成してもよい。さらに、デプス情報と法線情報を生成したとき、生成されたデプス情報を法線情報に基づいて精度の高いデプス情報と情報統合部で生成してもよい。
　この技術の第３の側面は、
　偏光方向が異なる少なくとも３以上の偏光画素を有する画素群毎にマイクロレンズを設けた固体撮像装置とメインレンズを用いて取得された被写体の偏光画像と、前記メインレンズに応じて予めマイクロレンズ毎に設定されている補正パラメータを用いて、前記被写体の偏光状態を偏光状態算出部で算出すること
を含む情報処理方法にある。
　この技術の第４の側面は、
　偏光方向が異なる少なくとも３以上の偏光画素を有する画素群毎にマイクロレンズを設けた固体撮像装置とメインレンズを用いて、偏光状態が明らかな光源を撮像して得られた偏光画像に基づいて算出された前記光源の偏光状態を、明らかとされている前記光源の偏光状態に補正する補正パラメータを補正パラメータ生成部で生成すること
を含むキャリブレーション方法にある。
　この技術においては、補正パラメータ生成部で、光源の偏光状態の切り替え制御と固体撮像装置の撮像制御を行い、複数の前記偏光状態毎の偏光画像を固体撮像装置で取得させる。固体撮像装置は、偏光方向が異なる少なくとも３以上の偏光画素を有する画素群毎にマイクロレンズを設けた構成であり、メインレンズを用いて、偏光状態が明らかな光源を撮像して偏光画像を取得する。補正パラメータ生成部は、取得された偏光画像に基づいて算出した光源の偏光状態を、明らかとされている光源の偏光状態に補正する補正パラメータを生成する。
　この技術によれば、固体撮像装置は、複数の画素を含む画素群毎にマイクロレンズを設け、画素群は偏光方向が異なる少なくとも３以上の偏光画素を有する構成として、画素群に含まれる画素は、マイクロレンズを介して入射される光の光電変換を行う。また、情報処理装置は、固体撮像装置とメインレンズを用いて取得された被写体の偏光画像と、メインレンズに応じて予めマイクロレンズ毎に設定されている補正パラメータを用いて、被写体の偏光状態が算出される。したがって、偏光状態を精度よく取得できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
システムの構成を例示した図である。 偏光画像と観測対象との関係について説明するための図である。 輝度と偏光角との関係を例示した図である。 偏光撮像部の画素構造の一部を例示した図である。 偏光撮像部の他の画素配置を示した図である。 偏光撮像部の動作を説明するための図である。 各画素に入射される光の通過位置を示した図である。 情報処理部の第１の実施の形態の動作を示すフローチャートである。 補正パラメータを生成するキャリブレーション装置の構成を例示した図である。 同一の偏光特性を持つ画素の組を設けた画素配置を例示した図である。 情報処理部の第２の実施の形態の構成を示す図である。 複数の視点画像の生成を説明するための図である。 情報処理部の第２の実施の形態の動作を例示したフローチャートである。 情報処理部の第３の実施の形態の構成を示した図である。 偏光度と天頂角の関係を示す図である。 情報統合処理を説明するための図である。 情報処理部の第３の実施の形態の動作を例示したフローチャートである。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．システムの構成
　２．偏光撮像部の構成と動作
　３．情報処理部の構成と動作
　　３－１．情報処理部の第１の実施の形態
　　３－２．補正パラメータの生成について
　　３－３．情報処理部の第２の実施の形態
　　３－４．情報処理部の第３の実施の形態
　　３－５．情報処理部の他の実施の形態
　４．応用例
　＜１．システムの構成＞
　図１は、本技術の固体撮像装置と情報処理装置を用いたシステムの構成を例示している。システム１０は、メインレンズ１５と偏光撮像部２０と情報処理部３０を有している。なお、偏光撮像部２０は本技術の固体撮像装置、情報処理部３０は本技術の情報処理装置にそれぞれ相当する。
　偏光撮像部２０はメインレンズ１５を用いて被写体の撮像を行い、複数の偏光方向の偏光画像を取得して情報処理部３０へ出力する。情報処理部３０は、偏光撮像部２０で取得された偏光画像と、メインレンズ１５に応じて予めマイクロレンズ毎に設定されている補正パラメータを用いて、被写体の偏光状態を算出する。
　＜２．偏光撮像部の構成と動作＞
　ここで、偏光画像と観測対象との関係について説明する。図２に示すように、例えば光源ＬＴを用いて被写体ＯＢの照明を行い、撮像部４１は偏光板４２を介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光板４２の偏光方向に応じて被写体ＯＢの輝度が変化する。なお、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板４２の平面上として、偏光板４２の偏光方向をｘ軸に対するｙ軸方向の角度を偏光角υとする。偏光板４２は、偏光方向が１８０度の周期を有しており、１８０度回転させると元の偏光状態に戻る。また、最高輝度Ｉmaxが観測されたときの偏光角υを方位角φとする。このような定義を行うと、偏光板４２の偏光方向を仮に変化させると、観測される輝度Ｉは式（１）の偏光モデル式であらわすことができる。すなわち、被写体ＯＢの偏光状態を算出できる。なお、図３は、輝度と偏光角との関係を例示している。
Figure JPOXMLDOC01-appb-M000001
　偏光撮像部２０は、複数の画素を含む画素群毎にマイクロレンズを設け、画素群は偏光方向が異なる少なくとも３以上の偏光画素を有するように構成する。画素群に含まれる画素は、マイクロレンズを介して入射される光の光電変換を行うことで、被写体の偏光状態を精度よく算出できるようにする。
　図４は　偏光撮像部２０の画素構造の一部を例示している。偏光撮像部２０の画素は例えば２×２画素を１つの画素群として、１つの画素群を構成する画素２０１ａ乃至２０１ｄでは入射面に偏光子２０２ａ乃至２０２ｄが配置されている。偏光子２０２ａ乃至２０２ｄは、例えばワイヤグリッドなどが用いられている。各画素の偏光子は異なる偏光方向とされており、例えば画素２０１ａに設けられた偏光子２０２ａは０度の偏光光を透過する。また、画素２０１ｂの偏光子２０２ｂは１３５度の偏光光、画素２０１ｃの偏光子２０２ｃは４５度の偏光光、画素２０１ｄの偏光子２０２ｄは９０度の偏光光を透過する。すなわち、画素２０１ａは０度の偏光光に応じた観測値（画素値あるいは輝度値）を出力する偏光方向が０度の偏光画素であり、画素２０１ｂは１３５度の偏光光に応じた観測値を出力する偏光方向が１３５度の偏光画素である。また、画素２０１ｃは４５度の偏光光に応じた観測値を出力する偏光方向が４５度の偏光画素であり、画素２０１ｄは、９０度の偏光光に応じた観測値を出力する偏光方向が９０度の偏光画素である。
　このように偏光子を画素の入射面側に設けて、１つの画素群について４つの偏光方向の偏光画素を設ければ、偏光方向毎の観測値が得られるので、画素群毎に偏光状態を算出できる。また、同じ偏光方向の偏光画素の観測値を用いて他の偏光方向の偏光画素の位置の観測値を算出する補間処理を行えば、画素毎に偏光状態を算出できる。
　各画素群にはマイクロレンズ２０３が配置されており、マイクロレンズ２０３を通った光が画素群の各画素に入射される。なお、マイクロレンズ２０３は、複数の画素を含む画素群毎に設けられていればよく、画素群は２×２画素の二次元領域内の画素に限られない。また、図４では偏光子で透過される偏光光が０度，４５度，９０度，１３５度である場合を例示しているが、偏光状態の算出が可能な構成すなわち異なる３偏光方向（偏光方向に無偏光を含めても良い）であればどのような角度であってもよい。図５は、偏光撮像部の他の画素配置を示している。図５の（ａ），（ｂ）は、偏光方向が４５度または１３５度の角度差を有する２つの偏光画素と２つの無偏光画素で画素群を構成した場合を例示している。また、偏光撮像部２０はカラー偏光画像を取得してもよく、図５の（ｃ）は、赤色偏光画像と緑色偏光画像と青色偏光画像を取得する場合の画素配置を例示している。カラー偏光画像を取得する場合、隣接する画素群で透過する光の波長が異なるようにカラーフィルタを設ける。なお、図５の（ｃ）では、画素群を１つの色単位として色配列をベイヤー配列とした場合を例示している。
　図６は、偏光撮像部の動作を説明するための図である。図６の（ａ）はマイクロレンズのない従来の偏光撮像部の光路を示しており、図６の（ｂ）はマイクロレンズを用いた本技術の偏光撮像部の光路を示している。
　被写体ＯＢからの光はメインレンズ１５によって集光されて偏光撮像部２０に入射される。なお、図６は第１の偏光方向の偏光画素２０１ｅと第１の方向とは異なる第２の偏光方向の偏光画素２０１ｆを例示している。
　図６の（ａ）に示す従来の構成では、メインレンズ１５の焦点面が偏光撮像部２０の撮像面（センサ面）とされていることから、偏光画素２０１ｅに入射される光と偏光画素２０１ｆに入射される光は、被写体ＯＢの異なる位置を示している。したがって、偏光画素２０１ｅと偏光画素２０１ｆの観測値を用いた場合、精度よく被写体の偏光状態を算出することができない。
　図６の（ｂ）に示す本技術の構成では、画素群毎にマイクロレンズ２０３を設けて、マイクロレンズ２０３の位置はメインレンズ１５の焦点面の位置とする。この場合、被写体ＯＢにおける所望の位置からメインレンズ１５の上側を通過して集光された光は、マイクロレンズ２０３を介して偏光画素２０１ｆに入射する。また、被写体ＯＢにおける所望の位置からメインレンズ１５の下側を通過して集光された光は、マイクロレンズ２０３を介して偏光画素２０１ｅに入射する。すなわち、偏光撮像部２０では所謂ライトフィールドカメラと同様な動作が行われて、偏光画素２０１ｅと偏光画素２０１ｆの観測値は、被写体ＯＢにおける所望の位置の偏光状態を示す。したがって、偏光画素２０１ｅと偏光画素２０１ｆの観測値を用いて、従来よりも精度よく被写体の偏光状態を算出できるようになる。
　＜３．情報処理部の構成と動作＞
　次に、情報処理部の構成と動作について説明する。マイクロレンズを設けた画素群では、図６の（ｂ）に示すように、画素群内の画素に入射する光は、画素毎にメインレンズ１５の異なる部分を通過して集光した光である。図７は、２×２画素の画素群にマイクロレンズ２０３を設けた場合の各画素に入射される光の通過位置を示している。例えば画素２０１ａにはメインレンズ１５の右下の１／４の領域ＬＡ4を通過して集光された光が入射する。また、画素２０１ｂにはメインレンズ１５の左下の１／４の領域ＬＡ3を通過して集光された光、画素２０１ｃにはメインレンズ１５の右上の１／４の領域ＬＡ2を通過して集光された光、画素２０１ｄにはメインレンズ１５の左上の１／４の領域ＬＡ1を通過して集光された光がそれぞれ入射する。このように、画素に入射する光は、メインレンズの異なる領域を通過することから、光の経路の違いに応じた偏光状態の変化が加わる可能性がある。そこで、情報処理部３０は、メインレンズ１５で生じる偏光状態の変化を補正して、従来よりも精度よく被写体の偏光状態を算出する。
　＜３－１．情報処理部の第１の実施の形態＞
　情報処理部３０は、図１に示すように偏光状態算出部３１と補正パラメータ記憶部３２を有している。偏光状態算出部３１は、偏光撮像部２０で取得された複数の偏光方向の偏光画像に基づき、被写体の偏光状態を算出する。また、偏光状態算出部３１は、補正パラメータ記憶部３２に記憶されている補正パラメータを用いて、偏光画像に生じたレンズによる偏光状態の変化を補正して、被写体の偏光状態の算出を行う。
　偏光状態算出部３１、偏光状態の計算として偏光状態を示すストークスベクトルＳを算出する。ここで、偏光方向が０度である偏光画素の観測値をＩ0、偏光方向が４５度である偏光画素の観測値をＩ45、偏光方向が９０度である偏光画素の観測値をＩ90、偏光方向が１３５度である偏光画素の観測値をＩ135とすると、ストークスベクトルと観測値の関係は式（２）となる。
Figure JPOXMLDOC01-appb-M000002
　ストークスベクトルＳにおいて、成分ｓ0は無偏光の輝度もしくは平均輝度を示している。また、成分ｓ1は、偏光方向が０度と９０度である観測値の差、成分ｓ2は偏光方向が４５度と１３５度である観測値の差を示している。
　ところで、図６の（ｂ）に示したように，画素群の各画素に入射する光はメインレンズ１５の異なる部分を通過してきた光である。図７は、画素群の各画素に入射される光のメインレンズ通過位置を示している。例えば画素２０１ａにはメインレンズ１５の右下の１／４の領域ＬＡ4を通過してきた光が入射する。また、画素２０１ｂにはメインレンズ１５の左下の１／４の領域ＬＡ3を通過してきた光、画素２０１ｃにはメインレンズ１５の右上の１／４の領域ＬＡ2を通過してきた光、画素２０１ｄにはメインレンズ１５の左上の１／４の領域ＬＡ1を通過してきた光がそれぞれ入射する。このように、画素に入射する光は、メインレンズの異なる領域を通過することから、入射する光の経路の違いにより、それぞれ異なる偏光状態の変化が加わる可能性がある。そこで，偏光状態算出部３１は、補正パラメータ記憶部３２からマイクロレンズ毎に対応する補正パラメータを取得して、ストークスベクトルＳの計算では、取得した補正パラメータを用いる。式（３）は、偏光状態の計算式を示している。偏光状態算出部３１は、マイクロレンズ２０３が設けられた画素群の各画素の観測値Ｉ0，Ｉ45，Ｉ90，Ｉ135と、メインレンズ１５に応じてマイクロレンズ毎に予め設定されている補正パラメータＰを用いて、画素群の画素で示される被写体位置のストークスベクトルＳを算出する。なお、補正パラメータの詳細については後述する。
Figure JPOXMLDOC01-appb-M000003
　図８は、情報処理部の第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で情報処理部は偏光画像を取得する。情報処理部３０は、メインレンズ１５を用いて偏光撮像部２０で所望の被写体を撮像して得られる偏光画像を取得してステップＳＴ２に進む。
　ステップＳＴ２で情報処理部は補正パラメータを取得する。情報処理部３０の偏光状態算出部３１は、メインレンズ１５に応じたマイクロレンズ２０３毎の補正パラメータを補正パラメータ記憶部３２から取得してステップＳＴ３に進む。
　ステップＳＴ３で情報処理部は偏光状態を計算する。偏光状態算出部３１は、画素群の各画素の観測値と画素群のマイクロレンズに対応する補正パラメータを用いて式（３）の演算を行い、ストークスベクトルＳを算出する。
　このように、情報処理部の第１の実施の形態によれば、メインレンズで生じる偏光状態の変化を補正して、従来よりも精度よく被写体の偏光状態を算出できるようになる。
　＜３－２．補正パラメータの生成について＞
　次に、補正パラメータの生成について説明する。
　ストークスベクトルＳである直線偏光光を照明光として出射する偏光照明部を、メインレンズ１５を用いて偏光撮像部２０で撮像した場合、ストークスベクトルＳと偏光画像の各画素の観測値との関係は式（４）となる。
Figure JPOXMLDOC01-appb-M000004
　また、偏光画素で生成された観測値は、一般的にＩ0＋Ｉ90＝Ｉ45＋Ｉ135であるから、式（４）は式（５）とすることができる。また、式（５）の行列Ａの逆行列は式（６）となる。
Figure JPOXMLDOC01-appb-M000005
　式（６）における４列目を除いた式（７）に示す行列Ｂを用いると、ストークスベクトルＳである照明光を観測した場合の観測値は、式（８）に基づいて算出できる。
Figure JPOXMLDOC01-appb-M000006
　また、ストークスベクトルＳである照明光がレンズを通過する場合、レンズを通過した照明光をストークスベクトルＳ’＝［ｓ0，ｓ1，ｓ2］Ｔとすると、レンズ通過前のストークスベクトルＳとレンズ通過後のストークスベクトルＳ’＝［ｓ0 '，ｓ1 '，ｓ2 '］Ｔの関係は、式（９）の関係となる。なお、式（９）の行列Ｍはミュラー行列であり、照明光がレンズを通過したときの偏光状態の変化を示しており、式（９）は式（１０）として示すことができる。
Figure JPOXMLDOC01-appb-M000007
　したがって、ストークスベクトルＳである照明光を偏光撮像部２０で観測した場合の観測値は、式（１１）に基づいて算出できる。
Figure JPOXMLDOC01-appb-M000008
　ここで、２×２画素の画素群毎にマイクロレンズを設ける場合、各画素に入射する光はメインレンズ１５の異なる領域を通過することから、それぞれの画素に対して異なるミュラー行列が対応する。ここで、図７に示す左上のレンズ領域ＬＡ1に対応するミュラー行列をＭ１、右上のレンズ領域ＬＡ2に対応ミュラー行列をＭ２、左下のレンズ領域ＬＡ3に対応するミュラー行列をＭ３、右下のレンズ領域ＬＡ4に対応するミュラー行列をＭ４とする。この場合、ストークスベクトルＳの光がレンズの各部分を通った場合の各偏光方向の観測値Ｉn＝［Ｉ0 n,　Ｉ45 n,　Ｉ90 n,　Ｉ135 n］（ｎ＝１，２，３，４)は式（１２）で算出される。
Figure JPOXMLDOC01-appb-M000009
　しかし、上述したように画素２０１ａに入射する照明光はレンズの右下１／４の領域ＬＡ4を通過してきた光である。さらに、画素２０１ｂに入射する照明光はレンズの左下１／４の領域ＬＡ3を通過した光、画素２０１ｃに入射する照明光はレンズの右上１／４の領域ＬＡ2を通過した光、画素２０１ｄに入射する照明光は、レンズの左上１／４の領域ＬＡ1を通過した光である。したがって、実際の観測値は式（１３）となる。なお、式（１３）においてｍrc nはミュラー行列Ｍnのｒ行ｃ列の要素である。また、式（１３）の各行は独立であることから、行間で共通のｍrc nはあらわれない。
Figure JPOXMLDOC01-appb-M000010
　例えば画素２０１ａの観測値Ｉ0 4は式（１４）に基づき算出できる。また、ストークスベクトルＳの照明光に対して６組の観測値Ｉ0 4が得られれば、式（１４）におけるｍrc 4を算出できる。同様にして、要素ｍrc 1，ｍrc 2，ｍrc 3を算出すれば、観測値に基づきストークスベクトルＳを算出できる。すなわち、要素ｍrc 1，ｍrc 2，ｍrc 3，ｍrc 4を算出して補正パラメータＰとする
Figure JPOXMLDOC01-appb-M000011
　図９は、補正パラメータを生成するキャリブレーション装置の構成を例示している。キャリブレーション装置５０は、偏光画像を取得するために用いる上述のメインレンズ１５と偏光撮像部２０、偏光照明部５１、および補正パラメータ生成部５２を有している。偏光照明部５１は、偏光方向が明らかである直線偏光光を照明光としてメインレンズ１５の方向に出射する。偏光撮像部２０はメインレンズ１５を用いて偏光照明部５１を撮像して偏光画像を取得する。補正パラメータ生成部５２は、偏光照明部５１を制御して異なるストークスベクトルＳの照明光を切り替えて出力させる。また、補正パラメータ生成部５２は、偏光撮像部２０を制御して偏光照明部５１から出力される照明光を切り替える毎に偏光画像を取得させる。さらに、補正パラメータ生成部５２は、複数の異なるストークスベクトルＳの照明光毎に取得された偏光画像を用いて、マイクロレンズ毎に補正パラメータを生成する。
　具体的には、偏光照明部５１は、６種類のストークスベクトルＳの直線偏光光を切り替えて照明光として出射できる構成として、補正パラメータ生成部５２は、６種類のストークスベクトルＳの照明光毎に偏光撮像部２０で偏光画像を取得させる。補正パラメータ生成部５２は、６種類の異なるストークスベクトルＳの照明光の撮像画像の観測値と照明光のストークスベクトルＳに基づいて、上述のように要素ｍrc 1，ｍrc 2，ｍrc 3，ｍrc 4を算出して補正パラメータとする。
　ところで、図７に示す構成である場合、偏光光がレンズを通過したときに偏光状態が変わる要因は屈折のみである。屈折のミュラー行列Ｍは、式（１５）となる。
Figure JPOXMLDOC01-appb-M000012
　したがって、屈折のミュラー行列を用いることで、補正パラメータの算出が容易となる。すなわち、屈折のミュラー行列を用いることで上述の式（１１）は式（１６）となり、式（１２）は式（１７）となることから、補正パラメータの算出が容易である。
Figure JPOXMLDOC01-appb-M000013
　式（１７）におけるａn，ｂn，ｃn（ｎ＝１，２，３，４）はレンズの各部分に対応するミュラー行列の要素である。また、偏光特性は、上述の式（１）および図３から明らかなように１８０度の対象性を有しており、１８０度の対象性を有する光学系で生じる偏光状態の変化は同じである。このため、メインレンズの左上の領域ＬＡ1と右下の領域ＬＡ4に対応するミュラー行列は同じとなり、右上の領域ＬＡ2と左下の領域ＬＡ3に対応するミュラー行列は同じになる。つまり「（ａ1，ｂ1，ｃ1）＝（ａ4，ｂ4，ｃ4），（ａ2，ｂ2，ｃ2）＝（ａ3，ｂ3，ｃ3）」である。したがって、１つの偏光方向の偏光光で２つの式が得られるようになる。この場合、式（１７）の未知数は５つ（例えばａ1，ｂ1，ａ2，ｂ2，ｃ2）であることから、３種類のストークスベクトルＳである照明光の観測値が得られれば補正パラメータを生成できる。
　なお、式（１７）の行列の擬似逆行列を補正パラメータ記憶部３２に保持することで偏光状態算出部３１はストークスベクトルＳを計算できるが、行列を構成する５つの未知数のみ保持しておいて，実際の偏光状態の計算時に擬似逆行列を計算することも可能である。さらに、補正パラメータは、全てのマイクロレンズに対して保持する場合に限らず、一部のマイクロレンズに対して保持するようにしてもよい。この場合、対応する補正パラメータが記憶されていないマイクロレンズに関しては、周囲に位置するマイクロレンズの補正パラメータを用いた補間処理等によって、補正パラメータを算出してもよい。
　＜３－３．情報処理部の第２の実施の形態＞
　次に、情報処理部の第２の実施の形態について説明する。第２の実施の形態では、偏光撮像部２０で取得された偏光画像に基づきデプス情報を生成する。また、偏光画像に基づきデプス情報を生成する場合、偏光撮像部におけるマイクロレンズ毎の画素群では、同一の偏光特性を持つ画素の組を設ける。
　図１０は、同一の偏光特性を持つ画素の組を設けた画素配置を例示している。図１０の（ａ）は、同一の偏光特性を持つ画素の組が同じ行の無偏光画素ＰＮ01，ＰＮ02である場合を示している。図１０の（ｂ）は、画素群がｎ×ｎ画素（ｎは３以上の自然数）の二次元領域内の画素、例えば３×３画素の二次元領域内の画素とされており、同一の偏光特性を持つ画素の組が１画素離れた偏光方向の等しい同じ行の偏光画素ＰＰ01，ＰＰ02である場合を例示している。なお、同一の偏光特性を持つ画素の組は、画素群の中段の１画素離れている偏光画素の組に限らず、上段や下段の偏光画素の組であってもよい。また、同一の偏光特性を持つ画素の組は、同じ列の画素であってもよい。
　図１１は、情報処理部の第２の実施の形態の構成を示している。情報処理部３０は、偏光状態算出部３１と補正パラメータ記憶部３２とデプス情報生成部３３を有している。
　偏光状態算出部３１と補正パラメータ記憶部３２は第１の実施の形態と同様に構成されており、偏光状態算出部３１は、偏光撮像部２０で取得された複数の偏光方向の偏光画像に基づき、被写体の偏光状態を算出する。また、偏光状態算出部３１は、補正パラメータ記憶部３２に記憶されている補正パラメータを用いて、偏光画像に生じたレンズによる偏光状態の変化を補正して、被写体の偏光状態の算出を行う。
　デプス情報生成部３３は、偏光撮像部２０で取得された偏光画像から複数の視点画像を生成して、視点画像に基づき被写体までの距離を算出する。図１２は複数の視点画像の生成を説明するための図である。デプス情報生成部３３は、マイクロレンズが設けられている各画素群から同一の偏光特性を持つ画素の組の一方の画素を用いて第１画像を生成して、他方の画素を用いて第２画像を生成する。デプス情報生成部３３は、２×２画素の各画素群から同一の偏光特性を持つ画素の組の例えば一方の無偏光画素ＰＮ01を用いて第１画像Ｇ01を生成して、他方の無偏光画素ＰＮ02を用いて第２画像Ｇ02を生成する。無偏光画素ＰＮ01と無偏光画素ＰＮ02の入射光は、上述したようにメインレンズ１５の異なる領域を通過した光であり、無偏光画素ＰＮ01と無偏光画素ＰＮ02は視点が異なる画素である。すなわち、各画素群から同一の偏光特性を持つ画素の組の一方の画素を用いた第１画像と他方の画素を用いた第２画像は、ステレオカメラの２つの視点画像に相当する。したがって、ステレオカメラの２つの視点画像に相当する第１画像と第２画像を用いて、従来と同様にステレオマッチング処理を行い被写体までの距離（デプス）を算出して、算出した距離を示すデプス情報を出力する。
　図１３は、情報処理部の第２の実施の形態の動作を例示したフローチャートである。ステップＳＴ１１で情報処理部は偏光画像を取得する。情報処理部３０は、メインレンズ１５を用いて偏光撮像部２０で所望の被写体を撮像して得られる偏光画像を取得してステップＳＴ１２に進む。
　ステップＳＴ１２で情報処理部は補正パラメータを取得する。情報処理部３０の偏光状態算出部３１は、メインレンズ１５に応じたマイクロレンズ２０３毎の補正パラメータを補正パラメータ記憶部３２から取得してステップＳＴ１３に進む。
　ステップＳＴ１３で情報処理部は偏光状態を計算する。偏光状態算出部３１は、画素群の各画素の観測値と画素群のマイクロレンズに対応する補正パラメータを用いてストークスベクトルＳを算出してステップＳＴ１４に進む。
　ステップＳＴ１４で情報処理部は複数視点画像を生成する。情報処理部３０のデプス情報生成部３３は、マイクロレンズが設けられている各画素群から同一の偏光特性を持つ画素の組の一方の画素を用いて第１画像と他方の画素を用いて第２画像を、複数視点画像として生成してステップＳＴ１５に進む。
　ステップＳＴ１５で情報処理部はデプス情報を生成する。デプス情報生成部３３は、ステップＳＴ１４で生成した複数視点画像を用いてステレオマッチング処理等を行い被写体までの距離を算出して、算出した距離を示すデプス情報を生成する。
　なお、第２の実施の形態の動作は、ステップＳＴ１２の処理がステップＳＴ１３の処理前、ステップＳＴ１４の処理がステップＳＴ１５の処理前に行われていればよく、図１３に示す順序に限られない。
　このように、情報処理部の第２の実施の形態によれば、偏光画像に生じたレンズによる偏光状態の変化を補正して、従来よりも精度よく被写体の偏光状態を算出できるようになる。また、第２の実施の形態によれば、デプス情報を生成することができる。
　＜３－４．情報処理部の第３の実施の形態＞
　次に、情報処理部の第３の実施の形態について説明する。第３の実施の形態では、第２の実施の形態よりも精度の高いデプス情報を生成する。
　図１４は、情報処理部の第３の実施の形態の構成を示している。情報処理部３０は、偏光状態算出部３１、補正パラメータ記憶部３２、デプス情報生成部３３、および法線情報生成部３４と情報統合部３５を有している。
　偏光状態算出部３１と補正パラメータ記憶部３２は第１の実施の形態と同様に構成されており、偏光状態算出部３１は、偏光撮像部２０で取得された複数の偏光方向の偏光画像に基づき、被写体の偏光状態を算出する。また、偏光状態算出部３１は、補正パラメータ記憶部３２に記憶されている補正パラメータを用いて、偏光画像に生じたレンズによる偏光状態の変化を補正して、被写体の偏光状態の算出を行い、算出した偏光状態を法線情報生成部３４へ出力する。
　デプス情報生成部３３は、第１の実施の形態と同様に構成されており、偏光撮像部２０で取得された偏光画像から複数の視点画像を生成して、視点画像に基づき被写体までの距離の算出を行い、算出した距離を示すデプス情報を情報統合部３５へ出力する。
　法線情報生成部３４は、偏光状態算出部３１で算出された偏光状態に基づき被写体の法線を算出する。ここで、図２に示す偏光板４２の偏光方向を変化させて最低輝度Ｉminと最高輝度Ｉmaxが得られると、式（１８）に基づき偏光度ρを算出できる。また、偏光度ρは、式（１８）に示すように被写体ＯＢの相対屈折率ｎｒとｚ軸から法線に向かう角度である天頂角θを用いて算出できる。なお、この場合のｚ軸は、被写体ＯＢの観測対象点から撮像部４１に向かう光線方向を示す視線軸である。
Figure JPOXMLDOC01-appb-M000014
　偏光度と天頂角の関係は、例えば図１５に示す特性となり、この特性を利用して、偏光度ρに基づき天頂角θを算出できる。なお、図１５に示す特性は、式（１８）から明らかなように相対屈折率ｎｒに依存しており、相対屈折率ｎｒが大きくなるに伴い偏光度が大きくなる。
　したがって、法線情報生成部３４は、式（１８）を用いて算出した偏光度ρに基づき天頂角θを算出する。また、最高輝度Ｉmaxが観測されたときの偏光角υを方位角φとして、天頂角θと方位角φを示す法線情報を生成して情報統合部３５へ出力する。
　情報統合部３５は、デプス情報生成部３３で静止江されたデプス情報と法線情報生成部３４で生成された法線情報を統合して、デプス情報生成部３３で算出された距離よりも精度の高いデプス情報を生成する。
　情報統合部３５は、例えばデプス情報においてデプス値が取得できていない場合、法線情報で示された被写体の表面形状とデプス情報で示されたデプス値に基づき、デプス値が得られている画素を起点として被写体の表面形状を辿る。情報統合部３５は、表面形状を辿ることで、デプス値が得られていない画素に対応するデプス値を算出する。また、情報統合部３５は、推定したデプス値をデプス情報生成部３３で生成されたデプス情報に含めることで、デプス情報生成部３３で生成されたデプス情報以上の精度を有するデプス情報を生成して出力する。
　図１６は、情報統合処理を説明するための図である。なお、説明を簡単とするため、例えば１ラインについての統合処理について説明する。図１６の（ａ）に示すように、被写体ＯＢを撮像して、デプス情報生成部３３で図１６の（ｂ）に示すデプス値、法線情報生成部３４で図１６の（ｃ）に示す法線が算出されたとする。また、デプス情報では、例えば左端の画素に対するデプス値が「２（メートル）」であり、「×」で示す他の画素ではデプス値が格納されていないとする。情報統合部３５は、法線情報に基づき、被写体ＯＢの表面形状を推定する。ここで、左端から２番目の画素は、この画素の法線方向に基づき、左端の画素に対応する被写体面から偏光撮像部２０の方向に近づく傾斜面に相当していることが判別できる。したがって、情報統合部３５は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から２番目の画素のデプス値を推定して、例えば「１．５（メートル）」とする。また、情報統合部３５は、推定したデプス値をデプス情報に格納する。左端から３番目の画素は、この画素の法線方向に基づき偏光撮像部２０と対向する面に相当していることが判別できる。したがって、情報統合部３５は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から３番目の画素のデプス値を推定して、例えば「１（メートル）」とする。また、情報統合部３５は、推定したデプス値をデプス情報に格納する。左端から４番目の画素は、左端から３番目の画素に対応する被写体面から偏光撮像部２０から離れる方向の傾斜面に相当していることが判別できる。したがって、情報統合部３５は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から４番目の画素のデプス値を推定して、例えば「１．５（メートル）」とする。また、情報統合部３５は、推定したデプス値をデプスマップに格納する。同様に左端から５番目の画素のデプス値を推定して、例えば「２（メートル）」としてデプスマップに格納する。
　このように、情報統合部３５は、デプス情報と法線情報の統合処理を行い、デプス情報で示されたデプス値を起点として法線情報に基づき表面形状を辿ることで、デプス値を推定する。したがって、情報統合部３５は、デプス情報生成部３３で生成された図１６の（ｂ）に示すデプス情報で一部のデプス値が欠損していても、欠損しているデプス値を補うことが可能となる。したがって、図１６の（ｂ）に示すデプス情報以上の精度である図１６の（ｄ）に示すデプス情報を生成できる。
　図１７は、情報処理部の第３の実施の形態の動作を例示したフローチャートである。ステップＳＴ２１で情報処理部は偏光画像を取得する。情報処理部３０は、メインレンズ１５を用いて偏光撮像部２０で所望の被写体を撮像して得られる偏光画像を取得してステップＳＴ２２に進む。
　ステップＳＴ２２で情報処理部は補正パラメータを取得する。情報処理部３０の偏光状態算出部３１は、メインレンズ１５に応じたマイクロレンズ２０３毎の補正パラメータを補正パラメータ記憶部３２から取得してステップＳＴ２３に進む。
　ステップＳＴ２３で情報処理部は偏光状態を計算する。偏光状態算出部３１は、画素群の各画素の観測値と画素群のマイクロレンズに対応する補正パラメータを用いてストークスベクトルＳを算出してステップＳＴ２４に進む。
　ステップＳＴ２４で情報処理部は複数視点画像を生成する。情報処理部３０のデプス情報生成部３３は、マイクロレンズが設けられている各画素群から同一の偏光特性を持つ画素の組の一方の画素を用いて第１画像と他方の画素を用いて第２画像を、複数視点画像として生成してステップＳＴ２５に進む。
　ステップＳＴ２５で情報処理部はデプス情報を生成する。デプス情報生成部３３は、ステップＳ２４で生成した複数視点画像を用いてステレオマッチング処理等を行い被写体までの距離を算出して、算出した距離を示すデプス情報を生成してステップＳＴ２６に進む。
　ステップＳＴ２６で情報処理部は法線情報を生成する。情報処理部３０の法線情報生成部３４は、ステップＳＴ２３で算出された偏光状態から天頂角と方位角を算出して、算出した天頂角と方位角を示す法線情報を生成してステップＳＴ２７に進む。
　ステップＳＴ２７で情報処理部は情報統合処理を行う。情報処理部３０の情報統合部３５は、ステップＳＴ２５で生成されたデプス情報とステップＳＴ２６で生成された法線情報の統合処理を行い、ステップＳＴ２５で生成されたデプス情報よりも高い精度のデプス情報を生成する。
　なお、第３の実施の形態の動作は、ステップＳＴ２２の処理がステップＳＴ２３の処理前、ステップＳＴ２３の処理がステップＳＴ２６の処理前、ステップＳＴ２４の処理がステップＳＴ２５の処理前、ステップＳＴ２５，２６の処理がステップＳＴ２７の処理前に行われていればよく、図１７に示す順序に限られない。
　このように、情報処理部の第３の実施の形態によれば、メインレンズで生じる偏光状態の変化を補正して、従来よりも精度よく被写体の偏光状態を算出できるようになる。また、算出された被写体の偏光状態に基づき精度よく法線情報を生成できる。さらに、法線情報と偏光撮像部で取得された偏光画像に基づき生成されたデプス情報の統合処理によって、高い精度のデプス情報を生成できるようになる。
　＜３－５．情報処理部の他の実施の形態＞
　情報処理部の第２および第３の実施の形態ではデプス情報を生成したが、情報処理部では、デプス情報を生成することなく偏光状態の算出と法線情報の生成を行う構成であってもよい。
　また、情報処理部に画像処理部を設けて、画像処理部は偏光状態の算出結果を用いて、被写体画像の画像処理例えば反射成分の調整や除去等を行うようにしてもよい。上述したように、偏光状態算出部３１で算出されたストークスベクトルＳは、メインレンズで生じる偏光状態の変化を補正して、従来よりも精度よく被写体の偏光状態を示している。したがって、画像処理部は、偏光状態算出部３１で算出されたストークスベクトルＳと式（７）に示す行列Ｂを用いて式（８）の演算を行い、算出された偏光方向毎の観測値を用いて式（１）の偏光モデル式を求める。この偏光モデル式の振幅は鏡面反射成分を示しており、最小値は拡散反射成分を示すことから、偏光状態算出部３１で算出されたストークスベクトルＳに基づき、例えば鏡面反射成分の調整や除去等を精度よく行えるようになる。
　また、偏光撮像部２０と情報処理部３０は、個別に設ける場合に限らず、偏光撮像部２０と情報処理部３０を一体に構成して、偏光撮像部２０と情報処理部３０の一方に他方の構成を含めてもよい。
　＜４．応用例＞
　本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等の何れかの種類の移動体に搭載される装置として実現されてもよい。また、工場における生産工程で用いられる機器や建設分野で用いられる機器に搭載される装置として実現されてもよい。このような分野に適用すれば、偏光状態情報に生じたレンズによる偏光状態の変化を補正できるので、補正後の偏光状態情報に基づき精度よく法線情報の生成や反射成分の分離等を行うことができる。したがって、周辺環境を３次元で精度よく把握できるようになり、運転者や作業者の疲労を軽減できる。また、自動運転等をより安全に行うことが可能となる。
　本開示に係る技術は、医療分野へ適用することもできる。例えば、手術を行う際に術部の撮像画を利用する場合に適用すれば、術部の三次元形状や反射のない画像を精度よく得られるようになり、術者の疲労軽減や安全に且つより確実に手術を行うことが可能になる。
　また、本開示に係る技術は、パブリックサービス等の分野にも適用できる。例えば被写体の画像を書籍や雑誌等に掲載する際に、不要な反射成分等を被写体の画像から精度よく除去することが可能となる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、所謂パッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の固体撮像装置は以下のような構成も取ることができる。
　（１）　複数の画素を含む画素群毎にマイクロレンズを設け、
　前記画素群は偏光方向が異なる少なくとも３以上の偏光画素を有し、
　前記画素群に含まれる画素は、前記マイクロレンズを介して入射される光の光電変換を行う固体撮像装置。
　（２）　前記画素群は偏光方向が等しい２つの画素を有する（１）に記載の固体撮像装置。
　（３）　前記画素群は２×２画素の二次元領域内の画素であり、
　前記画素群は、偏光方向が特定角度である偏光画素と、偏光方向が前記特定角度と４５度の角度差を有する偏光画像と、２つの無偏光画素で構成した（２）に記載の固体撮像装置。
　（４）　前記画素群はｎ×ｎ画素（ｎは３以上の自然数）の二次元領域内の画素であり、
　１画素以上離れた偏光画素を等しい偏光方向とした（２）に記載の固体撮像装置。
　（５）　前記画素群毎にカラーフィルタを設け、
　隣接する画素群のカラーフィルタは透過する光の波長が異なる（１）乃至（４）の何れかに記載の固体撮像装置。　
　この技術の固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法において、固体撮像装置は、複数の画素を含む画素群毎にマイクロレンズを設け、画素群は偏光方向が異なる少なくとも３以上の偏光画素を有する構成として、画素群に含まれる画素は、マイクロレンズを介して入射される光の光電変換を行う。また、情報処理装置は、固体撮像装置とメインレンズを用いて取得された被写体の偏光画像と、メインレンズに応じて予めマイクロレンズ毎に設定されている補正パラメータを用いて、被写体の偏光状態を算出する。したがって、偏光状態を精度よく取得できるようになる。このため、周辺環境を３次元で把握する分野や反射成分の調整を行う分野等に適している。
　１０・・・システム
　１５・・・メインレンズ
　２０・・・偏光撮像部
　３０・・・情報処理部
　３１・・・偏光状態算出部
　３２・・・補正パラメータ記憶部
　３３・・・デプス情報生成部
　３４・・・法線情報生成部
　３５・・・情報統合部
　４１・・・撮像部
　４２・・・偏光板
　５０・・・キャリブレーション装置
　５１・・・偏光照明部
　５２・・・補正パラメータ生成部
　２０１ａ～２０１ｆ・・・画素
　２０２ａ～２０２ｄ・・・偏光子
　２０３・・・マイクロレンズ

Claims (13)

  1. 　複数の画素を含む画素群毎にマイクロレンズを設け、
    　前記画素群は偏光方向が異なる少なくとも３以上の偏光画素を有し、
    　前記画素群に含まれる画素は、前記マイクロレンズを介して入射される光の光電変換を行う固体撮像装置。
  2. 　前記画素群は偏光方向が等しい２つの画素を有する
    請求項１に記載の固体撮像装置。
  3. 　前記画素群は２×２画素の二次元領域内の画素であり、
    　前記画素群は、偏光方向が特定角度である偏光画素と、偏光方向が前記特定角度と４５度の角度差を有する偏光画像と、２つの無偏光画素で構成した
    請求項２に記載の固体撮像装置。
  4. 　前記画素群はｎ×ｎ画素（ｎは３以上の自然数）の二次元領域内の画素であり、
    　１画素以上離れた偏光画素を等しい偏光方向とした
    請求項２に記載の固体撮像装置。
  5. 　前記画素群毎にカラーフィルタを設け、
    　隣接する画素群のカラーフィルタは透過する光の波長が異なる
    請求項１に記載の固体撮像装置。
  6. 　偏光方向が異なる少なくとも３以上の偏光画素を有する画素群毎にマイクロレンズを設けた固体撮像装置とメインレンズを用いて取得された被写体の偏光画像と、前記メインレンズに応じて予めマイクロレンズ毎に設定されている補正パラメータを用いて、前記被写体の偏光状態を算出する偏光状態算出部
    を備える情報処理装置。
  7. 　前記偏光画像から多視点画像を生成して、前記多視点画像に基づき前記被写体までの距離を示すデプス情報を生成するデプス情報生成部をさらに備える
    請求項６に記載の情報処理装置
  8. 　前記偏光状態算出部で算出された前記被写体の偏光状態に基づき、前記被写体の法線を示す法線情報を生成する法線情報生成部と、
    　前記法線情報生成部で生成された法線情報に基づき前記デプス情報生成部で生成されたデプス情報より精度の高いデプス情報を生成する情報統合部とをさらに備える
    請求項７に記載の情報処理装置
  9. 　前記画素群は偏光方向が等しい２つの画素を有しており、
    　前記デプス情報生成部は、前記画素群毎の前記偏光方向が等しい一方の画素を用いて一方の視点画像を生成して、前記画素群毎の前記偏光方向が等しい他方の画素を用いて他方の視点画像を生成して、前記一方の視点画像と前記他方の視点画像に基づき前記被写体までの距離を示すデプス情報を生成する
    請求項７に記載の情報処理装置
  10. 　前記偏光状態算出部で算出された前記被写体の偏光状態に基づき、前記被写体の法線を示す法線情報を生成する法線情報生成部をさらに備える
    請求項７に記載の情報処理装置
  11. 　偏光方向が異なる少なくとも３以上の偏光画素を有する画素群毎にマイクロレンズを設けた固体撮像装置とメインレンズを用いて取得された被写体の偏光画像と、前記メインレンズに応じて予めマイクロレンズ毎に設定されている補正パラメータを用いて、前記被写体の偏光状態を偏光状態算出部で算出すること
    を含む情報処理方法。
  12. 　偏光方向が異なる少なくとも３以上の偏光画素を有する画素群毎にマイクロレンズを設けた固体撮像装置とメインレンズを用いて、偏光状態が明らかな光源を撮像して得られた偏光画像に基づいて算出された前記光源の偏光状態を、明らかとされている前記光源の偏光状態に補正する補正パラメータを補正パラメータ生成部で生成すること
    を含むキャリブレーション方法。
  13. 　前記光源の偏光状態の切り替え制御と前記固体撮像装置の撮像制御を前記補正パラメータ生成部で行い、複数の前記偏光状態毎の偏光画像を前記固体撮像装置で取得させて、該取得された偏光画像に基づいて前記補正パラメータを生成することを含む
    請求項１２に記載のキャリブレーション方法。
PCT/JP2019/005778 2018-05-18 2019-02-18 固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法 WO2019220722A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/055,790 US20210235060A1 (en) 2018-05-18 2019-02-18 Solid-state imaging device, information processing device, information processing method, and calibration method
JP2020518985A JPWO2019220722A1 (ja) 2018-05-18 2019-02-18 固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法
CN201980031730.9A CN112106350A (zh) 2018-05-18 2019-02-18 固态成像装置、用于信息处理的装置和方法以及校准方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-096043 2018-05-18
JP2018096043 2018-05-18

Publications (1)

Publication Number Publication Date
WO2019220722A1 true WO2019220722A1 (ja) 2019-11-21

Family

ID=68539984

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/005778 WO2019220722A1 (ja) 2018-05-18 2019-02-18 固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法

Country Status (4)

Country Link
US (1) US20210235060A1 (ja)
JP (1) JPWO2019220722A1 (ja)
CN (1) CN112106350A (ja)
WO (1) WO2019220722A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112672008A (zh) * 2020-12-14 2021-04-16 杭州联吉技术有限公司 一种镜片的调整方法及装置
CN115855064A (zh) * 2023-02-15 2023-03-28 成都理工大学工程技术学院 一种基于imu多传感器融合的室内行人定位融合方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3805717B1 (en) * 2018-06-05 2023-05-17 Sony Group Corporation Information generation device, information generation method, and program
WO2020250774A1 (ja) * 2019-06-11 2020-12-17 富士フイルム株式会社 撮像装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009055624A (ja) * 2007-05-31 2009-03-12 Panasonic Corp カラー偏光撮像装置および画像処理装置
JP2013038503A (ja) * 2011-08-04 2013-02-21 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2015114307A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
JP2016010063A (ja) * 2014-06-25 2016-01-18 キヤノン株式会社 撮像装置
WO2018037678A1 (ja) * 2016-08-24 2018-03-01 ソニー株式会社 画像処理装置および情報生成装置と情報生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7582857B2 (en) * 2006-04-18 2009-09-01 The Trustees Of The University Of Pennsylvania Sensor and polarimetric filters for real-time extraction of polarimetric information at the focal plane
US9464938B2 (en) * 2014-02-06 2016-10-11 The Boeing Company Systems and methods for measuring polarization of light in images
JP2016127333A (ja) * 2014-12-26 2016-07-11 株式会社リコー 撮像素子および撮像装置および撮像情報認識システム
US9741163B2 (en) * 2015-12-22 2017-08-22 Raytheon Company 3-D polarimetric imaging using a microfacet scattering model to compensate for structured scene reflections
WO2018194920A1 (en) * 2017-04-19 2018-10-25 Arizona Board Of Regents On Behalf Of The University Of Arizona Polarization sensitive devices, methods and applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009055624A (ja) * 2007-05-31 2009-03-12 Panasonic Corp カラー偏光撮像装置および画像処理装置
JP2013038503A (ja) * 2011-08-04 2013-02-21 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2015114307A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
JP2016010063A (ja) * 2014-06-25 2016-01-18 キヤノン株式会社 撮像装置
WO2018037678A1 (ja) * 2016-08-24 2018-03-01 ソニー株式会社 画像処理装置および情報生成装置と情報生成方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112672008A (zh) * 2020-12-14 2021-04-16 杭州联吉技术有限公司 一种镜片的调整方法及装置
CN115855064A (zh) * 2023-02-15 2023-03-28 成都理工大学工程技术学院 一种基于imu多传感器融合的室内行人定位融合方法
CN115855064B (zh) * 2023-02-15 2023-05-30 成都理工大学工程技术学院 一种基于imu多传感器融合的室内行人定位融合方法

Also Published As

Publication number Publication date
CN112106350A (zh) 2020-12-18
JPWO2019220722A1 (ja) 2021-07-01
US20210235060A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
WO2019220722A1 (ja) 固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法
JP5515396B2 (ja) 撮像装置
JP5804055B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN107077722B (zh) 图像记录设备及用于记录图像的方法
TW201904266A (zh) 用於成像局部視場的裝置、多孔徑成像裝置及其提供方法
CN115516283A (zh) 偏振成像摄像头
CN111213361B (zh) 信息处理装置、信息处理方法、程序以及可互换透镜
CN113557709A (zh) 成像装置、图像处理装置和图像处理方法
WO2019065260A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
JP5979134B2 (ja) 画像処理装置および画像処理プログラム
JP5850648B2 (ja) 撮像装置
JP6329557B2 (ja) 撮像装置及び電子機器
JP2016111678A (ja) 撮像素子、撮像装置、焦点検出装置ならびに画像処理装置およびその制御方法
JP2020021126A (ja) 画像処理装置およびその制御方法、距離検出装置、撮像装置、プログラム
JP6254843B2 (ja) 画像処理装置およびその制御方法
JP2013120435A (ja) 画像処理装置および画像処理方法、プログラム
EP3958056A1 (en) Interchangeable lens, information processing device, information processing method, and program
JP2015031754A (ja) 撮像装置及びその制御方法、情報処理装置及びその制御方法、及び、システム
US9307133B1 (en) System and method of imaging for increasing image resolution
JP2015121778A (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
WO2022107530A1 (ja) 信号処理装置と信号処理方法およびプログラム
JP2013090265A (ja) 画像処理装置および画像処理プログラム
WO2019138925A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
JP2019219594A (ja) 処理装置、撮像装置、交換レンズ、処理方法およびプログラム
CN113271395A (zh) 采用互补性Pixlet结构的摄像系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19803341

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020518985

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19803341

Country of ref document: EP

Kind code of ref document: A1