WO2019198287A1 - 情報処理装置と情報処理方法とプログラムおよびキャリブレーション装置 - Google Patents

情報処理装置と情報処理方法とプログラムおよびキャリブレーション装置 Download PDF

Info

Publication number
WO2019198287A1
WO2019198287A1 PCT/JP2019/000860 JP2019000860W WO2019198287A1 WO 2019198287 A1 WO2019198287 A1 WO 2019198287A1 JP 2019000860 W JP2019000860 W JP 2019000860W WO 2019198287 A1 WO2019198287 A1 WO 2019198287A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarization
polarization state
lens
parameter
change
Prior art date
Application number
PCT/JP2019/000860
Other languages
English (en)
French (fr)
Inventor
穎 陸
康孝 平澤
雄飛 近藤
沱 庄
楽公 孫
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/044,533 priority Critical patent/US11637967B2/en
Publication of WO2019198287A1 publication Critical patent/WO2019198287A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J4/00—Measuring polarisation of light
    • G01J4/04—Polarimeters using electric detection means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Definitions

  • This technology relates to an information processing device, an information processing method, a program, and a calibration device, and corrects a change in polarization state caused by a lens.
  • normal information of a subject is generated from polarized images in a plurality of polarization directions, reflection components are separated, and the like.
  • normal information is generated by fitting polarization images of a plurality of polarization directions to a model equation.
  • separation and extraction of reflection components are performed, and normal line information is generated with high accuracy using a polarization image of the reflection components.
  • the polarization state of light changes due to reflection and refraction.
  • a light beam passes through the lens of the polarization imaging unit and enters the image sensor
  • refraction occurs when the light beam enters the lens from the air and when it exits the air from the lens and enters the image sensor.
  • the light is light that has undergone a change in polarization state by the lens.
  • the polarization state shown in the polarization image is different from the polarization state of the light from the subject, and normal line information generation, reflection component separation, and the like cannot be performed with high accuracy.
  • the first aspect of this technology is Polarization state information acquired by imaging in advance a light source of a predetermined polarization state using the lens, which is generated in the polarization state information based on a polarization image acquired by imaging using a lens. And a polarization state correction unit that corrects using a parameter relating to a change in polarization state by the lens estimated from the polarization state information indicating the polarization state of the light source.
  • a change parameter indicating a change in the polarization state by the lens used when acquiring a polarization image including at least three polarization components or a correction parameter for correcting the change in the polarization state is generated in advance for each pixel.
  • the polarization state information is a Stokes vector obtained from pixel values having different polarization directions, for example, and the parameter is a matrix component value indicating the amount of change in the polarization state information.
  • the polarization state information is, for example, pixel values having different polarization directions, and the parameters are obtained from a matrix indicating a relationship between pixel values having different polarization directions, and pixel values having different polarization directions and pixel values having different polarization directions. It may be a component value of a matrix calculated using a matrix indicating the relationship with the Stokes vector and a matrix indicating the amount of change in the polarization state information when the polarization state information indicates the Stokes vector.
  • the polarization state information may be a degree of polarization, an azimuth angle, and an average luminance, and the parameter may be a component value of a matrix indicating a change amount of the polarization state information.
  • a polarization pre-processing unit that performs defect correction or sensitivity correction of the polarization image acquired by the polarization imaging unit and can generate polarization state information from the corrected polarization image may be further provided.
  • the second aspect of this technology is Acquiring polarization state information based on a polarization image acquired by imaging using a lens in a polarization state correction unit; Using a parameter relating to a change in polarization state by the lens estimated from polarization state information acquired by imaging a light source of a predetermined polarization state using the lens in advance and polarization state information indicating the polarization state of the light source, In the information processing method, the polarization state correction unit corrects a change in polarization state caused by the lens, which occurs in polarization state information based on a polarization image.
  • the third aspect of this technology is A program for causing a computer to execute processing of polarization state information, A procedure for acquiring polarization state information based on a polarization image acquired by imaging using a lens in a polarization state correction unit; Using a parameter relating to a change in polarization state by the lens estimated from polarization state information acquired by imaging a light source of a predetermined polarization state using the lens in advance and polarization state information indicating the polarization state of the light source, A program for causing a computer to execute a procedure for correcting a change in polarization state by the lens that has occurred in polarization state information based on a polarization image.
  • the program of the present technology is, for example, a storage medium or a communication medium provided in a computer-readable format to a general-purpose computer that can execute various program codes, such as an optical disk, a magnetic disk, or a semiconductor memory. It is a program that can be provided by a medium or a communication medium such as a network. By providing such a program in a computer-readable format, processing corresponding to the program is realized on the computer.
  • the fourth aspect of this technology is A light source that emits light of a predetermined polarization state;
  • the polarization state by the lens based on the polarization state information based on the polarization image indicating the light exit surface of the light source acquired by imaging using the lens and the polarization state information indicating the polarization state of the light emitted from the light source
  • a calibration device including a parameter generation unit that generates a parameter related to the change of the parameter.
  • the polarization state of light emitted from the light source can be changed, and the parameter generation unit indicates polarization state information based on a polarization image including a plurality of polarization components and the polarization state of light emitted from the light source. From the polarization state information, a parameter relating to a change in the polarization state of the polarization state by the lens for each polarization component is generated.
  • the light source may set the polarization direction of the emitted light to a direction other than the XY linear polarization direction, for example, a 45 degree linear polarization direction having an angle difference of 45 ° with respect to the XY linear polarization direction.
  • the polarization state information may be generated on the basis of the corrected polarization image by performing defect correction or sensitivity correction of the polarization image acquired by imaging using a lens.
  • the light source in the predetermined polarization state is imaged in advance using the lens.
  • the change in the polarization state can be corrected using the parameter relating to the change in the polarization state by the lens estimated from the polarization state information acquired in this way and the polarization state information indicating the polarization state of the light source.
  • a polarizer with a polarization direction of a polarizer for example, a linear polarizer, for example, 0 °, 45 °, 90 °, 135 °
  • the polarization state of one pixel is 0 °. indicated by a pixel value I 0, the pixel value I 45 when the polarization direction is 45 °, the pixel value I 90 when the polarization direction is 90 °, the pixel value I 135 when the polarization direction is 135 ° when be able to.
  • the circular polarizer as a polarizer, it may be represented by the pixel values I l when the pixel value I r and the left-polarized light for a right polarization.
  • the polarization state can also be indicated by a four-dimensional vector [s 0 s 1 s 2 s 3 ] T called a Stokes vector. Note that the relationship between the Stokes vector and the pixel value is expressed by Equation (1).
  • the component s 0 represents non-polarized luminance or average luminance.
  • the component s 1 indicates the difference in intensity between the polarization directions of 0 ° and 90 °
  • the component s 2 indicates the difference in intensity between the polarization directions of 45 ° and 135 °
  • the component s 3 indicates the degree of polarization of the circularly polarized light.
  • the polarization state of non-polarized light is expressed as a Stokes vector [(I 0 + I 45 + I 90 + I 135 ) / 2 0 0 0] T.
  • the polarization state of light with a polarization direction of 0 ° is the Stokes vector [I 0 I 0 0 0] T
  • the polarization state of light with a polarization direction of 45 ° is the Stokes vector [I 45 0 I 45 0] T
  • the right circular polarization is represented as a Stokes vector [I r 0 0 I r ] T.
  • the azimuth angle ⁇ can be calculated based on the degree of polarization p based on the equation (2) and the equation (3).
  • FIG. 1 is a diagram for explaining a change in polarization state in the vicinity of a boundary surface between two media having different refractive indexes. A part of the light incident on the boundary surface is specularly reflected, and the other part enters the other medium and is refracted. Further, the polarization state of light changes every time specular reflection or refraction occurs.
  • Equation (5) the relationship between the polarization state Si of the incident light and the polarization state Sr of the specular reflection light
  • Equation (6) the relationship between the polarization state St and the polarization state St.
  • both the specular reflection Mueller matrix M r and the refraction Mueller matrix M t involve only the incident angle and the refraction angle of light.
  • the specular reflection Mueller matrix and the refractive Mueller matrix are related to the incident angle and the refractive index of the two media at the boundary surface.
  • Equation (7) shows the relationship between the refraction angle ⁇ t, the incident angle ⁇ i, and the refractive indices ⁇ i and ⁇ t of the two media of the boundary surface.
  • the polarization state S1 in a certain direction from the subject RLa enters the position B1 of the lens 21 from the air and is refracted to change into the polarization state S1 ′′.
  • the light in the polarization state S1 ′′ passes through the lens 21, exits from the position B2 into the air, is refracted, changes to the polarization state S1 ′, and is observed by the image sensor 22 of the polarization imaging unit 20.
  • the polarization state causes a change shown in Expression (8) and a change shown in Expression (9).
  • the matrix M B1 in equation (8) is a Mueller matrix of refraction generated at the lens position B1
  • the matrix M B2 in equation (9) is a Mueller matrix of refraction generated at the lens position B2.
  • the matrix M1 M B1 ⁇ M B2 is a Mueller matrix that represents the amount of change in the polarization state by the lens 21 on the optical path.
  • FIG. 3 exemplifies light of a plurality of optical paths that enter the pixel of the image sensor from the subject.
  • 3A illustrates light of a plurality of optical paths that is incident on the pixel IPa of the image sensor 22 from the subject RLa on the optical axis of the lens 21, and
  • FIG. 1 illustrates light of the several optical path which injects into the pixel IPb of the image sensor 22 from the to-be-photographed object RLb in the position away from the optical axis of this.
  • the polarization state S ′ of the light incident on the pixel can be expressed by Expression (11).
  • equation (11) becomes equation (12) Become.
  • the matrix M is a Mueller matrix that indicates the amount of change in the polarization state due to transmission through the lens 21 when light from the subject is observed by the pixels of the image sensor.
  • the polarization state S ′ of the observed light and the inverse matrix M ⁇ 1 of the Mueller matrix M are used, Based on Expression (13), the polarization state S of the light from the subject can be obtained.
  • each component value of the Mueller matrix M indicating the amount of change in the polarization state due to transmission through the lens 21 or each inverse matrix M ⁇ 1 of the Mueller matrix M indicating the amount of change in the polarization state due to transmission through the lens 21 is estimated by a calibration device described later and stored in advance in the information processing device. Further, the information processing apparatus obtains the polarization state S of light from the subject from the stored parameters and the observed polarization state S ′ of light. Further, the information processing apparatus may perform normal calculation and reflection component adjustment processing based on the obtained polarization state S.
  • FIG. 4 illustrates a configuration of an imaging system using the information processing apparatus of the present technology.
  • the imaging system 10 includes a polarization imaging unit 20 and an information processing unit 30.
  • the information processing unit 30 includes a polarization preprocessing unit 31, a parameter storage unit 32, a polarization state correction unit 33, and a polarization postprocessing unit 34.
  • the polarization preprocessing unit 31 may be provided in the polarization imaging unit 20, and the polarization postprocessing unit 34 may be provided separately from the information processing unit 30.
  • the polarization imaging unit 20 and the information processing unit 30 are not limited to being configured separately, and one of the polarization imaging unit 20 and the information processing unit 30 may include the other.
  • the polarization imaging unit 20 acquires a plurality of polarization images having different polarization directions, for example, a polarization image including at least three polarization components (which may include non-polarization in the polarization direction).
  • FIG. 5 illustrates a configuration when a polarization image is generated by the polarization imaging unit.
  • the polarization imaging unit 20 arranges a polarization filter 23 having a pixel configuration of a plurality of polarization directions in the image sensor 22 and performs imaging through the lens 21. Generate.
  • FIG. 5 illustrates a configuration when a polarization image is generated by the polarization imaging unit.
  • the polarization imaging unit 20 arranges a polarization filter 23 having a pixel configuration of a plurality of polarization directions in the image sensor 22 and performs imaging through the lens 21. Generate.
  • FIG. 5 illustrates a configuration when a polarization image is generated by the polarization imaging unit.
  • the polarization imaging unit 20 arranges a
  • FIG. 5A illustrates a case where the polarization filter 23 serving as one of four different polarization directions (the polarization directions are indicated by arrows) of each pixel is arranged on the front surface of the image sensor 22. ing. Further, as illustrated in FIG. 5B, a configuration in which a polarizing plate 24 is provided in front of the polarization imaging unit 20 may be employed. In this case, the polarizing plate 24 is rotated to capture images in a plurality of different polarization directions, and a plurality of polarization images having different polarization directions are acquired.
  • the polarization imaging unit 20 can acquire a luminance polarization image.
  • an image equivalent to a non-polarized normal luminance image can be obtained by averaging the luminances of four adjacent pixels in different directions of polarization.
  • an image equivalent to a normal luminance image that is non-polarized can be acquired by averaging the luminances of luminance-polarized images having different polarization directions for each pixel.
  • the polarization imaging unit 20 may generate not only the luminance polarization image but also the three primary color polarization images at the same time by providing the image sensor 22 with a color filter, and may simultaneously generate the infrared image and the like.
  • the polarization imaging unit 20 may generate a luminance polarization image by calculating luminance from the polarization images of the three primary colors.
  • the polarization preprocessing unit 31 of the information processing unit 30 performs processing such as pixel defect correction processing and demosaic processing. Pixel defect correction processing and demosaicing processing may be performed using, for example, a method disclosed in International Publication No. 2017/081925.
  • the polarization preprocessing unit 31 may perform pixel sensitivity correction processing.
  • sensitivity correction for example, the polarization imaging unit 20 is irradiated with measurement light having a uniform intensity to perform imaging, and variation correction information for correcting sensitivity variation due to a difference in polarization direction generated in the obtained polarization image is generated in advance. Also, using this variation correction information, sensitivity variations caused by differences in polarization direction are corrected.
  • the polarization preprocessing unit 31 generates polarization state information based on the processed polarization image.
  • the polarization state information indicates a luminance value in a different polarization direction, a Stokes vector, or a polarization state such as a polarization degree, an azimuth angle, and an average luminance for each pixel.
  • the polarization preprocessing unit 31 outputs the generated polarization state information to the polarization state correction unit 33.
  • a change parameter indicating a change in the polarization state caused by the lens 21 or a correction parameter for correcting the change in the polarization state is generated and stored in advance by a calibration device described later.
  • the parameter storage unit 32 outputs the stored parameters for each pixel to the polarization state correction unit 33.
  • the polarization state correction unit 33 uses the parameters stored in the parameter storage unit 32 to correct the change in the polarization state caused by the lens 21 generated in the polarization state information for each pixel supplied from the polarization preprocessing unit 31.
  • the polarization state correction unit 33 outputs the corrected polarization state information to the polarization post-processing unit 34.
  • the polarization post-processing unit 34 generates normal information and separates reflection components based on the corrected polarization state information.
  • the normal line information may be generated using, for example, a method disclosed in International Publication No. 2016/136086.
  • the reflection component may be decomposed using a method disclosed in, for example, International Publication No. 2016/136085.
  • FIG. 6 is a flowchart illustrating the operation of the information processing unit.
  • step ST1 the information processing unit acquires a polarization image.
  • the information processing unit 30 acquires a polarization image obtained by imaging the subject with the polarization imaging unit 20, and proceeds to step ST2.
  • step ST2 the information processing unit preprocesses the polarization image.
  • the polarization preprocessing unit 31 of the information processing unit 30 performs, for example, pixel defect correction processing, sensitivity correction processing, demosaic processing, and the like as preprocessing of the polarization image, and proceeds to step ST3.
  • step ST3 the information processing unit generates polarization state information.
  • the polarization preprocessing unit 31 or the polarization state correction unit 33 of the information processing unit 30 generates polarization state information of each pixel based on the pre-processed polarization image.
  • the polarization state information is, for example, luminance values in different polarization directions, Stokes vectors, or information such as polarization degree, azimuth angle, and average luminance.
  • the information processing unit 30 generates polarization state information and proceeds to step ST4.
  • step ST4 the information processing unit acquires parameters.
  • the polarization state correction unit 33 of the information processing unit 30 is a parameter corresponding to the pixel position to be corrected from the parameter storage unit 32, for example, a state change parameter indicating a change in polarization state occurring at the pixel position to be corrected, A correction parameter for correcting the change in the polarization state generated at the position is acquired, and the process proceeds to step ST5.
  • step ST5 the information processing unit corrects the change in the polarization state.
  • the polarization state correction unit 33 of the information processing unit 30 corrects the change in the polarization state in the polarization state information using the parameter acquired from the parameter storage unit 32, and proceeds to step ST6.
  • step ST6 the information processing unit performs post-polarization processing.
  • the polarization post-processing unit 34 of the information processing unit 30 performs polarization post-processing such as normal calculation processing or reflection removal processing based on the polarization state information in which the change in polarization state is corrected.
  • the information processing unit 30 performs the processing from step ST3 to step ST6 on all the pixels in the polarization image or all the pixels in the range specified in advance. In addition, the information processing unit 30 performs the processing from step ST1 to step ST6 for each frame.
  • the polarization state correction unit 33 calculates an inverse matrix of the change parameter and sets it as a correction parameter.
  • the polarization state correction unit 33 performs a polarization state change correction process using the correction parameter.
  • the polarization state correction unit 33 performs the polarization state change correction process on the Stokes vector. Further, when the polarization state information is a luminance value of each pixel in a different polarization direction, the polarization state change correction process may be performed on the luminance value of a different polarization direction. Furthermore, when the polarization state information is indicated by the degree of polarization, the azimuth angle, and the average luminance of each pixel, the degree of polarization, the azimuth angle, and the average luminance of each pixel may be corrected. When the polarization state information is a luminance value in a different polarization direction, or a polarization degree, an azimuth angle, and an average luminance, only linearly polarized light is considered without including circularly polarized light.
  • the polarization state correction unit calculates the Stokes vector in which the change of the polarization state by the lens 21 is corrected by performing the calculation of the above-described equation (13).
  • polarization state information is pixel values of different polarization directions of each pixel
  • I 90 , I 135 and the Stokes vector [s 0 s 1 s 2 s 3 ] T can be expressed by equation (14).
  • Expression (14) becomes Expression (15). Therefore, Expression (13) becomes Expression (16) by using Expression (15), and the pixel value in which the change in the polarization state by the lens 21 is corrected based on Expression (17) obtained by modifying Expression (16). Can be obtained for each polarization direction.
  • the degree of polarization p of light from the subject can be calculated based on Expression (21). Further, the azimuth angle ⁇ of the light from the subject can be calculated based on Expression (22), and the average luminance s 0 can be calculated based on Expression (23).
  • the information processing unit corrects the change in the polarization state caused by the lens that has occurred in the polarization state information. Therefore, if the post-polarization processing is performed using the corrected polarization state information, the normal calculation processing and the reflection component removal processing are performed as compared with the case where the polarization state information in which the change in the polarization state by the lens is not corrected is used. Etc. can be performed with high accuracy.
  • FIG. 7 illustrates the configuration of the calibration apparatus.
  • the calibration device 50 includes a polarization preprocessing unit 51, a parameter generation unit 52, a parameter recording unit 53, and a light source 60 that emits light from a planar light emission surface.
  • a polarization image obtained by imaging the light source 60 by the polarization imaging unit 20 is output to the polarization preprocessing unit 51.
  • the polarization preprocessing unit 51 is configured in the same manner as the polarization preprocessing unit 31 of the information processing unit 30, and performs pixel defect correction processing, sensitivity correction processing, demosaicing on the polarization image acquired by the polarization imaging unit 20. Perform processing.
  • the polarization pre-processing unit 51 or the parameter generation unit 52 performs polarization state information on each pixel, for example, a luminance value for each different polarization direction, or a Stokes vector, or a polarization degree and an azimuth angle. And polarization state information representing the polarization state such as average luminance.
  • the parameter generation unit 52 converts the polarization state information indicating the polarization state of the light output from the light source 60 and the polarization state information generated based on the polarization image acquired by the polarization imaging unit 20 and subjected to the polarization preprocessing. Based on this, a change in polarization state by the lens 21 of the polarization imaging unit 20 is estimated to generate a parameter. For example, the parameter generation unit 52 generates a change parameter indicating a change in the polarization state by the lens 21 or a correction parameter for correcting a change in the polarization state by the lens 21, and records the generated parameter in the parameter recording unit 53. .
  • the parameter recording unit 53 stores the parameter generated by the parameter generation unit 52.
  • the parameters recorded in the parameter recording unit 53 are stored in advance in the parameter storage unit 32 of the information processing unit 30 and used for correcting the change in the polarization state by the lens 21 that has occurred in the polarization state information as described above. It is done.
  • the light source 60 is configured to emit light from a planar light emitting surface and to switch the polarization state of the emitted light. Further, the light source 60 outputs light source polarization information indicating the polarization direction and the like of the emitted light to the parameter generation unit 52.
  • FIG. 8 is a flowchart illustrating the operation of the calibration apparatus.
  • step ST11 the calibration apparatus sets the polarization direction of the light source.
  • the light source 60 of the calibration device 50 sets the polarization state of the emitted light to a predetermined polarization direction, for example, 45 ° or 135 °, generates polarization state information corresponding to the set polarization direction, and generates the parameter generation unit 52.
  • a predetermined polarization direction for example, 45 ° or 135 °
  • the calibration device acquires a polarization image of the light source.
  • the polarization imaging unit 20 captures the light source 60, acquires a polarization image in a plurality of polarization directions, and proceeds to step ST13.
  • a polarization image having components in a plurality of polarization directions can be acquired by one imaging.
  • the polarizing plate 24 is rotated to perform imaging a plurality of times, and a polarization image for each polarization direction is acquired.
  • the polarization imaging unit 20 acquires a polarization image in a plurality of polarization directions, and proceeds to step ST13.
  • step ST13 the calibration device performs preprocessing of the polarization image.
  • the polarization preprocessing unit 51 of the calibration device 50 performs, for example, pixel defect correction processing, sensitivity correction processing, demosaicing processing, etc. as preprocessing of the polarization image, and proceeds to step ST14.
  • step ST14 the calibration device generates polarization state information.
  • the polarization preprocessing unit 51 or the parameter generation unit 52 of the calibration device 50 generates polarization state information of each pixel based on the pre-processed polarization image.
  • the polarization state information is, for example, luminance values in different polarization directions, Stokes vectors, or information such as polarization degree, azimuth angle, and average luminance.
  • the calibration device 50 generates polarization state information and proceeds to step ST15.
  • step ST15 the calibration apparatus estimates parameters.
  • the parameter generation unit 52 of the calibration device 50 estimates a parameter related to the polarization state of the lens 21 based on the polarization state information generated in step ST14 and the polarization state information supplied from the light source 60. For example, the parameter generation unit 52 estimates a change parameter indicating a change in polarization state or a correction parameter for correcting a change in polarization state by the lens 21 as a parameter, and proceeds to step ST16.
  • step ST16 the calibration apparatus records the estimated parameters.
  • the parameter generation unit 52 of the calibration device 50 records the parameter estimated in step ST15 in the parameter recording unit 53.
  • the parameter recording unit 53 stores the recorded parameters in the parameter storage unit 32 of the information processing unit 30.
  • the polarization direction of the light source 60 is an angle in a certain global coordinate system (X, Y, Z).
  • the definition of the global coordinate system may be arbitrary, but for example, a coordinate system in which a certain direction is set to 0 ° and the angle is increased in the clockwise direction in the positive direction.
  • FIG. 9 shows the arrangement of the light source and the polarization imaging unit.
  • the light source 60 has, for example, an X-axis direction of 0 ° polarization direction and a Y-axis direction of 90 ° polarization direction.
  • the vertical direction with respect to the light exit surface of the light source 60 is defined as the Z-axis direction.
  • the optical axis direction of the polarization imaging unit 20 is the Z-axis direction
  • the horizontal direction of the polarization imaging unit 20 is the X-axis direction
  • the X-axis direction is 0 °
  • the Y-axis direction is the polarization direction 90. °.
  • the polarization imaging unit 20 when the polarization imaging unit 20 is inclined in the rotation direction around the optical axis, an angle difference occurs between, for example, the polarization direction 0 ° of the polarization imaging unit 20 and the polarization direction 0 ° of the light source 60.
  • the polarization direction of the light source 60 is set to, for example, 0 °, and the polarization imaging unit 20 captures an image of the light source 60 so that the luminance value in the polarization direction 0 ° in the polarization imaging unit 20 is maximized. Adjust the tilt in the rotation direction.
  • cosine fitting is performed using the luminance values observed in the polarization imaging unit 20 in each polarization direction, and the luminance values corresponding to the polarization directions 0 °, 45 °, 90 °, and 135 ° of the light source 60 are obtained from the obtained waveform.
  • the Stokes vector may be calculated based on, for example, Expression (1) using the estimated luminance value.
  • the parameter generator 52 estimates the Mueller matrix value corresponding to each pixel.
  • the components s 3 ′ and s 3 in Equation (4) are 0 as described above, and thus the Mueller matrix is a 3 ⁇ 3 matrix. Become. Therefore, in order to estimate the nine components of the 3 ⁇ 3 Mueller matrix, it is sufficient if there are three or more pairs of the polarization state S of the light from the subject and the polarization state S ′ of the observed light.
  • the polarized light imaging unit 20 captures an image of the light source 60 by switching the light output from the light source 60 so that three or more pairs of the polarization state S of the light from the subject and the polarization state S ′ of the observed light are obtained.
  • FIG. 10 illustrates the configuration of the light source.
  • the light source 60 is configured by using a surface light source 61, a polarizing plate 62, and a drive unit 63 as shown in FIG.
  • the surface light source 61 has a flat light exit surface and emits non-polarized light.
  • the polarizing plate 62 is provided on the light emitting surface of the surface light source 61, and the polarization direction can be changed by the driving unit 63.
  • the drive unit 63 changes the polarization direction of the polarizing plate 62. Further, the drive unit 63 outputs light source polarization information indicating the polarization direction to the parameter generation unit 52.
  • the parameter generation unit 52 estimates the polarization state S ′ of each pixel based on the polarization image acquired by the polarization imaging unit 20. Further, based on the estimated polarization state S ′ of each pixel and the polarization state S of the light emitted from the light source 60, one equation in the equation (12) is formed. In addition, the polarization direction and the amount of light emitted from the light source 60 are changed, and the process of estimating the polarization state S ′ of each pixel is repeated based on the polarization image acquired by imaging the light source 60 with the polarization imaging unit 20. This forms other equations in equation (12).
  • the parameter generation unit 52 calculates each component of the Mueller matrix M from the formed three or more equations, and records it in the parameter recording unit 53 as a change parameter indicating a change in polarization state. Note that the estimation of the polarization state of the light from the subject is performed using Expression (13), Expression (17), or Expression (19). Therefore, the parameter recording unit 53 may record the component of the inverse matrix M ⁇ 1 calculated from the Mueller matrix M as a correction parameter.
  • Equation (24) when the change in the polarization state when the subject is imaged through the lens 21 is caused by refraction as described above, the relationship between the polarization state Si of the incident light and the polarization state St of the light after refraction is expressed by Equation (6). It becomes. Further, the Mueller matrix M t at this time can be expressed as Expression (24). In Equation (24), component a is the value calculated by Equation (25), component b is the value calculated by Equation (26), and component c is the value calculated by Equation (27).
  • the refraction Mueller matrix M t has three components (a, b, c). Also, due to the symmetry of the matrix, the product and sum of the refraction Mueller matrix and the refraction Mueller matrix are also the same shape. That is, the Mueller matrix M in the equations (12) and (13) is also a matrix having the same form as the equation (24).
  • the Mueller matrix M is expressed by Expression (28), and the polarization direction of the light source 60 is set to 45 °, for example.
  • the Stokes vector indicating the polarization state S of the light from the light source 60 is [I 45 0 I 45 0] T
  • the Stokes vector [s 0 ′ s 1 indicating the polarization state S ′ of the observed light is used.
  • the component of T is a value calculated based on the equation (29). Further, the components (a ′, b ′, c ′) of the Mueller matrix M have values shown in the equation (30). That is, if the polarization direction of the light emitted from the light source 60 is set to 45 °, for example, the Mueller matrix M can be estimated by photographing once with the polarization imaging unit 20, so that the change in the polarization state by the lens 21 can be calibrated. Further, when the polarization direction of the light source 60 is, for example, 135 °, the Stokes vector indicating the polarization state S of the light from the light source 60 is [I 135 0 -I 135 0] T. Therefore, the component (a ', B', c ') is a value represented by equation (31).
  • the polarization direction of the light emitted from the light source 60 is a direction other than the XY linear polarization direction (polarization direction 0 ° and polarization direction 90 °), and the plurality of polarizations in the polarization image acquired by the polarization imaging unit 20 If equal to one of the directions, the Mueller matrix M or an inverse matrix component of the Mueller matrix M can be recorded as a parameter in the parameter recording unit 53 by one imaging. Further, since the parameters can be recorded in the parameter recording unit 53 by one imaging, the light source 60 can be configured simply.
  • the light source 60 outputs light having a polarization direction equal to one of a plurality of polarization directions in the polarization image acquired by the polarization imaging unit 20 with the polarization direction of the emitted light excluding the XY linear polarization direction. That's fine.
  • the light source 60 is configured by using a surface light source 61 and, for example, a liquid crystal element 64 as shown in FIG.
  • the surface light source 61 emits non-polarized light.
  • the liquid crystal element 64 is provided on the light emitting surface of the surface light source 61, and the non-polarized light emitted from the surface light source 61 is acquired by the polarization imaging unit 20 in a direction other than the XY linear polarization direction.
  • the polarization direction is equal to one of a plurality of polarization directions in the polarization image.
  • the parameters can be recorded in the parameter recording unit 53 by one imaging.
  • FIG. 10B not only the liquid crystal element 64 but also a polarizing plate may be used.
  • the parameter generation unit 52 of the calibration device 50 calibrates the Mueller matrix M t of Expression (24) when the polarization state is indicated by a Stokes vector.
  • the polarization state of light emitted from the light source 60 is 45 ° linear polarization direction having an angle difference of 45 ° with respect to the XY linear polarization direction, for example, 45 ° polarization direction (Stokes vector is [I 45 0 I 45 0].
  • the parameter generation unit 52 calculates the Mueller matrix M using Equation (29) and Equation (30).
  • the polarization state of the light emitted from the light source 60 is set to the polarization direction 135 ° (Stokes vector is [I 135 0 -I 135 0] T ))
  • the parameter generation unit 52 Calculates the Mueller matrix M using the equations (29) and (31).
  • the Mueller matrix is not limited to the case where the light emitted from the light source 60 is equal to one of a plurality of polarization directions in the polarization image acquired by the polarization imaging unit 20 in the direction excluding the XY linear polarization direction.
  • An arbitrary polarization direction excluding the Y linear polarization direction for example, linearly polarized light of ⁇ L can be calculated.
  • the intensities I 0 , I 45 , I 90 , and I 135 in the polarization directions 0 °, 45 °, 90 °, and 135 ° are used.
  • Is a value based on Equation (32).
  • the Stokes vector of the light source can be calculated based on the equation (33) using the intensities I 0 , I 45 , I 90 , and I 135 .
  • the polarization state S ′ when the Stokes vector [s 0 s 1 s 2 0] T calculated by the equation (31) is imaged by the polarization imaging unit 20 is expressed by the equation (34), and the component a of the Mueller matrix M , B, c can be calculated based on the equation (35).
  • Equation (35) if “s 2 ⁇ 0” and “s 0 2 ⁇ s 1 2 ”, the component value of the Mueller matrix M can be calculated.
  • “S 2 ⁇ 0” is equivalent to “i 45 ⁇ I 135 ⁇ 0”, and the light emitted from the light source 60 is equivalent to the polarization direction “ ⁇ L ⁇ 0 °” and “ ⁇ L ⁇ 90 °”.
  • “S 0 2 ⁇ s 1 2 ” is equivalent to “I 0 ⁇ 0” and “I 90 ⁇ 0”, and further equivalent to “ ⁇ L ⁇ 90 °” and “ ⁇ L ⁇ 0 °”. Therefore, the conditions “s 2 ⁇ 0” and “s 0 2 ⁇ s 1 2 ” are equivalent to “ ⁇ L ⁇ 0 °” and “ ⁇ L ⁇ 90 °”.
  • the calibration device 50 sets the polarization direction of the light emitted from the light source 60 as an arbitrary angle other than the XY linear polarization directions (0 ° and 90 °), and the parameter generation unit 52 calculates the equations (32) and (34). ) (35) is used to calculate the component value of the Mueller matrix M and record it in the parameter recording unit 53.
  • the Stokes vector S is calculated based on the equation (1) using the luminance values I 0 , I 45 , I 90 , and I 135 of the polarization directions 0 °, 45 °, 90 °, and 135 °. calculate. Further, the calculated Stokes vector S is used to perform the same processing as when the polarization state is indicated by the Stokes vector, and the component value of the Mueller matrix M is calculated and recorded in the parameter recording unit 53.
  • the component value of the matrix X shown in Expression (36) is calculated and recorded in the parameter recording unit 53.
  • the matrix X is a matrix for correcting the luminance value indicating the changed polarization state to the luminance value of the polarization state before the change as shown in the equation (17). Substituting 24), equation (36) becomes equation (37).
  • 90 ′, I 135 ′) has the relationship of the formula (38).
  • the polarization direction of the light emitted from the light source 60 is 0 ° or 90 °
  • the components a, b, and c of the matrix X cannot be obtained, so the polarization direction of the light emitted from the light source 60 is Any angle between 0 ° and 90 ° is assumed.
  • the Stokes vector S is calculated based on the equation (18) using the polarization angle, the polarization degree, and the average luminance. Furthermore, if the calculated Stokes vector S is used to perform the same processing as in the case where the polarization state is indicated by the Stokes vector, the component value of the Mueller matrix M can be calculated and recorded in the parameter recording unit 53.
  • the configuration in which the light source polarization information is output from the light source 60 to the parameter generation unit 52 is exemplified.
  • the calibration control unit that controls the calibration operation is provided, and each unit is controlled to control the parameter recording unit.
  • the parameter may be recorded in 53.
  • the calibration control unit performs lighting control of the light source 60, polarization direction switching control, and imaging control of the polarization imaging unit 20, and is acquired by the polarization state S of the light emitted from the light source 60 and the polarization imaging unit 20.
  • Three or more equations indicating the relationship of the polarization state S ′ estimated from the polarization image are obtained.
  • FIG. 11 illustrates the configuration of an information processing unit having a calibration function.
  • the information processing unit 30 includes a polarization pre-processing unit 31, a parameter storage unit 32, a polarization state correction unit 33, a polarization post-processing unit 34, and a parameter generation unit 35.
  • the polarization preprocessing unit 31 performs processing such as pixel defect correction processing and demosaicing processing, generates polarization state information based on the processed polarization image, and outputs the polarization state information to the polarization state correction unit 33.
  • the parameter storage unit 32 stores the parameters generated by the parameter generation unit 35.
  • the parameter storage unit 32 outputs the stored parameters to the polarization state correction unit 33.
  • the polarization state correction unit 33 uses the parameters corresponding to the lens 21 from the parameters stored in the parameter storage unit 32, and the lens 21 generated in the polarization state information for each pixel supplied from the polarization preprocessing unit 31. Correct changes in polarization state.
  • the polarization state correcting unit 33 outputs the corrected polarization state information to the polarization post-processing unit 34, and the polarization post-processing unit 34 performs generation of normal information, separation of reflection components, and the like based on the corrected polarization state information. Do.
  • the parameter generation unit 35 is configured in the same manner as the parameter generation unit 52 of the calibration device 50.
  • the parameter generation unit 35 generates a parameter based on the polarization image processed by the polarization preprocessing unit 31 and the light source polarization information from the light source 60 and stores the parameter in the parameter storage unit 32.
  • the calibration is performed for each lens to be used when the lens 21 of the polarization imaging unit 20 is replaceable.
  • the parameter storage unit 32 of the information processing unit 30 stores parameters acquired by performing calibration for each lens in advance. Based on the lens information acquired from the polarization imaging unit 20, the information processing unit 30 sends the parameter corresponding to the lens 21 used when acquiring the polarization image by the polarization imaging unit 20 from the parameter storage unit 32 to the polarization state correction unit 33. Output.
  • a parameter storage unit 32 may be provided in the lens, and the parameter may be output from the parameter storage unit 32 of the lens to be used to the polarization state correction unit 33.
  • a parameter corresponding to the zoom magnification is stored in advance in the parameter storage unit 32, and a parameter corresponding to the zoom magnification when the polarization image is acquired is output to the polarization state correction unit 33. May be.
  • the parameter calculated for each pixel is stored in the parameter storage unit 32.
  • a parameter is generated at a predetermined pixel interval, and the parameter of the predetermined pixel interval is generated. May be stored in the parameter storage unit 32.
  • the polarization state correction unit 33 uses the parameter acquired from the parameter storage unit 32 and a preset function, and the pixel for which no parameter is stored Generate parameters for By performing interpolation processing in this way, it is not necessary to store parameters for each pixel, and the memory capacity required for the parameter storage unit 32 can be reduced.
  • an approximate function indicating the relationship between the pixel position and the parameter may be obtained based on the parameter for each pixel calculated by the calibration, and stored in the parameter storage unit 32.
  • the polarization state correction unit 33 calculates a parameter corresponding to the pixel position to be corrected based on the approximate function acquired from the parameter storage unit 32.
  • the technology according to the present disclosure can be applied to various fields.
  • the technology according to the present disclosure is realized as a device that is mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • the technology according to the present disclosure can also be applied to the medical field. For example, if it is applied to the case where an operation image is used at the time of surgery, it is possible to accurately obtain an image without a three-dimensional shape or reflection of the operation part, and to reduce the operator's fatigue and safely. Surgery can be performed more reliably.
  • the technology according to the present disclosure can be applied to fields such as public services. For example, when an image of a subject is published in a book or magazine, an unnecessary reflection component or the like can be accurately removed from the image of the subject.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto optical disc), DVD (Digital Versatile Disc), BD (Blu-Ray Disc (registered trademark)), magnetic disk, semiconductor memory card It can be stored (recorded) in a removable recording medium such as temporarily or permanently.
  • a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the information processing apparatus may have the following configuration.
  • An information processing apparatus comprising a polarization state correction unit that corrects using a parameter relating to a change in polarization state by the lens estimated from polarization state information and polarization state information indicating a polarization state of the light source.
  • the polarization state information is a Stokes vector obtained from pixel values having different polarization directions.
  • the polarization state information is pixel values having different polarization directions,
  • the parameter includes a matrix indicating a relationship between pixel values having different polarization directions, a matrix indicating a relationship between pixel values having different polarization directions and Stokes vectors obtained from pixel values having different polarization directions, and the polarization state.
  • the polarization state information includes a polarization degree, an azimuth angle, and an average luminance.
  • a polarization pre-processing unit that performs defect correction or sensitivity correction of the polarization image acquired by imaging using the lens, The information processing apparatus according to any one of (1) to (7), wherein the polarization state information is generated based on a polarization image corrected by the polarization preprocessing unit. (9) The information processing apparatus according to any one of (1) to (8), further including a polarization imaging unit that captures an image using the lens and acquires the polarization image.
  • the lens is used in advance.
  • the change in the polarization state can be corrected by using the parameter relating to the change in the polarization state by the lens estimated from the polarization state information acquired by imaging the light source in the predetermined polarization state and the polarization state information indicating the polarization state of the light source. Further, according to the calibration device of this technique, it is possible to generate a parameter relating to a change in polarization state by the lens.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

偏光撮像部２０は、レンズを用いて偏光画像を取得する。情報処理部３０のパラメータ記憶部３２には、予めレンズを用いて所定の偏光状態の光源を撮像して取得した偏光状態情報と光源の偏光状態を示す偏光状態情報とから推定したレンズによる偏光状態の変化に関するパラメータ、例えばレンズよる偏光状態の変化を示す変化パラメータ、あるいはレンズよる偏光状態の変化を補正する補正パラメータが記憶されている。情報処理部３０の偏光状態補正部３３は、パラメータ記憶部３２に予め記憶されているパラメータを用いて、レンズよる偏光状態の変化を補正する。

Description

情報処理装置と情報処理方法とプログラムおよびキャリブレーション装置
　この技術は、情報処理装置と情報処理方法とプログラムおよびキャリブレーション装置に関し、レンズによる偏光状態の変化を補正する。
　従来、複数の偏光方向の偏光画像から被写体の法線情報を生成することや反射成分の分離等が行われている。例えば、非特許文献１や非特許文献２では、複数の偏光方向の偏光画像をモデル式にあてはめることによって法線情報が生成されている。また、特許文献１では、反射成分の分離や抽出等を行い、反射成分の偏光画像を用いて精度よく法線情報を生成することが行われている。
国際公開第２０１６／１３６０８５号
Lawrence B.Wolff and Terrance E.Boult :"Constraining Object Features Using a Polarization Reflectance Model",IEEE Transaction on pattern analysis and machine intelligence，Vol.13，No.7，July 1991 Gary A. Atkinson and Edwin R. Hancock :"Recovery of surface orientation from diffuse polarization",IEEE Transactions of Image Processing, Vol.15, Issue.6, pp.1653-1664, 2006
　ところで、光の偏光状態は、反射や屈折によって変化することが知られている。例えば、光線が偏光撮像部のレンズを透過してイメージセンサに入射する場合、光線が空気中からレンズに入射するときおよびレンズから空気中に出射するときに屈折を生じて、イメージセンサに入射する光は、レンズよる偏光状態の変化を生じた光となる。このため、偏光画像で示された偏光状態は、被写体からの光の偏光状態に対して違いを生じて、法線情報の生成や反射成分の分離等を精度よく行うことができないおそれがある。
　そこで、この技術ではレンズよる偏光状態の変化を補正できる情報処理装置と情報処理方法とプログラムおよびキャリブレーション装置を提供することを目的とする。
　この技術の第１の側面は、
　レンズを用いて撮像を行い取得された偏光画像に基づく偏光状態情報に生じた前記レンズによる偏光状態の変化を、予め前記レンズを用いて所定の偏光状態の光源を撮像して取得した偏光状態情報と前記光源の偏光状態を示す偏光状態情報とから推定した前記レンズによる偏光状態の変化に関するパラメータを用いて補正する偏光状態補正部
を備える情報処理装置にある。
　この技術においては、少なくとも３以上の偏光成分を含む偏光画像の取得する際に用いたレンズによる偏光状態の変化を示す変化パラメータまたは偏光状態の変化を補正する補正パラメータが予め画素毎に生成されており、このパラメータを用いて、レンズを用いて撮像を行い取得された偏光画像に基づく偏光状態情報に生じたレンズによる偏光状態の変化が補正される。偏光状態情報は、例えば偏光方向の異なる画素値から得られたストークスベクトルであり、パラメータは、偏光状態情報の変化量を示す行列の成分値である。また、偏光状態情報は、例えば偏光方向の異なる画素値であり、パラメータは、偏光方向の異なる画素値の関係を示す行列と、偏光方向の異なる画素値と偏光方向の異なる画素値から得られたストークスベクトルとの関係を示す行列と、偏光状態情報がストークスベクトルを示すときの偏光状態情報の変化量を示す行列を用いて算出された行列の成分値であってもよい。また、偏光状態情報は、偏光度と方位角と平均輝度であり、パラメータは、偏光状態情報の変化量を示す行列の成分値であってもよい。
　また、偏光撮像部で取得された偏光画像の欠陥補正または感度補正を行い、補正後の偏光画像から偏光状態情報を生成できるようにする偏光前処理部をさらに備えてもよい。
　この技術の第２の側面は、
　レンズを用いて撮像を行い取得された偏光画像に基づく偏光状態情報を偏光状態補正部で取得することと、
　予め前記レンズを用いて所定の偏光状態の光源を撮像して取得した偏光状態情報と前記光源の偏光状態を示す偏光状態情報とから推定した前記レンズによる偏光状態の変化に関するパラメータを用いて、前記偏光画像に基づく偏光状態情報に生じた前記レンズによる偏光状態の変化を前記偏光状態補正部で補正すること
を含む情報処理方法にある。
　この技術の第３の側面は、
偏光状態情報の処理をコンピュータで実行させるプログラムであって、
　レンズを用いて撮像を行い取得された偏光画像に基づく偏光状態情報を偏光状態補正部で取得する手順と、
　予め前記レンズを用いて所定の偏光状態の光源を撮像して取得した偏光状態情報と前記光源の偏光状態を示す偏光状態情報とから推定した前記レンズによる偏光状態の変化に関するパラメータを用いて、前記偏光画像に基づく偏光状態情報に生じた前記レンズによる偏光状態の変化を補正する手順と
を前記コンピュータで実行させるプログラムにある。
　なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
　この技術の第４の側面は、
　所定の偏光状態の光を出射する光源と、
　レンズを用いて撮像を行い取得された前記光源の光出射面を示す偏光画像に基づく偏光状態情報と、前記光源から出射された光の偏光状態を示す偏光状態情報とから、前記レンズによる偏光状態の変化に関するパラメータを生成するパラメータ生成部と
を備えるキャリブレーション装置にある。
　この技術においては、光源から出射する光の偏光状態を例えば変更可能として、パラメータ生成部は、複数の偏光成分を含む偏光画像に基づく偏光状態情報と、光源から出射される光の偏光状態を示す偏光状態情報から、レンズによる偏光状態の偏光成分毎の変化に関するパラメータを生成する。また、光源は、出射する光の偏光方向を、Ｘ－Ｙ直線偏光方向を除く方向、例えばＸ－Ｙ直線偏光方向に対して４５°の角度差を有する４５度直線偏光方向としてもよい。また、レンズを用いて撮像を行い取得された偏光画像の欠陥補正または感度補正を行い、補正後の偏光画像に基づいて偏光状態情報を生成してもよい。
　この技術によれば、レンズを用いて撮像を行い取得された偏光画像に基づく偏光状態情報に、レンズによる偏光状態の変化が生じても、予めレンズを用いて所定の偏光状態の光源を撮像して取得した偏光状態情報と光源の偏光状態を示す偏光状態情報とから推定したレンズによる偏光状態の変化に関するパラメータを用いて、偏光状態の変化を補正できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
屈折率の異なる２つの媒質の境界面付近における偏光状態の変化を説明するための図である。 撮像レンズを介して被写体を撮像する場合の偏光状態の変化を説明するための図である。 イメージセンサの画素に入射する複数の光路の光を例示した図である。 撮像システムの構成を例示した図である。 偏光撮像部で偏光画像を生成する場合の構成を例示した図である。 情報処理部の動作を例示したフローチャートである。 キャリブレーション装置の構成を例示した図である。 キャリブレーション装置の動作を例示したフローチャートである。 光源と偏光撮像部の配置を示した図である。 光源の構成を例示した図である。 キャリブレーション機能を有する情報処理部の構成を例示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．レンズによる偏光状態の変化について
　２．情報処理装置の構成と動作
　３．キャリブレーション装置の構成と動作
　４．応用例
　＜１．レンズによる偏光状態の変化について＞
　レンズと偏光子を介して、偏光子例えば直線偏光子の偏光方向を例えば０°，４５°，９０°，１３５°として被写体を撮像すると、１つの画素の偏光状態を偏光方向が０°であるときの画素値Ｉ０、偏光方向が４５°であるときの画素値Ｉ４５，偏光方向が９０°であるときの画素値Ｉ９０，偏光方向が１３５°であるときの画素値Ｉ１３５で示すことができる。また、偏光子として円偏光子を用いることで、右偏光であるときの画素値Ｉｒや左偏光であるときの画素値Ｉｌで示すこともできる。また、偏光状態はストークスベクトルという４次元のベクトル［ｓ０　ｓ１　ｓ２　ｓ３］Ｔで示すこともできる。なお、ストークスベクトルと画素値の関係は式（１）となる。
Figure JPOXMLDOC01-appb-M000001
　ストークスベクトルにおいて、成分ｓ０は無偏光の輝度もしくは平均輝度を示している。また、成分ｓ１は、０°と９０°の偏光方向の強度の差、成分ｓ２は４５°と１３５°の偏光方向の強度の差、成分ｓ３は円偏光の偏光度合いを示している。例えば、無偏光の光の偏光状態はストークスベクトル［（Ｉ０＋Ｉ４５＋Ｉ９０＋Ｉ１３５）／２　０　０　０］Ｔとして表される。また、偏光方向０°の光の偏光状態はストークスベクトル［Ｉ０　Ｉ０　０　０］Ｔ、偏光方向４５°の光の偏光状態はストークスベクトル［Ｉ４５　０　Ｉ45　０］Ｔ、右円偏光の光はストークスベクトル［Ｉｒ　０　０　Ｉｒ］Ｔとして表される。
　また、ストークスベクトルで示した偏光状態から、例えば式（２）に基づき偏光度ｐと式（３）に基づき方位角φを算出できる。
Figure JPOXMLDOC01-appb-M000002
　次に、ストークスベクトルを用いて偏光状態の変化を説明する。偏光状態の変化前であるストークスベクトル［ｓ０　ｓ１　ｓ２　ｓ３］Ｔと変化後のストークスベクトル［ｓ０’ ｓ１’ ｓ２’ ｓ３’］Ｔの関係は、ミュラー行列を用いると式（４）の関係となる。
Figure JPOXMLDOC01-appb-M000003
　図１は、屈折率の異なる２つの媒質の境界面付近における偏光状態の変化を説明するための図である。境界面に入射した光の一部分は鏡面反射して、他の部分は他方の媒質に入って屈折する。また、光の偏光状態は、鏡面反射や屈折が発生するたびに変化する。
　ここで、入射角度θi、鏡面反射角度θr、屈折角度θtとすると、入射光の偏光状態Ｓiと鏡面反射光の偏光状態Ｓrの関係は式（５）となり、入射光の偏光状態Ｓiと屈折光の偏光状態Ｓtとの関係は式（６）となる。なお、式（５）（６）において「α＋＝θi＋θt」「α－＝θi－θt」である。また、行列Ｍｒは鏡面反射のミュラー行列、行列Ｍｔは屈折のミュラー行列である。
Figure JPOXMLDOC01-appb-M000004
　この式（５）（６）から明らかなように、鏡面反射のミュラー行列Ｍｒと屈折のミュラー行列Ｍｔは、とも光の入射角度と屈折角度のみかかわる。また屈折角度は入射角度と境界面の２つ媒質の屈折率にかかわるため、鏡面反射のミュラー行列と屈折のミュラー行列は、入射角度と境界面の２つ媒質の屈折率にかかわる。なお、式（７）は、屈折角度θt、入射角度θiと境界面の２つ媒質の屈折率ηｉ，ηｔの関係を示している。
Figure JPOXMLDOC01-appb-M000005
　次に、撮像レンズ（以下「レンズ」という）を介して被写体を撮像する場合の偏光状態の変化について図２を用いて説明する。図２に示すように、被写体ＲＬaからのある方向の偏光状態Ｓ１の光が空気中からレンズ２１の位置Ｂ１に入射して屈折し偏光状態Ｓ１''に変化する。また偏光状態Ｓ１''の光がレンズ２１と通過して位置Ｂ２から空気中に出射して屈折し偏光状態Ｓ１’に変化して、偏光撮像部２０のイメージセンサ２２で観測される。この場合、偏光状態は式（８）に示す変化と式（９）に示す変化を生じる。なお、式（８）における行列ＭＢ１は、レンズの位置Ｂ１で生じた屈折のミュラー行列であり、式（９）における行列ＭＢ２は、レンズの位置Ｂ２で生じた屈折のミュラー行列である。
Figure JPOXMLDOC01-appb-M000006
　したがって、イメージセンサで観測される光の偏光状態と被写体からの光の偏光状態は式（１０）に示す関係となる。なお、行列Ｍ１＝ＭＢ１・ＭＢ２は、光路上のレンズ２１による偏光状態の変化量を表すミュラー行列である。
Figure JPOXMLDOC01-appb-M000007
　ところで、上述の説明では１つの光路について偏光状態の変化を説明したが、イメージセンサの画素には複数の光路の光が入射する。図３は、被写体からイメージセンサの画素に入射する複数の光路の光を例示している。なお、図３の（ａ）は、レンズ２１の光軸上の被写体ＲＬａからイメージセンサ２２の画素ＩＰａに入射する複数の光路の光を例示しており、図３の（ｂ）は、レンズ２１の光軸から離れた位置の被写体ＲＬbからイメージセンサ２２の画素ＩＰｂに入射する複数の光路の光を例示している。例えば、偏光状態Ｓ１～Ｓｎの光がレンズ２１を介してイメージセンサの画素に入射される場合、画素に入射される光の偏光状態Ｓ’は式（１１）で表すことができる。
Figure JPOXMLDOC01-appb-M000008
　さらに、被写体がレンズ２１よりある程度離れており、被写体からの光の偏光状態はレンズ２１を透過する各光路上の光の偏光状態Ｓｉと同等とすると、式（１１）は式（１２）となる。なお、式（１２）において行列Ｍは、被写体からの光がイメージセンサの画素で観測されたときに、レンズ２１を透過することによる偏光状態の変化量を示すミュラー行列である。
Figure JPOXMLDOC01-appb-M000009
　このように、レンズ２１を透過することによる偏光状態の変化量を示すミュラー行列Ｍが明らかであれば、観測された光の偏光状態Ｓ’とミュラー行列Ｍの逆行列Ｍ－１を用いて、式（１３）に基づき被写体からの光の偏光状態Ｓを求めることができる。
Figure JPOXMLDOC01-appb-M000010
　したがって、レンズ２１を透過することによる偏光状態の変化量を示すミュラー行列Ｍの各成分値、またはレンズ２１を透過することによる偏光状態の変化量を示すミュラー行列Ｍの逆行列Ｍ－１の各成分値（以下「パラメータ」という）を、後述するキャリブレーション装置で推定して、情報処理装置に予め記憶させておく。また、情報処理装置では、記憶されているパラメータと観測された光の偏光状態Ｓ’から、被写体からの光の偏光状態Ｓを求める。また、情報処理装置は、求めた偏光状態Ｓに基づき法線の算出や反射成分の調整処理を行うようにしてもよい。
　＜２．情報処理装置の構成と動作＞
　図４は本技術の情報処理装置を用いた撮像システムの構成を例示している。撮像システム１０は、偏光撮像部２０と情報処理部３０を有している。また、情報処理部３０は、偏光前処理部３１とパラメータ記憶部３２、偏光状態補正部３３、偏光後処理部３４を有している。なお、偏光前処理部３１は、偏光撮像部２０に設けられてもよく、偏光後処理部３４は、情報処理部３０と別個に設けられてもよい。また、偏光撮像部２０と情報処理部３０は、別個に構成されている場合に限らず、偏光撮像部２０と情報処理部３０の一方に他方が含まれた構成であってもよい。
　偏光撮像部２０は、偏光方向が異なる複数の偏光画像、例えば少なくとも３以上の偏光成分（偏光方向に無偏光を含めてもよい）を含む偏光画像を取得する。図５は、偏光撮像部で偏光画像を生成する場合の構成を例示している。偏光撮像部２０は、例えば図５の（ａ）に示すように、イメージセンサ２２に複数の偏光方向の画素構成とされた偏光フィルタ２３を配置して、レンズ２１を介して撮像を行うことで生成する。なお、図５の（ａ）では、各画素が異なる４種類の偏光方向（偏光方向を矢印で示す）のいずれかの画素となる偏光フィルタ２３をイメージセンサ２２の前面に配置した場合を例示している。また、図５の（ｂ）に示すように、偏光撮像部２０の前に偏光板２４を設けた構成としてもよい。この場合、偏光板２４を回転させて異なる複数の偏光方向でそれぞれ撮像を行い、偏光方向が異なる複数の偏光画像を取得する。
　イメージセンサ２２にカラーフィルタを設けていない場合、偏光撮像部２０では輝度偏光画像を取得できる。ここで、図５の（ａ）の場合、偏光方向が異なる方向であって隣接している４画素の輝度を平均することで、無偏光の通常輝度画像と同等の画像を取得することができる。また、図５の（ｂ）の場合、画素毎に偏光方向が異なる輝度偏光画像の輝度を平均することで、無偏光である通常輝度画像と同等の画像を取得できる。
　さらに、偏光撮像部２０は、輝度偏光画像だけでなく、イメージセンサ２２にカラーフィルタを設けることで三原色の偏光画像を同時に生成してもよく、赤外画像等を同時に生成してもよい。また、偏光撮像部２０は、三原色の偏光画像から輝度を算出して輝度偏光画像を生成してもよい。
　情報処理部３０の偏光前処理部３１は、画素の欠陥補正処理やデモザイク処理などの処理を行う。画素の欠陥補正処理やデモザイク処理は、例えば国際公開第２０１７／０８１９２５号に開示された方法を用いて行えばよい。また、偏光前処理部３１は、画素の感度補正処理を行ってもよい。感度補正は、例えば偏光撮像部２０に強度が一様の計測光を照射して撮像を行い、取得した偏光画像に生じた偏光方向の違いによる感度ばらつきを補正するばらつき補正情報を予め生成する。また、このばらつき補正情報を用いて、偏光方向の違いによって生じた感度ばらつきを補正する。偏光前処理部３１は、処理後の偏光画像に基づき偏光状態情報を生成する。偏光状態情報は、異なる偏光方向の輝度値、またはストークスベクトル、もしくは偏光度と方位角と平均輝度などの偏光状態を画素毎に示す。偏光前処理部３１は生成した偏光状態情報を偏光状態補正部３３へ出力する。
　パラメータ記憶部３２には、レンズ２１による偏光状態の変化を示す変化パラメータまたは偏光状態の変化を補正する補正パラメータが、後述するキャリブレーション装置で生成されて予め記憶されている。パラメータ記憶部３２は、記憶している画素毎のパラメータを偏光状態補正部３３へ出力する。
　偏光状態補正部３３は、パラメータ記憶部３２に記憶されているパラメータを用いて、偏光前処理部３１から供給された画素毎の偏光状態情報に生じたレンズ２１による偏光状態の変化を補正する。偏光状態補正部３３は、補正後の偏光状態情報を偏光後処理部３４へ出力する。
　偏光後処理部３４は、補正後の偏光状態情報に基づき法線情報の生成や反射成分の分離等を行う。法線情報の生成は、例えば国際公開第２０１６／１３６０８６号に開示された方法を用いて行えばよい。また反射成分の分解等は、例えば国際公開第２０１６／１３６０８５号に開示された方法を用いて行えばよい。
　次に、情報処理部の動作について説明する。図６は情報処理部の動作を例示したフローチャートである。
　ステップＳＴ１で情報処理部は偏光画像を取得する。情報処理部３０は、偏光撮像部２０で被写体を撮像して得られた偏光画像を取得してステップＳＴ２に進む。
　ステップＳＴ２で情報処理部は偏光画像の前処理を行う。情報処理部３０の偏光前処理部３１は、偏光画像の前処理として、例えば画素の欠陥補正処理、感度補正処理、デモザイク処理等を行いステップＳＴ３に進む。
　ステップＳＴ３で情報処理部は偏光状態情報を生成する。情報処理部３０の偏光前処理部３１または偏光状態補正部３３は、前処理後の偏光画像に基づき、各画素の偏光状態情報を生成する。偏光状態情報は、例えば異なる偏光方向の輝度値、あるいはストークスベクトル、もしくは偏光度と方位角と平均輝度などの情報である。情報処理部３０は、偏光状態情報を生成してステップＳＴ４に進む。
　ステップＳＴ４で情報処理部はパラメータを取得する。情報処理部３０の偏光状態補正部３３は、パラメータ記憶部３２から補正対象の画素位置に対応するパラメータ、例えば補正対象の画素位置で生じる偏光状態の変化を示す状態変化パラメータ、あるいは補正対象の画素位置で生じる偏光状態の変化を補正する補正パラメータを取得してステップＳＴ５に進む。
　ステップＳＴ５で情報処理部は偏光状態の変化を補正する。情報処理部３０の偏光状態補正部３３は、パラメータ記憶部３２から取得したパラメータを用いて、偏光状態情報における偏光状態の変化を補正してステップＳＴ６に進む。
　ステップＳＴ６で情報処理部は偏光後処理を行う。情報処理部３０の偏光後処理部３４は、偏光状態の変化が補正された偏光状態情報に基づき偏光後処理、例えば法線算出処理または反射除去処理等を行う。
　情報処理部３０は、ステップＳＴ３乃至ステップＳＴ６の処理を、偏光画像内の全画素あるいは予め指定された範囲内の全画素に対して行う。また、情報処理部３０は、ステップＳＴ１乃至ステップＳＴ６の処理をフレーム毎に行う。
　次に、レンズによる偏光状態の変化補正処理について説明する。偏光状態補正部３３は、パラメータ記憶部３２から取得したパラメータが偏光状態の変化を示す変化パラメータである場合、変化パラメータの逆行列を算出して補正パラメータとする。偏光状態補正部３３は、補正パラメータを用いて偏光状態の変化補正処理を行う。
　偏光状態補正部３３は、偏光状態情報が各画素のストークスベクトルである場合、偏光状態の変化補正処理はストークスベクトルに対して行う。また、偏光状態情報が各画素の異なる偏光方向の輝度値である場合は、偏光状態の変化補正処理は異なる偏光方向の輝度値に対して行ってもよい。さらに、偏光状態情報が各画素の偏光度と方位角および平均輝度で示される場合は、各画素の偏光度と方位角および平均輝度に対して補正を行ってもよい。偏光状態情報が異なる偏光方向の輝度値、あるいは偏光度と方位角と平均輝度である場合、円偏光を含むことなく直線偏光のみを考慮する。
　１）偏光状態情報が各画素のストークスベクトルである場合
　偏光状態補正部では、上述の式（１３）の演算を行い、レンズ２１による偏光状態の変化が補正されているストークスベクトルを算出する。
　２）偏光状態情報が各画素の異なる偏光方向の画素値である場合
　偏光状態補正部では、例えば４つの偏光方向（０°，４５°，９０°，１３５°）の画素値Ｉ０，Ｉ４５，Ｉ９０，Ｉ１３５とストークスベクトル［ｓ０　ｓ１　ｓ２　ｓ３］Ｔの関係は、式（１４）で表せる。なお、円偏光を含むことなく直線偏光のみを考慮することから成分ｓ３。＝０であり、式（１４）では成分ｓ３が含まれない。
Figure JPOXMLDOC01-appb-M000011
　また、偏光画素の画素値は偏光方向に対して１８０度の周期性を有しており、「Ｉ０＋Ｉ９０＝Ｉ４５＋Ｉ１３５」の関係性がある。この関係性を考慮すると、式（１４）は式（１５）となる。したがって、式（１３）は、式（１５）を用いることで式（１６）となり、式（１６）を変形した式（１７）に基づき、レンズ２１による偏光状態の変化が補正されている画素値を偏光方向毎に得られるようになる。
Figure JPOXMLDOC01-appb-M000012
　３）偏光状態情報が各画素の偏光度と方位角および平均輝度である場合
　偏光度ｐと方位角φおよび平均輝度ｓ０とストークスベクトル［ｓ０　ｓ１　ｓ２　ｓ３］Ｔの関係は、上述の式（２）（３）に基づき、式（１８）で表せる。
Figure JPOXMLDOC01-appb-M000013
　また、被写体からの光の偏光度ｐと方位角φおよび平均輝度ｓ０と、レンズ２１による偏光状態の変化を生じた光の偏光度ｐ’と方位角φ’および平均輝度ｓ０’の関係は、式（１３）と式（１８）に基づき、式（１９）で表せる。
Figure JPOXMLDOC01-appb-M000014
　ここで、逆行列Ｍ－１の成分を式（２０）のように示すと、被写体からの光の偏光度pを式（２１）に基づいて算出できる。また、被写体からの光の方位角φを式（２２）、平均輝度ｓ０を式（２３）に基づいて算出できる。
Figure JPOXMLDOC01-appb-M000015
　このように、情報処理部は、偏光状態情報に生じたレンズによる偏光状態の変化を補正する。したがって、補正後の偏光状態情報を用いて偏光後処理を行えば、レンズによる偏光状態の変化が補正されていない偏光状態情報を用いる場合に比べて、法線の算出処理や反射成分の除去処理等を高精度に行うことができるようになる。
　＜３．キャリブレーション装置の構成と動作＞
　次に、レンズによる偏光状態の変化を表す変化パラメータを推定するキャリブレーション装置について説明する。図７は、キャリブレーション装置の構成を例示している。キャリブレーション装置５０は、偏光前処理部５１、パラメータ生成部５２、パラメータ記録部５３、平面状の光出射面から光を出射する光源６０を有している。また、上述の偏光撮像部２０で光源６０を撮像して得られた偏光画像が偏光前処理部５１へ出力されるように構成されている。
　偏光前処理部５１は、情報処理部３０の偏光前処理部３１と同様に構成されており、偏光撮像部２０で取得された偏光画像に対して、画素の欠陥補正処理、感度補正処理、デモザイク処理等を行う。また、前処理後の偏光画像を用いて、偏光前処理部５１またはパラメータ生成部５２は、各画素について偏光状態情報、例えば異なる偏光方向毎の輝度値、あるいはストークスベクトル、もしくは偏光度と方位角および平均輝度などの偏光状態を表す偏光状態情報を生成する。
　パラメータ生成部５２は、光源６０から出力される光の偏光状態を示す偏光状態情報と、偏光撮像部２０で取得されて偏光前処理が行われた偏光画像に基づいて生成された偏光状態情報に基づき、偏光撮像部２０のレンズ２１による偏光状態の変化を推定してパラメータを生成する。例えばパラメータ生成部５２は、レンズ２１による偏光状態の変化を示す変化パラメータ、あるいはレンズ２１による偏光状態の変化を補正するための補正パラメータを生成して、生成したパラメータをパラメータ記録部５３に記録する。
　パラメータ記録部５３は、パラメータ生成部５２で生成されたパラメータを記憶する。また、パラメータ記録部５３に記録されているパラメータは、情報処理部３０のパラメータ記憶部３２に予め記憶されて、上述のように偏光状態情報に生じたレンズ２１による偏光状態の変化の補正に用いられる。
　光源６０は、平面状の光出射面から光の出射を行い、出射する光の偏光状態が切り替え可能に構成されている。また、光源６０は、出射する光の偏光方向等を示す光源偏光情報をパラメータ生成部５２へ出力する。
　次に、キャリブレーション装置の動作について説明する。図８はキャリブレーション装置の動作を例示したフローチャートである。
　ステップＳＴ１１でキャリブレーション装置は光源の偏光方向を設定する。キャリブレーション装置５０の光源６０は、出射する光の偏光状態を所定の偏光方向、例えば４５°か１３５°に設定して、設定した偏光方向に対応する偏光状態情報を生成してパラメータ生成部５２へ出力してステップＳＴ１２に進む。
　ステップＳＴ１２でキャリブレーション装置は光源の偏光画像を取得する。偏光撮像部２０は、光源６０を撮像して、複数偏光方向の偏光画像を取得してステップＳＴ１３に進む。例えば偏光撮像部２０が図５の（ａ）に示す構成である場合、１回の撮像で複数偏光方向の成分を有する偏光画像を取得できる。また、図５の（ｂ）に示す構成である場合、偏光板２４を回転させて複数回の撮像を行い、偏光方向毎の偏光画像を取得する。偏光撮像部２０は、複数偏光方向の偏光画像を取得してステップＳＴ１３に進む。
　ステップＳＴ１３でキャリブレーション装置は偏光画像の前処理を行う。キャリブレーション装置５０の偏光前処理部５１は、偏光画像の前処理として、例えば画素の欠陥補正処理、感度補正処理、デモザイク処理等を行いステップＳＴ１４に進む。
　ステップＳＴ１４でキャリブレーション装置は偏光状態情報を生成する。キャリブレーション装置５０の偏光前処理部５１またはパラメータ生成部５２は、前処理後の偏光画像に基づき、各画素の偏光状態情報を生成する。偏光状態情報は、例えば異なる偏光方向の輝度値、あるいはストークスベクトル、もしくは偏光度と方位角および平均輝度などの情報である。キャリブレーション装置５０は偏光状態情報を生成してステップＳＴ１５に進む。
　ステップＳＴ１５でキャリブレーション装置はパラメータを推定する。キャリブレーション装置５０のパラメータ生成部５２は、ステップＳＴ１４で生成した偏光状態情報と光源６０から供給された偏光状態情報に基づき、レンズ２１による偏光状態に関するパラメータを推定する。例えばパラメータ生成部５２は、パラメータとして、偏光状態の変化を示す変化パラメータまたはレンズ２１による偏光状態の変化を補正する補正パラメータを推定して、ステップＳＴ１６に進む。
　ステップＳＴ１６でキャリブレーション装置は推定したパラメータを記録する。キャリブレーション装置５０のパラメータ生成部５２は、ステップＳＴ１５で推定したパラメータをパラメータ記録部５３に記録する。また、パラメータ記録部５３は、記録したパラメータを情報処理部３０のパラメータ記憶部３２に記憶させる。
　次に、パラメータ生成部５２の動作について説明する。光源６０の偏光方向は、あるグローバル座標系（Ｘ，Ｙ，Ｚ）における角度とする。グローバル座標系の定義は任意でよいが、例えばある方向を方向０°として、時計回りで角度をプラス方向に増加するような座標系とする。
　図９は光源と偏光撮像部の配置を示している。光源６０は、例えばＸ軸方向を偏光方向０°，Ｙ軸方向を偏光方向９０°とする。また、光源６０の光出射面に対して鉛直方向をＺ軸方向とする。また、偏光撮像部２０の光軸方向がＺ軸方向であり、偏光撮像部２０の水平方向がＸ軸方向とされているときのＸ軸方向を偏光方向０°，Ｙ軸方向を偏光方向９０°とする。
　ここで、偏光撮像部２０が光軸を中心とする回転方向に傾きを生じている場合、偏光撮像部２０の例えば偏光方向０°と光源６０の偏光方向０°は角度差を生じる。このような場合、光源６０の偏光方向を例えば０°として偏光撮像部２０で光源６０を撮像して、偏光撮像部２０における偏光方向０°の輝度値が最大となるように偏光撮像部２０の回転方向の傾きを調整する。また、偏光撮像部２０で観測された各偏光方向の輝度値を用いてコサインフィッティングを行い、得られた波形から光源６０の偏光方向０°，４５°，９０°，１３５°に対応する輝度値を推定して、推定された輝度値を用いて例えば式（１）に基づきストークスベクトルの算出等を行ってもよい。
　パラメータ生成部５２は、各画素に対応するミュラー行列の値を推定する。ここで、通常の環境では被写体からの光に円偏光がほぼないため、上述のように式（４）における成分ｓ３’とｓ３は０になるため、ミュラー行列は３×３の行列になる。このため、３×３のミュラー行列の９成分を推定するためには、被写体からの光の偏光状態Ｓと観測された光の偏光状態Ｓ’のペアが３以上あればよい。被写体からの光の偏光状態Ｓと観測された光の偏光状態Ｓ’のペアが３以上得られるように光源６０から出力される光を切り替えて偏光撮像部２０で光源６０を撮像する。
　図１０は光源の構成を例示している。光源６０は例えば図１０の（ａ）に示すように面光源６１と偏光板６２および駆動部６３を用いて構成されている。面光源６１は光出射面が平面状とされており無偏光の光を出射する。偏光板６２は、面光源６１の光出射面に設けられており、駆動部６３によって偏光方向が変更可能とされている。駆動部６３は、偏光板６２の偏光方向を変更する。また、駆動部６３は、偏光方向を示す光源偏光情報をパラメータ生成部５２へ出力する。
　パラメータ生成部５２は偏光撮像部２０で取得された偏光画像に基づき各画素の偏光状態Ｓ’を推定する。また、推定した各画素の偏光状態Ｓ’と光源６０から出射される光の偏光状態Ｓに基づき、式（１２）の方程式における１つの式を形成する。また、光源６０から出射される光の偏光方向や光量を変更して、偏光撮像部２０で光源６０を撮像させて取得された偏光画像に基づき各画素の偏光状態Ｓ’を推定する処理を繰り返すことで、式（１２）の他の複数の方程式を形成する。さらに、パラメータ生成部５２は、形成された３つ以上の方程式からミュラー行列Ｍの各成分を算出して、偏光状態の変化を示す変化パラメータとしてパラメータ記録部５３に記録する。なお、被写体からの光の偏光状態の推定は、式（１３）または式（１７）あるいは式（１９）を用いて行う。したがって、パラメータ記録部５３には、ミュラー行列Ｍから算出した逆行列Ｍ－１の成分を補正パラメータとして記録してもよい。
　また、レンズ２１を介して被写体を撮像する場合の偏光状態の変化が、上述のように屈折によって生じる場合、入射光の偏光状態Ｓｉと屈折後の光の偏光状態Ｓｔの関係は式（６）となる。また、このときのミュラー行列Ｍｔは、式（２４）として示すことができる。なお、式（２４）における成分ａは式（２５）、成分ｂは式（２６）、成分ｃは式（２７）で算出された値である。
Figure JPOXMLDOC01-appb-M000016
　このように、屈折のミュラー行列Ｍｔは３つの成分（ａ，ｂ，ｃ）を有する。また行列の対称性により、屈折のミュラー行列と屈折のミュラー行列の積、和も同じ形を持つ行列である。つまり、式（１２）（１３）におけるミュラー行列Ｍも式（２４）と同様な形を持つ行列である。ここで、ミュラー行列Ｍを式（２８）で表し、光源６０の偏光方向を例えば４５°とする。この場合、光源６０からの光の偏光状態Ｓを示すストークスベクトルは［Ｉ４５　０　Ｉ４５　０］Ｔであることから、観測された光の偏光状態Ｓ’を示すストークスベクトル［ｓ０’　ｓ１’　ｓ２’　ｓ３’］Ｔの成分は、式（２９）に基づいて算出された値となる。また、ミュラー行列Ｍの成分（ａ’，ｂ’，ｃ’）は式（３０）で示す値となる。すなわち、光源６０から出射される光の偏光方向を例えば４５°として偏光撮像部２０で１度撮影すればミュラー行列Ｍを推定できので、レンズ２１による偏光状態の変化をキャリブレーションできるようになる。また、光源６０の偏光方向を例えば１３５°とすると、光源６０からの光の偏光状態Ｓを示すストークスベクトルは［Ｉ１３５　０　－Ｉ１３５　０］Ｔであることから、ミュラー行列Ｍの成分（ａ’，ｂ’，ｃ’）は式（３１）で示す値となる。
Figure JPOXMLDOC01-appb-M000017
　このように、光源６０から出射される光の偏光方向をＸ－Ｙ直線偏光方向（偏光方向０°と偏光方向９０°）を除く方向で、偏光撮像部２０で取得される偏光画像における複数偏光方向の１つと等しくすれば、１回の撮像によって、ミュラー行列Ｍあるいはミュラー行列Ｍの逆行列の成分をパラメータとしてパラメータ記録部５３に記録することができる。また、１回の撮像によって、パラメータをパラメータ記録部５３に記録できるので、光源６０を簡易な構成にできる。すなわち、光源６０は、出射される光の偏光方向をＸ－Ｙ直線偏光方向を除く方向で、偏光撮像部２０で取得される偏光画像における複数偏光方向の１つと等しい偏光方向の光を出力すればよい。この場合、光源６０は図１０の（ｂ）に示すように、面光源６１と例えば液晶素子６４を用いて構成する。面光源６１は無偏光の光を出射する。液晶素子６４は、面光源６１の光出射面に設けられており、面光源６１から出射された無偏光の光を、Ｘ－Ｙ直線偏光方向を除く方向で、偏光撮像部２０で取得される偏光画像における複数偏光方向の１つと等しい偏光方向とする。この場合、偏光撮像部２０を光源６０と対向させて光源６０を撮像すれば、１回の撮像でパラメータをパラメータ記録部５３に記録できる。なお、図１０の（ｂ）では液晶素子６４に限らず偏光板を用いてもよい。
　次に、ミュラー行列Ｍのキャリブレーションの実施例について説明する。キャリブレーション装置５０のパラメータ生成部５２は、偏光状態をストークスベクトルで示す場合、式（２４）のミュラー行列Ｍｔをキャリブレーションする。
　光源６０から出射される光の偏光状態をＸ－Ｙ直線偏光方向に対して４５°の角度差を有する４５度直線偏光方向、例えば偏光方向４５°（ストークスベクトルは［Ｉ４５　０　Ｉ４５　０］Ｔ）として光源６０を偏光撮像部２０で撮像した場合、パラメータ生成部５２は、式（２９）と式（３０）を用いてミュラー行列Ｍを算出する。また、光源６０から出射される光の偏光状態を偏光方向１３５°（ストークスベクトルは［Ｉ１３５　０　－Ｉ１３５　０］Ｔ））として光源６０を偏光撮像部２０で撮像した場合、パラメータ生成部５２は、式（２９）と式（３１）を用いてミュラー行列Ｍを算出する。
　また、ミュラー行列は、光源６０から出射される光がＸ－Ｙ直線偏光方向を除く方向で、偏光撮像部２０で取得される偏光画像における複数偏光方向の１つと等しい場合に限らず、Ｘ－Ｙ直線偏光方向を除く任意の偏光方向例えばθLの直線偏光でも算出できる。光源から出射される光が偏光方向θLの直線偏光で強度Ｉ（θL）である場合、偏光方向０°，４５°，９０°，１３５°の各強度Ｉ０，Ｉ４５，Ｉ９０，Ｉ１３５は式（３２）に基づく値となる。また、強度Ｉ０，Ｉ４５，Ｉ９０，Ｉ１３５を用いて、式（３３）に基づき光源のストークスベクトルを算出できる。
Figure JPOXMLDOC01-appb-M000018
　式（３１）で計算されたストークスベクトル［ｓ０　ｓ１　ｓ２　０］Ｔの光源を偏光撮像部２０で撮像した場合の偏光状態Ｓ’は、式（３４）となり、ミュラー行列Ｍの成分ａ，ｂ，ｃは式（３５）に基づき算出できる。
Figure JPOXMLDOC01-appb-M000019
　すなわち、式（３５）から明らかなように「ｓ２≠０」且つ「ｓ０ ２≠ｓ１ ２」であれば、ミュラー行列Ｍの成分値を算出できる。「ｓ２≠０」は、「ｉ４５－Ｉ１３５≠０」と同等であり、さらに光源６０から出射される光が偏光方向「θL≠０°」且つ「θL≠９０°」と同等である。また、「ｓ０ ２≠ｓ１ ２」は、「Ｉ０≠０」且つ「Ｉ９０≠０」と同等であり、さらに「θL≠９０°」且つ「θL≠０°」と同等である。ゆえに、条件「ｓ２≠０」且つ「ｓ０ ２≠ｓ１ ２」は、「θL≠０°」且つ「θL≠９０°」と同等である。
　したがって、キャリブレーション装置５０は、光源６０から出射される光の偏光方向をＸ－Ｙ直線偏光方向（０°と９０°）でない任意の角度として、パラメータ生成部５２は、式（３２）（３４）（３５）を用いてミュラー行列Ｍの成分値を算出して、パラメータ記録部５３に記録する。
　次に、偏光状態を偏光方向０°，４５°，９０°，１３５°の輝度値で示す場合のキャリブレーションについて説明する。
　キャリブレーションの第１の方法では、偏光方向０°，４５°，９０°，１３５°の各輝度値Ｉ０，Ｉ４５，Ｉ９０，Ｉ１３５を用いて式（１）に基づきストークスベクトルＳを算出する。さらに、算出したストークスベクトルＳを用いて、上述の偏光状態をストークスベクトルで示す場合と同様な処理を行い、ミュラー行列Ｍの成分値を算出してパラメータ記録部５３に記録する。
　キャリブレーションの第２の方法では、式（３６）に示す行列Ｘの成分値を算出してパラメータ記録部５３に記録する。なお、行列Ｘは、式（１７）に示すように、変化を生じた偏光状態を示す輝度値を変化前の偏光状態の輝度値に補正するための行列であり、式（３６）に式（２４）を代入すると、式（３６）は式（３７）となる。
Figure JPOXMLDOC01-appb-M000020
　光源６０から出射される光の偏光状態（Ｉ０，Ｉ４５，Ｉ９０，Ｉ１３５）と偏光撮像部２０で光源６０を撮影して得られた偏光状態（Ｉ０’，Ｉ４５’，Ｉ９０’，Ｉ１３５’）は、式（３８）の関係を有している。
Figure JPOXMLDOC01-appb-M000021
　したがって、光源６０から出射される光を変化させて、光源６０から出射される光の偏光状態と偏光撮像部２０で光源６０を撮影して得られた偏光状態の関係を示す式を４つ以上用いることで、行列Ｘの成分ａ，ｂ，ｃを算出できる。また、行列Ｘを用いて式（３８）の演算を行えば、光源６０から出射される光のレンズ２１による偏光状態の変化を補正できる。なお、光源６０から出射される光の偏光方向が０°または９０°である場合、行列Ｘの成分ａ，ｂ，ｃを求めることができないため、光源６０から出射される光の偏光方向は、０°且つ９０°でない任意の角度とする。
　また、偏光状態を偏光角と偏光度と平均輝度で示す場合、偏光角と偏光度と平均輝度を用いて式（１８）に基づきストークスベクトルＳを算出する。さらに、算出したストークスベクトルＳを用いて、上述の偏光状態をストークスベクトルで示す場合と同様な処理を行えば、ミュラー行列Ｍの成分値を算出してパラメータ記録部５３に記録することができる。
　なお、上述の実施の形態では、光源６０から光源偏光情報をパラメータ生成部５２へ出力する構成を例示したが、キャリブレーション動作を制御するキャリブレーション制御部を設けて各部を制御してパラメータ記録部５３にパラメータを記録させてもよい。この場合、キャリブレーション制御部は、光源６０の点灯制御や偏光方向の切り替え制御と偏光撮像部２０の撮像制御を行い、光源６０から出射される光の偏光状態Ｓと偏光撮像部２０で取得された偏光画像から推定した偏光状態Ｓ’の関係を示す方程式が３つ以上得られるようにする。このように、光源６０と偏光撮像部２０を制御すれば、自動的にパラメータ記録部５３にパラメータを記録することができる。
　また、情報処理部にキャリブレーション機能を設けてもよい。図１１は、キャリブレーション機能を有する情報処理部の構成を例示している。なお、図１１において、図４の対応する部分について同一符号を付している。情報処理部３０は、偏光前処理部３１とパラメータ記憶部３２、偏光状態補正部３３、偏光後処理部３４、パラメータ生成部３５を有している。
　偏光前処理部３１は、画素の欠陥補正処理やデモザイク処理などの処理を行い、処理後の偏光画像に基づき偏光状態情報を生成して偏光状態補正部３３へ出力する。
　パラメータ記憶部３２には、パラメータ生成部３５で生成されたパラメータを記憶する。また、パラメータ記憶部３２は、記憶しているパラメータを偏光状態補正部３３へ出力する。
　偏光状態補正部３３は、パラメータ記憶部３２に記憶されているパラメータから、レンズ２１に対応するパラメータを用いて、偏光前処理部３１から供給された画素毎の偏光状態情報に生じたレンズ２１による偏光状態の変化を補正する。偏光状態補正部３３は、補正後の偏光状態情報を偏光後処理部３４へ出力して、補正後の偏光状態情報に基づき法線情報の生成や反射成分の分離等を偏光後処理部３４で行う。
　パラメータ生成部３５は、キャリブレーション装置５０のパラメータ生成部５２と同様に構成されている。パラメータ生成部３５は、偏光前処理部３１で処理された偏光画像と光源６０からの光源偏光情報に基づきパラメータを生成してパラメータ記憶部３２に記憶させる。
　このように、情報処理部にキャリブレーション機能を設ければ、光源６０を容易するだけで、偏光撮像部２０で用いられたレンズ２１によって生じた偏光状態の変化を精度よく補正するためのキャリブレーションを行うことができる。
　また、キャリブレーションは、偏光撮像部２０のレンズ２１が交換可能である場合、使用するレンズ毎に行う。また、情報処理部３０のパラメータ記憶部３２には、レンズ毎にキャリブレーションを行って取得されているパラメータを予め記憶させておく。情報処理部３０は、偏光撮像部２０から取得したレンズ情報に基づき、偏光撮像部２０で偏光画像を取得する際に用いたレンズ２１に対応するパラメータをパラメータ記憶部３２から偏光状態補正部３３へ出力する。また、レンズにパラメータ記憶部３２を設けて、使用するレンズのパラメータ記憶部３２からパラメータを偏光状態補正部３３へ出力してもよい。このように使用するレンズに応じたパラメータを用いて偏光状態情報の補正を行うようにすれば、レンズ交換が行われても、精度よく法線情報の算出や反射成分の分離や除去等を行うことができる。また、レンズ２１がズームレンズである場合、パラメータ記憶部３２にはズーム倍率に応じたパラメータを予め記憶して、偏光画像を取得したときのズーム倍率に対応するパラメータを偏光状態補正部３３へ出力してもよい。
　また、上述の実施の形態では、画素毎に算出されたパラメータをパラメータ記憶部３２に記憶しているが、キャリブレーションでは、所定の画素間隔でパラメータを生成して、この所定の画素間隔のパラメータをパラメータ記憶部３２に記憶してもよい。所定の画素間隔のパラメータがパラメータ記憶部３２に記憶されている場合、偏光状態補正部３３は、パラメータ記憶部３２から取得したパラメータと予め設定された関数を用いて、パラメータが記憶されていない画素のパラメータを生成する。このように補間処理を行えば、画素毎にパラメータを記憶しておく必要がなく、パラメータ記憶部３２で必要とされるメモリ容量を削減できる。さらに、補間処理では、キャリブレーションで算出した画素毎のパラメータに基づき、画素位置とパラメータの関係を示す近似関数を求めて、パラメータ記憶部３２に記憶してもよい。この場合、偏光状態補正部３３は、パラメータ記憶部３２から取得した近似関数に基づき、補正対象の画素位置に対応するパラメータを算出する。
　＜４．応用例＞
　本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。また、工場における生産工程で用いられる機器や建設分野で用いられる機器に搭載される装置として実現されてもよい。このような分野に適用すれば、偏光状態情報に生じたレンズによる偏光状態の変化を補正できるので、補正後の偏光状態情報に基づき精度よく法線情報の生成や反射成分の分離等を行うことができる。したがって、周辺環境を３次元で精度よく把握できるようになり、運転者や作業者の疲労を軽減できる。また、自動運転等をより安全に行うことが可能となる。
　本開示に係る技術は、医療分野へ適用することもできる。例えば、手術を行う際に術部の撮像画を利用する場合に適用すれば、術部の三次元形状や反射のない画像を精度よく得られるようになり、術者の疲労軽減や安全に且つより確実に手術を行うことが可能になる。
　また、本開示に係る技術は、パブリックサービス等の分野にも適用できる。例えば被写体の画像を書籍や雑誌等に掲載する際に、不要な反射成分等を被写体の画像から精度よく除去することが可能となる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の情報処理装置は以下のような構成も取ることができる。
　（１）　レンズを用いて撮像を行い取得された偏光画像に基づく偏光状態情報に生じた前記レンズによる偏光状態の変化を、予め前記レンズを用いて所定の偏光状態の光源を撮像して取得した偏光状態情報と前記光源の偏光状態を示す偏光状態情報とから推定した前記レンズによる偏光状態の変化に関するパラメータを用いて補正する偏光状態補正部
を備える情報処理装置。
　（２）　前記パラメータは、前記偏光状態の変化を示す変化パラメータまたは前記偏光状態の変化を補正する補正パラメータである（１）に記載の情報処理装置。
　（３）　前記偏光状態情報は、偏光方向の異なる画素値から得られたストークスベクトルであり、
　前記パラメータは、前記偏光状態情報の変化量を示す行列の成分値である（１）または（２）に記載の情報処理装置。
　（４）　前記偏光状態情報は、偏光方向の異なる画素値であり、
　前記パラメータは、前記偏光方向の異なる画素値の関係を示す行列と、前記偏光方向の異なる画素値と前記偏光方向の異なる画素値から得られたストークスベクトルとの関係を示す行列と、前記偏光状態情報が前記ストークスベクトルを示すときの偏光状態情報の変化量を示す行列を用いて算出された行列の成分値である（１）または（２）に記載の情報処理装置。
　（５）　前記偏光状態情報は、偏光度と方位角と平均輝度であり、
　前記パラメータは、前記偏光状態情報の変化量を示す行列の成分値である（１）または（２）に記載の情報処理装置。
　（６）　前記パラメータを画素毎に設けた（１）乃至（５）の何れかに記載の情報処理装置。
　（７）　前記偏光画像は、少なくとも３以上の偏光成分を含む（１）乃至（６）の何れかに記載の情報処理装置。
　（８）　前記レンズを用いて撮像を行い取得された前記偏光画像の欠陥補正または感度補正を行う偏光前処理部をさらに備え、
　前記偏光状態情報は前記偏光前処理部で補正された偏光画像に基づいて生成する（１）乃至（７）の何れかに記載の情報処理装置。
　（９）　前記レンズを用いて撮像を行い前記偏光画像を取得する偏光撮像部をさらに備える（１）乃至（８）の何れかに記載の情報処理装置。
　この技術の情報処理装置と情報処理方法とプログラムによれば、レンズを用いて撮像を行い取得された偏光画像に基づく偏光状態情報に、レンズによる偏光状態の変化が生じても、予めレンズを用いて所定の偏光状態の光源を撮像して取得した偏光状態情報と光源の偏光状態を示す偏光状態情報とから推定したレンズによる偏光状態の変化に関するパラメータを用いて、偏光状態の変化を補正できる。また、この技術のキャリブレーション装置によれば、レンズによる偏光状態の変化に関するパラメータを生成できる。したがって、レンズによる偏光状態の変化が補正された偏光状態情報に基づき精度よく法線情報の生成や反射成分の分離等を行うことができる。このため、周辺環境を３次元で把握する分野や反射成分の調整を行う分野等に適している。
　１０・・・撮像システム
　２０・・・偏光撮像部
　２１・・・レンズ
　２２・・・イメージセンサ
　２３・・・偏光フィルタ
　２４，６２・・・偏光板
　３０・・・情報処理部
　３１，５１・・・偏光前処理部
　３２・・・パラメータ記憶部
　３３・・・偏光状態補正部
　３４・・・偏光後処理部
　３５，５２・・・パラメータ生成部
　５０・・・キャリブレーション装置
　５３・・・パラメータ記録部
　６０・・・光源
　６１・・・面光源
　６３・・・駆動部
　６４・・・液晶素子

Claims (16)

  1. 　レンズを用いて撮像を行い取得された偏光画像に基づく偏光状態情報に生じた前記レンズによる偏光状態の変化を、予め前記レンズを用いて所定の偏光状態の光源を撮像して取得した偏光状態情報と前記光源の偏光状態を示す偏光状態情報とから推定した前記レンズによる偏光状態の変化に関するパラメータを用いて補正する偏光状態補正部
    を備える情報処理装置。
  2. 　前記パラメータは、前記偏光状態の変化を示す変化パラメータまたは前記偏光状態の変化を補正する補正パラメータである
    請求項１に記載の情報処理装置。
  3. 　前記偏光状態情報は、偏光方向の異なる画素値から得られたストークスベクトルであり、
    　前記パラメータは、前記偏光状態情報の変化量を示す行列の成分値である
    請求項１に記載の情報処理装置。
  4. 　前記偏光状態情報は、偏光方向の異なる画素値であり、
    　前記パラメータは、前記偏光方向の異なる画素値の関係を示す行列と、前記偏光方向の異なる画素値と前記偏光方向の異なる画素値から得られたストークスベクトルとの関係を示す行列と、前記偏光状態情報が前記ストークスベクトルを示すときの偏光状態情報の変化量を示す行列を用いて算出された行列の成分値である
    請求項１に記載の情報処理装置。
  5. 　前記偏光状態情報は、方位角と偏光度と平均輝度であり、
    　前記パラメータは、前記偏光状態情報の変化量を示す行列の成分値である
    請求項１に記載の情報処理装置。
  6. 　前記パラメータを画素毎に設けた
    請求項１に記載の情報処理装置。
  7. 　前記偏光画像は、少なくとも３以上の偏光成分を含む
    請求項１に記載の情報処理装置。
  8. 　前記レンズを用いて撮像を行い取得された前記偏光画像の欠陥補正または感度補正を行う偏光前処理部をさらに備え、
    　前記偏光状態情報は前記偏光前処理部で補正された偏光画像に基づいて生成する
    請求項１に記載の情報処理装置。
  9. 　前記レンズを用いて撮像を行い前記偏光画像を取得する偏光撮像部をさらに備える
    請求項１に記載の情報処理装置。
  10. 　レンズを用いて撮像を行い取得された偏光画像に基づく偏光状態情報を偏光状態補正部で取得することと、
    　予め前記レンズを用いて所定の偏光状態の光源を撮像して取得した偏光状態情報と前記光源の偏光状態を示す偏光状態情報とから推定した前記レンズによる偏光状態の変化に関するパラメータを用いて、前記偏光画像に基づく偏光状態情報に生じた前記レンズによる偏光状態の変化を前記偏光状態補正部で補正すること
    を含む情報処理方法。
  11. 　偏光状態情報の処理をコンピュータで実行させるプログラムであって、
    　レンズを用いて撮像を行い取得された偏光画像に基づく偏光状態情報を偏光状態補正部で取得する手順と、
    　予め前記レンズを用いて所定の偏光状態の光源を撮像して取得した偏光状態情報と前記光源の偏光状態を示す偏光状態情報とから推定した前記レンズによる偏光状態の変化に関するパラメータを用いて、前記偏光画像に基づく偏光状態情報に生じた前記レンズによる偏光状態の変化を補正する手順と
    を前記コンピュータで実行させるプログラム。
  12. 　所定の偏光状態の光を出射する光源と、
    　レンズを用いて撮像を行い取得された前記光源の光出射面を示す偏光画像に基づく偏光状態情報と、前記光源から出射された光の偏光状態を示す偏光状態情報とから、前記レンズによる偏光状態の変化に関するパラメータを生成するパラメータ生成部と
    を備えるキャリブレーション装置。
  13. 　前記光源は出射する光の偏光状態を変更可能として、
    　前記パラメータ生成部は、少なくとも３以上の偏光成分を含む前記偏光画像に基づく偏光状態情報と、前記光源から出射される光の複数の偏光状態の偏光状態情報から、前記レンズによる偏光状態の前記偏光成分毎の変化に関するパラメータを生成する
    請求項１２に記載のキャリブレーション装置。
  14. 　前記光源は出射する光の偏光方向を、Ｘ－Ｙ直線偏光方向を除く方向とする
    請求項１２に記載のキャリブレーション装置。
  15. 　前記光源は出射する光の偏光方向を、前記Ｘ－Ｙ直線偏光方向に対して４５°の角度差を有する４５度直線偏光方向とする
    請求項１４に記載のキャリブレーション装置。
  16. 　前記レンズを用いて撮像を行い取得された前記偏光画像の欠陥補正または感度補正を行う偏光前処理部をさらに備え、
    　前記偏光状態情報は前記偏光前処理部で補正された偏光画像に基づいて生成する
    請求項１２に記載の情報処理装置。
PCT/JP2019/000860 2018-04-09 2019-01-15 情報処理装置と情報処理方法とプログラムおよびキャリブレーション装置 WO2019198287A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/044,533 US11637967B2 (en) 2018-04-09 2019-01-15 Information processing apparatus, information processing method, and calibration apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-074597 2018-04-09
JP2018074597 2018-04-09

Publications (1)

Publication Number Publication Date
WO2019198287A1 true WO2019198287A1 (ja) 2019-10-17

Family

ID=68163530

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/000860 WO2019198287A1 (ja) 2018-04-09 2019-01-15 情報処理装置と情報処理方法とプログラムおよびキャリブレーション装置

Country Status (2)

Country Link
US (1) US11637967B2 (ja)
WO (1) WO2019198287A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022091508A1 (ja) * 2020-10-27 2022-05-05 Ckd株式会社 三次元計測装置
CN116736276A (zh) * 2023-08-11 2023-09-12 北醒（北京）光子科技有限公司 振镜校准方法、装置、电子设备及存储介质
WO2023171058A1 (ja) * 2022-03-08 2023-09-14 東レ株式会社 偏光評価装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021136501A (ja) * 2020-02-25 2021-09-13 キヤノン株式会社 撮像装置及びその制御方法
CN114324185A (zh) * 2022-01-04 2022-04-12 浙江大学 一种基于Stokes矢量的水下偏振探测装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006214856A (ja) * 2005-02-03 2006-08-17 Canon Inc 測定装置及び方法
JP2017523438A (ja) * 2014-06-27 2017-08-17 ユニヴァーシティ・オブ・ソルフォード・エンタープライジーズ・リミテッド 偏光の測定
JP2018067896A (ja) * 2016-10-21 2018-04-26 株式会社ソニー・インタラクティブエンタテインメント 偏光画像処理装置および偏光画像処理方法
JP2018066965A (ja) * 2016-10-21 2018-04-26 株式会社ソニー・インタラクティブエンタテインメント 撮像ユニットおよび樹脂レンズの組み付け方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009194041A (ja) * 2008-02-12 2009-08-27 Canon Inc 評価方法、調整方法、露光装置、およびコンピュータプログラム
JP6673327B2 (ja) 2015-02-27 2020-03-25 ソニー株式会社 画像処理装置と画像処理方法および撮像素子

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006214856A (ja) * 2005-02-03 2006-08-17 Canon Inc 測定装置及び方法
JP2017523438A (ja) * 2014-06-27 2017-08-17 ユニヴァーシティ・オブ・ソルフォード・エンタープライジーズ・リミテッド 偏光の測定
JP2018067896A (ja) * 2016-10-21 2018-04-26 株式会社ソニー・インタラクティブエンタテインメント 偏光画像処理装置および偏光画像処理方法
JP2018066965A (ja) * 2016-10-21 2018-04-26 株式会社ソニー・インタラクティブエンタテインメント 撮像ユニットおよび樹脂レンズの組み付け方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IKEDA, YUJI: "Design of polarization measurement system using Code V---Design and analysis method considering data reduction", CIBEMET.CO, 23 October 2003 (2003-10-23), pages 7 - 10, Retrieved from the Internet <URL:http://www.cybemet.co.jp/codev/documents/pdf/user/CV-GENESIA2003.pdf> [retrieved on 20190329] *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022091508A1 (ja) * 2020-10-27 2022-05-05 Ckd株式会社 三次元計測装置
JP2022070426A (ja) * 2020-10-27 2022-05-13 Ckd株式会社 三次元計測装置
TWI802988B (zh) * 2020-10-27 2023-05-21 日商Ｃｋｄ股份有限公司 三維測量裝置
JP7300432B2 (ja) 2020-10-27 2023-06-29 Ckd株式会社 三次元計測装置
WO2023171058A1 (ja) * 2022-03-08 2023-09-14 東レ株式会社 偏光評価装置
CN116736276A (zh) * 2023-08-11 2023-09-12 北醒（北京）光子科技有限公司 振镜校准方法、装置、电子设备及存储介质
CN116736276B (zh) * 2023-08-11 2023-11-07 北醒（北京）光子科技有限公司 振镜校准方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US11637967B2 (en) 2023-04-25
US20210152748A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
WO2019198287A1 (ja) 情報処理装置と情報処理方法とプログラムおよびキャリブレーション装置
WO2020213238A1 (ja) 撮像装置と画像処理装置および画像処理方法
CN107113370B (zh) 图像记录设备及记录图像方法
JP2017005380A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2009524349A (ja) 立体表示システムの調整方法
WO2013005244A1 (ja) ３次元相対座標計測装置およびその方法
JPWO2019220722A1 (ja) 固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法
JP2013036831A (ja) キャリブレーション装置及び歪み誤差算出方法
JP7288226B2 (ja) 測距カメラ
WO2019078032A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
US20210152749A1 (en) Image processing apparatus, image processing method, program, and learning apparatus
WO2014064875A1 (ja) 画像処理装置および画像処理方法
WO2016194179A1 (ja) 撮像装置、内視鏡装置及び撮像方法
US20190108617A1 (en) Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium
WO2016194178A1 (ja) 撮像装置、内視鏡装置及び撮像方法
JP5648159B2 (ja) ３次元相対座標計測装置およびその方法
JP2017194591A (ja) 距離測定装置、撮像装置、および距離測定方法
WO2019207886A1 (ja) 情報処理装置と情報処理方法およびプログラム
WO2020049816A1 (ja) 情報処理装置と情報処理方法およびプログラム
JP6524373B1 (ja) 光学撮像装置および撮像画像補正方法
US20210211619A1 (en) Information generation device, information generation method and program
WO2022004145A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP2010133840A (ja) 形状測定装置及び形状測定方法
WO2022113568A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP2008028538A (ja) 要素画像群補正装置、要素画像群取得システム、要素画像群補正方法及び要素画像群補正プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19786051

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19786051

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP