WO2021192814A1 - 情報処理装置と情報処理方法および情報処理システム - Google Patents

情報処理装置と情報処理方法および情報処理システム Download PDF

Info

Publication number
WO2021192814A1
WO2021192814A1 PCT/JP2021/007304 JP2021007304W WO2021192814A1 WO 2021192814 A1 WO2021192814 A1 WO 2021192814A1 JP 2021007304 W JP2021007304 W JP 2021007304W WO 2021192814 A1 WO2021192814 A1 WO 2021192814A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarized
polarization
level
unit
information processing
Prior art date
Application number
PCT/JP2021/007304
Other languages
English (en)
French (fr)
Inventor
雄飛 近藤
康孝 平澤
楽公 孫
大志 大野
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021192814A1 publication Critical patent/WO2021192814A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties

Definitions

  • This technology easily calculates the polarization characteristics of the information processing device, information processing method, and information processing system.
  • the state transition of light which is what happens to polarized light when reflected, is expressed by the Mueller matrix, but when measuring or estimating the Mueller matrix, which differs for each material, several types of polarized illumination are used. It is necessary to observe it, and it requires multiple shootings.
  • the polarization state of the irradiation light irradiating the sample is changed to four or more types, and the scattered light from the sample is detected by the two-dimensional detector for each polarization state, and the detection result for each polarization state is obtained. Based on this, the polarization characteristics are calculated.
  • Patent Document 1 since the polarization state of the irradiation light is changed to four or more types and the scattered light from the sample is detected by the two-dimensional detector for each polarization state, it takes time to measure the polarization characteristics. It ends up. Further, when the scattered light from the sample is detected by the two-dimensional detector for each polarization state, it is difficult to calculate the polarization characteristics if the sample moves.
  • the purpose of this technology is to provide an information processing device, an information processing method, and an information processing system that can easily calculate the polarization characteristics.
  • the first aspect of this technology is A polarized image acquisition unit that acquires polarized images by providing polarized pixels in a plurality of polarization directions for each of a plurality of wavelength regions.
  • a level adjusting unit that adjusts the level of the polarized image for each wavelength range acquired by the polarized image acquisition unit, and a level adjusting unit.
  • the information processing apparatus includes a polarization characteristic calculation unit that calculates polarization characteristics from the polarized image whose level has been adjusted by the level adjustment unit.
  • a polarized pixel of circularly polarized light is provided in the polarized image acquisition unit to acquire a polarized image.
  • the plurality of wavelength regions may be the wavelength regions of polarized light in which a plurality of wavelength regions are assigned to one polarized state.
  • the level adjustment unit adjusts the level of the polarized image so that the color indicated by the level discrimination value for each wavelength range acquired by the polarized image acquisition unit becomes achromatic.
  • the level adjusting unit may calculate the level discrimination value using the observed values of the polarized pixels in a plurality of polarization directions for each wavelength region, and the observed value of the unpolarized pixel for each wavelength region provided in the polarized image acquisition unit. May be used as the level discrimination value.
  • the polarization characteristic calculation unit calculates the polarization characteristics from the polarized image whose level has been adjusted by the level adjustment unit. Further, a demosaic processing unit is further provided, and a polarized image for each of a plurality of polarization directions is generated for each of a plurality of wavelength regions from the polarized image acquired by the polarized image acquisition unit, and is generated for each of the plurality of wavelength regions.
  • the wavelength range level of the polarized image for each of a plurality of polarization directions may be adjusted, and the polarization characteristic may be calculated on a pixel-by-pixel basis using the polarized image after the wavelength range level adjustment.
  • the second aspect of this technology is Acquiring a polarized image with a polarized image acquisition unit provided with polarized pixels in a plurality of polarization directions for each of a plurality of wavelength regions.
  • the level adjustment unit adjusts the level of the polarized image for each wavelength range acquired by the polarized image acquisition unit.
  • the information processing method includes calculating the polarization characteristic from the polarization image whose level has been adjusted by the level adjustment unit by the polarization characteristic calculation unit.
  • the third aspect of this technology is A polarized light irradiation unit that irradiates an observation target with a plurality of polarized lights in the wavelength range having different wavelength ranges for each polarized state.
  • a polarized image acquisition unit that acquires polarized images of the observation target by providing polarized pixels in a plurality of polarization directions for each of the plurality of wavelength regions.
  • a level adjusting unit that adjusts the level of the polarized image for each wavelength range acquired by the polarized image acquisition unit, and a level adjusting unit.
  • the information processing system includes a polarization characteristic calculation unit that calculates the polarization characteristic of the observation target from the polarization image whose level is adjusted by the level adjustment unit.
  • Equation (1) shows the Stokes vector S, where parameter s0 indicates light intensity, parameter s1 indicates a horizontal linearly polarized light component, parameter s2 indicates a 45-degree linearly polarized light component, and parameter s3 indicates a right-handed polarized light component. Therefore, the Stokes vector S 0 indicating horizontal linearly polarized light is equation (2), the Stokes vector S 45 indicating 45 degree linearly polarized light is equation (3), and the Stokes vector S 90 indicating vertical linearly polarized light is equation (4), clockwise. Circularly polarized light is expressed by Stokes vector Src as Eq. (5).
  • the Mueller Matrix shown in Eq. (6) is used as an index for expressing the polarization characteristics of the observation target.
  • the Stokes vector of the formulas (2) to (4) is the incident light (irradiation light irradiating the observation target), the emitted light (reflected light from the observation target or the light emitted from the observation target) when the incident light is horizontally linearly polarized light.
  • the Stokes vector Sv 0 of (transmitted light) can be calculated based on the equation (7).
  • the Stokes vector Sv 45 of the emitted light when the incident light is linearly polarized at 45 degrees is given by Eq. (8)
  • the Stokes vector Sv 90 of the emitted light when the incident light is linearly polarized vertically is given by Eq. (9).
  • the Stokes vector Sv rc of the emitted light when the light is clockwise circularly polarized light can be calculated based on the equation (10).
  • the equations (2) to (4) and the equations (7) to (9) exemplify the cases where the polarization states of the incident light are 0 degrees, 45 degrees, and 90 degrees, but the polarization states are p1, p2, and p2.
  • the Stokes vectors S p1 , Sp2 , and Sp3 of the incident light are equations (11) to (13)
  • the Stokes vectors Sv p1 , Sv p2 , and Sv p3 of the emitted light are equations (14) to (16).
  • the parameters a p1 and b p1 in the equation (14) are known values according to the angle P1.
  • the parameters a p2 and b p2 in the equation (15) are known values according to the angle P2
  • the parameters a p3 and b p3 in the equation (16) are known values according to the angle P3.
  • the Stokes vector does not have the parameters s3 and the vectors of equations (4) and (9), and the Muller matrix has the fourth column (n, 3) and the fourth row (3) shown in equation (5).
  • the Muller matrix can be calculated without observing the emitted light in each polarized state by sequentially switching the incident light to each polarized state.
  • the polarization state and the wavelength range of the incident light are related to generate the incident light indicating each polarization state.
  • the incident light having a polarized state of 0 degrees is defined as the first wavelength region.
  • the incident light having a polarized state of 45 degrees has a second wavelength region different from the first wavelength region
  • the incident light having a polarized state of 90 degrees has a third wavelength region different from the first and second wavelength regions.
  • the incident light whose state is right-handed circularly polarized light is in a fourth wavelength region different from the first to third wavelength regions.
  • the output light when the incident light is in the desired polarized state is obtained.
  • the output light when the first wavelength range is selected and the polarization state of the incident light is 0 degrees
  • the output light when the second wavelength range is selected and the polarization state of the incident light is 45 degrees
  • the first Select the 3 wavelength range to obtain the output light when the polarization state of the incident light is 90 degrees
  • the Muller matrix is calculated as the polarization characteristic based on the observed value of the output light obtained for each polarization state of the incident light.
  • FIG. 1 illustrates the configuration of an information processing system.
  • the information processing system 10 includes a polarized light irradiation unit 20 and an information processing device 30.
  • the polarized light irradiation unit 20 is configured by using the light source unit 21 and the optical element unit 22, and irradiates the observation target OB with polarized light in a plurality of wavelength ranges having different wavelength ranges for each polarized state.
  • the light source unit 21 emits unpolarized irradiation light to the optical element unit 22.
  • the optical element unit 22 is configured by using a color filter and a polarizer. Further, when circularly polarized light is included in the polarized state, a ⁇ / 4 wave plate is further used.
  • the color filter is related to the polarization state, and is composed of, for example, three different wavelength regions when there are three polarization states and four different wavelength regions when there are four polarization states. ..
  • a linear polarized light is provided as the polarizing element, and in the three wavelength regions, the polarization directions are different for each wavelength region.
  • a linear polarizer is provided in the wavelength range corresponding to circularly polarized light, and a ⁇ / 4 wave plate with respect to the wavelength ⁇ of light transmitted through the wavelength range corresponding to circularly polarized light is provided.
  • FIG. 2 illustrates the configuration of the optical element unit. Note that FIG. 2A shows the configuration of the optical element unit 22 when there are three polarized states and FIG. 2B shows the configuration of the optical element unit 22 when there are four polarized states.
  • the transmission region of the light emitted from the light source unit 21 is circular, the transmission region is divided into three equal parts, and the polarization direction is 0 degrees in the region that transmits red.
  • An example shows a case where a polarizing element is provided in a region that transmits green, and a polarizing element that has a polarization direction of 45 degrees is provided in a region that transmits blue, and a polarizer that has a polarization direction of 90 degrees is provided in a region that transmits blue.
  • the transmission region of the light emitted from the light source unit 21 is circular, the transmission region is divided into four equal parts, and the polarization direction is 0 degrees in the region that transmits red.
  • Polarizers a polarized light with a polarization direction of 45 degrees in the region that transmits green, a polarizer with a polarization direction of 90 degrees in the region that transmits blue, and a linear polarizer with a polarization direction of 135 degrees in the region that transmits purple, for example.
  • the case where the ⁇ / 4 wave plate is provided is illustrated.
  • FIG. 2 illustrates a case where the circular transmission region is equally divided, the optical element unit 22 is configured by dividing, for example, a polygonal transmission region so that the amount of light for each wavelength region is equal. It may be.
  • the information processing device 30 has a polarized image acquisition unit 31, a level adjustment unit 33, and a polarization characteristic calculation unit 34. Further, the demosaic processing unit 32 may be provided.
  • the polarized image acquisition unit 31 acquires a polarized image for each polarized state.
  • FIG. 3 illustrates the configuration of the polarized image acquisition unit.
  • the polarized image acquisition unit 31 has a configuration in which a color filter 312 and a polarizing filter 313 having a plurality of pixel configurations in the polarization direction are arranged on the imaging surface side of the image sensor 311. .
  • FIG. 3A illustrates a case where the polarizing filter 313, in which each pixel is a pixel in any of four different polarization directions, is arranged in front of the image sensor 311. Further, as shown in FIG.
  • the polarized image acquisition unit 31 may generate a plurality of polarized images having different polarization directions by utilizing the configuration of the multi-lens array.
  • a plurality of lenses 314 are provided on the image pickup surface side of the image sensor 311, and each lens 314 forms an optical image of the subject on the image pickup surface of the image sensor 311.
  • a polarizing filter 315 is provided on the front surface of each lens 314, and a plurality of polarized images having different polarization directions are generated by setting the polarization direction of the polarizing filter 315 to be different for each pixel.
  • FIG. 4 illustrates a pixel configuration, and the configuration shown in the figure is repeated in the horizontal direction and the vertical direction. Further, in the pixel configuration using the color filter and the polarizing filter, pixels corresponding to the wavelength range of the light emitted from the polarized light irradiation unit 20 are provided.
  • the optical element unit 22 in the polarized light irradiation unit 20 has three polarized light states, and each polarized light state has a wavelength range of three primary colors (red, green, and blue). In this case, as shown in FIG.
  • a polarized pixel block of 2 ⁇ 2 pixels is composed of polarized pixels having polarization directions (polarization angles) of 0 degrees, 45 degrees, 90 degrees, and 135 degrees, for example.
  • a polarized pixel block of 2 ⁇ 2 pixels is used as one color unit, and a block of three primary colors is used as a bayer arrangement.
  • the optical element unit 22 in the polarized light irradiation unit 20 has four polarized light states, and each polarized light state has three primary colors (red, green, and blue) and a purple wavelength range.
  • a polarized pixel block of 2 ⁇ 2 pixels is composed of polarized pixels whose polarization directions (polarization angles) are 0 degrees, 45 degrees, 90 degrees, and right-handed circularly polarized light, for example.
  • a polarized pixel block of 2 ⁇ 2 pixels is used as one color unit, and blocks of color units of the three primary colors (red, green, and blue) are provided in the same manner as in the bayer arrangement, and one of the two green blocks in the bayer arrangement is provided. Let one be a purple block.
  • FIG. 5 illustrates a plurality of pixel configurations in the polarization directions, and the configurations shown in the figure are repeated in the horizontal direction and the vertical direction.
  • FIG. 5A illustrates a case where a polarized pixel block of 2 ⁇ 2 pixels is composed of polarized pixels having polarization directions of 0 degrees, 45 degrees, 90 degrees, and 135 degrees, for example.
  • a polarization pixel block of 4 ⁇ 4 pixels is composed of polarized pixels having polarization directions of 0 degrees, 45 degrees, 90 degrees, and 135 degrees, for example, with 2 ⁇ 2 pixels as a unit of polarization direction. The case where it is done is illustrated.
  • the polarization component obtained for each polarization component unit is from a region of different polarization component units adjacent to the polarization component unit.
  • the proportion of the leaked portion of the polarized light component of FIG. 5 is smaller than that of the 1 ⁇ 1 pixel shown in FIG. 5 (a).
  • the polarizing filter uses a wire grid, polarized light whose electric field component is perpendicular to the direction of the grid (wire direction) is transmitted, and the longer the wire, the higher the transmittance. Therefore, when the polarization component unit is 2 ⁇ 2 pixels, the transmittance is higher than that of 1 ⁇ 1 pixel, and the extinction ratio can be improved.
  • FIG. 5C shows a case where the 2 ⁇ 2 pixel polarized pixel block shown in FIG. 5A is used as one color unit and the three primary color pixels (red pixel, green pixel, and red pixel) are arranged in a bayer arrangement. Shown.
  • FIG. 5D illustrates a case where the three primary color pixels are provided in a Bayer array for each pixel block of 2 ⁇ 2 pixels shown in FIG. 5B in the same polarization direction.
  • FIG. 5 (e) shows a case where three primary color pixels are provided in a bayer array for each pixel block of 2 ⁇ 2 pixels in the same polarization direction, and blocks of 2 ⁇ 2 pixels having different polarization directions are pixels of the same color. Illustrate.
  • the pixel blocks of the bayer array in the same polarization direction of 2 ⁇ 2 pixels have a phase difference of 90 in the polarization direction from the pixel blocks adjacent in the horizontal direction, and are adjacent to the pixel blocks in the vertical direction.
  • the case where the phase difference in the polarization direction of is ⁇ 45 degrees is shown.
  • the pixel blocks of the bayer array in the same polarization direction of 2 ⁇ 2 pixels have a phase difference of 90 in the polarization direction from the pixel blocks adjacent in the vertical direction, and are adjacent to the pixel blocks in the horizontal direction.
  • the case where the phase difference in the polarization direction of is ⁇ 45 degrees is shown.
  • FIG. 6 illustrates a pixel configuration in a plurality of polarization directions (when a pixel having right-handed circularly polarized light is provided).
  • the 2 ⁇ 2 pixels shown in FIG. 5F are blocks in the same polarization direction, and the blocks in the same polarization direction are red pixels, green pixels, blue pixels, and purple. It is composed of pixels.
  • 2 ⁇ 2 pixel blocks having different polarization directions of 0 degrees, 45 degrees, and 90 degrees are circularly polarized. The case where the pixel is used is illustrated.
  • the 2 ⁇ 2 pixels shown in FIG. 5E are blocks in the same polarization direction, and in the block of 4 ⁇ 4 pixels, the blocks in the same polarization direction are red pixels and green. It is composed of pixels, blue pixels, and purple pixels. Further, in a 4 ⁇ 4 pixel block in which 2 ⁇ 2 pixel blocks in the same polarization direction are provided for each polarization direction, a 2 ⁇ 2 pixel block having different polarization directions of 0 degrees, 45 degrees, and 90 degrees is a right circle. The case where the polarized light is used is illustrated.
  • the configurations shown in FIGS. 5 and 6 are examples, and other configurations may be used. For example, the pixel arrangement may be different, or an unpolarized white pixel or the like may be further provided.
  • the demosaic processing unit 32 performs demosaic processing when calculating the polarization characteristics for each pixel.
  • the observed value (pixel value) obtained by one pixel indicates only one wavelength region and one polarized state. There is.
  • the polarized light irradiation unit 20 has the configuration shown in FIG. 2A
  • the red pixels in the polarized image acquisition unit 31 whose polarization direction is 0 degrees observe the polarized light whose polarization direction is 0 degrees. Shows the pixel values observed in pixels with a polarization direction of 0 degrees when the light is irradiated.
  • the demosaic processing unit 32 performs demosaic processing using a polarized image composed of a plurality of wavelength regions and pixels for each polarized component generated by the polarized image acquisition unit 31, and obtains a polarized image for each polarized component for each wavelength region. Generate.
  • the demosaic processing unit 32 outputs the polarized image generated by the polarized image acquisition unit 31 to the level adjusting unit 33 without performing demosaic processing.
  • the level adjusting unit 33 adjusts the level of the polarized image in each wavelength range so that the polarization characteristic calculation unit 34, which will be described later, can calculate the polarization characteristic without being affected by the color of the subject, and the observation target is achromatic. Generate a polarized image.
  • the level adjusting unit 33 adjusts the pixel value levels of the red polarized image and the blue polarized image so that the observation target becomes achromatic, for example, based on the green polarized image. Also, by adjusting the pixel value level of other colors based on the color with the highest pixel value level, it is possible to prevent the pixel values of other colors from being adjusted to be small when the green pixel value is small. can.
  • the gain for level matching is the color of the polarized pixels having the same color and different polarization directions, that is, the level discrimination value obtained by averaging the pixel values within the 2 ⁇ 2 pixels shown by the dotted lines. It is calculated for each, and is calculated based on the level discrimination value of another color with respect to the level discrimination value of the reference color.
  • the gain for level matching uses the pixel value of the unpolarized pixel provided in the polarized image acquisition unit 31 as the level discrimination value and is the reference color level. It may be calculated based on the level discrimination value of another color with respect to the discrimination value.
  • the level adjustment unit 33 outputs the polarized image after level adjustment to the polarization characteristic calculation unit 34.
  • the polarization characteristic calculation unit 34 calculates the polarization characteristic of the observation target, for example, the Muller matrix, using the polarized image after level adjustment. Further, when the demosaic processing unit 32 is provided, the polarization characteristic calculation unit 34 calculates the polarization characteristic for each pixel from the polarized image whose level is adjusted by the level adjustment unit 33. The details of the calculation of the Muller matrix will be described later.
  • FIG. 8 is a flowchart illustrating the operation of the information processing system.
  • the information processing system irradiates polarized light.
  • the polarized light irradiation unit 20 of the information processing system 10 irradiates polarized light having a different polarization state for each wavelength region toward the observation target for which the polarization characteristic is calculated, and proceeds to step ST2.
  • the information processing system acquires polarized light information.
  • the information processing device 30 of the information processing system 10 acquires polarized light information.
  • the information processing device 30 acquires polarized light information indicating a wavelength range included in the polarized light emitted from the polarized light irradiation unit 20 and a polarization state for each wavelength range from the polarized light irradiation unit 20, and proceeds to step ST3.
  • the polarized light information is not limited to the case where it is acquired from the polarized light irradiating unit 20, for example, the polarized light information for each polarized light irradiating unit that can be used for calculating the polarization characteristics is stored in advance in the information processing device 30 and polarized. Polarized light information of the polarized light irradiation unit used for calculating the characteristics may be selected and used. Further, the polarized light information may be acquired at any timing as long as it is before the calculation of the polarization characteristics in step ST6 described later.
  • step ST3 the information processing system acquires a polarized image.
  • the polarized image acquisition unit 31 of the information processing apparatus 30 captures an observation target irradiated with polarized light by the polarized light irradiation unit 20, acquires a polarized image, and proceeds to step ST4.
  • step ST4 the information processing system performs demosaic processing.
  • the demosaic processing is performed when calculating the polarization characteristics for each pixel, and when calculating the polarization characteristics for each pixel range composed of a plurality of pixels, the processing of the next step is performed without performing the demosaic processing. You may.
  • the demosaic processing unit 32 of the information processing apparatus 30 generates polarized images for each wavelength region and each polarized component from the polarized images acquired in step ST3, and proceeds to step ST5.
  • step ST5 the information processing system adjusts the level.
  • the level adjusting unit 33 of the information processing apparatus 30 adjusts the level of the polarized image for each wavelength range so that the observation target becomes achromatic in the polarized image, and proceeds to step ST6.
  • the information processing system calculates the polarization characteristics.
  • the polarization characteristic calculation unit 34 of the information processing apparatus 30 calculates the polarization characteristic of the observation target, for example, the Muller matrix, using the polarized image after level adjustment. For example, when demosaic processing is performed, the pixel values for each red polarization direction from one pixel indicating the observation target are used.
  • the Stokes vector of the red polarized light (0 degree polarized light) emitted from the polarized light irradiation unit 20 is the equation (2)
  • the Stokes vector of the green polarized light (45 degree polarized light) is the equation (3)
  • the blue polarized light The Stokes vector of 90 degree polarized light is given by Eq. (4)
  • the Stokes vector of purple polarized light (for example, light transmitted through a polarizing plate having a polarization direction of 135 degrees and a ⁇ / 4 wave plate) is given by Eq. (5).
  • the polarization characteristic calculation unit 34 calculates the Stokes vector of the observation light observed by the polarization image acquisition unit 31.
  • the polarization characteristic calculation unit 34 uses the pixel values of the red pixels having sensitivity to 0 degree polarized light to set the parameters of the observed light when the 0 degree polarized light is irradiated from equations (17) to (20). Calculated based on.
  • the observed value having a polarization direction of 0 degrees is defined as an observed value I 0
  • the observed value having a polarization direction of 45 degrees is defined as an observed value I 45
  • the observed value having a polarization direction of 90 degrees is defined as an observed value I 90 .
  • the observed value of circularly polarized light when a 135 degree polarizing plate and a ⁇ / 4 wave plate are used is defined as an observed value Irc .
  • the polarization characteristic calculation unit 34 is irradiated with 0 degree polarized light based on the equations (17) and (18) and the equations (19) and (20) or the equations (21) and (22) corresponding to the circularly polarized polarized pixels. calculates parameters s0 0, s1 0, s2 0 , s3 0 of the observation light when the.
  • the polarization characteristic calculation unit 34 uses the pixel values of green pixels (blue pixels, purple pixels) having sensitivity to polarized light of 45 degrees (90 degrees, circularly polarized light) to 45 degrees (90 degrees, circularly polarized light).
  • the parameters of the observed light when the polarized light of No. s0 45 , s1 45 , s2 45 , s3 45 (s0 90 , s1 90 , s2 90 , s3 90 , s0 rc , s1 rc , s2 rc , s3 rc ) are set. Calculate in the same way as for red pixels.
  • the polarization characteristic calculating section 34 calculates parameters s0 0, s1 0, s2 0 , s3 0, s0 45, s1 45, s2 45, s3 45, s0 90, s1 90, s2 90, s3 90, s0 rc , S1 rc , s2 rc , s3 rc and the Stokes vector S 0 , S 1 , S 2 , S 3 of the irradiated polarized light, and the relationship of equations (7) to (10) is established in the Muller matrix. Each component m00 to m33 is calculated.
  • the present technology it is not necessary to switch the polarization state of the polarized light to acquire a polarized image for each polarization state, and the polarization characteristics of the observation target can be obtained based on the polarization image acquired in one imaging operation. Can be calculated. Further, since the polarization characteristic of the observation target can be calculated based on the polarized image acquired in one imaging operation, the polarization characteristic can be easily calculated even if the observation target is a moving object.
  • FIG. 9 illustrates a case where two filters are used to generate light having two wavelength ranges.
  • FIG. 9A exemplifies the characteristics of the first filter.
  • the first filter is, for example, a bandpass filter and transmits the wavelength range W ⁇ a.
  • FIG. 9B exemplifies the characteristics of the second filter.
  • the second filter is, for example, a band strap filter (notch filter), which blocks the transmission of the wavelength region W ⁇ b within the wavelength region W ⁇ a. Therefore, the light transmitted through the first filter and the second filter is light having wavelength ranges W ⁇ c and W ⁇ d as shown in FIG. 9C.
  • the polarized light irradiation unit 20 uses a plurality of filters to indicate one polarized state with polarized light in a plurality of wavelength ranges.
  • FIG. 10 illustrates a case where one polarized state is shown in two wavelength regions.
  • the 0 degree polarized light is defined as two wavelength regions C1 and C8.
  • the polarized light of 45 degrees is defined as two wavelength regions C2 and C7
  • the polarized light of 90 degrees is defined as two wavelength regions C3 and C6
  • the polarized light of circularly polarized light is defined as two wavelength regions C4 and C5.
  • the polarized image acquisition unit 31 generates a polarized image for each wavelength region, and the observed values for the polarized light at 0 degrees are, for example, the observed values shown in the polarized image in the wavelength region C1 and the polarized light in the wavelength region C8. It is the average value of the observed values shown in the image. In addition, the observed values are calculated in the same manner for polarized light in other polarized states.
  • the polarization characteristics can be calculated accurately when the properties other than the level are the same in each wavelength range. Further, when one polarization state of polarized light is shown in a plurality of wavelength regions, the polarization characteristics are calculated using the observed values in the plurality of wavelength regions, so that any property other than the level is different in each wavelength region. It is possible to calculate the polarization characteristics more accurately than when showing one polarization state of polarized light in one wavelength region. For example, when any property other than the level changes linearly as the wavelength becomes longer, the wavelength range indicating one polarization state is combined as shown in FIG. 10A to change according to the wavelength.
  • the influence of these properties is averaged, and the polarization characteristics can be calculated accurately. Further, for example, when any property other than the level is the best between the wavelength ranges C4 and C5, and the performance deteriorates equally on the short wavelength side and the long wavelength side when the distance is far from this wavelength range, one polarization state. By setting, for example, the combination of wavelength ranges showing the above as shown in FIG. 10 (b), it is possible to make the deterioration of performance equivalent in each polarized state.
  • the polarized light is not limited to visible light, and infrared light or ultraviolet light may be used.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • the program that records the processing sequence is installed in the memory in the computer embedded in the dedicated hardware and executed.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk as a recording medium, an SSD (Solid State Drive), or a ROM (Read Only Memory).
  • the program is a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto optical) disk, DVD (Digital Versatile Disc), BD (Blu-Ray Disc (registered trademark)), magnetic disk, semiconductor memory card. It can be temporarily or permanently stored (recorded) on a removable recording medium such as an optical disc.
  • a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the information processing device of the present technology can have the following configurations.
  • a polarized image acquisition unit that acquires a polarized image by providing polarized pixels in a plurality of polarization directions for each of a plurality of wavelength regions.
  • a level adjusting unit that adjusts the level of the polarized image for each wavelength range acquired by the polarized image acquisition unit, and a level adjusting unit.
  • An information processing device including a polarization characteristic calculation unit that calculates polarization characteristics from the polarized image whose level has been adjusted by the level adjustment unit.
  • the information processing apparatus wherein the plurality of wavelength regions are wavelength regions of polarized light in which a plurality of wavelength regions are assigned to one polarized state.
  • the polarized image acquisition unit has three or more linearly polarized polarized pixels for each wavelength region.
  • the polarized image acquisition unit has three or more linearly polarized polarized pixels and one or more circularly polarized polarized pixels for each wavelength range. .. (6)
  • the information processing apparatus calculates the level discrimination value using the observed values of the plurality of polarized pixels in the polarization direction for each wavelength range.
  • the polarized image acquisition unit has unpolarized pixels for each of the wavelength regions.
  • the information processing apparatus uses the observed value of the unpolarized pixel as the level discriminating value.
  • the level adjusting unit adjusts the level of the polarized image generated by the demosaic processing unit.

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

偏光画像取得部（３１）は、複数の波長域毎に複数の偏光方向の偏光画素を設けて偏光画像を取得する。レベル調整部（３３）は、偏光画像取得部で取得された波長域毎の偏光画像のレベル合わせを行う。偏光特性算出部（３４）は、レベル調整部でレベル合わせが行われた偏光画像から偏光特性を算出する。複数の波長域毎および偏光画素の複数の偏光方向毎の偏光画像を同時に取得できるので、偏光方向が異なる偏光光を異なる波長域として偏光画像を取得すれば、照射する偏光光の偏光方向の切り替えおよび偏光光の偏光毎に複数の偏光画像を取得する操作を行わなくとも偏光特性を算出できるようになる。

Description

情報処理装置と情報処理方法および情報処理システム
　この技術は、情報処理装置と情報処理方法および情報処理システムに関し、偏光特性を容易に算出する。
　従来、反射したときに偏光がどうなるかという光の状態遷移はMueller(ミュラー)行列で表現されるが、素材毎に異なっているミュラー行列を計測や推定する際には数種類の偏光照明を照射して観測する必要があり、複数回の撮影を必要とする。例えば特許文献１では、試料に照射する照射光の偏光状態を４種類以上に変化させて、偏光状態毎に試料からの散乱光を二次元検出器で検出して、偏光状態毎の検出結果に基づき偏光特性を算出することが行われている。
特開２０１７－１９４３４０号公報
　ところで、特許文献１では、照射光の偏光状態を４種類以上に変化させて、偏光状態毎に試料からの散乱光を二次元検出器で検出するため、偏光特性の測定に時間を要してしまう。また、偏光状態毎に試料からの散乱光を二次元検出器で検出する際に、試料が動きを生じてしまうと偏光特性を算出することが困難である。
　そこで、この技術では容易に偏光特性を算出できる情報処理装置と情報処理方法および情報処理システムを提供することを目的とする。
　この技術の第１の側面は、
　複数の波長域毎に複数の偏光方向の偏光画素を設けて偏光画像を取得する偏光画像取得部と、
　前記偏光画像取得部で取得された前記波長域毎の前記偏光画像のレベル合わせを行うレベル調整部と、
　前記レベル調整部でレベル合わせが行われた前記偏光画像から偏光特性を算出する偏光特性算出部と
を備える情報処理装置にある。
　この技術においては、複数の波長域毎例えば３以上の偏光状態毎に波長域が異なる偏光光の波長域毎に、３以上の直線偏光の偏光画素または３以上の直線偏光の偏光画素と１以上の円偏光の偏光画素を偏光画像取得部に設けて偏光画像を取得する。また、複数の波長域は、１つの偏光状態に対して複数の波長域を割り当てた偏光光の波長域でもよい。
　レベル調整部は、例えば偏光画像取得部で取得された波長域毎のレベル判別値によって示される色が無彩色となるように、偏光画像のレベル合わせを行う。レベル調整部は、波長域毎に複数の偏光方向の偏光画素の観測値を用いてレベル判別値を算出してもよく、偏光画像取得部に設けられた波長域毎の無偏光画素の観測値をレベル判別値として用いてもよい。
　偏光特性算出部は、レベル調整部でレベル合わせが行われた偏光画像から偏光特性を算出する。また、デモザイク処理部をさらに設けて、偏光画像取得部で取得された偏光画像から、複数の波長域毎に複数の偏光方向毎の偏光画像を生成して、複数の波長域毎に生成された複数の偏光方向毎の偏光画像の波長域レベル合わせを行い、波長域レベル合わせ後の偏光画像を用いて画素単位で偏光特性を算出してもよい。
　この技術の第２の側面は、
　複数の波長域毎に複数の偏光方向の偏光画素を設けた偏光画像取得部で偏光画像を取得することと、
　複数の波長域毎に複数の偏光方向の偏光画素を設けて偏光画像を偏光画像取得部で取得することと、
　前記偏光画像取得部で取得された前記波長域毎の前記偏光画像のレベル合わせをレベル調整部で行うことと、
　前記レベル調整部でレベル合わせが行われた前記偏光画像から偏光特性を偏光特性算出部で算出すること
を含む情報処理方法にある。
　この技術の第３の側面は、
　偏光状態毎に波長域が異なる複数の前記波長域の偏光光を観測対象に照射する偏光光照射部と、
　前記複数の波長域毎に複数の偏光方向の偏光画素を設けて前記観測対象の偏光画像を取得する偏光画像取得部と、
　前記偏光画像取得部で取得された前記波長域毎の前記偏光画像のレベル合わせを行うレベル調整部と、
　前記レベル調整部でレベル合わせが行われた前記偏光画像から前記観測対象の偏光特性を算出する偏光特性算出部と
を備える情報処理システムにある。
情報処理システムの構成を例示した図である。 光学素子部の構成を例示した図である。 偏光画像取得部の構成を例示した図である。 画素構成を例示した図である。 複数の偏光方向の画素構成を例示した図である。 複数の偏光方向の画素構成（円偏光の画素を設けた場合）を例示した図である。 レベル調整部でレベル合わせのためのゲインの算出に用いる画素を例示した図である。 情報処理システムの動作を例示したフローチャートである。 ２つのフィルタを用いて２つの波長域を有する光を生成する場合を例示した図である。 １つの偏光状態を２つの波長域で示す場合を例示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．偏光特性と本技術について
　２．情報処理システムの構成
　３．情報処理システムの動作
　４．情報処理システムの他の構成
　＜１．偏光特性と本技術について＞
　光の偏光状態を表現する指標として例えばストークスベクトルが用いられている。式（１）はストークスベクトルＳを示しており、パラメータｓ０は光強度、パラメータｓ１は水平直線偏光成分、パラメータｓ２は４５度直線偏光成分、パラメータｓ３は右偏光成分を示している。したがって、水平直線偏光を示すストークスベクトルＳ０は式（２）、４５度直線偏光を示すストークスベクトルＳ４５は式（３）、垂直直線偏光を示すストークスベクトルＳ９０は式（４）、右回り円偏光をストークスベクトルＳｒｃは式（５）として示される。
Figure JPOXMLDOC01-appb-M000001
　また、観測対象の偏光特性を表現する指標として例えば式（６）に示すミュラー行列（Mueller Matrix）が用いられている。
Figure JPOXMLDOC01-appb-M000002
　ここで、式（２）乃至式（４）のストークスベクトルを入射光（観測対象に照射する照射光）とすると、入射光が水平直線偏光であるときの出射光（観測対象からの反射光あるいは透過光）のストークスベクトルＳｖ０は式（７）に基づいて算出できる。また、入射光が４５度直線偏光であるときの出射光のストークスベクトルＳｖ４５は式（８）、入射光が垂直直線偏光であるときの出射光のストークスベクトルＳｖ９０は式（９）、入射光が右回り円偏光であるときの出射光のストークスベクトルＳｖｒｃは式（１０）に基づいて算出できる。
Figure JPOXMLDOC01-appb-M000003
　なお、式（２）～（４），式（７）～（９）は、入射光の偏光状態が０度，４５度，９０度である場合を例示したが、偏光状態がｐ１，ｐ２，Ｐ３である場合、入射光のストークスベクトルＳｐ１，Ｓｐ２，Ｓｐ３は式（１１）～（１３）、出射光のストークスベクトルＳｖｐ１，Ｓｖｐ２，Ｓｖｐ３は式（１４）～（１６）で示すことができる。式（１４）におけるパラメータａｐ１，ｂｐ１は、角度Ｐ１に応じた既知の値である。また、式（１５）におけるパラメータａｐ２，ｂｐ２は、角度Ｐ２に応じた既知の値、式（１６）におけるパラメータａｐ３，ｂｐ３は、角度Ｐ３に応じた既知の値である。
　また、円偏光を取得しない場合、ストークスベクトルではパラメータｓ３、式（４）（９）のベクトルがなく、ミュラー行列は式（５）に示す４列目（ｎ，３）と４行目（３，ｎ）の成分（ｎ＝０，１，２，３）のない３×３の行列となる。
Figure JPOXMLDOC01-appb-M000004
　本技術では、入射光を各偏光状態に順次切り替えて各偏光状態の出射光を観測しなくとも、ミュラー行列を算出できるようにする。具体的には偏光状態と入射光の波長域を関係付けて、各偏光状態を示す入射光を生成する。例えば、偏光状態が０度の入射光は第１の波長域とする。また、偏光状態が４５度の入射光は第１の波長域と異なる第２の波長域、偏光状態が９０度の入射光は第１および第２の波長域と異なる第３の波長域、偏光状態が右円偏光の入射光は第１乃至第３の波長域と異なる第４の波長域とする。
　出射光の観測では、波長域を選択することで、入射光が所望の偏光状態であるときの出力光を得る。例えば第１の波長域を選択して入射光の偏光状態が０度であるときの出力光、第２の波長域を選択して入射光の偏光状態が４５度であるときの出力光、第３の波長域を選択して入射光の偏光状態が９０度であるときの出力光、第４の波長域を選択して入射光の偏光状態が右円偏光であるときの出力光をそれぞれ得る。さらに、入射光の偏光状態毎に得られた出力光の観測値に基づき偏光特性としてミュラー行列を算出する。
　＜２．情報処理システムの構成＞
　図１は、情報処理システムの構成を例示している。情報処理システム１０は、偏光光照射部２０と情報処理装置３０を有している。
　偏光光照射部２０は、光源部２１と光学素子部２２を用いて構成されており、偏光状態毎に波長域が異なる複数の波長域の偏光光を観測対象ＯＢに照射する。
　光源部２１は、無偏光の照射光を光学素子部２２に出射する。
　光学素子部２２は、カラーフィルタと偏光子を用いて構成されている。また、偏光状態に円偏光を含める場合には、λ／４波長板がさらに用いられる。カラーフィルタは、偏光状態と関係付けられており、例えば偏光状態が３つである場合には異なる３つの波長域、偏光状態が４つである場合には異なる４つの波長域で構成されている。偏光子としては、直線偏光子が設けられており、３つの波長域では、偏光方向が波長域毎に異なる方向とされている。また、円偏光を用いる場合には、円偏光に対応する波長域に直線偏光子と、円偏光に対応する波長域を透過する光の波長λに対するλ／４波長板が設けられている。
　図２は光学素子部の構成を例示している。なお、図２の（ａ）は偏光状態が３つ、図２の（ｂ）は偏光状態が４つである場合の光学素子部２２の構成を示している。
　図２の（ａ）は、光源部２１から出射された光の透過領域が円状とされており、透過領域を３つに等分割して、赤色を透過する領域に偏光方向が０度の偏光子、緑色を透過する領域に偏光方向が４５度の偏光子、青色を透過する領域に偏光方向が９０度の偏光子を設けた場合を例示している。
　図２の（ｂ）は、光源部２１から出射された光の透過領域が円状とされており、透過領域を４つに等分割して、赤色を透過する領域に偏光方向が０度の偏光子、緑色を透過する領域に偏光方向が４５度の偏光子、青色を透過する領域に偏光方向が９０度の偏光子、紫色を透過する領域に例えば偏光方向が１３５度の直線偏光子とλ／４波長板を設けた場合を例示している。なお、図２では、円状の透過領域を等分割する場合を例示しているが、光学素子部２２は、例えば多角形状の透過領域等を波長域毎の光量が等しくなるように分割した構成であってもよい。
　情報処理装置３０は、偏光画像取得部３１、レベル調整部３３、偏光特性算出部３４を有している。また、デモザイク処理部３２を設けてもよい。
　偏光画像取得部３１は偏光状態毎に偏光画像を取得する。図３は、偏光画像取得部の構成を例示している。偏光画像取得部３１は、例えば図３の（ａ）に示すように、イメージセンサ３１１の撮像面側にカラーフィルタ３１２と複数の偏光方向の画素構成とされた偏光フィルタ３１３を配置した構成である。なお、図３の（ａ）では、各画素が異なる４種類の偏光方向のいずれかの画素となる偏光フィルタ３１３をイメージセンサ３１１の前面に配置した場合を例示している。また、偏光画像取得部３１は、図３の（ｂ）に示すように、マルチレンズアレイの構成を利用して偏光方向が異なる複数の偏光画像を生成してもよい。例えばイメージセンサ３１１の撮像面側にレンズ３１４を複数設けて、各レンズ３１４によって被写体の光学像をイメージセンサ３１１の撮像面にそれぞれ結像させる。また、各レンズ３１４の前面に偏光フィルタ３１５を設けて、偏光フィルタ３１５の偏光方向を画素単位で異なる方向として、偏光方向が異なる複数の偏光画像を生成する。
　図４は、画素構成を例示しており、図に示す構成が水平方向および垂直方向に繰り返されている。また、カラーフィルタと偏光フィルタを用いた画素構成では、偏光光照射部２０から照射された光の波長域に対応した画素を設ける。例えば、偏光光照射部２０における光学素子部２２が図２の（ａ）に示すように、偏光状態が３つで、各偏光状態が三原色（赤色と緑色と青色）の波長域とされている場合、図４の（ａ）に示すように、２×２画素の偏光画素ブロックを、例えば偏光方向（偏光角）が０度、４５度、９０度、１３５度の偏光画素で構成して、２×２画素の偏光画素ブロックを１つの色単位として、三原色の色単位のブロックをベイヤ配列とする。
　また、偏光光照射部２０における光学素子部２２が図２の（ｂ）に示すように、偏光状態が４つで、各偏光状態が三原色（赤色と緑色と青色）と紫色の波長域とされている場合、図４の（ｂ）に示すように、２×２画素の偏光画素ブロックを、例えば偏光方向（偏光角）が０度、４５度、９０度、右円偏光の偏光画素で構成して、２×２画素の偏光画素ブロックを１つの色単位として、三原色（赤色と緑色と青色）の色単位のブロックをベイヤ配列と同様に設けて、ベイヤ配列における２つ緑色のブロックの一つを紫色のブロックとする。
　図５は、複数の偏光方向の画素構成を例示しており、図に示す構成が水平方向および垂直方向に繰り返されている。図５の（ａ）は２×２画素の偏光画素ブロックを、例えば偏光方向が０度、４５度、９０度、１３５度の偏光画素で構成した場合を例示している。また、図５の（ｂ）は２×２画素を偏光方向の単位として、４×４画素の偏光画素ブロックを、例えば偏光方向が０度、４５度、９０度、１３５度の偏光画素で構成した場合を例示している。なお、偏光フィルタの偏光成分単位が図５の（ｂ）に示すように２×２画素である場合、偏光成分単位毎に得られた偏光成分に対して、隣接する異なる偏光成分単位の領域からの偏光成分の漏れ込み分の割合は、図５の（ａ）に示す１×１画素に比べて少なくなる。また、偏光フィルタがワイヤーグリッドを用いている場合、格子の方向（ワイヤー方向）に対して電場成分が垂直方向である偏光光が透過されて、透過率はワイヤーが長いほど高くなる。このため、偏光成分単位が２×２画素である場合は、１×１画素に比べて透過率が高くなり、消光比を良くすることができる。
　図５の（ｃ）乃至（ｇ）はカラーフィルタを含めた画素構成を例示している。図５の（ｃ）は、図５の（ａ）に示す２×２画素の偏光画素ブロックを１つの色単位として、三原色画素（赤色画素と緑色画素と赤色画素）をベイヤ配列とした場合を示している。
　図５の（ｄ）は、図５の（ｂ）に示す２×２画素の同一偏光方向の画素ブロック毎に、三原色画素をベイヤ配列で設けた場合を例示している。
　図５の（ｅ）は、２×２画素の同一偏光方向の画素ブロック毎に、三原色画素をベイヤ配列で設けて、偏光方向が異なる２×２画素のブロックを同一色の画素とした場合を例示している。
　図５の（ｆ）は、２×２画素の同一偏光方向でベイヤ配列の画素ブロックについて、水平方向に隣接する画素ブロックとの偏光方向の位相差が９０で、垂直方向に隣接する画素ブロックとの偏光方向の位相差が±４５度である場合を示している。
　図５の（ｇ）は、２×２画素の同一偏光方向でベイヤ配列の画素ブロックについて、垂直方向に隣接する画素ブロックとの偏光方向の位相差が９０で、水平方向に隣接する画素ブロックとの偏光方向の位相差が±４５度である場合を示している。
　図６は、複数の偏光方向の画素構成（右円偏光の画素を設けた場合）を例示している。例えば、図６の（ａ）は、図５の（ｆ）に示す２×２画素が同一偏光方向のブロックとされており、同一偏光方向のブロックは、赤色画素と緑色画素と青色画素および紫色画素で構成されている。また、同一偏光方向の２×２画素のブロックを、偏光方向毎に設けた４×４画素のブロックにおいて、偏光方向が０度、４５度、９０度と異なる２×２画素のブロックを円偏光の画素とした場合を例示している。
　図６の（ｂ）は、図５の（ｅ）に示す２×２画素が同一偏光方向のブロックとされており、４×４画素のブロックにおいて、同一偏光方向のブロックは、赤色画素と緑色画素と青色画素および紫色画素で構成されている。また、同一偏光方向の２×２画素のブロックを、偏光方向毎に設けた４×４画素のブロックにおいて、偏光方向が０度、４５度、９０度と異なる２×２画素のブロックを右円偏光の画素とした場合を例示している。なお、図５，図６に示す構成は例示であって、他の構成を用いてもよい。例えば、画素配置が異なる構成であってもよく、無偏光の白色画素等をさらに設けた構成であってもよい。
　デモザイク処理部３２は、画素毎に偏光特性を算出する場合にデモザイク処理を行う。偏光画像取得部３１の画素構成が図４乃至図６に示すいずれかの構成である場合、１つ画素で得られる観測値（画素値）は１つの波長域かつ１つの偏光状態のみを示している。例えば偏光光照射部２０が図２の（ａ）に示す構成である場合、偏光画像取得部３１における赤色画素で偏光方向が０度の画素は、偏光方向が０度である偏光光を観測対象に照射したときに、偏光方向が０度の画素で観測された画素値を示している。したがって、赤色画素で偏光方向が０度の画素の位置では、偏光方向が０度と異なる偏光光を観測対象に照射したとき、偏光方向が０度あるいは他の角度で観測した画素値を取得することができない。そこで、デモザイク処理部３２は、偏光画像取得部３１で生成された複数の波長域および偏光成分毎の画素からなる偏光画像を用いてデモザイク処理を行い、偏光成分毎の偏光画像を波長域毎に生成する。例えば、デモザイク処理では、偏光画像の注目画素の画素信号と注目画素の近傍に位置する同一偏光成分毎の画素の画素信号を波長域毎に用いて、注目画素における偏光成分毎の偏光画像を波長域毎に算出してレベル調整部３３へ出力する。なお、偏光画素ブロック毎に偏光特性を算出する場合、デモザイク処理部３２は、偏光画像取得部３１で生成された偏光画像に対してデモザイク処理を行うことなくレベル調整部３３へ出力する。
　レベル調整部３３は、後述する偏光特性算出部３４で、被写体の色に影響されることなく偏光特性を算出できるように、各波長域の偏光画像のレベル合わせを行い、観測対象が無彩色である偏光画像を生成する。レベル調整部３３は、例えば緑色偏光画像を基準として、観測対象が無彩色となるように赤色偏光画像と青色偏光画像の画素値のレベルを調整する。また、最も画素値のレベルが高い色を基準として、他の色の画素値のレベルを調整すれば、緑色の画素値が小さい場合に他の色の画素値が小さく調整されてしまうことを防止できる。図７はレベル調整部でレベル合わせのためのゲインの算出に用いる画素を例示している。レベル合わせのためのゲインは、図７の（ａ）に示すように、同一色かつ異なる偏光方向の偏光画素、すなわち点線で示した２×２画素内の画素値を平均したレベル判別値を色毎に算出して、基準とする色のレベル判別値に対して他の色のレベル判別値に基づき算出する。また、レベル合わせのためのゲインは、図７の（ｂ）に示すように、偏光画像取得部３１に設けられた無偏光画素の画素値をレベル判別値として用いて、基準とする色のレベル判別値に対して他の色のレベル判別値に基づき算出してもよい。レベル調整部３３は、レベル合わせ後の偏光画像を偏光特性算出部３４へ出力する。
　偏光特性算出部３４は、レベル合わせ後の偏光画像を用いて観測対象の偏光特性、例えばミュラー行列を算出する。また、偏光特性算出部３４は、デモザイク処理部３２が設けられている場合、レベル調整部３３でレベル合わせが行われた偏光画像から偏光特性を画素毎に算出する。なお、ミュラー行列の算出についての詳細は後述する。
　＜３．情報処理システムの動作＞
　図８は、情報処理システムの動作を例示したフローチャートである。ステップＳＴ１で情報処理システムは偏光光を照射する。情報処理システム１０の偏光光照射部２０は、偏光特性を算出する観測対象に向けて、波長域毎に偏光状態が異なる偏光光を照射してステップＳＴ２に進む。
　ステップＳＴ２で情報処理システムは偏光光情報を取得する。情報処理システム１０の情報処理装置３０は、偏光光情報を取得する。情報処理装置３０は、偏光光照射部２０から照射された偏光光に含まれる波長域と波長域毎の偏光状態を示す偏光光情報を偏光光照射部２０から取得してステップＳＴ３に進む。なお、偏光光情報は、偏光光照射部２０から取得する場合に限らず、例えば偏光特性の算出に利用可能な偏光光照射部毎の偏光光情報を情報処理装置３０に予め記憶して、偏光特性の算出に用いる偏光光照射部の偏光光情報を選択して用いるようにしてもよい。また、偏光光情報の取得は、後述するステップＳＴ６の偏光特性の算出前であれば、いずれのタイミングで取得してもよい。
　ステップＳＴ３で情報処理システムは偏光画像を取得する。情報処理装置３０の偏光画像取得部３１は、偏光光照射部２０によって偏光光が照射されている観測対象を撮像して、偏光画像を取得してステップＳＴ４に進む。
　ステップＳＴ４で情報処理システムはデモザイク処理を行う。デモザイク処理は、画素毎に偏光特性を算出する場合に行い、複数画素で構成される画素範囲毎に偏光特性を算出する場合にはデモザイク処理を行うことなく、次のステップの処理を行うようにしてもよい。情報処理装置３０のデモザイク処理部３２は、ステップＳＴ３で取得された偏光画像から、波長域毎および偏光成分毎の偏光画像を生成してステップＳＴ５に進む。
　ステップＳＴ５で情報処理システムはレベル合わせを行う。情報処理装置３０のレベル調整部３３は、例えば観測対象が偏光画像で無彩色になるように波長域毎の偏光画像のレベル合わせを行いステップＳＴ６に進む。
　ステップＳＴ６で情報処理システムは偏光特性を算出する。情報処理装置３０の偏光特性算出部３４は、レベル合わせ後の偏光画像を用いて観測対象の偏光特性、例えばミュラー行列を算出する。例えばデモザイク処理が行われている場合、観測対象を示す１つの画素から赤色の偏光方向毎の画素値を用いる。ここで、偏光光照射部２０から照射される赤色偏光光（０度偏光）のストークスベクトルは式（２）、緑色偏光光（４５度偏光）のストークスベクトルは式（３）、青色偏光光（９０度偏光）のストークスベクトルは式（４）、紫色偏光光（例えば偏光方向が１３５度である偏光板とλ／４波長板を透過した光）のストークスベクトルは式（５）である。
　偏光特性算出部３４は、偏光画像取得部３１で観測した観測光のストークスベクトルを算出する。偏光特性算出部３４は、０度の偏光光に感度を有する赤色画素の画素値を用いて、０度の偏光光が照射されたときの観測光のパラメータを式（１７）乃至式（２０）に基づき算出する。なお、偏光方向が０度である観測値を観測値Ｉ０、偏光方向が４５度の観測値を観測値Ｉ４５、偏光方向が９０度である観測値を観測値Ｉ９０とする。また、１３５度の偏光板とλ／４波長板を用いた場合の円偏光の観測値を観測値Ｉｒｃとする。
Figure JPOXMLDOC01-appb-M000005
　また、偏光方向が１３５度である画素に代えて偏光方向が４５度である画素にλ／４波長板を設けて円偏光を観測する場合、式（１９）と式（２０）に代えて式（２１）と式（２２）を用いればよい。この場合、偏光方向が１３５度である観測値を観測値Ｉ１３５、４５度の偏光板とλ／４波長板を設けた画素の観測値を円偏光の観測値Ｉｒｃとする。
Figure JPOXMLDOC01-appb-M000006
　偏光特性算出部３４は、式（１７）（１８）、および円偏光の偏光画素に対応する式（１９）（２０）あるいは式（２１）（２２）に基づき、０度の偏光光が照射されたときの観測光のパラメータｓ００，ｓ１０，ｓ２０，ｓ３０を算出する。
　さらに、偏光特性算出部３４は、４５度（９０度，円偏光）の偏光光に感度を有する緑色画素（青色画素，紫色画素）の画素値を用いて、４５度（９０度，円偏光）の偏光光が照射されたときの観測光のパラメータｓ０４５，ｓ１４５，ｓ２４５，ｓ３４５（ｓ０９０，ｓ１９０，ｓ２９０，ｓ３９０，ｓ０ｒｃ，ｓ１ｒｃ，ｓ２ｒｃ，ｓ３ｒｃ）を赤色画素と同様に算出する。
　さらに、偏光特性算出部３４は、算出したパラメータｓ００，ｓ１０，ｓ２０，ｓ３０，ｓ０４５，ｓ１４５，ｓ２４５，ｓ３４５，ｓ０９０，ｓ１９０，ｓ２９０，ｓ３９０，ｓ０ｒｃ，ｓ１ｒｃ，ｓ２ｒｃ，ｓ３ｒｃと照射された偏光光のストークスベクトルＳ０，Ｓ１，Ｓ２，Ｓ３を用いて、式（７）乃至式（１０）の関係が成立するミュラー行列の各成分ｍ００～ｍ３３を算出する。
　このように、本技術によれば、偏光光の偏光状態を切り替えて偏光状態毎に偏光画像を取得する必要がなく、１回の撮像動作で取得された偏光画像に基づき観測対象の偏光特性を算出できる。また、１回の撮像動作で取得された偏光画像に基づき観測対象の偏光特性を算出できるので、観測対象が動体であっても容易に偏光特性を算出できる。
　＜４．情報処理システムの他の構成＞
　上述の実施の形態では、１つの波長域で偏光光の１つの偏光状態を示す場合を例示したが、複数の波長域で偏光光の１つの偏光状態を示すようにしてもよい。
　図９は、２つのフィルタを用いて２つの波長域を有する光を生成する場合を例示している。例えば、図９の（ａ）は、第１フィルタの特性を例示しており、第１フィルタは例えばバンドパスフィルタであり波長域Ｗλａを透過させる。図９の（ｂ）は第２フィルタの特性を例示しており、第２フィルタは例えばバンドストラップフィルタ（ノッチフィルタ）であり、波長域Ｗλａ内における波長域Ｗλｂの透過を阻止する。したがって、第１フィルタと第２フィルタを透過した光は、図９の（ｃ）に示すように波長域Ｗλｃ，Ｗλｄを有する光となる。
　偏光光照射部２０は、複数のフィルタを用いることで、１つの偏光状態を複数の波長域の偏光光で示す。図１０は、１つの偏光状態を２つの波長域で示す場合を例示している。例えば、図１０の（ａ）に示すように、０度の偏光光は２つの波長域Ｃ1，Ｃ8とする。また、４５度の偏光光は２つの波長域Ｃ2，Ｃ7、９０度の偏光光は２つの波長域Ｃ3，Ｃ6、円偏光の偏光光は２つの波長域Ｃ4，Ｃ5とする。この場合、偏光画像取得部３１は、波長域毎に偏光画像を生成して、０度の偏光光に対する観測値は、例えば波長域Ｃ1の偏光画像で示された観測値と波長域Ｃ8の偏光画像で示された観測値の平均値とする。また他の偏光状態の偏光光についても同様にして観測値を算出する。
　上述の実施の形態のように、１つの波長域で偏光光の１つの偏光状態を示す場合、レベル以外の性質が各波長域で等しいときは精度よく偏光特性を算出できる。また、複数の波長域で偏光光の１つの偏光状態を示す場合、複数の波長域の観測値を用いて偏光特性を算出することから、レベル以外のいずれかの性質が各波長域で異なるとき、１つの波長域で偏光光の１つの偏光状態を示す場合よりも精度よく偏光特性を算出することが可能となる。例えば、波長が長くなるに伴いレベル以外のいずれかの性質がリニアに変化する場合、１つの偏光状態を示す波長域を図１０の（ａ）に示すように組み合わせることで、波長に応じて変化する性質の影響が平均化されて、精度よく偏光特性を算出できる。また、例えば波長域Ｃ4，Ｃ5の間でレベル以外のいずれかの性質が最良となり、この波長域よりも離れる場合に性能が短波長側と長波長側で同等に悪化する場合、１つの偏光状態を示す波長域の組み合わせを例えば図１０の（ｂ）に示すように設定すれば、各偏光状態で性能の悪化を同等とすることも可能となる。
　また、上述の実施の形態では、偏光光として可視光を用いる場合について説明したが、偏光光は可視光に限らず赤外光や紫外光を用いてもよい。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の情報処理装置は以下のような構成も取ることができる。
　（１）　複数の波長域毎に複数の偏光方向の偏光画素を設けて偏光画像を取得する偏光画像取得部と、
　前記偏光画像取得部で取得された前記波長域毎の前記偏光画像のレベル合わせを行うレベル調整部と、
　前記レベル調整部でレベル合わせが行われた前記偏光画像から偏光特性を算出する偏光特性算出部と
を備える情報処理装置。
　（２）　前記複数の波長域は、３以上の偏光状態毎に波長域が異なる偏光光の波長域である（１）に記載の情報処理装置。
　（３）　前記複数の波長域は、１つの偏光状態に対して複数の波長域を割り当てた偏光光の波長域である（２）に記載の情報処理装置。
　（４）　前記偏光画像取得部は、前記波長域毎に３以上の直線偏光の偏光画素を有する（１）乃至（３）に記載の情報処理装置。
　（５）　前記偏光画像取得部は、前記波長域毎に３以上の直線偏光の偏光画素と１以上の円偏光の偏光画素を有する（１）乃至（３）の何れかに記載の情報処理装置。
　（６）　前記レベル調整部は、前記波長域毎のレベル判別値によって示される色が無彩色となるように、前記偏光画像のレベル合わせを行う（１）乃至（５）の何れかに記載の情報処理装置。
　（７）　前記レベル調整部は、前記波長域毎に前記複数の偏光方向の偏光画素の観測値を用いて前記レベル判別値を算出する（６）に記載の情報処理装置。
　（８）　前記偏光画像取得部は、前記波長域毎に無偏光画素を有しており、
　前記レベル調整部は、前記無偏光画素の観測値を前記レベル判別値とする（６）に記載の情報処理装置。
　（９）　前記偏光画像取得部で取得された偏光画像から、前記複数の波長域毎に前記複数の偏光方向毎の偏光画像を生成するデモザイク処理部をさらに備える（１）乃至（８）の何れかに記載の情報処理装置。
　（１０）　前記レベル調整部は、前記デモザイク処理部で生成された前記偏光画像のレベル合わせを行い、
　前記偏光特性算出部は、前記レベル調整部でレベル合わせが行われた前記偏光画像から偏光特性を画素毎に算出する（９）に記載の情報処理装置。
　１０・・・情報処理システム
　２０・・・偏光光照射部
　２１・・・光源部
　２２・・・光学素子部
　３０・・・情報処理装置
　３１・・・偏光画像取得部
　３２・・・デモザイク処理部
　３３・・・レベル調整部
　３４・・・偏光特性算出部
　３１１・・・イメージセンサ
　３１２・・・カラーフィルタ
　３１３・・・偏光フィルタ
　３１４・・・レンズ
　３１５・・・偏光フィルタ

Claims (12)

  1. 　複数の波長域毎に複数の偏光方向の偏光画素を設けて偏光画像を取得する偏光画像取得部と、
    　前記偏光画像取得部で取得された前記波長域毎の前記偏光画像のレベル合わせを行うレベル調整部と、
    　前記レベル調整部でレベル合わせが行われた前記偏光画像から偏光特性を算出する偏光特性算出部と
    を備える情報処理装置。
  2. 　前記複数の波長域は、３以上の偏光状態毎に波長域が異なる偏光光の波長域である
    請求項１に記載の情報処理装置。
  3. 　前記複数の波長域は、１つの偏光状態に対して複数の波長域を割り当てた偏光光の波長域である
    請求項２に記載の情報処理装置。
  4. 　前記偏光画像取得部は、前記波長域毎に３以上の直線偏光の偏光画素を有する
    請求項１に記載の情報処理装置。
  5. 　前記偏光画像取得部は、前記波長域毎に３以上の直線偏光の偏光画素と１以上の円偏光の偏光画素を有する
    請求項１に記載の情報処理装置。
  6. 　前記レベル調整部は、前記波長域毎のレベル判別値によって示される色が無彩色となるように、前記偏光画像のレベル合わせを行う
    請求項１に記載の情報処理装置。
  7. 　前記レベル調整部は、前記波長域毎に前記複数の偏光方向の偏光画素の観測値を用いて前記レベル判別値を算出する
    請求項６に記載の情報処理装置。
  8. 　前記偏光画像取得部は、前記波長域毎に無偏光画素を有しており、
    　前記レベル調整部は、前記無偏光画素の観測値を前記レベル判別値とする
    請求項６に記載の情報処理装置。
  9. 　前記偏光画像取得部で取得された偏光画像から、前記複数の波長域毎に前記複数の偏光方向毎の偏光画像を生成するデモザイク処理部をさらに備える
    請求項１に記載の情報処理装置。
  10. 　前記レベル調整部は、前記デモザイク処理部で生成された前記偏光画像のレベル合わせを行い、
    　前記偏光特性算出部は、前記レベル調整部でレベル合わせが行われた前記偏光画像から偏光特性を画素毎に算出する
    請求項９に記載の情報処理装置。
  11. 　複数の波長域毎に複数の偏光方向の偏光画素を設けた偏光画像取得部で偏光画像を取得することと、
    　複数の波長域毎に複数の偏光方向の偏光画素を設けて偏光画像を偏光画像取得部で取得することと、
    　前記偏光画像取得部で取得された前記波長域毎の前記偏光画像のレベル合わせをレベル調整部で行うことと、
    　前記レベル調整部でレベル合わせが行われた前記偏光画像から偏光特性を偏光特性算出部で算出すること
    を含む情報処理方法。
  12. 　偏光状態毎に波長域が異なる複数の前記波長域の偏光光を観測対象に照射する偏光光照射部と、
    　前記複数の波長域毎に複数の偏光方向の偏光画素を設けて前記観測対象の偏光画像を取得する偏光画像取得部と、
    　前記偏光画像取得部で取得された前記波長域毎の前記偏光画像のレベル合わせを行うレベル調整部と、
    　前記レベル調整部でレベル合わせが行われた前記偏光画像から前記観測対象の偏光特性を算出する偏光特性算出部と
    を備える情報処理システム。
PCT/JP2021/007304 2020-03-27 2021-02-26 情報処理装置と情報処理方法および情報処理システム WO2021192814A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-057414 2020-03-27
JP2020057414 2020-03-27

Publications (1)

Publication Number Publication Date
WO2021192814A1 true WO2021192814A1 (ja) 2021-09-30

Family

ID=77890234

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/007304 WO2021192814A1 (ja) 2020-03-27 2021-02-26 情報処理装置と情報処理方法および情報処理システム

Country Status (1)

Country Link
WO (1) WO2021192814A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08184552A (ja) * 1994-12-28 1996-07-16 Res Dev Corp Of Japan 多波長光光学顕微鏡
WO2008149489A1 (ja) * 2007-05-31 2008-12-11 Panasonic Corporation 画像処理装置
US7800755B1 (en) * 2007-07-02 2010-09-21 The United States Of America As Represented By The Secretary Of The Navy High-speed polarimeter having a multi-wavelength source
WO2016136086A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 撮像装置と画像処理装置と画像処理方法
JP2017016431A (ja) * 2015-07-01 2017-01-19 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理システム、多視点カメラ、および画像処理方法
WO2017099253A1 (ja) * 2015-12-11 2017-06-15 株式会社ニコン 偏光特性画像計測装置、偏光特性画像計測方法
JP2019054463A (ja) * 2017-09-15 2019-04-04 株式会社ソニー・インタラクティブエンタテインメント 撮像装置
JP2020013842A (ja) * 2018-07-17 2020-01-23 ソニーセミコンダクタソリューションズ株式会社 光電変換素子及び受光装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08184552A (ja) * 1994-12-28 1996-07-16 Res Dev Corp Of Japan 多波長光光学顕微鏡
WO2008149489A1 (ja) * 2007-05-31 2008-12-11 Panasonic Corporation 画像処理装置
US7800755B1 (en) * 2007-07-02 2010-09-21 The United States Of America As Represented By The Secretary Of The Navy High-speed polarimeter having a multi-wavelength source
WO2016136086A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 撮像装置と画像処理装置と画像処理方法
JP2017016431A (ja) * 2015-07-01 2017-01-19 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理システム、多視点カメラ、および画像処理方法
WO2017099253A1 (ja) * 2015-12-11 2017-06-15 株式会社ニコン 偏光特性画像計測装置、偏光特性画像計測方法
JP2019054463A (ja) * 2017-09-15 2019-04-04 株式会社ソニー・インタラクティブエンタテインメント 撮像装置
JP2020013842A (ja) * 2018-07-17 2020-01-23 ソニーセミコンダクタソリューションズ株式会社 光電変換素子及び受光装置

Similar Documents

Publication Publication Date Title
TWI436051B (zh) A pattern inspection apparatus, a pattern inspection method, and a recording medium in which a program is recorded
US8842216B2 (en) Movable pixelated filter array
CN108780142A (zh) 3d成像系统和方法
KR20190026039A (ko) 다중 타겟들로부터의 오버레이 신호들의 동시 캡처링
JP2016510408A5 (ja)
JP6422924B2 (ja) 撮像装置および被写体情報取得方法
WO2019198287A1 (ja) 情報処理装置と情報処理方法とプログラムおよびキャリブレーション装置
JP2016145924A (ja) 光学装置および撮像装置
KR101632067B1 (ko) 초분광 이미징 시스템
US11538193B2 (en) Methods and systems for calibrating a camera
US20220268632A1 (en) Reconfigurable polarization imaging system
JP2019138660A (ja) 欠陥検査装置および欠陥検査方法
EP3937476A1 (en) Image capturing device, image processing device, and image processing method
US11223787B2 (en) Information processing apparatus, information processing method, and imaging apparatus
JP5226532B2 (ja) 結像光学系の結像動作を検査する方法および装置
JP6679366B2 (ja) 光学装置および撮像装置
WO2021192814A1 (ja) 情報処理装置と情報処理方法および情報処理システム
JP4910939B2 (ja) 回折像を用いたカラーフィルターの検査方法および装置
JP6112862B2 (ja) 撮像装置
JP2011135360A (ja) システム、制御方法、および、プログラム
US20210239596A1 (en) Particle analysis using light microscope and multi-pixel polarization filter
JP2010127723A (ja) 形状測定装置
Johnsen et al. Segmentation, retardation and mass approximation of birefringent particles on a standard light microscope
WO2021131508A1 (ja) 表面欠陥検出装置と表面欠陥検出方法とプログラムおよび表面欠陥検出システム
WO2021229943A1 (ja) 情報処理装置と情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21776226

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21776226

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP