WO2020202695A1 - 画像処理装置と情報生成装置およびその方法 - Google Patents

画像処理装置と情報生成装置およびその方法 Download PDF

Info

Publication number
WO2020202695A1
WO2020202695A1 PCT/JP2020/000994 JP2020000994W WO2020202695A1 WO 2020202695 A1 WO2020202695 A1 WO 2020202695A1 JP 2020000994 W JP2020000994 W JP 2020000994W WO 2020202695 A1 WO2020202695 A1 WO 2020202695A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
polarization
incident
discrimination
emission
Prior art date
Application number
PCT/JP2020/000994
Other languages
English (en)
French (fr)
Inventor
楽公 孫
康孝 平澤
雄飛 近藤
大志 大野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/593,614 priority Critical patent/US20220146434A1/en
Priority to JP2021511121A priority patent/JPWO2020202695A1/ja
Priority to CN202080021573.6A priority patent/CN113631899A/zh
Publication of WO2020202695A1 publication Critical patent/WO2020202695A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J4/00—Measuring polarisation of light
    • G01J4/04—Polarimeters using electric detection means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8848—Polarisation of light

Definitions

  • This technology makes it possible to easily identify the material based on the polarized image with respect to the image processing device, the information generator, and the method thereof.
  • Patent Document 1 As a method of discriminating materials, in Patent Document 1, light transmitted or reflected through a material is taken in and separated, and signal information generated based on the dispersed light is compared with signal information of a pre-registered material. Is used to identify the type of unknown material.
  • the signal information of the pre-registered material is the measurement result under certain environment and conditions. Therefore, unless the signal information of the material is provided in advance for each environment and each condition, it is not possible to specify the type of material based on the signal information generated based on the dispersed light. Further, when the environment or conditions change, it is necessary to measure not only the signal information but also the environment and conditions each time, so that the type of material cannot be easily determined.
  • an object of the present technology to provide an image processing device, an information generation device, and a method thereof that enable easy identification of a material based on a polarized image.
  • the first aspect of this technology is Discrimination environment information acquisition unit that acquires incident polarization information of the light source in the material discrimination environment, A discrimination target information acquisition unit that acquires emission polarization information from a polarized image obtained by capturing a material discrimination target in the material discrimination environment.
  • the incident polarization information acquired by the discrimination environment information acquisition unit, the emission polarization information acquired by the discrimination target information acquisition unit, and the polarization reflection characteristics for each of the incident direction of the polarized incident light and the emission direction of the reflected light are shown in advance.
  • the image processing apparatus includes a discrimination processing unit for discriminating the material to be discriminated from the material based on the generated material polarization characteristic information.
  • the discrimination environment information acquisition unit acquires incident polarization information of a light source in a material discrimination environment, for example, an incident Stokes vector. Further, the discrimination target information acquisition unit acquires emission polarization information, for example, an emission Stokes vector from a polarized image obtained by capturing a material discrimination target in a material discrimination environment.
  • the discrimination processing unit shows incident polarization information, emission polarization information, and polarization reflection characteristics for each incident direction of incident light and emission direction of reflected light. Material polarized light that is generated in advance and stored in the information storage unit. Use characteristic information. Further, the discrimination processing unit may use the normalized incident polarization information, the emission polarization information, and the material polarization characteristic information.
  • the discrimination processing unit uses either the incident polarization information or the emitted polarization information, which is selected according to the incident direction of the polarized light incident on the material discrimination target and the emission direction of the reflected light from the material discrimination target.
  • the error of the estimated polarization information on the other side is calculated.
  • the discrimination processing unit generates estimated emission polarization information using the selected material polarization characteristic information and incident polarization information, and sets an error between the estimated emission polarization information and the emission polarization information acquired by the discrimination target information acquisition unit. calculate.
  • the discrimination processing unit calculates the estimated incident polarization information using the selected material polarization characteristic information and the emission polarization information acquired by the discrimination target information acquisition unit, and the estimated incident polarization information and the discrimination environment information acquisition unit The error from the acquired incident polarization information may be calculated.
  • the discrimination processing unit discriminates the material to be discriminated based on the calculated error. For example, the material polarization characteristic information is generated for each of a plurality of materials, and the discrimination processing unit determines the minimum error in the calculated error or the minimum error when the minimum error is smaller than a preset threshold value. The material is discriminated as the material to be discriminated.
  • the discrimination environment information acquisition unit divides the material discrimination environment into a plurality of regions, and sets the average incident direction and the average incident polarization information for each region as the incident direction and the incident polarization information of the region.
  • the discrimination environment information acquisition unit may acquire incident polarization information for each of a plurality of light sources in the material discrimination environment, and the discrimination processing unit may calculate an error using the incident polarization information for each of the plurality of light sources.
  • the error may be calculated using the incident polarization information of the light source selected from the incident polarization information for each of a plurality of light sources.
  • the image processing device has a detection area setting unit that sets the attention subject detection area from the polarized image obtained by capturing the material discrimination target, and a attention subject detection set by the detection area setting unit based on the material discrimination result of the discrimination processing unit.
  • An area detection unit that detects a subject area of interest from the area may be further provided.
  • the second aspect of this technology is Acquiring the incident polarization information of the light source in the material discrimination environment with the discrimination environment information acquisition unit, Obtaining the emitted polarization information from the polarized image obtained by capturing the material discrimination target in the material discrimination environment by the discrimination target information acquisition unit, and The incident polarization information acquired by the discrimination environment information acquisition unit, the emission polarization information acquired by the discrimination target information acquisition unit, and the polarization reflection characteristics for each incident direction of the polarized incident light and each emission direction of the reflected light are obtained for each material. It is an image processing method including discriminating the material to be discriminated by the discriminating processing unit based on the material polarization characteristic information generated in advance shown in the above.
  • the third aspect of this technology is A light source information acquisition unit that acquires incident polarization information of polarized light incident light from a light source in a measurement environment in which an information generation target whose material is clear to the information generation target is provided for each incident direction.
  • An emission polarization information acquisition unit that acquires emission polarization information of reflected light from the information generation target for each emission direction, Using the incident polarization information acquired by the light source information acquisition unit and the emission polarization information acquired by the emission polarization information acquisition unit, the polarization reflection characteristics of the incident direction of the polarized incident light and the emission direction of the reflected light can be determined.
  • the information generator includes a material polarization characteristic information generator that generates the indicated material polarization characteristic information for each direction.
  • the light source information acquisition unit obtains incident polarization information of incident light from a light source to an information generation target in a measurement environment in which an information generation target whose material is clear, for example, an incident Stokes vector, is obtained for each incident direction and material. Get every time.
  • the outgoing polarization information acquisition unit captures information based on the information generation target imaging unit that images the information generation target and generates polarized images in a plurality of polarization directions, and the observed values of the polarized images generated by the information generation target imaging unit.
  • the emission polarization information of the reflected light from the generation target for example, the emission Stokes vector is acquired for each emission direction and each material.
  • the material polarization characteristic information generator uses the incident polarization information and the emission polarization information to obtain the polarization reflection characteristics of the incident direction of the polarized incident light and the emission direction of the reflected light, for example, the material polarization characteristic information indicating the Muller matrix for each direction and the material. Generate every time. Further, the material polarization characteristic information generation unit may generate normalized material polarization characteristic information.
  • the fourth aspect of this technique is that the light source information acquisition unit acquires the incident polarization information of the polarized light incident light from the light source in the measurement environment provided with the information generation target whose material is clear to the information generation target for each incident direction.
  • the emission polarization information of the reflected light from the information generation target by the emission polarization information acquisition unit for each emission direction Using the incident polarization information acquired by the light source information acquisition unit and the emission polarization information acquired by the emission polarization information acquisition unit, the polarization reflection characteristics of the incident direction of the polarized incident light and the emission direction of the reflected light can be determined.
  • the information generation method includes generating the indicated material polarization characteristic information for each direction in the material polarization characteristic information generation unit.
  • FIG. 1 is a diagram for explaining polarization reflection characteristics.
  • the light emitted from the light source LT is irradiated to the measurement target OB via the polarizer such as the linear polarizer PL1, and the image pickup apparatus CM images the measurement target OB via the polarizer such as the linear polarizer PL2.
  • the Z direction indicates the zenith direction, and the angle ⁇ is the zenith angle.
  • the polarization directions of the linear polarizers are, for example, 0 °, 45 °, 90 °, 135 °
  • the pixel value obtained by imaging the measurement target with the image pickup device CM is the observation value I
  • the polarization direction is Observation value I (0 °) when the polarization direction is 0 °
  • the relationship between the Stokes vector and the observed value is given by Eq. (1).
  • component s 0 indicates unpolarized luminance or average luminance.
  • the component s 1 shows the difference in intensity in the polarization directions of 0 ° and 90 °
  • the component s 2 shows the difference in intensity in the polarization directions of 45 ° and 135 °. That is, the 0 ° Stokes vector is [1,1,0] T , the 45 ° Stokes vector is [1,0,1] T , and the 90 ° Stokes vector is [1,-1,0] T , 135 °.
  • the Stokes vector of is [1,0, -1] T.
  • the Stokes vector of the light in the incident direction ⁇ i irradiated to the measurement target OB is “VSi”
  • the Stokes vector of the light in the emission direction ⁇ o observed by the image pickup apparatus CM is “VSo”
  • the incident direction ⁇ i and the emission direction ⁇ o If the Muller matrix when is M ( ⁇ o, ⁇ i), then Eq. (2) holds.
  • the equation (3) the equation (2) is represented by a determinant.
  • M ( ⁇ o, ⁇ i) ⁇ VSi VSo ⁇ ⁇ ⁇ (2)
  • Equation (3) becomes equation (4) when the polarization direction of the incident light applied to the measurement target OB is 0 °. Further, the equation (3) is the equation (5) when the polarization direction of the incident light is 45 °, the equation (6) when the polarization direction of the incident light is 90 °, and the polarization direction of the incident light is 135 °. In the case of, the equation (7) is obtained.
  • the M-matrix M ( ⁇ o, ⁇ i) shown in the equation (8) can be calculated based on the equations (4) to (7). Furthermore, normalization is performed to exclude the influence of luminance in the Muller matrix M ( ⁇ o, ⁇ i). Equation (9) shows the normalized M-matrix M ( ⁇ o, ⁇ i).
  • the Muller matrix calculated in this way shows the polarization reflection characteristics peculiar to the material to be measured. Further, since the polarization reflection characteristic does not depend on the external environment, once it is measured, it can be used everywhere, and it is not necessary to repeatedly acquire the polarization reflection characteristic.
  • Material discrimination system configuration> In the material discrimination system, the material polarization characteristic information showing the polarization reflection characteristics for each material in the incident direction ⁇ i of the polarized incident light and the emission direction ⁇ o of the reflected light, and the polarized image based on the reflected light in the emission direction ⁇ o from the material discrimination target. Based on the emitted polarization information calculated from the above and the incident polarization information of the polarized incident light in the incident direction ⁇ i, the material to be discriminated from is discriminated.
  • FIG. 2 illustrates the configuration of the material discrimination system.
  • the material discrimination system 10 has an information generation device 20 and an image processing device 30.
  • the information generation device 20 generates material polarization characteristic information for each material using a known material.
  • the information generation device 20 may register the generated material polarization characteristic information in the database unit 50, or may output the generated material polarization characteristic information to the image processing device 30.
  • the image processing device 30 takes an image of the material discrimination target, acquires a polarized image, and calculates the polarized light reflection characteristic based on the polarized image. Further, the image processing device 30 discriminates the material to be discriminated based on the material polarization characteristic information acquired from the information generation device 20 or the database unit 50, the calculated polarization reflection characteristic, the incident direction ⁇ i, and the emission direction ⁇ o.
  • FIG. 3 illustrates the configuration of the information generator.
  • the information generation device 20 includes a light source information acquisition unit 21, an emission polarization information acquisition unit 22, and a material polarization characteristic information generation unit 23.
  • the light source information acquisition unit 21 acquires incident polarization information regarding the light source.
  • the light source information acquisition unit 21 has a light source imaging unit 211 and an incident polarization information calculation unit 212.
  • the light source imaging unit 211 is configured by providing a polarizing plate in front of the imaging unit and the imaging unit so that the polarization direction can be changed.
  • the light source imaging unit 211 sets the polarization direction of the polarizing plate (linearly polarized light) as a plurality of predetermined polarization directions, and the imaging unit images the light source for each polarization direction to generate a polarized image in the plurality of polarization directions, and calculates incident polarization information.
  • Output to unit 212 is configured by providing a polarizing plate in front of the imaging unit and the imaging unit so that the polarization direction can be changed.
  • the light source imaging unit 211 sets the polarization direction of the polarizing plate (linearly polarized light) as a plurality of predetermined polarization directions, and the imaging unit images the light source for each polarization direction to generate a polarized image in the plurality of polarization directions, and calculates incident polarization information.
  • the incident polarization information calculation unit 212 calculates an incident Stokes vector for each incident direction based on the polarized image generated by the light source imaging unit 211. Incident polarization information calculation unit 212 outputs the calculated incident Stokes vector for each incident direction, for example, the incident Stokes vector VSi 1 ⁇ VSi m in the entrance direction ⁇ i 1 ⁇ ⁇ i m as the incident polarization information into the material polarization characteristic information generation unit 23 ..
  • the incident direction may be determined by controlling the position of the light source with the information generation device 20, or the direction of the light source with respect to the light source imaging unit 211 may be determined by acquiring position information from the light source. .. Further, the configuration may be such that information indicating the incident direction is input from the outside.
  • the outgoing polarization information acquisition unit 22 acquires the emission polarization information regarding the reflected light from the information generation target whose material is clear in advance.
  • the outgoing polarization information acquisition unit 22 has a known material imaging unit 221 and an emission polarization information calculation unit 222.
  • the known material imaging unit 221 is configured by providing a polarizing plate on the front surface of the imaging unit and the imaging unit so that the polarization direction can be changed.
  • the known material imaging unit 221 images an information generation target with the polarization directions of the polarizing plate (linearly polarized light) as a plurality of predetermined polarization directions, and generates a polarized image for each polarization direction.
  • the known material imaging unit 221 performs calibration before imaging, and obtains the direction (emission direction ⁇ o) of the reflected light incident on the pixels of the known material imaging unit 221 in the camera coordinate system. Any method may be used for calibration, and the emission direction ⁇ o can be obtained in the camera coordinate system by using the external parameters and internal parameters generated by the calibration.
  • the known material imaging unit 221 is configured to be able to image an information generation target from different directions, for example, from different zenith angles, and generates polarized images of different emission directions ⁇ o for each of a plurality of polarization directions.
  • the emission polarization information calculation unit 222 calculates the emission Stokes vector VSo using the observation value (pixel value) indicated by the polarized image generated by the known material imaging unit 221. Further, the emission polarization information calculation unit 222 calculates the reflection Stokes vector for each emission direction by using the polarized images generated for each emission direction in which the polarization directions are different. Output polarization information calculation unit 222 outputs the calculated emission Stokes vector for each emission direction, for example, the emission direction .omega.o 1 emitted at ⁇ .omega.o n Stokes vector VSo 1 ⁇ Material polarization characteristic information generation unit 23 VSo n as output polarization information ..
  • the material polarization characteristic information generation unit 23 generates material polarization characteristic information indicating the polarization reflection characteristic of the information generation target. It has a polarization reflection characteristic calculation unit 231 and a material polarization characteristic information generation unit 232.
  • Polarization reflection characteristic calculating unit 231 the incident Stokes vector VSi 1 ⁇ VSi m in the entrance direction ⁇ i 1 ⁇ ⁇ i m indicated by incident polarized light information supplied from the light source information obtaining unit 21, supplied from the output polarization information obtaining section 22 based on the exit Stokes vector VSo 1 ⁇ VSo n in the emission direction ⁇ o 1 ⁇ ⁇ o n indicated by output polarization information, the polarization reflection characteristic example wherein the Mueller matrix based on (2), each combination of the incident direction emission direction Calculate to.
  • the polarization reflection characteristic calculation unit 231 calculates the Muller matrix M ( ⁇ o 1 , ⁇ i 1 ) based on the incident Stokes vector VSi 1 in the incident direction ⁇ i 1 and the exit Stokes vector VSo 1 in the exit direction ⁇ o 1 . Also, calculated Mueller matrix M ( ⁇ o n, ⁇ i m) a based on the emission Stokes vector VSo n of the incident Stokes vector VSi m and the outgoing direction .omega.o n of the incident direction .omega.i m.
  • the material polarization characteristic information generation unit 23 normalizes the calculated Muller matrix and outputs it to the material polarization characteristic information generation unit 232.
  • the material polarization characteristic information generation unit 232 generates the material polarization characteristic information by associating the incident direction and the exit direction with the polarization reflection characteristic information (for example, the normalized Muller matrix) calculated by the polarization reflection characteristic calculation unit 231. Further, the light source information acquisition unit 21 and the emission polarization information acquisition unit 22 acquire incident polarization information and emission polarization information for each known material, and the polarization reflection characteristic calculation unit 231 acquires polarization reflection characteristic information for each known material. Is generated, and material discrimination information in which the incident direction and the emitted direction are associated with the polarization reflection characteristic information is generated for each known material.
  • the polarization reflection characteristic information for example, the normalized Muller matrix
  • the material polarization characteristic information generation unit 232 outputs the generated material polarization characteristic information to, for example, the database unit 50 as described above.
  • the database unit 50 may be provided in the information generation device 20 or in the image processing device 30. Further, it may be provided in an external device different from the information generation device 20 and the image processing device 30.
  • FIG. 4 is a flowchart illustrating the operation of the information generator.
  • the information generator 20 initializes the imaging unit.
  • the information generation device 20 initializes the light source image pickup unit 211 of the light source information acquisition unit 21 and the known material image pickup unit 221 of the emission polarization information acquisition unit 22.
  • the information generation device 20 calibrates the light source imaging unit 211 and the known material imaging unit 221 to match the coordinate systems, and proceeds to step ST2.
  • step ST2 the information generator 20 acquires the incident polarization information of the measurement environment.
  • the light source information acquisition unit 21 of the information generation device 20 acquires incident polarization information indicating the incident direction and the incident Stokes vector for each incident direction, and proceeds to step ST3.
  • step ST3 the information generator 20 acquires the emitted polarization information.
  • the emission polarization information acquisition unit 22 of the information generation device 20 acquires the emission polarization information indicating the emission Stokes vector for each emission direction of the light source, and proceeds to step ST4.
  • step ST4 the information generator 20 generates material polarization characteristic information.
  • the material polarization characteristic information generation unit 23 of the information generation device 20 generates polarization reflection characteristics for each combination of incident direction and reflection direction based on the incident polarization information acquired in step ST2 and the emission polarization information acquired in step ST3. To do. For example, the Muller matrix M ( ⁇ o, ⁇ i) is calculated for each incident direction and each exit direction by using the incident Stokes vector VSi in the incident direction ⁇ i and the exit Stokes vector VSo in the exit direction ⁇ o. Further, the material polarization characteristic information generation unit 23 associates the polarization reflection characteristic information with the incident direction and the exit direction to generate the material polarization characteristic information, and proceeds to step ST5.
  • step ST5 the information generator 20 determines whether the generation of the material polarization characteristic information of each material is completed.
  • the information generation device 20 proceeds to step ST6 when there is a material for which material polarization characteristic information has not been generated, and ends the process when the generation of material polarization characteristic information for each material is completed.
  • step ST6 the information generator 20 updates the material.
  • the information generation device 20 polarizes the subject to be imaged by the known material imaging unit 221 of the emission polarization information acquisition unit 22 into a material for which material polarization characteristic information is not generated, and returns to step ST3.
  • FIGS. 5 and 6 are flowcharts showing the operation of the information generator in detail. 5 and 6 show the case where the incident direction and the incident Stokes vector at the positions of each angle ⁇ a in the azimuth direction and each angle ⁇ b in the zenith direction are used. Further, the imaging direction of the known material imaging unit 221 is moved in the zenith direction for each angle ⁇ c. Further, in the light source imaging unit 211 and the known material imaging unit 221, the switching of the polarization direction is set to "0 °, 45 °, 90 °, 135 °". The incident polarization information has been acquired in advance.
  • step ST11 the information generator 20 initializes the known material imaging unit.
  • the emission polarization information acquisition unit 22 of the information generation device 20 calibrates the known material imaging unit 221 and proceeds to step ST12 with the azimuth and zenith angles set to 0 °.
  • step ST12 the information generator 20 initializes the zenith angle of the light source.
  • the light source information acquisition unit 21 of the information generation device 20 initializes the light source imaging unit 211, and the direction in which the zenith angle of the known material imaging unit 221 is 0 ° is set as the direction of the zenith angle of the light source imaging unit 211 in step ST13. Proceed to.
  • step ST13 the information generator 20 initializes the light source azimuth.
  • the light source information acquisition unit 21 of the information generation device 20 initializes the light source image pickup unit 211, and in step ST14, the direction in which the direction of the known material image pickup unit 221 is 0 ° is set as the direction in which the azimuth angle of the light source image pickup unit 211 is 0 °. move on.
  • step ST14 the information generator 20 initializes the polarizing plate on the light source side.
  • the light source information acquisition unit 21 of the information generation device 20 proceeds to step ST15 with the polarization direction of the polarizing plate used in the light source imaging unit 211 set to 0 °.
  • step ST15 the information generator 20 initializes the polarizing plate on the imaging side of the known material.
  • the emission polarization information acquisition unit 22 of the information generation device 20 proceeds to step ST16 with the polarization direction of the polarizing plate used in the known material imaging unit 221 set to 0 °.
  • step ST16 the information generation device 20 images the information generation target.
  • the known material imaging unit 221 images an information generation target whose material is clear, generates a polarized image, and proceeds to step ST17.
  • step ST17 the information generator 20 rotates the polarizing plate on the imaging side of the known material by 45 °.
  • the emission polarization information acquisition unit 22 of the information generation device 20 rotates the polarization direction of the polarizing plate by 45 ° and proceeds to step ST18.
  • step ST18 the information generator 20 determines whether the polarization direction of the known material imaging side is smaller than 180 °.
  • the emission polarization information acquisition unit 22 of the information generation device 20 returns to step ST16 when the polarization direction after rotation is smaller than 180 °, and proceeds to step ST19 when the polarization direction is 180 ° or more.
  • step ST19 the information generator 20 acquires the emitted polarization information. Since the information generator 20 generates each polarized image having the polarization direction of "0 °, 45 °, 90 °, 135 °" by performing the processing from step ST16 to step ST18, the polarized light generated is generated. Based on the image, the emitted Stokes vector is calculated and the process proceeds to step ST20.
  • step ST20 the information generator 20 rotates the polarizing plate on the light source side by 45 °.
  • the light source information acquisition unit 21 of the information generation device 20 rotates the polarization direction of the polarizing plate by 45 ° and proceeds to step ST21.
  • step ST21 the information generator 20 determines whether the polarization direction on the light source side is smaller than 180 °.
  • the light source information acquisition unit 21 of the information generation device 20 returns to step ST15 when the polarization direction after rotation is smaller than 180 °, and proceeds to step ST22 when the polarization direction is 180 ° or more.
  • step ST22 the information generator 20 calculates the polarization reflection characteristics.
  • the light source information acquisition unit 21 of the information generation device 20 calculates the Muller matrix based on the emission Stokes vector when the polarization directions of the polarized light incident on the information generation target are “0 °, 45 °, 90 °, 135 °”. To do. That is, the Muller matrix represented by the equation (8) is calculated based on the above equations (4) to (7), and the process proceeds to step ST23.
  • step ST23 the information generator 20 stores the material polarization characteristic information.
  • the light source information acquisition unit 21 of the information generation device 20 generates material polarization characteristic information associated with the incident direction ⁇ i indicating the light source direction and the emitting direction ⁇ o indicating the direction of the known material imaging unit 221 in the Muller matrix calculated in step ST22. Then, the data is saved in the database section or the like, and the process proceeds to step ST24.
  • step ST24 the information generator 20 moves the light source azimuth by ⁇ a °.
  • the light source information acquisition unit 21 of the information generation device 20 moves the azimuth angle of the light source imaging unit 211 by ⁇ a ° and proceeds to step ST25.
  • step ST25 the information generator 20 determines whether the light source azimuth is smaller than 360 °.
  • the light source information acquisition unit 21 of the information generation device 20 returns to step ST14 when the light source azimuth is smaller than 360 °, and proceeds to step ST26 when the light source azimuth is 360 ° or more.
  • step ST26 the information generator 20 moves the light source zenith angle by ⁇ b °.
  • the light source information acquisition unit 21 of the information generation device 20 moves the zenith angle of the light source imaging unit 211 by ⁇ b ° and proceeds to step ST27.
  • step ST27 the information generator 20 determines whether the zenith angle of the light source is smaller than 90 °.
  • the light source information acquisition unit 21 of the information generation device 20 returns to step ST13 when the light source zenith angle is smaller than 90 °, and proceeds to step ST28 when the light source azimuth is 90 ° or more. That is, by performing the processes from step ST13 to step ST27, the material polarization characteristic information for each incident direction in which the resolution in the azimuth direction is ⁇ a ° and the resolution in the zenith direction is ⁇ b ° for one emission direction is stored in the database section or the like. It will be saved.
  • step ST28 the information generator 20 moves the zenith angle of the known material imaging unit by ⁇ c °.
  • the emission polarization information acquisition unit 22 of the information generation device 20 moves the zenith angle of the known material imaging unit 221 by ⁇ c ° and proceeds to step ST29.
  • step ST29 the information generator 20 determines whether the zenith angle of the known material imaging unit is smaller than 90 °.
  • the emission polarization information acquisition unit 22 of the information generation device 20 returns to step ST12 when the zenith angle of the known material imaging unit 221 is smaller than 90 °, and ends the process when the azimuth angle is 90 ° or more. Therefore, the material polarization characteristic information for each incident direction in which the resolution in the azimuth direction is the angle ⁇ a and the resolution in the zenith direction is the angle ⁇ b, and for each emission direction in which the resolution in the zenith direction is the angle ⁇ c is stored in the database unit or the like. become.
  • the resolution in the azimuth direction is the angle ⁇ a and the resolution in the zenith direction is the angle ⁇ b.
  • the material polarization characteristic information for each emission direction at an angle ⁇ c can be stored in a database unit or the like for each material.
  • Figure 7 illustrates the material polarization characteristic information, for example on the material MT1, the incident direction ⁇ i 1 ⁇ ⁇ i m and the emission direction ⁇ o 1 ⁇ ⁇ o n combination Mueller matrix for each M of ( ⁇ o 1, ⁇ i 1) ⁇ M ( ⁇ o n , ⁇ i m ) is shown.
  • FIG. 8 illustrates the configuration of the image processing apparatus.
  • the image processing device 30 has a discrimination environment information acquisition unit 31, a discrimination target information acquisition unit 32, an information storage unit 33, and a discrimination processing unit 34.
  • the discrimination environment information acquisition unit 31 acquires incident polarization information of the light source in the material discrimination environment.
  • the discrimination environment information acquisition unit 31 has an environment imaging unit 311 and an incident polarization information calculation unit 312.
  • FIG. 9 illustrates the configuration of the environment imaging unit 311.
  • the environment imaging unit 311 is configured by providing, for example, a plurality of imaging units 3111 having different imaging directions and a polarizing plate 3112 in front of each imaging unit so that the polarization direction can be changed.
  • the polarizing plates 3112 are oriented so that their polarization directions are the same as each other.
  • the environment imaging unit 311 images the environment when the material discrimination target is imaged, and generates, for example, a polarized image of the whole celestial sphere in each of a plurality of polarization directions.
  • the environment imaging unit 311 may acquire polarized images of all celestial spheres in each of a plurality of polarization directions by one imaging unit 3111 and a polarizing plate 3112 using a fisheye lens or the like. Further, the environment imaging unit 311 is not limited to the case of generating a polarized image of the whole celestial sphere. For example, when the light source is provided only in a limited range, a polarized image in a limited range may be generated.
  • FIG. 10 shows a polarized image generated by the environment imaging unit 311. Note that FIG. 10A exemplifies a fisheye image showing a spherical image, and FIG. 10B exemplifies a developed image obtained by developing a fisheye image on a cylindrical surface.
  • the incident polarization information calculation unit 312 divides the polarized image generated by the environment imaging unit 311 into the zenith direction and the azimuth direction, calculates the average incident Stokes vector in the region and the average incident direction of the light beam for each divided region, and causes the incident. It is output to the information storage unit 33 as polarization information.
  • FIG. 11 illustrates the division of a polarized image. Note that FIG. 11A shows a division example of the fisheye image shown in FIG. 10A, and FIG. 11B shows a division example of the developed image shown in FIG. 10B. ing.
  • the incident polarization information calculation unit 312 averages with the average incident direction ⁇ i 1 in the region ALi.
  • the incident Stokes vector VSi 1 is calculated.
  • the average incident direction and the average incident Stokes vector are calculated for the other regions, respectively.
  • the incident polarization information calculation unit 312 outputs the calculated incident Stokes vector for each incident direction to the information storage unit 33.
  • the discrimination environment information acquisition unit 31 calculates the incident stalks vector for each light source when imaging the material discrimination target, and transmits the incident polarization information indicating the incident stalks vector for each incident direction to the information storage unit 33 for each light source. Output.
  • the discrimination target information acquisition unit 32 acquires the emission polarization information regarding the reflected light from the material discrimination target.
  • the discrimination target information acquisition unit 32 has a discrimination target imaging unit 321 and an emission polarization information calculation unit 322.
  • the discrimination target imaging unit 321 is configured by providing a polarizing plate on the front surface of the imaging unit and the imaging unit so that the polarization direction can be changed.
  • the discrimination target imaging unit 321 images the material discrimination target from the emission direction ⁇ o and generates a polarized image for each of a plurality of polarization directions. Further, the discrimination target imaging unit 321 is calibrated before imaging in the same manner as the above-mentioned known material imaging unit 221 and the like, and by using the external parameters and internal parameters generated by the calibration, the emission direction ⁇ o is set to the camera coordinates. Be able to find it in the system.
  • the outgoing polarization information calculation unit 322 calculates the outgoing Stokes vector VSo using the observed value (pixel value) indicated by the polarized image generated by the discrimination target imaging unit 321. Further, the emission polarization information calculation unit 222 outputs the emission polarization information indicating the emission direction ⁇ o and the emission Stokes vector VSo to the discrimination processing unit 34.
  • the information storage unit 33 stores the material polarization characteristic information generated by the information generation device 20 and the incident polarization information acquired by the discrimination environment information acquisition unit 31.
  • the information storage unit 33 may acquire and store the material polarization characteristic information from the information generation device 20, or may acquire and store the material polarization characteristic information from the database unit.
  • the discrimination processing unit 34 includes incident polarization information acquired by the discrimination environment information acquisition unit 31, emission polarization information acquired by the discrimination target information acquisition unit 32, an incident direction of polarized incident light, and an emission direction of polarized reflected light. Based on the material polarization characteristic information generated in advance, which indicates the polarization reflection characteristic of the material, the material to be discriminated from is discriminated.
  • the discrimination processing unit 34 includes an estimation processing unit 341, an error calculation unit 342, and a material discrimination processing unit 343.
  • the estimation processing unit 341 contains material polarization characteristic information selected according to the incident direction of the polarized light incident on the material discrimination target and the emission direction of the reflected light from the material discrimination target, and the incident polarization acquired by the discrimination environment information acquisition unit.
  • the polarization information of the other is estimated by using one of the emission polarization information acquired by the information or the information acquisition unit for discrimination target information.
  • the estimation processing unit 341 acquires the incident polarization information acquired by the discrimination environment information acquisition unit 31 from the information storage unit 33. Further, the material polarization characteristic information corresponding to the incident direction ⁇ i of the incident polarization information acquired by the discrimination environment information acquisition unit 31 and the emission direction ⁇ o of the reflected light incident on the discrimination target imaging unit 321 is acquired from the information storage unit 33. .. The estimation processing unit 341 estimates the emission polarization information based on the acquired incident polarization information and the material polarization characteristic information, or the incident polarization information based on the acquired material polarization characteristic information and the emission target information acquisition unit 32. Make an estimate.
  • the estimation processing unit 341 acquires the M-matrix M ( ⁇ o, ⁇ i) for each material corresponding to the incident direction ⁇ i and the emission direction ⁇ o of the emission polarization information acquired by the discrimination target information acquisition unit 32 from the information storage unit 33. To do. Further, the estimation processing unit 341 acquires the incident Stokes vector VSi ( ⁇ i) in the incident direction ⁇ i from the information storage unit 33. The estimation processing unit 341 is based on the Muller matrix M ( ⁇ o, ⁇ i) and the incident Stokes vector VSi ( ⁇ i), and the estimated exit Stokes vector VSEO ( ⁇ o) or the Muller matrix M ( ⁇ o) whose incident direction is not limited to a specific direction. The estimated incident Stokes vector VSEi ( ⁇ i) is calculated for each material based on the inverse matrix of ( ⁇ i) and the outgoing Stokes vector VSo ( ⁇ o), and is output to the error calculation unit 342.
  • the error calculation unit 342 is the difference between the emission polarization information estimated by the estimation processing unit 341 and the emission polarization information acquired by the discrimination target information acquisition unit 32, or the incident polarization information estimated by the estimation processing unit 341 and the discrimination environment information.
  • the difference from the incident polarization information of the incident direction ⁇ i acquired by the acquisition unit 31 is calculated for each material.
  • the error calculation unit 342 is the difference between the estimated emission Stokes vector VSEo ( ⁇ o) estimated by the estimation processing unit 341 and the emission Stokes vector VSo ( ⁇ o) acquired by the discrimination target information acquisition unit 32, or the estimation processing unit.
  • the integrated value of the difference between the estimated incident Stokes vector VSEi ( ⁇ i) and the incident Stokes vector VSi ( ⁇ i) for each incident direction is calculated for each material and output to the material discrimination processing unit 343.
  • the material discrimination processing unit 343 discriminates the material to be discriminated based on the difference (or the integrated value of the difference) calculated by the error calculation unit 342. For example, the material discrimination processing unit 343 discriminates the material having the minimum error from the error calculated for each material by the error calculation unit 342 as the material to be discriminated. Further, the discrimination processing unit may discriminate the material having the minimum error as the material to be discriminated when the minimum error in the calculated error is smaller than the preset threshold value. Further, an error may be calculated for a specific material, and if the calculated error is smaller than a preset threshold value, the material discrimination target may be determined to be a specific material. That is, it is possible not only to determine the material but also to determine whether or not the material is a desired material.
  • FIG. 12 is a flowchart illustrating the operation of the image processing device.
  • the image processing device 30 initializes the discrimination target imaging unit.
  • the image processing device 30 initializes the discrimination target imaging unit 321 of the discrimination target information acquisition unit 32.
  • the image processing device 30 calibrates the discrimination target imaging unit 321 to match the coordinate systems, and proceeds to step ST32.
  • step ST32 the image processing device 30 acquires the incident polarization information of the material discrimination environment.
  • the discrimination environment information acquisition unit 31 of the image processing device 30 acquires incident polarization information of the light source based on the polarized image of the material discrimination environment, and proceeds to step ST33.
  • step ST33 the image processing device 30 acquires the emitted polarization information.
  • the discrimination target information acquisition unit 32 of the image processing device 30 acquires the emission stalks vector of the material discrimination target and the emission polarization information indicating the emission direction, and proceeds to step ST34.
  • step ST34 the image processing device 30 performs discrimination processing.
  • the discrimination processing unit 34 of the image processing device 30 is based on the incident direction detected in step ST32, the emitted polarization information acquired in step ST33, and the material polarization characteristic information and the incident polarization information stored in advance in the information storage unit 33. The material to be discriminated is discriminated.
  • the discrimination processing unit 34 In the first operation of the discrimination processing unit 34, the polarization reflection characteristic information corresponding to the plurality of incident directions ⁇ i when the material discrimination target is imaged and the emission direction ⁇ o of the reflected light supplied to the discrimination target imaging unit 321, and the discrimination Emission polarization information is estimated based on the incident polarization information in the incident direction ⁇ i acquired by the environmental information acquisition unit 31, and the material is based on the estimated emission polarization information and the emission polarization information acquired by the discrimination target information acquisition unit 32. The material to be discriminated is discriminated.
  • the discrimination processing unit 34 performs the calculation of equation (10) using the incident Stokes vector VSi ( ⁇ i) in the incident direction ⁇ i acquired from the information storage unit 33 and the Muller matrix M ( ⁇ o, ⁇ i), and estimates the emission in the emission direction ⁇ o.
  • the Stokes vector VSeo ( ⁇ o) is calculated.
  • M ( ⁇ o, ⁇ i) ⁇ VSi ( ⁇ i) VSeo ( ⁇ o) ⁇ ⁇ ⁇ (10)
  • the discrimination processing unit 34 performs the calculation shown in the equation (11) and integrates the estimated emission Stokes vector VSeo ( ⁇ o) for each of the plurality of incident directions ⁇ i to estimate that the incident direction is not limited to a specific direction.
  • the exit Stokes vector VSEo ( ⁇ o) is calculated.
  • the discrimination processing unit 34 calculates the difference E ( ⁇ o) between the estimated emission Stokes vector VSEo ( ⁇ o) and the emission Stokes vector VSo ( ⁇ o) acquired by the discrimination target information acquisition unit 32 based on the equation (12). Further, in the calculation of the difference E ( ⁇ o), the normalized Stokes vector may be used so as not to be affected by the luminance component.
  • the equation (13) shows the Stokes vector before normalization, and the equation (14) shows the Stokes vector after normalization.
  • the discrimination processing unit 34 performs the above processing using the Muller matrix for each material, and compares the differences E ( ⁇ o) -1 to E ( ⁇ o) -q (q is the number of materials) calculated for each material. Then, the smallest difference E ( ⁇ o) min is determined. Further, when the difference E ( ⁇ o) min is smaller than the preset threshold value Th, the discrimination processing unit 34 determines the material corresponding to the Muller matrix used for calculating the difference E ( ⁇ o) min. Use as the material. Further, when the difference E ( ⁇ o) min is equal to or greater than the threshold value Tho, the discrimination processing unit 34 cannot discriminate the material to be discriminated. By adjusting the threshold value Th, it is possible to adjust the discrimination accuracy of the material. By performing the above processing, the material to be discriminated can be discriminated.
  • Second operation of the discrimination processing unit> In the second operation of the discrimination processing unit 34, the polarization reflection characteristic information corresponding to the plurality of incident directions ⁇ i when the material discrimination target is imaged and the emission direction ⁇ o of the reflected light supplied to the discrimination target imaging unit 321, and the discrimination The incident polarization information is estimated based on the emission polarization information acquired by the target information acquisition unit 32, and based on the estimated incident polarization information and the incident polarization information for each incident direction acquired by the discrimination environment information acquisition unit 31. Material discrimination The material to be discriminated is discriminated.
  • the discrimination processing unit 34 uses the inverse matrix M -1 ( ⁇ o, ⁇ i) of the Muller matrix corresponding to the incident direction ⁇ i and the emission direction ⁇ o and the emission Stokes vector VSo ( ⁇ o) acquired by the discrimination target information acquisition unit 32.
  • the calculation of equation (15) is performed to calculate the estimated incident Stokes vector VSEi ( ⁇ i) in the incident direction ⁇ i.
  • VSEi ( ⁇ i) M -1 ( ⁇ o, ⁇ i) ⁇ VSo ( ⁇ o) ⁇ ⁇ ⁇ (15)
  • the discrimination processing unit 34 calculates the difference e ( ⁇ o, ⁇ i) between the incident Stokes vector VSi ( ⁇ i) in the incident direction ⁇ i and the estimated incident Stokes vector VSEi ( ⁇ i) based on the equation (16). Further, in the calculation of the difference e ( ⁇ o, ⁇ i), the normalized Stokes vector is used so as not to be affected by the luminance component. Further, the discrimination processing unit 34 performs the calculation shown in the equation (17), integrates the differences e ( ⁇ o, ⁇ i) calculated for each of the plurality of incident directions ⁇ i, and is the difference when the incident direction is not limited to the specific direction. Calculate E ( ⁇ i).
  • the discrimination processing unit 34 performs the above processing using the Muller matrix for each material, and compares the differences E ( ⁇ i) -1 to E ( ⁇ i) -q (q is the number of materials) calculated for each material. Then, the smallest difference E ( ⁇ i) min is determined. Further, when the difference E ( ⁇ i) min is smaller than the preset threshold value Thi, the discrimination processing unit 34 discriminates the known material corresponding to the Muller matrix used for calculating the difference E ( ⁇ i) min. The target material. Further, when the difference E ( ⁇ i) min is equal to or greater than the threshold value Thi, the discrimination processing unit 34 cannot discriminate the material to be discriminated. By adjusting the threshold value Thi, it is possible to change the discrimination accuracy of the material. By performing the above processing, the material to be discriminated can be discriminated.
  • the material polarization characteristic information indicating the polarization reflection characteristic peculiar to the material generated by the information generator, the incident polarization information of the light source in the material discrimination environment, and the polarized image of the material discrimination target. Based on the emission polarization information obtained from, the material to be discriminated from can be discriminated.
  • FIG. 13 is a flowchart showing a first operation example.
  • the image processing device initializes the image pickup unit to be discriminated.
  • the discrimination target information acquisition unit 32 of the image processing device 30 calibrates the discrimination target imaging unit 321 and proceeds to step ST42.
  • step ST42 the image processing device calculates the error of the pixel u to be discriminated.
  • step ST43 the image processing apparatus detects the minimum error Emin.
  • the discrimination processing unit 34 of the image processing apparatus 30 calculates the combination x and y of the material and the light source that minimizes the error based on the formula (18), and calculates the error of the combination x and y of the material and the light source in the formula (19).
  • the minimum error is Emin as shown in.
  • step ST44 the image processing apparatus determines whether the minimum error Emin is smaller than the threshold value The.
  • the determination processing unit 34 of the image processing apparatus 30 determines that the minimum error Emin detected in step ST43 is smaller than the threshold value The.
  • the process proceeds to step ST45, and when the minimum error Emin is equal to or greater than the threshold value The value, the process proceeds to step ST46.
  • step ST45 the image processing apparatus determines the material having the minimum error Emin as the material to be discriminated and proceeds to step ST47.
  • step ST46 the image processing apparatus determines the material to be discriminated as an unknown material and proceeds to step ST47.
  • step ST47 the image processing device determines whether the determination of all pixels is completed.
  • the image processing device 30 proceeds to step ST48 when the discrimination of all pixels is not completed, and proceeds to step ST49 when the discrimination of all pixels is completed.
  • step ST48 the image processing device updates the discrimination target pixel.
  • the image processing device 30 selects a new pixel for which the material has not been discriminated as the discriminating target pixel, and returns to step ST42.
  • step ST49 the image processing device outputs the discrimination result.
  • the image processing device 30 displays, for example, an image region made of the same material with the same color, the same brightness, or the like, based on the result of determining the material. In addition, regions of different materials are displayed using different colors or brightness.
  • the material of each subject included in the imaging range of the discrimination target imaging unit 321 can be discriminated. Further, since the difference in material is shown as the difference in display attributes, the difference in material can be easily discriminated.
  • Second operation example In the second operation example, the Muller matrix of a plurality of (q types) materials and the incident Stokes vectors of a plurality of (r types) light sources are stored in the information storage unit 33. Further, unlike the first operation example, a light source is selected according to the situation at the time of material discrimination, and the material is discriminated using the incident polarization information of the selected light source.
  • the incident polarization information of the indoor illumination light source is used. Also, when outdoors during the daytime, the incident polarization information when the light source is the sun is used. Further, when outdoors at night, the incident polarization information of the light source that illuminates the position of the polarization discrimination target is used.
  • FIG. 14 is a flowchart showing a second operation example.
  • the image processing device initializes the image pickup unit to be discriminated.
  • the discrimination target information acquisition unit 32 of the image processing device 30 calibrates the discrimination target imaging unit 321 and proceeds to step ST52.
  • step ST52 the material discrimination unit selects a light source.
  • the discrimination environment information acquisition unit 31 of the image processing device 30 selects a light source according to the situation when the material discrimination target is imaged, and proceeds to step ST53.
  • step ST53 the image processing device calculates the error of the pixel u to be discriminated.
  • step ST54 the image processing apparatus detects the minimum error Emin.
  • the discrimination processing unit 34 of the image processing apparatus 30 detects the material x having the minimum error based on the equation (20), and sets the error of the material x as the minimum error Emin as shown in the equation (21).
  • "y" indicates a selected light source.
  • step ST55 the image processing apparatus determines whether the minimum error Emin is smaller than the threshold value The.
  • the determination processing unit 34 of the image processing apparatus 30 determines that the minimum error Emin detected in step ST54 is smaller than the threshold value The.
  • the process proceeds to step ST56, and when the minimum error Emin is equal to or greater than the threshold value The value, the process proceeds to step ST57.
  • step ST56 the image processing apparatus determines the material having the minimum error Emin as the material to be discriminated and proceeds to step ST58.
  • step ST57 the image processing apparatus discriminates the material to be discriminated from the unknown material and proceeds to step ST58.
  • step ST58 the image processing device determines whether the determination of all pixels is completed.
  • the image processing device 30 proceeds to step ST59 when the discrimination of all pixels is not completed, and proceeds to step ST60 when the discrimination of all pixels is completed.
  • step ST59 the image processing device updates the discrimination target pixel.
  • the image processing device 30 selects a new pixel for which the material has not been discriminated as the discriminating target pixel, and returns to step ST53.
  • step ST60 the image processing device outputs the discrimination result.
  • the image processing device 30 displays, for example, an image region made of the same material with the same color, the same brightness, or the like, based on the result of determining the material. In addition, regions of different materials are displayed using different colors or brightness.
  • the material of each subject included in the imaging range of the discrimination target imaging unit 321 can be discriminated as in the first operation example. Further, since the difference in material is shown as the difference in display attributes, the difference in material can be easily discriminated. Further, since the light source is specified in the second operation example, the material can be discriminated more easily than in the first operation.
  • the image processing device 30 has a detection area setting unit that sets a target subject detection area from a polarized image obtained by capturing a material discrimination target, and a detection area setting unit based on the material discrimination result of the discrimination processing unit. A case where a region detection unit for detecting the attention subject area from the set attention subject detection area is further provided will be described.
  • FIG. 15 is a flowchart showing a third operation example.
  • the image processing apparatus initializes the image pickup unit to be discriminated.
  • the discrimination target information acquisition unit 32 of the image processing device 30 calibrates the discrimination target imaging unit 321 and proceeds to step ST72.
  • the attention subject detection area is set.
  • the detection area setting unit of the image processing device 30 conventionally obtains a attention subject detection region including a material discrimination target (attention subject) from a polarized image generated by the discrimination target imaging unit 321 or a non-polarized image generated based on the polarized image. Set using the method of. For example, the detection area setting unit detects the background area, sets an area different from the background area as the attention subject detection area, and proceeds to step ST73.
  • step ST73 the image processing device calculates the error of the discrimination target pixel u in the attention subject detection area.
  • step ST74 the image processing apparatus detects the minimum error Emin.
  • the discrimination processing unit 34 of the image processing device 30 detects the minimum error Emin in the same manner as in the first operation example, and proceeds to step ST75.
  • step ST75 the image processing apparatus determines whether the minimum error Emin is smaller than the threshold value The.
  • the determination processing unit 34 of the image processing apparatus 30 determines that the minimum error Emin detected in step ST74 is smaller than the threshold value The.
  • the process proceeds to step ST76, and when the minimum error Emin is equal to or greater than the threshold value The value, the process proceeds to step ST77.
  • step ST76 the image processing apparatus determines the material of the minimum error Emin as the material of the subject corresponding to the pixel u to be discriminated, and proceeds to 78.
  • step ST77 the image processing device determines the material of the subject corresponding to the discrimination target pixel u as an unknown material, and proceeds to step ST78.
  • step ST78 the image processing device determines whether the material determination of the attention subject detection area is completed.
  • the image processing device 30 proceeds to step ST79 when there are pixels in the attention subject detection area for which material discrimination has not been performed, and proceeds to step ST80 when the material discrimination of each pixel in the attention subject detection area is completed.
  • step ST79 the image processing device updates the discrimination target pixel.
  • the image processing device 30 selects a new pixel for which the material has not been discriminated as the discriminating target pixel, and returns to step ST73.
  • step ST80 the image processing device outputs the discrimination result.
  • the image processing device 30 displays, for example, an image region made of the same material with the same color, the same brightness, or the like, based on the result of determining the material. In addition, regions of different materials are displayed using different colors or brightness.
  • FIG. 16 shows a third operation example.
  • the subject of interest is the car Ga
  • the road Gb includes the shadow Gc of the car Ga.
  • the imaging range AP of the discrimination target imaging unit 321 is indicated by a broken line.
  • FIG. 16B shows a case where the attention subject detection area ARa is extracted from the image of the imaging range AP by removing the background area by a conventional method, and the attention subject detection area ARa includes not only the car Ga but also the road.
  • the shadow Gc of the car generated in Gb is included.
  • FIG. 16 (c) shows the material discrimination result.
  • the region excluding the shadow Gc portion of the road Gb from the attention subject detection region ARa can be discriminated as the image region of the vehicle as the attention subject. Therefore, as shown in FIG. 16D, for example, the rectangular region ARb indicating the vehicle can be accurately detected.
  • the material polarization characteristics exhibit the material-specific polarization reflection characteristics that do not depend on the external environment. Since it is possible to classify the materials based on the information, it becomes possible to discriminate the region of the desired subject.
  • FIG. 17 illustrates the case where, for example, soap, toothpaste, salt and dairy products are used as objects having substantially the same appearance.
  • the material polarization characteristic information of each object generated by the information generation device 20 is stored in advance in the information storage unit 33. Further, the incident polarization information when the material discrimination target is imaged is stored in advance in the information storage unit 33.
  • the image processing device 30 takes an image of the material discrimination target after calibration, and sets the material whose error is the minimum from the error from the estimation result using the Muller matrix of each material as the material of the material discrimination target as described above. Therefore, as shown in FIG. 17A, even if it is not possible to distinguish objects having substantially the same appearance in the captured image acquired by the conventional imaging unit 3211, by using this technique, FIG. 17 As shown in (b) of the above, objects having substantially the same appearance are distinguished by the difference in material based on the polarized image acquired by the discrimination target imaging unit 321 configured by using the imaging unit 3211 and the polarizing plate 3212. It becomes possible. Further, even if the appearance is different due to the influence of shadows or the like (not shown), objects of the same material can be discriminated.
  • FIG. 18 illustrates a case where the discrimination result is presented in pixel units.
  • FIG. 18A illustrates a case where the objects OBa, OBb, and OBc are included in the polarized image acquired by the discrimination target imaging unit 321 configured by using the imaging unit 3211 and the polarizing plate 3212.
  • FIG. 18B exemplifies the discrimination result, and displays only the objects OBa and OBc whose materials have been discriminated.
  • the gradation of the object may be set according to the error so that the discrimination accuracy of the material can be recognized. ..
  • the image processing device may use a light source suitable for the material when a target for discriminating the material is provided indoors.
  • the information generator can accurately discriminate the material by generating the material polarization characteristic information when a light source suitable for the material is used.
  • FIG. 19 illustrates another method of acquiring a polarized image.
  • the polarized image acquisition unit is generated by arranging a polarizing filter 502 having a plurality of pixel configurations in the polarization direction on the image sensor 501 and performing imaging.
  • FIG. 19A illustrates a case where the polarizing filter 502, in which each pixel is a pixel in one of four different polarization directions (the polarization direction is indicated by an arrow), is arranged in front of the image sensor 501.
  • the polarized image acquisition unit may generate a plurality of polarized images having different polarization directions by utilizing the configuration of the multi-lens array.
  • a plurality of lenses 503 are provided on the front surface of the image sensor 501, and each lens 503 forms an optical image of a subject on the imaging surface of the image sensor 501.
  • a polarizing plate 504 is provided on the front surface of each lens 503, and a plurality of polarized images having different polarization directions are generated with the polarization directions of the polarizing plates 504 being different directions.
  • the polarized image acquisition unit may generate polarized images of the three primary colors by providing the image sensor 501 with a color filter. Further, a plurality of polarized images may be generated by providing an imaging unit for each polarization direction.
  • the technology according to the present disclosure can be applied to various fields.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot.
  • the surrounding situation is presented to the driver using the material discrimination result, the surrounding situation can be easily grasped and the driver's fatigue can be reduced.
  • automatic driving and the like can be performed more safely.
  • it is applied to equipment or the like used in a production process in a factory it becomes possible to prevent mixing of parts or the like of different materials.
  • the monitoring field it is possible to perform a monitoring operation in consideration of the material by utilizing not only the shape and movement of the object but also the discrimination result of the material.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • the program that records the processing sequence is installed in the memory in the computer embedded in the dedicated hardware and executed.
  • the program can be pre-recorded on a hard disk as a recording medium, an SSD (Solid State Drive), or a ROM (Read Only Memory).
  • the program is a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto optical) disk, DVD (Digital Versatile Disc), BD (Blu-Ray Disc (registered trademark)), magnetic disk, semiconductor memory card. It can be temporarily or permanently stored (recorded) in a removable recording medium such as.
  • a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the image processing apparatus of the present technology can have the following configurations.
  • a discrimination environment information acquisition unit that acquires incident polarization information of a light source in a material discrimination environment
  • a discrimination target information acquisition unit that acquires emission polarization information from a polarized image obtained by capturing a material discrimination target in the material discrimination environment.
  • the incident polarization information acquired by the discrimination environment information acquisition unit, the emission polarization information acquired by the discrimination target information acquisition unit, and the polarization reflection characteristics for each of the incident direction of the polarized incident light and the emission direction of the reflected light are shown in advance.
  • An image processing apparatus including a discrimination processing unit that discriminates the material to be discriminated from the material based on the generated material polarization characteristic information.
  • the discrimination processing unit includes material polarization characteristic information selected according to the incident direction of polarized light incident on the material discrimination target and the emission direction of reflected light from the material discrimination target, and the discrimination environment information acquisition unit.
  • the error of the other polarization information estimated by using one of the incident polarization information acquired in the above or the emission polarization information acquired by the discrimination target information acquisition unit is calculated, and the material to be discriminated is determined based on the calculated error.
  • the image processing apparatus according to (1) for determining.
  • the discrimination processing unit generates estimated emission polarization information using the selected material polarization characteristic information and the incident polarization information, and the emission acquired by the discrimination target information acquisition unit and the estimated emission polarization information.
  • the image processing apparatus which discriminates the material to be discriminated from the material based on an error from the polarization information.
  • the discrimination processing unit calculates estimated incident polarization information using the selected material polarization characteristic information and the emission polarization information acquired by the discrimination target information acquisition unit, and determines the estimated incident polarization information and the discrimination.
  • the image processing apparatus which discriminates the material to be discriminated from the material based on an error from the incident polarization information acquired by the environmental information acquisition unit.
  • the material polarization characteristic information is generated for each of a plurality of materials.
  • the discrimination processing unit selects material polarization characteristic information corresponding to the incident direction of the polarized light incident light and the emission direction of the reflected light from each material from the material polarization characteristic information, and calculates the error for each material.
  • the image processing apparatus according to any one of (2) to (4), which discriminates the material having the minimum error from the material to be discriminated from the material.
  • the material polarization characteristic information is generated for each of a plurality of materials.
  • the discrimination environment information acquisition unit acquires the incident polarization information for each of a plurality of light sources in the material discrimination environment.
  • the discrimination processing unit calculates the error using the incident polarization information for each of the plurality of light sources, and discriminates the material having the minimum error as the material to be discriminated from (2) to (6).
  • the image processing apparatus according to any one of.
  • the discrimination environment information acquisition unit acquires the incident polarization information for each of a plurality of light sources in the material discrimination environment.
  • the discrimination processing unit calculates the error using the incident polarization information of the light source selected from the incident polarization information for each of the plurality of light sources, and determines the material having the smallest error as the material to be discriminated from.
  • One of (1) to (6) further includes an area detection unit that detects an attention subject area from the attention subject detection area set by the detection area setting unit based on the material discrimination result of the discrimination processing unit.
  • the image processing apparatus described. (10) The incident polarization information and the material polarization characteristic information acquired by the discrimination environment information acquisition unit are stored in the information storage unit in advance, and the discrimination processing unit stores the incident polarization information stored in the information storage unit.
  • the image processing apparatus according to any one of (1) to (9), wherein the material to be discriminated from the material is discriminated by using the material polarization characteristic information.
  • the discrimination environment information acquisition unit divides the material discrimination environment into a plurality of regions, and sets the average incident direction and the average incident polarization information for each region as the incident direction and the incident polarization information of the region (1) to The image processing apparatus according to any one of (10).
  • Image processing device Described in any one of (1) to (11), wherein the discrimination processing unit discriminates the material to be discriminated from the material based on the normalized incident polarization information, the exit polarization information, and the material polarization characteristic information.
  • the information generator of the present technology can have the following configuration.
  • a light source information acquisition unit that acquires incident polarization information of polarized light incident light from a light source in a measurement environment provided with an information generation target whose material is clear to the information generation target for each incident direction.
  • An emission polarization information acquisition unit that acquires emission polarization information of reflected light from the information generation target for each emission direction, Using the incident polarization information acquired by the light source information acquisition unit and the emission polarization information acquired by the emission polarization information acquisition unit, the polarization reflection characteristics of the incident direction of the polarized incident light and the emission direction of the reflected light can be determined.
  • An information generator including a material polarization characteristic information generator that generates the indicated material polarization characteristic information for each direction.
  • the light source information acquisition unit acquires the incident polarization information for each material and obtains the incident polarization information.
  • the emission polarization information acquisition unit acquires emission polarization information for each material and obtains the emission polarization information.
  • the information generation device according to (1), wherein the material polarization characteristic information generation unit generates material polarization characteristic information indicating polarization reflection characteristics for each incident direction and each emission direction for each material.
  • the outgoing polarization information acquisition unit observes the information generation target imaging unit that images the information generation target and generates polarized images in a plurality of polarization directions, and the polarized image generated by the information generation target imaging unit.
  • the information generator according to (1) or (2) which acquires the emitted polarized light information based on the value.
  • the incident polarization information indicates the Stokes vector of the polarized light incident light
  • the emitted polarization information indicates the Stokes vector of the reflected light
  • the material polarization characteristic information indicates any of (1) to (4). Information generator described in the light.
  • Incident Polarization information calculation unit 321 Discrimination target imaging unit 322 ... Output polarization information calculation unit 341 ... Estimation processing unit 342 ... Error calculation unit 343 ... Material discrimination processing unit 501 ... Image sensor 502 ... Polarizing filter 503 ... Lens 504 ... Polarizing plate 3111, 3211 ... Imaging unit 3112, 3212 ... Polarizing plate

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

判別環境情報取得部３１は材質判別環境における光源の入射偏光情報を取得する。判別対象情報取得部３２は、材質判別環境における材質判別対象を撮像した偏光画像から出射偏光情報を取得する。判別処理部３４は、判別環境情報取得部３１で取得された入射偏光情報と、判別対象情報取得部３２で取得された出射偏光情報と、情報記憶部３３に予め記憶されている材質偏光特性情報、すなわち偏光入射光の入射方向と反射光の出射方向毎の偏光反射特性を材質毎に示す材質偏光特性情報に基づき、材質判別対象の材質を判別できる。

Description

画像処理装置と情報生成装置およびその方法
　この技術は、画像処理装置と情報生成装置およびその方法に関し、偏光画像に基づき材質を容易に判別可能とする。
　従来、材料の判別として、特許文献１では、材料を透過もしくは反射した光を取り込み分光して、分光された光に基づいて生成された信号情報と予め登録された材質の信号情報を比較することにより未知の材質の種類を特定することが行われている。
特開２００２－２４３６３９号公報
　ところで、予め登録された材質の信号情報は一定の環境と条件での測定結果である。したがって、材質の信号情報を環境毎および条件毎に予め設けておかないと、分光された光に基づいて生成された信号情報に基づいて材質の種類と特定することができない。また、環境や条件が変化する場合、信号情報の生成だけでなく、環境や条件をその都度測定する必要があるため、材質の種類を容易に判別することができない。
　そこで、本技術では、偏光画像に基づき材質を容易に判別可能とする画像処理装置と情報生成装置およびその方法を提供することを目的とする。
　この技術の第１の側面は、
　材質判別環境における光源の入射偏光情報を取得する判別環境情報取得部と、
　前記材質判別環境における材質判別対象を撮像した偏光画像から出射偏光情報を取得する判別対象情報取得部と、
　前記判別環境情報取得部で取得された入射偏光情報と、前記判別対象情報取得部で取得された出射偏光情報と、偏光入射光の入射方向と反射光の出射方向毎の偏光反射特性を示す予め生成された材質偏光特性情報に基づき、前記材質判別対象の材質を判別する判別処理部と
を備える画像処理装置にある。
　この技術において、判別環境情報取得部は、材質判別環境における光源の入射偏光情報、例えば入射ストークスベクトルを取得する。また、判別対象情報取得部は、材質判別環境における材質判別対象を撮像した偏光画像から出射偏光情報、例えば出射ストークスベクトルを取得する。判別処理部は、入射偏光情報と出射偏光情報と、偏光入射光の入射方向と反射光の出射方向毎の偏光反射特性としてミュラー行列を示す予め生成されて情報記憶部に記憶されている材質偏光特性情報を用いる。また、判別処理部は、正規化された入射偏光情報と出射偏光情報と材質偏光特性情報を用いてもよい。
　判別処理部は、材質判別対象への偏光入射光の入射方向と材質判別対象からの反射光の出射方向に応じて選択した材質偏光特性情報と、入射偏光情報または出射偏光情報の一方を用いて推定した他方偏光情報の誤差を算出する。例えば、判別処理部は、選択した材質偏光特性情報と入射偏光情報を用いて推定出射偏光情報を生成して、推定出射偏光情報と判別対象情報取得部で取得された出射偏光情報との誤差を算出する。また、判別処理部は、選択した材質偏光特性情報と判別対象情報取得部で取得された出射偏光情報を用いて推定入射偏光情報を算出して、推定入射偏光情報と前記判別環境情報取得部で取得された入射偏光情報との誤差を算出してもよい。
　判別処理部は、算出した誤差に基づき材質判別対象の材質を判別する。例えば材質偏光特性情報は複数の材質毎に生成されており、判別処理部は、算出した誤差における最小の誤差、あるいは最小の誤差が予め設定された閾値よりも小さい場合に、最小の誤差となる材質を材質判別対象の材質と判別する。判別環境情報取得部は、材質判別環境を複数領域に区分して、領域毎の平均入射方向と平均入射偏光情報を前記領域の入射方向と入射偏光情報とする。また、判別環境情報取得部は、材質判別環境における複数の光源毎に入射偏光情報を取得して、判別処理部は、複数の光源毎の入射偏光情報を用いて誤差を算出してもよく、複数の光源毎の入射偏光情報から選択した光源の入射偏光情報を用いて誤差を算出してもよい。
　さらに、画像処理装置は、材質判別対象を撮像した偏光画像から注目被写体検出領域を設定する検出領域設定部と、判別処理部の材質判別結果に基づき、検出領域設定部で設定された注目被写体検出領域から注目被写体領域を検出する領域検出部をさらに備えてもよい。
　この技術の第２の側面は、
　材質判別環境における光源の入射偏光情報を判別環境情報取得部で取得することと、
　前記材質判別環境における材質判別対象を撮像した偏光画像から出射偏光情報を判別対象情報取得部で取得することと、
　前記判別環境情報取得部で取得された入射偏光情報と、前記判別対象情報取得部で取得された出射偏光情報と、偏光入射光の入射方向と反射光の出射方向毎の偏光反射特性を材質毎に示す予め生成された材質偏光特性情報に基づき、判別処理部で前記材質判別対象の材質を判別することと
を含む画像処理方法にある。
　この技術の第３の側面は、
　材質が明らかである情報生成対象が設けられた測定環境における光源から前記情報生成対象への偏光入射光の入射偏光情報を、入射方向毎に取得する光源情報取得部と、
　前記情報生成対象からの反射光の出射偏光情報を、出射方向毎に取得する出射偏光情報取得部と、
　前記光源情報取得部で取得された入射偏光情報と、前記出射偏光情報取得部で取得された出射偏光情報を用いて、前記偏光入射光の入射方向と前記反射光の出射方向の偏光反射特性を示す材質偏光特性情報を方向毎に生成する材質偏光特性情報生成部
を備える情報生成装置にある。
　この技術において、光源情報取得部は、材質が明らかである情報生成対象が設けられた測定環境における光源から情報生成対象への偏光入射光の入射偏光情報、例えば入射ストークスベクトルを入射方向毎および材質毎に取得する。出射偏光情報取得部は、情報生成対象を撮像して複数の偏光方向の偏光画像を生成する情報生成対象撮像部と、情報生成対象撮像部で生成された偏光画像の観測値に基づいて、情報生成対象からの反射光の出射偏光情報、例えば出射ストークスベクトルを出射方向毎および材質毎に取得する。材質偏光特性情報生成部は、入射偏光情報と出射偏光情報を用いて、偏光入射光の入射方向と反射光の出射方向の偏光反射特性、例えばミュラー行列を示す材質偏光特性情報を方向毎および材質毎に生成する。また、材質偏光特性情報生成部は、正規化した材質偏光特性情報を生成してもよい。
　この技術の第４の側面は
　材質が明らかである情報生成対象が設けられた測定環境における光源から前記情報生成対象への偏光入射光の入射偏光情報を、入射方向毎に光源情報取得部で取得することと、
　前記情報生成対象からの反射光の出射偏光情報を出射方向毎に出射偏光情報取得部で取得することと、
　前記光源情報取得部で取得された入射偏光情報と、前記出射偏光情報取得部で取得された出射偏光情報を用いて、前記偏光入射光の入射方向と前記反射光の出射方向の偏光反射特性を示す材質偏光特性情報を、材質偏光特性情報生成部で方向毎に生成することと
を含む情報生成方法にある。
偏光反射特性を説明するための図である。 材質判別システムの構成を例示した図である。 情報生成装置の構成を例示した図である。 情報生成装置の動作を例示したフローチャートである。 情報生成装置の動作を詳細に示したフローチャート（その１）である。 情報生成装置の動作を詳細に示したフローチャート（その２）である。 材質偏光特性情報を例示した図である。 画像処理装置の構成を例示した図である。 環境撮像部３１１の構成を例示した図である。 環境撮像部３１１で生成した偏光画像を例示した図である。 偏光画像の分割を例示した図である。 画像処理装置の動作を例示したフローチャートである。 第１の動作例を示すフローチャートである。 第２の動作例を示すフローチャートである。 第３の動作例を示すフローチャートである。 第３の動作例を示す図である。 見た目が略同一である物体を区別する場合を例示した図である。 画素単位で判別結果を提示する場合を例示した図である。 偏光画像の他の取得方法を例示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．偏光反射特性について
　２．材質判別システムの構成
　３．情報生成装置について
　　３－１．情報生成装置の構成
　　３－２．情報生成装置の動作
　４．画像処理装置について
　　４－１．画像処理装置の構成
　　４－２．画像処理装置の動作
　　　４－２－１．判別処理部の第１の動作
　　　４－２－２．判別処理部の第２の動作
　５．画像処理装置の動作例
　　５－１．第１の動作例
　　５－２．第２の動作例
　　５－３．第３の動作例
　　５－４．他の動作例
　６．他の構成と動作
　７．応用例
　＜１．偏光反射特性について＞
　図１は、偏光反射特性を説明するための図である。光源ＬＴから出射された光が偏光子例えば直線偏光子ＰＬ１を介して測定対象ＯＢに照射されており、撮像装置ＣＭは偏光子例えば直線偏光子ＰＬ２を介して測定対象ＯＢを撮像する。なお、Ｚ方向は天頂方向を示しており角度θは天頂角である。
　直線偏光子（ＰＬ１とＰＬ２）の偏光方向を例えば０°，４５°，９０°，１３５°、撮像装置ＣＭで測定対象を撮像して得られる画素値を観測値Ｉとしたとき、偏光方向が０°であるときの観測値Ｉ（０°）、偏光方向が４５°であるときの観測値Ｉ（４５°），偏光方向が９０°であるときの観測値Ｉ（９０°），偏光方向が１３５°であるときの観測値Ｉ（１３５°）の関係はストークスベクトルＶＳ＝［ｓ０，ｓ１，ｓ２］Ｔで示すことができる。なお、ストークスベクトルと観測値の関係は式（１）となる。
Figure JPOXMLDOC01-appb-M000001
　ストークスベクトルにおいて、成分ｓ０は無偏光の輝度もしくは平均輝度を示している。また、成分ｓ１は、０°と９０°の偏光方向の強度の差、成分ｓ２は４５°と１３５°の偏光方向の強度の差を示している。すなわち、０°のストークスベクトルは［１，１，０］Ｔ、４５°のストークスベクトルは［１，０，１］Ｔ、９０°のストークスベクトルは［１，－１，０］Ｔ、１３５°のストークスベクトルは［１，０，－１］Ｔとなる。
　ここで、測定対象ＯＢに照射される入射方向ωiの光のストークスベクトルを「ＶＳｉ」、撮像装置ＣＭで観測される出射方向ωoの光のストークスベクトルを「ＶＳo」、入射方向ωiおよび出射方向ωoであるときのミュラー行列をＭ（ωo，ωi）とすると、式（２）が成立する。なお、式（３）は式（２）を行列式で示している。
　　Ｍ（ωo，ωi）・ＶＳi　＝　ＶＳo　　・・・（２）
Figure JPOXMLDOC01-appb-M000002
　式（３）は、測定対象ＯＢに照射される入射光の偏光方向が０°である場合に式（４）となる。また、式（３）は、入射光の偏光方向が４５°である場合に式（５）、入射光の偏光方向が９０°である場合に式（６）、入射光の偏光方向が１３５°である場合に式（７）となる。
Figure JPOXMLDOC01-appb-M000003
　したがって、式（４）乃至式（７）に基づき、式（８）に示すミュラー行列Ｍ（ωo，ωi）を算出できる。さらに、ミュラー行列Ｍ（ωo，ωi）における輝度の影響を除外するため正規化を行う。式（９）は正規化後のミュラー行列Ｍ（ωo，ωi）を示している。
Figure JPOXMLDOC01-appb-M000004
　このようにして算出したミュラー行列は、測定対象の材質固有の偏光反射特性を示している。また、偏光反射特性は外部環境に依存しないので、一度測定すればあらゆる場所で利用可能であり、偏光反射特性を繰り返し取得する必要がない。
　＜２．材質判別システムの構成＞
　材質判別システムでは、偏光入射光の入射方向ωiと反射光の出射方向ωo毎の偏光反射特性を材質毎に示す材質偏光特性情報と、材質判別対象からの出射方向ωoの反射光に基づく偏光画像から算出した出射偏光情報と入射方向ωiの偏光入射光の入射偏光情報に基づいて、材質判別対象の材質を判別する。
　図２は、材質判別システムの構成を例示している。材質判別システム１０は情報生成装置２０と画像処理装置３０を有している。情報生成装置２０は、既知の材質を用いて材質偏光特性情報を材質毎に生成する。なお、情報生成装置２０は、生成した材質偏光特性情報をデータベース部５０に登録してもよく、画像処理装置３０へ出力してもよい。画像処理装置３０は、材質判別対象を撮像して偏光画像を取得して、偏光画像に基づき偏光反射特性を算出する。また、画像処理装置３０は情報生成装置２０あるいはデータベース部５０から取得した材質偏光特性情報と、算出した偏光反射特性および入射方向ωiと出射方向ωoに基づいて材質判別対象の材質を判別する。
　＜３．情報生成装置について＞
　＜３－１．情報生成装置の構成＞
　図３は、情報生成装置の構成を例示している。情報生成装置２０は、光源情報取得部２１と出射偏光情報取得部２２と材質偏光特性情報生成部２３を有している。
　光源情報取得部２１は、光源に関する入射偏光情報を取得する。光源情報取得部２１は、光源撮像部２１１と入射偏光情報算出部２１２を有している。
　光源撮像部２１１は、撮像部と撮像部の前方に偏光方向を変更可能として偏光板を設けた構成されている。光源撮像部２１１は、偏光板（直線偏光）の偏光方向を所定の複数の偏光方向として、偏光方向毎に撮像部で光源を撮像して複数偏光方向の偏光画像を生成して入射偏光情報算出部２１２へ出力する。
　入射偏光情報算出部２１２は、光源撮像部２１１で生成した偏光画像に基づき入射方向毎に入射ストークスベクトルを算出する。入射偏光情報算出部２１２は、算出した入射方向毎の入射ストークスベクトル、例えば入射方向ωi１～ωiｍにおける入射ストークスベクトルＶＳｉ１～ＶＳｉｍを入射偏光情報として材質偏光特性情報生成部２３へ出力する。なお、入射方向は、情報生成装置２０で光源の位置を制御することで入射方向を判別してもよく、光源から位置情報を取得して光源撮像部２１１に対する光源の方向を判別してもよい。また、外部から入射方向を示す情報が入力される構成であってもよい。
　出射偏光情報取得部２２は、材質が予め明らかである情報生成対象からの反射光に関する出射偏光情報を取得する。出射偏光情報取得部２２は、既知材質撮像部２２１と出射偏光情報算出部２２２を有している。
　既知材質撮像部２２１は、撮像部と撮像部の前面に偏光方向を変更可能として偏光板を設けた構成されている。既知材質撮像部２２１は、偏光板（直線偏光）の偏光方向を所定の複数の偏光方向として、情報生成対象を撮像して偏光方向毎の偏光画像を生成する。また、既知材質撮像部２２１は撮像前にキャリブレーションを行い、既知材質撮像部２２１の画素に入射する反射光の方向（出射方向ωo）をカメラ座標系で求める。なお、キャリブレーションはどのような方法を用いてもよく、キャリブレーションによって生成された外部パラメータと内部パラメータを用いることで、出射方向ωoをカメラ座標系で求めることができるようにする。さらに、既知材質撮像部２２１は、情報生成対象を異なる方向例えば異なる天頂角の方向から撮像可能に構成されており、異なる出射方向ωoの偏光画像を複数偏光方向毎に生成する。
　出射偏光情報算出部２２２は、既知材質撮像部２２１で生成された偏光画像が示す観測値（画素値）を用いて出射ストークスベクトルＶＳoを算出する。また、出射偏光情報算出部２２２は、出射方向毎に生成された偏光方向が異なる偏光画像を用いて、反射ストークスベクトルを出射方向毎に算出する。出射偏光情報算出部２２２は、算出した出射方向毎の出射ストークスベクトル、例えば出射方向ωo１～ωoｎにおける出射ストークスベクトルＶＳo１～ＶＳoｎを出射偏光情報として材質偏光特性情報生成部２３へ出力する。
　材質偏光特性情報生成部２３は、情報生成対象の偏光反射特性を示す材質偏光特性情報を生成する。偏光反射特性算出部２３１と材質偏光特性情報生成部２３２を有している。
　偏光反射特性算出部２３１は、光源情報取得部２１から供給された入射偏光情報で示された入射方向ωi１　～ωiｍにおける入射ストークスベクトルＶＳi１～ＶＳiｍと、出射偏光情報取得部２２から供給された出射偏光情報で示された出射方向ωo１～ωoｎにおける出射ストークスベクトルＶＳo１～ＶＳoｎに基づき、偏光反射特性例えば式（２）に基づきミュラー行列を、入射方向と出射方向の組み合わせ毎に算出する。例えば、偏光反射特性算出部２３１は、入射方向ωi１の入射ストークスベクトルＶＳi１と出射方向ωo１の出射ストークスベクトルＶＳo１に基づいてミュラー行列Ｍ（ωo１　，ωi１）を算出する。また、入射方向ωiｍの入射ストークスベクトルＶＳimと出射方向ωoｎの出射ストークスベクトルＶＳoｎに基づいてミュラー行列Ｍ（ωoｎ　，ωiｍ）を算出する。材質偏光特性情報生成部２３は、算出したミュラー行列を正規化して材質偏光特性情報生成部２３２へ出力する。
　材質偏光特性情報生成部２３２は、偏光反射特性算出部２３１で算出した偏光反射特性情報（例えば正規化後のミュラー行列）に入射方向と出射方向を関連付けて材質偏光特性情報を生成する。また、光源情報取得部２１と出射偏光情報取得部２２は、既知の材質毎に入射偏光情報と出射偏光情報を取得して、偏光反射特性算出部２３１は、既知の材質毎に偏光反射特性情報を生成して、偏光反射特性情報に入射方向と出射方向を関連付けた材質判別情報を既知の材質毎に生成する。材質偏光特性情報生成部２３２は、生成した材質偏光特性情報を上述のように例えばデータベース部５０へ出力する。なお、データベース部５０は、情報生成装置２０に設けられてもよく、画像処理装置３０に設けてもよい。また、情報生成装置２０および画像処理装置３０とは異なる外部装置に設けてもよい。
　＜３－２．情報生成装置の動作＞
　遅疑に、情報生成装置２０の動作について説明する。図４は、情報生成装置の動作を例示したフローチャートである。ステップＳＴ１で情報生成装置２０は撮像部を初期化する。情報生成装置２０は、光源情報取得部２１の光源撮像部２１１と出射偏光情報取得部２２の既知材質撮像部２２１の初期化を行う。情報生成装置２０は、光源撮像部２１１と既知材質撮像部２２１のキャリブレーションを行い座標系を一致させてステップＳＴ２に進む。
　ステップＳＴ２で情報生成装置２０は測定環境の入射偏光情報を取得する。情報生成装置２０の光源情報取得部２１は、入射方向と入射方向毎の入射ストークスベクトルを示す入射偏光情報を取得してステップＳＴ３に進む。
　ステップＳＴ３で情報生成装置２０は出射偏光情報を取得する。情報生成装置２０の出射偏光情報取得部２２は、光源の入射方向毎に、出射ストークスベクトルを示す出射偏光情報を出射方向毎に取得してステップＳＴ４に進む。
　ステップＳＴ４で情報生成装置２０は材質偏光特性情報を生成する。情報生成装置２０の材質偏光特性情報生成部２３は、ステップＳＴ２で取得された入射偏光情報とステップＳＴ３で取得された出射偏光情報に基づき、入射方向および反射方向の組み合わせ毎の偏光反射特性を生成する。例えば入射方向ωiの入射ストークスベクトルＶＳiと出射方向ωoの出射ストークスベクトルＶＳoを用いてミュラー行列Ｍ（ωo，ωi）を、入射方向毎および出射方向毎に算出する。また、材質偏光特性情報生成部２３は、偏光反射特性情報に入射方向と出射方向を関連付けて材質偏光特性情報を生成してステップＳＴ５に進む。
　ステップＳＴ５で情報生成装置２０は、各材質の材質偏光特性情報の生成が完了したか判別する。情報生成装置２０は、材質偏光特性情報の生成が行われていない材質がある場合ステップＳＴ６に進み、各材質の材質偏光特性情報の生成が完了した場合には処理を終了する。
　ステップＳＴ６で情報生成装置２０は材質を更新する。情報生成装置２０は、出射偏光情報取得部２２の既知材質撮像部２２１で撮像する被写体を材質偏光特性情報が生成されていない材質に偏光してステップＳＴ３に戻る。
　また、図５，図６は、情報生成装置の動作を詳細に示したフローチャートである。図５，図６では、方位方向に角度θａ毎および天頂方向に角度θｂ毎の位置の入射方向と入射ストークスベクトルを用いる場合を示している。また、既知材質撮像部２２１の撮像方向は天頂方向に角度θｃ毎に移動される。さらに、光源撮像部２１１と既知材質撮像部２２１では、偏光方向の切り替えが「０°，４５°，９０°，１３５°」とされている。なお、入射偏光情報は事前に取得されている。
　ステップＳＴ１１で情報生成装置２０は既知材質撮像部の初期化を行う。情報生成装置２０の出射偏光情報取得部２２は、既知材質撮像部２２１のキャリブレーションを行い方位角と天頂角を０°としてステップＳＴ１２に進む。
　ステップＳＴ１２で情報生成装置２０は光源天頂角の初期化を行う。情報生成装置２０の光源情報取得部２１は、光源撮像部２１１の初期化を行い、既知材質撮像部２２１の天頂角が０°の方向を光源撮像部２１１の天頂角０°の方向としてステップＳＴ１３に進む。
　ステップＳＴ１３で情報生成装置２０は光源方位角の初期化を行う。情報生成装置２０の光源情報取得部２１は、光源撮像部２１１の初期化を行い、既知材質撮像部２２１の方角が０°の方向を光源撮像部２１１の方位角０°の方向としてステップＳＴ１４に進む。
　ステップＳＴ１４で情報生成装置２０は光源側の偏光板を初期化する。情報生成装置２０の光源情報取得部２１は、光源撮像部２１１に用いられている偏光板の偏光方向を０°としてステップＳＴ１５に進む。
　ステップＳＴ１５で情報生成装置２０は既知材質撮像側の偏光板を初期化する。情報生成装置２０の出射偏光情報取得部２２は、既知材質撮像部２２１に用いられている偏光板の偏光方向を０°としてステップＳＴ１６に進む。
　ステップＳＴ１６で情報生成装置２０は情報生成対象を撮像する。既知材質撮像部２２１は、材質が明らかな情報生成対象を撮像して偏光画像を生成してステップＳＴ１７に進む。
　ステップＳＴ１７で情報生成装置２０は既知材質撮像側の偏光板を４５°回転する。情報生成装置２０の出射偏光情報取得部２２は、偏光板の偏光方向を４５°回転させてステップＳＴ１８に進む。
　ステップＳＴ１８で情報生成装置２０は既知材質撮像側の偏光方向が１８０°よりも小さいか判別する。情報生成装置２０の出射偏光情報取得部２２は、回転後の偏光方向が１８０°よりも小さい場合はステップＳＴ１６に戻り、１８０°以上である場合はステップＳＴ１９に進む。
　ステップＳＴ１９で情報生成装置２０は出射偏光情報を取得する。情報生成装置２０はステップＳＴ１６からステップＳＴ１８の処理を行うことで、偏光方向が「０°，４５°，９０°，１３５°」の各偏光画像が生成されていることから、生成されている偏光画像に基づき、出射ストークスベクトルを算出してステップＳＴ２０に進む。
　ステップＳＴ２０で情報生成装置２０は光源側の偏光板を４５°回転する。情報生成装置２０の光源情報取得部２１は、偏光板の偏光方向を４５°回転させてステップＳＴ２１に進む。
　ステップＳＴ２１で情報生成装置２０は光源側の偏光方向が１８０°よりも小さいか判別する。情報生成装置２０の光源情報取得部２１は、回転後の偏光方向が１８０°よりも小さい場合はステップＳＴ１５に戻り、１８０°以上である場合はステップＳＴ２２に進む。
　ステップＳＴ２２で情報生成装置２０は偏光反射特性を算出する。情報生成装置２０の光源情報取得部２１は、情報生成対象への偏光入射光の偏光方向が「０°，４５°，９０°，１３５°」であるときの出射ストークスベクトルに基づきミュラー行列を算出する。すなわち、上述の式（４）乃至（７）に基づき式（８）に示すミュラー行列を算出してステップＳＴ２３に進む。
　ステップＳＴ２３で情報生成装置２０は材質偏光特性情報を保存する。情報生成装置２０の光源情報取得部２１は、ステップＳＴ２２で算出したミュラー行列に光源方向を示す入射方向ωiと既知材質撮像部２２１の方向を示す出射方向ωoと関連付けた材質偏光特性情報を生成して、データベース部等に保存してステップＳＴ２４に進む。
　ステップＳＴ２４で情報生成装置２０は光源方位角をθａ°移動させる。情報生成装置２０の光源情報取得部２１は、光源撮像部２１１の方位角をθａ°移動させてステップＳＴ２５に進む。
　ステップＳＴ２５で情報生成装置２０は光源方位角が３６０°よりも小さいか判別する。情報生成装置２０の光源情報取得部２１は、光源方位角が３６０°よりも小さい場合にステップＳＴ１４に戻り、光源方位角が３６０°以上となる場合にステップＳＴ２６へ進む。
　ステップＳＴ２６で情報生成装置２０は光源天頂角をθｂ°移動させる。情報生成装置２０の光源情報取得部２１は、光源撮像部２１１の天頂角をθｂ°移動させてステップＳＴ２７に進む。
　ステップＳＴ２７で情報生成装置２０は光源天頂角が９０°よりも小さいか判別する。情報生成装置２０の光源情報取得部２１は、光源天頂角が９０°よりも小さい場合にステップＳＴ１３に戻り、光源方位角が９０°以上となる場合にステップＳＴ２８に進む。すなわち、ステップＳＴ１３からステップＳＴ２７の処理を行うことで、一つの出射方向について、方位方向の分解能がθａ°で天頂方向の分解能がθｂ°である入射方向毎の材質偏光特性情報がデータベース部等に保存されることになる。
　ステップＳＴ２８で情報生成装置２０は既知材質撮像部の天頂角をθｃ°移動させる。情報生成装置２０の出射偏光情報取得部２２は、既知材質撮像部２２１の天頂角をθｃ°移動させてステップＳＴ２９に進む。
　ステップＳＴ２９で情報生成装置２０は既知材質撮像部の天頂角が９０°よりも小さいか判別する。情報生成装置２０の出射偏光情報取得部２２は、既知材質撮像部２２１の天頂角が９０°よりも小さい場合にステップＳＴ１２に戻り、方位角が９０°以上となる場合に処理を終了する。したがって、方位方向の分解能が角度θａで天頂方向の分解能が角度θｂである入射方向毎、および天頂方向の分解能が角度θｃである出射方向毎の材質偏光特性情報がデータベース部等に保存されることになる。
　また、材質が異なる情報生成対象毎に図５，図６に示す処理を行うことで、方位方向の分解能が角度θａで天頂方向の分解能が角度θｂである入射方向毎、および天頂方向の分解能が角度θｃである出射方向毎の材質偏光特性情報を材質毎にデータベース部等に保存することができる。
　このように本技術の情報生成装置によれば、外部環境に依存しない材質固有の偏光反射特性を示す材質偏光特性情報を生成できるようになる。図７は、材質偏光特性情報を例示しており、例えば材質ＭＴ1について、入射方向ωi１～ωiｍと出射方向ωo１～ωoｎの組み合わせ毎にミュラー行列Ｍ（ωo１，ωi１）～Ｍ（ωoｎ，ωiｍ）が示されている。また、材質ＭＴ2について、入射方向ωi１～ωiｍと出射方向ωo１～ωoｎの組み合わせ毎にミュラー行列Ｍ（ωo１，ωi１）～Ｍ（ωoｎ，ωiｍ）が示されている。なお、図７ではｑ種類の異なる材質の材質偏光特性が入射方向と出射方向の組み合わせ毎に示されている。
　＜４．画像処理装置について＞
　＜４－１．画像処理装置の構成＞
　次に、画像処理装置の構成について説明する。図８は、画像処理装置の構成を例示している。画像処理装置３０は、判別環境情報取得部３１と判別対象情報取得部３２と情報記憶部３３および判別処理部３４を有している。
　判別環境情報取得部３１は、材質判別環境における光源の入射偏光情報を取得する。判別環境情報取得部３１は、環境撮像部３１１と入射偏光情報算出部３１２を有している。
　図９は、環境撮像部３１１の構成を例示している。環境撮像部３１１は、例えば撮像方向が異なる複数の撮像部３１１１と、各撮像部の前方に偏光方向を変更可能として偏光板３１１２を設けた構成されている。なお、各偏光板３１１２は互いに偏光方向が等しい方向とされている。環境撮像部３１１は、材質判別対象を撮像するときの環境を撮像して例えば全天球の偏光画像を複数偏光方向毎に生成する。なお、環境撮像部３１１は、魚眼レンズ等を用いて一つの撮像部３１１１と偏光板３１１２で複数偏光方向毎の全天球の偏光画像を取得してもよい。また、環境撮像部３１１は、全天球の偏光画像を生成する場合に限られない。例えば光源が限られた範囲のみに設けられる場合は、限られた範囲の偏光画像を生成してもよい。
　図１０は、環境撮像部３１１で生成した偏光画像を示している。なお、図１０の（ａ）は全天球を示す魚眼画像、図１０の（ｂ）は魚眼画像を円筒面上に展開した展開画像を例示している。
　入射偏光情報算出部３１２は、環境撮像部３１１で生成した偏光画像を天頂方向と方位方向に分割して、分割領域毎に領域内の平均入射ストークスベクトルと光線の平均入射方向を算出して入射偏光情報として、情報記憶部３３へ出力する。
　図１１は、偏光画像の分割を例示している。なお、図１１の（ａ）は図１０の（ａ）に示す魚眼画像の分割例を示しており、図１１の（ｂ）は図１０の（ｂ）に示す展開画像の分割例を示している。
　ここで、図１１の（ｃ）に示すように、入射方向ωiの偏光入射光の光源位置が領域ＡＲｉに含まれる場合、入射偏光情報算出部３１２は、領域ＡＲｉにおける平均入射方向ωi１と平均入射ストークスベクトルＶＳi１を算出する。同様に他の領域についてもそれぞれ平均入射方向と平均入射ストークスベクトルを算出する。入射偏光情報算出部３１２は、算出した入射方向毎の入射ストークスベクトルを情報記憶部３３へ出力する。
　また、判別環境情報取得部３１は、材質判別対象を撮像するときの光源毎に入射ストークスベクトルを算出して、入射方向毎の入射ストークスベクトルを光源毎に示す入射偏光情報を情報記憶部３３へ出力する。
　判別対象情報取得部３２は、材質判別対象からの反射光に関する出射偏光情報を取得する。判別対象情報取得部３２は、判別対象撮像部３２１と出射偏光情報算出部３２２を有している。
　判別対象撮像部３２１は撮像部と撮像部の前面に偏光方向を変更可能として偏光板を設けた構成されている。判別対象撮像部３２１は、出射方向ωoから材質判別対象を撮像して偏光画像を複数偏光方向毎に生成する。また、判別対象撮像部３２１は上述の既知材質撮像部２２１等と同様に、撮像前にキャリブレーションを行い、キャリブレーションによって生成された外部パラメータと内部パラメータを用いることで、出射方向ωoをカメラ座標系で求めることができるようにする。
　出射偏光情報算出部３２２は、判別対象撮像部３２１で生成された偏光画像が示す観測値（画素値）を用いて出射ストークスベクトルＶＳoを算出する。また、出射偏光情報算出部２２２は、出射方向ωoと出射ストークスベクトルＶＳoを示す出射偏光情報を判別処理部３４へ出力する。
　情報記憶部３３は、情報生成装置２０で生成された材質偏光特性情報と判別環境情報取得部３１で取得された入射偏光情報を記憶している。なお、情報記憶部３３は、情報生成装置２０から材質偏光特性情報を取得して記憶してもよく、データベース部から材質偏光特性情報を取得して記憶してもよい。
　判別処理部３４は、判別環境情報取得部３１で取得された入射偏光情報と、判別対象情報取得部３２で取得された出射偏光情報と、偏光入射光の入射方向と偏光反射光の出射方向毎の偏光反射特性を示す予め生成された材質偏光特性情報に基づき、材質判別対象の材質を判別する。判別処理部３４は、推定処理部３４１と誤差算出部３４２および材質判別処理部３４３を有している。
　推定処理部３４１は、材質判別対象への偏光入射光の入射方向と材質判別対象からの反射光の出射方向に応じて選択した材質偏光特性情報と、判別環境情報取得部で取得された入射偏光情報または判別対象情報取得部で取得された出射偏光情報の一方を用いて他方の偏光情報を推定する。
　推定処理部３４１は、判別環境情報取得部３１で取得されている入射偏光情報を情報記憶部３３から取得する。また、判別環境情報取得部３１で取得されている入射偏光情報の入射方向ωiと判別対象撮像部３２１に入射する反射光の出射方向ωoに対応する材質偏光特性情報を情報記憶部３３から取得する。推定処理部３４１は、取得した入射偏光情報と材質偏光特性情報に基づき出射偏光情報の推定、あるいは取得した材質偏光特性情報と判別対象情報取得部３２で取得した出射偏光情報に基づき入射偏光情報の推定を行う。
　例えば、推定処理部３４１は、入射方向ωiと判別対象情報取得部３２で取得された出射偏光情報の出射方向ωoに対応する材質毎のミュラー行列Ｍ（ωo,ωi）を情報記憶部３３から取得する。また、推定処理部３４１は、入射方向ωiの入射ストークスベクトルＶＳi（ωi）を情報記憶部３３から取得する。推定処理部３４１は、ミュラー行列Ｍ（ωo,ωi）と入射ストークスベクトルＶＳi（ωi）に基づき、入射方向が特定方向に限られていない推定出射ストークスベクトルＶＳＥo（ωo）、あるいはミュラー行列Ｍ（ωo,ωi）の逆行列と出射ストークスベクトルＶＳo（ωo）に基づき推定入射ストークスベクトルＶＳＥi（ωi）を材質毎に算出して誤差算出部３４２へ出力する。
　誤差算出部３４２は、推定処理部３４１で推定された出射偏光情報と判別対象情報取得部３２で取得された出射偏光情報との差あるいは推定処理部３４１で推定された入射偏光情報と判別環境情報取得部３１で取得された入射方向ωiの入射偏光情報との差を材質毎に算出する。例えば、誤差算出部３４２は、推定処理部３４１で推定された推定出射ストークスベクトルＶＳＥo（ωo）と判別対象情報取得部３２で取得された出射ストークスベクトルＶＳo（ωo）との差、あるいは推定処理部３４１で推定入射ストークスベクトルＶＳＥi（ωi）と入射方向毎の入射ストークスベクトルＶＳi（ωi）との差の積算値を材質毎に算出して材質判別処理部３４３へ出力する。
　材質判別処理部３４３は、誤差算出部３４２で算出された差（あるいは差の積算値）に基づき材質判別対象の材質を判別する。例えば材質判別処理部３４３は、誤差算出部３４２で材質毎に算出された誤差から最小の誤差となる材質を材質判別対象の材質と判別する。また、判別処理部は、算出した誤差における最小の誤差が予め設定された閾値よりも小さい場合に、最小の誤差となる材質を材質判別対象の材質と判別するしてもよい。また、特定の材質について誤差の算出を行い、算出した誤差が予め設定された閾値よりも小さい場合に、材質判別対象は特定の材質と判定してもよい。すなわち、材質の判別だけでなく、所望の材質であるか否かの判定を行うこともできる。
　＜４－２．画像処理装置の動作＞
　図１２は、画像処理装置の動作を例示したフローチャートである。ステップＳＴ３１で画像処理装置３０は判別対象撮像部の初期化を行う。画像処理装置３０は、判別対象情報取得部３２の判別対象撮像部３２１の初期化を行う。画像処理装置３０は、判別対象撮像部３２１のキャリブレーションを行い座標系を一致させてステップＳＴ３２に進む。
　ステップＳＴ３２で画像処理装置３０は材質判別環境の入射偏光情報を取得する。画像処理装置３０の判別環境情報取得部３１は、材質判別環境を撮像した偏光画像に基づき光源の入射偏光情報を取得してステップＳＴ３３に進む。
　ステップＳＴ３３で画像処理装置３０は出射偏光情報を取得する。画像処理装置３０の判別対象情報取得部３２は、材質判別対象の出射ストークスベクトルと出射方向を示す出射偏光情報を取得してステップＳＴ３４に進む。
　ステップＳＴ３４で画像処理装置３０は判別処理を行う。画像処理装置３０の判別処理部３４は、ステップＳＴ３２で検出された入射方向とステップＳＴ３３で取得された出射偏光情報および予め情報記憶部３３に記憶されている材質偏光特性情報や入射偏光情報に基づいて、材質判別対象の材質を判別する。
　＜４－２－１．判別処理部の第１の動作＞
　判別処理部３４の第１の動作では、材質判別対象を撮像するときの複数の入射方向ωiと判別対象撮像部３２１に供給される反射光の出射方向ωoに対応する偏光反射特性情報、および判別環境情報取得部３１で取得されている入射方向ωiの入射偏光情報に基づき出射偏光情報を推定して、推定された出射偏光情報と判別対象情報取得部３２で取得された出射偏光情報に基づき材質判別対象の材質を判別する。
　判別処理部３４は、情報記憶部３３から取得した入射方向ωiの入射ストークスベクトルＶＳi（ωi）とミュラー行列Ｍ（ωo,ωi）を用いて式（１０）の演算を行い出射方向ωoの推定出射ストークスベクトルＶＳｅo（ωo）を算出する。
　Ｍ（ωo,ωi）・ＶＳi（ωi）　＝　ＶＳｅo（ωo）　　・・・（１０）
　さらに、判別処理部３４は、式（１１）に示す演算を行い、複数の入射方向ωi毎の推定出射ストークスベクトルＶＳｅo（ωo）を積算することで、入射方向が特定方向に限られていない推定出射ストークスベクトルＶＳＥo（ωo）を算出する。
Figure JPOXMLDOC01-appb-M000005
　判別処理部３４は、推定出射ストークスベクトルＶＳＥo（ωo）と判別対象情報取得部３２で取得された出射ストークスベクトルＶＳo（ωo）との差Ｅ（ωo）を式（１２）に基づいて算出する。また、差Ｅ（ωo）の算出では、輝度成分の影響を受けないように、正規化後のストークスベクトルを用いてもよい。なお、式（１３）は正規化前のストークスベクトル、式（１４）は正規化後のストークスベクトルを示している。
Figure JPOXMLDOC01-appb-M000006
　判別処理部３４は、材質毎のミュラー行列を用いて上述の処理を行い、材質毎に算出されている差Ｅ（ωo）-1～Ｅ（ωo）-q（ｑは材質の数）を比較して、最も小さい差Ｅ（ωo）minを判別する。さらに、判別処理部３４は、差Ｅ（ωo）minが予め設定されている閾値Ｔｈoよりも小さい場合、差Ｅ（ωo）minの算出に用いたミュラー行列に対応する材質を、材質判別対象の材質とする。また、判別処理部３４は、差Ｅ（ωo）minが閾値Ｔｈo以上である場合、材質判別対象の材質は判別不能とする。なお、閾値Ｔｈoを調整すれば材質の判別精度を調整することが可能である。以上のような処理を行うことで、材質判別対象の材質を判別できる。
　＜４－２－２．判別処理部の第２の動作＞
　判別処理部３４の第２の動作では、材質判別対象を撮像するときの複数の入射方向ωiと判別対象撮像部３２１に供給される反射光の出射方向ωoに対応する偏光反射特性情報、および判別対象情報取得部３２で取得された出射偏光情報とに基づき入射偏光情報を推定して、推定された入射偏光情報と判別環境情報取得部３１で取得されている入射方向毎の入射偏光情報に基づき材質判別対象の材質を判別する。
　判別処理部３４は、入射方向ωiと出射方向ωoに対応するミュラー行列の逆行列Ｍ－１（ωo,ωi）と判別対象情報取得部３２で取得された出射ストークスベクトルＶＳo（ωo）を用いて式（１５）の演算を行い入射方向ωiの推定入射ストークスベクトルＶＳＥi（ωi）を算出する。
　ＶＳＥi（ωi）＝　Ｍ－１（ωo,ωi）・ＶＳo（ωo）　・・・（１５）
　判別処理部３４は、入射方向ωiの入射ストークスベクトルＶＳi（ωi）と推定入射ストークスベクトルＶＳＥi（ωi）との差ｅ（ωo,ωi）を式（１６）に基づいて算出する。また、差ｅ（ωo,ωi）の算出では、輝度成分の影響を受けないように、正規化後のストークスベクトルを用いる。さらに、判別処理部３４は、式（１７）に示す演算を行い、複数の入射方向ωi毎に算出した差ｅ（ωo,ωi）を積算して入射方向が特定方向に限られない場合の差Ｅ（ωi）を算出する。
Figure JPOXMLDOC01-appb-M000007
　判別処理部３４は、材質毎のミュラー行列を用いて上述の処理を行い、材質毎に算出されている差Ｅ（ωi）-1～Ｅ（ωi）-ｑ（ｑは材質の数）を比較して、最も小さい差Ｅ（ωi）minを判別する。さらに、判別処理部３４は、差Ｅ（ωi）minが予め設定されている閾値Ｔｈiよりも小さい場合、差Ｅ（ωi）minの算出に用いたミュラー行列に対応する既知の材質を、材質判別対象の材質とする。また、判別処理部３４は、差Ｅ（ωi）minが閾値Ｔｈi以上である場合、材質判別対象の材質は判別不能とする。なお、閾値Ｔｈiを調整すれば材質の判別精度を変化させることが可能である。以上のような処理を行うことで、材質判別対象の材質を判別できる。
　このように本技術の画像処理装置によれば、情報生成装置で生成された材質固有の偏光反射特性を示す材質偏光特性情報と、材質判別環境における光源の入射偏光情報と材質判別対象の偏光画像から取得した出射偏光情報に基づき、材質判別対象の材質を判別できるようになる。
　＜５．画像処理装置の動作例＞
　＜５－１．第１の動作例＞
　第１の動作例では、複数（ｑ種類）の材質のミュラー行列と複数（ｒ種類）の光源の入射ストークスベクトルが情報記憶部３３に記憶されている。
　図１３は、第１の動作例を示すフローチャートである。ステップＳＴ４１で画像処理装置は判別対象撮像部の初期化を行う。画像処理装置３０の判別対象情報取得部３２では、判別対象撮像部３２１のキャリブレーションを行ってステップＳＴ４２に進む。
　ステップＳＴ４２で画像処理装置は判別対象画素ｕの誤差を算出する。画像処理装置３０の判別処理部３４は、第ｉ（i=0,1,…,ｑ）種類の材質と第ｊ(j=0,1,…,ｒ）種類の光源の組み合わせ毎に誤差ｅijを算出してステップＳＴ４３に進む。
　ステップＳＴ４３で画像処理装置は最小誤差Ｅminを検出する。画像処理装置３０の判別処理部３４は、式（１８）に基づき誤差が最小となる材質と光源の組み合わせｘ，ｙを算出して、材質と光源の組み合わせｘ，ｙの誤差を式（１９）に示すように最小誤差Ｅminとする。
Figure JPOXMLDOC01-appb-M000008
 　Ｅmin　＝ｅx,y　　・・・（１９）
　ステップＳＴ４４で画像処理装置は、最小誤差Ｅminが閾値Ｔｈaよりも小さいか判別する。画像処理装置３０の判別処理部３４は、ステップＳＴ４３で検出された最小誤差Ｅminが閾値Ｔｈaよりも小さいと判別した場合にはステップＳＴ４５に進み、閾値Ｔｈa以上である場合はステップＳＴ４６に進む。
　ステップＳＴ４５で画像処理装置は最小誤差Ｅminの材質を材質判別対象の材質と判別してステップＳＴ４７に進む。
　ステップＳＴ４６で画像処理装置は材質判別対象の材質を未知の材質と判別してステップＳＴ４７に進む。
　ステップＳＴ４７で画像処理装置は全画素の判別が完了したか判別する。画像処理装置３０は全画素の判別が終了していない場合はステップＳＴ４８に進み、全画素の判別が完了した場合はステップＳＴ４９に進む。
　ステップＳＴ４８で画像処理装置は判別対象画素を更新する。画像処理装置３０は、材質の判別が行われていない新たな画素を判別対象画素として選択してステップＳＴ４２に戻る。
　ステップＳＴ４９で画像処理装置は判別結果を出力する。画像処理装置３０は、材質の判別結果に基づき、例えば同一の材質とされた画像領域を同一色や同一輝度等で表示する。また、材質が異なる領域は、異なる色あるいは輝度を用いて表示する。
　このように、第１の動作例によれば、判別対象撮像部３２１の撮像範囲に含まれる各被写体の材質を判別できるようになる。また、材質の違いが表示の属性の違いとして示されるので、材質の違いを容易に判別できるようになる。
　＜５－２．第２の動作例＞
　第２の動作例では、複数（ｑ種類）の材質のミュラー行列と複数（ｒ種類）の光源の入射ストークスベクトルが情報記憶部３３に記憶されている。また、第１の動作例と相違して、材質判別時の状況に応じて光源を選択して、選択した光源の入射偏光情報を用いて材質の判別を行う。
　例えば屋内であるときは、屋内の照明光源の入射偏光情報を用いる。また、日中の屋外であるときは光源が太陽であるときの入射偏光情報を用いる。さらに、夜間の屋外であるときは偏光判別対象の位置に対して照明を行う光源の入射偏光情報を用いる。
　図１４は、第２の動作例を示すフローチャートである。ステップＳＴ５１で画像処理装置は判別対象撮像部の初期化を行う。画像処理装置３０の判別対象情報取得部３２では、判別対象撮像部３２１のキャリブレーションを行ってステップＳＴ５２に進む。
　ステップＳＴ５２で材質判別部は光源を選択する。画像処理装置３０の判別環境情報取得部３１は、材質判別対象を撮像するときの状況に応じて光源を選択してステップＳＴ５３に進む。
　ステップＳＴ５３で画像処理装置は判別対象画素ｕの誤差を算出する。画像処理装置３０の判別処理部３４は、第ｉ（i=0,1,…,ｑ）種類の材質毎に誤差ｅiを算出してステップＳＴ５４に進む。
　ステップＳＴ５４で画像処理装置は最小誤差Ｅminを検出する。画像処理装置３０の判別処理部３４は、式（２０）に基づき誤差が最小となる材質ｘを検出して、材質ｘの誤差を式（２１）に示すように最小誤差Ｅminとする。なお、「ｙ」は選択した光源を示している。
Figure JPOXMLDOC01-appb-M000009
 　Ｅmin　＝ｅxｙ　　　　　・・・（２１）
　ステップＳＴ５５で画像処理装置は、最小誤差Ｅminが閾値Ｔｈaよりも小さいか判別する。画像処理装置３０の判別処理部３４は、ステップＳＴ５４で検出された最小誤差Ｅminが閾値Ｔｈaよりも小さいと判別した場合にはステップＳＴ５６に進み、閾値Ｔｈa以上である場合はステップＳＴ５７に進む。
　ステップＳＴ５６で画像処理装置は最小誤差Ｅminの材質を材質判別対象の材質と判別してステップＳＴ５８に進む。
　ステップＳＴ５７で画像処理装置は材質判別対象の材質を未知の材質と判別してステップＳＴ５８に進む。
　ステップＳＴ５８で画像処理装置は全画素の判別が完了したか判別する。画像処理装置３０は全画素の判別が終了していない場合はステップＳＴ５９に進み、全画素の判別が完了した場合はステップＳＴ６０に進む。
　ステップＳＴ５９で画像処理装置は判別対象画素を更新する。画像処理装置３０は、材質の判別が行われていない新たな画素を判別対象画素として選択してステップＳＴ５３に戻る。
　ステップＳＴ６０で画像処理装置は判別結果を出力する。画像処理装置３０は、材質の判別結果に基づき、例えば同一の材質とされた画像領域を同一色や同一輝度等で表示する。また、材質が異なる領域は、異なる色あるいは輝度を用いて表示する。
　このように、第２の動作例によれば、第１の動作例と同様に、判別対象撮像部３２１の撮像範囲に含まれる各被写体の材質を判別できるようになる。また、材質の違いが表示の属性の違いとして示されるので、材質の違いを容易に判別できるようになる。さらに、第２の動作例では光源が特定されているので、材質の判別を第１の動作よりも容易に行うことができる。
　＜５－３．第３の動作例＞
　第３の動作例では、画像処理装置３０に、材質判別対象を撮像した偏光画像から注目被写体検出領域を設定する検出領域設定部と、判別処理部の材質判別結果に基づき、検出領域設定部で設定された注目被写体検出領域から注目被写体領域を検出する領域検出部をさらに設けた場合について説明する。
　図１５は、第３の動作例を示すフローチャートである。ステップＳＴ７１で画像処理装置は判別対象撮像部の初期化を行う。画像処理装置３０の判別対象情報取得部３２では、判別対象撮像部３２１のキャリブレーションを行ってステップＳＴ７２に進む。
　ステップＳＴ７２では注目被写体検出領域を設定する。画像処理装置３０の検出領域設定部は、判別対象撮像部３２１で生成された偏光画像あるいは偏光画像に基づいて生成した無偏光画像から、材質判別対象（注目被写体）を含む注目被写体検出領域を従来の方法を用いて設定する。例えば、検出領域設定部は、背景領域の検出を行い、背景領域と異なる領域を注目被写体検出領域に設定してステップＳＴ７３に進む。
　ステップＳＴ７３で画像処理装置は注目被写体検出領域内における判別対象画素ｕの誤差を算出する。画像処理装置３０の判別処理部３４は、第ｉ（i=0,1,…,ｑ）種類の材質と第ｊ(j=0,1,…,ｒ）種類の光源の組み合わせ毎に誤差ｅijを算出してステップＳＴ７４に進む。
　ステップＳＴ７４で画像処理装置は最小誤差Ｅminを検出する。画像処理装置３０の判別処理部３４は、第１の動作例と同様にして最小誤差Ｅminを検出してステップＳＴ７５に進む。
　ステップＳＴ７５で画像処理装置は、最小誤差Ｅminが閾値Ｔｈaよりも小さいか判別する。画像処理装置３０の判別処理部３４は、ステップＳＴ７４で検出された最小誤差Ｅminが閾値Ｔｈaよりも小さいと判別した場合にはステップＳＴ７６に進み、閾値Ｔｈa以上である場合はステップＳＴ７７に進む。
　ステップＳＴ７６で画像処理装置は最小誤差Ｅminの材質を判別対象画素ｕに対応する被写体の材質と判別して７８に進む。
　ステップＳＴ７７で画像処理装置は判別対象画素ｕに対応する被写体の材質を未知の材質と判別してステップＳＴ７８に進む。
　ステップＳＴ７８で画像処理装置は注目被写体検出領域の材質判別が完了したか判別する。画像処理装置３０は注目被写体検出領域に材質判別が行われていない画素がある場合はステップＳＴ７９に進み、注目被写体検出領域内の各画素の材質判別が完了した場合はステップＳＴ８０に進む。
　ステップＳＴ７９で画像処理装置は判別対象画素を更新する。画像処理装置３０は、材質の判別が行われていない新たな画素を判別対象画素として選択してステップＳＴ７３に戻る。
　ステップＳＴ８０で画像処理装置は判別結果を出力する。画像処理装置３０は、材質の判別結果に基づき、例えば同一の材質とされた画像領域を同一色や同一輝度等で表示する。また、材質が異なる領域は、異なる色あるいは輝度を用いて表示する。
　図１６は、第３の動作例を示しており、例えば注目被写体が車Ｇａであり、道路Ｇｂには車Ｇａの影Ｇｃが含まれている。図１６の（ａ）は判別対象撮像部３２１の撮像範囲ＡＰを破線で示している。図１６の（ｂ）は、撮像範囲ＡＰの画像から従来の方法で背景領域を除いて注目被写体検出領域ＡＲａを抽出した場合を示しており、注目被写体検出領域ＡＲａには車Ｇａだけでなく道路Ｇｂに生じた車の影Ｇｃが含まれている。図１６の（ｃ）は材質判別結果を示している。情報記憶部３３に道路固有のミュラー行列が記憶されている場合、注目被写体検出領域ＡＲａにおける道路Ｇｂを検出できる。したがって、注目被写体検出領域ＡＲａから道路Ｇｂの影Ｇｃの部分を除いた領域を注目被写体である車の画像領域として判別できる。したがって、図１６の（ｄ）に示すように車を示す例えば矩形領域ＡＲｂを精度よく検出できるようになる。
　このように本技術によれば、被写体の色や輝度等に基づいて、所望の被写体の領域を判別することが困難な場合でも、外部環境に依存しない材質固有の偏光反射特性を示す材質偏光特性情報に基づいて材質の区分が可能となるので、所望の被写体の領域を判別できるようになる。
　＜５－４．他の動作例＞
　他の動作例では、見た目が略同一である物体を区別する。図１７は、見た目が略同一である物体として、例えば石けん、歯磨き粉、塩および乳製品を用いた場合を例示している。この場合、情報生成装置２０で生成された各物体の材質偏光特性情報を情報記憶部３３に予め記憶しておく。また、材質判別対象を撮像するときの入射偏光情報を情報記憶部３３に予め記憶しておく。
　画像処理装置３０は、キャリブレーション後に材質判別対象を撮像して、上述のように各材質のミュラー行列を用いた推定結果との誤差から誤差が最小となる材質を材質判別対象の材質とする。したがって、図１７の（ａ）に示すように、従来の撮像部３２１１で取得される撮像画像では、見た目が略同一である物体を区別することができない場合でも、本技術を用いることで図１７の（ｂ）に示すように、撮像部３２１１と偏光板３２１２を用いて構成された判別対象撮像部３２１で取得される偏光画像に基づき、見た目が略同一である物体を材質の違いによって区別することが可能となる。また、図示せずも、影等の影響で見た目が異なる場合でも、同一材質の物体を判別できる。
　また、画像処理装置３０は、判別対象撮像部３２１で取得された偏光画像の画素毎に材質を判別できるので、判別結果を画像単位で提示してもよい。図１８は、画素単位で判別結果を提示する場合を例示している。図１８の（ａ）は、撮像部３２１１と偏光板３２１２を用いて構成された判別対象撮像部３２１で取得される偏光画像に物体ＯＢａ，ＯＢｂ，ＯＢｃが含まれる場合を例示している。図１８の（ｂ）は判別結果を例示しており、材質が判別された物体ＯＢａ，ＯＢｃのみを表示している。また、上述したように誤差を算出していることから、図１８の（ｃ）に示すように、誤差に応じて物体の階調等を設定して、材質の判別精度を認識可能としてもよい。
　さらに、画像処理装置は、屋内に材質の判別を行う対象が設けられている場合、材質に適した光源を用いるようにしてもよい。この場合、情報生成装置は、材質に適した光源を用いた場合の材質偏光特性情報を生成することで、精度よく材質の判別を行うことが可能となる。
　＜６．他の構成と動作＞
　ところで、上述の情報生成装置と画像処理装置では、撮像部の前に偏光板を設けて、偏光板を回転させて撮像を行うことで、偏光方向が異なる複数の偏光画像を取得する場合を例示したが、偏光画像は他の方法で取得してもよい。
　図１９は、偏光画像の他の取得方法を例示している。偏光画像取得部は、例えば図１９の（ａ）に示すように、イメージセンサ５０１に複数の偏光方向の画素構成とされた偏光フィルタ５０２を配置して撮像を行うことで生成する。なお、図１９の（ａ）では、各画素が異なる４種類の偏光方向（偏光方向を矢印で示す）のいずれかの画素となる偏光フィルタ５０２をイメージセンサ５０１の前面に配置した場合を例示している。また、偏光画像取得部は、図１９の（ｂ）に示すように、マルチレンズアレイの構成を利用して偏光方向が異なる複数の偏光画像を生成してもよい。例えばイメージセンサ５０１の前面にレンズ５０３を複数（図では４個）設けて、各レンズ５０３によって被写体の光学像をイメージセンサ５０１の撮像面にそれぞれ結像させる。また、各レンズ５０３の前面に偏光板５０４を設けて、偏光板５０４の偏光方向を異なる方向として、偏光方向が異なる複数の偏光画像を生成する。このように偏光画像取得部を構成すれば、１回の撮像で複数の偏光画像を取得できる。なお、偏光画像取得部はイメージセンサ５０１にカラーフィルタを設けることで三原色の偏光画像を生成してもよい。また、偏光方向毎に撮像部を設けて複数の偏光画像を生成してもよい。
　＜７．応用例＞
　本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等の何れかの種類の移動体に搭載される装置として実現されてもよい。例えば、材質の判別結果を利用して周囲の状況を運転者に提示すれば、周囲の状況の把握が容易となり運転者の疲労を軽減できる。また、自動運転等をより安全に行うことが可能となる。また、工場における生産工程で用いられる機器等に適用すれば、材質の異なる部品等の混入を防止できるようになる。さらに、監視分野に適用すれば、例えば物体の形状や動きだけでなく、材質の判別結果を利用して、材質を考慮した監視動作を行うことが可能となる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用を成し得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　材質判別環境における光源の入射偏光情報を取得する判別環境情報取得部と、
　前記材質判別環境における材質判別対象を撮像した偏光画像から出射偏光情報を取得する判別対象情報取得部と、
　前記判別環境情報取得部で取得された入射偏光情報と、前記判別対象情報取得部で取得された出射偏光情報と、偏光入射光の入射方向と反射光の出射方向毎の偏光反射特性を示す予め生成された材質偏光特性情報に基づき、前記材質判別対象の材質を判別する判別処理部と
を備える画像処理装置。
　（２）　前記判別処理部は、前記材質判別対象への偏光入射光の入射方向と前記材質判別対象からの反射光の出射方向に応じて選択した材質偏光特性情報と、前記判別環境情報取得部で取得された入射偏光情報または前記判別対象情報取得部で取得された出射偏光情報の一方を用いて推定した他方偏光情報の誤差を算出して、算出した誤差に基づき前記材質判別対象の材質を判別する（１）に記載の画像処理装置。
　（３）　前記判別処理部は、前記選択した材質偏光特性情報と前記入射偏光情報を用いて推定出射偏光情報を生成して、前記推定出射偏光情報と前記判別対象情報取得部で取得された出射偏光情報との誤差に基づき前記材質判別対象の材質を判別する（２）に記載の画像処理装置。
　（４）　前記判別処理部は、前記選択した材質偏光特性情報と前記判別対象情報取得部で取得された出射偏光情報を用いて推定入射偏光情報を算出して、前記推定入射偏光情報と前記判別環境情報取得部で取得された入射偏光情報との誤差に基づき前記材質判別対象の材質を判別する（２）に記載の画像処理装置。
　（５）　前記材質偏光特性情報は複数の材質毎に生成されており、
　前記判別処理部は、前記材質偏光特性情報から前記偏光入射光の入射方向と前記反射光の出射方向に対応する材質偏光特性情報を各材質から選択して前記誤差を材質毎に算出して、前記誤差が最小となる材質を前記材質判別対象の材質と判別する（２）乃至（４）のいずれかに記載の画像処理装置。
　（６）　前記材質偏光特性情報は複数の材質毎に生成されており、
　前記判別処理部は、前記算出した誤差における最小の誤差が予め設定された閾値よりも小さい場合に、前記最小の誤差となる材質を前記材質判別対象の材質と判別する（５）に記載の画像処理装置。
　（７）　前記判別環境情報取得部は、前記材質判別環境における複数の光源毎に前記入射偏光情報を取得して、
　前記判別処理部は、前記複数の光源毎の前記入射偏光情報を用いて前記誤差を算出して、前記誤差が最小となる材質を前記材質判別対象の材質と判別する（２）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記判別環境情報取得部は、前記材質判別環境における複数の光源毎に前記入射偏光情報を取得して、
　前記判別処理部は、前記複数の光源毎の入射偏光情報から選択した光源の入射偏光情報を用いて前記誤差を算出して、前記誤差が最小となる材質を前記材質判別対象の材質と判別する（２）乃至（６）のいずれかに記載の画像処理装置。
　（９）　前記材質判別対象を撮像した偏光画像から注目被写体検出領域を設定する検出領域設定部と、
　前記判別処理部の材質判別結果に基づき、前記検出領域設定部で設定された前記注目被写体検出領域から注目被写体領域を検出する領域検出部とをさらに備える（１）乃至（６）のいずれかに記載の画像処理装置。
　（１０）　前記判別環境情報取得部で取得された入射偏光情報と材質偏光特性情報を予め情報記憶部に記憶して、前記判別処理部は、前記情報記憶部に記憶されている前記入射偏光情報と前記材質偏光特性情報を用いて前記材質判別対象の材質を判別する（１）乃至（９）のいずれかに記載の画像処理装置。
　（１１）　前記判別環境情報取得部は、前記材質判別環境を複数領域に区分して、領域毎の平均入射方向と平均入射偏光情報を前記領域の入射方向と入射偏光情報とする（１）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）　前記判別処理部は、正規化された入射偏光情報と出射偏光情報と材質偏光特性情報に基づき、前記材質判別対象の材質を判別する（１）乃至（１１）のいずれかに記載の画像処理装置。
　また、本技術の情報生成装置は以下のような構成も取ることができる。
　（１）　材質が明らかである情報生成対象が設けられた測定環境における光源から前記情報生成対象への偏光入射光の入射偏光情報を、入射方向毎に取得する光源情報取得部と、
　前記情報生成対象からの反射光の出射偏光情報を、出射方向毎に取得する出射偏光情報取得部と、
　前記光源情報取得部で取得された入射偏光情報と、前記出射偏光情報取得部で取得された出射偏光情報を用いて、前記偏光入射光の入射方向と前記反射光の出射方向の偏光反射特性を示す材質偏光特性情報を方向毎に生成する材質偏光特性情報生成部
を備える情報生成装置。
　（２）　前記材質は複数であり、
　前記光源情報取得部は、材質毎に前記入射偏光情報を取得して、
　前記出射偏光情報取得部は、材質毎に出射偏光情報を取得して、
　材質偏光特性情報生成部は、前記入射方向毎および前記出射方向毎の偏光反射特性を示す材質偏光特性情報を材質毎に生成する（１）に記載の情報生成装置。
　（３）　前記出射偏光情報取得部は、前記情報生成対象を撮像して複数の偏光方向の偏光画像を生成する情報生成対象撮像部と、前記情報生成対象撮像部で生成された偏光画像の観測値に基づいて前記出射偏光情報を取得する（１）または（２）に記載の情報生成装置。
　（４）　前記材質偏光特性情報生成部は、正規化した材質偏光特性情報を生成する（１）乃至（３）のいずれかに記載の情報生成装置。
　（５）　前記入射偏光情報は前記偏光入射光のストークスベクトルを示し、前記出射偏光情報は前記反射光のストークスベクトルを示し、材質偏光特性情報はミュラー行列を示す（１）乃至（４）のいずれかに記載の情報生成装置。
　１０・・・材質判別システム
　２０・・・情報生成装置
　２１・・・光源情報取得部
　２２・・・出射偏光情報取得部
　２３・・・材質偏光特性情報生成部
　３０・・・画像処理装置
　３１・・・判別環境情報取得部
　３２・・・判別対象情報取得部
　３３・・・情報記憶部
　３４・・・判別処理部
　５０・・・データベース部
　２１１・・・光源撮像部
　２１２・・・入射偏光情報算出部
　２２１・・・既知材質撮像部
　２２２・・・出射偏光情報算出部
　２３１・・・偏光反射特性算出部
　２３２・・・材質偏光特性情報生成部
　３１１・・・環境撮像部
　３１２・・・入射偏光情報算出部
　３２１・・・判別対象撮像部
　３２２・・・出射偏光情報算出部
　３４１・・・推定処理部
　３４２・・・誤差算出部
　３４３・・・材質判別処理部
　５０１・・・イメージセンサ
　５０２・・・偏光フィルタ
　５０３・・・レンズ
　５０４・・・偏光板
　３１１１，３２１１・・・撮像部
　３１１２，３２１２・・・偏光板

Claims (19)

  1. 　材質判別環境における光源の入射偏光情報を取得する判別環境情報取得部と、
    　前記材質判別環境における材質判別対象を撮像した偏光画像から出射偏光情報を取得する判別対象情報取得部と、
    　前記判別環境情報取得部で取得された入射偏光情報と、前記判別対象情報取得部で取得された出射偏光情報と、偏光入射光の入射方向と反射光の出射方向毎の偏光反射特性を示す予め生成された材質偏光特性情報に基づき、前記材質判別対象の材質を判別する判別処理部と
    を備える画像処理装置。
  2. 　前記判別処理部は、前記材質判別対象への偏光入射光の入射方向と前記材質判別対象からの反射光の出射方向に応じて選択した材質偏光特性情報と、前記判別環境情報取得部で取得された入射偏光情報または前記判別対象情報取得部で取得された出射偏光情報の一方を用いて推定した他方偏光情報の誤差を算出して、算出した誤差に基づき前記材質判別対象の材質を判別する
    請求項１に記載の画像処理装置。
  3. 　前記判別処理部は、前記選択した材質偏光特性情報と前記入射偏光情報を用いて推定出射偏光情報を生成して、前記推定出射偏光情報と前記判別対象情報取得部で取得された出射偏光情報との誤差に基づき前記材質判別対象の材質を判別する
    請求項２に記載の画像処理装置。
  4. 　前記判別処理部は、前記選択した材質偏光特性情報と前記判別対象情報取得部で取得された出射偏光情報を用いて推定入射偏光情報を算出して、前記推定入射偏光情報と前記判別環境情報取得部で取得された入射偏光情報との誤差に基づき前記材質判別対象の材質を判別する
    請求項２に記載の画像処理装置。
  5. 　前記材質偏光特性情報は複数の材質毎に生成されており、
    　前記判別処理部は、前記材質偏光特性情報から前記偏光入射光の入射方向と反射光の出射方向に対応する材質偏光特性情報を各材質から選択して前記誤差を材質毎に算出して、前記誤差が最小となる材質を前記材質判別対象の材質と判別する
    請求項２に記載の画像処理装置。
  6. 　前記材質偏光特性情報は複数の材質毎に生成されており、
    　前記判別処理部は、前記算出した誤差における最小の誤差が予め設定された閾値よりも小さい場合に、前記最小の誤差となる材質を前記材質判別対象の材質と判別する
    請求項５に記載の画像処理装置。
  7. 　前記判別環境情報取得部は、前記材質判別環境における複数の光源毎に前記入射偏光情報を取得して、
    　前記判別処理部は、前記複数の光源毎の前記入射偏光情報を用いて前記誤差を算出して、前記誤差が最小となる材質を前記材質判別対象の材質と判別する
    請求項２に記載の画像処理装置。
  8. 　前記判別環境情報取得部は、前記材質判別環境における複数の光源毎に前記入射偏光情報を取得して、
    　前記判別処理部は、前記複数の光源毎の入射偏光情報から選択した光源の入射偏光情報を用いて前記誤差を算出して、前記誤差が最小となる材質を前記材質判別対象の材質と判別する
    請求項２に記載の画像処理装置。
  9. 　前記材質判別対象を撮像した偏光画像から注目被写体検出領域を設定する検出領域設定部と、
    　前記判別処理部の材質判別結果に基づき、前記検出領域設定部で設定された前記注目被写体検出領域から注目被写体領域を検出する領域検出部とをさらに備える
    請求項１に記載の画像処理装置。
  10. 　前記判別環境情報取得部で取得された入射偏光情報と材質偏光特性情報を予め情報記憶部に記憶して、前記判別処理部は、前記情報記憶部に記憶されている前記入射偏光情報と前記材質偏光特性情報を用いて前記材質判別対象の材質を判別する
    請求項１に記載の画像処理装置。
  11. 　前記判別環境情報取得部は、前記材質判別環境を複数領域に区分して、領域毎の平均入射方向と平均入射偏光情報を領域の入射方向と入射偏光情報とする
    請求項１に記載の画像処理装置。
  12. 　前記判別処理部は、正規化された入射偏光情報と出射偏光情報と材質偏光特性情報に基づき、前記材質判別対象の材質を判別する
    請求項１に記載の画像処理装置。
  13. 　材質判別環境における光源の入射偏光情報を判別環境情報取得部で取得することと、
    　前記材質判別環境における材質判別対象を撮像した偏光画像から出射偏光情報を判別対象情報取得部で取得することと、
    　前記判別環境情報取得部で取得された入射偏光情報と、前記判別対象情報取得部で取得された出射偏光情報と、偏光入射光の入射方向と反射光の出射方向毎の偏光反射特性を材質毎に示す予め生成された材質偏光特性情報に基づき、判別処理部で前記材質判別対象の材質を判別することと
    を含む画像処理方法。
  14. 　材質が明らかである情報生成対象が設けられた測定環境における光源から前記情報生成対象への偏光入射光の入射偏光情報を、入射方向毎に取得する光源情報取得部と、
    　前記情報生成対象からの反射光の出射偏光情報を、出射方向毎に取得する出射偏光情報取得部と、
    　前記光源情報取得部で取得された入射偏光情報と、前記出射偏光情報取得部で取得された出射偏光情報を用いて、前記偏光入射光の入射方向と前記反射光の出射方向の偏光反射特性を示す材質偏光特性情報を方向毎に生成する材質偏光特性情報生成部
    を備える情報生成装置。
  15. 　前記材質は複数であり、
    　前記光源情報取得部は、材質毎に前記入射偏光情報を取得して、
    　前記出射偏光情報取得部は、材質毎に出射偏光情報を取得して、
    　材質偏光特性情報生成部は、前記入射方向毎および前記出射方向毎の偏光反射特性を示す材質偏光特性情報を材質毎に生成する
    請求項１４に記載の情報生成装置。
  16. 　前記出射偏光情報取得部は、前記情報生成対象を撮像して複数の偏光方向の偏光画像を生成する情報生成対象撮像部と、前記情報生成対象撮像部で生成された偏光画像の観測値に基づいて前記出射偏光情報を取得する
    請求項１４に記載の情報生成装置。
  17. 　前記材質偏光特性情報生成部は、正規化した材質偏光特性情報を生成する
    請求項１４に記載の情報生成装置。
  18. 　前記入射偏光情報は前記偏光入射光のストークスベクトルを示し、前記出射偏光情報は前記反射光のストークスベクトルを示し、材質偏光特性情報はミュラー行列を示す
    請求項１４に記載の情報生成装置。
  19. 　材質が明らかである情報生成対象が設けられた測定環境における光源から前記情報生成対象への偏光入射光の入射偏光情報を、入射方向毎に光源情報取得部で取得することと、
    　前記情報生成対象からの反射光の出射偏光情報を出射方向毎に出射偏光情報取得部で取得することと、
    　前記光源情報取得部で取得された入射偏光情報と、前記出射偏光情報取得部で取得された出射偏光情報を用いて、前記偏光入射光の入射方向と前記反射光の出射方向の偏光反射特性を示す材質偏光特性情報を、材質偏光特性情報生成部で方向毎に生成することと
    を含む情報生成方法。
PCT/JP2020/000994 2019-04-03 2020-01-15 画像処理装置と情報生成装置およびその方法 WO2020202695A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/593,614 US20220146434A1 (en) 2019-04-03 2020-01-15 Image processing apparatus, information generation apparatus, and method thereof
JP2021511121A JPWO2020202695A1 (ja) 2019-04-03 2020-01-15
CN202080021573.6A CN113631899A (zh) 2019-04-03 2020-01-15 图像处理装置、信息生成装置及其方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-071117 2019-04-03
JP2019071117 2019-04-03

Publications (1)

Publication Number Publication Date
WO2020202695A1 true WO2020202695A1 (ja) 2020-10-08

Family

ID=72668899

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/000994 WO2020202695A1 (ja) 2019-04-03 2020-01-15 画像処理装置と情報生成装置およびその方法

Country Status (4)

Country Link
US (1) US20220146434A1 (ja)
JP (1) JPWO2020202695A1 (ja)
CN (1) CN113631899A (ja)
WO (1) WO2020202695A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022236492A1 (zh) * 2021-05-08 2022-11-17 华为技术有限公司 图像处理方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000502461A (ja) * 1996-10-25 2000-02-29 サーントル ナスィヨナル ドゥ ラ ルシェルシェ スィ ヤンティフィック 偏光変調用の光学構成部材、この光学構成部材を備えるミュラー偏光計および偏光解析装置、この偏光解析装置の較正方法ならびに偏光解析方法
US20100280765A1 (en) * 2007-11-01 2010-11-04 Lockheed Martin Coherent Technologies, Inc. Sensing using polarization diversity and wavelength dependent backscatter
JP2012033149A (ja) * 2010-07-01 2012-02-16 Ricoh Co Ltd 物体識別装置
CN102901489A (zh) * 2011-07-25 2013-01-30 中兴通讯股份有限公司 路面积水积冰检测方法及装置
JP2013031051A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置並びに偏光フィルタ
JP2013029451A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 付着物検出装置及び付着物検出方法
JP2013148504A (ja) * 2012-01-20 2013-08-01 Ricoh Co Ltd 画像処理システム及びそれを備えた車両
US20130308132A1 (en) * 2012-05-17 2013-11-21 The University Of Akron System and method for polarimetric wavelet fractal detection and imaging
JP2015046776A (ja) * 2013-08-28 2015-03-12 株式会社リコー 撮像装置および画像処理装置
WO2019003384A1 (ja) * 2017-06-29 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および材質特定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10444617B2 (en) * 2015-04-30 2019-10-15 Sony Corporation Image processing apparatus and image processing method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000502461A (ja) * 1996-10-25 2000-02-29 サーントル ナスィヨナル ドゥ ラ ルシェルシェ スィ ヤンティフィック 偏光変調用の光学構成部材、この光学構成部材を備えるミュラー偏光計および偏光解析装置、この偏光解析装置の較正方法ならびに偏光解析方法
US20100280765A1 (en) * 2007-11-01 2010-11-04 Lockheed Martin Coherent Technologies, Inc. Sensing using polarization diversity and wavelength dependent backscatter
JP2012033149A (ja) * 2010-07-01 2012-02-16 Ricoh Co Ltd 物体識別装置
CN102901489A (zh) * 2011-07-25 2013-01-30 中兴通讯股份有限公司 路面积水积冰检测方法及装置
JP2013031051A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置並びに偏光フィルタ
JP2013029451A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 付着物検出装置及び付着物検出方法
JP2013148504A (ja) * 2012-01-20 2013-08-01 Ricoh Co Ltd 画像処理システム及びそれを備えた車両
US20130308132A1 (en) * 2012-05-17 2013-11-21 The University Of Akron System and method for polarimetric wavelet fractal detection and imaging
JP2015046776A (ja) * 2013-08-28 2015-03-12 株式会社リコー 撮像装置および画像処理装置
WO2019003384A1 (ja) * 2017-06-29 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および材質特定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIBATA, K. , NAKAGAWA, K. , HAYASHI, Y, HORITA, Y.: "Detection of wet condition on road surface using omni-directional camera and polarized filter", VISUAL COMPUTING, DEVICES & COMMUNICATION, vol. 41, no. 4, April 2012 (2012-04-01), pages 352 - 359 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022236492A1 (zh) * 2021-05-08 2022-11-17 华为技术有限公司 图像处理方法及装置

Also Published As

Publication number Publication date
US20220146434A1 (en) 2022-05-12
JPWO2020202695A1 (ja) 2020-10-08
CN113631899A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
JP6673327B2 (ja) 画像処理装置と画像処理方法および撮像素子
JP4742168B2 (ja) ビデオ監視カメラが検出した対象物の特性を識別する方法および機器
US10643349B2 (en) Method of calibrating a camera and a laser scanner
CN103870798B (zh) 对象检测方法、对象检测设备以及图像拾取设备
JP6693514B2 (ja) 画像処理装置と画像処理方法およびプログラム
US9797716B2 (en) Estimating surface properties using a plenoptic camera
US10529076B2 (en) Image processing apparatus and image processing method
CN105306813B (zh) 图像处理装置及图像处理方法
WO2010052772A1 (ja) カメラ角度算出装置、カメラ角度算出方法およびカメラ角度算出プログラム
US20090141027A1 (en) Image processing device and image processing method
US20180308217A1 (en) Image processing device and image processing method
JP2009512009A (ja) 広範囲の動作距離を有するアイトラッカー
Eichenseer et al. A data set providing synthetic and real-world fisheye video sequences
JP2011215063A (ja) カメラ姿勢パラメータ推定装置
WO2020202695A1 (ja) 画像処理装置と情報生成装置およびその方法
US20140300703A1 (en) Image processing apparatus, image processing method, and program
US10915737B2 (en) 3D polarimetric face recognition system
US20230091606A1 (en) Methods and Systems for Calibrating a Camera
JP2005024463A (ja) ステレオ広視野画像処理装置
CN106504291B (zh) 基于场景Stokes矢量测量及其RGB图像优化的多物体区分方法
CN110194173A (zh) 乘员监视装置
WO2019087581A1 (ja) 情報処理装置と情報処理方法およびプログラム
WO2019016879A1 (ja) 物体検出装置、及び、物体検出手法
JPWO2019235019A1 (ja) 情報生成装置と情報生成方法およびプログラム
Soldan et al. Mapping non-destructive testing data on the 3D geometry of objects with complex shapes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20782996

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021511121

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20782996

Country of ref document: EP

Kind code of ref document: A1