WO2020049816A1 - 情報処理装置と情報処理方法およびプログラム - Google Patents

情報処理装置と情報処理方法およびプログラム Download PDF

Info

Publication number
WO2020049816A1
WO2020049816A1 PCT/JP2019/022515 JP2019022515W WO2020049816A1 WO 2020049816 A1 WO2020049816 A1 WO 2020049816A1 JP 2019022515 W JP2019022515 W JP 2019022515W WO 2020049816 A1 WO2020049816 A1 WO 2020049816A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarization
information
degree
output
polarization information
Prior art date
Application number
PCT/JP2019/022515
Other languages
English (en)
French (fr)
Inventor
康孝 平澤
武文 名雲
利昇 井原
哲平 栗田
楽公 孫
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2020049816A1 publication Critical patent/WO2020049816A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor

Definitions

  • This technology relates to an information processing apparatus, an information processing method, and a program, and enables generation of polarization information with reduced information loss and data amount.
  • a polarized image is acquired using an imaging unit and a polarizing filter.
  • a polarized image is acquired by an imaging unit having a pixel configuration including pixels having different polarization directions.
  • Non-Patent Literature 1 and Non-Patent Literature 2 normal line information is calculated by applying a polarization image in a plurality of polarization directions to a model formula.
  • the first aspect of this technology is: A polarization information calculation unit that calculates polarization information from polarization images in a plurality of polarization directions, An output polarization information generation unit that quantizes the polarization information by a quantization method according to the polarization information calculated by the polarization information calculation unit and generates output polarization information.
  • the polarization information calculation unit uses, as polarization information, a first polarization parameter indicating the intensity difference between the polarization components in the horizontal and vertical directions, and a polarization angle of 45 degrees with respect to the horizontal and vertical directions.
  • the second polarization parameter indicating the intensity difference of the polarization component in the direction having the angle difference
  • the third polarization parameter indicating the average intensity, or the degree of polarization or the degree of polarization and the azimuth are calculated.
  • the output polarization information generation unit generates output polarization information by quantizing the polarization information using a quantization method based on the characteristics of the polarization information as a quantization method according to the polarization information calculated by the polarization information calculation unit. I do. For example, when the first polarization parameter, the second polarization parameter, and the third polarization parameter are calculated as the polarization information, the output polarization information generation unit may set the first polarization parameter and the second polarization parameter more than the third polarization parameter. Quantization is performed by lowering the spatial resolution of the second polarization parameter to generate output polarization information.
  • the output polarization information generation unit quantizes the first polarization parameter and the second polarization parameter with a ma bit width, quantizes the third polarization parameter with a na bit width smaller than the ma bit width, and outputs the output polarization information. Generate information.
  • the output polarization information generation unit performs quantization by widening the quantization step width when the degree of polarization is larger than the threshold, and outputs the output polarization information. Generate. Further, the output polarization information generation unit performs a conversion process of the degree of polarization with a conversion characteristic of expanding the change in the degree of polarization when the degree of polarization is equal to or less than the threshold and compressing the change in the degree of polarization when the degree of polarization is larger than the threshold. The subsequent polarization degree may be quantized to generate output polarization information.
  • the output polarization information generation unit quantizes the degree of polarization with an mb bit width, and quantizes the azimuth with an nb bit width smaller than the mb bit width to generate output polarization information.
  • the second aspect of this technology is: Calculating polarization information from a polarization image in a plurality of polarization directions by a polarization information calculation unit,
  • An information processing method includes quantizing the polarization information by a quantization method according to the polarization information calculated by the polarization information calculation unit and generating output polarization information by an output polarization information generation unit.
  • the third aspect of this technology is: A program that causes a computer to execute information processing using a polarization image, Calculating polarization information from the polarization image in a plurality of polarization directions, Generating the output polarization information by quantizing the polarization information by a quantization method according to the calculated polarization information.
  • the program of the present technology is, for example, provided to a general-purpose computer capable of executing various program codes, in a computer-readable format, such as a storage medium and a communication medium, such as an optical disk, a magnetic disk, and a storage medium such as a semiconductor memory.
  • the program can be provided by a medium or a communication medium such as a network.
  • FIG. 4 is a diagram for describing acquisition of a polarization image.
  • FIG. 3 is a diagram illustrating a relationship between luminance and a polarization angle.
  • FIG. 2 is a diagram illustrating a configuration of a polarization image processing system.
  • FIG. 3 is a diagram illustrating a configuration of a polarization image acquisition unit.
  • FIG. 3 is a diagram illustrating a polarization filter and a color filter. 9 is a flowchart illustrating an operation of generating output polarization information.
  • FIG. 5 is a diagram illustrating adjustment of a spatial resolution.
  • FIG. 4 is a diagram illustrating a relationship between the zenith angle of the surface of the subject and the degree of polarization of reflected light (in the case of diffuse reflection).
  • FIG. 3 is a diagram illustrating conversion characteristics of the degree of polarization.
  • FIG. 1 is a diagram for describing acquisition of a polarization image.
  • the subject OB is illuminated using the light source LT, and the imaging unit CM takes an image of the subject OB via the polarizer PL.
  • the brightness of the subject OB changes according to the polarization direction of the polarizer PL.
  • the highest luminance is defined as Imax and the lowest luminance is defined as Imin.
  • the angle of the y-axis direction with respect to the x-axis when the polarization direction of the polarizer is rotated is defined as a polarization angle ⁇ pol.
  • the polarization direction of the polarizer returns to the original polarization state when rotated by 180 degrees around the z-axis direction, and has a period of 180 degrees.
  • the luminance I observed when the polarization direction is rotated can be expressed as in Expression (1).
  • FIG. 2 illustrates the relationship between the luminance and the polarization angle.
  • the polarization angle ⁇ pol is apparent when the polarized image is generated, and the maximum luminance Imax, the minimum luminance Imin, and the azimuth ⁇ are variables. Therefore, by performing fitting to the polarization model formula shown in Expression (1) using the brightness of the polarized image having three or more polarization directions, it is possible to obtain a desired value based on the polarization model formula showing the relationship between the brightness and the polarization angle. Of the azimuth angle ⁇ can be estimated.
  • Equation (2) shows the relationship between the parameter indicating the polarization state and the pixel value.
  • the pixel value when the polarization direction is 0 degrees is “I0”
  • the pixel value when the polarization direction is 45 degrees is “I45”
  • the pixel value when the polarization direction is 90 degrees is The pixel value when the polarization direction is “I90” and 135 degrees is “I135”.
  • a polarization model equation may be calculated based on Equation (1), and a polarization image having a polarization direction having a difference of 45 degrees may be generated based on the polarization model equation. .
  • the polarization parameter Sa is a parameter relating to the intensity difference between the oblique 45-degree components (the difference between the 45-degree and 135-degree polarization directions), and the polarization parameter Sb is the intensity difference between the horizontal and vertical polarization components (0 and (A difference in intensity in a polarization direction of 90 degrees).
  • the polarization parameter Sc is a parameter related to the average luminance.
  • the polarization parameters Sa, Sb, Sc correspond to the Stokes parameters of the Stokes vector.
  • the normal of the object surface can be indicated by an azimuth ⁇ and a zenith angle ⁇ using a polar coordinate system.
  • the zenith angle ⁇ is an angle from the z-axis toward the normal
  • the azimuth ⁇ is the angle in the y-axis direction with respect to the x-axis as described above.
  • the degree of polarization ⁇ can be calculated from the minimum luminance Imin and the maximum luminance Imax based on Expression (3).
  • the degree of polarization ⁇ can be calculated based on equation (4) and the azimuth ⁇ can be calculated based on equation (5).
  • FIG. 3 illustrates a configuration of a polarization image processing system using the information processing device of the present technology.
  • the polarization image processing system 10 has a polarization image acquisition unit 20 and an information processing unit 30.
  • a polarization information utilization unit 60 may be provided in the polarization image processing system 10.
  • the polarization compression information generated by the information processing unit 30 is supplied to the polarization information use unit 60 via the recording medium 40 or the transmission path 50.
  • the polarization image acquisition unit 20 acquires a plurality of polarization images having different polarization directions.
  • FIG. 4 illustrates the configuration of the polarization image acquisition unit.
  • the polarization image acquisition unit 20 generates the polarization image by arranging a polarization filter 202 having a pixel configuration in a plurality of polarization directions on the image sensor 201 and performing imaging.
  • FIG. 4A illustrates an example in which a polarization filter 202 in which each pixel is one of four different polarization directions (polarization directions are indicated by arrows) is disposed on the front surface of the image sensor 201. ing.
  • a color filter (not shown) is provided on the front surface of the image sensor 201.
  • the polarization image acquisition unit 20 may generate a plurality of polarization images having different polarization directions by using the configuration of the multi-lens array, as shown in FIG.
  • a plurality of lenses (four in the figure) are provided on the front surface of the image sensor 201, and each lens 203 forms an optical image of a subject on the imaging surface of the image sensor 201.
  • a polarizing plate 204 is provided on the front surface of each lens 203, and a plurality of polarized images having different polarizing directions are generated with the polarizing directions of the polarizing plate 204 being different directions. If the polarization image acquisition unit 20 is configured as described above, a plurality of polarization images can be acquired by one imaging.
  • the polarization image acquisition unit 20 has a configuration in which polarizing plates 212-1 to 212-4 having different polarization directions are provided in front of the imaging units 210-1 to 210-4.
  • a plurality of polarization images having different polarization directions may be generated from a plurality of different viewpoints.
  • a configuration in which a polarizing plate 213 is provided in front of the imaging unit 210 as illustrated in FIG. In this case, the polarizing plate 213 is rotated to perform imaging in a plurality of different polarization directions, and a plurality of polarization images in different polarization directions can be obtained.
  • FIG. 5 illustrates a polarization filter and a color filter of the image sensor.
  • FIGS. 5A and 5B illustrate a polarization pattern of a polarization filter.
  • the polarizing filter only needs to be able to extract linearly polarized light from the subject light, and uses, for example, a wire grid or a photonic liquid crystal.
  • FIG. 5A illustrates a plurality of polarization directions (for example, 0 degree, 45 degrees, 90 degrees, and so on) in which one pixel is used as a polarization component unit so that, for example, fitting to the polarization model equation shown in Equation (1) can be performed. This illustrates a case where pixels of 135 degrees (four directions) are provided. Also, FIG.
  • the color component array unit of the color filter is a 2 ⁇ 2 pixel unit, and the 2 ⁇ 2 pixel unit is a polarization unit, and a plurality of polarization directions (for example, 0 degrees, 45 degrees) are used as described above.
  • a plurality of polarization directions for example, 0 degrees, 45 degrees
  • pixels of four directions degrees, 90 degrees, and 135 degrees
  • the color filter is a color demosaic filter including color components, for example, red, blue, and green (RGB) color components.
  • the color filter is not limited to the case where one pixel is defined as one color component unit and the RGB color components are arranged in the Bayer array as shown in FIG. A configuration in which pixels are repeated as one color component unit may be employed. Further, as shown in FIG. 5E, a configuration in which white pixels are mixed and mounted in a Bayer arrangement may be repeated, and as shown in FIG. 5F, 2 ⁇ 2 pixels are formed in one color component unit. A configuration in which white pixels are mixed and arranged in an array of 2 ⁇ 2 color component units described above may be repeated.
  • the color filter and the polarization filter are used in combination so as to obtain four polarization components for each color component.
  • the fitting to the polarization model formula shown in the equation (1) is not limited to the case where a polarization image having three or more polarization directions, for example, a polarization image having four different polarization directions is used. May be used.
  • the sensitivity of a polarized pixel is ideally (1/2) times that of a non-polarized pixel, and the average value of the specular reflection component and the sum of the diffuse reflection components are ⁇ ⁇ ⁇ ⁇ of the pixel value Inp of the non-polarized pixel. Double.
  • the polarization directions are set to four directions at intervals of 45 degrees, for example, as shown in FIG.
  • the information processing unit 30 shown in FIG. 3 includes a polarization information calculation unit 31 and an output polarization information generation unit 32.
  • the polarization information calculation unit 31 generates polarization information for each color using the polarization image acquired by the polarization image acquisition unit 20.
  • the polarization information calculation unit 31 may calculate the polarization parameters Sa, Sb, Sc as polarization information by performing the operation of the above-described equation (2) using, for example, four pixel values having different polarization directions.
  • the calculation of (4) may be performed to calculate the polarization degree ⁇ and the azimuth angle ⁇ as polarization information.
  • the output polarization information generation unit 32 performs quantization by a quantization method according to the polarization information calculated by the polarization information calculation unit 31, and generates output polarization information.
  • the output polarization information generator 32 quantizes the polarization information calculated by the polarization information calculator 31, for example, the polarization information by a quantization method based on the characteristics of the polarization parameter Sa, the polarization parameter Sb, and the polarization parameter Sc. Further, the output polarization information generation unit 32 quantizes the polarization information calculated by the polarization information calculation unit 31, for example, the polarization information by a quantization method based on the polarization degree ⁇ or the characteristic of the polarization degree ⁇ and the azimuth angle ⁇ .
  • the output polarization information generation unit 32 outputs the generated output polarization information to the polarization information use unit 60 via the recording medium 40 or the transmission path 50.
  • the polarization information use unit 60 detects a normal direction and a reflection component of the subject based on the output polarization information acquired via the recording medium 40 or the transmission path 50, and generates a high-precision depth map and a subject recognition process. It removes specular reflection components, generates a VR (Virtual Reality) environment, and the like.
  • FIG. 6 is a flowchart illustrating an operation of generating output polarization information.
  • the information processing section acquires a polarization image.
  • the polarization information calculation unit 31 of the information processing unit 30 acquires the polarization images in a plurality of polarization directions generated by the polarization image acquisition unit 20, and proceeds to step ST2.
  • the information processing section calculates polarization information.
  • the polarization information calculation unit 31 calculates the polarization parameters Sa, Sb, Sc as the polarization information by performing, for example, the operation of Expression (2) using the pixel values of the polarization images in the multiple polarization directions acquired in step ST1. Further, the polarization information calculation unit 31 performs, for example, the operation of Expression (3) or Expression (4) or the operation of Expression (4) and Expression (5), and calculates the polarization degree ⁇ or the polarization degree ⁇ and the azimuth angle ⁇ . May be calculated as The polarization information calculator 31 calculates the polarization information and proceeds to step ST3.
  • step ST3 the information processing section determines whether the polarization information is a polarization parameter. If the output polarization information generation unit 32 determines that the polarization information calculated in step ST2 is the polarization parameters Sa, Sb, Sc, the process proceeds to step ST4, where the polarization information is information indicating the degree of polarization ⁇ and the azimuth ⁇ . In this case, the process proceeds to step ST5.
  • step ST4 the information processing unit performs a quantization process based on the characteristics of the polarization parameter indicating the polarization information.
  • the output polarization information generation unit 32 quantizes the polarization information indicating the polarization parameter using a quantization method based on the characteristics of the polarization parameter to generate output polarization information. The quantization method based on the characteristics of the polarization parameter will be described later.
  • step ST5 the information processing section performs quantization processing based on the characteristics of the degree of polarization and the azimuth.
  • the output polarization information generator 32 quantizes the polarization information indicating the degree of polarization and the azimuth by using a quantization method based on the characteristics of the degree of polarization and the azimuth, and generates output polarization information.
  • the quantization method based on the characteristics of the degree of polarization and the azimuth will be described later.
  • the output polarization information generation unit 32 uses the polarization information calculated by the polarization information calculation unit 31 as described above, for example, the polarization information using the polarization parameter indicating the polarization state or the quantization method based on the characteristics of the degree of polarization and the azimuth. To generate output polarization information.
  • the output polarization information generation unit 32 adjusts the spatial resolution, and performs quantization by lowering the spatial resolution of the polarization parameter Sa and the polarization parameter Sb than the polarization parameter Sc.
  • FIG. 7 illustrates the adjustment of the spatial resolution.
  • the output polarization information generation unit 32 since the output polarization information generation unit 32 generates the output polarization information by quantizing the polarization parameter, the output polarization information data is compared with the case where the polarization image for each polarization direction is output as the output polarization information. The amount can be reduced. In addition, the output polarization information generation unit 32 performs quantization by lowering the spatial resolution of the polarization parameter Sa and the polarization parameter Sb than the polarization parameter Sc, and thus can generate output polarization information with reduced information loss.
  • the value range of the polarization parameter Sa relating to the intensity difference of the oblique 45 degree component and the value range of the polarization parameter Sb relating to the intensity difference of the polarization component in the horizontal and vertical directions are different from the value range of the polarization parameter Sc indicating the average luminance.
  • the value of the polarization parameter Sc indicating the average luminance is “1”
  • the polarization parameter Sa relating to the intensity difference of the oblique 45-degree component is different from the polarization parameter Sa of the horizontal and vertical directions.
  • the possible value (value range) of the polarization parameter Sb relating to the intensity difference is in the range of “0 to 2”.
  • the value range of the information indicating the average luminance is narrower than the value range of the information indicating the intensity difference between the 45-degree oblique component and the intensity difference between the polarization components in the horizontal and vertical directions.
  • the output polarization information generation unit 32 sets the bit width of the information indicating the average luminance to the bit width of the information indicating the intensity difference between the oblique 45-degree component and the intensity difference between the horizontal and vertical polarization components. Also narrow.
  • the output polarization information generation unit 32 quantizes the polarization parameter Sa and the polarization parameter Sb into data having a ma bit width, and quantizes the polarization parameter Sc into data having a na ( ⁇ ma) bit width smaller than the ma bit width. I do.
  • the output polarization information generation unit 32 since the output polarization information generation unit 32 generates the output polarization information by quantizing the polarization parameter, the output polarization information data is compared with the case where the polarization image for each polarization direction is output as the output polarization information. The amount can be reduced.
  • the output polarization information generation unit 32 adjusts the bit width according to the difference between the value range of the component related to the intensity difference between the 45-degree oblique component and the strength difference between the horizontal and vertical polarization components and the value range of the component related to the average luminance. Thus, it is possible to generate output polarization information in which information loss is suppressed.
  • the output polarization information generation unit 32 may generate the output polarization information by adjusting the spatial resolution and the bit width as a quantization process based on the characteristics of the polarization parameter. Only the output polarization information may be generated by adjusting only.
  • FIG. 8 illustrates the relationship between the zenith angle of the surface of the subject and the degree of polarization of reflected light (diffuse reflection).
  • the output polarization information generation unit 32 sets the quantization step width so that the information of the portion having a low observation degree, which is the high observation frequency, is not lost, and sets the quantization step width when the polarization degree is larger than the threshold. Make it wider.
  • the output polarization information generating unit 32 quantizes the degree of polarization to generate output polarization information, the output polarization information data is compared with a case where a polarization image for each polarization direction is output as output polarization information. The amount can be reduced.
  • the output polarization information generation unit 32 widens the quantization step width when the degree of polarization is larger than the threshold value, and thus reduces the data amount of the output polarization information as compared with a case where the quantization step width is not adjusted.
  • the output polarization information generation unit 32 has a conversion characteristic of extending the degree of polarization when the zenith angle changes when the degree of polarization is equal to or less than the threshold, and compressing the degree of polarization when the degree of polarization is larger than the threshold.
  • the output polarization information may be generated by suppressing the loss of information by performing the conversion processing described above and quantizing the degree of polarization ⁇ c after the conversion processing.
  • the output polarization information generation unit 32 converts the degree of polarization ⁇ to the degree of polarization ⁇ c, for example, by setting the coefficient ⁇ in Expression (9) to “ ⁇ > 1”.
  • FIG. 9 illustrates the conversion characteristics of the degree of polarization
  • FIG. 9A illustrates the conversion characteristics shown in Expression (9) when “ ⁇ > 1”.
  • the conversion characteristics shown in FIG. 9A when the polarization degree ⁇ is equal to or smaller than the threshold value k, the conversion is performed such that the change in the polarization degree when the zenith angle changes increases as the polarization degree ⁇ decreases.
  • the conversion is performed such that the change in the degree of polarization decreases as the degree of polarization ⁇ increases. Therefore, if output polarization information is generated by quantizing the degree of polarization ⁇ c after conversion, loss of information when the zenith angle is small can be reduced. Further, even if the quantization step width is not set so that the information of the portion where the polarization degree ⁇ , which is a high observation frequency, is low is not lost, output polarization information with little information loss can be generated.
  • the conversion characteristic shown in FIG. 9A is an example. If the conversion of the degree of polarization ⁇ is a characteristic that extends the change in the degree of polarization when the degree of polarization ⁇ is small, the conversion characteristic of FIG. It is not limited to the characteristic shown in equation (9).
  • the slope of the conversion characteristic indicated by the straight line Va is made larger than the characteristic at the time of no conversion indicated by the dashed-dotted line Vb
  • the slope of the conversion characteristic indicated by Vc is made smaller than the characteristic indicated by the one-dot chain line Vb.
  • the output polarization information generation unit 32 can reduce the loss of information when the zenith angle is small even when the output polarization information is generated by quantizing the degree of polarization ⁇ c converted by the characteristic shown in FIG. 9B. .
  • the degree of polarization ⁇ When the degree of polarization ⁇ is equal to or less than the threshold value, the change of the degree of polarization is extended, and when the degree of polarization is larger than the threshold value, the conversion processing of the degree of polarization ⁇ is performed with a conversion characteristic of compressing the change of the degree of polarization.
  • the quantization step width becomes smaller for a polarization degree equal to or less than a threshold value, compared with the case where the polarization degree ⁇ before conversion is quantized with a predetermined quantization step width, For a degree of polarization greater than the threshold value, the quantization step width is increased.
  • the output polarization information generation unit 32 may output information indicating the conversion characteristic of the degree of polarization (for example, a coefficient ⁇ ) together with the output polarization information.
  • the polarization information using unit 60 performs the inverse conversion of the degree of polarization ⁇ c indicated by the output polarization information, thereby obtaining the degree of polarization ⁇ before the conversion processing. Can be restored.
  • the value range of the azimuth angle is “0 ° to 180 °”, and high resolution is rarely required. For example, in many applications such as stress measurement, a resolution of less than 1 degree is not required.
  • the degree of polarization requires high precision. Therefore, the output polarization information generation unit 32 makes the bit width assigned to the information indicating the azimuth angle smaller than the bit width assigned to the information indicating the degree of polarization.
  • the output polarization information generation unit 32 sets the bit width allocated to the information indicating the degree of polarization to mb bits and the bit width allocated to the information indicating the azimuth angle to nb ( ⁇ mb) bits, and sets the degree of polarization and the azimuth angle. Is quantized. As described above, since the output polarization information generation unit 32 quantizes the degree of polarization and the azimuth to generate output polarization information, the output polarization information generation unit 32 outputs the polarization image for each polarization direction as output polarization information. The data amount of information can be suppressed.
  • the output polarization information generation unit 32 adjusts the bit width according to the resolution required for the degree of polarization and the azimuth, and thus efficiently allocates the bit width to the degree of polarization and the azimuth while suppressing loss of information. To generate output polarization information.
  • the technology according to the present disclosure can be applied to various fields.
  • the technology according to the present disclosure is realized as a device mounted on any type of moving object such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • it may be realized as a device mounted on a device used in a production process in a factory or a device used in a construction field. If applied to such a field, it is possible to accurately generate normal line information and separate reflection components based on polarization information. Therefore, the surrounding environment can be accurately grasped in three dimensions, and the fatigue of the driver and the worker can be reduced. In addition, it is possible to more safely perform automatic driving and the like.
  • the technology according to the present disclosure can also be applied to the medical field.
  • the present invention is applied to a case where an image taken of an operation part is used when performing an operation, it becomes possible to accurately obtain an image without a three-dimensional shape or reflection of the operation part, thereby reducing fatigue of the operator and safely and safely. Surgery can be performed more reliably.
  • the present technology may be used for generating a VR (Virtual Reality) environment or the like.
  • the data amount of the polarization information can be reduced and transmitted, it is easy to confirm the surrounding environment and the operation site in a remote place in three dimensions.
  • the polarization information can be efficiently recorded.
  • a series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer built in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, a solid state drive (SSD), or a read only memory (ROM) as a recording medium.
  • the program is a flexible disk, CD-ROM (Compact Disc Only Memory), MO (Magneto Optical) disc, DVD (Digital Versatile Disc), BD (Blu-Ray Disc (registered trademark)), magnetic disk, semiconductor memory card Can be temporarily or permanently stored (recorded) in a removable recording medium such as.
  • a removable recording medium can be provided as so-called package software.
  • the program may be installed on the computer from a removable recording medium, or may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the information processing device of the present technology can also have the following configuration.
  • a polarization information calculation unit that calculates polarization information from polarization images in a plurality of polarization directions;
  • An information processing apparatus comprising: an output polarization information generation unit that quantizes the polarization information by a quantization method according to the polarization information calculated by the polarization information calculation unit and generates output polarization information.
  • the output polarization information generation unit uses a quantization method based on characteristics of the polarization information.
  • the polarization information calculation unit includes, as the polarization information, a first polarization parameter indicating an intensity difference between horizontal and vertical polarization components, and a polarization component in a direction having an angle difference of 45 degrees with respect to the horizontal and vertical directions.
  • the information processing apparatus according to (2) wherein a second polarization parameter indicating an intensity difference and a third polarization parameter indicating an average intensity are calculated.
  • the output polarization information generation unit generates the output polarization information by performing quantization by lowering the spatial resolution of the first polarization parameter and the second polarization parameter than the third polarization parameter.
  • the information processing device according to (3).
  • the output polarization information generation unit quantizes the first polarization parameter and the second polarization parameter with a ma bit width, and converts the third polarization parameter with a na bit width smaller than the ma bit width.
  • the information processing device according to (3) or (4), wherein the output polarization information is generated by quantization.
  • the information processing apparatus according to (2), wherein the polarization information calculation unit calculates a degree of polarization or a degree of polarization and an azimuth as the polarization information.
  • the output polarization information generation unit generates the output polarization information by performing quantization by widening a quantization step width when the degree of polarization is larger than a threshold.
  • the output polarization information generation unit performs the conversion processing of the degree of polarization with a conversion characteristic of extending a change in the degree of polarization when the degree of polarization is equal to or less than a threshold and compressing the change in the degree of polarization when the degree of polarization is larger than the threshold.
  • the output polarization information generation unit quantizes the degree of polarization with an mb bit width and quantizes the azimuth with an nb bit width smaller than the mb bit width to generate the output polarization information (6).
  • the information processing device according to any one of (1) to (8).
  • (11) The information processing device according to any one of (1) to (10), further including a polarization image acquisition unit configured to acquire polarization images in the plurality of polarization directions.
  • polarization information utilization unit 201 image sensor 202: polarization filter 203: lens 204, 212-1 to 212-4, 213: polarization plate 210, 210-1 to 210 -4 ⁇ ⁇ ⁇ Imaging unit

Abstract

偏光情報算出部３１は、複数偏光方向の偏光画像から偏光情報として、水平垂直方向の偏光成分の強度差等を示す偏光パラメータ、あるいは偏光度または偏光度と方位角を算出する。出力偏光情報生成部では、偏光情報算出部で算出された偏光情報の特性に基づいた量子化方法を用いて量子化を行い出力偏光情報を生成する。偏光情報の特性に基づいた量子化方法では、偏光情報が偏光パラメータである場合、空間解像度の調整やビット幅の調整を行い、偏光情報が偏光度である場合、偏光度が閾値以下であるとき偏光度の変化を伸張する変換処理、偏光情報が偏光度と方位角である場合ビット幅の調整等を行う。情報の損失とデータ量を抑えた偏光情報を生成できるようにする。

Description

情報処理装置と情報処理方法およびプログラム
　この技術は、情報処理装置と情報処理方法およびプログラムに関し、情報の損失とデータ量を抑えた偏光情報を生成できるようにする。
　従来、撮像部と偏光フィルタを用いて偏光画像を取得することが行われている。例えば、特許文献１では、偏光方向が異なる画素を含む画素構成の撮像部によって偏光画像を取得することが行われている。
　また、複数の偏光方向の偏光画像から被写体の法線情報を取得することが行われている。例えば、非特許文献１や非特許文献２では、複数の偏光方向の偏光画像をモデル式にあてはめることによって法線情報の算出が行われている。
特開２０１５－１１４３０７号公報
Lawrence B.Wolff and Terrance E.Boult :"Constraining Object Features Using a Polarization Reflectance Model",IEEE Transaction on pattern analysis and machine intelligence,Vol.13,No.7,July 1991 Gary A. Atkinson and Edwin R. Hancock :"Recovery of surface orientation from diffuse polarization",IEEE Transactions of Image Processing, Vol.15, Issue.6, pp.1653-1664, 2006
　ところで、偏光方向毎の偏光画像を偏光情報として他の機器等に供給する場合、偏光方向の数が多くなるに伴いデータ量が増加して、偏光情報を効率よく他の機器等に供給することができない。
　そこで、この技術では情報の損失とデータ量を抑えた偏光情報を生成できる情報処理装置と情報処理方法およびプログラムを提供することを目的とする。
　この技術の第１の側面は、
　複数偏光方向の偏光画像から偏光情報を算出する偏光情報算出部と、
　前記偏光情報算出部で算出された前記偏光情報に応じた量子化方法で前記偏光情報の量子化を行い出力偏光情報を生成する出力偏光情報生成部と
を備える情報処理装置にある。
　この技術において、偏光情報算出部では、複数偏光方向の偏光画像から偏光情報として、例えば、水平垂直方向の偏光成分の強度差を示す第１の偏光パラメータと、前記水平垂直方向に対して４５度の角度差を有する方向の偏光成分の強度差を示す第２の偏光パラメータと、平均強度を示す第３の偏光パラメータ、あるいは、偏光度または偏光度と方位角が算出される。
　出力偏光情報生成部では、偏光情報算出部で算出された偏光情報に応じた量子化方法として、偏光情報の特性に基づいた量子化方法を用いて偏光情報の量子化を行い出力偏光情報を生成する。例えば、偏光情報として、第１の偏光パラメータと第２の偏光パラメータと第３の偏光パラメータが算出された場合、出力偏光情報生成部は、第３の偏光パラメータよりも第１の偏光パラメータと第２の偏光パラメータの空間解像度を低くして量子化を行い出力偏光情報を生成する。また、出力偏光情報生成部は、第１の偏光パラメータと第２の偏光パラメータをｍaビット幅で量子化して、第３の偏光パラメータをｍaビット幅よりも狭いｎaビット幅で量子化して出力偏光情報を生成する。
　また、偏光情報として、偏光度または偏光度と方位角が算出された場合、出力偏光情報生成部は、偏光度が閾値より大きいとき量子化ステップ幅を広くして量子化を行い出力偏光情報を生成する。また、出力偏光情報生成部は、偏光度が閾値以下であるときには偏光度の変化を伸張して閾値より大きいときには偏光度の変化を圧縮する変換特性で偏光度の変換処理を行い、この変換処理後の偏光度を量子化して出力偏光情報を生成してもよい。また、変換処理では、偏光度が閾値以下であるとき偏光度が小さくなるに伴い伸張の度合いを大きくしてもよい。また、出力偏光情報生成部は、偏光度をｍbビット幅で量子化して、方位角をｍbビット幅よりも狭いｎbビット幅で量子化して出力偏光情報を生成する。
　この技術の第２の側面は、
　複数偏光方向の偏光画像から偏光情報を偏光情報算出部で算出することと、
　前記偏光情報算出部で算出された前記偏光情報に応じた量子化方法で前記偏光情報の量子化を行い出力偏光情報を出力偏光情報生成部で生成すること
を含む情報処理方法にある。
　この技術の第３の側面は、
　偏光画像を用いた情報処理をコンピュータで実行させるプログラムであって、
　複数偏光方向の前記偏光画像から偏光情報を算出する手順と、
　前記算出された前記偏光情報に応じた量子化方法で前記偏光情報の量子化を行い出力偏光情報を生成する手順と
を前記コンピュータで実行させるプログラムにある。
　なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
偏光画像の取得について説明するための図である。 輝度と偏光角との関係を例示した図である。 偏光画像処理システムの構成を例示した図である。 偏光画像取得部の構成を例示した図である。 偏光フィルタおよびカラーフィルタを例示した図である。 出力偏光情報の生成動作を例示したフローチャートである。 空間解像度の調整を例示した図である。 被写体の表面の天頂角と反射した光の偏光度の関係（拡散反射の場合）を例示した図である。 偏光度の変換特性を例示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．偏光画像の取得について
　２．偏光画像処理システムの構成　
　３．偏光画像処理システムの動作
　４．出力偏光情報の生成処理について
　　４－１．偏光パラメータの特性に基づいた量子化処理について
　　４－２．偏光度の特性に基づいた量子化処理について
　　４－３．偏光度と方位角の特性に基づいた量子化処理について
　５．応用例
　＜１．偏光画像の取得について＞
　図１は、偏光画像の取得について説明するための図である。例えば図１に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、撮像部ＣＭは偏光子ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光子ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、説明を容易とするため、例えば偏光方向を回転したとき、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光子の平面上としたとき、偏光子の偏光方向を回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υpolとする。偏光子の偏光方向は、ｚ軸方向を軸として１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、偏光方向を回転させたときに観測される輝度Ｉは式（１）のように表すことができる。なお、図２は、輝度と偏光角との関係を例示している。
Figure JPOXMLDOC01-appb-M000001
　式（１）では、偏光角υpolが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角φが変数となる。したがって、偏光方向が３方向以上の偏光画像の輝度を用いて、式（１）に示す偏光モデル式へのフィッティングを行うことにより、輝度と偏光角の関係を示す偏光モデル式に基づいて、所望の方位角φの輝度を推定できる。
　また、偏光状態はパラメータで示すこともできる。式（２）は、偏光状態を示すパラメータと画素値の関係を示している。式（２）において、偏光方向が０度であるときの画素値を「Ｉ0」、偏光方向が４５度であるときの画素値を「Ｉ45」、偏光方向が９０度であるときの画素値を「Ｉ90」、偏光方向が１３５度であるときの画素値を「Ｉ135」とする。なお、偏光画素が３偏光方向である場合には、式（１）に基づき偏光モデル式を算出して、偏光モデル式に基づき偏光方向が４５度の差を有する偏光画像を生成してもよい。
Figure JPOXMLDOC01-appb-M000002
　式（２）における偏光パラメータＳaは斜め４５度成分の強度差（４５度と１３５度の偏光方向の強度の差）に関するパラメータ、偏光パラメータＳbは水平垂直方向の偏光成分の強度差（０度と９０度の偏光方向の強度の差）に関するパラメータである。また、偏光パラメータＳcは平均輝度に関するパラメータである。なお、偏光パラメータＳa，Ｓb，Ｓcは、ストークスベクトルのストークスパラメータに対応する。
　また、物体表面の法線は、極座標系を用いて方位角φと天頂角θで示すことができる。なお、天頂角θはｚ軸から法線に向かう角度、方位角φは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、最小輝度Ｉminと最大輝度Ｉmaxから、式（３）に基づき偏光度ρを算出できる。また、偏光状態を示す偏光パラメータＳa，Ｓb，Ｓcから、例えば式（４）に基づき偏光度ρと式（５）に基づき方位角φを算出できる。
Figure JPOXMLDOC01-appb-M000003
　＜２．偏光画像処理システムの構成＞
　図３は、本技術の情報処理装置を用いた偏光画像処理システムの構成を例示している。偏光画像処理システム１０は、偏光画像取得部２０、情報処理部３０を有している。また、偏光画像処理システム１０では、偏光情報利用部６０を設けてもよい。偏光画像処理システム１０では、情報処理部３０で生成された偏光圧縮情報を記録媒体４０あるいは伝送路５０を介して、偏光情報利用部６０へ供給する。
　偏光画像取得部２０は、偏光方向が異なる複数の偏光画像を取得する。図４は、偏光画像取得部の構成を例示している。偏光画像取得部２０は、例えば図４の（ａ）に示すように、イメージセンサ２０１に複数の偏光方向の画素構成とされた偏光フィルタ２０２を配置して撮像を行うことで生成する。なお、図４の（ａ）では、各画素が異なる４種類の偏光方向（偏光方向を矢印で示す）のいずれかの画素となる偏光フィルタ２０２をイメージセンサ２０１の前面に配置した場合を例示している。また、色成分毎の偏光画像を生成する場合はイメージセンサ２０１の前面にカラーフィルタ（図示せず）が設けられる。
　偏光画像取得部２０は、図４の（ｂ）に示すように、マルチレンズアレイの構成を利用して偏光方向が異なる複数の偏光画像を生成してもよい。例えばイメージセンサ２０１の前面にレンズ２０３を複数（図では４個）設けて、各レンズ２０３によって被写体の光学像をイメージセンサ２０１の撮像面にそれぞれ結像させる。また、各レンズ２０３の前面に偏光板２０４を設けて、偏光板２０４の偏光方向を異なる方向として、偏光方向が異なる複数の偏光画像を生成する。このように偏光画像取得部２０を構成すれば、１回の撮像で複数の偏光画像を取得できる。
　また、偏光画像取得部２０は、図４の（ｃ）に示すように、撮像部２１０-1～２１０-4の前に互いに偏光方向が異なる偏光板２１２-1～２１２-4を設けた構成として、異なる複数の視点から偏光方向が異なる複数の偏光画像を生成してもよい。なお、被写体の動きが遅い場合やステップ的に動作する場合には、図４の（ｄ）に示すように、撮像部２１０の前に偏光板２１３を設けた構成としてもよい。この場合、偏光板２１３を回転させて異なる複数の偏光方向でそれぞれ撮像を行い、偏光方向が異なる複数の偏光画像を取得できる。
　図５はイメージセンサの偏光フィルタおよびカラーフィルタを例示している。図５の（ａ），（ｂ）は偏光フィルタの偏光パターンを例示している。偏光フィルタは、被写体光から直線偏光光を取り出せればよく、例えばワイヤーグリッドやフォトニック液晶等を用いる。図５の（ａ）は、１画素を偏光成分単位として、例えば式（１）に示す偏光モデル式へのフィッティングを行うことができるように複数偏光方向（例えば０度，４５度，９０度，１３５度の４方向）の画素を設けた場合を例示している。また、図５の（ｂ）は、例えばカラーフィルタの色成分配列単位が２×２画素単位であり、２×２画素単位を偏光単位として、上述のように複数偏光方向（例えば０度，４５度，９０度，１３５度の４方向）の画素を設けた場合を例示している。
　図５の（ｃ）～（ｆ）はカラーフィルタを例示している。カラーフィルタは、色成分例えば赤と青と緑（ＲＧＢ）の色成分からなるカラーデモザイクフィルタである。カラーフィルタは、図５の（ｃ）に示すように１画素を１つの色成分単位として、ＲＧＢ色成分をＢａｙｅｒ配列とした場合に限らず、図５の（ｄ）に示すように２×２画素を１つの色成分単位として繰り返した構成であってもよい。また、図５の（ｅ）に示すようにＢａｙｅｒ配列に白色画素を混載して繰り返した構成であってもよく、図５の（ｆ）に示すように２×２画素を１つの色成分単位とした２×２色成分単位の配列に白色画素を混載して繰り返した構成であってもよい。カラーフィルタと偏光フィルタは、色成分毎に４つの偏光成分が得られるように組み合わせて用いる。
　また、式（１）に示す偏光モデル式へのフィッティングは、３偏光方向以上の偏光画像、例えば異なる４つの偏光方向の偏光画像を用いる場合に限らず、無偏光画像と２偏光方向の偏光画像を用いてもよい。偏光画素の感度は理想的には無偏光画素の（１／２）倍であり、鏡面反射成分の平均値と拡散反射成分の加算値は、無偏光画素の画素値Ｉnpに対して１／２倍となる。また、偏光方向を４５度間隔で４方向とした場合、例えば図２に示すように偏光方向を０度度，４５度，９０度，１３５度とすると式（６）が成り立つ。ここで、偏光画像取得部２０の画素が無偏光画素と偏光方向が０度の偏光画素と４５度の偏光画素で構成されている場合、画素が設けられていない偏光方向が９０度であるときの画素値Ｉ90と偏光方向が１３５度であるときの画素値Ｉ135は、式（７）（８）に基づいて算出できる。
　　（Ｉ45＋Ｉ135）／２＝（Ｉ0＋Ｉ90）／２＝Ｉnp／２　　・・・（６）
　　Ｉ90＝Ｉnp－Ｉ0　　　・・・（７）
　　Ｉ135＝Ｉnp－Ｉ45　　・・・（８）
　図３に示す情報処理部３０は、偏光情報算出部３１と出力偏光情報生成部３２を有している。偏光情報算出部３１は、偏光画像取得部２０で取得された偏光画像を用いて色毎に偏光情報を生成する。偏光情報算出部３１は、例えば偏光方向が異なる４つの画素値を用いて上述の式（２）の演算を行い、偏光パラメータＳa，Ｓb，Ｓcを偏光情報として算出してもよく、上述の式（４）の演算を行い偏光度ρや方位角φを偏光情報として算出してもよい。
　出力偏光情報生成部３２は、偏光情報算出部３１で算出された偏光情報に応じた量子化方法で量子化を行い出力偏光情報を生成する。出力偏光情報生成部３２は、偏光情報算出部３１で算出された偏光情報、例えば偏光パラメータＳa，偏光パラメータＳb，偏光パラメータＳcの特性に基づいた量子化方法で偏光情報を量子化する。また、出力偏光情報生成部３２は、偏光情報算出部３１で算出された偏光情報、例えば偏光度ρまたは偏光度ρと方位角φの特性に基づいた量子化方法で偏光情報を量子化する。出力偏光情報生成部３２は、生成した出力偏光情報を記録媒体４０あるいは伝送路５０を介して偏光情報利用部６０へ出力する。
　偏光情報利用部６０は、記録媒体４０あるいは伝送路５０を介して取得した出力偏光情報に基づき被写体の法線方向や反射成分の検出等を行い、高精度のデプスマップの生成や被写体認識処理、鏡面反射成分の除去、ＶＲ（Virtual Reality）環境の生成等を行う。
　＜３．偏光画像処理システムの動作＞
　次に偏光画像処理システムの動作について説明する。図６は、出力偏光情報の生成動作を例示したフローチャートである。ステップＳＴ１で情報処理部は偏光画像を取得する。情報処理部３０の偏光情報算出部３１は、偏光画像取得部２０で生成された複数偏光方向の偏光画像を取得してステップＳＴ２に進む。
　ステップＳＴ２で情報処理部は偏光情報を算出する。偏光情報算出部３１は、ステップＳＴ１で取得した複数偏光方向の偏光画像の画素値を用いて、例えば式（２）の演算を行い偏光情報として偏光パラメータＳa，Ｓb，Ｓcを算出する。また、偏光情報算出部３１は、例えば式（３）または式（４）の演算あるいは式（４）と式（５）の演算を行い、偏光度ρあるいは偏光度ρと方位角φを偏光情報として算出してもよい。偏光情報算出部３１は、偏光情報を算出してステップＳＴ３に進む。
　ステップＳＴ３で情報処理部は偏光情報が偏光パラメータであるか判別する。出力偏光情報生成部３２は、ステップＳＴ２で算出された偏光情報が偏光パラメータＳa，Ｓb，Ｓcであると判別した場合ステップＳＴ４に進み、偏光情報が偏光度ρや方位角φを示す情報である場合ステップＳＴ５に進む。
　ステップＳＴ４で情報処理部は偏光情報を示す偏光パラメータの特性に基づいた量子化処理を行う。出力偏光情報生成部３２は、偏光パラメータの特性に基づいた量子化方法を用いて、偏光パラメータを示す偏光情報の量子化を行い出力偏光情報を生成する。なお、偏光パラメータの特性に基づいた量子化方法については後述する。
　ステップＳＴ５で情報処理部は偏光度や方位角の特性に基づいた量子化処理を行う。出力偏光情報生成部３２は、偏光度や方位角の特性に基づいた量子化方法を用いて、偏光度や方位角を示す偏光情報の量子化を行い出力偏光情報を生成する。なお、偏光度や方位角の特性に基づいた量子化方法については後述する。
　＜４．出力偏光情報の生成処理について＞
　出力偏光情報生成部３２は、上述のように偏光情報算出部３１で算出された偏光情報、例えば偏光状態を示す偏光パラメータあるいは偏光度や方位角の特性に基づいた量子化方法を用いて偏光情報の量子化を行い出力偏光情報を生成する。
　＜４－１．偏光パラメータの特性に基づいた量子化処理について＞
　次に、偏光状態を示す偏光パラメータの特性に基づいた量子化処理について説明する。偏光パラメータＳaで示される斜め４５度成分の強度差や偏光パラメータＳbで示される水平垂直方向の偏光成分の強度差は、一般に空間方向の変化が偏光パラメータＳcで示される輝度に比べて少ない。この特性を利用して、出力偏光情報生成部３２は、空間解像度の調整を行い、偏光パラメータＳcよりも偏光パラメータＳaと偏光パラメータＳbの空間解像度を低くして量子化を行う。図７は、空間解像度の調整を例示している。なお、図７は、偏光パラメータＳaと偏光パラメータＳbに対して１／２のダウンサンプリングを行うことで、偏光パラメータＳcよりも空間解像度を低下させた場合を例示している。このように、出力偏光情報生成部３２は、偏光パラメータを量子化して出力偏光情報を生成することから、偏光方向毎の偏光画像を出力偏光情報として出力する場合に比べて、出力偏光情報のデータ量を抑えることができる。また、出力偏光情報生成部３２は、偏光パラメータＳcよりも偏光パラメータＳaと偏光パラメータＳbの空間解像度を低くして量子化を行うことから、情報の損失を抑えた出力偏光情報を生成できる。
　また、斜め４５度成分の強度差に関する偏光パラメータＳaと水平垂直方向の偏光成分の強度差に関する偏光パラメータＳbの値域は、平均輝度を示す偏光パラメータＳcの値域と相違する。例えば、図２においてＩmin＝０，Ｉmax＝２とすると、平均輝度を示す偏光パラメータＳcの値は「１」であり、斜め４５度成分の強度差に関する偏光パラメータＳaと水平垂直方向の偏光成分の強度差に関する偏光パラメータＳbが取り得る値（値域）は「０～２」の範囲内となる。このように、平均輝度を示す情報の値域は斜め４５度成分の強度差と水平垂直方向の偏光成分の強度差を示す情報の値域よりも狭い。このような特性を利用して、出力偏光情報生成部３２は、平均輝度を示す情報のビット幅を斜め４５度成分の強度差と水平垂直方向の偏光成分の強度差を示す情報のビット幅よりも狭くする。すなわち、出力偏光情報生成部３２は、偏光パラメータＳaと偏光パラメータＳbはｍaビット幅のデータに量子化して、偏光パラメータＳcはｍaビット幅よりも狭いｎa（＜ｍa）ビット幅のデータに量子化する。このように、出力偏光情報生成部３２は、偏光パラメータを量子化して出力偏光情報を生成することから、偏光方向毎の偏光画像を出力偏光情報として出力する場合に比べて、出力偏光情報のデータ量を抑えることができる。また、出力偏光情報生成部３２は、斜め４５度成分の強度差と水平垂直方向の偏光成分の強度差に関する成分の値域と平均輝度に関する成分の値域の違いに応じてビット幅を調整することから、情報の損失を抑えた出力偏光情報を生成できる。
　なお、出力偏光情報生成部３２は、偏光パラメータの特性に基づいた量子化処理として、空間解像度とビット幅を調整して出力偏光情報を生成してもよく、空間解像度とビット幅のいずれか一方のみを調整して出力偏光情報を生成してもよい。
　＜４－２．偏光度の特性に基づいた量子化処理について＞
　次に、偏光度の特性に基づいた量子化処理について説明する。図８は、被写体の表面の天頂角と反射した光の偏光度の関係（拡散反射の場合）を例示している。この図８から明らかなように、被写体の天頂角が小さい場合には天頂角が変化したときの偏光度の変化が小さく、天頂角が大きい場合には天頂角が変化したときの偏光度の変化が、天頂角が小さい場合よりも大きい。また、一般的な撮像シーンにおいて、被写体の天頂角の分布は、大きい天頂角が少なく、小さい天頂角の部分が大半である。したがって、出力偏光情報生成部３２は、高い観測頻度である偏光度が低い部分の情報が失われないように量子化ステップ幅を設定して、偏光度が閾値より大きいときに量子化ステップ幅を広くする。このように、出力偏光情報生成部３２は、偏光度を量子化して出力偏光情報を生成することから、偏光方向毎の偏光画像を出力偏光情報として出力する場合に比べて、出力偏光情報のデータ量を抑えることができる。また、出力偏光情報生成部３２は、偏光度が閾値より大きいときに量子化ステップ幅を広くすることから、量子化ステップ幅を調整しない場合に比べて出力偏光情報のデータ量を削減する。
　また、出力偏光情報生成部３２は、偏光度が閾値以下であるときには天頂角が変化したときの偏光度の変化を伸張して閾値より大きいときには偏光度の変化を圧縮する変換特性で偏光度ρの変換処理を行い、変換処理後の偏光度ρcを量子化することで、情報の損失を抑えて出力偏光情報を生成してもよい。
　出力偏光情報生成部３２は、例えば式（９）の係数γを「γ＞１」として偏光度ρを偏光度ρcに変換する。図９は偏光度の変換特性を例示しており、図９の（ａ）は「γ＞１」であるときの式（９）に示す変換特性を例示している。図９の（ａ）に示す変換特性では、偏光度ρが閾値ｋ以下であるとき、偏光度ρが小さくなるに伴い、天頂角が変化したときの偏光度の変化が大きくなるように変換が行われて、偏光度ρが閾値ｋよりも大きいとき、偏光度ρが大きくなるに伴い偏光度の変化が小さくなるように変換が行われる。したがって、変換後の偏光度ρcを量子化して出力偏光情報を生成すれば、天頂角が小さいときの情報の損失を少なくできる。また、高い観測頻度である偏光度ρが低い部分の情報が失われないように量子化ステップ幅を設定しなくとも、情報の損失の少ない出力偏光情報を生成できるようになる。
Figure JPOXMLDOC01-appb-M000004
　また、出力偏光情報生成部３２は、式（９）の係数γを変更可能として所望の特性で変換を行うようにしてもよい。例えば被写体に偏光光を照射して被写体での反射後の偏光情報を観測するよう場合、高い偏光度が観測されることが多いことから、出力偏光情報生成部３２は、係数γを「γ≒１」または変換を行わないように「γ＝１」としてもよい。また、図９の（ａ）に示す変換特性は例示であって、偏光度ρの変換は、偏光度ρが小さいときの偏光度の変化を伸長させる特性であれば、図９の（ａ）や式（９）に示す特性に限られない。例えば、図９の（ｂ）に示すように、偏光度ρが閾値ｋ以下であるとき、直線Ｖaで示す変換特性の傾きを一点鎖線Ｖbで示す無変換時の特性よりも大きくして、直線Ｖcで示す変換特性の傾きを一点鎖線Ｖbで示す特性よりも小さくする。出力偏光情報生成部３２は、図９の（ｂ）に示す特性で変換された偏光度ρcを量子化して出力偏光情報を生成した場合にも、天頂角が小さいときの情報の損失を少なくできる。
　なお、偏光度ρが閾値以下であるときには偏光度の変化を伸張して、閾値より大きいときには偏光度の変化を圧縮する変換特性で偏光度ρの変換処理を行い、変換後の偏光度ρcを所定の量子化ステップ幅で量子化すると、変換前の偏光度ρを所定の量子化ステップ幅で量子化する場合に比べて、閾値以下の偏光度に対しては量子化ステップ幅が狭くなり、閾値よりも大きい偏光度に対しては量子化ステップ幅が広くなる。
　さらに、出力偏光情報生成部３２は、偏光度の変換特性を示す情報（例えば係数γ等）を出力偏光情報と共に出力してもよい。この場合、偏光情報利用部６０は、出力偏光情報で示された変換特性を示す情報に基づき、出力偏光情報で示された偏光度ρcの逆変換を行うことで、変換処理前の偏光度ρを復元できる。
　＜４－３．偏光度と方位角の特性に基づいた量子化処理について＞
　次に、偏光度と方位角の特性に基づいた量子化処理について説明する。方位角の値域は「０°～１８０°」であり、高い分解能を必要とされることが少なく、例えば応力測定等の多くの用途においては１度未満の分解能が要求されない。これに対して偏光度は高い精度が要求される。したがって、出力偏光情報生成部３２は、方位角を示す情報に対して割り当てるビット幅を偏光度を示す情報に対して割り当てるビット幅よりも少なくする。すなわち、出力偏光情報生成部３２は、偏光度を示す情報に対して割り当てるビット幅をｍbビット、方位角を示す情報に対して割り当てるビット幅をｎb（＜ｍb）ビットとして、偏光度と方位角を示す偏光情報を量子化する。このように、出力偏光情報生成部３２は、偏光度と方位角を量子化して出力偏光情報を生成することから、偏光方向毎の偏光画像を出力偏光情報として出力する場合に比べて、出力偏光情報のデータ量を抑えることができる。また、出力偏光情報生成部３２は、偏光度と方位角で必要とされる分解能に応じてビット幅を調整することから、情報の損失を抑えつつ効率よくビット幅を偏光度と方位角に割り当てて出力偏光情報を生成できるようになる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
　＜５．応用例＞
　本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等の何れかの種類の移動体に搭載される装置として実現されてもよい。また、工場における生産工程で用いられる機器や建設分野で用いられる機器に搭載される装置として実現されてもよい。このような分野に適用すれば、偏光情報に基づき精度よく法線情報の生成や反射成分の分離等を行うことができる。したがって、周辺環境を３次元で精度よく把握できるようになり、運転者や作業者の疲労を軽減できる。また、自動運転等をより安全に行うことが可能となる。
　本開示に係る技術は、医療分野へ適用することもできる。例えば、手術を行う際に術部の撮像画を利用する場合に適用すれば、術部の三次元形状や反射のない画像を精度よく得られるようになり、術者の疲労軽減や安全に且つより確実に手術を行うことが可能になる。また、本技術をＶＲ（Virtual Reality）環境の生成等に用いてもよい。
　さらに、偏光情報のデータ量を削減して伝送できることから、遠隔地でも周辺環境や術部の確認を三次元で行うことが容易となる。また、偏光情報を効率よく記録できるようになる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の情報処理装置は以下のような構成も取ることができる。
　（１）　複数偏光方向の偏光画像から偏光情報を算出する偏光情報算出部と、
　前記偏光情報算出部で算出された前記偏光情報に応じた量子化方法で前記偏光情報の量子化を行い出力偏光情報を生成する出力偏光情報生成部と
を備える情報処理装置。
　（２）　前記出力偏光情報生成部は、前記偏光情報の特性に基づいた量子化方法を用いる（１）に記載の情報処理装置。
　（３）　前記偏光情報算出部は前記偏光情報として、水平垂直方向の偏光成分の強度差を示す第１の偏光パラメータと、前記水平垂直方向に対して４５度の角度差を有する方向の偏光成分の強度差を示す第２の偏光パラメータと、平均強度を示す第３の偏光パラメータを算出する（２）に記載の情報処理装置。
　（４）　前記出力偏光情報生成部は、前記第３の偏光パラメータよりも前記第１の偏光パラメータと前記第２の偏光パラメータの空間解像度を低くして量子化を行い前記出力偏光情報を生成する（３）に記載の情報処理装置。
　（５）　前記出力偏光情報生成部は、前記第１の偏光パラメータと前記第２の偏光パラメータをｍaビット幅で量子化して、前記第３の偏光パラメータをｍaビット幅よりも狭いｎaビット幅で量子化して前記出力偏光情報を生成する（３）または（４）に記載の情報処理装置。
　（６）　前記偏光情報算出部は、前記偏光情報として偏光度または偏光度と方位角を算出する（２）に記載の情報処理装置。
　（７）　前記出力偏光情報生成部は、前記偏光度が閾値より大きいとき量子化ステップ幅を広くして量子化を行い前記出力偏光情報を生成する（６）に記載の情報処理装置。
　（８）　前記出力偏光情報生成部は、前記偏光度が閾値以下であるときには偏光度の変化を伸張して前記閾値より大きいときには偏光度の変化を圧縮する変換特性で前記偏光度の変換処理を行い、該変換処理後の偏光度を量子化して前記出力偏光情報を生成する（６）または（７）に記載の情報処理装置。
　（９）　前記出力偏光情報生成部は、前記偏光度が閾値以下であるとき偏光度が小さくなるに伴い前記伸張の度合いを大きくする（８）に記載の情報処理装置。
　（１０）　前記出力偏光情報生成部は、前記偏光度をｍbビット幅で量子化して、前記方位角をｍbビット幅よりも狭いｎbビット幅で量子化して前記出力偏光情報を生成する（６）乃至（８）のいずれかに記載の情報処理装置。
　（１１）　前記複数偏光方向の偏光画像を取得する偏光画像取得部をさらに備える（１）乃至（１０）のいずれかに記載の情報処理装置。
　１０・・・偏光画像処理システム
　２０・・・偏光画像取得部
　３０・・・情報処理部
　３１・・・偏光情報算出部
　３２・・・出力偏光情報生成部
　４０・・・記録媒体
　５０・・・伝送路
　６０・・・偏光情報利用部
　２０１・・・イメージセンサ
　２０２・・・偏光フィルタ
　２０３・・・レンズ
　２０４，２１２-1～２１２-4，２１３・・・偏光板
　２１０，２１０-1～２１０-4・・・撮像部

Claims (13)

  1. 　複数偏光方向の偏光画像から偏光情報を算出する偏光情報算出部と、
    　前記偏光情報算出部で算出された前記偏光情報に応じた量子化方法で前記偏光情報の量子化を行い出力偏光情報を生成する出力偏光情報生成部と
    を備える情報処理装置。
  2. 　前記出力偏光情報生成部は、前記偏光情報の特性に基づいた量子化方法を用いる
    請求項１に記載の情報処理装置。
  3. 　前記偏光情報算出部は前記偏光情報として、水平垂直方向の偏光成分の強度差を示す第１の偏光パラメータと、前記水平垂直方向に対して４５度の角度差を有する方向の偏光成分の強度差を示す第２の偏光パラメータと、平均強度を示す第３の偏光パラメータを算出する
    請求項２に記載の情報処理装置。
  4. 　前記出力偏光情報生成部は、前記第３の偏光パラメータよりも前記第１の偏光パラメータと前記第２の偏光パラメータの空間解像度を低くして量子化を行い前記出力偏光情報を生成する
    請求項３に記載の情報処理装置。
  5. 　前記出力偏光情報生成部は、前記第１の偏光パラメータと前記第２の偏光パラメータをｍaビット幅で量子化して、前記第３の偏光パラメータをｍaビット幅よりも狭いｎaビット幅で量子化して前記出力偏光情報を生成する
    請求項３に記載の情報処理装置。
  6. 　前記偏光情報算出部は、前記偏光情報として偏光度または偏光度と方位角を算出する
    請求項２に記載の情報処理装置。
  7. 　前記出力偏光情報生成部は、前記偏光度が閾値より大きいとき量子化ステップ幅を広くして量子化を行い前記出力偏光情報を生成する
    請求項６に記載の情報処理装置。
  8. 　前記出力偏光情報生成部は、前記偏光度が閾値以下であるときには偏光度の変化を伸張して前記閾値より大きいときには偏光度の変化を圧縮する変換特性で前記偏光度の変換処理を行い、該変換処理後の偏光度を量子化して前記出力偏光情報を生成する
    請求項６に記載の情報処理装置。
  9. 　前記出力偏光情報生成部は、前記偏光度が閾値以下であるとき偏光度が小さくなるに伴い前記伸張の度合いを大きくする
    請求項８に記載の情報処理装置。
  10. 　前記出力偏光情報生成部は、前記偏光度をｍbビット幅で量子化して、前記方位角をｍbビット幅よりも狭いｎbビット幅で量子化して前記出力偏光情報を生成する
    請求項６に記載の情報処理装置。
  11. 　前記複数偏光方向の偏光画像を取得する偏光画像取得部をさらに備える
    請求項１に記載の情報処理装置。
  12. 　複数偏光方向の偏光画像から偏光情報を偏光情報算出部で算出することと、
    　前記偏光情報算出部で算出された前記偏光情報に応じた量子化方法で前記偏光情報の量子化を行い出力偏光情報を出力偏光情報生成部で生成すること
    を含む情報処理方法。
  13. 　偏光画像を用いた情報処理をコンピュータで実行させるプログラムであって、
    　複数偏光方向の前記偏光画像から偏光情報を算出する手順と、
    　前記算出された前記偏光情報に応じた量子化方法で前記偏光情報の量子化を行い出力偏光情報を生成する手順と
    を前記コンピュータで実行させるプログラム。
PCT/JP2019/022515 2018-09-03 2019-06-06 情報処理装置と情報処理方法およびプログラム WO2020049816A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018164294 2018-09-03
JP2018-164294 2018-09-03

Publications (1)

Publication Number Publication Date
WO2020049816A1 true WO2020049816A1 (ja) 2020-03-12

Family

ID=69722846

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/022515 WO2020049816A1 (ja) 2018-09-03 2019-06-06 情報処理装置と情報処理方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2020049816A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021229943A1 (ja) * 2020-05-14 2021-11-18 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003500698A (ja) * 1999-05-19 2003-01-07 ジェイティーシー ２０００ ディヴェロプメント （デラウエアー）， インク． 光処理
JP2015115041A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法
JP2018061124A (ja) * 2016-10-04 2018-04-12 株式会社ソニー・インタラクティブエンタテインメント 撮影装置、情報処理システム、情報処理装置、および偏光画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003500698A (ja) * 1999-05-19 2003-01-07 ジェイティーシー ２０００ ディヴェロプメント （デラウエアー）， インク． 光処理
JP2015115041A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法
JP2018061124A (ja) * 2016-10-04 2018-04-12 株式会社ソニー・インタラクティブエンタテインメント 撮影装置、情報処理システム、情報処理装置、および偏光画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021229943A1 (ja) * 2020-05-14 2021-11-18 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム

Similar Documents

Publication Publication Date Title
JP4787871B2 (ja) カラー偏光撮像装置
US10115182B2 (en) Depth map super-resolution processing method
WO2018147329A1 (ja) 自由視点映像生成方法及び自由視点映像生成システム
US9378583B2 (en) Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume
WO2020213238A1 (ja) 撮像装置と画像処理装置および画像処理方法
JP2017010092A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
WO2019031086A1 (ja) 画像処理システム、サーバ装置、画像処理方法、及び画像処理プログラム
KR20200021891A (ko) 라이트 필드의 중간 뷰 합성 방법, 라이트 필드의 중간 뷰 합성 시스템과 라이트 필드 압축 방법
CN107421640B (zh) 基于色差扩大原理的多光谱光场成像系统及方法
WO2020049816A1 (ja) 情報処理装置と情報処理方法およびプログラム
JP2018073366A (ja) 画像処理装置、画像処理方法、およびプログラム
EP2908286A1 (en) Imaging system, imaging apparatus, and image processing apparatus
EP3048581B1 (en) Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium
JP2012156715A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム。
US11663708B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP7057717B2 (ja) 位相差検出器及び画像処理装置、並びにプログラム
US11012605B2 (en) Image processing device, image processing method, and program for generating a focused image
US11930160B2 (en) Image processing apparatus, image processing method, and program
JP2016119542A (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
WO2019207886A1 (ja) 情報処理装置と情報処理方法およびプログラム
JP2014164497A (ja) 画像処理装置、画像処理方法及びプログラム
KR102587759B1 (ko) 구형의 멀티미디어 컨텐트를 위한 회전 각도를 결정하는 방법 및 장치.
WO2022113568A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2022107530A1 (ja) 信号処理装置と信号処理方法およびプログラム
WO2023100467A1 (ja) 情報処理装置と情報処理方法とプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19857517

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19857517

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP