WO2023100467A1 - 情報処理装置と情報処理方法とプログラム - Google Patents

情報処理装置と情報処理方法とプログラム Download PDF

Info

Publication number
WO2023100467A1
WO2023100467A1 PCT/JP2022/037151 JP2022037151W WO2023100467A1 WO 2023100467 A1 WO2023100467 A1 WO 2023100467A1 JP 2022037151 W JP2022037151 W JP 2022037151W WO 2023100467 A1 WO2023100467 A1 WO 2023100467A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarization
information
pixel
pixels
polarized
Prior art date
Application number
PCT/JP2022/037151
Other languages
English (en)
French (fr)
Inventor
哲平 栗田
雄飛 近藤
大志 大野
楽公 孫
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023100467A1 publication Critical patent/WO2023100467A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Definitions

  • This technology relates to an information processing device, information processing method, and program, and makes it possible to obtain high-sensitivity, high-resolution image information and high-resolution polarization information.
  • a polarization image sensor using polarizers for pixels is used to acquire image information and polarization information.
  • image information and polarization information are acquired by attaching a polarizer to the entire surface of a pixel.
  • image information and polarization information are obtained by attaching two polarizers having different polarization directions to half of the pixels.
  • the polarization image sensor there is a possibility that the light transmitted through the polarizer is attenuated, resulting in decreased sensitivity, and the use of polarizers with multiple polarization directions may result in decreased resolution.
  • polarizers are attached to all pixels, resulting in image information with low resolution and low sensitivity.
  • the imaging device of Patent Document 2 the deterioration of sensitivity and resolution can be suppressed compared to an imaging device in which polarizers are attached to all pixels, but the image quality is significantly higher than that of image information obtained by an imaging device in which polarizers are not provided. degrades to
  • an object of this technology is to provide an information processing device, an information processing method, and a program capable of obtaining high-sensitivity, high-resolution image information and high-resolution polarization information.
  • a first aspect of this technology is Sparse polarization information generated based on pixel information read out from a polarization imaging unit composed of a plurality of polarized pixels with different polarization directions provided at predetermined pixel intervals and non-polarized pixels with a larger number of pixels than the polarized pixels.
  • a complementation target polarization information generating unit that generates complementation target polarization information of a desired information type using Using the image information generated based on the pixel information read from the polarization imaging unit, complementation processing of the polarization information to be complemented generated by the polarization information to be complemented information generation unit is performed, and the polarization information to be complemented is higher than the polarization information to be complemented.
  • the information processing apparatus includes a complementary processing unit that generates polarization information of resolution and a complementary processing unit that generates optical information.
  • the polarization imaging unit is composed of a plurality of polarization pixels with different polarization directions repeatedly provided at predetermined pixel intervals and non-polarization pixels having a larger number of pixels than the polarization pixels.
  • a polarization pixel block composed of a plurality of polarization pixels with different polarization directions is provided repeatedly at a predetermined pixel interval.
  • a plurality of polarization pixels with different polarization directions are repeatedly provided dispersedly at predetermined pixel intervals.
  • the polarization pixels are black and white pixels or color pixels.
  • the information generation unit generates image information based on the pixel information read from each pixel of the polarization imaging unit. Further, the information generation unit generates sparse polarization information indicating polarization information for each pixel position of the polarization pixels for each polarization direction based on the pixel information read from the polarization pixels of the polarization imaging unit.
  • the complementation target polarization information generation unit generates complementation target polarization information indicating polarization information of a desired information type for each pixel position of the polarization pixel based on the sparse polarization information.
  • the desired information type is, for example, at least one of pixel information for each polarization direction, Stokes component, degree of polarization, polarization phase, normal information, and polarization characteristics.
  • a desired information type can be switched according to a user operation.
  • the interpolation target polarization information generating unit may include in the interpolation target polarization information a Stokes component indicating unpolarized luminance or average luminance calculated from pixel information of polarized pixels in a plurality of different polarization directions. may be included in the interpolation target polarization information.
  • the complementing processing unit uses image information generated based on pixel information read from the polarization imaging unit to perform complementing processing on the polarization information to be complemented, and obtains polarization information with a higher resolution than the polarization information to be complemented, such as an image. Generating polarization information with a resolution corresponding to the information.
  • the complementary processing is performed by using a filter or by using machine learning to generate high-resolution polarization information.
  • a second aspect of this technology is Sparse polarization information generated based on pixel information read out from a polarization imaging unit composed of a plurality of polarized pixels with different polarization directions provided at predetermined pixel intervals and non-polarized pixels with a larger number of pixels than the polarized pixels.
  • complementation processing of the polarization information to be complemented generated by the polarization information to be complemented information generation unit is performed, and the polarization information to be complemented is higher than the polarization information to be complemented.
  • the information processing method includes generating polarization information of resolution in a complementary processing unit.
  • a third aspect of this technology is A program for causing a computer to process pixel information acquired from a polarization imaging unit, Sparse polarization information generated based on pixel information read out from the polarization imaging unit, which is composed of a plurality of polarized pixels with different polarization directions provided at predetermined pixel intervals and non-polarized pixels with a larger number of pixels than the polarized pixels.
  • a procedure for generating complementary target polarization information of the desired information type using a step of performing complementation processing of the polarization information to be complemented using image information generated based on pixel information read from the polarization imaging unit, and generating polarization information having a higher resolution than the polarization information to be complemented; is executed by the computer.
  • the program of the present technology is, for example, a storage medium provided in a computer-readable format to a general-purpose computer capable of executing various programs, a communication medium, for example, a storage medium such as an optical disk, a magnetic disk, a semiconductor memory, etc.
  • a communication medium for example, a storage medium such as an optical disk, a magnetic disk, a semiconductor memory, etc.
  • it is a program that can be provided by a communication medium such as a network.
  • FIG. 3 is a diagram showing a pixel array of a polarization imaging unit and generated RGB image information and sparse polarization information
  • FIG. 4 is a diagram showing sparse polarization information and complementary target polarization information
  • FIG. 4 is a diagram for explaining a polarization imaging section and an information generation section; It is a figure for demonstrating the complementation target polarization
  • FIG. 3 is a diagram showing RAW image information, RGB image information, and Stokes component S0;
  • FIG. 10 is a diagram showing parameter learning; It is a figure which shows the complementation process using the parameter obtained by learning. It is a figure for demonstrating the complementation target polarization
  • FIG. 10 is a diagram showing parameter learning; It is a figure which shows the complementation process using the parameter obtained by learning. It is a figure for demonstrating the complementation target polarization
  • FIG. 10 is a diagram showing parameter learning; It is a figure which shows the complementation process using the parameter obtained by learning. It is a figure for demonstrating the complementation target polarization
  • FIG. 3 is a diagram
  • FIG. 10 is a diagram showing parameter learning; It is a figure which shows the complementation process using the parameter obtained by learning. It is a figure for demonstrating the complementation target polarization
  • FIG. 10 is a diagram showing parameter learning; It is a figure which shows the complementation process using the parameter obtained by learning. It is a figure for demonstrating the complementation process using a joint bilateral filter. It is the figure which showed the difference in the case of using a joint bilateral filter, FBS, and CNN.
  • FIG. 4 is a diagram showing the relationship between the spacing of polarization pixels and characteristics
  • Embodiments for implementing the present technology will be described below. The description will be given in the following order. 1. Embodiment 2. Configuration of Embodiment 3. Operation of the embodiment 4. Example 4-1. First embodiment 4-2. Second embodiment 4-3. Third embodiment 4-4. Fourth embodiment 4-5. Fifth embodiment 4-6. Sixth embodiment 4-7. Seventh embodiment 4-8. Other Examples 5. Application example
  • the polarization imaging section is composed of polarization pixels in which the image sensor is provided with polarizers having a plurality of polarization directions, and non-polarization pixels in which no polarizer is provided and the number of pixels is larger than that of the polarization pixels.
  • the polarization pixels are sparsely arranged, it is not possible to obtain high-resolution polarization information. , and generates high-resolution polarization information, for example, polarization information for each pixel of image information. Furthermore, based on the pixel information read out from the polarization imaging unit, from the sparse polarization information indicating the polarization information for each pixel position of the polarization pixel for each polarization direction, the interpolation target polarization information of the desired information type is generated, and the interpolation target polarization information is generated. By performing the information complementing process, high-resolution polarization information, which is a desired type of information, is generated.
  • FIG. 1 illustrates the configuration of an imaging system using an information processing device of the present technology.
  • the imaging system 10 has a polarization imaging section 20 and an information processing section 30 .
  • the information processing section 30 also has an information generating section 31 , a complementary target polarization information generating section 32 , and a complementary processing section 33 .
  • the polarization imaging section 20 and the information processing section 30 may be configured independently, or the polarization imaging section 20 and the information processing section 30 may be integrated to form a solid-state imaging device.
  • the polarization imaging unit 20 acquires image information and polarization information.
  • FIG. 2 illustrates the configuration of the polarization imaging section.
  • the polarization imaging unit 20 is provided with a color filter 22 and a polarizing filter 23 composed of polarizers in a plurality of polarization directions on the incident surface of an image sensor 21 such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device). .
  • the color filter 22 is, for example, a mosaic filter of three primary colors.
  • the polarizing filter 23 has a plurality of polarizing polarizers arranged at predetermined pixel intervals.
  • the polarizing filter 23 is configured such that the number of non-polarization pixels provided with no polarizer is greater than the number of polarization pixels provided with a polarizer.
  • the polarizing filter 23 can extract linearly polarized light from subject light, and uses a wire grid, photonic liquid crystal, or the like, for example.
  • FIG. 3 exemplifies the pixel configuration of the polarization imaging unit.
  • the color filter 22 has 2 ⁇ 2 pixels as a color unit, and pixels of the three primary colors R (red), G (green), and B (blue) are arranged in a Bayer array in a 4 ⁇ 4 pixel area. This is a color mosaic filter in which x4 pixel areas are repeated horizontally and vertically.
  • an 8 ⁇ 8 pixel area obtained by repeating 4 ⁇ 4 pixel areas in the horizontal and vertical directions is defined as a color polarization array unit, and an area corresponding to one color unit area (for example, a green area) in the color polarization array unit is As the polarizing pixel area, this polarizing pixel area is a color area (hereinafter referred to as "black-and-white pixel area") in which none of the R, G, and B color filters are provided.
  • the polarizing filter 23 applies polarized light with polarization directions (polarization angles) of 0, 45, 90, and 135 degrees, for example, to a polarizing pixel region of 2 ⁇ 2 pixels in a color polarization array unit, which is an 8 ⁇ 8 pixel region. have a child. Also, no polarizer is provided in other regions except for the polarizing pixel region. Note that the 2 ⁇ 2 pixel region provided with the polarizer is also called a polarization pixel block.
  • the polarization imaging unit 20 has a pixel array in which the color polarization array unit shown in FIG. 3 is repeatedly provided in the horizontal direction and the vertical direction.
  • the polarization imaging section 20 is composed of a plurality of polarization pixels with different polarization directions provided at predetermined pixel intervals and non-polarization pixels having a larger number of pixels than the polarization pixels.
  • the polarization imaging section 20 configured in this manner outputs RAW image information, which is pixel information read from each pixel, to the information processing section 30 .
  • the information generation section 31 of the information processing section 30 generates image information and sparse polarization information from the RAW image information generated by the polarization imaging section 20 .
  • the information generator 31 interpolates the pixel information of the color corresponding to the pixel position of the polarization pixel using the surrounding pixel information to form a Bayer array.
  • the information generation unit 31 performs, for example, demosaic processing disclosed in Japanese Patent No. 6750633 using the Bayer array pixel information, and generates image information for each color component (hereinafter "RGB image information" or simply "image information"). ).
  • the information generation unit 31 generates sparse polarization information indicating polarization information for each pixel position of the polarization pixels for each polarization direction from the RAW image information.
  • the information generation unit 31 outputs the RGB image information from the complement processing unit 33 and the imaging system 10 to an external device or the like.
  • the information generation unit 31 also outputs the sparse polarization information to the complementary target polarization information generation unit 32 .
  • the complementation target polarization information generation unit 32 uses the sparse polarization information generated by the information generation unit 31 to generate complementation target polarization information suitable for the complementation process.
  • the interpolation target polarization information generation unit 32 uses the sparse polarization information to generate polarization information of a desired information type (polarization information type output from the imaging system 10) for each pixel position of the polarization pixel as interpolation target polarization information. do. Therefore, the interpolation target polarization information has the same resolution as the sparse polarization information and lower resolution than the image information.
  • the desired information type is at least one of pixel information for each polarization direction, Stokes component, degree of polarization, polarization phase, normal information, and polarization characteristics. good too.
  • the complementation target polarization information generation unit 32 may include in the complementation target polarization information a Stokes component indicating unpolarized luminance or average luminance calculated from pixel information of polarized pixels in a plurality of different polarization directions.
  • a polarization pixel mask indicating the position may be included in the interpolation target polarization information.
  • the complementing processing unit 33 performs complementing processing of the polarization information to be complemented using the RGB image information, and has a higher resolution than the polarization information to be complemented indicating the polarization information of the desired information type generated for each pixel position of the polarization pixel.
  • polarization information for example, a desired type of polarization information having a resolution corresponding to RGB image information.
  • the polarization information of the desired information type which is the resolution corresponding to the RGB image information, is, for example, the polarization information of the desired information type regarding the subject at the pixel-by-pixel resolution of the RGB image information, that is, the RGB image information and the spatial position. Polarization information of the desired information type with uniform and equal resolution.
  • the polarization information of the desired information type which is the resolution corresponding to the RGB image information, is spatially aligned with the unit of continuous plural pixel areas (for example, color unit areas of 2 ⁇ 2 pixels, etc.) of the RGB image information.
  • the polarization information of the desired information type with higher resolution than the sparse polarization information.
  • Complementary processing may use a filter or may use machine learning.
  • Complementary processing using filters uses, for example, a Joint Bilateral Filter or FBS (Fast Bilateral Solver) guided by RGB image information.
  • deep learning such as CNN (Convolutional Neural Network) may be used, and machine learning such as linear regression, logistic regression, Support Vector Machine, decision tree, random forest, Naive Bayes, etc. method may be used.
  • the complementary processing unit 33 outputs the polarization information generated by the complementary processing from the imaging system 10 to an external device or the like.
  • the polarization imaging unit 20 has a configuration in which a color filter and a polarization filter are provided on the incident surface side of the image sensor, and the polarization filter has a configuration in which a plurality of polarizers with different polarization directions are provided at predetermined pixel intervals.
  • the polarization imaging unit 20 outputs RAW image information, which is pixel information read from polarized pixels and non-polarized pixels having a larger number of pixels than polarized pixels, to the information processing unit 30 .
  • the information processing section 30 generates RGB image information and polarization information from the RAW image information generated by the polarization imaging section 20 .
  • FIG. 4 is a flowchart illustrating the operation of the information processing section.
  • the information processing section 30 acquires RAW image information.
  • the information processing section 30 acquires the RAW image information generated by the polarization imaging section 20, and proceeds to step ST2.
  • the information processing section 30 generates RGB image information and sparse polarization information.
  • the information processing unit 30 performs interpolation processing for generating pixel information of a color corresponding to the pixel position of the polarized pixels and demosaicing processing using the pixel information in the Bayer array to generate RGB image information. Further, the information processing section 30 generates sparse polarization information indicating polarization information for each pixel position of the polarization pixels for each polarization direction from the RAW image information.
  • FIG. 5 shows the pixel array of the polarization imaging unit and the generated RGB image information and sparse polarization information.
  • FIG. 5(a) shows part of the pixel array of the polarization imaging section (same as the arrangement shown in FIG. 3).
  • (b) of FIG. 5 shows RGB image information, which is composed of R image information, G image information, and B image information.
  • (c) of FIG. 5 shows sparse polarization information, and by repeating the polarization component information within the polarization pixel block for each polarization direction, the polarization pixel block shows the same polarization component information. be.
  • the information processing section 30 generates RGB image information and sparse polarization information, and proceeds to step ST3.
  • step ST3 the information processing section 30 generates complementary target polarization information.
  • the information processing section 30 generates complementary target polarization information, which is polarization information of a desired information type, from the sparse polarization information generated in step ST2.
  • the desired information type is the information type of the polarization information output from the information processing section 30 .
  • FIG. 6 shows sparse polarization information and complementary target polarization information.
  • FIG. 6(a) shows sparse polarization information (same as FIG. 5(c)).
  • (b) of FIG. 6 shows the polarization information to be complemented when the desired information type is information for each polarization direction. In this case, the complementary target polarization information is equal to the sparse polarization information.
  • (c) of FIG. 6 shows complementary target polarization information when the desired information type is the Stokes component.
  • the information processing section 30 calculates the Stokes component based on the sparse polarization information, and generates polarization information for each Stokes component with the calculated Stokes component as a component of the polarization pixel block as interpolation target polarization information.
  • the polarization information to be complemented may be information indicating a degree of polarization, a polarization phase, a normal line, and the like.
  • the information processing section 30 generates complementary target polarization information based on the sparse polarization information, and proceeds to step ST4.
  • step ST4 the information processing section 30 performs complementary processing.
  • the information processing section 30 performs complementation processing using the RGB image information generated in step ST2 and the polarization information to be complemented generated in step ST3 to generate high-resolution polarization information.
  • FIG. 7 shows RGB image information, interpolation target polarization information, and polarization information of a desired type of information to be output.
  • (a) of FIG. 7 shows RGB image information (same as (b) of FIG. 5), and
  • (b) of FIG. 7 shows complementary target polarization information.
  • the polarization information of the desired information type is used as the polarization information of the polarization image block.
  • the information processing section 30 generates polarization information with a higher resolution than the polarization information to be complemented from the RGB image information and the polarization information to be complemented, and proceeds to step ST5.
  • step ST5 the information processing section 30 outputs information.
  • the information processing section 30 associates the RGB image information generated in step ST2 with the high-resolution polarization information of the desired information type generated in step ST4, and outputs them.
  • the pixel information read out from the polarization imaging unit configured with a plurality of polarized pixels with different polarization directions provided at predetermined pixel intervals and non-polarized pixels with a larger number of pixels than the polarized pixels.
  • image information and sparse polarization information are generated.
  • complementation processing using image information is performed on the polarization information to be complemented of the desired information type generated from the sparse polarization information, and the polarization information of the desired information type having a higher resolution than the polarization information to be complemented is generated.
  • image information with high sensitivity and high resolution can be obtained because the number of polarization pixels is small, and at least polarization information with high resolution can be obtained from the polarization pixels.
  • FIG. 8 is a diagram for explaining the polarization imaging unit and the information generation unit.
  • FIG. 8(a) shows the pixel array of the polarization imaging section 20 (same as FIG. 3).
  • color pixel blocks which are 2 ⁇ 2 pixel areas, have the same color, and red pixel blocks, green pixel blocks, and blue pixel blocks are provided in a Bayer arrangement.
  • a polarization pixel block that is a 2 ⁇ 2 pixel area is provided, for example, at the block position of one green pixel block, and the polarization pixel block is a color filter. is not provided and is a black and white pixel area.
  • the polarization pixel block is composed of polarization pixels having four polarization directions (0 degrees, 45 degrees, 90 degrees, and 135 degrees) with an angle difference of 45 degrees, for example.
  • the polarization imaging section 20 outputs to the information processing section 30 RAW image information indicating pixel information read from non-polarized pixels, which are pixels of each color, and polarized pixels having different polarization directions.
  • the information generation unit 31 of the information processing unit 30 performs interpolation processing using the RAW image signal generated by the polarization imaging unit 20, and generates color pixel information at pixel positions corresponding to the polarization pixel block. Further, the information generation unit 31 performs demosaic processing using the image information after the interpolation processing, and generates RGB image information, which is image information for each color component, as shown in (b) of FIG. 5 described above. Further, the information generator 31 generates sparse polarization information (same as (c) in FIG. 5) as shown in (b) in FIG. 8 from the polarization information for each polarization direction in the polarization pixel block.
  • the complementation target polarization information generation unit 32 uses the sparse polarization information generated by the information generation unit 31 to generate complementation target polarization information indicating the Stokes component.
  • the interpolation target polarization information generation unit 32 calculates a Stokes component based on four pieces of polarization information with different polarization directions from the sparse polarization information generated by the information generation unit 31 .
  • FIG. 9 is a diagram for explaining a complementary target polarization information generating unit.
  • FIG. 9(a) shows sparse polarization information (same as FIG. 8(b)).
  • the interpolation target polarization information generation unit 32 calculates the Stokes component S0 based on Equation (1). Note that the Stokes component S0 indicates the non-polarized luminance or the average luminance.
  • the interpolation target polarization information generation unit 32 calculates the Stokes component S1 based on Equation (2), and calculates the Stokes component S2 based on Equation (3).
  • the Stokes component S1 indicates the difference in intensity between the 0 and 90 degree polarization directions
  • the Stokes component S2 indicates the difference in intensity between the 45 and 135 degree polarization directions.
  • the interpolation target polarization information generation unit 32 generates a polarization pixel mask for distinguishing between polarized pixels and non-polarized pixels.
  • the polarization pixel mask for example, the polarization pixels are set to "1" and the non-polarization pixels are set to "0".
  • the complementation target polarization information generator 32 includes the Stokes components S0, S1, S2 and the polarization pixel mask shown in FIG. 9B in the complementation target polarization information.
  • the polarizing imaging unit 20 captures an image of a subject in real space, the subject often has little polarization. That is, the values of the Stokes components S1 and S2 are often "0" or values near "0". Therefore, it may be difficult to determine the position of the polarization pixel only with the values of the Stokes components S1 and S2.
  • the positions of the polarization pixels can be correctly determined, which facilitates CNN learning and interpolation processing.
  • FIG. 10 shows RAW image information, RGB image information, and the Stokes component S0.
  • (a) of FIG. 10 shows RAW image information
  • (b) of FIG. 10 shows RGB image information.
  • the pixel information of the green pixels indicated by the thick line frame is generated by interpolation processing using surrounding pixels.
  • (c) of FIG. 10 shows sparse polarization information indicating the Stokes component S0.
  • the Stokes component S0 is calculated by calculating the average pixel value of four polarization pixels included in the RAW image information, and dividing it into a polarization pixel block. Let the Stokes component S0 at the corresponding pixel position. In this way, the interpolation target polarization information generation unit 32 can facilitate CNN learning and interpolation processing by increasing information that can be used for learning and interpolation processing using the highly reliable Stokes component S0. becomes.
  • the complementing processing unit 33 preliminarily selects complementing target polarization information for learning (resolution of sparse polarization information) and high-resolution polarization information (true value) corresponding to the complementing target polarization information. and RGB image information, and the value of the loss function using high-resolution polarization information (estimated value) and high-resolution polarization information (true value) obtained by complementing the polarization information to be complemented Generate a minimum parameter.
  • the loss function may be "L1 Loss" or "L2 Loss”.
  • the interpolation processing unit 33 uses parameters generated by learning to generate polarization information having a higher resolution than the polarization information to be complemented from the polarization information to be complemented and the image information.
  • FIG. 11 and FIG. 12 are diagrams for explaining the complementing processing unit.
  • FIG. 11 shows parameter learning
  • FIG. 12 shows complementing processing using parameters obtained by learning.
  • FIG. 11 shows the RGB image information for learning
  • FIG. 11C shows the polarization information (true value) corresponding to the polarization information to be complemented, which is the polarization information (true value: Stokes components S1t, S2t) of resolution corresponding to the RGB image information.
  • polarization information true value: Stokes components S1t, S2t
  • complementary processing by CNN is performed using the polarization information to be complemented (Stokes components S0, S1, S2 and the polarization pixel mask) and the RGB image information, and the resolution corresponding to the RGB image information is obtained in (d) of FIG.
  • the polarization information shown (estimated values: Stokes components S1p, S2p) is generated.
  • CNN parameters that minimize the error between the true values shown in FIG. 11(c) and the estimated values shown in FIG. 11(d) are generated.
  • FIG. 12 shows the RGB image information during the complementing process
  • FIG. 12 shows the RGB image information during the complementing process
  • the RGB image information during the complementing process is generated by the information generator 31
  • the complemented polarization information during the complemented process is generated by the complemented polarization information generator 32 .
  • the interpolation processing unit 33 performs interpolation processing by CNN using parameters generated by learning, RGB image information, and interpolation target polarization information, and obtains polarization information ( generate the Stokes components S1, S2).
  • the polarization information (Stokes component S0) of the resolution corresponding to the RGB image information shown in FIG. 12(d) can be obtained by calculating the average pixel value of the three primary colors indicated by the RGB image information for each pixel.
  • a highly reliable Stokes component S0 calculated from the pixel value of the polarization pixel and included in the interpolation target polarization information may be used.
  • the imaging system 10 can generate RGB image information with high sensitivity and high resolution compared to the case where all pixels or half of all pixels are polarized pixels.
  • the imaging system 10 can generate polarization information (Stokes components S0, S1, S2) having a resolution corresponding to RGB image information even if polarization pixels are provided at predetermined pixel intervals.
  • the Stokes components S0, S1, S2, which are resolutions corresponding to the RGB image information can be generated. Since it is also possible to generate the degree of polarization, polarization phase, normal line information, etc., which are resolutions corresponding to RGB image information, from S1 and S2, the first embodiment is an embodiment with high versatility.
  • Second embodiment> Next, a second embodiment will be described. In the second embodiment, the case where the degree of polarization is output as the polarization information from the imaging system 10 will be described.
  • the polarization imaging unit 20 is configured in the same manner as in the first embodiment, and outputs RAW image information indicating pixel information read from non-polarized pixels, which are pixels of each color, and polarized pixels having different polarization directions to the information processing unit 30. do.
  • the information generation section 31 of the information processing section 30 is configured in the same manner as in the first embodiment, and generates RGB image information and sparse polarization information based on RAW image information.
  • the complementation target polarization information generation unit 32 uses the sparse polarization information generated by the information generation unit 31 to generate complementation target polarization information indicating the degree of polarization.
  • the interpolation target polarization information generation unit 32 calculates the degree of polarization based on four pieces of polarization information with different polarization directions from the sparse polarization information generated by the information generation unit 31 .
  • FIG. 13 is a diagram for explaining a complementary target polarization information generating unit.
  • FIG. 13(a) shows sparse polarization information.
  • the pixel value of the polarization pixel whose polarization direction is 0 degrees is "I0”
  • the pixel value of the polarization pixel whose polarization direction is 45 degrees is "I45”
  • the pixel value of the polarization pixel whose polarization direction is 90 degrees is
  • the interpolation target polarization information generation unit 32 calculates the degree of polarization DP based on Equation (4).
  • the interpolation target polarization information generation unit 32 calculates the Stokes component So based on the above equation (1). Furthermore, the interpolation target polarization information generation unit 32 generates a polarization pixel mask for distinguishing between polarized pixels and non-polarized pixels. As shown in FIG. 13B, the complementation target polarization information generation unit 32 uses the Stokes component So, the degree of polarization DP, and the polarization pixel mask as the complementation target polarization information. By including the Stokes component S0 and the polarization pixel mask in the interpolation target polarization information, information that can be used for learning and interpolation processing using the highly reliable Stokes component S0, as described in the first embodiment. In addition to increasing the number of pixels, the polarization pixel mask is used to correctly determine the positions of the polarization pixels, thereby facilitating CNN learning and interpolation processing.
  • the complementing processing unit 33 performs complementing processing using CNN, as in the first embodiment.
  • the complementing processing unit 33 preliminarily selects complementing target polarization information for learning (resolution of sparse polarization information) and high-resolution polarization information (true value) corresponding to the complementing target polarization information. and RGB image information, and the value of the loss function using high-resolution polarization information (estimated value) and high-resolution polarization information (true value) obtained by complementing the polarization information to be complemented Generate a minimum parameter.
  • the interpolation processing unit 33 uses parameters generated by learning to generate polarization information having a resolution higher than that of the polarization information to be complemented from the polarization information to be complemented and the image information.
  • FIG. 14 and FIG. 15 are diagrams for explaining the complementing processing unit, FIG. 14 shows parameter learning, and FIG. 15 shows complementing processing using parameters obtained by learning.
  • FIG. 14(a) shows RGB image information for learning
  • FIG. 14(b) shows interpolation target polarization information for learning (Stokes component S0, degree of polarization DP, and polarization pixel mask).
  • (c) of FIG. 14 shows the polarization information (true value) corresponding to the polarization information to be complemented, which is the polarization information (true value: degree of polarization DPt) of resolution corresponding to the RGB image information.
  • complementation processing by CNN is performed using polarization information to be complemented (Stokes component S0, degree of polarization DP, and polarization pixel mask) and RGB image information, and the resolution corresponding to RGB image information is obtained in (d) of FIG.
  • the polarization information shown (estimate: degree of polarization DPp) is generated.
  • CNN parameters that minimize the error between the true values shown in FIG. 14(c) and the estimated values shown in FIG. 14(d) are generated.
  • FIG. 15 shows the RGB image information during the complementing process
  • FIG. 15 shows the polarization information to be complemented during the complementing process
  • the RGB image information during the complementing process is the information generated by the information generator 31
  • the complemented polarization information during the complemented process is the information generated by the complemented polarization information generator 32 .
  • the interpolation processing unit 33 performs interpolation processing by CNN using parameters generated by learning, RGB image information, and interpolation target polarization information, and obtains polarization information ( degree of polarization DP).
  • Image information and sparse polarization information are generated using pixel information read out from a polarization imaging unit composed of pixels. Furthermore, complementation processing is performed using the polarization information to be complemented of the desired information type generated using the sparse polarization information and the image information. Therefore, the imaging system 10 can generate high-sensitivity, high-resolution RGB image information and polarization information (degree of polarization) having a resolution corresponding to the RGB image information. Therefore, for example, when the degree of polarization is required to adjust the light source color for white balance adjustment, the second embodiment may be used.
  • the polarization imaging unit 20 is configured in the same manner as in the first embodiment, and outputs RAW image information indicating pixel information read from non-polarized pixels, which are pixels of each color, and polarized pixels having different polarization directions to the information processing unit 30. do.
  • the information generation section 31 of the information processing section 30 is configured in the same manner as in the first embodiment, and generates RGB image information and sparse polarization information based on RAW image information.
  • the complementation target polarization information generation unit 32 uses the sparse polarization information generated by the information generation unit 31 to generate complementation target polarization information indicating the polarization phase.
  • the interpolation target polarization information generation unit 32 calculates the polarization phase based on four pieces of polarization information with different polarization directions from the sparse polarization information generated by the information generation unit 31 .
  • FIG. 16 is a diagram for explaining a complementary target polarization information generating unit.
  • FIG. 16(a) shows sparse polarization information.
  • the pixel value of the polarization pixel whose polarization direction is 0 degrees is "I0”
  • the pixel value of the polarization pixel whose polarization direction is 45 degrees is "I45”
  • the pixel value of the polarization pixel whose polarization direction is 90 degrees is
  • the interpolation target polarization information generation unit 32 calculates the polarization phase PP based on Equation (5).
  • the interpolation target polarization information generation unit 32 calculates the Stokes component So based on the above equation (1). Furthermore, the interpolation target polarization information generation unit 32 generates a polarization pixel mask for distinguishing between polarized pixels and non-polarized pixels. As shown in FIG. 16B, the complementation target polarization information generation unit 32 uses the Stokes component So, the polarization phase PP, and the polarization pixel mask as the complementation target polarization information. By including the Stokes component S0 and the polarization pixel mask in the interpolation target polarization information, information that can be used for learning and interpolation processing using the highly reliable Stokes component S0, as described in the first embodiment. In addition to increasing the number of pixels, the polarization pixel mask is used to correctly determine the positions of the polarization pixels, thereby facilitating CNN learning and interpolation processing.
  • the complementing processing unit 33 performs complementing processing using CNN, as in the first embodiment.
  • the complementing processing unit 33 preliminarily selects complementing target polarization information for learning (resolution of sparse polarization information) and high-resolution polarization information (true value) corresponding to the complementing target polarization information. and RGB image information, and the value of the loss function using high-resolution polarization information (estimated value) and high-resolution polarization information (true value) obtained by complementing the polarization information to be complemented Generate a minimum parameter.
  • the interpolation processing unit 33 uses parameters generated by learning to generate polarization information having a resolution higher than that of the polarization information to be complemented from the polarization information to be complemented and the image information.
  • Figures 17 and 18 are diagrams for explaining the complementing processing unit.
  • Figure 17 shows the parameter learning
  • Figure 18 shows the complementing process using the parameters obtained by the learning.
  • FIG. 17 shows RGB image information for learning
  • FIG. 17C shows the polarization information (true value) corresponding to the polarization information to be complemented, which is the polarization information (true value: polarization phase PPt) of resolution corresponding to the RGB image information.
  • interpolation processing by CNN is performed using the polarization information to be complemented (Stokes component S0, polarization phase PP, and polarization pixel mask) and RGB image information, and the resolution corresponding to RGB image information is obtained in (d) of FIG. generate the indicated polarization information (estimated value: polarization phase PPp).
  • CNN parameters that minimize the error between the true value shown in FIG. 17(c) and the estimated value shown in FIG. 17(d) are generated.
  • FIG. 18 shows the RGB image information during the complementing process
  • FIG. 18 shows the polarization information to be complemented during the complementing process.
  • the RGB image information during the complementing process is the information generated by the information generator 31
  • the complemented polarization information during the complemented process is the information generated by the complemented polarization information generator 32 .
  • the interpolation processing unit 33 performs interpolation processing by CNN using parameters generated by learning, RGB image information, and interpolation target polarization information, and obtains polarization information ( to generate the polarization phase PP).
  • the imaging system 10 can generate high-sensitivity, high-resolution RGB image information and polarization information (polarization phase) having a resolution corresponding to the RGB image information. Therefore, for example, when detecting the road surface state using the polarization phase, the third embodiment may be used.
  • the imaging system 10 outputs polarization information different from the Stokes component, degree of polarization, or polarization phase as the polarization information.
  • the polarization imaging unit 20 is configured in the same manner as in the first embodiment, and outputs RAW image information indicating pixel information read from non-polarized pixels, which are pixels of each color, and polarized pixels having different polarization directions to the information processing unit 30. do.
  • the information generation section 31 of the information processing section 30 is configured in the same manner as in the first embodiment, and generates RGB image information and sparse polarization information based on RAW image information.
  • the complementation target polarization information generation unit 32 uses the sparse polarization information generated by the information generation unit 31 to generate complementation target polarization information indicating polarization information different from the Stokes component, the degree of polarization, or the polarization phase.
  • Complementation target polarization information generation unit 32 generates desired polarization information, which is an information type different from that in the above-described embodiment, from the sparse polarization information generated by information generation unit 31, based on four pieces of polarization information with different polarization directions. .
  • desired polarization information which is a different type of information from the above embodiment, for example, normal line information, information indicating the maximum pixel value, information indicating the minimum pixel value, and the like are generated.
  • the normal information is information indicating the normal by the zenith angle and the azimuth angle.
  • the zenith angle corresponding to degrees is set as the zenith angle of the normal information.
  • the pixel value of the polarization pixel whose polarization direction is 0 degrees is "I0”
  • the pixel value of the polarization pixel whose polarization direction is 45 degrees is "I45”
  • the pixel value of the polarization pixel whose polarization direction is 90 degrees is " I90”
  • the pixel value of the polarization pixel whose polarization direction is 135 degrees is "I135"
  • the pixel values I0, I45, I90, and I135 are used to perform fitting to the polarization characteristic model shown in Equation (6)
  • the polarization angle ⁇ at which the pixel value I becomes the maximum pixel value is set as the azimuth angle of the normal line information.
  • the maximum pixel value Imax and the minimum pixel value Imin is set as the azi
  • FIG. 19 is a diagram for explaining the complementary target polarization information generating unit.
  • FIG. 19(a) shows sparse polarization information.
  • the complementary target polarization information generator 32 calculates desired polarization information based on the sparse polarization information.
  • the interpolation target polarization information generation unit 32 calculates the Stokes component So based on the above equation (1). Furthermore, the interpolation target polarization information generation unit 32 generates a polarization pixel mask for distinguishing between polarized pixels and non-polarized pixels. As shown in FIG. 19B, the complementation target polarization information generation unit 32 uses the Stokes component So, the desired polarization information, and the polarization pixel mask as complementation target polarization information. By including the Stokes component S0 and the polarization pixel mask in the interpolation target polarization information, information that can be used for learning and interpolation processing using the highly reliable Stokes component S0, as described in the first embodiment. In addition to increasing the number of pixels, the polarization pixel mask is used to correctly determine the positions of the polarization pixels, thereby facilitating CNN learning and interpolation processing.
  • the complementing processing unit 33 performs complementing processing using CNN, as in the first embodiment.
  • the complementing processing unit 33 preliminarily selects complementing target polarization information for learning (resolution of sparse polarization information) and high-resolution polarization information (true value) corresponding to the complementing target polarization information. and RGB image information, and the value of the loss function using high-resolution polarization information (estimated value) and high-resolution polarization information (true value) obtained by complementing the polarization information to be complemented Generate a minimum parameter.
  • the interpolation processing unit 33 uses parameters generated by learning to generate polarization information having a resolution higher than that of the polarization information to be complemented from the polarization information to be complemented and the image information.
  • FIG. 20 shows complement processing using parameters obtained by learning.
  • FIG. 20 shows the RGB image information during the complementing process
  • FIG. 20 shows the polarization information to be complemented during the complementing process
  • the RGB image information during the complementing process is the information generated by the information generator 31
  • the complemented polarization information during the complemented process is the information generated by the complemented polarization information generator 32 .
  • the complementary processing unit 33 performs complementary processing by CNN using the parameters generated by learning, the RGB image information, and the polarization information to be complemented, and obtains the desired resolution corresponding to the RGB image information shown in (c) of FIG. Generate information type polarization information.
  • Image information and sparse polarization information are generated using pixel information read out from a polarization imaging unit composed of pixels. Furthermore, complementation processing is performed using the polarization information to be complemented of the desired information type generated using the sparse polarization information and the image information. Therefore, the imaging system 10 can generate high-sensitivity, high-resolution RGB image information and a desired type of polarization information having a resolution corresponding to the RGB image information.
  • the polarization imaging unit 20 is configured in the same manner as in the first embodiment, and outputs RAW image information indicating pixel information read from non-polarized pixels, which are pixels of each color, and polarized pixels having different polarization directions to the information processing unit 30. do.
  • the information generation section 31 of the information processing section 30 is configured in the same manner as in the first embodiment, and generates RGB image information and sparse polarization information based on RAW image information.
  • the complementation target polarization information generation unit 32 uses the sparse polarization information generated by the information generation unit 31 to generate complementation target polarization information indicating only the Stokes components S1 and S2.
  • the interpolation target polarization information generator 32 calculates the Stokes components S1 and S2 from the sparse polarization information generated by the information generator 31 based on four pieces of polarization information with different polarization directions.
  • FIG. 21 is a diagram for explaining a complementary target polarization information generating unit.
  • FIG. 21(a) shows sparse polarization information.
  • the interpolation target polarization information generation unit 32 calculates the Stokes component S1 based on the above equation (2), and The Stokes component S2 is calculated based on the equation (3) to generate the complementary target polarization information shown in FIG. 21(b).
  • the complementing processing unit 33 performs complementing processing using CNN, as in the first embodiment.
  • the complementing processing unit 33 preliminarily selects complementing target polarization information for learning (resolution of sparse polarization information) and high-resolution polarization information (true value) corresponding to the complementing target polarization information. and RGB image information, and the value of the loss function using high-resolution polarization information (estimated value) and high-resolution polarization information (true value) obtained by complementing the polarization information to be complemented Generate a minimum parameter.
  • the interpolation processing unit 33 uses parameters generated by learning to generate polarization information having a resolution higher than that of the polarization information to be complemented from the polarization information to be complemented and the image information.
  • Figs. 22 and 23 are diagrams for explaining the complementing processing unit, Fig. 22 shows parameter learning, and Fig. 23 shows complementing processing using parameters obtained by learning.
  • FIG. 22 shows RGB image information for learning
  • FIG. 22 shows complementary target polarization information (Stokes components S1, S2) for learning
  • (c) of FIG. 22 shows the polarization information (true value) corresponding to the polarization information to be complemented, and the true value is the polarization information (Stokes components S1t, S2t) of resolution corresponding to the RGB image information.
  • complementary processing by CNN is performed using the polarization information to be complemented (Stokes components S1, S2) and the RGB image information, and the polarization information (estimated value : generate the Stokes components S1p, S2p).
  • CNN parameters that minimize the error between the true value shown in FIG. 22(c) and the estimated value shown in FIG. 22(d) are generated.
  • FIG. 23 shows the RGB image information during the complementing process
  • FIG. 23 shows the polarization information to be complemented (Stokes components S1, S2) during the complementing process.
  • the RGB image information during the complementing process is generated by the information generator 31
  • the complemented polarization information during the complemented process is generated by the complemented polarization information generator 32 .
  • the interpolation processing unit 33 performs interpolation processing by CNN using parameters generated by learning, RGB image information, and interpolation target polarization information, and obtains polarization information ( generate the Stokes components S1, S2).
  • Image information and sparse polarization information are generated using pixel information read out from a polarization imaging unit composed of pixels. Furthermore, complementation processing is performed using the polarization information to be complemented of the desired information type generated using the sparse polarization information and the image information. Therefore, the imaging system 10 can generate high-sensitivity, high-resolution RGB image information and polarization information (Stokes components S1 and S2) having a resolution corresponding to the RGB image information.
  • the polarization information to be complemented does not include the Stokes component S0 and the polarization pixel mask shown in the first embodiment.
  • the stability of learning is lower than that of the first embodiment, the amount of information used for the complementing process is small, so the memory capacity required for the complementing process can be reduced.
  • the polarization imaging unit 20 is configured in the same manner as in the first embodiment, and outputs RAW image information indicating pixel information read from non-polarized pixels, which are pixels of each color, and polarized pixels having different polarization directions to the information processing unit 30. do.
  • the information generation section 31 of the information processing section 30 is configured in the same manner as in the first embodiment, and generates RGB image information and sparse polarization information based on RAW image information.
  • the complementation target polarization information generation unit 32 uses the sparse polarization information generated by the information generation unit 31 to generate complementation target polarization information indicating only the polarization information of the type of information to be output.
  • the polarization information generation unit 32 to be complemented generates the polarization information of the information type to be output based on the four pieces of polarization information having different polarization directions from the sparse polarization information generated by the information generation unit 31, and uses the polarization information to be complemented. .
  • the complementing processing unit 33 performs complementing processing using CNN, as in the fifth embodiment.
  • the complementing processing unit 33 preliminarily selects complementing target polarization information for learning (resolution of sparse polarization information) and high-resolution polarization information (true value) corresponding to the complementing target polarization information. and RGB image information, and the value of the loss function using high-resolution polarization information (estimated value) and high-resolution polarization information (true value) obtained by complementing the polarization information to be complemented Generate a minimum parameter.
  • the interpolation processing unit 33 uses parameters generated by learning to generate polarization information having a resolution higher than that of the polarization information to be complemented from the polarization information to be complemented and the image information.
  • Image information and sparse polarization information are generated using pixel information read out from a polarization imaging unit composed of pixels. Furthermore, complementation processing is performed using the polarization information to be complemented of the desired information type generated using the sparse polarization information and the image information. Therefore, the imaging system 10 can generate high-sensitivity, high-resolution RGB image information and polarization information of the information type to be output at a resolution corresponding to the RGB image information.
  • the polarization information to be complemented does not include the Stokes component S0 and the polarization pixel mask shown in the first embodiment.
  • the stability of learning is lower than that of the first embodiment, less information is used for the complementing process, so the memory capacity required for the complementing process can be reduced.
  • a seventh embodiment will be described.
  • the complementary processing unit 33 performs complementary processing using a filter such as a joint bilateral filter instead of the CNN.
  • the polarization imaging unit 20 is configured in the same manner as in the first embodiment, and outputs RAW image information indicating pixel information read from non-polarized pixels, which are pixels of each color, and polarized pixels having different polarization directions to the information processing unit 30. do.
  • the information generation section 31 of the information processing section 30 is configured in the same manner as in the first embodiment, and generates RGB image information and sparse polarization information based on RAW image information.
  • the complementation target polarization information generation unit 32 uses the sparse polarization information generated by the information generation unit 31 to generate complementation target polarization information indicating the polarization information of the type of information to be output.
  • the polarization information generation unit 32 to be complemented generates the polarization information of the information type to be output based on the four pieces of polarization information having different polarization directions from the sparse polarization information generated by the information generation unit 31, and uses the polarization information to be complemented. .
  • the complementary processing unit 33 performs complementary processing of the polarization information to be complemented using, for example, a joint bilateral filter.
  • a joint bilateral filter weighting based on RGB image information is added when filtering polarization information to be complemented with a bilateral filter.
  • FIG. 24 is a diagram for explaining interpolation processing using a joint bilateral filter.
  • (a) of FIG. 24 shows the sparse polarization information
  • the complementation target polarization information generating unit 32 generates the complementation target polarization information shown in (b) of FIG. 24 from the sparse polarization information.
  • the interpolation processing unit 33 uses the RGB image information shown in FIG. 24(c) generated by the information generation unit 31 as a guide to filter the interpolation target polarization information shown in FIG. 24(b) using a joint bilateral filter. to generate the polarization information shown in FIG. 24(d), which is the resolution corresponding to the image information.
  • Formula (7) shows a filter computation formula for the joint bilateral filter.
  • array f(i, j) indicates polarization information before interpolation processing
  • array g(i, j) indicates polarization information after interpolation processing
  • the size of the kernel is "w". be.
  • the function ⁇ s in equation (7) is a position weighting function shown in equation (8) for performing weighting according to the difference in position
  • the parameter ⁇ s in equation (8) is This is a parameter that determines how much to add.
  • the function ⁇ c in equation (7) is a luminance weighting function shown in equation (9) for performing weighting according to the difference in luminance.
  • the array r(i, j) indicates the RGB image information to be referenced, and the luminance weighting function ⁇ c calculates the function value using the RGB image information as shown in Equation (9).
  • the parameter ⁇ c is a parameter that determines how much to add based on the difference in luminance values of the RGB image information to be referred to.
  • the complementary processing unit 33 is not limited to using a joint bilateral filter.
  • the complementary processing unit 33 may use a technique such as FBS (Fast Bilateral Solver) that enables fast solution of optimization considering edge preservation as a linear least-squares optimization problem.
  • FBS Fast Bilateral Solver
  • the complementing processing unit 33 performs the complementing process by the filter operation, the accuracy is lower than when using the CNN, but it is not necessary to generate the parameters in advance by learning before the complementing process, and the image information can be easily obtained. can generate polarization information with a resolution corresponding to .
  • FIG. 25 shows a list of differences when using a joint bilateral filter, FBS, and CNN.
  • the memory capacity required for interpolation processing is smaller than that for CNN.
  • the circuit scale can be minimized for implementation without the need for learning.
  • the processing accuracy is lower than that of FBS and CNN.
  • the memory capacity required for complementing processing is smaller than CNN. Also, since there is no need for learning, the circuit scale for implementation can be made smaller than that of a CNN, but it is larger than when a joint bilateral filter is used. Also, the processing accuracy is lower than that of CNN but higher than that of joint bilateral filtering.
  • the memory capacity required for interpolation processing is larger than that of joint bilateral filters and FBS.
  • learning must be performed, and the circuit scale at the time of implementation is larger than that of the joint bilateral filter and FBS.
  • the processing accuracy can be made higher than that of the joint bilateral filter and FBS.
  • complementary processing is not limited to the method described above, and the optimal complementary processing method for the imaging system may be used in consideration of cost, circuit scale, processing accuracy, ease of processing, and the like.
  • the pixel arrangement of the polarization imaging section is not limited to the arrangement shown in FIGS. 3 and 5(a). 26, 27 and 28 illustrate other configurations of pixel arrays.
  • FIG. 26 illustrates a case where the polarization pixels are black and white pixels.
  • pixels of three primary colors are provided as a Bayer array in a 2 ⁇ 2 pixel area.
  • the polarization pixel block is composed of polarization pixels having polarization directions of 0, 45, 90, and 135 degrees, for example, as a 2 ⁇ 2 pixel area in which no color filter is provided.
  • the pixel array of FIG. 26(b) has a 2 ⁇ 2 pixel area as a color unit, and a 4 ⁇ 4 pixel area with three primary color units as a Bayer array.
  • a 2 ⁇ 2 pixel area in the center of the 4 ⁇ 4 pixel area is used as a polarization pixel block, and is composed of polarization pixels whose polarization directions are, for example, 0 degrees, 45 degrees, 90 degrees, and 135 degrees.
  • the pixel array in (c) of FIG. 26 has a 2 ⁇ 2 pixel area as a color unit, and a 4 ⁇ 4 pixel area with three primary color units as a Bayer array. Also, a 2 ⁇ 2 pixel area offset by one pixel to the right from the center of the 4 ⁇ 4 pixel area is used as a polarization pixel block, and is composed of polarization pixels with polarization directions of 0 degrees, 45 degrees, 90 degrees, and 135 degrees, for example. are doing.
  • the arrangement of non-polarized pixels and polarized pixels, which are black and white pixels, of each color component is not limited to the arrangement shown in FIG. 26, and may be another arrangement.
  • FIG. 27 shows the case where the polarization pixels are color pixels. Note that FIG. 27 shows the color filters 22 and the polarizing filters 23 individually so that the positional relationship between the color pixels and the polarizing pixels can be easily grasped.
  • a 2 ⁇ 2 pixel area in the color filter 22 is used as a color unit, and pixels of three primary colors are provided in a 4 ⁇ 4 pixel area as a Bayer array.
  • the 2 ⁇ 2 pixel region in the polarizing filter 23 is configured as a polarizing pixel block, which is composed of polarizing pixels having polarization directions of 0 degrees, 45 degrees, 90 degrees, and 135 degrees, for example.
  • four polarizing pixel blocks are provided in a 4 ⁇ 4 pixel region in which pixels of three primary colors are provided in a Bayer array.
  • pixels of three primary colors are provided in a 2 ⁇ 2 pixel area in the color filter 22 as a Bayer array.
  • the 2 ⁇ 2 pixel area in the polarizing filter 23 is a unit of polarization direction
  • the 4 ⁇ 4 pixel area is a polarization pixel block
  • the polarization pixel block is a polarization pixel block having a polarization direction of 0 degrees, 45 degrees, 90 degrees, and 135 degrees, for example.
  • a polarizing pixel block is provided in a 4 ⁇ 4 pixel area composed of a 2 ⁇ 2 pixel area in which pixels of three primary colors are provided in a Bayer array.
  • FIG. 28 exemplifies a case in which polarization pixels with different polarization directions are provided in a distributed manner.
  • 3, 26, and 27 described above exemplify the case where the polarization pixel block composed of the polarization pixels having different polarization directions is repeatedly provided at a predetermined pixel interval, but the polarization pixels may be provided dispersedly.
  • the pixel array in FIG. 28(a) has a 2 ⁇ 2 pixel area as a color unit, and three primary color pixels in a 4 ⁇ 4 pixel area as a Bayer array.
  • the polarization pixels for example, one pixel in a 4 ⁇ 4 pixel region having a Bayer array is a polarization pixel (black and white pixel), and the polarization pixels in the four 4 ⁇ 4 pixel regions have different polarization directions.
  • the information generation unit 31 sets the pixel value of the polarization pixel for each polarization direction as the pixel value of the pixel position in the other polarization direction, as shown in FIG. 28(b). to generate sparse polarization information.
  • the complementation target polarization information generation unit 32 generates complementation target polarization information based on the sparse polarization information, and the complementation processing unit 33 performs complementation processing on the complementation target polarization information, and performs high-resolution processing of a desired information type corresponding to the image information. Generate polarization information for the image.
  • One pixel in a certain 2 ⁇ 2 pixel area may be a polarized pixel (black and white pixel), and the polarized pixels in four 2 ⁇ 2 pixel areas may have different polarization directions.
  • polarized pixels with different polarization directions are provided in a distributed manner, similarly to the case where polarized pixels with different polarization directions are provided as a polarization pixel block, a desired type of information corresponding to image information, such as high resolution, can be obtained. of polarization information can be generated.
  • the polarization information can be generated more robustly with higher sensitivity than when the polarization pixels are provided with color filters.
  • polarization information can be obtained for the color of the polarization pixel, which is often advantageous when using the polarization information in various applications.
  • the interval between the polarization pixels may be narrower or wider than the interval shown in the pixel array of FIG. FIG. 29 shows the relationship between the polarization pixel spacing and the characteristics.
  • the ratio of the polarization pixels becomes higher and the resolution becomes higher.
  • the ratio of the polarization pixels becomes lower and the resolution becomes lower.
  • the ratio of polarized pixels increases, the number of color pixels decreases and the image quality of RGB image information deteriorates.
  • the proportion of the polarization pixels is high, the degree of difficulty of complementing the polarization information is low, and when the proportion of the polarization pixels is low, the degree of difficulty of the complementing processing of the polarization information is high. Therefore, the interval between the polarization pixels should be set in consideration of the permissible deterioration of the image quality of the RGB image information, the calculation cost of the interpolation processing, and the like.
  • interpolation target polarization information indicating a desired type of polarization information is generated from sparse polarization information for each polarization component, and RGB image information is handled by interpolation processing using the RGB image information and the interpolation target polarization information. generated the desired information type of polarization information with high resolution.
  • the polarization information to be complemented used in the complementing process is not limited to the polarization information of the desired information type, and may be sparse polarization information for each polarization component.
  • the polarization information for each polarization component which has a resolution corresponding to the RGB image information, is generated, and the polarization information for each polarization component is used for each pixel position to obtain the desired type of polarization information (Stokes component, degree of polarization). , polarization phase, normal, etc.), it is possible to generate polarization information of a desired type with high resolution corresponding to RGB image information.
  • the information processing unit 30 based on instructions from the user, outputs high-quality, high-resolution image information and polarization information of the information type desired by the user.
  • a configuration may be adopted in which the operation of the complementing processing unit is switched.
  • the imaging system can provide a system with a high degree of freedom if the information processing section 30 is configured so that the user can select the above embodiment.
  • the technology according to the present disclosure can be applied to various fields.
  • the technology according to the present disclosure can be realized as a device mounted on any type of moving body such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, and robots.
  • it may be implemented as a device mounted on equipment used in the production process in a factory or equipment used in the construction field. If applied to such a field, it will be possible to acquire high-sensitivity, high-resolution image information and high-resolution polarization information, so it will be possible to accurately and easily grasp the surrounding environment, which will reduce the fatigue of drivers and workers. can be reduced. In addition, automatic driving and the like can be performed more safely.
  • the technology according to the present disclosure can also be applied to the medical field. For example, if it is applied to the imaging of the surgical site during surgery, it will be possible to accurately obtain a three-dimensional shape and reflection-free images based on high-sensitivity, high-resolution image information and high-resolution polarization information of the surgical site. As a result, it becomes possible to reduce the operator's fatigue and to perform surgery safely and more reliably.
  • a series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • a program recording a processing sequence is installed in a memory within a computer incorporated in dedicated hardware and executed.
  • the program can be installed and executed in a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program can be stored on a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto optical) disc, DVD (Digital Versatile Disc), BD (Blu-Ray Disc (registered trademark)), magnetic disc, semiconductor memory card It can be temporarily or permanently stored (recorded) in a removable recording medium such as.
  • Such removable recording media can be provided as so-called package software.
  • the program can also be downloaded from the download site via a network such as WAN (Wide Area Network), LAN (Local Area Network) such as cellular, or the Internet to the computer wirelessly or by wire. You can transfer with The computer can receive the program transferred in this way and install it in a built-in recording medium such as a hard disk.
  • WAN Wide Area Network
  • LAN Local Area Network
  • the information processing apparatus of the present technology can also have the following configuration.
  • An information processing apparatus comprising: a complementary processing unit that generates polarization information of resolution.
  • the sparse polarization information is information indicating polarization information for each pixel position of the polarization pixel for each polarization direction;
  • the information processing apparatus wherein the interpolation target polarization information generation unit generates polarization information of a desired information type as the interpolation target polarization information for each pixel position of the polarization pixel.
  • the interpolation target polarization information generating unit includes, in the interpolation target polarization information, a Stokes component indicating unpolarized luminance or average luminance calculated from the pixel information of the plurality of polarized pixels in different polarization directions (1) or ( 2) The information processing apparatus according to the above.
  • the interpolation target polarization information generation unit includes a polarization pixel mask indicating pixel positions of the polarization pixels in the interpolation target polarization information.
  • the desired information type is at least one of pixel information for each polarization direction, Stokes component, degree of polarization, polarization phase, normal information, and polarization characteristics. information processing equipment.
  • the desired information type can be switched according to a user operation.
  • the complementary processing unit performs complementary processing using a filter to generate the high-resolution polarization information.
  • the information processing apparatus performs complementary processing using machine learning to generate the high-resolution polarization information.
  • the complementary processing unit generates polarization information having a resolution equal to that of the image information as the high-resolution polarization information.
  • the information processing apparatus according to any one of (1) to (9), further comprising an information generation unit that generates the image information and the sparse polarization information based on the pixel information read from the polarization imaging unit.
  • the polarization pixels of the polarization imaging section are black and white pixels.
  • the information processing apparatus according to any one of (1) to (10), wherein the polarization pixels of the polarization imaging section are color pixels. (13) The information processing device according to any one of (1) to (12), wherein the polarization imaging unit includes polarization pixel blocks each composed of the plurality of polarization pixels having different polarization directions and provided at predetermined pixel intervals. (14) The information processing apparatus according to any one of (1) to (12), wherein the polarization imaging unit has the plurality of polarization pixels having different polarization directions dispersed at predetermined pixel intervals. (15) The information processing apparatus according to any one of (1) to (14), further including the polarization imaging section.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

高感度で高解像な画像情報と高解像の偏光情報を得られるようにする。　偏光撮像部２０は、所定の画素間隔で設けられた複数の異なる偏光方向の偏光画素と偏光画素よりも画素数の多い無偏光画素で構成されており、情報生成部３１は、偏光撮像部２０から読み出した画素情報に基づいて画像情報を生成する。また、情報生成部３１は、偏光撮像部２０の偏光画素から読み出した画素情報に基づいて、偏光画素の画素位置ごとの偏光情報を偏光方向毎に示す疎偏光情報を生成する。補完対象偏光情報生成部３２は、疎偏光情報から所望の情報種類の補完対象偏光情報を生成する。補完処理部３３は情報生成部３１で生成された画像情報を用いて、補完対象偏光情報生成部３２で生成された補完対象偏光情報の補完処理を行い、画像情報に対応した高解像の偏光情報を生成する。

Description

情報処理装置と情報処理方法とプログラム
　この技術は、情報処理装置と情報処理方法とプログラムに関し、高感度で高解像な画像情報と高解像の偏光情報を得られるようにする。
　従来、画像情報と偏光情報を取得するため、画素に偏光子を用いた偏光イメージセンサが用いられている。例えば特許文献１では、画素全面に偏光子を貼って、画像情報と偏光情報を取得することが行われている。また、特許文献２では、偏光方向が異なる２つの偏光子を画素全体の半分の画素に貼って画像情報と偏光情報を取得することが行われている。
特開２００９－５５６２４号公報 国際公開第２０１８／０７４０６４号
　ところで、偏光イメージセンサは、偏光子を透過した光が減光することにより感度の低下や、複数偏光方向の偏光子を用いていることにより解像度の低下等を生じる虞がある。例えば、特許文献１の撮像装置では、全画素に偏光子を貼っており、画像情報は低解像度・低感度になってしまう。また、特許文献２の撮像装置では、全画素に偏光子を貼った撮像装置より感度や解像度の低下を抑えられるが、偏光子を設けていない撮像装置で得られる画像情報に比べると画質は大幅に劣化する。
　そこで、この技術では、高感度で高解像な画像情報と高解像の偏光情報を得ることが可能な情報処理装置と情報処理方法およびプログラムを提供することを目的とする。
　この技術の第１の側面は、
　所定の画素間隔で設けられた複数の異なる偏光方向の偏光画素と前記偏光画素よりも画素数の多い無偏光画素で構成された偏光撮像部から読み出した画素情報に基づき生成された疎偏光情報を用いて、所望の情報種類の補完対象偏光情報を生成する補完対象偏光情報生成部と、
　前記偏光撮像部から読み出した画素情報に基づいて生成された画像情報を用いて、前記補完対象偏光情報生成部で生成された補完対象偏光情報の補完処理を行い、前記補完対象偏光情報よりも高解像の偏光情報を生成する補完処理部と
光情報を生成する補完処理部と
を備える情報処理装置にある。
　この技術において、偏光撮像部は、所定の画素間隔で繰り返し設けられた複数の異なる偏光方向の偏光画素と偏光画素よりも画素数の多い無偏光画素で構成されている。例えば、複数の異なる偏光方向の偏光画素で構成された偏光画素ブロックが所定の画素間隔で繰り返し設けられている。あるいは複数の異なる偏光方向の偏光画素が所定の画素間隔で分散して繰り返し設けられている。偏光画素は白黒画素あるいはカラー画素とされている。
　情報生成部は、偏光撮像部の各画素から読み出した画素情報に基づいて画像情報を生成する。また、情報生成部は、偏光撮像部の偏光画素から読み出した画素情報に基づいて、偏光画素の画素位置ごとの偏光情報を偏光方向毎に示す疎偏光情報を生成する。
　補完対象偏光情報生成部は、疎偏光情報に基づき偏光画素の画素位置ごとに所望の情報種類の偏光情報を示す補完対象偏光情報を生成する。所望の情報種類は、例えば偏光方向毎の画素情報、ストークス成分、偏光度、偏光位相、法線情報、偏光特性の少なくとも何れかである。所望の情報種類は、ユーザ操作に応じて切り替え可能とされている。さらに、補完対象偏光情報生成部は、複数の異なる偏光方向の偏光画素の画素情報から算出した無偏光輝度もしくは平均輝度を示すストークス成分を補完対象偏光情報に含めてもよく、偏光画素の画素位置を示す偏光画素マスクを補完対象偏光情報に含めてもよい。
　補完処理部は、偏光撮像部から読み出した画素情報に基づいて生成された画像情報を用いて、補完対象偏光情報の補完処理を行い、補完対象偏光情報よりも高解像の偏光情報、例えば画像情報に対応した解像度の偏光情報を生成する。また、補完処理は、フィルタを用いた補完処理、または機械学習を用いた補完処理を行い、高解像の偏光情報を生成する。
　この技術の第２の側面は、
　所定の画素間隔で設けられた複数の異なる偏光方向の偏光画素と前記偏光画素よりも画素数の多い無偏光画素で構成された偏光撮像部から読み出した画素情報に基づき生成された疎偏光情報を用いて、所望の情報種類の補完対象偏光情報を補完対象偏光情報生成部で生成することと、
　前記偏光撮像部から読み出した画素情報に基づいて生成された画像情報を用いて、前記補完対象偏光情報生成部で生成された補完対象偏光情報の補完処理を行い、前記補完対象偏光情報よりも高解像の偏光情報を補完処理部で生成すること
を含む情報処理方法にある。
　この技術の第３の側面は、
　偏光撮像部から取得した画素情報の処理をコンピュータで実行させるプログラムであって、
　所定の画素間隔で設けられた複数の異なる偏光方向の偏光画素と前記偏光画素よりも画素数の多い無偏光画素で構成された前記偏光撮像部から読み出した画素情報に基づき生成された疎偏光情報を用いて、所望の情報種類の補完対象偏光情報を生成する手順と、
　前記偏光撮像部から読み出した画素情報に基づいて生成された画像情報を用いて、前記補完対象偏光情報の補完処理を行い、前記補完対象偏光情報よりも高解像の偏光情報を生成する手順と、
を前記コンピュータで実行させるプログラムにある。
　なお、本技術のプログラムは、例えば、様々なプログラムを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
撮像システムの構成を例示した図である。 偏光撮像部の構成を例示した図である。 偏光撮像部の画素構成を例示した図である。 情報処理部の動作を例示したフローチャートである。 偏光撮像部の画素配列と生成されるＲＧＢ画像情報と疎偏光情報を示した図である。 疎偏光情報と補完対象偏光情報を示した図である。 ＲＧＢ画像情報と補完対象偏光情報と出力する所望の情報種類の偏光情報を示した図である。 偏光撮像部と情報生成部を説明するための図である。 補完対象偏光情報生成部を説明するための図である。 ＲＡＷ画像情報とＲＧＢ画像情報とストークス成分Ｓ0を示した図である。 パラメータの学習を示した図である。 学習によって得られたパラメータを用いた補完処理を示す図である。 補完対象偏光情報生成部を説明するための図である。 パラメータの学習を示した図である。 学習によって得られたパラメータを用いた補完処理を示す図である。 補完対象偏光情報生成部を説明するための図である。 パラメータの学習を示した図である。 学習によって得られたパラメータを用いた補完処理を示す図である。 補完対象偏光情報生成部を説明するための図である。 学習によって得られたパラメータを用いた補完処理を示した図である。 補完対象偏光情報生成部を説明するための図である。 パラメータの学習を示した図である。 学習によって得られたパラメータを用いた補完処理を示す図である。 ジョイントバイラテラルフィルタを用いた補完処理を説明するための図である。 ジョイントバイラテラルフィルタとＦＢＳとＣＮＮを用いる場合の違いを示した図である。 偏光画素が白黒画素である場合を例示した図である。 偏光画素がカラー画素である場合を例示した図である。 偏光方向が異なる偏光画素を分散して設けた場合を例示した図である。 偏光画素の間隔と特性の関係を示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．実施の形態の構成
　３．実施の形態の動作
　４．実施例
　　４－１．第１の実施例
　　４－２．第２の実施例
　　４－３．第３の実施例
　　４－４．第４の実施例
　　４－５．第５の実施例
　　４－６．第６の実施例
　　４－７．第７の実施例
　　４－８．他の実施例
　５．応用例
　＜１．実施の形態＞
　本技術では、イメージセンサに偏光子を設けると偏光子による減光が生じて感度の低下を招き、複数偏光方向の偏光子を用いことで解像度の低下を招くことから、イメージセンサの画素領域内に偏光画素を疎に配置することで、高感度・高解像な画像情報を得られるようにする。すなわち、偏光撮像部は、イメージセンサに複数の偏光方向の偏光子を設けた偏光画素と、偏光子が設けられておらず偏光画素よりも画素数の多い無偏光画素で構成する。
　また、偏光画素を疎に設けると、解像度の高い偏光情報を得ることができないことから、高感度・高解像な画像情報を用いて、疎状態で配置された偏光画素の画素情報から生成される偏光情報の補完処理を行い、高解像の偏光情報例えば画像情報の画素毎の偏光情報を生成する。さらに、偏光撮像部から読み出した画素情報に基づき、偏光画素の画素位置ごとの偏光情報を偏光方向毎に示す疎偏光情報から、所望の情報種類の補完対象偏光情報を生成して、補完対象偏光情報の補完処理を行うことで、高解像で所望の情報種類である偏光情報を生成する。
　＜２．実施の形態の構成＞
　図１は、本技術の情報処理装置を用いた撮像システムの構成を例示している。撮像システム１０は、偏光撮像部２０と情報処理部３０を有している。また、情報処理部３０は、情報生成部３１、補完対象偏光情報生成部３２、補完処理部３３を有している。偏光撮像部２０と情報処理部３０はそれぞれ独立して構成されていてもよく、偏光撮像部２０と情報処理部３０を一体化して固体撮像デバイスとしてもよい。
　偏光撮像部２０は、画像情報と偏光情報を取得する。図２は偏光撮像部の構成を例示している。偏光撮像部２０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサ２１の入射面に、カラーフィルタ２２と複数の偏光方向の偏光子からなる偏光フィルタ２３を設けている。カラーフィルタ２２は、例えば三原色のモザイクフィルタである。偏光フィルタ２３は、複数の偏光方向の偏光子が所定の画素間隔で配置されている。また、偏光フィルタ２３は、偏光子が設けられている偏光画素よりも偏光子が設けられていない無偏光画素の画素数が多くなるように構成されている。偏光フィルタ２３は、被写体光から直線偏光光を取り出せればよく、例えばワイヤーグリッドやフォトニック液晶等を用いる。
　図３は、偏光撮像部の画素構成を例示している。カラーフィルタ２２は、２×２画素を色単位として、４×４画素領域に三原色であるＲ（赤色）とＧ（緑色）とＢ（青色）の画素がベイヤー（Bayer）配列とされて、４×４画素領域を水平方向および垂直方向に繰り返したカラーモザイクフィルタである。また、４×４画素領域を水平方向および垂直方向に繰り返した８×８画素領域を色偏光配列単位として、色偏光配列単位内の１つの色単位の領域（例えば緑色領域）に相当する領域を偏光画素領域として、この偏光画素領域は、Ｒ，Ｇ，Ｂの何れのカラーフィルタも設けられていない色領域（以下「白黒画素領域」という）とされている。
　偏光フィルタ２３は、８×８画素領域である色偏光配列単位における２×２画素の偏光画素領域に対して、例えば偏光方向（偏光角）が０度、４５度、９０度、１３５度の偏光子を設けている。また、偏光画素領域を除く他の領域には偏光子が設けられていない。なお、偏光子が設けられた２×２画素領域は偏光画素ブロックともいう。
　偏光撮像部２０は、図３に示す色偏光配列単位を水平方向および垂直方向に繰り返し設けた画素配列とされている。すなわち、偏光撮像部２０は、所定の画素間隔で設けられた複数の異なる偏光方向の偏光画素と偏光画素よりも画素数の多い無偏光画素で構成されている。このように構成された偏光撮像部２０は、各画素から読み出した画素情報であるＲＡＷ画像情報を情報処理部３０へ出力する。
　図１に戻り、情報処理部３０の情報生成部３１は、偏光撮像部２０で生成されたＲＡＷ画像情報から画像情報と疎偏光情報を生成する。情報生成部３１は、偏光画素の画素位置に対応する色の画素情報を、周囲の画素情報を用いて補間してベイヤー配列とする。情報生成部３１は、ベイヤー配列の画素情報を用いて、例えば特許第６７５０６３３号で開示されているデモザイク処理等を行い、色成分毎の画像情報（以下「ＲＧＢ画像情報」あるいは単に「画像情報」という）を生成する。また、情報生成部３１は、ＲＡＷ画像情報から偏光画素の画素位置ごとの偏光情報を偏光方向毎に示す疎偏光情報を生成する。情報生成部３１は、ＲＧＢ画像情報を補完処理部３３と撮像システム１０から外部機器等へ出力する。また、情報生成部３１は、疎偏光情報を補完対象偏光情報生成部３２へ出力する。
　補完対象偏光情報生成部３２は、情報生成部３１で生成された疎偏光情報を用いて、補完処理に適した補完対象偏光情報を生成する。補完対象偏光情報生成部３２は、疎偏光情報を用いて、偏光画素の画素位置ごとに所望の情報種類（撮像システム１０から出力する偏光情報の情報種類）の偏光情報を補完対象偏光情報として生成する。したがって、補完対象偏光情報は、疎偏光情報と等しく画像情報よりも低い解像度である。所望の情報種類は、偏光方向毎の画素情報、ストークス成分、偏光度、偏光位相、法線情報、偏光特性の少なくとも何れかであり、予め指定されてもよく、ユーザ操作に応じて切り替え可能としてもよい。また、補完対象偏光情報生成部３２は、複数の異なる偏光方向の偏光画素の画素情報から算出した無偏光輝度もしくは平均輝度を示すストークス成分を補完対象偏光情報に含めてもよく、偏光画素の画素位置を示す偏光画素マスクを補完対象偏光情報に含めてもよい。
　補完処理部３３は、ＲＧＢ画像情報を用いて補完対象偏光情報の補完処理を行い、偏光画素の画素位置ごとに生成された所望の情報種類の偏光情報を示す補完対象偏光情報よりも高解像の偏光情報、例えばＲＧＢ画像情報に対応した解像度である所望の情報種類の偏光情報を生成する。なお、ＲＧＢ画像情報に対応した解像度である所望の情報種類の偏光情報は、例えばＲＧＢ画像情報の画素単位の解像度で被写体に関する所望の情報種類の偏光に関する情報、すなわちＲＧＢ画像情報と空間的位置が揃った等しい解像度である所望の情報種類の偏光情報である。また、ＲＧＢ画像情報に対応した解像度である所望の情報種類の偏光情報は、ＲＧＢ画像情報の連続する複数画素領域（例えば２×２画素の色単位領域等）単位と空間的位置が揃っており、疎偏光情報よりも高解像である所望の情報種類の偏光情報であってもよい。補完処理は、フィルタを用いてもよく機械学習を用いてもよい。フィルタを用いた補完処理では、例えばＲＧＢ画像情報をガイドとしたジョイントバイラテラルフィルタ（Joint Bilateral Filter）やＦＢＳ（Fast Bilateral Solver）等を用いる。機械学習を用いた補完処理では、深層学習である例えばＣＮＮ（Convolutional Neural Network）等を用いてもよく、線形回帰、ロジスティック回帰、Support Vector Machine、決定木、ランダムフォレスト、ナイーブベイズ等の機械学習の手法を用いてもよい。補完処理部３３は、補完処理で生成された偏光情報を撮像システム１０から外部機器等へ出力する。
　＜３．実施の形態の動作＞
　次に実施の形態の動作について説明する。偏光撮像部２０は、イメージセンサの入射面側にカラーフィルタと偏光フィルタを設けた構成として、偏光フィルタは所定の画素間隔で複数の異なる偏光方向の偏光子を設けた構成とする。偏光撮像部２０は、偏光画素と偏光画素よりも画素数の多い無偏光画素から読み出した画素情報であるＲＡＷ画像情報を情報処理部３０へ出力する。
　情報処理部３０は、偏光撮像部２０で生成されたＲＡＷ画像情報からＲＧＢ画像情報と偏光情報を生成する。図４は、情報処理部の動作を例示したフローチャートである。
　ステップＳＴ１で情報処理部３０はＲＡＷ画像情報を取得する。情報処理部３０は、偏光撮像部２０で生成されたＲＡＷ画像情報を取得してステップＳＴ２に進む。
　ステップＳＴ２で情報処理部３０はＲＧＢ画像情報と疎偏光情報を生成する。情報処理部３０は、偏光画素の画素位置に対応する色の画素情報を生成する補間処理と、ベイヤー配列の画素情報を用いたデモザイク処理を行い、ＲＧＢ画像情報を生成する。また、情報処理部３０は、ＲＡＷ画像情報から偏光画素の画素位置ごとの偏光情報を偏光方向毎に示す疎偏光情報を生成する。
　図５は、偏光撮像部の画素配列と生成されるＲＧＢ画像情報と疎偏光情報を示している。図５の（ａ）は偏光撮像部の画素配列の一部を示している（図３に示す配置と同じ）。図５の（ｂ）は、ＲＧＢ画像情報を示しており、Ｒ画像情報とＧ画像情報とＢ画像情報で構成されている。図５の（ｃ）は、疎偏光情報を示しており、偏光方向毎に偏光成分情報を偏光画素ブロック内で繰り返すことで、偏光画素ブロックが等しい偏光成分情報を示した偏光方向毎の情報である。情報処理部３０は、ＲＧＢ画像情報と疎偏光情報を生成してステップＳＴ３に進む。
　ステップＳＴ３で情報処理部３０は補完対象偏光情報を生成する。情報処理部３０は、ステップＳＴ２で生成された疎偏光情報から、所望の情報種類の偏光情報である補完対象偏光情報を生成する。なお、所望の情報種類とは、情報処理部３０から出力する偏光情報の情報種類である。
　図６は、疎偏光情報と補完対象偏光情報を示している。図６の（ａ）は疎偏光情報を示している（図５の（ｃ）と同じ）。図６の（ｂ）は、所望の情報種類が偏光方向毎の情報である場合の補完対象偏光情報を示している。この場合、補完対象偏光情報は、疎偏光情報と等しい。図６の（ｃ）は、所望の情報種類がストークス成分である場合の補完対象偏光情報を示している。この場合、情報処理部３０は、疎偏光情報に基づきストークス成分を算出して、算出したストークス成分を偏光画素ブロックの成分としたストークス成分毎の偏光情報を補完対象偏光情報として生成する。なお、補完対象偏光情報は、偏光度や偏光位相、法線等を示す情報であってもよい。このように、情報処理部３０は疎偏光情報に基づき補完対象偏光情報を生成してステップＳＴ４に進む。
　ステップＳＴ４で情報処理部３０は補完処理を行う。情報処理部３０は、ステップＳＴ２で生成したＲＧＢ画像情報とステップＳＴ３で生成された補完対象偏光情報を用いて補完処理を行い、高解像の偏光情報を生成する。図７は、ＲＧＢ画像情報と補完対象偏光情報と出力する所望の情報種類の偏光情報を示している。図７の（ａ）はＲＧＢ画像情報を示しており（図５の（ｂ）と同じ）、図７の（ｂ）は、補完対象偏光情報を示している。補完対象偏光情報では、所望の情報種類の偏光情報が偏光画像ブロックの偏光情報とされている。図７の（ｃ）は、撮像システム１０から出力する所望の情報種類の偏光情報を示しており、補完処理によって、補完対象偏光情報をＲＧＢ画像情報に対応した解像度の偏光情報とする。このように、情報処理部３０はＲＧＢ画像情報と補完対象偏光情報から補完対象偏光情報よりも高解像の偏光情報を生成してステップＳＴ５に進む。
　ステップＳＴ５で情報処理部３０は情報の出力を行う。情報処理部３０はステップＳＴ２で生成されたＲＧＢ画像情報とステップＳＴ４で生成した所望の情報種類の高解像の偏光情報を関連付けて出力する。
　このように、本技術では、所定の画素間隔で設けられた複数の異なる偏光方向の偏光画素と偏光画素よりも画素数の多い無偏光画素で構成された偏光撮像部から読み出された画素情報に基づき画像情報と疎偏光情報が生成される。また、疎偏光情報から生成した所望の情報種類の補完対象偏光情報について画像情報を用いた補完処理が行われて、補完対象偏光情報よりも高解像である所望の情報種類の偏光情報を生成できる。したがって、本技術によれば、偏光画素が少ないため高感度で高解像な画像情報を得ることができると共に、偏光画素が少なくとも高解像の偏光情報を得ることができる。また、高感度で高解像な画像情報と高解像の偏光情報を同時に得られるようになり、画像情報について従来のイメージセンサ相当の画質を維持しながら、様々なアプリケーションで高解像の偏光情報を利用できるようになる。
　＜４．実施例＞
　＜４－１．第１の実施例＞
　次に、第１の実施例について説明する。第１の実施例では撮像システム１０から偏光情報としてストークス成分を出力する場合について説明する。
　図８は偏光撮像部と情報生成部を説明するための図である。図８の（ａ）は偏光撮像部２０の画素配列を示している（図３と同じ）。
　偏光撮像部２０では、２×２画素領域である色画素ブロックが同一色とされており、赤色画素ブロックと緑色画素ブロックと青色画素ブロックがベイヤー配置で設けられている。また、４×４色画素ブロック内（８×８画素領域）に、２×２画素領域である偏光画素ブロックが例えば１つの緑色画素ブロックのブロック位置に設けられており、偏光画素ブロックはカラーフィルタが設けられておらず白黒画素領域とされている。さらに、偏光画素ブロックは、偏光方向が例えば４５度の角度差を有する４つの偏光方向（０度と４５度と９０度と１３５度）の偏光画素で構成されている。
　偏光撮像部２０は、各色の画素である無偏光画素と偏光方向が異なる偏光画素から読み出した画素情報を示すＲＡＷ画像情報を情報処理部３０へ出力する。
　情報処理部３０の情報生成部３１は、偏光撮像部２０で生成されたＲＡＷ画像信号を用いて補間処理を行い、偏光画素ブロックに対応する画素位置の色の画素情報を生成する。また、情報生成部３１は補間処理後の画像情報を用いてデモザイク処理を行い、上述の図５の（ｂ）に示すように、色成分毎の画像情報であるＲＧＢ画像情報を生成する。さらに、情報生成部３１は、偏光画素ブロック内の偏光方向毎の偏光情報から、図８の（ｂ）に示すように疎偏光情報（図５の（ｃ）と同じ）を生成する。
　補完対象偏光情報生成部３２は、情報生成部３１で生成された疎偏光情報を用いて、ストークス成分を示す補完対象偏光情報を生成する。補完対象偏光情報生成部３２は、情報生成部３１で生成された疎偏光情報から、偏光方向が異なる４つの偏光情報に基づきストークス成分を算出する。図９は補完対象偏光情報生成部を説明するための図である。図９の（ａ）は疎偏光情報（図８の（ｂ）と同じ）を示している。ここで、偏光方向が０度である偏光画素の画素値を「Ｉ0」、偏光方向が４５度である偏光画素の画素値を「Ｉ45」、偏光方向が９０度である偏光画素の画素値を「Ｉ90」、偏光方向が１３５度である偏光画素の画素値を「Ｉ135」とした場合、補完対象偏光情報生成部３２は、式（１）に基づきストークス成分Ｓ0を算出する。なお、ストークス成分Ｓ0は、無偏光の輝度もしくは平均輝度を示している。また、補完対象偏光情報生成部３２は、式（２）に基づきストークス成分Ｓ1を算出して、式（３）に基づきストークス成分Ｓ2を算出する。なお、ストークス成分Ｓ1は０度と９０度の偏光方向の強度の差、ストークス成分Ｓ2は４５度と１３５度の偏光方向の強度の差を示している。
Figure JPOXMLDOC01-appb-M000001
　さらに、補完対象偏光情報生成部３２は、偏光画素と無偏光画素を識別するための偏光画素マスクを生成する。なお、偏光画素マスクでは、例えば偏光画素を「１」、無偏光画素を「０」としている。このようにして、補完対象偏光情報生成部３２は、図９の（ｂ）に示すストークス成分Ｓ0，Ｓ1，Ｓ2と偏光画素マスクを補完対象偏光情報に含める。
　偏光撮像部２０で実空間の被写体を撮像した場合、被写体での偏光は少ない場合が多い。すなわち、ストークス成分Ｓ1，Ｓ2の値は「０」あるいは「０」付近の値となることが多い。したがって、ストークス成分Ｓ1，Ｓ2の値だけでは偏光画素の位置を判別することが困難となるおそれがある。しかし、上述の偏光画素マスクを用いれば、偏光画素の位置を正しく判別できるので、ＣＮＮの学習や補完処理が容易となる。
　また、ストークス成分Ｓ0は、ＲＡＷ画像情報における偏光情報から生成されるので、偏光画素の周囲に位置する画素の画素情報を用いて補間する場合に比べて信頼性の高い場合が多い。図１０は、ＲＡＷ画像情報とＲＧＢ画像情報とストークス成分Ｓ0を示している。図１０の（ａ）はＲＡＷ画像情報を示しており、図１０の（ｂ）はＲＧＢ画像情報を示している。ＲＧＢ画像情報において、太線枠で示す緑色画素の画素情報は周囲の画素を用いた補間処理によって生成する。図１０の（ｃ）は、ストークス成分Ｓ0を示す疎偏光情報を示しており、ストークス成分Ｓ0はＲＡＷ画像情報に含まれている４つの偏光画素の平均画素値を算出して、偏光画素ブロックに相当する画素位置のストークス成分Ｓ0とする。このように、補完対象偏光情報生成部３２は、信頼性の高いストークス成分Ｓ0を用いて学習や補完処理に利用可能な情報を増やすことによって、ＣＮＮの学習や補完処理を容易とすることが可能となる。
　補完処理部３３は、ＣＮＮを用いて補完処理を行う場合、事前に学習用の補完対象偏光情報（疎偏光情報の解像度）と補完対象偏光情報に対応する高解像の偏光情報（真値）とＲＧＢ画像情報を用いて学習を行い、補完対象偏光情報の補完処理によって得られる高解像の偏光情報（推定値）と高解像の偏光情報（真値）を用いた損失関数の値を最小とするパラメータを生成する。損失関数は「Ｌ１　Ｌｏｓｓ」を用いてもよく「Ｌ２　Ｌｏｓｓ」等を用いてもよい。補完処理部３３は、学習によって生成されたパラメータを用いて、補完対象偏光情報と画像情報から補完対象偏光情報よりも高解像の偏光情報を生成する。
　図１１，図１２は、補完処理部を説明するための図であり、図１１はパラメータの学習、図１２は学習によって得られたパラメータを用いた補完処理を示している。
　図１１の（ａ）は、学習用のＲＧＢ画像情報を示しており、図１１の（ｂ）は、学習用の補完対象偏光情報（ストークス成分Ｓ0，Ｓ1，Ｓ2と偏光画素マスク）を示している。図１１の（ｃ）は補完対象偏光情報に対応する偏光情報（真値）を示しており、ＲＧＢ画像情報に対応した解像度の偏光情報（真値：ストークス成分Ｓ1t，Ｓ2t）である。学習時には、補完対象偏光情報（ストークス成分Ｓ0，Ｓ1，Ｓ2と偏光画素マスク）とＲＧＢ画像情報を用いてＣＮＮによる補完処理を行い、ＲＧＢ画像情報に対応した解像度である図１１の（ｄ）に示す偏光情報（推定値：ストークス成分Ｓ1p，Ｓ2p）を生成する。学習では、図１１の（ｃ）に示す真値と図１１の（ｄ）に示す推定値との誤差が最小となるＣＮＮのパラメータを生成する。
　図１２の（ａ）は、補完処理時のＲＧＢ画像情報を示しており、図１２の（ｂ）は、補完処理時の補完対象偏光情報（ストークス成分Ｓ0，Ｓ1，Ｓ2と偏光画素マスク）を示している。補完処理時のＲＧＢ画像情報は情報生成部３１で生成されており、補完処理時の補完対象偏光情報は補完対象偏光情報生成部３２で生成されている。補完処理部３３は、学習によって生成されたパラメータとＲＧＢ画像情報と補完対象偏光情報を用いてＣＮＮによる補完処理を行い、図１２の（ｃ）に示すＲＧＢ画像情報に対応した解像度の偏光情報（ストークス成分Ｓ1，Ｓ2）を生成する。また、図１２の（ｄ）に示すＲＧＢ画像情報に対応した解像度の偏光情報（ストークス成分Ｓ0）は、ＲＧＢ画像情報が示す三原色の平均画素値を画素毎に算出すればよい。また、偏光画素の位置のストークス成分Ｓ0は、偏光画素の画素値から算出して補完対象偏光情に含められた信頼性の高いストークス成分Ｓ0を用いてもよい。
　このように、第１の実施例によれば、所定の画素間隔で設けられた複数の異なる偏光方向の偏光画素と前記偏光画素よりも画素数の多い無偏光画素で構成された偏光撮像部から読み出した画素情報を用いて画像情報と疎偏光情報が生成される。さらに、疎偏光情報を用いて生成された所望の情報種類の補完対象偏光情報と画像情報を用いて補完処理が行われる。このため、撮像システム１０は、全画素または画素全体の半分の画素を偏光画素とする場合に比べて、高感度で高解像のＲＧＢ画像情報を生成できる。また、撮像システム１０は、偏光画素を所定の画素間隔で設けてもＲＧＢ画像情報に対応した解像度である偏光情報（ストークス成分Ｓ0，Ｓ1，Ｓ2）を生成できる。また、第１の実施例によれば、ＲＧＢ画像情報に対応した解像度であるストークス成分Ｓ0，Ｓ1，Ｓ2を生成できるので、後述する式（４）（５）等を用いて、ストークス成分Ｓ0，Ｓ1，Ｓ2からＲＧＢ画像情報に対応した解像度である偏光度や偏光位相、法線情報等を生成することも可能となることから、第１の実施例は汎用性が高い実施例である。
　＜４－２．第２の実施例＞
　次に、第２の実施例について説明する。第２の実施例では撮像システム１０から偏光情報として偏光度を出力する場合について説明する。
　偏光撮像部２０は、第１の実施例と同様に構成して、各色の画素である無偏光画素と偏光方向が異なる偏光画素から読み出した画素情報を示すＲＡＷ画像情報を情報処理部３０へ出力する。
　情報処理部３０の情報生成部３１は、第１の実施例と同様に構成してＲＡＷ画像情報に基づきＲＧＢ画像情報と疎偏光情報を生成する。
　補完対象偏光情報生成部３２は、情報生成部３１で生成された疎偏光情報を用いて、偏光度を示す補完対象偏光情報を生成する。補完対象偏光情報生成部３２は、情報生成部３１で生成された疎偏光情報から、偏光方向が異なる４つの偏光情報に基づき偏光度を算出する。図１３は、補完対象偏光情報生成部を説明するための図である。図１３の（ａ）は疎偏光情報を示している。ここで、偏光方向が０度である偏光画素の画素値を「Ｉ0」、偏光方向が４５度である偏光画素の画素値を「Ｉ45」、偏光方向が９０度である偏光画素の画素値を「Ｉ90」、偏光方向が１３５度である偏光画素の画素値を「Ｉ135」とした場合、補完対象偏光情報生成部３２は、式（４）に基づき偏光度ＤＰを算出する。
Figure JPOXMLDOC01-appb-M000002
　また、補完対象偏光情報生成部３２は、上述の式（１）に基づきストークス成分Ｓoを算出する。さらに、補完対象偏光情報生成部３２は、偏光画素と無偏光画素とを識別するための偏光画素マスクを生成する。補完対象偏光情報生成部３２は、図１３の（ｂ）に示すように、ストークス成分Ｓoと偏光度ＤＰと偏光画素マスクを補完対象偏光情報とする。なお、ストークス成分Ｓ0と偏光画素マスクを補完対象偏光情報に含めることで、第１の実施例で説明したように、信頼性の高いストークス成分Ｓ0を用いて学習や補完処理に利用可能な情報を増やすと共に、偏光画素マスクを用いて偏光画素の位置を正しく判別できるようにして、ＣＮＮの学習や補完処理を容易とする。
　補完処理部３３は、第１の実施例と同様に、ＣＮＮを用いて補完処理を行う。補完処理部３３は、ＣＮＮを用いて補完処理を行う場合、事前に学習用の補完対象偏光情報（疎偏光情報の解像度）と補完対象偏光情報に対応する高解像の偏光情報（真値）とＲＧＢ画像情報を用いて学習を行い、補完対象偏光情報の補完処理によって得られる高解像の偏光情報（推定値）と高解像の偏光情報（真値）を用いた損失関数の値を最小とするパラメータを生成する。補完処理部３３は、学習によって生成されたパラメータを用いて、補完対象偏光情報と画像情報から、補完対象偏光情報よりも高解像の偏光情報を生成する。
　図１４，図１５は、補完処理部を説明するための図であり、図１４はパラメータの学習、図１５は学習によって得られたパラメータを用いた補完処理を示している。
　図１４の（ａ）は、学習用のＲＧＢ画像情報を示しており、図１４の（ｂ）は、学習用の補完対象偏光情報（ストークス成分Ｓ0と偏光度ＤＰと偏光画素マスク）を示している。図１４の（ｃ）は補完対象偏光情報に対応する偏光情報（真値）を示しており、ＲＧＢ画像情報に対応した解像度の偏光情報（真値：偏光度ＤＰt）である。学習時には、補完対象偏光情報（ストークス成分Ｓ0と偏光度ＤＰと偏光画素マスク）とＲＧＢ画像情報を用いてＣＮＮによる補完処理を行い、ＲＧＢ画像情報に対応した解像度である図１４の（ｄ）に示す偏光情報（推定値：偏光度ＤＰp）を生成する。学習では、図１４の（ｃ）に示す真値と図１４の（ｄ）に示す推定値との誤差が最小となるＣＮＮのパラメータを生成する。
　図１５の（ａ）は、補完処理時のＲＧＢ画像情報を示しており、図１５の（ｂ）は、補完処理時の補完対象偏光情報を示している。補完処理時のＲＧＢ画像情報は情報生成部３１で生成された情報であり、補完処理時の補完対象偏光情報は補完対象偏光情報生成部３２で生成された情報である。補完処理部３３は、学習によって生成されたパラメータとＲＧＢ画像情報と補完対象偏光情報を用いてＣＮＮによる補完処理を行い、図１５の（ｃ）に示すＲＧＢ画像情報に対応した解像度の偏光情報（偏光度ＤＰ）を生成する。
　このように、第２の実施例によれば、第１の実施例と同様に、所定の画素間隔で設けられた複数の異なる偏光方向の偏光画素と前記偏光画素よりも画素数の多い無偏光画素で構成された偏光撮像部から読み出した画素情報を用いて画像情報と疎偏光情報が生成される。さらに、疎偏光情報を用いて生成された所望の情報種類の補完対象偏光情報と画像情報を用いて補完処理が行われる。このため、撮像システム１０は、高感度で高解像のＲＧＢ画像情報とＲＧＢ画像情報に対応した解像度である偏光情報（偏光度）を生成できる。したがって、例えばホワイトバランス調整を行うために光源色をするため偏光度が必要な場合、第２の実施例を用いればよい。
　＜３．第３の実施例＞
　次に、第３の実施例について説明する。第３の実施例では撮像システム１０から偏光情報として偏光位相を出力する場合について説明する。
　偏光撮像部２０は、第１の実施例と同様に構成して、各色の画素である無偏光画素と偏光方向が異なる偏光画素から読み出した画素情報を示すＲＡＷ画像情報を情報処理部３０へ出力する。
　情報処理部３０の情報生成部３１は、第１の実施例と同様に構成してＲＡＷ画像情報に基づきＲＧＢ画像情報と疎偏光情報を生成する。
　補完対象偏光情報生成部３２は、情報生成部３１で生成された疎偏光情報を用いて、偏光位相を示す補完対象偏光情報を生成する。補完対象偏光情報生成部３２は、情報生成部３１で生成された疎偏光情報から、偏光方向が異なる４つの偏光情報に基づき偏光位相を算出する。図１６は、補完対象偏光情報生成部を説明するための図である。図１６の（ａ）は疎偏光情報を示している。ここで、偏光方向が０度である偏光画素の画素値を「Ｉ0」、偏光方向が４５度である偏光画素の画素値を「Ｉ45」、偏光方向が９０度である偏光画素の画素値を「Ｉ90」、偏光方向が１３５度である偏光画素の画素値を「Ｉ135」とした場合、補完対象偏光情報生成部３２は、式（５）に基づき偏光位相ＰＰを算出する。
Figure JPOXMLDOC01-appb-M000003
　また、補完対象偏光情報生成部３２は、上述の式（１）に基づきストークス成分Ｓoを算出する。さらに、補完対象偏光情報生成部３２は、偏光画素と無偏光画素とを識別するための偏光画素マスクを生成する。補完対象偏光情報生成部３２は、図１６の（ｂ）に示すように、ストークス成分Ｓoと偏光位相ＰＰと偏光画素マスクを補完対象偏光情報とする。なお、ストークス成分Ｓ0と偏光画素マスクを補完対象偏光情報に含めることで、第１の実施例で説明したように、信頼性の高いストークス成分Ｓ0を用いて学習や補完処理に利用可能な情報を増やすと共に、偏光画素マスクを用いて偏光画素の位置を正しく判別できるようにして、ＣＮＮの学習や補完処理を容易とする。
　補完処理部３３は、第１の実施例と同様に、ＣＮＮを用いて補完処理を行う。補完処理部３３は、ＣＮＮを用いて補完処理を行う場合、事前に学習用の補完対象偏光情報（疎偏光情報の解像度）と補完対象偏光情報に対応する高解像の偏光情報（真値）とＲＧＢ画像情報を用いて学習を行い、補完対象偏光情報の補完処理によって得られる高解像の偏光情報（推定値）と高解像の偏光情報（真値）を用いた損失関数の値を最小とするパラメータを生成する。補完処理部３３は、学習によって生成されたパラメータを用いて、補完対象偏光情報と画像情報から、補完対象偏光情報よりも高解像の偏光情報を生成する。
　図１７，図１８は、補完処理部を説明するための図であり、図１７はパラメータの学習、図１８は学習によって得られたパラメータを用いた補完処理を示している。
　図１７の（ａ）は、学習用のＲＧＢ画像情報を示しており、図１７の（ｂ）は、学習用の補完対象偏光情報を示している。図１７の（ｃ）は補完対象偏光情報に対応する偏光情報（真値）を示しており、ＲＧＢ画像情報に対応した解像度の偏光情報（真値：偏光位相ＰＰt）である。学習時には、補完対象偏光情報（ストークス成分Ｓ0と偏光位相ＰＰと偏光画素マスク）とＲＧＢ画像情報を用いてＣＮＮによる補完処理を行い、ＲＧＢ画像情報に対応した解像度である図１７の（ｄ）に示す偏光情報（推定値：偏光位相ＰＰp）を生成する。学習では、図１７の（ｃ）に示す真値と図１７の（ｄ）に示す推定値との誤差が最小となるＣＮＮのパラメータを生成する。
　図１８の（ａ）は、補完処理時のＲＧＢ画像情報を示しており、図１８の（ｂ）は、補完処理時の補完対象偏光情報を示している。補完処理時のＲＧＢ画像情報は情報生成部３１で生成された情報であり、補完処理時の補完対象偏光情報は補完対象偏光情報生成部３２で生成された情報である。補完処理部３３は、学習によって生成されたパラメータとＲＧＢ画像情報と補完対象偏光情報を用いてＣＮＮによる補完処理を行い、図１８の（ｃ）に示すＲＧＢ画像情報に対応した解像度の偏光情報（偏光位相ＰＰ）を生成する。
　このように、第３の実施例によれば、第１の実施例と同様に、所定の画素間隔で設けられた複数の異なる偏光方向の偏光画素と前記偏光画素よりも画素数の多い無偏光画素で構成された偏光撮像部から読み出した画素情報を用いて画像情報と疎偏光情報が生成される。さらに、疎偏光情報を用いて生成された所望の情報種類の補完対象偏光情報と画像情報を用いて補完処理が行われる。このため、撮像システム１０は、高感度で高解像のＲＧＢ画像情報とＲＧＢ画像情報に対応した解像度である偏光情報（偏光位相）を生成できる。したがって、例えば偏光位相を利用して路面状態の検出等を行う場合、第３の実施例を用いればよい。
　＜４．第４の実施例＞
　次に、第４の実施例について説明する。第４の実施例では撮像システム１０から偏光情報としてストークス成分あるいは偏光度や偏光位相と異なる偏光情報を出力する場合について説明する。
　偏光撮像部２０は、第１の実施例と同様に構成して、各色の画素である無偏光画素と偏光方向が異なる偏光画素から読み出した画素情報を示すＲＡＷ画像情報を情報処理部３０へ出力する。
　情報処理部３０の情報生成部３１は、第１の実施例と同様に構成してＲＡＷ画像情報に基づきＲＧＢ画像情報と疎偏光情報を生成する。
　補完対象偏光情報生成部３２は、情報生成部３１で生成された疎偏光情報を用いて、ストークス成分あるいは偏光度や偏光位相と異なる偏光情報を示す補完対象偏光情報を生成する。補完対象偏光情報生成部３２は、情報生成部３１で生成された疎偏光情報から、偏光方向が異なる４つの偏光情報に基づき、上述の実施例と異なる情報種類である所望の偏光情報を生成する。上述の実施例と異なる情報種類である所望の偏光情報としては、例えば法線情報，最大画素値を示す情報，最小画素値を示す情報等を生成する。法線情報は、天頂角と方位角によって法線を示す情報であるとして、例えば特許第６７５０６３３号で開示されているように、偏光度と天頂角の関係から式（４）で算出された偏光度に対応する天頂角を法線情報の天頂角とする。また、偏光方向が０度である偏光画素の画素値を「Ｉ0」、偏光方向が４５度である偏光画素の画素値を「Ｉ45」、偏光方向が９０度である偏光画素の画素値を「Ｉ90」、偏光方向が１３５度である偏光画素の画素値を「Ｉ135」とした場合、画素値Ｉ0，Ｉ45，Ｉ90，Ｉ135を用いて式（６）に示す偏光特性モデルへのフィッティングを行い、フィッティング後の偏光特性モデル式に基づき、画素値Ｉが最大画素値となる偏光角υを法線情報の方位角とする。また、偏光情報として、フィッティング後の偏光特性モデルパラメータである最大画素値Ｉmaxや最小画素値Ｉminを用いてもよい。
Figure JPOXMLDOC01-appb-M000004
　図１９は、補完対象偏光情報生成部を説明するための図である。図１９の（ａ）は疎偏光情報を示している。補完対象偏光情報生成部３２は、疎偏光情報に基づき所望の偏光情報を算出する。
　また、補完対象偏光情報生成部３２は、上述の式（１）に基づきストークス成分Ｓoを算出する。さらに、補完対象偏光情報生成部３２は、偏光画素と無偏光画素とを識別するための偏光画素マスクを生成する。補完対象偏光情報生成部３２は、図１９の（ｂ）に示すように、ストークス成分Ｓoと所望の偏光情報と偏光画素マスクを補完対象偏光情報とする。なお、ストークス成分Ｓ0と偏光画素マスクを補完対象偏光情報に含めることで、第１の実施例で説明したように、信頼性の高いストークス成分Ｓ0を用いて学習や補完処理に利用可能な情報を増やすと共に、偏光画素マスクを用いて偏光画素の位置を正しく判別できるようにして、ＣＮＮの学習や補完処理を容易とする。
　補完処理部３３は、第１の実施例と同様に、ＣＮＮを用いて補完処理を行う。補完処理部３３は、ＣＮＮを用いて補完処理を行う場合、事前に学習用の補完対象偏光情報（疎偏光情報の解像度）と補完対象偏光情報に対応する高解像の偏光情報（真値）とＲＧＢ画像情報を用いて学習を行い、補完対象偏光情報の補完処理によって得られる高解像の偏光情報（推定値）と高解像の偏光情報（真値）を用いた損失関数の値を最小とするパラメータを生成する。補完処理部３３は、学習によって生成されたパラメータを用いて、補完対象偏光情報と画像情報から、補完対象偏光情報よりも高解像の偏光情報を生成する。
　第４の実施例では、第１乃至第３の実施例と同様にしてパラメータを生成する。図２０は、学習によって得られたパラメータを用いた補完処理を示している。
　図２０の（ａ）は、補完処理時のＲＧＢ画像情報を示しており、図２０の（ｂ）は、補完処理時の補完対象偏光情報を示している。補完処理時のＲＧＢ画像情報は情報生成部３１で生成された情報であり、補完処理時の補完対象偏光情報は補完対象偏光情報生成部３２で生成された情報である。補完処理部３３は、学習によって生成されたパラメータとＲＧＢ画像情報と補完対象偏光情報を用いてＣＮＮによる補完処理を行い、図２０の（ｃ）に示すＲＧＢ画像情報に対応した解像度である所望の情報種類の偏光情報を生成する。
　このように、第４の実施例によれば、第１の実施例と同様に、所定の画素間隔で設けられた複数の異なる偏光方向の偏光画素と前記偏光画素よりも画素数の多い無偏光画素で構成された偏光撮像部から読み出した画素情報を用いて画像情報と疎偏光情報が生成される。さらに、疎偏光情報を用いて生成された所望の情報種類の補完対象偏光情報と画像情報を用いて補完処理が行われる。このため、撮像システム１０は、高感度で高解像のＲＧＢ画像情報とＲＧＢ画像情報に対応した解像度である所望の情報種類の偏光情報を生成できる。
　＜５．第５の実施例＞
　次に、第５の実施例について説明する。第５の実施例では、補完対象偏光情報としてストークス成分Ｓ0と偏光画素マスクを用いることなく、撮像システム１０から偏光情報としてストークス成分Ｓ1，Ｓ2を出力する場合について説明する。
　偏光撮像部２０は、第１の実施例と同様に構成して、各色の画素である無偏光画素と偏光方向が異なる偏光画素から読み出した画素情報を示すＲＡＷ画像情報を情報処理部３０へ出力する。
　情報処理部３０の情報生成部３１は、第１の実施例と同様に構成してＲＡＷ画像情報に基づきＲＧＢ画像情報と疎偏光情報を生成する。
　補完対象偏光情報生成部３２は、情報生成部３１で生成された疎偏光情報を用いて、ストークス成分Ｓ1，Ｓ2のみを示す補完対象偏光情報を生成する。補完対象偏光情報生成部３２は、情報生成部３１で生成された疎偏光情報から、偏光方向が異なる４つの偏光情報に基づきストークス成分Ｓ1，Ｓ2を算出する。図２１は、補完対象偏光情報生成部を説明するための図である。図２１の（ａ）は疎偏光情報を示している。ここで、偏光方向が０度である偏光画素の画素値を「Ｉ0」、偏光方向が４５度である偏光画素の画素値を「Ｉ45」、偏光方向が９０度である偏光画素の画素値を「Ｉ90」、偏光方向が１３５度である偏光画素の画素値を「Ｉ135」とした場合、補完対象偏光情報生成部３２は、上述の式（２）に基づきストークス成分Ｓ1を算出して、上述の式（３）に基づきストークス成分Ｓ2を算出して、図２１の（ｂ）に示す補完対象偏光情報を生成する。
　補完処理部３３は、第１の実施例と同様に、ＣＮＮを用いて補完処理を行う。補完処理部３３は、ＣＮＮを用いて補完処理を行う場合、事前に学習用の補完対象偏光情報（疎偏光情報の解像度）と補完対象偏光情報に対応する高解像の偏光情報（真値）とＲＧＢ画像情報を用いて学習を行い、補完対象偏光情報の補完処理によって得られる高解像の偏光情報（推定値）と高解像の偏光情報（真値）を用いた損失関数の値を最小とするパラメータを生成する。補完処理部３３は、学習によって生成されたパラメータを用いて、補完対象偏光情報と画像情報から、補完対象偏光情報よりも高解像の偏光情報を生成する。
　図２２，図２３は、補完処理部を説明するための図であり、図２２はパラメータの学習、図２３は学習によって得られたパラメータを用いた補完処理を示している。
　図２２の（ａ）は、学習用のＲＧＢ画像情報を示しており、図２２の（ｂ）は、学習用の補完対象偏光情報（ストークス成分Ｓ1，Ｓ2）を示している。図２２の（ｃ）は補完対象偏光情報に対応する偏光情報（真値）を示しており、真値はＲＧＢ画像情報に対応した解像度の偏光情報（ストークス成分Ｓ1t，Ｓ2t）である。学習時には、補完対象偏光情報（ストークス成分Ｓ1，Ｓ2）とＲＧＢ画像情報を用いてＣＮＮによる補完処理を行い、ＲＧＢ画像情報に対応した解像度である図２２の（ｄ）に示す偏光情報（推定値：ストークス成分Ｓ1p，Ｓ2p）を生成する。学習では、図２２の（ｃ）に示す真値と図２２の（ｄ）に示す推定値との誤差が最小となるＣＮＮのパラメータを生成する。
　図２３の（ａ）は、補完処理時のＲＧＢ画像情報を示しており、図２３の（ｂ）は、補完処理時の補完対象偏光情報（ストークス成分Ｓ1，Ｓ2）を示している。補完処理時のＲＧＢ画像情報は情報生成部３１で生成されており、補完処理時の補完対象偏光情報は補完対象偏光情報生成部３２で生成されている。補完処理部３３は、学習によって生成されたパラメータとＲＧＢ画像情報と補完対象偏光情報を用いてＣＮＮによる補完処理を行い、図２３の（ｃ）に示すＲＧＢ画像情報に対応した解像度の偏光情報（ストークス成分Ｓ1，Ｓ2）を生成する。
　このように、第５の実施例によれば、第１の実施例と同様に、所定の画素間隔で設けられた複数の異なる偏光方向の偏光画素と前記偏光画素よりも画素数の多い無偏光画素で構成された偏光撮像部から読み出した画素情報を用いて画像情報と疎偏光情報が生成される。さらに、疎偏光情報を用いて生成された所望の情報種類の補完対象偏光情報と画像情報を用いて補完処理が行われる。このため、撮像システム１０は、高感度で高解像のＲＧＢ画像情報とＲＧＢ画像情報に対応した解像度である偏光情報（ストークス成分Ｓ1，Ｓ2）を生成できる。
　また、ＣＮＮで用いるパラメータの学習や学習したパラメータを用いてＣＮＮで補完処理を行う場合、補完対象偏光情報には第１の実施例に示すストークス成分Ｓ0と偏光画素マスクが含まれていないことから、第１の実施例に比べて学習の安定性は低下するが、補完処理に用いる情報が少ないので、補完処理において必要とされるメモリ容量を少なくできる。
　　＜４－６．第６の実施例＞
　次に、第６の実施例について説明する。第６の実施例では、補完対象偏光情報としてストークス成分Ｓ0と偏光画素マスクを用いることなく、撮像システム１０から偏光情報として偏光度や偏光位相等を出力する場合について説明する。
　偏光撮像部２０は、第１の実施例と同様に構成して、各色の画素である無偏光画素と偏光方向が異なる偏光画素から読み出した画素情報を示すＲＡＷ画像情報を情報処理部３０へ出力する。
　情報処理部３０の情報生成部３１は、第１の実施例と同様に構成してＲＡＷ画像情報に基づきＲＧＢ画像情報と疎偏光情報を生成する。
　補完対象偏光情報生成部３２は、情報生成部３１で生成された疎偏光情報を用いて、出力する情報種類の偏光情報のみを示す補完対象偏光情報を生成する。補完対象偏光情報生成部３２は、情報生成部３１で生成された疎偏光情報から、偏光方向が異なる４つの偏光情報に基づき、出力する情報種類の偏光情報を生成して補完対象偏光情報とする。
　補完処理部３３は、第５の実施例と同様に、ＣＮＮを用いて補完処理を行う。補完処理部３３は、ＣＮＮを用いて補完処理を行う場合、事前に学習用の補完対象偏光情報（疎偏光情報の解像度）と補完対象偏光情報に対応する高解像の偏光情報（真値）とＲＧＢ画像情報を用いて学習を行い、補完対象偏光情報の補完処理によって得られる高解像の偏光情報（推定値）と高解像の偏光情報（真値）を用いた損失関数の値を最小とするパラメータを生成する。補完処理部３３は、学習によって生成されたパラメータを用いて、補完対象偏光情報と画像情報から、補完対象偏光情報よりも高解像の偏光情報を生成する。
　このように、第６の実施例によれば、第１の実施例と同様に、所定の画素間隔で設けられた複数の異なる偏光方向の偏光画素と前記偏光画素よりも画素数の多い無偏光画素で構成された偏光撮像部から読み出した画素情報を用いて画像情報と疎偏光情報が生成される。さらに、疎偏光情報を用いて生成された所望の情報種類の補完対象偏光情報と画像情報を用いて補完処理が行われる。このため、撮像システム１０は、高感度で高解像のＲＧＢ画像情報とＲＧＢ画像情報に対応した解像度であって出力する情報種類の偏光情報を生成できる。
　また、ＣＮＮで用いるパラメータの学習や学習したパラメータを用いてＣＮＮで補完処理を行う場合、補完対象偏光情報には第１の実施例に示すストークス成分Ｓ0と偏光画素マスクが含まれていないことから、第５の実施例と同様に、第１の実施例に比べて学習の安定性は低下するが、補完処理に用いる情報が少ないので、補完処理において必要とされるメモリ容量を少なくできる。
　　＜４－７．第７の実施例＞
　次に、第７の実施例について説明する。第７の実施例では、補完処理部３３において、ＣＮＮに替えてフィルタ例えばジョイントバイラテラルフィルタを用いて補完処理を行う場合について説明する。
　偏光撮像部２０は、第１の実施例と同様に構成して、各色の画素である無偏光画素と偏光方向が異なる偏光画素から読み出した画素情報を示すＲＡＷ画像情報を情報処理部３０へ出力する。
　情報処理部３０の情報生成部３１は、第１の実施例と同様に構成してＲＡＷ画像情報に基づきＲＧＢ画像情報と疎偏光情報を生成する。
　補完対象偏光情報生成部３２は、情報生成部３１で生成された疎偏光情報を用いて、出力する情報種類の偏光情報を示す補完対象偏光情報を生成する。補完対象偏光情報生成部３２は、情報生成部３１で生成された疎偏光情報から、偏光方向が異なる４つの偏光情報に基づき、出力する情報種類の偏光情報を生成して補完対象偏光情報とする。
　補完処理部３３は、例えばジョイントバイラテラルフィルタを用いて補完対象偏光情報の補完処理を行う。ジョイントバイラテラルフィルタを用いた補完処理では、バイラテラルフィルタで補完対象偏光情報のフィルタ処理を行う際に、ＲＧＢ画像情報に基づく重みを追加する。
　図２４は、ジョイントバイラテラルフィルタを用いた補完処理を説明するための図である。図２４の（ａ）は疎偏光情報を示しており、補完対象偏光情報生成部３２は、疎偏光情報から図２４の（ｂ）に示す補完対象偏光情報を生成する。補完処理部３３は、情報生成部３１で生成された図２４の（ｃ）に示すＲＧＢ画像情報をガイドとして、図２４の（ｂ）に示す補完対象偏光情報のフィルタ処理を、ジョイントバイラテラルフィルタを用いて行い、画像情報に対応した解像度である図２４の（ｄ）に示す偏光情報を生成する。
　式（７）は、ジョイントバイラテラルフィルタのフィルタ演算式を示している。なお、式（７）において、配列ｆ（ｉ，ｊ）は補完処理前の偏光情報、配列ｇ（ｉ，ｊ）は補完処理後の偏光情報を示しており、カーネルのサイズは「ｗ」である。式（７）における関数ωsは、位置の違いに応じた重み付けを行うための式（８）に示す位置重み関数であり、式（８)におけるパラメータσsは、空間的な位置の違いに対してどの程度足し合わせるかを決定するパラメータである。
　また、式（７）における関数ωcは、輝度の違い応じた重み付けを行うための式（９）に示す輝度重み関数である。配列ｒ（ｉ，ｊ）は参照するＲＧＢ画像情報を示しており、輝度重み関数ωcは、式（９)に示すようにＲＧＢ画像情報を用いて関数値を算出する。式（９）において、パラメータσcは、参照するＲＧＢ画像情報の輝度値の差分に基づいてどの程度足し合わせるかを決定するパラメータである。
Figure JPOXMLDOC01-appb-M000005
　なお、補完処理部３３は、ジョイントバイラテラルフィルタを用いる場合に限られない。例えば、補完処理部３３は、エッジ保存を考慮した最適化を、線形最小二乗最適化問題として高速に解くことを可能としたＦＢＳ（Fast Bilateral Solver）等の手法を用いてもよい。
　このように、補完処理部３３はフィルタ演算による補完処理を行えば、ＣＮＮを用いる場合に比べて精度は低下するが、補完処理前に学習によってパラメータを予め生成する必要がなく、容易に画像情報に対応した解像度の偏光情報を生成できる。
　図２５は、ジョイントバイラテラルフィルタとＦＢＳとＣＮＮを用いる場合の違いを一覧として示している。
　ジョイントバイラテラルフィルタを用いた場合、補完処理で必要となるメモリの容量はＣＮＮに比べて小さい。また、学習を行う必要がなく実装する際の回路規模を最も小さくできる。しかし、処理精度はＦＢＳやＣＮＮに比べて低くなる。
　ＦＢＳを用いた場合、補完処理で必要となるメモリの容量はＣＮＮに比べて小さい。また、学習を行う必要がなく実装する際の回路規模をＣＮＮに比べて小さくできるが、ジョイントバイラテラルフィルタを用いた場合に比べると大きくなる。また、処理精度はＣＮＮよりも低いがジョイントバイラテラルフィルタよりも高い。
　ＣＮＮを用いた場合、補完処理で必要となるメモリの容量はジョイントバイラテラルフィルタやＦＢＳに比べて大きい。また、学習を行わなければならず、実装する際の回路規模もジョイントバイラテラルフィルタやＦＢＳに比べて大きい。しかし、処理精度はジョイントバイラテラルフィルタやＦＢＳに比べて高くできる。
　なお、補完処理は上述の方法に限られるものではなく、コストや回路規模および処理精度や処理の容易性等を考慮して、撮像システムに最適な補完処理方法を用いるようにすればよい。
　＜４－８．他の実施例＞
　次に、他の実施例について説明する。偏光撮像部の画素配列は、図３，図５の（ａ）に示す配列に限られない。図２６，２７，２８は、画素配列の他の構成を例示している。
　図２６は、偏光画素が白黒画素である場合を例示している。図２６の（ａ）の画素配列は、２×２画素領域に三原色の画素をベイヤー配列として設けている。また、偏光画素ブロックは、カラーフィルタが設けられていない２×２画素領域として例えば偏光方向が０度、４５度、９０度、１３５度の偏光画素で構成している。
　図２６の（ｂ）の画素配列は、２×２画素領域を色単位として、４×４画素領域に三原色の色単位をベイヤー配列として設けている。また、４×４画素領域の中央の２×２画素領域を偏光画素ブロックとして、例えば偏光方向が０度、４５度、９０度、１３５度の偏光画素で構成している。
　図２６の（ｃ）の画素配列は、２×２画素領域を色単位として、４×４画素領域に三原色の色単位をベイヤー配列として設けている。また、４×４画素領域の中央から右方向に１画素分だけオフセットした２×２画素領域を偏光画素ブロックとして、例えば偏光方向が０度、４５度、９０度、１３５度の偏光画素で構成している。なお、各色成分の無偏光画素と白黒画素である偏光画素の配列は図２６の配列に限らず他の配列であってもよい。
　上述の実施例では、偏光画素が白黒画素である場合を例示したが、図２７は偏光画素がカラー画素である場合を示している。なお、図２７では、カラー画素と偏光画素の位置関係を容易に把握できるように、カラーフィルタ２２と偏光フィルタ２３を個々に示している。
　図２７の（ａ）の画素配列は、カラーフィルタ２２における２×２画素領域を色単位として、４×４画素領域に三原色の画素をベイヤー配列として設けている。また、偏光フィルタ２３における２×２画素領域を偏光画素ブロックとして、例えば偏光方向が０度、４５度、９０度、１３５度の偏光画素で構成している。さらに、三原色の画素をベイヤー配列として設けた４×４画素領域に、４つの偏光画素ブロックを設けている。
　図２７の（ｂ）の画素配列は、カラーフィルタ２２における２×２画素領域に三原色の画素をベイヤー配列として設けている。また、偏光フィルタ２３における２×２画素領域が偏光方向単位で、４×４画素領域を偏光画素ブロックとして、偏光画素ブロックを例えば偏光方向が０度、４５度、９０度、１３５度の偏光画素で構成している。さらに、三原色の画素をベイヤー配列として設けた２×２画素領域からなる４×４画素領域に偏光画素ブロックを設けている。
　図２８は、偏光方向が異なる偏光画素を分散して設けた場合を例示している。上述の図３，図２６，２７では、偏光方向が異なる偏光画素で構成された偏光画素ブロックを所定の画素間隔で繰り返し設ける場合を例示したが、偏光画素は分散して設けてもよい。
　図２８の（ａ）の画素配列は、２×２画素領域を色単位として、４×４画素領域に三原色の画素をベイヤー配列として設けている。また偏光画素は、例えばベイヤー配列である４×４画素領域の１つの画素が偏光画素（白黒画素）とされており、４つの４×４画素領域の偏光画素は異なる偏光方向とされている。
　このように、偏光画素を分散して設けた場合、情報生成部３１は、偏光方向毎に偏光画素の画素値を他の偏光方向の画素位置の画素値として、図２８の（ｂ）に示すように疎偏光情報を生成する。補完対象偏光情報生成部３２は、疎偏光情報に基づき補完対象偏光情報を生成して、補完処理部３３は補完対象偏光情報の補完処理を行い画像情報に対応した所望の情報種類である高解像の偏光情報を生成する。なお、偏光方向が異なる偏光画素を分散して設ける場合、図２８の（ｃ）に示すように、２×２画素領域に三原色の画素をベイヤー配列として設けて、偏光画素は、例えばベイヤー配列である２×２画素領域の１つの画素を偏光画素（白黒画素）として、４つの２×２画素領域の偏光画素は異なる偏光方向としてもよい。このように、偏光方向が異なる偏光画素を分散して設けた場合でも、偏光方向が異なる偏光画素を偏光画素ブロックとして設ける場合と同様に、画像情報に対応した所望の情報種類である高解像の偏光情報を生成できる。
　また、偏光撮像部２０では、偏光画素を白黒画素とすれば、偏光画素にカラーフィルタを設けた場合に比べて感度が高くロバストに偏光情報を生成できる。また、偏光画素にカラーフィルタを設けた場合、偏光画素の色について偏光情報を取得できるので、種々のアプリケーションで偏光情報を利用する際に有利となることが多い。
　偏光画素の間隔は、図３の画素配列で示した間隔を狭くしてもよく、広くしてもよい。図２９は、偏光画素の間隔と特性の関係を示している。偏光画素（偏光画素ブロック）の間隔を狭くなるに伴い偏光画素の割合が高く高解像となり、間隔が広くなるに伴い偏光画素の割合が低く低解像となる。偏光画素の割合が高くなるとカラー画素の減少が多くなりＲＧＢ画像情報の画質低下は大きくなり、偏光画素の割合が低くなるとカラー画素の減少が少なくＲＧＢ画像情報の画質低下は小さくなる。また、偏光画素の割合が高くなると偏光情報の補完処理の難易度は低く、偏光画素の割合が低くなると偏光情報の補完処理の難易度は高くなる。したがって、偏光画素の間隔は、許容可能なＲＧＢ画像情報の画質低下と補完処理の演算コスト等を考慮して設定すればよい。
　また、本技術では偏光成分毎の疎偏光情報から所望の情報種類の偏光情報を示す補完対象偏光情報を生成して、ＲＧＢ画像情報と補完対象偏光情報を用いた補完処理によってＲＧＢ画像情報に対応した高解像である所望の情報種類の偏光情報を生成した。しかし、補完処理に用いる補完対象偏光情報は、所望の情報種類の偏光情報に限らず偏光成分毎の疎偏光情報であってもよい。この場合、ＲＧＢ画像情報に対応した解像度である偏光成分毎の偏光情報を生成して、この偏光成分毎の偏光情報を画素位置毎に用いて所望の情報種類の偏光情報（ストークス成分，偏光度，偏光位相，法線等）を算出しても、ＲＧＢ画像情報に対応した高解像である所望の情報種類の偏光情報を生成できる。
　さらに、情報処理部３０は、ユーザからの指示に基づき、高画質で高解像の画像情報とユーザが所望する情報種類の偏光情報を出力するように情報生成部や補完対象偏光情報生成部および補完処理部の動作を切り替える構成としてもよい。例えば、撮像システムは、ユーザが上述の実施例を選択できるように情報処理部３０を構成すれば、自由度の高いシステムを提供できるようになる。
　＜５．応用例＞
　本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。また、工場における生産工程で用いられる機器や建設分野で用いられる機器に搭載される装置として実現されてもよい。このような分野に適用すれば、高感度で高解像な画像情報と高解像の偏光情報を取得できるので、周辺環境を精度よく容易に把握できるようになり、運転者や作業者の疲労を軽減できる。また、自動運転等をより安全に行うことが可能となる。
　本開示に係る技術は、医療分野へ適用することもできる。例えば、手術を行う際に術部の撮像に適用すれば、術部の高感度で高解像な画像情報や高解像の偏光情報に基づき三次元形状や反射のない画像を精度よく得られるようになり、術者の疲労軽減や安全に且つより確実に手術を行うことが可能になる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからセルラーに代表されるＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　また、本技術の情報処理装置は以下のような構成も取ることができる。
　（１）　所定の画素間隔で設けられた複数の異なる偏光方向の偏光画素と前記偏光画素よりも画素数の多い無偏光画素で構成された偏光撮像部から読み出した画素情報に基づき生成された疎偏光情報を用いて、所望の情報種類の補完対象偏光情報を生成する補完対象偏光情報生成部と、
　前記偏光撮像部から読み出した画素情報に基づいて生成された画像情報を用いて、前記補完対象偏光情報生成部で生成された補完対象偏光情報の補完処理を行い、前記補完対象偏光情報よりも高解像の偏光情報を生成する補完処理部と
を備える情報処理装置。
　（２）　前記疎偏光情報は、前記偏光画素の画素位置ごとの偏光情報を前記偏光方向毎に示す情報であり、
　前記補完対象偏光情報生成部は、前記偏光画素の画素位置ごとに、所望の情報種類の偏光情報を前記補完対象偏光情報として生成する（１）に記載の情報処理装置。
　（３）　前記補完対象偏光情報生成部は、前記補完対象偏光情報に前記複数の異なる偏光方向の偏光画素の画素情報から算出した無偏光輝度もしくは平均輝度を示すストークス成分を含める（１）または（２）に記載の情報処理装置。
　（４）　前記補完対象偏光情報生成部は、前記補完対象偏光情報に前記偏光画素の画素位置を示す偏光画素マスクを含める（１）乃至（３）の何れかに記載の情報処理装置。
　（５）　前記所望の情報種類は、偏光方向毎の画素情報、ストークス成分、偏光度、偏光位相、法線情報、偏光特性の少なくとも何れかである（１）乃至（４）の何れかに記載の情報処理装置。
　（６）　前記所望の情報種類は、ユーザ操作に応じて切り替え可能とする（５）に記載の情報処理装置。
　（７）　前記補完処理部は、フィルタを用いた補完処理を行い前記高解像の偏光情報を生成する（１）乃至（６）の何れかに記載の情報処理装置。
　（８）　前記補完処理部は、機械学習を用いた補完処理を行い前記高解像の偏光情報を生成する（１）乃至（６）の何れかに記載の情報処理装置。
　（９）　前記補完処理部は、前記高解像の偏光情報として、前記画像情報と等しい解像度の偏光情報を生成する（１）乃至（８）の何れかに記載の情報処理装置。
　（１０）　前記偏光撮像部から読み出した画素情報に基づいて、前記画像情報と前記疎偏光情報を生成する情報生成部をさらに備える（１）乃至（９）の何れかに記載の情報処理装置。
　（１１）　前記偏光撮像部の前記偏光画素は白黒画素である（１）乃至（１０）の何れかに記載の情報処理装置。
　（１２）　前記偏光撮像部の前記偏光画素はカラー画素である（１）乃至（１０）の何れかに記載の情報処理装置。
　（１３）　前記偏光撮像部では、前記複数の異なる偏光方向の偏光画素で構成された偏光画素ブロックを所定の画素間隔で設けた（１）乃至（１２）の何れかに記載の情報処理装置。
　（１４）　前記偏光撮像部では、前記複数の異なる偏光方向の偏光画素を所定の画素間隔で分散して設けた（１）乃至（１２）の何れかに記載の情報処理装置。
　（１５）　前記偏光撮像部をさらに備える（１）乃至（１４）の何れかに記載の情報処理装置。
　１０…撮像システム、２０…偏光撮像部、２１…イメージセンサ
　２２…カラーフィルタ、２３…偏光フィルタ、３０…情報処理部
　３１…情報生成部、３２…補完対象偏光情報生成部、３３…補完処理部

Claims (17)

  1. 　所定の画素間隔で設けられた複数の異なる偏光方向の偏光画素と前記偏光画素よりも画素数の多い無偏光画素で構成された偏光撮像部から読み出した画素情報に基づき生成された疎偏光情報を用いて、所望の情報種類の補完対象偏光情報を生成する補完対象偏光情報生成部と、
    　前記偏光撮像部から読み出した画素情報に基づいて生成された画像情報を用いて、前記補完対象偏光情報生成部で生成された補完対象偏光情報の補完処理を行い、前記補完対象偏光情報よりも高解像の偏光情報を生成する補完処理部と
    を備える情報処理装置。
  2. 　前記疎偏光情報は、前記偏光画素の画素位置ごとの偏光情報を前記偏光方向毎に示す情報であり、
    　前記補完対象偏光情報生成部は、前記偏光画素の画素位置ごとに、所望の情報種類の偏光情報を前記補完対象偏光情報として生成する
    請求項１に記載の情報処理装置。
  3. 　前記補完対象偏光情報生成部は、前記補完対象偏光情報に前記複数の異なる偏光方向の偏光画素の画素情報から算出した無偏光輝度もしくは平均輝度を示すストークス成分を含める
    請求項１に記載の情報処理装置。
  4. 　前記補完対象偏光情報生成部は、前記補完対象偏光情報に前記偏光画素の画素位置を示す偏光画素マスクを含める
    請求項１に記載の情報処理装置。
  5. 　前記所望の情報種類は、偏光方向毎の画素情報、ストークス成分、偏光度、偏光位相、法線情報、偏光特性モデルパラメータの少なくとも何れかである
    請求項１に記載の情報処理装置。
  6. 　前記所望の情報種類は、ユーザ操作に応じて切り替え可能とする
    請求項５に記載の情報処理装置。
  7. 　前記補完処理部は、フィルタを用いた補完処理を行い前記高解像の偏光情報を生成する
    請求項１に記載の情報処理装置。
  8. 　前記補完処理部は、機械学習を用いた補完処理を行い前記高解像の偏光情報を生成する
    請求項１に記載の情報処理装置。
  9. 　　前記補完処理部は、前記高解像の偏光情報として、前記画像情報と等しい解像度の偏光情報を生成する
    請求項１に記載の情報処理装置。
  10. 　前記偏光撮像部から読み出した画素情報に基づいて、前記画像情報と前記疎偏光情報を生成する情報生成部をさらに備える
    請求項１に記載の情報処理装置。
  11. 　前記偏光撮像部の前記偏光画素は白黒画素である
    請求項１に記載の情報処理装置。
  12. 　前記偏光撮像部の前記偏光画素はカラー画素である
    請求項１に記載の情報処理装置。
  13. 　前記偏光撮像部では、前記複数の異なる偏光方向の偏光画素で構成された偏光画素ブロックを所定の画素間隔で設けた
    請求項１に記載の情報処理装置。
  14. 　前記偏光撮像部では、前記複数の異なる偏光方向の偏光画素を所定の画素間隔で分散して設けた
    請求項１に記載の情報処理装置。
  15. 　前記偏光撮像部をさらに備える
    請求項１に記載の情報処理装置。
  16. 　所定の画素間隔で設けられた複数の異なる偏光方向の偏光画素と前記偏光画素よりも画素数の多い無偏光画素で構成された偏光撮像部から読み出した画素情報に基づき生成された疎偏光情報を用いて、所望の情報種類の補完対象偏光情報を補完対象偏光情報生成部で生成することと、
    　前記偏光撮像部から読み出した画素情報に基づいて生成された画像情報を用いて、前記補完対象偏光情報生成部で生成された補完対象偏光情報の補完処理を行い、前記補完対象偏光情報よりも高解像の偏光情報を補完処理部で生成すること
    を含む情報処理方法。
  17. 　偏光撮像部から取得した画素情報の処理をコンピュータで実行させるプログラムであって、
    　所定の画素間隔で設けられた複数の異なる偏光方向の偏光画素と前記偏光画素よりも画素数の多い無偏光画素で構成された前記偏光撮像部から読み出した画素情報に基づき生成された疎偏光情報を用いて、所望の情報種類の補完対象偏光情報を生成する手順と、
    　前記偏光撮像部から読み出した画素情報に基づいて生成された画像情報を用いて、前記補完対象偏光情報の補完処理を行い、前記補完対象偏光情報よりも高解像の偏光情報を生成する手順と、
    を前記コンピュータで実行させるプログラム。
PCT/JP2022/037151 2021-11-30 2022-10-04 情報処理装置と情報処理方法とプログラム WO2023100467A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-194075 2021-11-30
JP2021194075 2021-11-30

Publications (1)

Publication Number Publication Date
WO2023100467A1 true WO2023100467A1 (ja) 2023-06-08

Family

ID=86611989

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/037151 WO2023100467A1 (ja) 2021-11-30 2022-10-04 情報処理装置と情報処理方法とプログラム

Country Status (1)

Country Link
WO (1) WO2023100467A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016076009A (ja) * 2014-10-03 2016-05-12 ソニー株式会社 信号処理装置、および信号処理方法、撮像装置、電子機器、並びにプログラム
JP2019004204A (ja) * 2017-06-12 2019-01-10 住友電工システムソリューション株式会社 画像処理装置、画像出力装置およびコンピュータプログラム
WO2021140873A1 (ja) * 2020-01-09 2021-07-15 ソニーグループ株式会社 画像処理装置と画像処理方法および撮像装置
WO2021187223A1 (ja) * 2020-03-17 2021-09-23 ソニーグループ株式会社 イメージセンサおよびカメラ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016076009A (ja) * 2014-10-03 2016-05-12 ソニー株式会社 信号処理装置、および信号処理方法、撮像装置、電子機器、並びにプログラム
JP2019004204A (ja) * 2017-06-12 2019-01-10 住友電工システムソリューション株式会社 画像処理装置、画像出力装置およびコンピュータプログラム
WO2021140873A1 (ja) * 2020-01-09 2021-07-15 ソニーグループ株式会社 画像処理装置と画像処理方法および撮像装置
WO2021187223A1 (ja) * 2020-03-17 2021-09-23 ソニーグループ株式会社 イメージセンサおよびカメラ

Similar Documents

Publication Publication Date Title
US8754957B2 (en) Image processing apparatus and method
WO2020213238A1 (ja) 撮像装置と画像処理装置および画像処理方法
US8890942B2 (en) Camera module, image processing apparatus, and image processing method
JP5404376B2 (ja) カメラモジュール及び画像処理装置
WO2019198287A1 (ja) 情報処理装置と情報処理方法とプログラムおよびキャリブレーション装置
CN112106350A (zh) 固态成像装置、用于信息处理的装置和方法以及校准方法
WO2015174257A1 (ja) 画像処理装置、画像処理方法、撮像装置、電子機器、並びにプログラム
JP5927570B2 (ja) ３次元撮像装置、光透過部、画像処理装置、およびプログラム
CN110741632A (zh) 拍摄装置、拍摄元件以及图像处理方法
US11308592B2 (en) Image processing method, image processing apparatus, imaging apparatus, and storage medium, that correct a captured image using a neutral network
JP2011217087A (ja) 画像処理装置及びそれを用いた撮像装置
WO2023100467A1 (ja) 情報処理装置と情報処理方法とプログラム
JP2012156715A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム。
CN103460702B (zh) 彩色摄像元件及摄像装置
JP5631769B2 (ja) 画像処理装置
JP6592622B2 (ja) 画像処理装置、画像処理方法、およびカメラシステム
WO2018150695A1 (ja) 画像処理装置、画像処理方法、およびカメラシステム
JP5673186B2 (ja) 撮像装置及び撮像装置の補間処理方法
WO2020049816A1 (ja) 情報処理装置と情報処理方法およびプログラム
JP2013009172A (ja) 撮像装置及び画像生成方法
WO2019207886A1 (ja) 情報処理装置と情報処理方法およびプログラム
US20210211619A1 (en) Information generation device, information generation method and program
WO2022113568A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2023089956A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2022107530A1 (ja) 信号処理装置と信号処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22900901

Country of ref document: EP

Kind code of ref document: A1