WO2021172284A1 - 撮像装置及び方法 - Google Patents

撮像装置及び方法 Download PDF

Info

Publication number
WO2021172284A1
WO2021172284A1 PCT/JP2021/006660 JP2021006660W WO2021172284A1 WO 2021172284 A1 WO2021172284 A1 WO 2021172284A1 JP 2021006660 W JP2021006660 W JP 2021006660W WO 2021172284 A1 WO2021172284 A1 WO 2021172284A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarization
polarization angle
region
aperture
noise
Prior art date
Application number
PCT/JP2021/006660
Other languages
English (en)
French (fr)
Inventor
慶延 岸根
睦 川中子
和佳 岡田
友也 平川
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022503612A priority Critical patent/JP7326581B2/ja
Priority to CN202180014967.3A priority patent/CN115152205B/zh
Publication of WO2021172284A1 publication Critical patent/WO2021172284A1/ja
Priority to US17/884,537 priority patent/US20220385863A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125—Colour sequential image capture, e.g. using a colour wheel
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/007—Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light
    • G02B26/008—Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light in the form of devices for effecting sequential colour changes, e.g. colour wheels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout

Definitions

  • the present invention relates to an image pickup device and a method, and more particularly to an image pickup device and a method for capturing an image (multispectral image) of a plurality of wavelength bands.
  • Patent Document 1 captures an image (multispectral image) of three wavelength bands at a time by using a polarizing color filter plate having three light-transmitting regions and an image sensor provided with three polarizing filters. The technology to be used is described.
  • One embodiment according to the technique of the present disclosure provides an imaging device and method capable of capturing a high quality multispectral image.
  • Each aperture region has a different polarization angle and wavelength by having three or more aperture regions at or near the pupil position and each aperture region is provided with a different combination of polarizing filter and band pass filter.
  • Interference removal processing is performed on the optical system that transmits light with a combination of bands, the image sensor in which three or more types of pixels that receive light with different polarization angles are arranged in two dimensions, and the signal output from the image sensor.
  • An imaging device including a processor that generates an image signal for each aperture region, and when the optical system has three or more types of polarizing filters and the polarizing filters are arranged in the order of polarization angles, the polarized light is adjacent to each other.
  • An imaging device in which the difference in the polarization angles of the filters is at least one different.
  • the polarization angle set for each polarization filter is set to a polarization angle at which the difference in the amount of noise of the image signal in each aperture region is smaller than when all the differences are equal, (1) or (2). ) Imaging device.
  • the polarizing angle set for each polarizing filter is set to a polarization angle at which the amount of noise amplification due to interference removal processing is reduced as compared with the case where all the differences are equal. ..
  • the polarization angle set for each polarizing filter is set to a polarization angle that reduces the amount of interference between the image signal in the aperture region having relatively low sensitivity and the image signal in the other aperture region, (1) or. (2) Imaging device.
  • the polarization angle set for each polarization filter is set to a polarization angle at which the number of conditions of the interference matrix is lower than when all the differences are equal.
  • the polarization angle set for each polarization filter is set to the polarization angle that minimizes the number of conditions of the interference matrix, (1) or (2) Imaging device.
  • the optical system is an imaging device according to any one of (1) to (9), which has a rotating structure in which at least one of a bandpass filter and a polarizing filter rotates.
  • Each aperture region has a different polarization angle and wavelength by having three or more aperture regions at or near the pupil position and each aperture region is provided with a different combination of polarizing filter and band pass filter.
  • An optical system that transmits light with a combination of bands and an image sensor in which three or more types of pixels that receive light with different polarization angles are arranged in two dimensions are used to interfere with the signal output from the image sensor. This is an imaging method in which removal processing is performed to generate an image signal for each aperture region.
  • the optical system has three or more types of polarizing filters and the polarizing filters are arranged in the order of polarization angles, adjacent polarizing filters are used.
  • An imaging method in which at least one difference in polarization angle is different.
  • the polarization angle set for each polarization filter is set to a polarization angle at which the difference in the amount of noise of the image signal in each aperture region is smaller than when all the differences are equal, (12) or (13). ) Imaging method.
  • the polarization angle set for each polarizing filter is set to a polarization angle that reduces the amount of interference between the image signal in the aperture region having relatively low sensitivity and the image signal in the other aperture region, (12) or. (13) Imaging method.
  • the polarization angle set for each polarization filter is set to a polarization angle at which the number of conditions of the interference matrix is lower than when all the differences are equal. , (12) or (13).
  • the polarization angle set for each polarization filter is set to the polarization angle that minimizes the number of conditions of the interference matrix, (12) or (13). Imaging method.
  • FIG. 4 The figure which shows the schematic structure of the image pickup apparatus Front view of opening plate 3-3 sectional view of FIG. 4-4 sectional view of FIG.
  • the figure which shows the schematic structure of the image sensor A cross-sectional view showing a schematic configuration of one pixel (broken line portion in FIG. 6).
  • Block diagram showing a schematic configuration of a signal processing unit Conceptual diagram of image generation Conceptual diagram of the operation of the image pickup device
  • the figure which shows an example of the calculation of a noise amount The figure which shows another example of the calculation of a noise amount
  • the figure which shows an example of the polarization angle adjustment method The figure which shows an example of the polarization angle adjustment method
  • the figure which shows an example of the polarization angle adjustment method The figure which shows another example of the polarization angle adjustment method
  • FIG. 1 is a diagram showing a schematic configuration of an imaging device. As shown in the figure, the image pickup apparatus 1 includes an image pickup lens 10, an image sensor 100, and a signal processing unit 200.
  • the image pickup lens 10 is configured by combining a plurality of lenses 12.
  • the image pickup lens 10 is focused by moving a part of the lens group or the whole lens group back and forth along the optical axis L.
  • the image pickup lens 10 is an example of an optical system.
  • the image pickup lens 10 has an aperture plate 14 on the optical axis L.
  • the aperture plate 14 is arranged at or near the pupil position of the image pickup lens 10.
  • the vicinity of the pupil position means from the entrance pupil to the exit pupil.
  • FIG. 2 is a front view of the opening plate.
  • the opening plate 14 has three opening regions 14A, 14B, 14C.
  • the three opening regions 14A to 14C are distinguished, with the opening region 14A as the first opening region 14A, the opening region 14B as the second opening region 14B, and the opening region 14C as the third opening region 14C, if necessary.
  • the opening plate 14 has a disk shape and is divided into three equal parts in the circumferential direction to include three opening regions 14A to 14C.
  • FIG. 3 is a 3-3 cross-sectional view of FIG.
  • FIG. 4 is a 4-4 cross-sectional view of FIG.
  • each opening region 14A, 14B, 14C is provided with bandpass filters 16A, 16B, 16C and polarizing filters 18A, 18B, 18C, respectively.
  • the bandpass filter 16A provided in the first opening region 14A is the first bandpass filter 16A
  • the bandpass filter 16B provided in the second opening region 14B is the second bandpass filter 16B, the third opening.
  • the bandpass filter 16C provided in the region 14C is used as the third bandpass filter 16C, and the three bandpass filters 16A to 16C are distinguished.
  • the polarizing filter 18A provided in the first opening region 14A is used as the first polarizing filter 18A
  • the polarizing filter 18B provided in the second opening region 14B is used as the second polarizing filter 18B
  • the polarizing filter 18C provided in the third opening region 14C is used.
  • the third polarizing filter 18C three polarizing filters 18A to 18C are distinguished.
  • the types of bandpass filters 16A to 16C are different. That is, the wavelength band (transmission wavelength band) of the transmitted light is different.
  • the first bandpass filter 16A transmits light in the wavelength band ⁇ 1.
  • the second bandpass filter 16B transmits light in the wavelength band ⁇ 2.
  • the third bandpass filter 16C transmits light in the wavelength band ⁇ 3.
  • a wavelength band corresponding to each wavelength band of the multispectral image to be imaged is set. This example is an example in which an image having a wavelength band ⁇ 1, a wavelength band ⁇ 2, and a wavelength band ⁇ 3 is captured as a multispectral image.
  • the types of polarizing filters 18A to 18C are different. That is, the polarization angles (transmission polarization angles) of the transmitted light are different.
  • the first polarizing filter 18A transmits light (linearly polarized light) having a polarization angle ⁇ 1.
  • the second polarizing filter 18B transmits light (linearly polarized light) having a polarization angle ⁇ 2.
  • the third polarizing filter 18C transmits light (linearly polarized light) having a polarization angle ⁇ 3.
  • the polarization angle is set in the range of 0 ° or more and less than 180 °, where the horizontal is 0 °.
  • polarization angles that are not evenly spaced are set in each of the polarization filters 18A to 18C. That is, when the polarizing filters 18A to 18C are arranged in the order of the polarization angles, the polarization angles ⁇ 1 to ⁇ 1 to each of the polarizing filters 18A to 18C are different so that at least one difference in the polarization angles of the adjacent polarizing filters 18A to 18C is different.
  • ⁇ 3 is set. For example, it is assumed that the relationship between the polarization angles ⁇ 1 to ⁇ 3 of the three polarizing filters 18A to 18C is ⁇ 1 ⁇ 2 ⁇ 3.
  • the first polarizing filter 18A and the second polarizing filter 18B are in a relationship of adjacent polarizing filters
  • the second polarizing filter 18B and the third polarizing filter 18C are in a relationship of adjacent polarizing filters. Therefore, the difference between the polarization angles of the first polarizing filter 18A and the second polarizing filter 18B (
  • the specific setting method of the polarization angles ⁇ 1 to ⁇ 3 set in each of the polarizing filters 18A to 18C will be described later.
  • the aperture plate 14 is arranged at the pupil position of the image pickup lens 10 or near the pupil position.
  • the pupil region of the image pickup lens 10 is divided into three regions (three pupil regions). Specifically, the first pupil region defined by the first opening region 14A of the opening plate 14, the second pupil region defined by the second opening region 14B of the opening plate 14, and the second pupil region of the opening plate 14. It is divided into a third pupil region defined by the three aperture regions 14C.
  • the light incident on the image pickup lens 10 passes through each pupil region (each aperture region 4A, 14B, 14C) and is incident on the image sensor 100.
  • Each opening region 14A to 14C is provided with a bandpass filter 16A to 16C and a polarizing filter 18A to 18C, respectively. Therefore, light having different optical characteristics is incident on the image sensor 100 from each of the aperture regions 14A to 14C. Specifically, light having a wavelength band ⁇ 1 and a polarization angle ⁇ 1 is incident on the image sensor 100 from the first aperture region 14A. From the second aperture region 14B, light having a wavelength band ⁇ 2 and a polarization angle ⁇ 2 is incident on the image sensor 100. From the third aperture region 14C, light having a wavelength band ⁇ 3 and a polarization angle ⁇ 3 is incident on the image sensor 100.
  • the image sensor 100 of the present embodiment is composed of an image sensor (so-called polarized image sensor) in which each pixel is provided with a polarizing element (polarizing filter element).
  • FIG. 5 is a diagram showing a schematic configuration of the pixel arrangement of the image sensor.
  • the image sensor 100 has a plurality of types of pixels P1, P2, P3, and P4 on its light receiving surface.
  • the pixels P1 to P4 are regularly arranged at a constant pitch along the horizontal direction (x-axis direction) and the vertical direction (y-axis direction).
  • one pixel block PB (X, Y) is composed of four adjacent (2 ⁇ 2) pixels P1 to P4, and the pixel block PB (X, Y) is formed by the pixel block PB (X, Y).
  • the pixel block PB (X, Y) is formed by the pixel block PB (X, Y).
  • pixel P1 to P4 is distinguished by using pixel P1 as the first pixel P1, pixel P2 as the second pixel P2, pixel P3 as the third pixel P3, and pixel P4 as the fourth pixel P4, if necessary.
  • Each pixel P1 to P4 has different optical characteristics.
  • FIG. 6 is a diagram showing a schematic configuration of an image sensor.
  • FIG. 7 is a cross-sectional view showing a schematic configuration of one pixel (broken line portion in FIG. 6).
  • the image sensor 100 has a pixel array layer 110, a polarizing filter element array layer 120, and a microlens array layer 140. Each layer is arranged in the order of the pixel array layer 110, the polarizing filter element array layer 120, and the microlens array layer 140 from the image plane side to the object side.
  • the pixel array layer 110 is configured by arranging a large number of photodiodes 112 in two dimensions.
  • One photodiode 112 constitutes one pixel.
  • Each photodiode 112 is regularly arranged along the horizontal direction (x direction) and the vertical direction (y direction).
  • the polarizing filter element array layer 120 is configured by arranging four types of polarizing filter elements 122A, 122B, 122C, and 122D in two dimensions.
  • the polarizing filter element 122A is the first polarizing filter element 122A
  • the polarizing filter element 122B is the second polarizing filter element 122B
  • the polarizing filter element 122C is the third polarizing filter element 122C
  • the polarizing filter element 122D is the fourth.
  • each polarizing filter element 122A to 122D is distinguished.
  • the polarizing filter elements 122A to 122D are arranged at the same intervals as the photodiode 112, and are provided for each pixel.
  • the polarizing filter elements 122A to 122D have different polarization angles of the transmitted light.
  • the first polarizing filter element 122A transmits light having a polarization angle of ⁇ 1.
  • the second polarizing filter element 122B transmits light having a polarization angle of ⁇ 2.
  • the third polarizing filter element 122C transmits light having a polarization angle of ⁇ 3.
  • the fourth polarizing filter element 122D transmits light having a polarization angle of ⁇ 4.
  • the polarization angle is set in the range of 0 ° or more and less than 180 °, where the horizontal is 0 °.
  • the polarization angles ⁇ 1 to ⁇ 4 of the polarizing filter elements 122A to 122D are set so as to be evenly spaced. That is, when the polarization filter elements 122A to 122D are arranged in the order of the polarization angles, the polarization angles ⁇ 1 to ⁇ 4 of the polarization filter elements 122A to 122D are set so that the differences in the polarization angles of the adjacent polarizing filters are all equal. Will be done.
  • the polarization angle of the first polarizing filter element 122A is 0 °
  • the polarization angle of the second polarization filter element 122B is 45 °
  • the polarization angle of the third polarization filter element 122C is 90 °
  • the fourth polarization filter element 122D is set to 135 °.
  • the polarization angles ⁇ 1 to ⁇ 4 of the polarization filter elements 122A to 122D are set at intervals of 45 °.
  • FIG. 8 is a diagram showing an example of the arrangement pattern of the polarizing filter elements in each pixel block.
  • the first pixel P1 is the first polarizing filter element 122A
  • the second pixel P2 is the second polarizing filter element 122B
  • the third pixel P3 is the third polarizing filter element.
  • a fourth polarizing filter element 122D is provided on the 122C and the fourth pixel P4. Therefore, the first pixel P1 receives light (linearly polarized light) having a polarization angle of ⁇ 1.
  • Light (linearly polarized light) having a polarization angle of ⁇ 2 is received by the second pixel P2.
  • Light (linearly polarized light) having a polarization angle of ⁇ 3 is received by the third pixel P3.
  • Light (linearly polarized light) having a polarization angle of ⁇ 4 is received by the fourth pixel P4.
  • the microlens array layer 140 is configured by arranging a large number of microlenses 142 in two dimensions. Each microlens 142 is arranged at the same spacing as the photodiode 112 and is provided for each pixel. The microlens 142 is provided for the purpose of efficiently condensing the light from the image pickup lens 10 on the photodiode 112.
  • each pixel P1, P2, P3, P4 receives light from the image pickup lens 10 as follows. That is, the first pixel P1 receives light having a polarization angle ⁇ 1 via the first polarizing filter element 122A. The second pixel P2 receives light having a polarization angle ⁇ 2 via the second polarization filter element 122B. The third pixel P3 receives light having a polarization angle of ⁇ 3 via the third polarizing filter element 122C. The fourth pixel P4 receives light having a polarization angle of ⁇ 4 via the fourth polarization filter element 122D. In this way, each pixel P1, P2, P3, P4 of the pixel block PB (X, Y) receives light having different polarization angles ⁇ 1 to ⁇ 4.
  • the signal processing unit 200 processes the signal output from the image sensor 100 to generate an image signal (image data) of each aperture region 14A to 14C of the image pickup lens 10.
  • the bandpass filters 16A to 16C are provided in the aperture regions 14A to 14C of the image pickup lens 10. Therefore, by generating the image signals of the aperture regions 14A to 14C, the image signals of the images corresponding to the transmission wavelength bands ⁇ 1 to ⁇ 3 of the bandpass filters 16A to 16C are generated.
  • FIG. 9 is a block diagram showing a schematic configuration of a signal processing unit.
  • the signal processing unit 200 includes an analog signal processing unit 200A, an image generation unit 200B, and a coefficient storage unit 200C.
  • the analog signal processing unit 200A takes in an analog pixel signal output from each pixel of the image sensor 100, performs predetermined signal processing (for example, correlation double sampling processing, amplification processing, etc.), and then converts it into a digital signal. And output.
  • predetermined signal processing for example, correlation double sampling processing, amplification processing, etc.
  • the image generation unit 200B performs predetermined signal processing on the pixel signal after being converted into a digital signal to generate image signals of the aperture regions 14A, 14B, and 14C of the image pickup lens 10. That is, image signals in each wavelength band ⁇ 1 to ⁇ 3 are generated.
  • the image generation unit 200B is composed of a processor, and the processor executes a predetermined program to realize the function of the image generation unit 200B.
  • FIG. 10 is a conceptual diagram of image generation.
  • Each pixel block PB (X, Y) includes a first pixel P1, a second pixel P2, a third pixel P3, and a fourth pixel P4. Therefore, by separating and extracting the pixel signals of the first pixel P1, the second pixel P2, the third pixel P3, and the fourth pixel P4 from each pixel block PB (X, Y), the four image signals D1 and D2 , D3, D4 are generated. However, crosstalk occurs in these four image signals D1 to D4. That is, since the light from the aperture regions 14A to 14B is incident on the pixels P1 to P4, the generated image is a mixture of the images of the aperture regions 14A to 14C. Therefore, the image generation unit 200B performs a process of removing interference (interference removal process) to generate image signals of the opening regions 14A to 14C.
  • interference interference
  • the pixel signal (signal value) obtained from the first pixel P1 of each pixel block PB (X, Y) is ⁇ 1, the pixel signal obtained from the second pixel P2 is ⁇ 2, and the pixel signal obtained from the third pixel P3 is ⁇ 3.
  • ⁇ 4 be the pixel signal obtained by the fourth pixel P4.
  • the image generation unit 200B performs predetermined signal processing on the four pixel signals ⁇ 1 to ⁇ 4 to remove interference, and calculates the pixel signals ⁇ 1, ⁇ 2, and ⁇ 3 of the opening regions 14A to 14C.
  • the pixel signals ⁇ 1 to ⁇ 3 of each opening region 14A to 14C are calculated by Equation 1 using the following matrix (interference elimination matrix) A.
  • the pixel signal ⁇ 1 is a pixel signal corresponding to the first opening region 14A
  • the pixel signal ⁇ 2 is a pixel signal corresponding to the second opening region 14B
  • the pixel signal ⁇ 3 is a pixel signal corresponding to the third opening region 14C. Therefore, the pixel signal ⁇ 1 has an image signal corresponding to the first aperture region 14A
  • the pixel signal ⁇ 2 has an image signal corresponding to the second aperture region 14B
  • the pixel signal ⁇ 3 has an image signal corresponding to the third aperture region 14C. Will be generated.
  • the interference elimination matrix A is obtained as follows.
  • B11 is the ratio at which the pixel signal ⁇ 1 of the first opening region 14A interferes with the pixel signal ⁇ 1 of the first pixel P1.
  • b12 is the ratio of interference between the pixel signal ⁇ 1 of the first pixel P1 and the pixel signal ⁇ 2 of the second opening region 14B.
  • b13 is the ratio of interference between the pixel signal ⁇ 1 of the first pixel P1 and the pixel signal ⁇ 3 of the third opening region 14C.
  • B21 is the ratio at which the pixel signal ⁇ 1 of the first opening region 14A interferes with the pixel signal ⁇ 2 of the second pixel P2.
  • b22 is the ratio at which the pixel signal ⁇ 2 of the second opening region 14B interferes with the pixel signal ⁇ 2 of the second pixel P2.
  • b23 is the ratio at which the pixel signal ⁇ 3 of the third opening region 14C interferes with the pixel signal ⁇ 2 of the second pixel P2.
  • B31 is the ratio at which the pixel signal ⁇ 1 of the first opening region 14A interferes with the pixel signal ⁇ 3 of the third pixel P3.
  • b32 is the ratio at which the pixel signal ⁇ 2 of the second opening region 14B interferes with the pixel signal ⁇ 3 of the third pixel P3.
  • b33 is the ratio at which the pixel signal ⁇ 3 of the third opening region 14C interferes with the pixel signal ⁇ 3 of the third pixel P3.
  • B41 is the ratio at which the pixel signal ⁇ 1 of the first opening region 14A interferes with the pixel signal ⁇ 4 of the fourth pixel P4.
  • b42 is the ratio at which the pixel signal ⁇ 2 of the second opening region 14B interferes with the pixel signal ⁇ 4 of the fourth pixel P4.
  • b43 is the ratio at which the pixel signal ⁇ 3 of the third opening region 14C interferes with the pixel signal ⁇ 4 of the fourth pixel P4.
  • Equation 5 the simultaneous equations of the above equations 2 to 5 can be expressed by the following equation 6 using the matrix (interference matrix) B.
  • the interference matrix B is a matrix whose element is the ratio biz in which the pixel signals ⁇ 1 to ⁇ 4 of the pixels P1 to P4 are interfered with the pixel signals ⁇ 1 to ⁇ 3 of the opening regions 14A to 14C.
  • ⁇ 1 to ⁇ 3 which are the solutions of the simultaneous equations of equations 2 to 5, are calculated by multiplying both sides of the above equation 6 by the inverse matrix B -1 of the interference matrix B.
  • the pixel signals ⁇ 1 to ⁇ 3 of the opening regions 14A to 14C are the signal values (pixel signals) ⁇ 1 to ⁇ 4 of the pixels P1 to P4 of each pixel block PB (X, Y) by using the above equation 7. Can be calculated from.
  • the coefficient storage unit 200C stores each element aij of the matrix A for performing the interference removal process as a coefficient group.
  • the coefficient storage unit 200C is composed of storage devices such as a ROM (ReadOnlyMemory), an EEPROM (ErasableProgrammableRead-onlyMemory), and an HDD (Hard Disk Drive), for example.
  • the image generation unit 200B acquires a coefficient group from the coefficient storage unit 200C, and from the pixel signals ⁇ 1 to ⁇ 4 obtained from the pixels P1 to P4 of each pixel block PB (X, Y), each opening region is according to the above equation 1. Pixel signals ⁇ 1 to ⁇ 3 of 14A to 14C are calculated, and image signals of each opening region 14A to 14C are generated.
  • the generated image signal is an image signal in the wavelength bands ⁇ 1 to ⁇ 3 of the light transmitted through each of the aperture regions 14A to 14C.
  • the image signals of the opening regions 14A to 14C generated by the image generation unit 200B are output to the outside and stored in a storage device (not shown) as needed. In addition, it is displayed on a display (not shown) as needed.
  • FIG. 11 is a conceptual diagram of the operation of the image pickup apparatus.
  • the light incident on the imaging lens 10 passes through the first aperture region (first pupil region) 14A, the second aperture region (second pupil region) 14B, and the third aperture region (third pupil region) 14C. It is incident on the image sensor 100.
  • first aperture region first pupil region
  • second aperture region second pupil region
  • third aperture region third pupil region
  • three types of light having different characteristics are formed and incident on the image sensor 100. Specifically, light having a wavelength band ⁇ 1 and a polarization angle ⁇ 1 is incident on the image sensor 100 from the first aperture region 14A. From the second aperture region 14B, light having a wavelength band ⁇ 2 and a polarization angle ⁇ 2 is incident on the image sensor 100. From the third aperture region 14C, light having a wavelength band ⁇ 3 and a polarization angle ⁇ 3 is incident on the image sensor 100.
  • the signal processing unit 200 processes the signal output from the image sensor 100 to generate the image signals of the opening regions 14A to 14C. That is, the signals obtained from the pixels P1 to P4 of the image sensor 100 are subjected to interference removal processing to generate image signals in the aperture regions 14A to 14C. Since the aperture regions 14A to 14C transmit light in different wavelength bands ⁇ 1 to ⁇ 3, the image signals in the three wavelength bands ⁇ 1 to ⁇ 3 are generated by generating the image signals in the aperture regions 14A to 14C. NS.
  • the image pickup apparatus 1 of the present embodiment it is possible to capture an image (multispectral image) of a plurality of wavelength bands with one shot.
  • the sensitivity of light transmitted through each aperture region (sensitivity of light in each wavelength band) I is determined from the spectral characteristics of the light source, the spectral characteristics of the bandpass filter, the spectral characteristics of the imaging lens, and the spectral characteristics of the image sensor. It is determined and expressed by the following equation.
  • the sensitivity of the light transmitted through each aperture region is determined by multiplying the brightness intensity of the light source, the bandpass filter, the image pickup lens, and the image sensor in the wavelength band of the light transmitted through each aperture region.
  • the amount of noise of each image is determined by "sensitivity of light transmitted through each aperture region” and “noise amplification amount by interference removal processing”. Further, the “noise amplification amount due to the interference removal processing” is determined by the interference amount of the image signal in each aperture region.
  • the polarization angle of the polarizing filter provided in each aperture region is adjusted to adjust the amount of interference of the image signal in each aperture region, and the amount of noise in the image in each aperture region is controlled. Specifically, by reducing the amount of interference between the image signal in the aperture region having relatively low sensitivity and the image signal in the other aperture region, the amount of noise in the image in the aperture region having relatively low sensitivity is reduced. , Produces a good multispectral image as a whole.
  • the following relationship holds between the pixel signals ⁇ 1 to ⁇ 4 of the pixels P1 to P4 of the image sensor 100 and the pixel signals ⁇ 1 to ⁇ 3 of the aperture regions 14A to 14C.
  • Matrix B is an interference matrix
  • the noise amount of the pixel signals ⁇ 1 to ⁇ 4 of each pixel P1 to P4 is 1
  • Abs (B -1 ) is a function that returns the absolute value of the inverse matrix B -1 of the matrix B.
  • Sum (B) is a function that returns the sum of the array elements of the matrix B. That is, the columns of the interference matrix B are treated as vectors, and the sum of each columns is returned as a row vector.
  • the amount of noise of the pixel signals ⁇ 1 to ⁇ 4 of each pixel P1 to P4 represents the amount of noise of a so-called RAW image (the image generated by the pixel signals ⁇ 1 to ⁇ 4 of each pixel P1 to P4), and the amount of noise of each opening region 14A to 14C.
  • the amount of noise of the pixel signals ⁇ 1 to ⁇ 3 represents the amount of noise of the image signal of each opening region 14A to 14C.
  • FIG. 12 is a diagram showing an example of calculating the amount of noise.
  • An example of calculating the amount of noise in is shown.
  • the amount of interference is obtained by the square of the cosine (cos) of the angle difference between the polarization angles set in the opening regions 14A to 14C and the polarization angles set in the pixels P1 to P4. Therefore, the ratio bij in which the pixel signal of the i-th pixel and the pixel signal of the j-th aperture region interfere with each other is calculated by cos2 (
  • ⁇ i is the polarization angle of the polarization filter element provided in the i-th pixel
  • ⁇ j is the polarization angle of the polarization filter provided in the j-th aperture region.
  • FIG. 13 is a diagram showing another example of calculating the noise amount.
  • the figure shows an example of calculating the amount of noise when the sensitivities of the light transmitted through the opening regions 14A to 14C are different.
  • the sensitivity of the light transmitted through the third opening region 14C is 40% of the sensitivity of the light transmitted through the other opening region.
  • the noise of the image signal in the third aperture region 14C, which has low sensitivity, increases.
  • the polarization angles ⁇ 1 to ⁇ 3 of the polarizing filters 18A to 18C provided in the aperture regions 14A to 14C are adjusted to adjust the amount of interference of the image signals in the aperture regions 14A to 14C, and the aperture region having a relatively low sensitivity is adjusted. Reduce the amount of noise in the image.
  • a method (setting method) for adjusting the polarization angles ⁇ 1 to ⁇ 3 will be described with reference to specific examples.
  • the relationship between the sensitivity of the light transmitted through the third aperture region and the sensitivity of the light transmitted through the third aperture region> the sensitivity of the light transmitted through the second aperture region is established.
  • the sensitivity of light transmitted through the first aperture region is synonymous with the sensitivity of light in the wavelength band ⁇ 1.
  • the sensitivity of light transmitted through the second aperture region is synonymous with the sensitivity of light in the wavelength band ⁇ 2.
  • the sensitivity of light transmitted through the third aperture region is synonymous with the sensitivity of light in the wavelength band ⁇ 3.
  • FIG. 14 is a diagram showing an example of a method for adjusting the polarization angle.
  • Table (A) shows a comparative example
  • Table (B) shows an adjustment example.
  • the polarization angles of the aperture regions 14A to 14C (polarization angles of the polarizing filters 18A to 18C provided in the aperture regions 14A to 14C) ⁇ 1 to ⁇ 3 are set at equal intervals.
  • the amount of noise is calculated (when the differences between adjacent polarizing filters are all equal when the polarization angles of the polarizing filters provided in each aperture region are in angular order).
  • the polarization angles ⁇ 1 to ⁇ 3 of each aperture region 14A to 14C are adjusted as follows. That is, the polarization angles ⁇ 1 to ⁇ 3 of the aperture regions 14A to 14C are adjusted so that the amount of interference between the image signal in the aperture region having relatively low sensitivity and the image signal in the other aperture region is reduced. Specifically, the polarization angles of the other aperture regions are separated from the polarization angles of the aperture regions having relatively low sensitivity.
  • the polarization angle ⁇ 1 of the first opening region 14A and the polarization angle ⁇ 3 of the third opening region 14C are separated from the polarization angle ⁇ 2 of the second opening region 14B. Specifically, the polarization angle ⁇ 1 of the first opening region 14A and the polarization angle ⁇ 3 of the third opening region 14C are shifted from the equidistant state in the directions away from the polarization angle ⁇ 2 of the second opening region 14B, respectively.
  • Table (B) of FIG. 14 shows an example in the case of being displaced by 20 ° from the state of equal intervals.
  • the noise amount of the image signal in the second aperture region 14B is reduced.
  • the amount of noise of the image signals in the first opening region 14A and the third opening region 14C is larger than that in the case of equal intervals.
  • the difference between the adjacent change angles in the order of angles is
  • 80 ° and
  • 20 °, which are different angular intervals.
  • the polarization angles ⁇ 1 to ⁇ 3 of each aperture region 14A to 14C are adjusted as follows. That is, the polarization angles of the relatively low-sensitivity aperture regions are separated from each other. Specifically, by separating the polarization angle ⁇ 1 of the first opening region 14A and the polarization angle ⁇ 3 of the third opening region 14C, the image signals of the first opening region 14A and the third opening region 14C having relatively low sensitivity are separated. The separability is improved, and the amount of noise in the image signals of the first opening region 14A and the third opening region 14C, which have relatively low sensitivity, is reduced. In this case, the polarization angle ⁇ 1 of the first opening region 14A and the polarization angle ⁇ 3 of the third opening region 14C are adjusted so as to approach the polarization angle ⁇ 2 of the second opening region 14B, respectively.
  • Table (B) of FIG. 15 shows an example in which the polarization angle ⁇ 1 of the first opening region 14A and the polarization angle ⁇ 3 of the third opening region 14C are shifted by 10 ° from the equidistant state.
  • the polarization angle ⁇ 1 of the first opening region 14A is set to 10 °
  • the polarization angle ⁇ 3 of the third opening region 14C is set to 110 °.
  • the noise amount of the image signals in the first opening region 14A and the third opening region 14C is reduced. Further, as a result, the difference in the amount of noise between the images is reduced, and a more preferable image can be obtained as a whole.
  • the sensitivity of the light transmitted through the first opening region 14A is 50% of the sensitivity of the light transmitted through the second opening region 14B, and the sensitivity of the light transmitted through the third opening region 14C is transmitted through the second opening region 14B.
  • the case where the light sensitivity is 20% will be described as an example.
  • the sensitivity of the light transmitted through the second opening region 14B is 1
  • the sensitivity of the light transmitted through the first opening region 14A is 0.5
  • the sensitivity of the light transmitted through the third opening region 14C is 0.2. It becomes.
  • the relationship of the sensitivity of the light transmitted through the second opening region> the sensitivity of the light transmitted through the first opening region> the sensitivity of the light transmitted through the third opening region is established. ..
  • FIG. 16 is a diagram showing an example of a method for adjusting the polarization angle.
  • Table (A) shows a comparative example
  • Table (B) shows an adjustment example.
  • the polarization angles ⁇ 1 to ⁇ 3 of each aperture region 14A to 14C are adjusted as follows. That is, by separating the polarization angle of the other aperture region from the polarization angle of the relatively insensitive aperture region, the separability of the image signal in the relatively insensitive aperture region is improved, and the aperture with relatively low sensitivity is improved. Reduces the amount of noise in the image signal in the region.
  • the polarization angle ⁇ 1 of the first opening region 14A and the polarization angle ⁇ 2 of the second opening region 14B are brought close to each other.
  • the separability of the image signal of the first opening region 14A and the image signal of the second opening region 14B is lowered, while the separability of the image signal of the third opening region 14C is improved, and the third aperture having relatively low sensitivity is improved.
  • the amount of noise of the image signal in the region 14C is reduced.
  • Table (B) of FIG. 16 shows an example in which the polarization angle ⁇ 1 of the first opening region 14A is shifted by 30 ° in the direction approaching the polarization angle ⁇ 2 of the second opening region 14B from the state of equal intervals.
  • the polarization angle ⁇ 1 of the first opening region 14A is set to 30 °.
  • the noise amount of the image signal in the third aperture region 14C is reduced. Further, as a result, the difference in the amount of noise between the images is reduced, and a more preferable image can be obtained as a whole.
  • FIG. 17 is a diagram showing another example of the method of adjusting the polarization angle.
  • the figure shows an example of the case where further adjustment is added from the above adjustment (adjustment described with reference to FIG. 16).
  • Table (A) shows the state after the adjustment.
  • Table (B) shows the state after further adjustment.
  • Table (B) shows an example in which the polarization angle ⁇ 3 of the third opening region 14C is shifted by 10 ° in the direction away from the polarization angle ⁇ 2 of the second opening region 14B.
  • the polarization angle ⁇ 3 of the third opening region 14C is set to 130 °.
  • the polarization angle of each aperture region is adjusted and set based on the sensitivity of the light transmitted through each aperture region. At that time, the difference in the amount of noise of the image signals in each aperture region is set to be smaller than when the intervals are equal (when all the differences are equal). Preferably, the polarization angle is set to minimize the difference in the amount of noise of the image signals in each aperture region.
  • the "minimization" here includes a case where it can be regarded as a substantially minimized state, that is, a substantially minimum state.
  • the amount of noise amplification due to the interference removal process is set to be smaller than when the intervals are equal. do.
  • the polarization angle of each aperture region is set so that the amount of interference between the image signal in the aperture region having relatively low sensitivity and the image signal in the other aperture region is reduced. It should be noted that preferably, the polarization angle of each opening region is set so that the amount of noise amplification due to the interference removal processing is minimized (including almost the minimum).
  • the noise generated in the images of the aperture regions 14A to 14C (images of each wavelength band ⁇ 1 to ⁇ 3) after the interference removal process can also be evaluated by the standard deviation (STD), the number of conditions of the interference matrix B, and the like.
  • the evaluation value of noise based on the standard deviation can be calculated by the following method, for example.
  • the noise of the pixel signal of each pixel P1 to P4 of the image sensor is set (for example, a random number of ⁇ 1), and the noise is multiplied by the interference elimination matrix to obtain an image of each opening region 14A to 14C.
  • the noise value of the signal is calculated.
  • the above calculation is performed a plurality of times (for example, 100 times) while changing the initial value with a random number or the like.
  • a plurality of noise values (for example, 100) of the image signals in each of the aperture regions 14A to 14C can be obtained.
  • the standard deviations of the obtained plurality of noise values are calculated, and the noise evaluation values are calculated.
  • FIG. 18 is a diagram showing an example of the calculation result of the noise evaluation value in each noise evaluation method.
  • the noise evaluation value is calculated by changing only the sensitivity without changing the setting of the polarization angle of each opening region.
  • A has a sensitivity of light transmitted through the first aperture region of 1, a sensitivity of light transmitted through the second aperture region of 1, and a sensitivity of light transmitted through the third aperture region of 1.
  • the calculation result of the case is shown. That is, the calculation result of the evaluation value of noise when the sensitivities of the light transmitted through each aperture region are all equal is shown.
  • B is calculated when the sensitivity of the light transmitted through the first aperture region is 1, the sensitivity of the light transmitted through the second aperture region is 0.5, and the sensitivity of the light transmitted through the third aperture region is 0.5. The result is shown.
  • C is calculated when the sensitivity of the light transmitted through the first aperture region is 1, the sensitivity of the light transmitted through the second aperture region is 0.5, and the sensitivity of the light transmitted through the third aperture region is 0.25.
  • D is calculated when the sensitivity of the light transmitted through the first aperture region is 1, the sensitivity of the light transmitted through the second aperture region is 0.5, and the sensitivity of the light transmitted through the third aperture region is 0.1. The result is shown.
  • the polarization angle of each opening region is the same as when the polarization angle is set based on the noise amount PV. Can be optimized. Specifically, the polarization angle of each aperture region is set based on the sensitivity of the light transmitted through each aperture region, and the amount of interference between the image signal of the aperture region having relatively low sensitivity and the image signal of the other aperture region is reduced. The polarization angle of each aperture region is set to reduce.
  • the polarization angle of each aperture region is set so that the difference in the amount of noise (evaluation value of noise) of the image signal in each aperture region is smaller than in the case of equal intervals (when all the differences are equal). ..
  • the polarization angle of each aperture region is set so that the difference in the amount of noise of the image signal in each aperture region is minimized (including the case where it is almost minimized).
  • the conditional number of the interference matrix B is an index showing the amount of noise in various subjects and conditions. Therefore, by reducing the number of conditions of the interference matrix B, the amount of noise can be reduced and a high-quality multispectral image can be generated.
  • FIG. 19 is a diagram showing an example of adjusting the polarization angle based on each noise evaluation method.
  • the figure shows the adjustment when the sensitivity of the light transmitted through the first aperture region is 1, the sensitivity of the light transmitted through the second aperture region is 0.5, and the sensitivity of the light transmitted through the third aperture region is 0.25.
  • An example is shown. That is, an adjustment example in the case of C in the table of FIG. 18 is shown. In each case, an example is shown in which the polarization angle ⁇ 2 of the second opening region 14B and the polarization angle ⁇ 3 of the third opening region 14C are adjusted to optimize the polarization angle set in each opening region.
  • C1 shows an example in which the polarization angle of each opening region is adjusted based on the evaluation value of noise based on the standard deviation. That is, an example is shown in the case where the difference in the evaluation value of noise due to the standard deviation is adjusted to be reduced.
  • C2 shows an example in which the polarization angle of each opening region is adjusted based on the conditional number of the interference matrix B. That is, an example is shown in the case where the condition number of the interference matrix B is adjusted so as to be reduced.
  • C3 shows an example in which the polarization angle of each opening region is adjusted based on the noise amount PV. That is, an example is shown in the case where the noise amount PV is adjusted so as to be reduced.
  • the polarization angles set in each opening region are not evenly spaced. That is, when the polarization angles set in each opening region are in the order of the polarization angles, the difference between the adjacent polarization angles is at least one different.
  • FIG. 20 is a graph showing the fluctuation state of the evaluation value of noise due to the standard deviation.
  • the figure shows the case where the sensitivity of the light transmitted through the first aperture region is 1, the sensitivity of the light transmitted through the second aperture region is 0.5, and the sensitivity of the light transmitted through the third aperture region is 0.25.
  • the colored region is a region under the condition that the noise is reduced from the initial value.
  • the colored region is a region under the condition that noise is reduced as the density is higher. Therefore, by selecting at least the conditions of the colored region, the noise generated can be reduced as compared with the case of equal intervals.
  • FIG. 21 is a graph showing the fluctuation state of the conditional number of the interference matrix.
  • the figure shows the case where the sensitivity of the light transmitted through the first aperture region is 1, the sensitivity of the light transmitted through the second aperture region is 0.5, and the sensitivity of the light transmitted through the third aperture region is 0.25.
  • the case of equal intervals is used as the initial value, and the fluctuation state of the number of conditions when the polarization angles ⁇ 2 and ⁇ 3 of the second opening region and the third opening region are changed is shown.
  • the colorless area is the area under the condition that noise equal to or higher than the initial value is generated.
  • the colored region is a region under the condition that the noise is reduced from the initial value, and the region where the density is higher is the region under the condition where the noise is reduced. Therefore, by selecting at least the conditions of the colored region, the noise generated can be reduced as compared with the case of equal intervals.
  • FIG. 22 is a graph showing a fluctuation state of the amount of noise.
  • the figure shows the case where the sensitivity of the light transmitted through the first aperture region is 1, the sensitivity of the light transmitted through the second aperture region is 0.5, and the sensitivity of the light transmitted through the third aperture region is 0.25.
  • the case of equal intervals is used as the initial value, and the fluctuation state of the noise amount PV when the polarization angles ⁇ 2 and ⁇ 3 of the second opening region and the third opening region are changed is shown.
  • the colorless area is the area under the condition that noise equal to or higher than the initial value is generated.
  • the colored region is a region under the condition that the noise is reduced from the initial value, and the region where the density is higher is the region under the condition where the noise is reduced. Therefore, by selecting at least the conditions of the colored region, the noise generated can be reduced as compared with the case of equal intervals.
  • FIG. 23 is a diagram showing another example of adjusting the polarization angle based on each noise evaluation method.
  • the figure shows the adjustment when the sensitivity of the light transmitted through the first aperture region is 1, the sensitivity of the light transmitted through the second aperture region is 0.5, and the sensitivity of the light transmitted through the third aperture region is 0.1.
  • An example is shown. That is, an adjustment example in the case of D in the table of FIG. 18 is shown. In each case, an example is shown in which the polarization angle ⁇ 2 of the second opening region 14B and the polarization angle ⁇ 3 of the third opening region 14C are adjusted to optimize the polarization angle set in each opening region.
  • D1 shows an example in which the polarization angle of each opening region is adjusted based on the evaluation value of noise based on the standard deviation. That is, an example is shown in the case where the difference in the evaluation value of noise due to the standard deviation is adjusted to be reduced.
  • D3 shows an example in which the polarization angle of each opening region is adjusted based on the noise amount PV. That is, an example is shown in the case where the noise amount PV is adjusted so as to be reduced.
  • the polarization angles set in each opening region are not evenly spaced. That is, when the polarization angles set in each opening region are in the order of the polarization angles, the difference between the adjacent polarization angles is at least one different.
  • FIG. 24 is a graph showing the fluctuation state of the evaluation value of noise due to the standard deviation.
  • the figure shows the case where the sensitivity of the light transmitted through the first aperture region is 1, the sensitivity of the light transmitted through the second aperture region is 0.5, and the sensitivity of the light transmitted through the third aperture region is 0.1.
  • the colored region is a region under the condition that the noise is reduced from the initial value, and the region where the density is higher is the region under the condition where the noise is reduced. Therefore, by selecting at least the conditions of the colored region, the noise generated can be reduced as compared with the case of equal intervals.
  • FIG. 25 is a graph showing the fluctuation state of the conditional number of the interference matrix.
  • the figure shows the case where the sensitivity of the light transmitted through the first aperture region is 1, the sensitivity of the light transmitted through the second aperture region is 0.5, and the sensitivity of the light transmitted through the third aperture region is 0.1.
  • the case of equal intervals is used as the initial value, and the fluctuation state of the number of conditions when the polarization angles ⁇ 2 and ⁇ 3 of the second opening region and the third opening region are changed is shown.
  • the colorless area is the area under the condition that noise equal to or higher than the initial value is generated.
  • the colored region is a region under the condition that the noise is reduced from the initial value, and the region where the density is higher is the region under the condition where the noise is reduced. Therefore, by selecting at least the conditions of the colored region, the noise generated can be reduced as compared with the case of equal intervals.
  • FIG. 26 is a graph showing a fluctuation state of the amount of noise.
  • the figure shows the case where the sensitivity of the light transmitted through the first aperture region is 1, the sensitivity of the light transmitted through the second aperture region is 0.5, and the sensitivity of the light transmitted through the third aperture region is 0.1.
  • the case of equal intervals is used as the initial value, and the fluctuation state of the noise amount PV when the polarization angles ⁇ 2 and ⁇ 3 of the second opening region and the third opening region are changed is shown.
  • the colorless area is the area under the condition that noise equal to or higher than the initial value is generated.
  • the colored region is a region under the condition that the noise is reduced from the initial value.
  • the colored region is a region under the condition that noise is reduced as the density is higher. Therefore, by selecting at least the conditions of the colored region, the noise generated can be reduced as compared with the case of equal intervals.
  • each pixel of the image sensor may be provided with a spectroscopic filter element.
  • a plurality of types of spectroscopic filter elements may be used.
  • each pixel can receive light having a different combination of spectral sensitivity and polarization angle. This makes it possible to capture more multispectral images.
  • FIG. 27 is a conceptual diagram showing an example of an imaging device that captures multispectral images in nine wavelength bands.
  • the image pickup lens 10 of this example is provided with a first aperture plate 15A and a second aperture plate 15B.
  • the first opening plate 15A and the second opening plate 15B are arranged at or near the pupil position of the image pickup lens 10.
  • the first opening plate 15A is provided with three opening regions.
  • the first aperture region is provided with a first polarizing filter that transmits light having a polarization angle ⁇ 1.
  • the second aperture region is provided with a second polarizing filter that transmits light having a polarization angle ⁇ 2.
  • the third aperture region is provided with a third polarizing filter that transmits light having a polarization angle ⁇ 3.
  • the second opening plate 15B is provided with nine opening areas.
  • the first aperture region is provided with a first bandpass filter that transmits light in the wavelength band ⁇ 11.
  • the second aperture region is provided with a second bandpass filter that transmits light in the wavelength band ⁇ 12.
  • the third aperture region is provided with a third bandpass filter that transmits light in the wavelength band ⁇ 13.
  • the fourth aperture region is provided with a fourth bandpass filter that transmits light in the wavelength band ⁇ 21.
  • the fifth aperture region is provided with a fifth bandpass filter that transmits light in the wavelength band ⁇ 22.
  • the sixth aperture region is provided with a sixth bandpass filter that transmits light in the wavelength band ⁇ 23.
  • the seventh aperture region is provided with a seventh bandpass filter that transmits light in the wavelength band ⁇ 31.
  • the eighth aperture region is provided with an eighth bandpass filter that transmits light in the wavelength band ⁇ 32.
  • the ninth aperture region is provided with a ninth bandpass filter that transmits light in the wavelength band ⁇ 33.
  • the first to third opening regions of the second opening plate 15B communicate with the first opening region of the first opening plate 15A. Therefore, light having a polarization angle ⁇ 1 is incident on the first to third opening regions of the second opening plate 15B.
  • the fourth to sixth opening regions of the second opening plate 15B communicate with the second opening region of the first opening plate 15A. Therefore, light having a polarization angle of ⁇ 2 is incident on the fourth to sixth opening regions of the second opening plate 15B.
  • the seventh to ninth opening regions of the second opening plate 15B communicate with the third opening region of the first opening plate 15A. Therefore, light having a polarization angle of ⁇ 3 is incident on the seventh to ninth opening regions of the second opening plate 15B.
  • the pupil region is divided into nine regions, and each region transmits light having a combination of different polarization angles and wavelength bands.
  • one pixel block is composed of nine pixels P1 to P9.
  • Each pixel P1 to P9 is provided with a different combination of polarizing filter elements and spectroscopic filter elements.
  • the first pixel P1 is provided with a polarization filter element having a polarization angle ⁇ 1 and a spectral filter element having a spectral sensitivity ⁇ A (for example, a spectral filter element having a spectral sensitivity peak in the red wavelength band).
  • the second pixel P2 is provided with a polarizing filter element having a polarization angle ⁇ 2 and a spectral filter element having a spectral sensitivity ⁇ A.
  • the third pixel P3 is provided with a polarizing filter element having a polarization angle of ⁇ 3 and a spectral filter element having a spectral sensitivity of ⁇ A.
  • the fourth pixel P4 is provided with a polarizing filter element having a polarization angle of ⁇ 1 and a spectral filter element having a spectral sensitivity of ⁇ B (for example, a spectral filter element having a spectral sensitivity peak in the green wavelength band).
  • the fifth pixel P5 is provided with a polarizing filter element having a polarization angle of ⁇ 2 and a spectroscopic filter element having a light sensitivity of ⁇ B.
  • the sixth pixel P6 is provided with a polarizing filter element having a polarization angle of ⁇ 3 and a spectral filter element having a spectral sensitivity of ⁇ B.
  • the seventh pixel P7 is provided with a polarizing filter element having a polarization angle of ⁇ 1 and a spectral filter element having a spectral sensitivity of ⁇ C (for example, a spectral filter element having a spectral sensitivity peak in the blue wavelength band).
  • the eighth pixel P8 is provided with a polarizing filter element having a polarization angle of ⁇ 2 and a spectral filter element having a spectral sensitivity of ⁇ C.
  • the ninth pixel P9 is provided with a polarizing filter element having a polarization angle of ⁇ 3 and a spectral filter element having a spectral sensitivity of ⁇ C. That is, three types of polarizing filter elements and three types of spectral filter elements are combined, and each pixel is provided with a polarizing filter element and a spectral filter element.
  • each pixel P1 to P9 receives light having a different polarization angle and spectral sensitivity.
  • the signal processing unit 200 processes the signal output from the image sensor 100 to generate an image signal in each wavelength band ⁇ 11 to ⁇ 33. Specifically, interference removal processing is performed to generate image signals in each wavelength band ⁇ 11 to ⁇ 33.
  • the image pickup lens 10 is provided with three types of polarizing filters.
  • the polarization angle is optimized by the method described in the above embodiment. By optimizing the polarization angle, it is possible to capture a good image (multispectral image) with suppressed noise.
  • the polarization angle of each polarizing filter is set so that the conditional number of the interference matrix is minimized.
  • the image pickup lens of the above embodiment has a configuration in which a polarizing filter and a bandpass filter are provided in one aperture plate, but a polarizing filter and a bandpass filter may be provided in separate polarizing plates.
  • the image pickup lens of the above embodiment is provided with a plurality of aperture regions by equally dividing the disk-shaped aperture plate in the circumferential direction, but the shape and layout of the aperture regions are limited to this. is not it.
  • the shape and layout of the opening region the optimum shape and layout can be selected according to the number of opening regions, the imaging target, and the like.
  • the polarizing filter replacement mechanism may be a configuration in which the entire unit is replaced, or a configuration in which each polarizing filter is individually replaced.
  • replacing the entire unit prepare a plurality of units having different combinations of polarizing filters, and replace the unit to be used as appropriate according to the situation (light source and subject).
  • the bandpass filter is similarly provided with an exchange mechanism.
  • the entire unit may be exchanged, or each bandpass filter may be exchanged individually.
  • the imaging lens may be provided with a mechanism for changing the combination of the bandpass filter and the polarizing filter in each aperture region.
  • a structure in which at least one of the bandpass filter and the polarizing filter rotates can be used, and at least one of them can be rotated to change the combination of the bandpass filter and the polarizing filter.
  • a bandpass filter and a polarizing filter are attached to separate opening plates so that at least one opening plate can rotate about the optical axis.
  • the combination of the bandpass filter and the polarizing filter can be changed by rotating the opening plate (so-called turret-shaped switching mechanism).
  • the polarizing filter side is fixed and the bandpass filter side is rotatable, it is more preferable because it is not necessary to change the interference removal parameter according to the rotation.
  • the "sensitivity of light transmitted through each aperture region" varies depending on the light source and the subject. Therefore, it is possible to present the optimum polarizing filter to the user according to the light source and the subject.
  • the amount of noise is measured from each image (multispectral image) obtained by imaging, and a polarizing filter (polarization angle) that further reduces noise is presented.
  • a combination of polarizing filters that further reduces noise is displayed on a display or the like.
  • FIG. 28 is a flowchart showing an example of a procedure for optimizing and presenting a polarizing filter.
  • the subject is imaged with a combination of standard polarizing filters (step S1).
  • a subject is imaged with a combination of polarizing filters at equal intervals.
  • the bandpass filter a combination of wavelength bands actually used is used.
  • step S2 the amount of noise in the image of each aperture region (image of each wavelength band) obtained by imaging is measured.
  • the polarization angle set in each aperture region is optimized so that the amount of noise in the image in each aperture region is reduced (step S3).
  • the polarization angle of each aperture region is set so that the number of conditions in the interference matrix is minimized.
  • the configurable polarization angle is limited (for example, if the interchangeable polarization filters are limited)
  • the polarization angle is optimized within the limited range.
  • step S4 the optimized polarization angle is presented (step S4). For example, show on the display.
  • step S5 the polarizing filter provided in each aperture region is replaced so that the combination of the presented polarization angles is obtained.
  • the exchange may be performed individually or may be exchanged as a whole.
  • the hardware structure of the image generator is various processors as shown below.
  • the circuit configuration can be changed after manufacturing the CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various processing units.
  • a dedicated electric circuit which is a processor having a circuit configuration specially designed to execute a specific process such as a programmable logic device (PLD) and an ASIC (Application Specific Integrated Circuit). Is done.
  • PLD programmable logic device
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). You may. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client or a server. There is a form in which a processor functions as a plurality of processing units.
  • SoC System On Chip
  • a processor that realizes the functions of the entire system including a plurality of processing units with one IC (Integrated Circuit) chip is used.
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit that combines circuit elements such as semiconductor elements.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

高品質なマルチスペクトル画像を撮像できる撮像装置及び方法を提供する。撮像装置は、瞳位置又は瞳位置の近傍に３つ以上の開口領域を有し、各開口領域がそれぞれ異なる組み合わせの偏光フィルタ及びバンドパスフィルタを備えることにより、各開口領域がそれぞれ異なる偏光角度及び波長帯域の組み合わせの光を透過させる光学系と、それぞれ異なる偏光角度の光を受光する３種類以上の画素が二次元的に配置されたイメージセンサと、イメージセンサから出力される信号に混信除去処理を行い、開口領域ごとの画像信号を生成するプロセッサと、を備える。光学系は、３種類以上の偏光フィルタを有し、偏光フィルタを偏光角度の順とした場合に、隣り合う偏光フィルタの偏光角度の差分が少なくとも１つは異なる。

Description

撮像装置及び方法
　本発明は、撮像装置及び方法に係り、特に、複数の波長帯域の画像（マルチスペクトル画像）を撮像する撮像装置及び方法に関する。
　特許文献１には、３つの透光領域を有する偏光カラーフィルタ板と、３つの偏光フィルタを備えた撮像素子と、を使用して、一度に３つの波長帯域の画像（マルチスペクトル画像）を撮像する技術が記載されている。
国際公開第2014/020791号
　本開示の技術に係る１つの実施形態は、高品質なマルチスペクトル画像を撮像できる撮像装置及び方法を提供する。
　（１）瞳位置又は瞳位置の近傍に３つ以上の開口領域を有し、各開口領域がそれぞれ異なる組み合わせの偏光フィルタ及びバンドパスフィルタを備えることにより、各開口領域がそれぞれ異なる偏光角度及び波長帯域の組み合わせの光を透過させる光学系と、それぞれ異なる偏光角度の光を受光する３種類以上の画素が二次元に配置されたイメージセンサと、イメージセンサから出力される信号に混信除去処理を行い、開口領域ごとの画像信号を生成するプロセッサと、を備えた撮像装置であって、光学系が３種類以上の偏光フィルタを有し、偏光フィルタを偏光角度の順とした場合に、隣り合う偏光フィルタの偏光角度の差分が少なくとも１つは異なる、撮像装置。
　（２）各開口領域を透過する光の感度に基づいて、各偏光フィルタの偏光角度が設定される、（１）の撮像装置。
　（３）各偏光フィルタに設定される偏光角度は、差分が全て等しくなる場合よりも、各開口領域の画像信号のノイズ量の差が縮小する偏光角度に設定される、（１）又は（２）の撮像装置。
　（４）各偏光フィルタに設定される偏光角度は、各開口領域の画像信号のノイズ量の差が最小化する偏光角度に設定される、（１）又は（２）の撮像装置。
　（５）各偏光フィルタに設定される偏光角度は、差分が全て等しくなる場合よりも、混信除去処理によるノイズ増幅量が低減する偏光角度に設定される、（１）又は（２）の撮像装置。
　（６）各偏光フィルタに設定される偏光角度は、混信除去処理によるノイズ増幅量が最小化する偏光角度に設定される、（１）又は（２）の撮像装置。
　（７）各偏光フィルタに設定される偏光角度は、相対的に感度の低い開口領域の画像信号と他の開口領域の画像信号の混信量が低減する偏光角度に設定される、（１）又は（２）の撮像装置。
　（８）プロセッサが、混信行列に基づいて混信除去処理を行う場合において、各偏光フィルタに設定される偏光角度は、差分が全て等しくなる場合よりも、混信行列の条件数が低下する偏光角度に設定される、（１）又は（２）の撮像装置。
　（９）プロセッサが、混信行列に基づいて混信除去処理を行う場合において、各偏光フィルタに設定される偏光角度は、混信行列の条件数が最小化する偏光角度に設定される、（１）又は（２）の撮像装置。
　（１０）光学系は、バンドパスフィルタ及び偏光フィルタの少なくとも一方が個別に交換される交換機構を有する、（１）から（９）のいずれか一の撮像装置。
　（１１）光学系は、バンドパスフィルタ及び偏光フィルタの少なくとも一方が回転する回転構造を有する、（１）から（９）のいずれか一の撮像装置。
　（１２）瞳位置又は瞳位置の近傍に３つ以上の開口領域を有し、各開口領域がそれぞれ異なる組み合わせの偏光フィルタ及びバンドパスフィルタを備えることにより、各開口領域がそれぞれ異なる偏光角度及び波長帯域の組み合わせの光を透過させる光学系と、それぞれ異なる偏光角度の光を受光する３種類以上の画素が二次元に配置されたイメージセンサと、を使用し、イメージセンサから出力される信号に混信除去処理を行い、開口領域ごとの画像信号を生成する撮像方法であって、光学系が３種類以上の偏光フィルタを有し、偏光フィルタを偏光角度の順とした場合に、隣り合う偏光フィルタの偏光角度の差分が少なくとも１つは異なる、撮像方法。
　（１３）各開口領域を透過する光の感度に基づいて、各偏光フィルタの偏光角度が設定される、（１２）の撮像方法。
　（１４）各偏光フィルタに設定される偏光角度は、差分が全て等しくなる場合よりも、各開口領域の画像信号のノイズ量の差が縮小する偏光角度に設定される、（１２）又は（１３）の撮像方法。
　（１５）各偏光フィルタに設定される偏光角度は、各開口領域の画像信号のノイズ量の差が最小化する偏光角度に設定される、（１２）又は（１３）の撮像方法。
　（１６）各偏光フィルタに設定される偏光角度は、差分が全て等しくなる場合よりも、混信除去処理によるノイズ増幅量が低減する偏光角度に設定される、（１２）又は（１３）の撮像方法。
　（１７）各偏光フィルタに設定される偏光角度は、混信除去処理によるノイズ増幅量が最小化する偏光角度に設定される、（１２）又は（１３）の撮像方法。
　（１８）各偏光フィルタに設定される偏光角度は、相対的に感度の低い開口領域の画像信号と他の開口領域の画像信号の混信量が低減する偏光角度に設定される、（１２）又は（１３）の撮像方法。
　（１９）混信行列に基づいて混信除去処理を行う場合において、各偏光フィルタに設定される偏光角度は、差分が全て等しくなる場合よりも、混信行列の条件数が低下する偏光角度に設定される、（１２）又は（１３）の撮像方法。
　（２０）混信行列に基づいて混信除去処理を行う場合において、各偏光フィルタに設定される偏光角度は、混信行列の条件数が最小化する偏光角度に設定される、（１２）又は（１３）の撮像方法。
撮像装置の概略構成を示す図 開口板の正面図 図１の３－３断面図 図１の４－４断面図 イメージセンサの画素の配列の概略構成を示す図 イメージセンサの概略構成を示す図 １つの画素（図６の破線部）の概略構成を示す断面図 各画素ブロックにおける偏光フィルタ素子の配列パターンの一例を示す図 信号処理部の概略構成を示すブロック図 画像生成の概念図 撮像装置の動作の概念図 ノイズ量の算出の一例を示す図 ノイズ量の算出の他の一例を示す図 偏光角度の調整方法の一例を示す図 偏光角度の調整方法の一例を示す図 偏光角度の調整方法の一例を示す図 偏光角度の調整方法の他の一例を示す図 各ノイズ評価手法でのノイズの評価値の算出結果の一例を示す図 各ノイズ評価手法に基づく偏光角度の調整の一例を示す図 標準偏差によるノイズの評価値の変動状態を示すグラフ 混信行列の条件数の変動状態を示すグラフ ノイズ量の変動状態を示すグラフ 各ノイズ評価手法に基づく偏光角度の調整の他の一例を示す図 標準偏差によるノイズの評価値の変動状態を示すグラフ 混信行列の条件数の変動状態を示すグラフ ノイズ量の変動状態を示すグラフ ９つの波長帯域のマルチスペクトル画像を撮像する撮像装置の一例を示す概念図 偏光フィルタを最適化する手順の一例を示すフローチャート
　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
　［撮像装置の構成］
　ここでは、３つの波長帯域の画像（３バンドのマルチスペクトル画像）を撮像する場合を例に説明する。
　図１は、撮像装置の概略構成を示す図である。同図に示すように、撮像装置１は、撮像レンズ１０、イメージセンサ１００及び信号処理部２００を備える。
　［撮像レンズ］
　撮像レンズ１０は、複数枚のレンズ１２を組み合わせて構成される。撮像レンズ１０は、一部のレンズ群又は全体を光軸Ｌに沿って前後移動させることにより、焦点調節される。撮像レンズ１０は、光学系の一例である。
　図１に示すように、撮像レンズ１０は、光軸Ｌ上に開口板１４を有する。開口板１４は、撮像レンズ１０の瞳位置又は瞳位置の近傍に配置される。なお、瞳位置の近傍とは、入射瞳から出射瞳までをいう。
　図２は、開口板の正面図である。図２に示すように、開口板１４は、３つの開口領域１４Ａ、１４Ｂ、１４Ｃを有する。以下、必要に応じて、開口領域１４Ａを第１開口領域１４Ａ、開口領域１４Ｂを第２開口領域１４Ｂ、開口領域１４Ｃを第３開口領域１４Ｃとして、３つの開口領域１４Ａ～１４Ｃを区別する。開口板１４は、円盤形状を有し、周方向に三等分割されて、３つの開口領域１４Ａ～１４Ｃが備えられる。
　図３は、図１の３－３断面図である。図４は、図１の４－４断面図である。図３及び図４に示すように、各開口領域１４Ａ、１４Ｂ、１４Ｃには、それぞれバンドパスフィルタ１６Ａ、１６Ｂ、１６Ｃ及び偏光フィルタ１８Ａ、１８Ｂ、１８Ｃが備えられる。以下、必要に応じて、第１開口領域１４Ａに備えられるバンドパスフィルタ１６Ａを第１バンドパスフィルタ１６Ａ、第２開口領域１４Ｂに備えられるバンドパスフィルタ１６Ｂを第２バンドパスフィルタ１６Ｂ、第３開口領域１４Ｃに備えられるバンドパスフィルタ１６Ｃを第３バンドパスフィルタ１６Ｃとして、３つのバンドパスフィルタ１６Ａ～１６Ｃを区別する。また、第１開口領域１４Ａに備えられる偏光フィルタ１８Ａを第１偏光フィルタ１８Ａ、第２開口領域１４Ｂに備えられる偏光フィルタ１８Ｂを第２偏光フィルタ１８Ｂ、第３開口領域１４Ｃに備えられる偏光フィルタ１８Ｃを第３偏光フィルタ１８Ｃとして、３つの偏光フィルタ１８Ａ～１８Ｃを区別する。
　各バンドパスフィルタ１６Ａ～１６Ｃは、それぞれ種類が異なる。すなわち、それぞれ透過させる光の波長帯域（透過波長帯域）が異なる。第１バンドパスフィルタ１６Ａは、波長帯域λ１の光を透過させる。第２バンドパスフィルタ１６Ｂは、波長帯域λ２の光を透過させる。第３バンドパスフィルタ１６Ｃは、波長帯域λ３の光を透過させる。各バンドパスフィルタ１６Ａ、１６Ｂ、１６Ｃの透過波長帯域は、撮像するマルチスペクトル画像の各波長帯域に対応する波長帯域が設定される。本例は、マルチスペクトル画像として、波長帯域λ１、波長帯域λ２及び波長帯域λ３の画像を撮像する場合の例である。
　各偏光フィルタ１８Ａ～１８Ｃは、それぞれ種類が異なる。すなわち、それぞれ透過させる光の偏光角度（透過偏光角度）が異なる。第１偏光フィルタ１８Ａは、偏光角度θ１の光（直線偏光）を透過させる。第２偏光フィルタ１８Ｂは、偏光角度θ２の光（直線偏光）を透過させる。第３偏光フィルタ１８Ｃは、偏光角度θ３の光（直線偏光）を透過させる。偏光角度は、水平を０°として、０°以上、１８０°未満の範囲で設定される。
　本実施の形態の撮像装置１では、等間隔にならない偏光角度（方位角）が、各偏光フィルタ１８Ａ～１８Ｃに設定される。すなわち、偏光フィルタ１８Ａ～１８Ｃを偏光角度の順とした場合に、隣り合う偏光フィルタ１８Ａ～１８Ｃの偏光角度の差分が、少なくとも１つは異なるように、各偏光フィルタ１８Ａ～１８Ｃの偏光角度θ１～θ３が設定される。たとえば、３つの偏光フィルタ１８Ａ～１８Ｃの偏光角度θ１～θ３の関係が、θ１＜θ２＜θ３であるとする。この場合、第１偏光フィルタ１８Ａと第２偏光フィルタ１８Ｂが隣り合う偏光フィルタの関係にあり、また、第２偏光フィルタ１８Ｂと第３偏光フィルタ１８Ｃが隣り合う偏光フィルタの関係にある。したがって、第１偏光フィルタ１８Ａと第２偏光フィルタ１８Ｂの偏光角度の差分（｜θ２－θ１｜）と、第２偏光フィルタ１８Ｂと第３偏光フィルタ１８Ｃの偏光角度の差分（｜θ３－θ２｜）と、が異なることになる。各偏光フィルタ１８Ａ～１８Ｃに設定する偏光角度θ１～θ３の具体的な設定方法については後述する。
　開口板１４は、撮像レンズ１０の瞳位置又は瞳位置の近傍に配置される。これにより、撮像レンズ１０の瞳領域が、３つの領域（３つの瞳領域）に分割される。具体的には、開口板１４の第１開口領域１４Ａで画定される第１の瞳領域、開口板１４の第２開口領域１４Ｂで画定される第２の瞳領域、及び、開口板１４の第３開口領域１４Ｃで画定される第３の瞳領域に分割される。撮像レンズ１０に入射した光は、各瞳領域（各開口領域４Ａ、１４Ｂ、１４Ｃ）を通って、イメージセンサ１００に入射する。
　各開口領域１４Ａ～１４Ｃには、それぞれバンドパスフィルタ１６Ａ～１６Ｃ及び偏光フィルタ１８Ａ～１８Ｃが備えられている。したがって、イメージセンサ１００には、各開口領域１４Ａ～１４Ｃから光学特性の異なる光が入射する。具体的には、第１開口領域１４Ａからは、波長帯域λ１、偏光角度θ１の光がイメージセンサ１００に入射する。第２開口領域１４Ｂからは、波長帯域λ２、偏光角度θ２の光がイメージセンサ１００に入射する。第３開口領域１４Ｃからは、波長帯域λ３、偏光角度θ３の光がイメージセンサ１００に入射する。
　［イメージセンサ］
　本実施の形態のイメージセンサ１００は、各画素に偏光子（偏光フィルタ素子）を備えたイメージセンサ（いわゆる偏光イメージセンサ）で構成される。
　図５は、イメージセンサの画素の配列の概略構成を示す図である。
　同図に示すように、イメージセンサ１００は、その受光面に複数種類の画素Ｐ１、Ｐ２、Ｐ３、Ｐ４を有する。各画素Ｐ１～Ｐ４は、水平方向（ｘ軸方向）及び垂直方向（ｙ軸方向）に沿って、一定ピッチで規則的に配列される。
　本実施の形態のイメージセンサ１００は、隣接する４個（２×２個）の画素Ｐ１～Ｐ４で１つの画素ブロックＰＢ（Ｘ，Ｙ）が構成され、この画素ブロックＰＢ（Ｘ，Ｙ）が、水平方向（ｘ軸方向）及び垂直方向（ｙ軸方向）に沿って規則的に配列される。以下、必要に応じて、画素Ｐ１を第１画素Ｐ１、画素Ｐ２を第２画素Ｐ２、画素Ｐ３を第３画素Ｐ３、画素Ｐ４を第４画素Ｐ４として、各画素Ｐ１～Ｐ４を区別する。各画素Ｐ１～Ｐ４は、それぞれ異なる光学特性を有する。
　図６は、イメージセンサの概略構成を示す図である。図７は、１つの画素（図６の破線部）の概略構成を示す断面図である。
　イメージセンサ１００は、ピクセルアレイ層１１０、偏光フィルタ素子アレイ層１２０及びマイクロレンズアレイ層１４０を有する。各層は、像面側から物体側に向かって、ピクセルアレイ層１１０、偏光フィルタ素子アレイ層１２０、マイクロレンズアレイ層１４０の順で配置される。
　ピクセルアレイ層１１０は、多数のフォトダイオード１１２を二次元に配列して構成される。１つのフォトダイオード１１２は、１つの画素を構成する。各フォトダイオード１１２は、水平方向（ｘ方向）及び垂直方向（ｙ方向）に沿って規則的に配置される。
　偏光フィルタ素子アレイ層１２０は、４種類の偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃ、１２２Ｄを二次元に配列して構成される。以下、必要に応じて、偏光フィルタ素子１２２Ａを第１偏光フィルタ素子１２２Ａ、偏光フィルタ素子１２２Ｂを第２偏光フィルタ素子１２２Ｂ、偏光フィルタ素子１２２Ｃを第３偏光フィルタ素子１２２Ｃ、偏光フィルタ素子１２２Ｄを第４偏光フィルタ素子１２２Ｄとして、各偏光フィルタ素子１２２Ａ～１２２Ｄを区別する。各偏光フィルタ素子１２２Ａ～１２２Ｄは、フォトダイオード１１２と同じ間隔で配置され、画素ごとに備えられる。各偏光フィルタ素子１２２Ａ～１２２Ｄは、透過させる光の偏光角度が異なる。第１偏光フィルタ素子１２２Ａは、偏光角度Θ１の光を透過させる。第２偏光フィルタ素子１２２Ｂは、偏光角度Θ２の光を透過させる。第３偏光フィルタ素子１２２Ｃは、偏光角度Θ３の光を透過させる。第４偏光フィルタ素子１２２Ｄは、偏光角度Θ４の光を透過させる。偏光角度は、水平を０°として、０°以上、１８０°未満の範囲で設定される。本実施の形態では、等間隔になるように、各偏光フィルタ素子１２２Ａ～１２２Ｄの偏光角度Θ１～Θ４が設定される。すなわち、各偏光フィルタ素子１２２Ａ～１２２Ｄを偏光角度の順とした場合に、隣り合う偏光フィルタの偏光角度の差分が全て等しくなるように、各偏光フィルタ素子１２２Ａ～１２２Ｄの偏光角度Θ１～Θ４が設定される。具体的には、第１偏光フィルタ素子１２２Ａの偏光角度が０°、第２偏光フィルタ素子１２２Ｂの偏光角度が４５°、第３偏光フィルタ素子１２２Ｃの偏光角度が９０°、第４偏光フィルタ素子１２２Ｄの偏光角度が１３５°に設定される。この場合、４５°間隔度で各偏光フィルタ素子１２２Ａ～１２２Ｄの偏光角度Θ１～Θ４が設定される。
　図８は、各画素ブロックにおける偏光フィルタ素子の配列パターンの一例を示す図である。
　同図に示すように、本実施の形態の撮像装置では、第１画素Ｐ１に第１偏光フィルタ素子１２２Ａ、第２画素Ｐ２に第２偏光フィルタ素子１２２Ｂ、第３画素Ｐ３に第３偏光フィルタ素子１２２Ｃ、第４画素Ｐ４に第４偏光フィルタ素子１２２Ｄが備えられる。よって、第１画素Ｐ１では、偏光角度Θ１の光（直線偏光）が受光される。第２画素Ｐ２では、偏光角度Θ２の光（直線偏光）が受光される。第３画素Ｐ３では、偏光角度Θ３の光（直線偏光）が受光される。第４画素Ｐ４では、偏光角度Θ４の光（直線偏光）が受光される。
　マイクロレンズアレイ層１４０は、多数のマイクロレンズ１４２を二次元に配列して構成される。各マイクロレンズ１４２は、フォトダイオード１１２と同じ間隔で配置され、１画素ごとに備えられる。マイクロレンズ１４２は、撮像レンズ１０からの光をフォトダイオード１１２に効率よく集光させる目的で備えられる。
　以上のように構成されるイメージセンサ１００は、各画素ブロックＰＢ（Ｘ，Ｙ）において、各画素Ｐ１、Ｐ２、Ｐ３、Ｐ４が、次のように撮像レンズ１０からの光を受光する。すなわち、第１画素Ｐ１は、第１偏光フィルタ素子１２２Ａを介して、偏光角度Θ１の光を受光する。第２画素Ｐ２は、第２偏光フィルタ素子１２２Ｂを介して、偏光角度Θ２の光を受光する。第３画素Ｐ３は、第３偏光フィルタ素子１２２Ｃを介して、偏光角度Θ３の光を受光する。第４画素Ｐ４は、第４偏光フィルタ素子１２２Ｄを介して、偏光角度Θ４の光を受光する。このように、画素ブロックＰＢ（Ｘ，Ｙ）の各画素Ｐ１、Ｐ２、Ｐ３、Ｐ４は、それぞれ異なる偏光角度Θ１～Θ４の光を受光する。
　［信号処理部］
　信号処理部２００は、イメージセンサ１００から出力される信号を処理して、撮像レンズ１０の各開口領域１４Ａ～１４Ｃの画像信号（画像データ）を生成する。上記のように、本実施の形態の撮像装置１では、撮像レンズ１０の各開口領域１４Ａ～１４Ｃにバンドパスフィルタ１６Ａ～１６Ｃが備えられている。したがって、各開口領域１４Ａ～１４Ｃの画像信号を生成することにより、各バンドパスフィルタ１６Ａ～１６Ｃの透過波長帯域λ１～λ３に対応した画像の画像信号が生成される。
　図９は、信号処理部の概略構成を示すブロック図である。
　同図に示すように、信号処理部２００は、アナログ信号処理部２００Ａ、画像生成部２００Ｂ及び係数記憶部２００Ｃを含む。
　アナログ信号処理部２００Ａは、イメージセンサ１００の各画素から出力されるアナログの画素信号を取り込み、所定の信号処理（たとえば、相関二重サンプリング処理、増幅処理等）を施した後、デジタル信号に変換して出力する。
　画像生成部２００Ｂは、デジタル信号に変換された後の画素信号に所定の信号処理を施して、撮像レンズ１０の各開口領域１４Ａ、１４Ｂ、１４Ｃの画像信号を生成する。すなわち、各波長帯域λ１～λ３の画像信号を生成する。画像生成部２００Ｂは、プロセッサで構成され、プロセッサが所定のプログラムを実行することにより、画像生成部２００Ｂの機能を実現する。
　図１０は、画像生成の概念図である。
　各画素ブロックＰＢ（Ｘ，Ｙ）には、第１画素Ｐ１、第２画素Ｐ２、第３画素Ｐ３及び第４画素Ｐ４が含まれる。したがって、各画素ブロックＰＢ（Ｘ，Ｙ）から第１画素Ｐ１、第２画素Ｐ２、第３画素Ｐ３、第４画素Ｐ４の画素信号を分離して抽出することにより、４つの画像信号Ｄ１、Ｄ２、Ｄ３、Ｄ４が生成される。しかし、この４つの画像信号Ｄ１～Ｄ４には、混信（クロストーク）が生じている。すなわち、各画素Ｐ１～Ｐ４には、各開口領域１４Ａ～１４Ｂからの光が入射するため、生成される画像は、各開口領域１４Ａ～１４Ｃの画像が混合した画像となる。このため、画像生成部２００Ｂは、混信を除去する処理（混信除去処理）を行い、各開口領域１４Ａ～１４Ｃの画像信号を生成する。
　以下、信号処理部２００において行われる混信除去処理について説明する。
　各画素ブロックＰＢ（Ｘ，Ｙ）の第１画素Ｐ１で得られる画素信号（信号値）をα１、第２画素Ｐ２で得られる画素信号をα２、第３画素Ｐ３で得られる画素信号をα３、第４画素Ｐ４で得られる画素信号をα４とする。各画素ブロックＰＢ（Ｘ，Ｙ）からは、４つの画素信号α１、α２、α３、α４が得られる。画像生成部２００Ｂは、この４つの画素信号α１～α４に対し、所定の信号処理を施して混信を除去し、各開口領域１４Ａ～１４Ｃの画素信号β１、β２、β３を算出する。具体的には、下記の行列（混信除去行列）Ａを用いた式１によって、各開口領域１４Ａ～１４Ｃの画素信号β１～β３を算出する。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　なお、画素信号β１は第１開口領域１４Ａに対応する画素信号、画素信号β２は第２開口領域１４Ｂに対応する画素信号、画素信号β３は第３開口領域１４Ｃに対応する画素信号である。したがって、画素信号β１からは第１開口領域１４Ａに対応する画像信号、画素信号β２からは第２開口領域１４Ｂに対応する画像信号、画素信号β３からは第３開口領域１４Ｃに対応する画像信号が生成される。
　混信除去行列Ａは、次のように求められる。
　各画素Ｐ１～Ｐ４の画素信号α１～α４に各開口領域１４Ａ～１４Ｃの画素信号β１～β３が混信する割合（混信量）をｂｉｊ（ｉ＝１～４、ｊ＝１～３）とする。
　ｂ１１は、第１画素Ｐ１の画素信号α１に第１開口領域１４Ａの画素信号β１が混信する割合である。ｂ１２は、第１画素Ｐ１の画素信号α１に第２開口領域１４Ｂの画素信号β２が混信する割合である。ｂ１３は、第１画素Ｐ１の画素信号α１に第３開口領域１４Ｃの画素信号β３が混信する割合である。
　ｂ２１は、第２画素Ｐ２の画素信号α２に第１開口領域１４Ａの画素信号β１が混信する割合である。ｂ２２は、第２画素Ｐ２の画素信号α２に第２開口領域１４Ｂの画素信号β２が混信する割合である。ｂ２３は、第２画素Ｐ２の画素信号α２に第３開口領域１４Ｃの画素信号β３が混信する割合である。
　ｂ３１は、第３画素Ｐ３の画素信号α３に第１開口領域１４Ａの画素信号β１が混信する割合である。ｂ３２は、第３画素Ｐ３の画素信号α３に第２開口領域１４Ｂの画素信号β２が混信する割合である。ｂ３３は、第３画素Ｐ３の画素信号α３に第３開口領域１４Ｃの画素信号β３が混信する割合である。
　ｂ４１は、第４画素Ｐ４の画素信号α４に第１開口領域１４Ａの画素信号β１が混信する割合である。ｂ４２は、第４画素Ｐ４の画素信号α４に第２開口領域１４Ｂの画素信号β２が混信する割合である。ｂ４３は、第４画素Ｐ４の画素信号α４に第３開口領域１４Ｃの画素信号β３が混信する割合である。
　各画素ブロックＰＢ（Ｘ，Ｙ）の各画素Ｐ１～Ｐ４で得られる画素信号α１～α４と、各開口領域１４Ａ～１４Ｃの画素信号β１～β３との間には、次の関係が成り立つ。
　第１画素Ｐ１で得られる画素信号α１に関して、次の式２の関係が成り立つ（「＊」は、積算の記号）。
　ｂ１１＊β１＋ｂ１２＊β２＋ｂ１３＊β３＝α１…式２
　第２画素Ｐ２で得られる画素信号α２に関して、次の式３の関係が成り立つ。
　ｂ２１＊β１＋ｂ２２＊β２＋ｂ２３＊β３＝α２…式３
　第３画素Ｐ３で得られる画素信号α３に関して、次の式４の関係が成り立つ。
　ｂ３１＊β１＋ｂ３２＊β２＋ｂ３３＊β３＝α３…式４
　第４画素Ｐ４で得られる画素信号α４に関して、次の式５の関係が成り立つ。
　ｂ４１＊β１＋ｂ４２＊β２＋ｂ４３＊β３＝α４…式５
　ここで、上記の式２～５の連立方程式は、行列（混信行列）Ｂを用いた下記の式６で表わすことができる。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　混信行列Ｂは、各画素Ｐ１～Ｐ４の画素信号α１～α４に各開口領域１４Ａ～１４Ｃの画素信号β１～β３が混信する割合ｂｉｊを要素とする行列である。
　式２～５の連立方程式の解であるβ１～β３は、上記式６の両辺に混信行列Ｂの逆行列Ｂ－１をかけることで算出される。
Figure JPOXMLDOC01-appb-M000005
　このように、各開口領域１４Ａ～１４Ｃの画素信号β１～β３は、上記式７を用いて、各画素ブロックＰＢ（Ｘ，Ｙ）の各画素Ｐ１～Ｐ４の信号値（画素信号）α１～α４から算出できる。
　上記式１は、上記式７の逆行列Ｂ－１を混信除去行列Ａとしたものである（Ｂ－１＝Ａ）。したがって、混信除去行列Ａは、混信行列Ｂを求めることで取得できる。また、混信行列Ｂは、混信量（混信比率）ｂｉｊを求めることで取得できる。
　係数記憶部２００Ｃは、混信除去処理を行うための行列Ａの各要素ａｉｊを係数群として記憶する。係数記憶部２００Ｃは、たとえば、ＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Erasable Programmable Read-only Memory）、ＨＤＤ（Hard Disk Drive）等の記憶装置で構成される。
　画像生成部２００Ｂは、係数記憶部２００Ｃから係数群を取得し、各画素ブロックＰＢ（Ｘ，Ｙ）の各画素Ｐ１～Ｐ４から得られる画素信号α１～α４から、上記式１によって、各開口領域１４Ａ～１４Ｃの画素信号β１～β３を算出し、各開口領域１４Ａ～１４Ｃの画像信号を生成する。生成される画像信号は、各開口領域１４Ａ～１４Ｃが透過させる光の波長帯域λ１～λ３の画像信号となる。
　画像生成部２００Ｂで生成された各開口領域１４Ａ～１４Ｃの画像信号は、外部に出力され、必要に応じて記憶装置（不図示）に記憶される。また、必要に応じてディスプレイ（不図示）に表示される。
　［撮像動作］
　図１１は、撮像装置の動作の概念図である。
　撮像レンズ１０に入射した光は、第１開口領域（第１の瞳領域）１４Ａ、第２開口領域（第２の瞳領域）１４Ｂ、第３開口領域（第３の瞳領域）１４Ｃを通ってイメージセンサ１００に入射する。各開口領域１４Ａ～１４Ｃを通ることにより、互いに特性の異なる３種類の光となってイメージセンサ１００に入射する。具体的には、第１開口領域１４Ａからは、波長帯域λ１、偏光角度θ１の光がイメージセンサ１００に入射する。第２開口領域１４Ｂからは、波長帯域λ２、偏光角度θ２の光がイメージセンサ１００に入射する。第３開口領域１４Ｃからは、波長帯域λ３、偏光角度θ３の光がイメージセンサ１００に入射する。
　信号処理部２００は、イメージセンサ１００から出力される信号を処理して、各開口領域１４Ａ～１４Ｃの画像信号を生成する。すなわち、イメージセンサ１００の各画素Ｐ１～Ｐ４から得られる信号に混信除去処理を施して、各開口領域１４Ａ～１４Ｃの画像信号を生成する。各開口領域１４Ａ～１４Ｃは、それぞれ異なる波長帯域λ１～λ３の光を透過させるので、各開口領域１４Ａ～１４Ｃの画像信号を生成することにより、３つの波長帯域λ１～λ３の画像信号が生成される。
　このように、本実施の形態の撮像装置１によれば、１ショットで複数の波長帯域の画像（マルチスペクトル画像）を撮像できる。
　［撮像レンズの偏光フィルタの偏光角度の設定］
　［概要］
　イメージセンサからの出力に対し、混信除去処理を行って各開口領域の画像を生成する場合、各開口領域を透過する光に感度差があると、相対的に感度の低い開口領域の画像のノイズが増大するという問題がある。すなわち、相対的に感度の低い波長帯域の画像のノイズが増大するという問題がある。
　ここで、各開口領域を透過する光の感度（各波長帯域の光の感度）Ｉは、光源の分光特性、バンドパスフィルタの分光特性、撮像レンズの分光特性、及び、イメージセンサの分光特性から決定され、次式によって表わされる。
Figure JPOXMLDOC01-appb-M000006
　すなわち、各開口領域を透過する光の感度は、各開口領域を透過する光の波長帯域での光源、バンドパスフィルタ、撮像レンズ、及び、イメージセンサの明るさ強度の掛け算で決定される。
　混信除去処理を行って各開口領域の画像を生成する場合、各画像のノイズ量は、「各開口領域を透過する光の感度」及び「混信除去処理によるノイズ増幅量」によって決定する。また、「混信除去処理によるノイズ増幅量」は、各開口領域の画像信号の混信量によって決定する。
　本実施の形態の撮像装置では、各開口領域に備えられる偏光フィルタの偏光角度を調整して、各開口領域の画像信号の混信量を調整し、各開口領域の画像のノイズ量を制御する。具体的には、相対的に感度の低い開口領域の画像信号と、他の開口領域の画像信号との混信量を減らすことで、相対的に感度の低い開口領域の画像のノイズ量を低減させ、全体として良好なマルチスペクトル画像を生成する。
　［ノイズ量についての説明］
　まず、混信除去処理後の各開口領域１４Ａ～１４Ｃの画像（各波長帯域λ１～λ３の画像）に生じるノイズ量について説明する。
　上記のように、イメージセンサ１００の各画素Ｐ１～Ｐ４の画素信号α１～α４と、各開口領域１４Ａ～１４Ｃの画素信号β１～β３との間には、次式の関係が成り立つ。
Figure JPOXMLDOC01-appb-M000007
　行列Ｂは、混信行列である。
Figure JPOXMLDOC01-appb-M000008
　各画素Ｐ１～Ｐ４の画素信号α１～α４のノイズ量を１とした場合、各開口領域１４Ａ～１４Ｃの画素信号β１～β３のノイズ量ＰＶ（ＰＶ＝［ＰＶ１，ＰＶ２，ＰＶ３］）は、次式により導出される。
　ＰＶ１＝Ａｂｓ（Ｂ－１）×ｓｕｍ（Ｂ）
　ここで、Ａｂｓ（Ｂ－１）は、行列Ｂの逆行列Ｂ－１の絶対値を返す関数である。また、ｓｕｍ（Ｂ）は、行列Ｂの配列要素の和を返す関数である。すなわち、混信行列Ｂの列をベクトルとして扱い、各列の和を行ベクトルとして返す。
　各画素Ｐ１～Ｐ４の画素信号α１～α４のノイズ量は、いわゆるＲＡＷ画像（各画素Ｐ１～Ｐ４の画素信号α１～α４で生成される画像）のノイズ量を表わし、各開口領域１４Ａ～１４Ｃの画素信号β１～β３のノイズ量は、各開口領域１４Ａ～１４Ｃの画像信号のノイズ量を表わす。
　図１２は、ノイズ量の算出の一例を示す図である。
　同図は、撮像レンズ１０の各開口領域１４Ａ～１４Ｃの偏光角度θ１～θ３の設定が、θ１＝０°、θ２＝４５°、θ３＝９０°であり、かつ、イメージセンサ１００の各画素Ｐ１～Ｐ４の偏光角度Θ１～Θ４の設定が、Θ１＝０°、Θ２＝４５°、Θ３＝９０°、Θ４＝１３５°の場合において、各開口領域１４Ａ～１４Ｃを透過する光の感度が等しい場合のノイズ量の算出例を示している。この場合、混信量は、各開口領域１４Ａ～１４Ｃに設定された偏光角度と各画素Ｐ１～Ｐ４に設定された偏光角度の角度差の余弦（ｃｏｓ）の二乗によって求められる。したがって、第ｉ画素の画素信号に第ｊ開口領域の画素信号が混信する割合ｂｉｊは、ｃｏｓ２（｜θｊ－Θｉ｜）で算出される。ただし、Θｉは、第ｉ画素に備えられる偏光フィルタ素子の偏光角度であり、θｊは、第ｊ開口領域に備えられる偏光フィルタの偏光角度である。
　図１２に示すように、各開口領域１４Ａ～１４Ｃを透過する光の感度が等しい場合において、各画素Ｐ１～Ｐ４の画素信号α１～α４のノイズ量を１とした場合、各開口領域１４Ａ～１４Ｃの画像信号のノイズ量ＰＶ１～ＰＶ３は、それぞれＰＶ１＝２．７５、ＰＶ２＝３．００、ＰＶ３＝２．７５となる。
　図１３は、ノイズ量の算出の他の一例を示す図である。
　同図は、各開口領域１４Ａ～１４Ｃを透過する光の感度が異なる場合のノイズ量の算出例を示している。具体的には、第３開口領域１４Ｃを透過する光の感度が、他の開口領域を透過する光の感度の４０％である場合の例を示している。この場合、同図に示すように、各開口領域１４Ａ～１４Ｃの画像信号のノイズ量ＰＶ１～ＰＶ３は、それぞれＰＶ１＝２．３０、ＰＶ２＝２．４０、ＰＶ３＝５．００となり、相対的に感度の低い第３開口領域１４Ｃの画像信号のノイズが増大する。
　［偏光角度の最適化］
　各開口領域１４Ａ～１４Ｃに備えられる偏光フィルタ１８Ａ～１８Ｃの偏光角度θ１～θ３を調整して、各開口領域１４Ａ～１４Ｃの画像信号の混信量を調整し、相対的に感度の低い開口領域の画像のノイズ量を低減させる。以下、具体例を挙げて、偏光角度θ１～θ３の調整方法（設定方法）について説明する。
　（１）調整例１
　ここでは、第２開口領域１４Ｂを透過する光の感度が、他の開口領域を透過する光の感度の２０％である場合を例に説明する。この場合、第１開口領域１４Ａ及び第３開口領域１４Ｃを透過する光の感度を１とすると、第２開口領域１４Ｂを透過する光の感度は０．２となる。また、各開口領域１４Ａ～１４Ｃの間には、第１開口領域を透過する光の感度＝第３開口領域を透過する光の感度、第１開口領域を透過する光の感度＞第２開口領域を透過する光の感度、第３開口領域を透過する光の感度＞第２開口領域を透過する光の感度の関係が成立する。なお、第１開口領域を透過する光の感度は、波長帯域λ１の光の感度と同義である。第２開口領域を透過する光の感度は、波長帯域λ２の光の感度と同義である。第３開口領域を透過する光の感度は、波長帯域λ３の光の感度と同義である。
　図１４は、偏光角度の調整方法の一例を示す図である。同図において、表（Ａ）は、比較例を示しており、表（Ｂ）は、調整例を示している。
　まず、基準となる比較例として、各開口領域１４Ａ～１４Ｃの偏光角度（各開口領域１４Ａ～１４Ｃに備えられる偏光フィルタ１８Ａ～１８Ｃの偏光角度）θ１～θ３が、等間隔に設定されている場合（各開口領域に備えられる偏光フィルタの偏光角度を角度順とした場合に、隣り合う偏光フィルタの差分が全て等しくなる場合）のノイズ量を算出する。ここでは、各開口領域１４Ａ～１４Ｃの偏光角度θ１～θ３を、θ１＝０°、θ２＝６０°、θ３＝１２０°とする。なお、イメージセンサ１００の各画素Ｐ１～Ｐ４の偏光角度Θ１～Θ４の設定は、Θ１＝０°、Θ２＝４５°、Θ３＝９０°、Θ４＝１３５°であるものとする。
　各画素Ｐ１～Ｐ４の画素信号のノイズ量（いわゆるＲＡＷ画像のノイズ量）を１とすると、各開口領域１４Ａ～１４Ｃの画像信号に生じるノイズ量ＰＶ１～ＰＶ３は、それぞれＰＶ１＝１．９、ＰＶ２＝９．１、ＰＶ３＝２．１となる。
　図１４の表（Ａ）に示すように、各開口領域１４Ａ～１４Ｃを透過する光の感度が異なる場合、各開口領域１４Ａ～１４Ｃの偏光角度θ１～θ３を等間隔に設定すると、相対的に感度の低い開口領域の画像信号のノイズが増大する。本例の場合、第２開口領域１４Ｂの画像信号のノイズが増大する。
　相対的に感度の低い開口領域の画像信号のノイズ量を低減させるため、次のように、各開口領域１４Ａ～１４Ｃの偏光角度θ１～θ３を調整する。すなわち、相対的に感度の低い開口領域の画像信号と、他の開口領域の画像信号との混信量が減るように、各開口領域１４Ａ～１４Ｃの偏光角度θ１～θ３を調整する。具体的には、相対的に感度の低い開口領域の偏光角度に対し、他の開口領域の偏光角度を離す。
　本例の場合、第２開口領域１４Ｂの偏光角度θ２に対し、第１開口領域１４Ａの偏光角度θ１及び第３開口領域１４Ｃの偏光角度θ３を離す。具体的には、等間隔の状態から第１開口領域１４Ａの偏光角度θ１及び第３開口領域１４Ｃの偏光角度θ３を、それぞれ第２開口領域１４Ｂの偏光角度θ２から離れる方向にずらす。図１４の表（Ｂ）は、等間隔の状態から２０°ずらした場合の例を示している。この結果、第１開口領域１４Ａの偏光角度θ１は１６０°（＝－２０°）に設定され、第３開口領域１４Ｃの偏光角度θ３は１４０°に設定される。このように設定することにより、各開口領域１４Ａ～１４Ｃの画像信号に生じるノイズ量ＰＶ１～ＰＶ３は、それぞれＰＶ１＝４．１、ＰＶ２＝５．０、ＰＶ３＝４．７となり、等間隔の場合よりも、第２開口領域１４Ｂの画像信号のノイズ量が低減する。なお、第１開口領域１４Ａ及び第３開口領域１４Ｃの画像信号については、等間隔の場合よりもノイズ量が増大する。これは、調整により、第１開口領域１４Ａの画像信号と第３開口領域１４Ｃの画像信号との分離性が低下（混信量が増加）するためである。しかし、生成される画像全体としてみた場合に、ほぼ均等にノイズが発生するので、より好ましい画像が得られる。すなわち、いずれも均質な画像となるため、一部の画像でのみ品質が劣化する場合に比べて、より好ましい画像（全体として高品質な画像）が得られる。
　なお、本例の場合、調整後の各開口領域１４Ａ～１４Ｃの偏光角度θ１～θ３は、図１４の表（Ｂ）に示すように、θ１＝１６０°、θ２＝６０°、θ３＝１４０°である。この場合、角度順とした場合に隣り合う変更角度の差分は、｜θ３－θ２｜＝８０°、｜θ１－θ３｜＝２０°となり、異なる角度間隔となる。
　（２）調整例２
　ここでは、第１開口領域１４Ａ及び第３開口領域１４Ｃを透過する光の感度が、第２開口領域１４Ｂを透過する光の感度の２０％である場合を例に説明する。この場合、第２開口領域１４Ｂを透過する光の感度を１とすると、第１開口領域１４Ａ及び第３開口領域１４Ｃを透過する光の感度は０．２となる。また、各開口領域１４Ａ～１４Ｃの間には、第１開口領域を透過する光の感度＝第３開口領域を透過する光の感度、第２開口領域を透過する光の感度＞第１開口領域を透過する光の感度、第２開口領域を透過する光の感度＞第１開口領域を透過する光の感度の関係が成立する。
　図１５は、偏光角度の調整方法の一例を示す図である。同図において、表（Ａ）は、比較例を示しており、表（Ｂ）は、調整例を示している。
　まず、基準となる比較例として、各開口領域１４Ａ～１４Ｃの偏光角度（各開口領域１４Ａ～１４Ｃに備えられる偏光フィルタ１８Ａ～１８Ｃの偏光角度）θ１～θ３が等間隔に設定されている場合のノイズ量を算出する。
　各画素Ｐ１～Ｐ４の画素信号のノイズ量を１とすると、各開口領域１４Ａ～１４Ｃの画像信号に生じるノイズ量ＰＶ１～ＰＶ３は、それぞれＰＶ１＝５．５、ＰＶ２＝１．５、ＰＶ３＝６．１となる。
　本例の場合、図１５の表（Ａ）に示すように、第１開口領域１４Ａ及び第３開口領域１４Ｃの画像信号のノイズが増大する。
　相対的に感度の低い開口領域の画像信号のノイズ量を低減させるため、次のように、各開口領域１４Ａ～１４Ｃの偏光角度θ１～θ３を調整する。すなわち、相対的に感度の低い開口領域同士の偏光角度を離す。具体的には、第１開口領域１４Ａの偏光角度θ１及び第３開口領域１４Ｃの偏光角度θ３を離すことで、相対的に感度の低い第１開口領域１４Ａ及び第３開口領域１４Ｃの画像信号の分離性を高め、相対的に感度の低い第１開口領域１４Ａ及び第３開口領域１４Ｃの画像信号のノイズ量を低減させる。この場合、第１開口領域１４Ａの偏光角度θ１及び第３開口領域１４Ｃの偏光角度θ３は、それぞれ第２開口領域１４Ｂの偏光角度θ２に近づく方向に調整される。
　図１５の表（Ｂ）は、等間隔の状態から第１開口領域１４Ａの偏光角度θ１及び第３開口領域１４Ｃの偏光角度θ３をそれぞれ１０°ずらした場合の例を示している。この場合、第１開口領域１４Ａの偏光角度θ１は１０°に設定され、第３開口領域１４Ｃの偏光角度θ３は１１０°に設定される。このように設定することにより、各開口領域１４Ａ～１４Ｃの画像信号に生じるノイズ量ＰＶ１～ＰＶ３は、それぞれＰＶ１＝５．１０、ＰＶ２＝１．７８、ＰＶ３＝５．５８となり、等間隔の場合よりも、第１開口領域１４Ａ及び第３開口領域１４Ｃの画像信号のノイズ量が低減する。また、この結果、各画像間のノイズ量の差が縮まり、全体として、より好ましい画像が得られる。
　（３）調整例３
　ここでは、第１開口領域１４Ａを透過する光の感度が第２開口領域１４Ｂを透過する光の感度の５０％、第３開口領域１４Ｃを透過する光の感度が第２開口領域１４Ｂを透過する光の感度の２０％である場合を例に説明する。この場合、第２開口領域１４Ｂを透過する光の感度を１とすると、第１開口領域１４Ａを透過する光の感度は０．５、第３開口領域１４Ｃを透過する光の感度は０．２となる。また、各開口領域１４Ａ～１４Ｃの間には、第２開口領域を透過する光の感度＞第１開口領域を透過する光の感度＞第３開口領域を透過する光の感度の関係が成立する。
　図１６は、偏光角度の調整方法の一例を示す図である。同図において、表（Ａ）は、比較例を示しており、表（Ｂ）は、調整例を示している。
　まず、基準となる比較例として、各開口領域１４Ａ～１４Ｃの偏光角度（各開口領域１４Ａ～１４Ｃに備えられる偏光フィルタ１８Ａ～１８Ｃの偏光角度）θ１～θ３が等間隔に設定されている場合のノイズ量を算出する。
　各画素Ｐ１～Ｐ４の画素信号のノイズ量を１とすると、各開口領域１４Ａ～１４Ｃの画像信号に生じるノイズ量ＰＶ１～ＰＶ３は、それぞれＰＶ１＝２．８、ＰＶ２＝１．７、ＰＶ３＝７．２となる。
　本例の場合、図１６の表（Ａ）に示すように、相対的に感度の低い第３開口領域１４Ｃの画像信号のノイズが増大する。
　相対的に感度の低い開口領域の画像信号のノイズ量を低減させるため、次のように、各開口領域１４Ａ～１４Ｃの偏光角度θ１～θ３を調整する。すなわち、相対的に感度の低い開口領域の偏光角度から他の開口領域の偏光角度を離すことで、相対的に感度の低い開口領域の画像信号の分離性を高め、相対的に感度の低い開口領域の画像信号のノイズ量を低減させる。本例では、第１開口領域１４Ａの偏光角度θ１及び第２開口領域１４Ｂの偏光角度θ２を近づける。これにより、第１開口領域１４Ａの画像信号と第２開口領域１４Ｂの画像信号の分離性が下がる一方、第３開口領域１４Ｃの画像信号の分離性が上がり、相対的に感度の低い第３開口領域１４Ｃの画像信号のノイズ量が低減する。
　図１６の表（Ｂ）は、等間隔の状態から第１開口領域１４Ａの偏光角度θ１を第２開口領域１４Ｂの偏光角度θ２に近づく方向に３０°ずらした場合の例を示している。この場合、第１開口領域１４Ａの偏光角度θ１は３０°に設定される。このように設定することにより、各開口領域１４Ａ～１４Ｃの画像信号に生じるノイズ量ＰＶ１～ＰＶ３は、それぞれＰＶ１＝４．１、ＰＶ２＝２．７、ＰＶ３＝５．６となり、等間隔の場合よりも、第３開口領域１４Ｃの画像信号のノイズ量が低減する。また、この結果、各画像間のノイズ量の差が縮まり、全体として、より好ましい画像が得られる。
　図１７は、偏光角度の調整方法の他の一例を示す図である。同図は、上記の調整（図１６で説明した調整）から更に調整を加える場合の一例を示している。同図において、表（Ａ）は、上記調整後の状態を示している。また、表（Ｂ）は、更なる調整を加えた後の状態を示している。
　更なる調整を加える場合、表（Ｂ）に示すように、第２開口領域１４Ｂの偏光角度θ２及び第３開口領域１４Ｃの偏光角度θ３を離す。なお、表（Ｂ）は、第３開口領域１４Ｃの偏光角度θ３を第２開口領域１４Ｂの偏光角度θ２から離れる方向に１０°ずらした場合の例を示している。この場合、第３開口領域１４Ｃの偏光角度θ３は１３０°に設定される。このように設定することにより、各開口領域１４Ａ～１４Ｃの画像信号に生じるノイズ量ＰＶ１～ＰＶ３は、それぞれＰＶ１＝４．３、ＰＶ２＝２．４、ＰＶ３＝５．３となり、更に第３開口領域１４Ｃの画像信号のノイズ量が低減する。
　以上説明したように、各開口領域の偏光角度は、各開口領域を透過する光の感度に基づいて調整され、設定される。その際、等間隔とした場合（差分が全て等しくなる場合）よりも、各開口領域の画像信号のノイズ量の差が縮小するように設定される。好ましくは、各開口領域の画像信号のノイズ量の差が最小化する偏光角度に設定される。なお、ここでの「最小化」には、実質的に最小化したものとみなせる場合、すなわち、ほぼ最小の状態が含まれる。
　等間隔とした場合よりも、各開口領域の画像信号のノイズ量の差が縮小するように設定するには、等間隔とした場合よりも、混信除去処理によるノイズ増幅量が低減するように設定する。このためには、相対的に感度の低い開口領域の画像信号と他の開口領域の画像信号の混信量が低減するように、各開口領域の偏光角度を設定する。なお、好ましくは、混信除去処理によるノイズ増幅量が最小化（ほぼ最小を含む）するように、各開口領域の偏光角度を設定する。
　［その他のノイズ評価手法］
　混信除去処理後の各開口領域１４Ａ～１４Ｃの画像（各波長帯域λ１～λ３の画像）に生じるノイズについては、標準偏差（standard deviation，ＳＴＤ）及び混信行列Ｂの条件数等によっても評価できる。
　標準偏差によるノイズの評価値は、たとえば、次の手法で算出できる。まず、初期値として、イメージセンサの各画素Ｐ１～Ｐ４の画素信号のノイズを設定し（たとえば、±１の乱数）、そのノイズに混信除去行列を掛けることで、各開口領域１４Ａ～１４Ｃの画像信号のノイズ値を算出する。更に、初期値を乱数等で変えながら上記計算を複数回（たとえば、１００回）実施する。これにより、各開口領域１４Ａ～１４Ｃの画像信号のノイズ値が複数個（たとえば、１００個）得られる。得られた複数のノイズ値の標準偏差を計算し、ノイズの評価値を算出する。
　図１８は、各ノイズ評価手法でのノイズの評価値の算出結果の一例を示す図である。
　本例では、各開口領域の偏光角度の設定は変えずに、感度のみを変えて、ノイズの評価値を算出している。各開口領域の偏光角度の設定は、第１開口領域の偏光角度θ１をθ１＝０°、第２開口領域の偏光角度θ２をθ２＝６０°、第３開口領域の偏光角度θ３をθ３＝１２０°としている。すなわち、等間隔としている。
　図１８に示す表において、Ａは、第１開口領域を透過する光の感度を１、第２開口領域を透過する光の感度を１、第３開口領域を透過する光の感度を１とした場合の算出結果を示している。すなわち、各開口領域を透過する光の感度が、全て等しい場合のノイズの評価値の算出結果を示している。Ｂは、第１開口領域を透過する光の感度を１、第２開口領域を透過する光の感度を０．５、第３開口領域を透過する光の感度を０．５とした場合の算出結果を示している。Ｃは、第１開口領域を透過する光の感度を１、第２開口領域を透過する光の感度を０．５、第３開口領域を透過する光の感度を０．２５とした場合の算出結果を示している。Ｄは、第１開口領域を透過する光の感度を１、第２開口領域を透過する光の感度を０．５、第３開口領域を透過する光の感度を０．１とした場合の算出結果を示している。
　［各評価手法で求めたノイズの評価値に基づく偏光角度の最適化手法］
　（１）標準偏差によってノイズを評価した場合の偏光角度の調整方法
　標準偏差によってノイズを評価した場合は、ノイズ量ＰＶに基づいて偏光角度を設定する場合と同様の手法で各開口領域の偏光角度を最適化できる。具体的には、各開口領域を透過する光の感度に基づいて各開口領域の偏光角度を設定し、相対的に感度の低い開口領域の画像信号と他の開口領域の画像信号の混信量が低減するように、各開口領域の偏光角度を設定する。その際、等間隔の場合（差分が全て等しくなる場合）よりも、各開口領域の画像信号のノイズ量（ノイズの評価値）の差が縮小するように、各開口領域の偏光角度を設定する。好ましくは、各開口領域の画像信号のノイズ量の差が最小化（ほぼ最小化する場合を含む）するように、各開口領域の偏光角度を設定する。これにより、相対的に感度の低い開口領域の画像のノイズ量が低減し、全体として高品質な画像（マルチスペクトル画像）を生成できる。
　（２）混信行列の条件数によってノイズを評価した場合の偏光角度の調整方法
　混信行列Ｂの条件数によってノイズを評価した場合については、等間隔とした場合よりも、条件数が低下するように、各開口領域の偏光角度を設定する。好ましくは、混信行列Ｂの条件数が最小化（ほぼ最小化する場合を含む）するように、各開口領域の偏光角度を設定する。
　混信行列Ｂの条件数は、さまざまな被写体及び条件におけるノイズ量を示す指標である。したがって、混信行列Ｂの条件数を低下させることにより、ノイズ量を低減でき、高品質なマルチスペクトル画像を生成できる。
　なお、条件数の算出に使用する開口領域の数を減らすことにより、特定の開口領域の画像（波長帯域の画像）のみを最適化（ノイズを低減）することもできる。
　［調整例］
　（１）調整例１
　図１９は、各ノイズ評価手法に基づく偏光角度の調整の一例を示す図である。
　同図は、第１開口領域を透過する光の感度が１、第２開口領域を透過する光の感度が０．５、第３開口領域を透過する光の感度が０．２５の場合の調整例を示している。すなわち、図１８の表のＣの場合の調整例を示している。いずれの場合も第２開口領域１４Ｂの偏光角度θ２及び第３開口領域１４Ｃの偏光角度θ３を調整して、各開口領域に設定する偏光角度を最適化する場合の例を示している。
　同図に示す表において、Ｃ１は、標準偏差によるノイズの評価値に基づいて、各開口領域の偏光角度を調整した場合の例を示している。すなわち、標準偏差によるノイズの評価値の差が低減するように調整した場合の例を示している。
　同図に示す表において、Ｃ２は、混信行列Ｂの条件数に基づいて各開口領域の偏光角度を調整した場合の例を示している。すなわち、混信行列Ｂの条件数が低減するように、調整した場合の例を示している。
　同図に示す表において、Ｃ３は、ノイズ量ＰＶに基づいて各開口領域の偏光角度を調整した場合の例を示している。すなわち、ノイズ量ＰＶが低減するように調整した場合の例を示している。
　いずれの場合も、各画像間でノイズの差が縮小化し、全体として好ましい画像（マルチスペクトル画像）を生成できる。
　なお、図１９に示すように、調整の結果、各開口領域に設定される偏光角度は等間隔ではなくなる。すなわち、各開口領域に設定される偏光角度を偏光角度の順とした場合に、隣り合う偏光角度の差分が少なくとも１つは異なるものとなる。
　図２０は、標準偏差によるノイズの評価値の変動状態を示すグラフである。
　同図は、第１開口領域を透過する光の感度が１、第２開口領域を透過する光の感度が０．５、第３開口領域を透過する光の感度が０．２５の場合において、等間隔の場合（θ１＝０°、θ２＝６０°、θ３＝１２０°の場合）を初期値とし、第２開口領域及び第３開口領域の偏光角度θ２、θ３を変化させた場合のノイズ評価値の変動状態を示している。
　同図に示すグラフにおいて、無色（背景と同色）の領域は、初期値（θ１＝０°、θ２＝６０°、θ３＝１２０°）と同等以上のノイズが発生する条件の領域である。一方、有色の領域は、初期値よりもノイズが低減する条件の領域である。有色の領域は、濃度が濃い領域ほどノイズが低減する条件の領域である。したがって、少なくとも有色の領域の条件を選択することで、等間隔の場合よりも発生するノイズを低減できる。
　図２１は、混信行列の条件数の変動状態を示すグラフである。
　同図は、第１開口領域を透過する光の感度が１、第２開口領域を透過する光の感度が０．５、第３開口領域を透過する光の感度が０．２５の場合において、等間隔の場合を初期値とし、第２開口領域及び第３開口領域の偏光角度θ２、θ３を変化させた場合の条件数の変動状態を示している。
　同図に示すグラフにおいて、無色の領域は、初期値と同等以上のノイズが発生する条件の領域である。一方、有色の領域は、初期値よりもノイズが低減する条件の領域であり、濃度が濃い領域ほどノイズが低減する条件の領域である。したがって、少なくとも有色の領域の条件を選択することで、等間隔の場合よりも発生するノイズを低減できる。
　図２２は、ノイズ量の変動状態を示すグラフである。
　同図は、第１開口領域を透過する光の感度が１、第２開口領域を透過する光の感度が０．５、第３開口領域を透過する光の感度が０．２５の場合において、等間隔の場合を初期値とし、第２開口領域及び第３開口領域の偏光角度θ２、θ３を変化させた場合のノイズ量ＰＶの変動状態を示している。
　同図に示すグラフにおいて、無色の領域は、初期値と同等以上のノイズが発生する条件の領域である。一方、有色の領域は、初期値よりもノイズが低減する条件の領域であり、濃度が濃い領域ほどノイズが低減する条件の領域である。したがって、少なくとも有色の領域の条件を選択することで、等間隔の場合よりも発生するノイズを低減できる。
　（２）調整例２
　図２３は、各ノイズ評価手法に基づく偏光角度の調整の他の一例を示す図である。
　同図は、第１開口領域を透過する光の感度が１、第２開口領域を透過する光の感度が０．５、第３開口領域を透過する光の感度が０．１の場合の調整例を示している。すなわち、図１８の表のＤの場合の調整例を示している。いずれの場合も第２開口領域１４Ｂの偏光角度θ２及び第３開口領域１４Ｃの偏光角度θ３を調整して、各開口領域に設定する偏光角度を最適化する場合の例を示している。
　同図に示す表において、Ｄ１は、標準偏差によるノイズの評価値に基づいて、各開口領域の偏光角度を調整した場合の例を示している。すなわち、標準偏差によるノイズの評価値の差が低減するように調整した場合の例を示している。
　同図に示す表において、Ｄ２は、混信行列Ｂの条件数に基づいて各開口領域の偏光角度を調整した場合の例を示している。すなわち、混信行列Ｂの条件数が低減するように、調整した場合の例を示している。
　同図に示す表において、Ｄ３は、ノイズ量ＰＶに基づいて各開口領域の偏光角度を調整した場合の例を示している。すなわち、ノイズ量ＰＶが低減するように調整した場合の例を示している。
　いずれの場合も、各画像間でノイズの差が縮小化し、全体として好ましい画像（マルチスペクトル画像）を生成できる。
　なお、図２３に示すように、調整の結果、各開口領域に設定される偏光角度は等間隔ではなくなる。すなわち、各開口領域に設定される偏光角度を偏光角度の順とした場合に、隣り合う偏光角度の差分が少なくとも１つは異なるものとなる。
　図２４は、標準偏差によるノイズの評価値の変動状態を示すグラフである。
　同図は、第１開口領域を透過する光の感度が１、第２開口領域を透過する光の感度が０．５、第３開口領域を透過する光の感度が０．１の場合において、等間隔の場合（θ１＝０°、θ２＝６０°、θ３＝１２０°の場合）を初期値とし、第２開口領域及び第３開口領域の偏光角度θ２、θ３を変化させた場合のノイズ評価値の変動状態を示している。
　同図に示すグラフにおいて、無色（背景と同色）の領域は、初期値（θ１＝０°、θ２＝６０°、θ３＝１２０°）と同等以上のノイズが発生する条件の領域である。一方、有色の領域は、初期値よりもノイズが低減する条件の領域であり、濃度が濃い領域ほどノイズが低減する条件の領域である。したがって、少なくとも有色の領域の条件を選択することで、等間隔の場合よりも発生するノイズを低減できる。
　図２５は、混信行列の条件数の変動状態を示すグラフである。
　同図は、第１開口領域を透過する光の感度が１、第２開口領域を透過する光の感度が０．５、第３開口領域を透過する光の感度が０．１の場合において、等間隔の場合を初期値とし、第２開口領域及び第３開口領域の偏光角度θ２、θ３を変化させた場合の条件数の変動状態を示している。
　同図に示すグラフにおいて、無色の領域は、初期値と同等以上のノイズが発生する条件の領域である。一方、有色の領域は、初期値よりもノイズが低減する条件の領域であり、濃度が濃い領域ほどノイズが低減する条件の領域である。したがって、少なくとも有色の領域の条件を選択することで、等間隔の場合よりも発生するノイズを低減できる。
　図２６は、ノイズ量の変動状態を示すグラフである。
　同図は、第１開口領域を透過する光の感度が１、第２開口領域を透過する光の感度が０．５、第３開口領域を透過する光の感度が０．１の場合において、等間隔の場合を初期値とし、第２開口領域及び第３開口領域の偏光角度θ２、θ３を変化させた場合のノイズ量ＰＶの変動状態を示している。
　同図に示すグラフにおいて、無色の領域は、初期値と同等以上のノイズが発生する条件の領域である。一方、有色の領域は、初期値よりもノイズが低減する条件の領域である。有色の領域は、濃度が濃い領域ほどノイズが低減する条件の領域である。したがって、少なくとも有色の領域の条件を選択することで、等間隔の場合よりも発生するノイズを低減できる。
　［その他の実施形態］
　［撮像装置の変形例］
　上記実施の形態では、撮像レンズの瞳領域を３つの領域に分割し、３つの波長帯域のマルチスペクトル画像を撮像する撮像装置に本発明を適用した場合を例に説明したが、本発明の適用は、これに限定されるものではない。撮像レンズの瞳領域を３つ以上の領域に分割し、３つ以上の波長帯域のマルチスペクトル画像を撮像する撮像装置に適用できる。
　また、イメージセンサの各画素には、分光フィルタ素子を備えてもよい。分光フィルタ素子は、複数種類使用してもよい。複数種類の分光フィルタ素子を使用することにより、各画素において、分光感度と偏光角度の組み合わせが異なる光を受光できる。これにより、より多くのマルチスペクトル画像を撮像できる。
　図２７は、９つの波長帯域のマルチスペクトル画像を撮像する撮像装置の一例を示す概念図である。
　同図に示すように、本例の撮像レンズ１０には、第１開口板１５Ａ及び第２開口板１５Ｂが備えられる。第１開口板１５Ａ及び第２開口板１５Ｂは、撮像レンズ１０の瞳位置又はその近傍に配置される。
　第１開口板１５Ａには、３つの開口領域が備えられる。第１の開口領域には、偏光角度θ１の光を透過させる第１の偏光フィルタが備えられる。第２の開口領域には、偏光角度θ２の光を透過させる第２の偏光フィルタが備えられる。第３の開口領域には、偏光角度θ３の光を透過させる第３の偏光フィルタが備えられる。
　第２開口板１５Ｂには、９つの開口領域が備えられる。第１の開口領域には、波長帯域λ１１の光を透過させる第１のバンドパスフィルタが備えられる。第２の開口領域には、波長帯域λ１２の光を透過させる第２のバンドパスフィルタが備えられる。第３の開口領域には、波長帯域λ１３の光を透過させる第３のバンドパスフィルタが備えられる。第４の開口領域には、波長帯域λ２１の光を透過させる第４のバンドパスフィルタが備えられる。第５の開口領域には、波長帯域λ２２の光を透過させる第５のバンドパスフィルタが備えられる。第６の開口領域には、波長帯域λ２３の光を透過させる第６のバンドパスフィルタが備えられる。第７の開口領域には、波長帯域λ３１の光を透過させる第７のバンドパスフィルタが備えられる。第８の開口領域には、波長帯域λ３２の光を透過させる第８のバンドパスフィルタが備えられる。第９の開口領域には、波長帯域λ３３の光を透過させる第９のバンドパスフィルタが備えられる。
　第２開口板１５Ｂの第１から第３の開口領域は、第１開口板１５Ａの第１の開口領域と連通する。したがって、第２開口板１５Ｂの第１から第３の開口領域には、偏光角度θ１の光が入射する。第２開口板１５Ｂの第４から第６の開口領域は、第１開口板１５Ａの第２の開口領域と連通する。したがって、第２開口板１５Ｂの第４から第６の開口領域には、偏光角度θ２の光が入射する。第２開口板１５Ｂの第７から第９の開口領域は、第１開口板１５Ａの第３の開口領域と連通する。したがって、第２開口板１５Ｂの第７から第９の開口領域には、偏光角度θ３の光が入射する。
　以上の構成の撮像レンズ１０によれば、瞳領域が９つの領域に分割され、各領域が、それぞれ異なる偏光角度及び波長帯域の組み合わせの光を透過させる。
　イメージセンサ１００は、１つの画素ブロックが９つの画素Ｐ１～Ｐ９で構成される。各画素Ｐ１～Ｐ９には、それぞれ異なる組み合わせの偏光フィルタ素子及び分光フィルタ素子が備えられる。具体的には、第１画素Ｐ１には、偏光角度Θ１の偏光フィルタ素子及び分光感度λＡの分光フィルタ素子（たとえば、赤色の波長帯域に分光感度のピークを有する分光フィルタ素子）が備えられる。第２画素Ｐ２には、偏光角度Θ２の偏光フィルタ素子及び分光感度λＡの分光フィルタ素子が備えられる。第３画素Ｐ３には、偏光角度Θ３の偏光フィルタ素子及び分光感度λＡの分光フィルタ素子が備えられる。第４画素Ｐ４には、偏光角度Θ１の偏光フィルタ素子及び分光感度λＢの分光フィルタ素子（たとえば、緑色の波長帯域に分光感度のピークを有する分光フィルタ素子）が備えられる。第５画素Ｐ５には、偏光角度Θ２の偏光フィルタ素子及び光感度λＢの分光フィルタ素子が備えられる。第６画素Ｐ６には、偏光角度Θ３の偏光フィルタ素子及び分光感度λＢの分光フィルタ素子が備えられる。第７画素Ｐ７には、偏光角度Θ１の偏光フィルタ素子及び分光感度λＣの分光フィルタ素子（たとえば、青色の波長帯域に分光感度のピークを有する分光フィルタ素子）が備えられる。第８画素Ｐ８には、偏光角度Θ２の偏光フィルタ素子及び分光感度λＣの分光フィルタ素子が備えられる。第９画素Ｐ９には、偏光角度Θ３の偏光フィルタ素子及び分光感度λＣの分光フィルタ素子が備えられる。すなわち、３種類の偏光フィルタ素子及び３種類の分光フィルタ素子を組み合わせて、各画素に偏光フィルタ素子及び分光フィルタ素子が備えられる。
　以上の構成のイメージセンサ１００によれば、各画素ブロックにおいて、各画素Ｐ１～Ｐ９が、異なる偏光角度及び分光感度の光を受光する。
　信号処理部２００は、イメージセンサ１００から出力される信号を処理して、各波長帯域λ１１～λ３３の画像信号を生成する。具体的には、混信除去処理を行って、各波長帯域λ１１～λ３３の画像信号を生成する。
　本例の撮像装置１では、撮像レンズ１０に３種類の偏光フィルタが備えられる。この３種類の偏光フィルタに対し、上記実施の形態で説明した手法で偏光角度を最適化する。偏光角度の最適化により、ノイズを抑えた良好な画像（マルチスペクトル画像）を撮像できる。たとえば、混信行列の条件数が、最小化するように、各偏光フィルタの偏光角度を設定する。
　［撮像レンズの変形例］
　上記実施の形態の撮像レンズは、１つの開口板に偏光フィルタ及びバンドパスフィルタを備える構成としているが、偏光フィルタ及びバンドパスフィルタを別々の偏光板に備える構成としてもよい。
　また、上記実施の形態の撮像レンズは、円盤状の開口板が周方向に等分割されて、複数の開口領域が備えられているが、開口領域の形状及びレイアウトは、これに限定されるものではない。開口領域の形状及びレイアウトについては、開口領域の数、撮像対象等に応じて、最適な形状及びレイアウトを選択できる。
　［調整機構］
　上記のように、混信除去処理を行って各開口領域の画像を生成する場合、各画像のノイズ量は、「各開口領域を透過する光の感度」及び「混信除去処理によるノイズ増幅量」によって決定する。
　「各開口領域を透過する光の感度」は、光源及び被写体によって変化する。したがって、光源及び被写体によって、使用する偏光フィルタを適宜交換できる構成とすることが好ましい。このため、撮像レンズ１０には、偏光フィルタの交換機構を備えることが好ましい。
　偏光フィルタの交換機構としては、ユニットとして全体を交換する構成としてもよいし、また、各偏光フィルタを個別に交換する構成としてもよい。ユニットとして全体を交換する場合は、偏光フィルタの組み合わせが異なる複数のユニットを用意し、状況（光源及び被写体）に応じて、適宜使用するユニットを交換する。
　バンドパスフィルタについても同様に交換機構を備えることが好ましい。この場合、偏光フィルタの場合と同様に、ユニットとして全体を交換する構成としてもよいし、また、各バンドパスフィルタを個別に交換できる構成としてもよい。
　また、撮像レンズは、各開口領域において、バンドパスフィルタ及び偏光フィルタの組み合わせを変える機構を備えてもよい。たとえば、バンドパスフィルタ及び偏光フィルタの少なくとも一方が回転する構造（回転構造）とし、少なくとも一方を回転させて、バンドパスフィルタ及び偏光フィルタの組み合わせを変える構造とすることができる。具体的には、バンドパスフィルタ及び偏光フィルタを別々の開口板に取り付け、少なくとも一方の開口板が、光軸を中心に回転できる構造とする。これにより、開口板を回転させることで、バンドパスフィルタ及び偏光フィルタの組み合わせを変えることができる（いわゆるターレット状の切り替え機構）。
　なお、この場合、偏光フィルタ側を固定、バンドパスフィルタ側を回転可能とすれば、回転に応じて混信除去のパラメータを変更する必要がないため、より好ましい。
　［情報の提示］
　上記のように、「各開口領域を透過する光の感度」は、光源及び被写体によって変化する。したがって、光源及び被写体に応じて、最適な偏光フィルタをユーザに提示する構成とすることもできる。この場合、撮像により得られた各画像（マルチスペクトル画像）からノイズ量を計測し、よりノイズが低減される偏光フィルタ（偏光角度）を提示する。たとえば、よりノイズが低減される組み合わせの偏光フィルタをディスプレイ等に表示する。
　図２８は、偏光フィルタを最適化して提示する手順の一例を示すフローチャートである。
　まず、標準の偏光フィルタの組み合わせで被写体を撮像する（ステップＳ１）。たとえば、等間隔となる組み合わせの偏光フィルタで被写体を撮像する。なお、バンドパスフィルタは、実際に使用する波長帯域の組み合わせのものを使用する。
　次に、撮像により得られた各開口領域の画像（各波長帯域の画像）のノイズ量を計測する（ステップＳ２）。
　次に、各開口領域の画像のノイズ量が低減するように、各開口領域に設定する偏光角度を最適化する（ステップＳ３）。たとえば、混信行列の条件数が最小化するように、各開口領域の偏光角度を設定する。また、設定可能な偏光角度が制限されている場合（たとえば、交換可能な偏光フィルタに限りがある場合など）は、制限された範囲内で偏光角度を最適化する。
　次に、最適化した偏光角度を提示する（ステップＳ４）。たとえば、ディスプレイに表示する。
　次に、提示された偏光角度の組み合わせとなるように、各開口領域に備える偏光フィルタを交換する（ステップＳ５）。交換は、個別に行う構成としてもよいし、全体を交換する構成としてもよい。
　これにより、被写体及び光源に応じて、高品質なマルチスペクトル画像を撮像できる。
　［画像生成部のハードウェア構成］
　画像生成部のハードウェア的な構造は、次に示すような各種のプロセッサである。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。
１　撮像装置
４Ａ　開口領域
１０　撮像レンズ
１２　レンズ
１４　開口板
１４Ａ　第１開口領域
１４Ｂ　第２開口領域
１４Ｃ　第３開口領域
１５Ａ　第１開口板
１５Ｂ　第２開口板
１６Ａ　第１バンドパスフィルタ
１６Ｂ　第２バンドパスフィルタ
１６Ｃ　第３バンドパスフィルタ
１８Ａ　第１偏光フィルタ
１８Ｂ　第２偏光フィルタ
１８Ｃ　第３偏光フィルタ
１００　イメージセンサ
１１０　ピクセルアレイ層
１１２　フォトダイオード
１２０　偏光フィルタ素子アレイ層
１２２Ａ　第１偏光フィルタ素子
１２２Ｂ　第２偏光フィルタ素子
１２２Ｃ　第３偏光フィルタ素子
１２２Ｄ　第４偏光フィルタ素子
１４０　マイクロレンズアレイ層
１４２　マイクロレンズ
２００　信号処理部
２００Ａ　アナログ信号処理部
２００Ｂ　画像生成部
２００Ｃ　係数記憶部
Ｄ１　画像信号
Ｄ２　画像信号
Ｄ３　画像信号
Ｄ４　画像信号
Ｌ　光軸
Ｐ１　第１画素
Ｐ２　第２画素
Ｐ３　第３画素
Ｐ４　第４画素
Ｐ５　第５画素
Ｐ６　第６画素
Ｐ７　第７画素
Ｐ８　第８画素
Ｐ９　第９画素
ＰＢ（Ｘ，Ｙ）　画素ブロック
Θ１　第１偏光フィルタ素子の偏光角度
Θ２　第２偏光フィルタ素子の偏光角度
Θ３　第３偏光フィルタ素子の偏光角度
Θ４　第４偏光フィルタ素子の偏光角度
α１　画素信号
α２　画素信号
α３　画素信号
α４　画素信号
β１　画素信号
β２　画素信号
β３　画素信号
θ１　第１偏光フィルタの偏光角度
θ２　第２偏光フィルタの偏光角度
θ３　第３偏光フィルタの偏光角度
λ１　第１バンドパスフィルタの透過波長帯域
λ２　第２バンドパスフィルタの透過波長帯域
λ３　第３バンドパスフィルタの透過波長帯域
λ１１　第１のバンドパスフィルタの透過の波長帯域
λ１２　第２のバンドパスフィルタの透過の波長帯域
λ１３　第３のバンドパスフィルタの透過の波長帯域
λ２１　第４のバンドパスフィルタの透過の波長帯域
λ２２　第５のバンドパスフィルタの透過の波長帯域
λ２３　第６のバンドパスフィルタの透過の波長帯域
λ３１　第７のバンドパスフィルタの透過の波長帯域
λ３２　第８のバンドパスフィルタの透過の波長帯域
λ３３　第９のバンドパスフィルタの透過の波長帯域
λＡ　分光フィルタ素子の分光感度
λＢ　分光フィルタ素子の分光感度
λＣ　分光フィルタ素子の分光感度
Ｓ１～Ｓ５　偏光フィルタを最適化して提示する手順

Claims (20)

  1. 　瞳位置又は瞳位置の近傍に３つ以上の開口領域を有し、各前記開口領域がそれぞれ異なる組み合わせの偏光フィルタ及びバンドパスフィルタを備えることにより、各前記開口領域がそれぞれ異なる偏光角度及び波長帯域の組み合わせの光を透過させる光学系と、
    　それぞれ異なる偏光角度の光を受光する３種類以上の画素が二次元に配置されたイメージセンサと、
    　前記イメージセンサから出力される信号に混信除去処理を行い、前記開口領域ごとの画像信号を生成するプロセッサと、
    　を備えた撮像装置であって、
    　前記光学系が３種類以上の前記偏光フィルタを有し、前記偏光フィルタを偏光角度の順とした場合に、隣り合う前記偏光フィルタの偏光角度の差分が少なくとも１つは異なる、
    　撮像装置。
  2. 　各前記開口領域を透過する光の感度に基づいて、各前記偏光フィルタの偏光角度が設定される、
    　請求項１に記載の撮像装置。
  3. 　各前記偏光フィルタに設定される偏光角度は、前記差分が全て等しくなる場合よりも、各前記開口領域の前記画像信号のノイズ量の差が縮小する偏光角度に設定される、
    　請求項１又は２に記載の撮像装置。
  4. 　各前記偏光フィルタに設定される偏光角度は、各前記開口領域の前記画像信号のノイズ量の差が最小化する偏光角度に設定される、
    　請求項１又は２に記載の撮像装置。
  5. 　各前記偏光フィルタに設定される偏光角度は、前記差分が全て等しくなる場合よりも、前記混信除去処理によるノイズ増幅量が低減する偏光角度に設定される、
    　請求項１又は２に記載の撮像装置。
  6. 　各前記偏光フィルタに設定される偏光角度は、前記混信除去処理によるノイズ増幅量が最小化する偏光角度に設定される、
    　請求項１又は２に記載の撮像装置。
  7. 　各前記偏光フィルタに設定される偏光角度は、相対的に感度の低い前記開口領域の画像信号と他の前記開口領域の画像信号の混信量が低減する偏光角度に設定される、
    　請求項１又は２に記載の撮像装置。
  8. 　前記プロセッサが、混信行列に基づいて前記混信除去処理を行う場合において、
    　各前記偏光フィルタに設定される偏光角度は、前記差分が全て等しくなる場合よりも、前記混信行列の条件数が低下する偏光角度に設定される、
    　請求項１又は２に記載の撮像装置。
  9. 　前記プロセッサが、混信行列に基づいて前記混信除去処理を行う場合において、
    　各前記偏光フィルタに設定される偏光角度は、前記混信行列の条件数が最小化する偏光角度に設定される、
    　請求項１又は２に記載の撮像装置。
  10. 　前記光学系は、前記バンドパスフィルタ及び前記偏光フィルタの少なくとも一方が個別に交換される交換機構を有する、
    　請求項１から９のいずれか１項に記載の撮像装置。
  11. 　前記光学系は、前記バンドパスフィルタ及び前記偏光フィルタの少なくとも一方が回転する回転構造を有する、
    　請求項１から９のいずれか１項に記載の撮像装置。
  12. 　瞳位置又は瞳位置の近傍に３つ以上の開口領域を有し、各前記開口領域がそれぞれ異なる組み合わせの偏光フィルタ及びバンドパスフィルタを備えることにより、各前記開口領域がそれぞれ異なる偏光角度及び波長帯域の組み合わせの光を透過させる光学系と、それぞれ異なる偏光角度の光を受光する３種類以上の画素が二次元に配置されたイメージセンサと、を使用し、前記イメージセンサから出力される信号に混信除去処理を行い、前記開口領域ごとの画像信号を生成する撮像方法であって、
    　前記光学系が３種類以上の前記偏光フィルタを有し、前記偏光フィルタを偏光角度の順とした場合に、隣り合う前記偏光フィルタの偏光角度の差分が少なくとも１つは異なる、
    　撮像方法。
  13. 　各前記開口領域を透過する光の感度に基づいて、各前記偏光フィルタの偏光角度が設定される、
    　請求項１２に記載の撮像方法。
  14. 　各前記偏光フィルタに設定される偏光角度は、前記差分が全て等しくなる場合よりも、各前記開口領域の前記画像信号のノイズ量の差が縮小する偏光角度に設定される、
    　請求項１２又は１３に記載の撮像方法。
  15. 　各前記偏光フィルタに設定される偏光角度は、各前記開口領域の前記画像信号のノイズ量の差が最小化する偏光角度に設定される、
    　請求項１２又は１３に記載の撮像方法。
  16. 　各前記偏光フィルタに設定される偏光角度は、前記差分が全て等しくなる場合よりも、前記混信除去処理によるノイズ増幅量が低減する偏光角度に設定される、
    　請求項１２又は１３に記載の撮像方法。
  17. 　各前記偏光フィルタに設定される偏光角度は、前記混信除去処理によるノイズ増幅量が最小化する偏光角度に設定される、
    　請求項１２又は１３に記載の撮像方法。
  18. 　各前記偏光フィルタに設定される偏光角度は、相対的に感度の低い前記開口領域の画像信号と他の前記開口領域の画像信号の混信量が低減する偏光角度に設定される、
    　請求項１２又は１３に記載の撮像方法。
  19. 　混信行列に基づいて前記混信除去処理を行う場合において、
    　各前記偏光フィルタに設定される偏光角度は、前記差分が全て等しくなる場合よりも、前記混信行列の条件数が低下する偏光角度に設定される、
    　請求項１２又は１３に記載の撮像方法。
  20. 　混信行列に基づいて前記混信除去処理を行う場合において、
    　各前記偏光フィルタに設定される偏光角度は、前記混信行列の条件数が最小化する偏光角度に設定される、
    　請求項１２又は１３に記載の撮像方法。
PCT/JP2021/006660 2020-02-28 2021-02-22 撮像装置及び方法 WO2021172284A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022503612A JP7326581B2 (ja) 2020-02-28 2021-02-22 撮像装置及び方法
CN202180014967.3A CN115152205B (zh) 2020-02-28 2021-02-22 摄像装置及方法
US17/884,537 US20220385863A1 (en) 2020-02-28 2022-08-09 Imaging apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020033962 2020-02-28
JP2020-033962 2020-02-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/884,537 Continuation US20220385863A1 (en) 2020-02-28 2022-08-09 Imaging apparatus and method

Publications (1)

Publication Number Publication Date
WO2021172284A1 true WO2021172284A1 (ja) 2021-09-02

Family

ID=77490510

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/006660 WO2021172284A1 (ja) 2020-02-28 2021-02-22 撮像装置及び方法

Country Status (3)

Country Link
US (1) US20220385863A1 (ja)
JP (1) JP7326581B2 (ja)
WO (1) WO2021172284A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181094A1 (ja) * 2021-02-26 2022-09-01 富士フイルム株式会社 光学装置、光学装置の作動方法、及びプログラム
WO2023053767A1 (ja) * 2021-09-29 2023-04-06 富士フイルム株式会社 データ処理装置、方法及びプログラム並びにマルチスペクトルカメラ
WO2023053770A1 (ja) * 2021-09-30 2023-04-06 富士フイルム株式会社 情報処理装置、方法及びプログラム並びに撮像装置
WO2023091472A1 (en) * 2021-11-16 2023-05-25 Intrinsic Innovation Llc Polarization event cameras
WO2023157396A1 (ja) * 2022-02-15 2023-08-24 富士フイルム株式会社 レンズ装置、情報処理装置、プログラム、及び撮像装置の製造方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202131671A (zh) * 2019-10-07 2021-08-16 日商索尼半導體解決方案公司 電子機器
JP7309640B2 (ja) * 2020-03-18 2023-07-18 株式会社東芝 光学検査装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013102322A (ja) * 2011-11-08 2013-05-23 Sony Corp 撮像装置及び撮像方法
WO2014020791A1 (ja) * 2012-08-02 2014-02-06 パナソニック株式会社 偏光カラー撮像装置
JP2018036314A (ja) * 2016-08-29 2018-03-08 富士フイルム株式会社 偏光イメージセンサーおよび偏光イメージセンサーの製造方法
JP2018077190A (ja) * 2016-11-11 2018-05-17 株式会社東芝 撮像装置及び自動制御システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013102322A (ja) * 2011-11-08 2013-05-23 Sony Corp 撮像装置及び撮像方法
WO2014020791A1 (ja) * 2012-08-02 2014-02-06 パナソニック株式会社 偏光カラー撮像装置
JP2018036314A (ja) * 2016-08-29 2018-03-08 富士フイルム株式会社 偏光イメージセンサーおよび偏光イメージセンサーの製造方法
JP2018077190A (ja) * 2016-11-11 2018-05-17 株式会社東芝 撮像装置及び自動制御システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181094A1 (ja) * 2021-02-26 2022-09-01 富士フイルム株式会社 光学装置、光学装置の作動方法、及びプログラム
WO2023053767A1 (ja) * 2021-09-29 2023-04-06 富士フイルム株式会社 データ処理装置、方法及びプログラム並びにマルチスペクトルカメラ
WO2023053770A1 (ja) * 2021-09-30 2023-04-06 富士フイルム株式会社 情報処理装置、方法及びプログラム並びに撮像装置
WO2023091472A1 (en) * 2021-11-16 2023-05-25 Intrinsic Innovation Llc Polarization event cameras
WO2023157396A1 (ja) * 2022-02-15 2023-08-24 富士フイルム株式会社 レンズ装置、情報処理装置、プログラム、及び撮像装置の製造方法

Also Published As

Publication number Publication date
JPWO2021172284A1 (ja) 2021-09-02
CN115152205A (zh) 2022-10-04
US20220385863A1 (en) 2022-12-01
JP7326581B2 (ja) 2023-08-15

Similar Documents

Publication Publication Date Title
WO2021172284A1 (ja) 撮像装置及び方法
US9219866B2 (en) Dynamic adjustment of multimode lightfield imaging system using exposure condition and filter position
US10051159B2 (en) Imaging apparatus and imaging system
US7242478B1 (en) Spatially corrected full-cubed hyperspectral imager
US20140055784A1 (en) Camera system for capturing two-dimensional spatial information and hyper-spectral information
KR101265432B1 (ko) 촬상 소자 및 이것을 사용하는 촬상 장치
WO2018012492A1 (ja) 撮像装置、撮像素子、および画像処理装置
JP5446521B2 (ja) 撮像装置
EP3700197B1 (en) Imaging device and method, and image processing device and method
US20220078319A1 (en) Imaging apparatus
JP5310483B2 (ja) 撮像装置
JP7259757B2 (ja) 撮像装置、並びに、画像処理装置および方法
WO2022252367A1 (zh) 一种多光谱图像传感器及其成像模块
US11627263B2 (en) Imaging apparatus
WO2020071253A1 (ja) 撮像装置
CN115152205B (zh) 摄像装置及方法
WO2019188396A1 (ja) 撮像装置および方法、画像処理装置および方法、並びに、撮像素子
US20220365391A1 (en) Image processing device, imaging device, image processing method, and image processing program
US20230319385A1 (en) Optical member, lens device, and imaging apparatus
WO2024047944A1 (ja) 校正用部材、筐体装置、校正装置、校正方法、及びプログラム
US20230392984A1 (en) Device and a method for polarization dependent imaging
JP2024047253A (ja) 撮像装置及び方法
US20240151884A1 (en) Pixel having light focusing transparent diffractive grating
WO2018180808A1 (ja) 撮像装置及び画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21760060

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022503612

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21760060

Country of ref document: EP

Kind code of ref document: A1