WO2020250774A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2020250774A1
WO2020250774A1 PCT/JP2020/021936 JP2020021936W WO2020250774A1 WO 2020250774 A1 WO2020250774 A1 WO 2020250774A1 JP 2020021936 W JP2020021936 W JP 2020021936W WO 2020250774 A1 WO2020250774 A1 WO 2020250774A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pupil region
light
optical element
region
Prior art date
Application number
PCT/JP2020/021936
Other languages
English (en)
French (fr)
Inventor
和佳 岡田
慶延 岸根
睦 川中子
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2021526036A priority Critical patent/JP7238121B2/ja
Priority to CN202080042619.2A priority patent/CN113966605B/zh
Publication of WO2020250774A1 publication Critical patent/WO2020250774A1/ja
Priority to US17/528,175 priority patent/US11706506B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/286—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125—Colour sequential image capture, e.g. using a colour wheel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Definitions

  • the present invention relates to an imaging device.
  • Patent Document 1 uses a plurality of wavelength bands by using a polarizing color filter plate having a plurality of light-transmitting regions having different polarization characteristics and color characteristics and an image pickup device having a plurality of polarization filters having different polarization characteristics.
  • a technique for capturing an image (multi-spectral image) has been proposed.
  • One embodiment according to the technique of the present disclosure provides an imaging device that captures a multispectral image of good image quality.
  • the pupil region is divided into a first pupil region and a plurality of regions including a second pupil region different from the first pupil region, and passes through the first pupil region and the second pupil region.
  • An image sensor equipped with a polarizer that polarizes the light in different directions, a first pixel that receives light that passes through the first pupil region, and a light that passes through the second pupil region.
  • a second image sensor including the second pixel, a first image data composed of an image sensor including the second pixel, a signal output from the image sensor, and at least an output signal of the first pixel, and a second image data composed of an output signal of the second pixel.
  • the image pickup optical system includes a processor that outputs the image data of the above, and the wavelengths of light passing through the first pupil region and the second pupil region are different from each other, and the first pupil region and the second pupil are provided.
  • An image sensor in which the aberration characteristics of the regions corresponding to the regions are different from each other.
  • the image pickup optical system further differs in the amount of light passing through the first pupil region and the second pupil region.
  • the image pickup optical system is a first optical element arranged in the first pupil region and a first optical element arranged in the second pupil region.
  • a second optical element different from the above is provided, and the aberrations in the first pupil region and the region corresponding to the second pupil region are individually corrected by the first optical element and the second optical element.
  • the first optical element transmits light in the first wavelength band
  • the second optical element has a second wavelength band different from the first wavelength band. To transmit the light of.
  • the first optical element has a first transmittance
  • the second optical element has a second transmittance different from the first transmittance. ..
  • the first optical element has a first aperture area
  • the second optical element has a first aperture area. It has a different second opening area.
  • the first optical element and the second optical element have a lens shape
  • the imaging optical system includes the first optical element and the first optical element.
  • the curvature of the second optical element is individually adjusted, and the aberrations in the first pupil region and the region corresponding to the second pupil region are individually corrected.
  • the first optical element and the second optical element have a flat plate shape, and the imaging optical system includes the first optical element and the first optical element.
  • the thickness of the second optical element is individually adjusted to individually correct the aberrations in the first pupil region and the region corresponding to the second pupil region.
  • the first optical element and the second optical element have a flat plate shape
  • the imaging optical system includes the first optical element and the first optical element.
  • the inclination of the second optical element is individually adjusted, and the aberrations in the first pupil region and the region corresponding to the second pupil region are individually corrected.
  • the first optical element and the second optical element have a flat plate shape, and the imaging optical system includes the first optical element and the first optical element.
  • the inclination of one side of the second optical element is individually adjusted, and the aberrations in the first pupil region and the region corresponding to the second pupil region are individually corrected.
  • the first optical element and the second optical element are integrated to form one optical element.
  • the pupil region of the imaging optical system is divided concentrically.
  • FIG. 1st Embodiment of the image pickup apparatus which concerns on this invention.
  • Front view of bandpass filter unit Graph showing an example of transmission wavelength characteristics of each bandpass filter
  • Front view of polarizing filter unit The figure which shows the schematic structure of the arrangement of the pixel of an image sensor
  • the figure which shows the schematic structure of the image sensor Sectional drawing which shows the schematic structure of one pixel
  • FIG. 15-15 sectional view of the bandpass filter unit shown in FIG.
  • the figure which shows the structure of the bandpass filter unit of 3rd Embodiment 20-20 sectional view of FIG. 21-21 sectional view of FIG. A diagram schematically showing how the imaging position shifts due to asymmetric pupil division in a lens in which coma aberration remains.
  • FIG. 1 is a diagram showing a schematic configuration of a first embodiment of an imaging device according to the present invention.
  • the image pickup device of the present embodiment is an image pickup device that captures a 4-band multispectral image.
  • the image pickup apparatus of the present embodiment mainly includes an image pickup optical system 10, an image pickup element 100, and a signal processing unit 200.
  • the imaging optical system 10 is configured by combining a plurality of lenses 12.
  • the imaging optical system 10 has a bandpass filter unit 16 and a polarizing filter unit 18 in its optical path. Further, the imaging optical system 10 has a focus adjusting mechanism (not shown). The focus adjustment mechanism adjusts the focus by, for example, moving the entire imaging optical system 10 back and forth along the optical axis L.
  • FIG. 2 is a front view of the bandpass filter unit.
  • the bandpass filter unit 16 is composed of a frame body 16A having four opening areas 16A1 to 16A4, and four bandpass filters 16B1 to 16B4 provided in each opening area 16A1 to 16A4 of the frame body 16A.
  • the opening area 16A1 is the first opening area 16A1
  • the opening area 16A2 is the second opening area 16A2
  • the opening area 16A3 is the third opening area 16A3
  • the opening area 16A4 is the fourth opening area 16A4.
  • Each opening region 16A1 to 16A4 is distinguished by the name.
  • the bandpass filter 16B1 provided in the first opening region 16A1 is provided in the first bandpass filter 16B1
  • the bandpass filter 16B2 provided in the second opening region 16A2 is provided in the second bandpass filter 16B2 and the third opening region 16A3.
  • the bandpass filter 16B3 is referred to as a third bandpass filter 16B3
  • the bandpass filter 16B4 provided in the fourth opening region 16A4 is referred to as a fourth bandpass filter 16B4, and the bandpass filters 16B1 to 16B4 are distinguished.
  • the frame body 16A has an annular frame body 16a and a partition 16b that partitions the inside of the frame body 16a.
  • the frame body 16A is divided into four equal parts in the circumferential direction by a cross-shaped partition 16b inside the frame body 16a, and four opening regions 16A1 to 16A4 are provided.
  • the frame body 16a constitutes the diaphragm (aperture diaphragm) of the imaging optical system 10.
  • the pupil region is divided into four regions Z1 to Z4 by the frame body 16A (pupil division).
  • each of the divided regions Z1 to Z4 will be referred to as a first pupil region Z1, a second pupil region Z2, a third pupil region Z3, and a fourth pupil region Z4, respectively, as necessary.
  • the aperture regions 16A1 to 16A4 correspond to the four pupil regions Z1 to Z4 of the imaging optical system 10. That is, the first aperture region 16A1 corresponds to the first pupil region Z1.
  • the second aperture region 16A2 corresponds to the second pupil region Z2.
  • the third aperture region 16A3 corresponds to the third pupil region Z3.
  • the fourth aperture region 16A4 corresponds to the fourth pupil region Z4.
  • the wavelength band of light passing through is limited by the bandpass filters 16B1 to 16B4 provided in each aperture region 16A1 to 16A4. That is, in the first pupil region Z1, the wavelength band of the passing light is limited by the first bandpass filter 16B1. In the second pupil region Z2, the wavelength band of light passing through is limited by the second bandpass filter 16B2. In the third pupil region Z3, the wavelength band of light passing through is limited by the third bandpass filter 16B3. In the fourth pupil region Z4, the wavelength band of light passing through is limited by the fourth bandpass filter 16B4.
  • the bandpass filters 16B1 to 16B4 are examples of optical elements.
  • FIG. 3 is a graph showing an example of the transmission wavelength characteristics of each bandpass filter.
  • Each bandpass filter 16B1 to 16B4 transmits light in a different wavelength band. Specifically, the first bandpass filter 16B1 transmits light in the wavelength band ⁇ 1. The second bandpass filter 16B2 transmits light in the wavelength band ⁇ 2. The third bandpass filter 16B3 transmits light in the wavelength band ⁇ 3. The fourth bandpass filter 16B4 transmits light in the wavelength band ⁇ 4.
  • each bandpass filter 16B1 to 16B4 has a function of individually correcting the aberration of the region corresponding to each pupil region Z1 to Z4. This point will be described in detail later.
  • the imaging optical system 10 has different wavelengths of light passing through the regions corresponding to the pupil regions Z1 to Z4.
  • FIG. 4 is a front view of the polarizing filter unit.
  • the polarizing filter unit 18 is composed of a frame body 18A having four opening regions 18A1 and 18A2, and four polarizing filters 18B1 to 18B4 provided in each opening regions 18A1 to 18A4 of the frame body 18A.
  • the opening area 18A1 is the first opening area 18A1
  • the opening area 18A2 is the second opening area 18A2
  • the opening area 18A3 is the third opening area 18A3
  • the opening area 18A4 is the fourth opening area 18A4.
  • the polarizing filter 18B1 provided in the first opening region 18A1 is used as the first polarizing filter 18B1
  • the polarizing filter 18B2 provided in the second opening region 18A2 is used as the second polarizing filter 18B2
  • the polarizing filter 18B3 provided in the third opening region 18A3 is used.
  • the polarizing filters 18B4 provided in the third polarizing filter 18B3 and the fourth aperture region 18A4 are referred to as the fourth polarizing filter 18B4, and the polarizing filters 18B1 to 18B4 are distinguished from each other.
  • the frame body 18A has the same shape as the frame body 16A of the bandpass filter unit 16. Therefore, it has an annular frame body 18a and a partition 18b.
  • the frame body 18A is provided with four opening regions 18A1 to 18A4 by dividing the inner peripheral portion of the frame body 18a into four equal parts in the circumferential direction by a cross-shaped partition 18b.
  • the opening regions 18A1 to 18A4 are arranged so as to overlap the opening regions 16A1 to 16A4 of the bandpass filter unit 16. That is, the first opening region 18A1 is arranged so as to overlap the first opening region 16A1 of the bandpass filter unit 16.
  • the second opening region 18A2 is arranged so as to overlap the second opening region 16A2 of the bandpass filter unit 16.
  • the third opening region 18A3 is arranged so as to overlap the third opening region 16A3 of the bandpass filter unit 16.
  • the fourth opening region 18A4 is arranged so as to overlap the fourth opening region 16A4 of the bandpass filter unit 16. Therefore, the light that has passed through the first aperture region 16A1 of the bandpass filter unit 16 passes through the first aperture region 18A1 of the polarizing filter unit 18. Further, the light that has passed through the second aperture region 16A2 of the bandpass filter unit 16 passes through the second aperture region 18A2 of the polarizing filter unit 18. Further, the light that has passed through the third aperture region 16A3 of the bandpass filter unit 16 passes through the third aperture region 18A3 of the polarizing filter unit 18. Further, the light that has passed through the fourth aperture region 16A4 of the bandpass filter unit 16 passes through the fourth aperture region 18A4 of the polarizing filter unit 18.
  • the polarizing filters 18B1 to 18B4 are examples of polarizers.
  • light having different characteristics is emitted from the regions corresponding to the pupil regions Z1 to Z4. That is, light having a polarization direction ⁇ 1 and a wavelength band ⁇ 1 (first light), light having a polarization direction ⁇ 2 and a wavelength band ⁇ 2 (second light), light having a polarization direction ⁇ 3 and a wavelength band ⁇ 3 (third light), Then, (fourth light) having a polarization direction ⁇ 4 and a wavelength band ⁇ 4 is emitted.
  • the first light is light that passes through the pupil region Z1 and is light that passes through the first bandpass filter 16B1 and the first polarizing filter 18B1.
  • the second light is light that passes through the pupil region Z2, and is light that passes through the second bandpass filter 16B2 and the second polarizing filter 18B2.
  • the third light is light that passes through the pupil region Z3, and is light that passes through the third bandpass filter 16B3 and the third polarizing filter 18B3.
  • the fourth light is light that passes through the pupil region Z4, and is light that passes through the fourth bandpass filter 16B4 and the fourth polarizing filter 18B4.
  • FIG. 5 is a diagram showing a schematic configuration of an array of pixels of the image sensor.
  • the image sensor 100 has a plurality of types of pixels P1 to P16 on its light receiving surface.
  • the pixels P1 to P16 are regularly arranged at a constant pitch along the horizontal direction (x-axis direction) and the vertical direction (y-axis direction).
  • one pixel block PB (X, Y) is composed of 16 adjacent (4 ⁇ 4) pixels P1 to P16, and the pixel block PB (X, Y) is formed.
  • the pixel P1 is the first pixel P1
  • the pixel P2 is the second pixel P2
  • the pixel P3 is the third pixel P3
  • the pixel P4 is the fourth pixel P4
  • the pixel P5 is the fifth pixel P5, and the pixel P6.
  • the sixth pixel P6, the pixel P7 is the seventh pixel P7, the pixel P8 is the eighth pixel P8, the pixel P9 is the ninth pixel P9, the pixel P10 is the tenth pixel P10, the pixel P11 is the eleventh pixel P11, and the pixel P12 is the twelfth.
  • Pixels P12 and P13 are the 13th pixel P13, the pixel P14 is the 14th pixel P14, the pixel P15 is the 15th pixel P15, and the pixel P16 is the 16th pixel P16, and each pixel P1 to P16 is distinguished. Each pixel P1 to P16 has different optical characteristics.
  • FIG. 6 is a diagram showing a schematic configuration of an image sensor. Further, FIG. 7 is a cross-sectional view showing a schematic configuration of one pixel (broken line portion in FIG. 6).
  • the image pickup device 100 includes a pixel array layer 110, a polarizing filter element array layer 120, a spectroscopic filter element array layer 130, and a microlens array layer 140. Each layer is arranged in the order of the pixel array layer 110, the polarizing filter element array layer 120, the spectroscopic filter element array layer 130, and the microlens array layer 140 from the image plane side to the object side.
  • the pixel array layer 110 is configured by arranging a large number of photodiodes 112 two-dimensionally.
  • One photodiode 112 constitutes one pixel.
  • Each photodiode 112 is regularly arranged along the horizontal direction (x direction) and the vertical direction (y direction).
  • the polarizing filter element array layer 120 is configured by two-dimensionally arranging four types of polarizing filter elements 122A to 122D having different polarization directions of the transmitted light.
  • the polarizing filter element 122A is the first polarizing filter element 122A
  • the polarizing filter element 122B is the second polarizing filter element 122B
  • the polarizing filter element 122C is the third polarizing filter element 122C
  • the polarizing filter element 122D is the fourth.
  • each polarizing filter element 122A to 122D is distinguished.
  • the polarizing filter elements 122A to 122D are arranged at the same intervals as the photodiode 112, and are provided for each pixel. In each pixel block PB (X, Y), each polarizing filter element 122A to 122D is regularly arranged.
  • FIG. 8 is a diagram showing an example of an arrangement pattern of polarizing filter elements in one pixel block.
  • the first polarizing filter element 122A is provided in the first pixel P1, the third pixel P3, the ninth pixel P9, and the eleventh pixel P11.
  • a second polarizing filter element 122B is provided in the second pixel P2, the fourth pixel P4, the tenth pixel P10, and the twelfth pixel P12.
  • the third pixel P3, the seventh pixel P7, the thirteenth pixel P13, and the fifteenth pixel P15 are provided with the third polarizing filter element 122C.
  • the 4th pixel P4, the 8th pixel P8, the 14th pixel P14, and the 16th pixel P16 are provided with the fourth polarizing filter element 122D.
  • the spectroscopic filter element array layer 130 is configured by two-dimensionally arranging four types of spectroscopic filter elements 132A to 132D having different transmission wavelength characteristics.
  • the spectroscopic filter element 132A is the first spectroscopic filter element 132A
  • the spectroscopic filter element 132B is the second spectroscopic filter element 132B
  • the spectroscopic filter element 132C is the third spectroscopic filter element 132C
  • the spectroscopic filter element 132D is the fourth.
  • each spectroscopic filter element 132A to 132D is distinguished.
  • the spectroscopic filter elements 132A to 132D are arranged at the same intervals as the photodiode 112, and are provided for each pixel. In each pixel block PB (X, Y), the spectroscopic filter elements 132A to 132D are regularly arranged.
  • FIG. 9 is a diagram showing an example of an arrangement pattern of spectral filter elements in one pixel block.
  • the first spectral filter element 132A is provided in the first pixel P1, the second pixel P2, the fifth pixel P5, and the sixth pixel P6.
  • the second spectral filter element 132B is provided in the third pixel P3, the fourth pixel P4, the seventh pixel P7, and the eighth pixel P8.
  • the ninth pixel P9, the tenth pixel P10, the thirteenth pixel P13, and the fourteenth pixel P14 are provided with the third spectral filter element 132C.
  • the 11th pixel P11, the 12th pixel P12, the 15th pixel P15, and the 16th pixel P16 are provided with the fourth spectral filter element 132D.
  • FIG. 10 is a graph showing an example of transmission wavelength characteristics of each spectroscopic filter element.
  • A indicates the transmission wavelength characteristic of the first spectral filter element 132A.
  • B shows the transmission wavelength characteristic of the second spectral filter element 132B.
  • C indicates the transmission wavelength characteristic of the third spectral filter element 132C.
  • D indicates the transmission wavelength characteristic of the fourth spectral filter element 132D.
  • the spectroscopic filter elements 132A to 132D have different transmission wavelength characteristics.
  • the first spectroscopic filter element 132A is composed of a spectroscopic filter element that transmits blue (Blue, B) light
  • the second spectroscopic filter element 132B transmits green (Green, G) light
  • the third spectroscopic filter element 132C is composed of a spectroscopic filter element that transmits red (Red, R) light
  • the fourth spectroscopic filter element 132D is composed of infrared light (Infrared, IR).
  • An example is shown in the case of being composed of a spectroscopic filter element for transmitting infrared rays.
  • the wavelength bands ⁇ 1 to ⁇ 4 of the light transmitted by the bandpass filters 16B1 to 16B4 of the imaging optical system 10 are within the wavelength band transmitted by the spectral filter elements 132A to 132D.
  • the wavelength bands ⁇ 1 to ⁇ 4 of the light transmitted by the bandpass filters 16B1 to 16B4 are set in the region where the wavelength bands transmitted by the spectral filter elements 132A to 132D overlap.
  • the transmission wavelength bands of the spectroscopic filter elements 132A to 132D are set so as to cover the transmission wavelength bands of the bandpass filters 16B1 to 16B4 of the imaging optical system 10. Therefore, each spectroscopic filter element 132A to 132D uses a filter that transmits light in a wide band.
  • the microlens array layer 140 is configured by arranging a large number of microlenses 142 two-dimensionally. Each microlens 142 is arranged at the same spacing as the photodiode 112 and is provided for each pixel. The microlens 142 is provided for the purpose of efficiently condensing the light from the imaging optical system 10 on the photodiode 112.
  • each pixel P1 to P16 receives light from the image pickup optical system 10 as follows. That is, the first pixel P1 receives light from the imaging optical system 10 via the first spectral filter element 132A (transmission wavelength characteristic A) and the first polarizing filter element 122A (polarization direction ⁇ A). Further, the second pixel P2 receives light from the imaging optical system 10 via the first spectral filter element 132A (transmission wavelength characteristic A) and the second polarizing filter element 122B (polarization direction ⁇ B).
  • the third pixel P3 receives light from the imaging optical system 10 via the second spectral filter element 132B (transmission wavelength characteristic B) and the first polarizing filter element 122A (polarization direction ⁇ A). Further, the fourth pixel P4 receives light from the imaging optical system 10 via the second spectral filter element 132B (transmission wavelength characteristic B) and the second polarizing filter element 122B (polarization direction ⁇ B). Further, the fifth pixel P5 receives light from the imaging optical system 10 via the first spectral filter element 132A (transmission wavelength characteristic A) and the third polarizing filter element 122C (polarization direction ⁇ C).
  • the sixth pixel P6 receives light from the imaging optical system 10 via the first spectral filter element 132A (transmission wavelength characteristic A) and the fourth polarizing filter element 122D (polarization direction ⁇ D). Further, the seventh pixel P7 receives light from the imaging optical system 10 via the second spectral filter element 132B (transmission wavelength characteristic B) and the third polarizing filter element 122C (polarization direction ⁇ C). Further, the eighth pixel P8 receives light from the imaging optical system 10 via the second spectral filter element 132B (transmission wavelength characteristic B) and the fourth polarizing filter element 122D (polarization direction ⁇ D).
  • the ninth pixel P9 receives light from the imaging optical system 10 via the third spectral filter element 132C (transmission wavelength characteristic C) and the first polarizing filter element 122A (polarization direction ⁇ A). Further, the tenth pixel P10 receives light from the imaging optical system 10 via the third spectral filter element 132C (transmission wavelength characteristic C) and the second polarizing filter element 122B (polarization direction ⁇ B). Further, the 11th pixel P11 receives light from the imaging optical system 10 via the fourth spectral filter element 132D (transmission wavelength characteristic D) and the first polarizing filter element 122A (polarization direction ⁇ A).
  • the 12th pixel P12 receives light from the imaging optical system 10 via the fourth spectral filter element 132D (transmission wavelength characteristic D) and the second polarization filter element 122B (polarization direction ⁇ B). Further, the 13th pixel P13 receives light from the imaging optical system 10 via the third spectral filter element 132C (transmission wavelength characteristic C) and the third polarizing filter element 122C (polarization direction ⁇ C). Further, the 14th pixel P14 receives light from the imaging optical system 10 via the third spectral filter element 132C (transmission wavelength characteristic C) and the fourth polarizing filter element 122D (polarization direction ⁇ D).
  • the 15th pixel P15 receives light from the imaging optical system 10 via the fourth spectral filter element 132D (transmission wavelength characteristic D) and the third polarizing filter element 122C (polarization direction ⁇ C). Further, the 16th pixel P16 receives light from the imaging optical system 10 via the fourth spectral filter element 132D (transmission wavelength characteristic D) and the fourth polarizing filter element 122D (polarization direction ⁇ D). As described above, each of the pixels P1 to P16 receives light having different characteristics by having different optical characteristics from each other. That is, it receives light having different wavelength bands and polarization directions.
  • the signal processing unit 200 processes the signal output from the image sensor 100 to generate image data of a 4-band multispectral image. That is, image data of four types of wavelength bands ⁇ 1 to ⁇ 4 that pass through the bandpass filter unit 16 of the imaging optical system 10 are generated.
  • FIG. 11 is a block diagram showing a schematic configuration of a signal processing unit.
  • the signal processing unit 200 includes an analog signal processing unit 200A, an image generation unit 200B, and a coefficient storage unit 200C.
  • the analog signal processing unit 200A takes in the analog pixel signal output from each pixel of the image pickup element 100, performs predetermined signal processing (for example, correlation double sampling processing, amplification processing, etc.), and then converts it into a digital signal. And output.
  • predetermined signal processing for example, correlation double sampling processing, amplification processing, etc.
  • the image generation unit 200B performs predetermined signal processing on the pixel signal after being converted into a digital signal, and generates image data in each wavelength band ⁇ 1 to ⁇ 4.
  • FIG. 12 is a conceptual diagram of image generation.
  • Each pixel block PB (X, Y) includes 16 pixels P1 to P16. Therefore, 16 image data D1 to D16 are generated by separating and extracting the pixel signals of the pixels P1 to P16 from the pixel blocks PB (X, Y). However, interference (crosstalk) has occurred in the 16 image data D1 to D16. That is, since light in each wavelength band is incident on each pixel P1 to P16, the generated image is an image in which images in each wavelength band are mixed at a predetermined ratio. Therefore, the image generation unit 200B performs the interference removal process to generate image data in each wavelength band.
  • the pixel signal (signal value) obtained from the first pixel P1 of each pixel block PB (X, Y) is ⁇ 1
  • the pixel signal obtained from the second pixel P2 is ⁇ 2
  • the pixel signal obtained from the third pixel P3 is ⁇ 3.
  • the pixel signal obtained by the 4th pixel P4 is ⁇ 4, the pixel signal (signal value) obtained by the 5th pixel P5 is ⁇ 5, the pixel signal obtained by the 6th pixel P6 is ⁇ 6, and the pixel signal obtained by the 7th pixel P7 is ⁇ 7, the pixel signal obtained by the eighth pixel P8 is ⁇ 8, the pixel signal (signal value) obtained by the ninth pixel P9 is ⁇ 9, the pixel signal (signal value) obtained by the first pixel P1 is ⁇ 1, and the second pixel P2.
  • the pixel signal obtained in the above is ⁇ 2, the pixel signal obtained in the third pixel P3 is ⁇ 3, the pixel signal obtained in the fourth pixel P4 is ⁇ 4, and the pixel signal (signal value) obtained in the tenth element P10 is ⁇ 10, eleventh.
  • the pixel signal (signal value) obtained by the pixel P11 is ⁇ 11
  • the pixel signal obtained by the 12th pixel P12 is ⁇ 12
  • the pixel signal obtained by the 13th pixel P13 is ⁇ 13
  • the pixel signal obtained by the 14th pixel P14 is ⁇ 14.
  • the pixel signal (signal value) obtained by the 15th pixel P15 is ⁇ 15
  • the pixel signal obtained by the 16th pixel P16 is ⁇ 16.
  • 16 pixel signals ⁇ 1 to ⁇ 16 can be obtained.
  • the image generation unit 200B calculates four pixel signals ⁇ 1 to ⁇ 4 corresponding to light in each wavelength band ⁇ 1 to ⁇ 4 from the 16 pixel signals ⁇ 1 to ⁇ 16, and removes interference. Specifically, four pixel signals ⁇ 1 to ⁇ 4 corresponding to light in each wavelength band ⁇ 1 to ⁇ 4 are calculated by Equation 1 using the following matrix A, and interference is eliminated.
  • the pixel signal ⁇ 1 is a pixel signal corresponding to light in the wavelength band ⁇ 1
  • the pixel signal ⁇ 2 is a pixel signal corresponding to light in the wavelength band ⁇ 2
  • the pixel signal ⁇ 3 is a pixel signal corresponding to light in the wavelength band ⁇ 3, and the pixel signal ⁇ 4.
  • the reason why the interference can be eliminated by the above equation 1 will be described.
  • Interference occurs when light in each wavelength band ⁇ 1 to ⁇ 4 is mixed into each pixel P1 to P16.
  • b11 is the ratio of light in the wavelength band ⁇ 1 received by the first pixel P1
  • b12 is the ratio of light in the wavelength band ⁇ 2 received by the first pixel P1
  • b13 is the ratio of light in the wavelength band ⁇ 3.
  • the ratio of light received by the first pixel P1, b14 is the ratio of light in the wavelength band ⁇ 4 received by the first pixel P1.
  • b21 is the ratio of light in the wavelength band ⁇ 1 received by the second pixel P2
  • b22 is the ratio of light received in the wavelength band ⁇ 2 by the second pixel P2
  • b23 is the ratio of light in the wavelength band ⁇ 3.
  • the ratio of light received by the two pixels P2, b24 is the ratio of light received in the wavelength band ⁇ 4 received by the second pixel P2.
  • b31 is the ratio of light in the wavelength band ⁇ 1 received by the third pixel P3
  • b32 is the ratio of light received in the wavelength band ⁇ 2 by the third pixel P3,
  • b33 is the ratio of light in the wavelength band ⁇ 3.
  • the ratio of light received by the three pixels P3, b34 is the ratio of light received in the wavelength band ⁇ 4 received by the third pixel P3. Further, b41 is the ratio of light in the wavelength band ⁇ 1 received by the fourth pixel P4, b42 is the ratio of light received in the wavelength band ⁇ 2 by the fourth pixel P4, and b43 is the ratio of light in the wavelength band ⁇ 3. The ratio of light received by the four pixels P4, b44, is the ratio of light received in the wavelength band ⁇ 4 received by the fourth pixel P4.
  • b51 is the ratio of light in the wavelength band ⁇ 1 received by the fifth pixel P5
  • b52 is the ratio of light received in the wavelength band ⁇ 2 by the fifth pixel P5
  • b53 is the ratio of light in the wavelength band ⁇ 3.
  • the ratio of light received by the 5th pixel P5, b54 is the ratio of light received in the wavelength band ⁇ 4 being received by the 5th pixel P5.
  • b61 is the ratio of light in the wavelength band ⁇ 1 received by the sixth pixel P6, b62 is the ratio of light in the wavelength band ⁇ 2 received by the sixth pixel P6, and b63 is the ratio of light in the wavelength band ⁇ 3.
  • the ratio of light received by the 6-pixel P6, b64 is the ratio of the light in the wavelength band ⁇ 4 received by the 6-pixel P6.
  • b71 is the ratio of light in the wavelength band ⁇ 1 received by the seventh pixel P7
  • b72 is the ratio of light in the wavelength band ⁇ 2 received by the seventh pixel P7
  • b73 is the ratio of light in the wavelength band ⁇ 3.
  • the ratio of light received by the 7-pixel P7, b74 is the ratio of the light in the wavelength band ⁇ 4 received by the 7th pixel P7.
  • b81 is the ratio of light in the wavelength band ⁇ 1 received by the eighth pixel P8
  • b82 is the ratio of light received in the wavelength band ⁇ 2 by the eighth pixel P8
  • b83 is the ratio of light in the wavelength band ⁇ 3.
  • the ratio of light received by the eight pixels P8, b84 is the ratio of light received in the wavelength band ⁇ 4 being received by the eighth pixel P8.
  • b91 is the ratio of light in the wavelength band ⁇ 1 received by the ninth pixel P9
  • b92 is the ratio of light received in the wavelength band ⁇ 2 in the ninth pixel P9
  • b93 is the ratio of light in the wavelength band ⁇ 3.
  • the ratio of light received by the 9-pixel P9, b94 is the ratio of the light in the wavelength band ⁇ 4 received by the 9th pixel P9.
  • b101 is the ratio of light in the wavelength band ⁇ 1 received by the 10th pixel P10
  • b102 is the ratio of light received in the wavelength band ⁇ 2 in the 10th pixel P10
  • b103 is the ratio of light in the wavelength band ⁇ 3.
  • the ratio of light received by the 10 pixels P10, b104 is the ratio of light received in the wavelength band ⁇ 4 received by the 10th pixel P10.
  • b111 is the ratio of light in the wavelength band ⁇ 1 received by the 11th pixel P11
  • b112 is the ratio of light in the wavelength band ⁇ 2 received by the 11th pixel P11
  • b113 is the ratio of light in the wavelength band ⁇ 3.
  • the ratio of light received by the 11th pixel P11, b114, is the ratio of light received in the wavelength band ⁇ 4 being received by the 11th pixel P11.
  • b121 is the ratio of light in the wavelength band ⁇ 1 received by the 12th pixel P12
  • b122 is the ratio of light received in the wavelength band ⁇ 2 in the 12th pixel P12
  • b123 is the ratio of light in the wavelength band ⁇ 3.
  • the ratio of light received by the 12-pixel P12, b124 is the ratio of the light in the wavelength band ⁇ 4 received by the 12-pixel P12. Further, b131 is the ratio of light in the wavelength band ⁇ 1 received by the 13th pixel P13, b132 is the ratio of light received in the wavelength band ⁇ 2 by the 13th pixel P13, and b133 is the ratio of light in the wavelength band ⁇ 3.
  • the ratio of light received by the 13-pixel P13, b134 is the ratio of the light in the wavelength band ⁇ 4 received by the 13-pixel P13.
  • b141 is the ratio of light in the wavelength band ⁇ 1 received by the 14th pixel P14
  • b142 is the ratio of light received in the wavelength band ⁇ 2 in the 14th pixel P14
  • b143 is the ratio of light in the wavelength band ⁇ 3.
  • the ratio of light received by the 14-pixel P14, b144, is the ratio of light in the wavelength band ⁇ 4 received by the 14-pixel P14.
  • b151 is the ratio of light in the wavelength band ⁇ 1 received in the 15th pixel P15
  • b152 is the ratio of light in the wavelength band ⁇ 2 received in the 15th pixel P15
  • b153 is the ratio of light in the wavelength band ⁇ 3.
  • the ratio of light received by the 15 pixels P15, b154, is the ratio of light received in the wavelength band ⁇ 4 received by the 15th pixel P15.
  • b161 is the ratio of light in the wavelength band ⁇ 1 received by the 16th pixel P16
  • b162 is the ratio of light received in the wavelength band ⁇ 2 in the 16th pixel P16
  • b163 is the ratio of light in the wavelength band ⁇ 3.
  • the ratio of light received by the 16-pixel P16, b164, is the ratio of light in the wavelength band ⁇ 4 received by the 16th pixel P16.
  • This ratio bij sets the wavelength bands ⁇ 1 to ⁇ 4 of the light transmitted by the opening regions 16A1 to 16A4 of the bandpass filter unit 16, and the polarization direction ⁇ 1 of the light transmitted by the opening regions 18A1 to 18A4 of the polarizing filter unit 18. It is uniquely determined from the setting of ⁇ 2, the transmission wavelength characteristics A to D of the pixels P1 to P16 of the image pickup element 100, and the polarization directions ⁇ A to ⁇ C of the light received by the pixels P1 to P16 of the image pickup element 100. Can be asked for.
  • the following relationship is between the pixel signals ⁇ 1 to ⁇ 16 obtained from the pixels P1 to P16 of each pixel block PB (X, Y) and the pixel signals ⁇ 1 to ⁇ 4 corresponding to the light of each wavelength band ⁇ 1 to ⁇ 4. Holds.
  • ⁇ 1 to ⁇ 4 which are the solutions of the simultaneous equations of equations 2 to 17, are calculated by multiplying both sides of the above equation 18 by the inverse matrix B -1 of the matrix B.
  • the light of the respective wavelength bands ⁇ 1 to ⁇ 4 emitted from the imaging optical system 10 is the light of each pixel P1 of the pixel block PB (X, Y). It can be calculated from the signal values (pixel signals) ⁇ 1 to ⁇ 16 of each pixel P1 to P16 based on the ratio of light received by ⁇ P16.
  • the coefficient storage unit 200C stores each element aij of the matrix A for performing the interference removal process as a coefficient group.
  • the image generation unit 200B acquires a coefficient group from the coefficient storage unit 200C, and from the pixel signals ⁇ 1 to ⁇ 16 obtained from the pixels P1 to P16 of each pixel block PB (X, Y), each wavelength band is obtained by the above equation 1. Pixel signals ⁇ 1 to ⁇ 4 corresponding to ⁇ 1 to ⁇ 4 are calculated, and image data of each wavelength band ⁇ 1 to ⁇ 4 is generated.
  • the image data of each wavelength band ⁇ 1 to ⁇ 4 generated by the image generation unit 200B is output to the outside and stored in a storage device (not shown) as needed. In addition, it is displayed on a display (not shown) as needed.
  • FIG. 13 is a conceptual diagram of image generation by the imaging device.
  • the light incident on the image pickup optical system 10 becomes four types of light having different characteristics and is incident on the image pickup element 100. Specifically, light having a polarization direction ⁇ 1 and a wavelength band ⁇ 1 (first light), light having a polarization direction ⁇ 1 and a wavelength band ⁇ 2 (second light), and light having a polarization direction ⁇ 2 and a wavelength band ⁇ 3 (third light). Light) and (fourth light) having a polarization direction ⁇ 2 and a wavelength band ⁇ 4 are incident on the image pickup element 100.
  • each pixel block PB (X, Y) of the image sensor 100 light in each wavelength band emitted from the image pickup optical system 10 is received in each pixel P1 to P16 at a predetermined ratio bij. That is, due to the action of the polarizing filter elements 122A to 122D and the spectroscopic filter elements 132A to 132D provided in the pixels P1 to P16, the light in each wavelength band ⁇ 1 to ⁇ 4 is received at a predetermined ratio bij.
  • the signal processing unit 200 has pixel signals ⁇ 1 to ⁇ 4 corresponding to light in each wavelength band ⁇ 1 to ⁇ 4 from pixel signals ⁇ 1 to ⁇ 16 obtained from pixels P1 to P16 of each pixel block PB (X, Y) of the image sensor 100. Is calculated, and image data of each wavelength band ⁇ 1 to ⁇ 4 is generated. That is, arithmetic processing (interference removal processing) according to Equation 1 using the matrix A is performed to correspond to light in each wavelength band ⁇ 1 to ⁇ 4 from the pixel signals ⁇ 1 to ⁇ 16 of the pixels P1 to P16 obtained from the image sensor 100. The pixel signals ⁇ 1 to ⁇ 4 are calculated, and image data of each wavelength band ⁇ 1 to ⁇ 4 is generated.
  • one image pickup optical system 10 and one (single plate) image pickup element 100 capture images of four different wavelength bands (four-band multispectral images). it can.
  • the imaging apparatus 1 of the present embodiment captures a multispectral image by dividing the pupil region of the imaging optical system 10 into a plurality of regions (pupil division) and limiting the wavelength region in each region. Is possible.
  • the "general imaging optical system” here means an imaging optical system in which aberrations for each wavelength are not particularly corrected, that is, an imaging optical system in which aberrations for each wavelength remain.
  • the bandpass filters 16B1 to 16B4 have a function of individually correcting the aberrations in the regions corresponding to the pupil regions Z1 to Z4.
  • each bandpass filter 16B1 to 16B4 has a lens shape having a curvature on at least one surface on the object side and the image side, and the curvature is individually adjusted to cause aberration in the corresponding region. It is corrected individually. That is, by giving the bandpass filter a lens function, the optical path lengths of the regions corresponding to the pupil regions Z1 to Z4 are individually adjusted to correct the aberration.
  • FIG. 14 is a 14-14 cross-sectional view of the bandpass filter unit shown in FIG.
  • the figure shows a cross section of the first bandpass filter 16B1 and the fourth bandpass filter 16B4.
  • 15 is a 15-15 cross-sectional view of the bandpass filter unit shown in FIG. 2.
  • FIG. The figure shows the cross section of the second bandpass filter 16B2 and the third bandpass filter 16B3.
  • each of the bandpass filters 16B1 to 16B4 has a curved surface on one side (the surface on the object side (left side in FIGS. 14 and 15)).
  • the curvature of one side of the bandpass filters 16B1 to 16B4 is individually adjusted, and the aberration of the region corresponding to each pupil region Z1 to Z4 is corrected.
  • the aberration of the region corresponding to the first pupil region Z1 is corrected by adjusting the curvature of one side of the first bandpass filter 16B1.
  • the aberration is corrected by adjusting the curvature of one side of the second bandpass filter 16B2.
  • the aberration is corrected by adjusting the curvature of one side of the third bandpass filter 16B3. Further, for the region corresponding to the fourth pupil region Z4, the aberration is corrected by adjusting the curvature of the surface of the fourth bandpass filter 16B4 on the object side.
  • each bandpass filter 16B1 to 16B4 changes by changing the curvature of one side. Let the focal lengths at the center wavelength of the light passing through the pupil regions Z1 to Z4 of the imaging optical system 10 be f1, f2, f3, and f4. The focal lengths of the bandpass filters 16B1 to 16B4 are shortened in descending order of the focal lengths f1, f2, f3, and f4.
  • the imaging optical system 10 the aberrations in the regions corresponding to the pupil regions Z1 to Z4 are individually corrected by the bandpass filters 16B1 to 16B4. As a result, the imaging optical system 10 has different aberration characteristics in the regions corresponding to the pupil regions Z1 to Z4.
  • the aberrations in the regions corresponding to the pupil regions Z1 to Z4 can be individually controlled, so that the aberrations can be controlled for each wavelength. This makes it possible to capture a multispectral image with good image quality.
  • the method of this embodiment can also be applied to an existing imaging lens (general imaging lens not for multispectral imaging). That is, since the method of the present embodiment only arranges a bandpass filter in each pupil-divided region and adjusts the curvature of each bandpass filter, it can be applied to an existing imaging lens. Therefore, by using the method of the present embodiment, the existing imaging lens can be used as an imaging lens for multispectral imaging.
  • an existing imaging lens generally imaging lens not for multispectral imaging. That is, since the method of the present embodiment only arranges a bandpass filter in each pupil-divided region and adjusts the curvature of each bandpass filter, it can be applied to an existing imaging lens. Therefore, by using the method of the present embodiment, the existing imaging lens can be used as an imaging lens for multispectral imaging.
  • each bandpass filter 16B1 to 16B4 has a curvature on only one side, but both sides may have a curvature.
  • the imaging optical system has a configuration in which the wavelengths of light passing through each pupil region are different from each other and the aberration characteristics of the regions corresponding to each pupil region are different from each other.
  • the bandpass filters 16B1 to 16B4 provided in the regions corresponding to the pupil regions Z1 to Z4 limit the wavelength band of light passing through the regions corresponding to the pupil regions Z1 to Z4.
  • the bandpass filters 16B1 to 16B4 provided in the regions corresponding to the pupil regions Z1 to Z4 individually correct the aberrations in the regions corresponding to the pupil regions Z1 to Z4, and correspond to the pupil regions Z1 to Z4. It is assumed that the aberration characteristics of the regions to be affected are different from each other. It is the same as the imaging device 1 of the first embodiment, except that the aberration correction method is different. Therefore, here, the aberration correction method by the bandpass filters 16B1 to 16B4 will be described.
  • FIG. 16 is a diagram showing the configuration of the bandpass filter unit of the present embodiment.
  • (A) shows a side view of the bandpass filter unit
  • (B) shows a front view of the bandpass filter unit.
  • FIG. 17 is a cross-sectional view taken along the line 17-17 of FIG.
  • the figure shows a cross section of the first bandpass filter 16B1 and the fourth bandpass filter 16B4.
  • 18 is a cross-sectional view taken along the line 18-18 of FIG.
  • the figure shows the cross section of the second bandpass filter 16B2 and the third bandpass filter 16B3.
  • the bandpass filters 16B1 to 16B4 of the present embodiment have a flat plate shape.
  • the imaging optical system 10 is formed by individually adjusting the thicknesses t1 to t4 of the bandpass filters 16B1 to B4 (thicknesses in the direction parallel to the optical axis L) to cover the regions corresponding to the pupil regions Z1 to Z4. Aberrations are corrected individually. That is, due to the difference in thickness t1 to t4, even if the object distance is the same for the entire imaging optical system 10, the object distance for the rear group changes, and the position of the final image plane changes for each wavelength band. Can be done.
  • the axial chromatic aberration (deviation of the imaging position for each color) of the imaging optical system 10 is corrected individually for each wavelength band by changing the thicknesses t1 to t4 of the bandpass filters 16B1 to 16B4. it can.
  • the focal lengths at the center wavelengths of the light passing through the pupil regions Z1 to Z4 of the imaging optical system 10 are f1, f2, f3, and f4
  • each band path is in ascending order of focal lengths f1, f2, f3, and f4.
  • the thicknesses t1 to t4 of the filters 16B1 to 16B4 are increased.
  • the aberration of the region corresponding to each pupil region Z1 to Z4 can be individually controlled, so that the aberration can be controlled for each wavelength. This makes it possible to capture a multispectral image with good image quality. Further, since the method of the present embodiment can also be applied to an existing imaging lens, the existing imaging lens can be used as an imaging lens for multispectral imaging.
  • the imaging optical system has a configuration in which the wavelengths of light passing through each pupil region are different from each other and the aberration characteristics of the regions corresponding to each pupil region are different from each other.
  • the bandpass filters 16B1 to 16B4 provided in the regions corresponding to the pupil regions Z1 to Z4 limit the wavelength band of light passing through the regions corresponding to the pupil regions Z1 to Z4.
  • the bandpass filters 16B1 to 16B4 provided in the regions corresponding to the pupil regions Z1 to Z4 individually correct the aberrations in the regions corresponding to the pupil regions Z1 to Z4, and correspond to the pupil regions Z1 to Z4. It is assumed that the aberration characteristics of the regions to be affected are different from each other. It is the same as the imaging device 1 of the first embodiment, except that the aberration correction method is different. Therefore, here, the aberration correction method by the bandpass filters 16B1 to 16B4 will be described.
  • FIG. 19 is a diagram showing the configuration of the bandpass filter unit of the present embodiment.
  • (A) shows a side view of the bandpass filter unit
  • (B) shows a front view of the bandpass filter unit.
  • FIG. 20 is a cross-sectional view taken along the line 20-20 of FIG.
  • the figure shows a cross section of the first bandpass filter 16B1 and the fourth bandpass filter 16B4.
  • 21 is a cross-sectional view taken along the line 21-21 of FIG.
  • the figure shows the cross section of the second bandpass filter 16B2 and the third bandpass filter 16B3.
  • the bandpass filters 16B1 to 16B4 of the present embodiment have a flat plate shape.
  • the imaging optical system 10 individually adjusts the inclinations of the bandpass filters 16B1 to B4 to individually correct the aberrations in the regions corresponding to the pupil regions Z1 to Z4.
  • FIG. 22 is a diagram schematically showing how the imaging position shifts due to asymmetric pupil division in a lens in which coma aberration remains.
  • the position p1 indicates the image formation position when the pupil is not divided
  • the position p2 indicates the image formation position when the pupil is divided.
  • the central imaging position can be shifted by dividing the pupil in a state where coma is generated at the central imaging point.
  • axial chromatic aberration can be suppressed for each wavelength band passing through the respective pupil regions Z1 to Z4. That is, since the imaging position can be changed for each wavelength band, the axial chromatic aberration inherent in the imaging optical system 10 can be canceled for each wavelength band.
  • FIG. 23 is a conceptual diagram of tilt setting.
  • the focal length at the d-line (587.6 nm (yellow) emission line spectrum) of the optical system in front of the aperture is f0, and the focal length at the center wavelength of the wavelength band of light passing through the regions corresponding to the respective pupil regions Z1 to Z4. Let it be f1, f2, f3, and f4, respectively.
  • ⁇ be the angle with the rotation center of the vector orthogonal to the vector drawn from the center to the center of gravity of the aperture in the aperture plane. The angle ⁇ is positive in the direction of tilting toward the object.
  • the angle ⁇ is increased in ascending order of focal lengths f1, f2, f3, and f4.
  • the focal length f0 on the d-line of the optical system on the front side of the diaphragm is f ⁇ 0
  • the angle ⁇ is increased in descending order of the focal lengths f1, f2, f3, and f4.
  • FIG. 24 is a diagram showing another example of the bandpass filter unit of the present embodiment.
  • (A) shows a side view of the bandpass filter unit
  • (B) shows a front view of the bandpass filter unit.
  • FIG. 25 is a cross-sectional view taken along the line 25-25 of FIG. 24.
  • the figure shows a cross section of the first bandpass filter 16B1 and the fourth bandpass filter 16B4.
  • 26 is a cross-sectional view taken along the line 26-26 of FIG. 24.
  • the figure shows the cross section of the second bandpass filter 16B2 and the third bandpass filter 16B3.
  • the bandpass filters 16B1 to 16B4 of this example have a flat plate shape with an inclination on one side (the cross section has a wedge shape).
  • the imaging optical system 10 individually corrects the aberration in the region corresponding to each pupil region Z1 to Z4.
  • the pupil region of the imaging optical system is equally divided in the circumferential direction, but the mode of division of the pupil region is not limited to this.
  • FIG. 27 is a diagram showing another example (modification example) of the division mode of the pupil region. This figure corresponds to the front view of the bandpass filter unit.
  • the pupil region is divided into a plurality of regions by dividing the inner peripheral portion of the frame body 16a constituting the diaphragm into a plurality of regions.
  • the inner peripheral portion of the frame body 16a is divided concentrically by a plurality of ring-shaped partitions 16b, and the pupil region of the imaging optical system is divided into a plurality of regions. ..
  • FIG. 27 shows an example of the case where the pupil region is divided into four regions.
  • the four aperture regions of the frame 16A (first aperture region 16A1, second aperture region 16A2, third aperture region 16A3, fourth aperture region 16A4) each have four pupil regions (first pupil region Z1, second pupil). It corresponds to the area Z2, the third pupil area Z3, and the fourth pupil area Z4). That is, the first aperture region 16A1 corresponds to the first pupil region Z1.
  • the second aperture region 16A2 corresponds to the second pupil region Z2.
  • the third aperture region 16A3 corresponds to the third pupil region Z3.
  • the fourth aperture region 16A4 corresponds to the fourth pupil region Z4.
  • the points that the wavelengths of the light passing through the pupil regions Z1 to Z4 are different from each other and the aberration characteristics of the regions corresponding to the pupil regions Z1 to Z4 are different from each other are the same as those of the imaging optical system of the above embodiment. is there. That is, in the imaging optical system, the wavelength band of light passing through the regions corresponding to the pupil regions Z1 to Z4 is limited by the bandpass filters 16B1 to 16B4 provided in the aperture regions 16A1 to 16A4. Further, the bandpass filters 16B1 to 16B4 individually correct the aberrations in the regions corresponding to the pupil regions Z1 to Z4.
  • FIG. 28 is a diagram showing an example of a case where the curvature of the bandpass filter is adjusted to correct the aberration. This figure corresponds to the 28-28 cross-sectional view of FIG. 27.
  • This example shows an example in which the shape of each bandpass filter 16B1 to 16B4 is set as a lens shape and the aberration of the region corresponding to each pupil region Z1 to Z4 is corrected by individually adjusting the curvature thereof. ..
  • only one side (the surface on the object side) of the bandpass filters 16B1 to 16B4 has a curvature, but it is also possible to give a curvature to both sides. Further, the surface on the image side may be configured to have a curvature.
  • the wavelength band assigned to each pupil region Z1 to Z4 it is preferable to set the wavelength band assigned to each pupil region Z1 to Z4 according to the required image quality (high image quality is required). Allocate the wavelength band to the central pupil region.
  • FIG. 29 is a diagram showing another example of the aberration correction method. The figure shows an example in which the thickness of the bandpass filter is adjusted to correct the aberration.
  • each bandpass filter 16B1 to 16B4 is formed into a flat plate shape, and the aberration of the region corresponding to each pupil region Z1 to Z4 is corrected by individually adjusting the thickness thereof.
  • FIG. 30 is a diagram showing another example of the aberration correction method. The figure shows an example of a case where the inclination of the bandpass filter is adjusted to correct the aberration.
  • each bandpass filter 16B1 to 16B4 is made into a flat plate shape, and the aberration of the region corresponding to each pupil region Z1 to Z4 is corrected by individually adjusting the inclination of one side thereof. ing.
  • FIG. 30 shows an example of adjusting the inclination of one side of each bandpass filter
  • the inclination of the bandpass filter itself is adjusted to obtain aberrations in the regions corresponding to the pupil regions Z1 to Z4. It can also be configured to be corrected.
  • each pupil region Z1 to Z4 it is possible to correct the aberration in the region corresponding to each pupil region Z1 to Z4.
  • the curvature of the first bandpass filter is adjusted to correct the aberration
  • the thickness of each bandpass filter 16B2 to 16B4 is adjusted. Then, the aberration can be corrected.
  • ⁇ Fifth Embodiment When a multispectral image is captured by dividing the pupil region of the imaging optical system, a good dynamic range cannot be obtained if the difference in the amount of light for each wavelength band is large. For example, only an image in a specific wavelength band may be darkened or overexposed.
  • the aperture area of each pupil region is adjusted individually, and the amount of light for each wavelength band is adjusted individually.
  • the adjustment of the opening area of each pupil region is realized by adjusting the area (opening area) of each opening region of the frame body constituting the bandpass filter unit. It is the same as the imaging device 1 of the first embodiment, except that the aperture area of each pupil region is adjusted by the bandpass filter unit. Therefore, only the configuration of the bandpass filter unit will be described here.
  • FIG. 31 is a diagram showing the configuration of the bandpass filter unit of the present embodiment.
  • the outer peripheral diameters of the opening regions 16A1 to 16A4 are individually adjusted, and the areas (opening areas) of the opening regions 16A1 to 16A4 are individually adjusted. Is adjusted to.
  • the areas of the respective aperture regions 16A1 to 16A4 are individually adjusted, so that the aperture areas of the corresponding pupil regions Z1 to Z4 are individually adjusted.
  • the aperture area of each pupil region Z1 to Z4 is individually adjusted, so that the amount of light passing through each pupil region Z1 to Z4 is individually adjusted.
  • the amount of light passing through each pupil region Z1 to Z4 is different from each other.
  • each pupil region Z1 to Z4 by reducing the opening area of each pupil region Z1 to Z4, it is possible to reduce the aberration of the region corresponding to each pupil region Z1 to Z4. Therefore, by individually adjusting the opening area of each pupil region Z1 to Z4, the aberration of the region corresponding to each pupil region Z1 to Z4 can be individually corrected. For example, the opening area is reduced as the distance from the d line increases. Since a normal image pickup lens is designed with reference to the vicinity of the d line, the aberration increases as the distance from the d line increases. Therefore, it is preferable to reduce the aperture area and reduce the aberration as the wavelength becomes farther from the d line.
  • each opening area 16A1 to 16A4 is changed to adjust the area of each opening area 16A1 to 16A4, but the method of adjusting the area of each opening area 16A1 to 16A4. Is not limited to this.
  • the area of each opening region 16A1 to 16A4 can be adjusted by changing the width of the partition 16b.
  • ⁇ 6th Embodiment As described above, by individually adjusting the amount of light passing through each pupil region Z1 to Z4, the amount of light for each wavelength band can be individually adjusted, and a good dynamic range can be obtained.
  • the aperture areas of the pupil regions Z1 to Z4 are individually adjusted, and the amount of light passing through the pupil regions Z1 to Z4 is individually adjusted.
  • the transmittance of the bandpass filters 16B1 to 16B4 provided corresponding to the pupil regions Z1 to Z4 is adjusted to adjust the amount of light passing through the pupil regions Z1 to Z4.
  • FIG. 32 is a graph showing an example of the transmission wavelength characteristics of each bandpass filter provided in the bandpass filter unit of the present embodiment.
  • the first bandpass filter 16B1 transmits light in the wavelength band ⁇ 1.
  • the second bandpass filter 16B2 transmits light in the wavelength band ⁇ 2.
  • the third bandpass filter 16B3 transmits light in the wavelength band ⁇ 3.
  • the fourth bandpass filter 16B4 transmits light in the wavelength band ⁇ 4.
  • each bandpass filter 16B1 to 16B4 transmits light in each wavelength band ⁇ 1 to ⁇ 4 with different transmittances.
  • the transmittance of the bandpass filters 16B1 to 16B4 provided corresponding to the pupil regions Z1 to Z4 is individually adjusted, and the amount of light passing through the pupil regions Z1 to Z4 is individually adjusted. You can also. As a result, a good dynamic range can be obtained.
  • the resolution is also good by controlling the transmittance as in the present embodiment. Image can be obtained.
  • the adjustment method of the present embodiment can also be used in combination with the method of adjusting the opening area of each pupil region Z1 to Z4.
  • the bandwidth of the light passing through the pupil regions Z1 to Z4 is adjusted to adjust the amount of light passing through the pupil regions Z1 to Z4.
  • the bandwidth of the light passing through the pupil regions Z1 to Z4 is adjusted by changing the bandwidth of the wavelength transmitted by the bandpass filters 16B1 to 16B4.
  • FIG. 33 is a graph showing an example of the transmission wavelength characteristics of each bandpass filter provided in the bandpass filter unit of the present embodiment.
  • the bandpass filters 16B1 to 16B4 have different bandwidths of the wavelength bands ⁇ 1 to ⁇ 4 to be transmitted.
  • the amount of light in the first pupil region Z1 is adjusted by adjusting the bandwidth of the wavelength band ⁇ 1 transmitted by the first bandpass filter 16B1.
  • the amount of light in the second pupil region Z2 is adjusted by adjusting the bandwidth of the wavelength band ⁇ 2 transmitted by the second bandpass filter 16B2.
  • the amount of light in the third pupil region Z3 is adjusted by adjusting the bandwidth of the wavelength band ⁇ 3 transmitted by the third bandpass filter 16B3.
  • the amount of light in the fourth pupil region Z4 is adjusted by adjusting the bandwidth of the wavelength band ⁇ 4 transmitted by the fourth bandpass filter 16B4.
  • the bandwidth of the wavelength bands ⁇ 1 to ⁇ 4 transmitted by the bandpass filters 16B1 to 16B4 can be individually adjusted, and the amount of light passing through the pupil regions Z1 to Z4 can be individually adjusted. As a result, a good dynamic range can be obtained.
  • the adjustment method of the present embodiment is used in combination with a method of adjusting the opening area of each pupil region Z1 to Z4 and / or a method of adjusting the transmittance of light transmitted through each pupil region Z1 to Z4. You can also do it.
  • the mode of division is not limited to that shown in the above embodiment, and other modes (for example, a mode of dividing into a grid) can be adopted.
  • the opening shape of each pupil region is not limited to that shown in the above embodiment, and other shapes may be adopted.
  • FIG. 34 is a diagram showing another example of the aperture shape of the pupil region.
  • each opening region 16A1 to 16A4 of the bandpass filter unit 16 has a circular shape.
  • a rectangular shape, a polygonal shape, or the like can be adopted as the opening shape of the pupil region.
  • each pupil region may have a different aperture shape.
  • the pupil region is divided into a plurality of regions by arranging the bandpass filter at the position of the diaphragm, but it is also possible to substantially arrange the bandpass filter in the vicinity of the diaphragm.
  • the pupil region can be divided into a plurality of regions, and the wavelength band of light transmitted through each region can be limited.
  • the wavelength band transmitted by at least one pupil region (first pupil region) and the wavelength band transmitted by the other pupil region (second pupil region) are transmitted. Should be different. Therefore, a pupil region that transmits light in the same wavelength band may be provided.
  • the imaging optical system may be configured to polarize each divided pupil region in a different polarization direction.
  • the polarization directions of the light transmitted by the polarizing filters 18B1 to 18B4 may be different from each other.
  • the image pickup device of the present invention has a maximum (n ⁇ m) band.
  • the image pickup device is composed of (n ⁇ m) pixels in which the combination of the polarizing filter element and the spectroscopic filter element is different.
  • the imaging optical system When capturing an N-band (N is an integer of 2 or more) multispectral image, the imaging optical system is configured to emit N-band light, and the image sensor is configured to satisfy N ⁇ (n ⁇ m). To.
  • q pixel signals ⁇ 1, ⁇ 2, ..., ⁇ q are output from each pixel block of the image sensor.
  • interference is removed from the q pixel signals ⁇ 1, ⁇ 2, ..., ⁇ q, and the pixel signals ⁇ 1, ⁇ 2, ..., ⁇ k in each wavelength band are removed.
  • the arithmetic expression for calculating the above is defined as follows using the matrix A.
  • the matrix A is an inverse matrix B -1 of the matrix B whose element is the ratio of light in each wavelength band received by each pixel of the pixel block.
  • the signal processing unit can also generate image data in each wavelength band without performing interference removal processing.
  • the pupil region of the imaging optical system is divided into a first pupil region and a second pupil region.
  • the first pupil region includes a first bandpass filter that transmits light in the first wavelength band ⁇ 1 and a first polarizing filter that transmits light in the first polarization direction ⁇ 1.
  • a first bandpass filter that transmits light in a second wavelength band ⁇ 2 different from the first wavelength band ⁇ 1 and a second bandpass filter orthogonal to the first polarization direction ⁇ 1
  • a second polarizing filter that transmits light in the polarization direction ⁇ 2 is provided.
  • the image pickup device comprises one pixel block with two pixels (first pixel and second pixel).
  • the first pixel includes a first polarizing filter element that transmits light in the first polarization direction ⁇ 1.
  • the second pixel includes a polarizing filter element that transmits light in the second polarization direction ⁇ 2.
  • the bandpass filters are independently arranged for each divided pupil region, but the bandpass filters corresponding to each pupil region can be integrated to form one bandpass filter.
  • FIG. 35 is a diagram showing an example of a case where the bandpass filters corresponding to each pupil region are integrated to form one bandpass filter.
  • the bandpass filter of this example integrates the bandpass filters 16B1 to 16B4 corresponding to the divided pupil regions Z1 to Z4 to form one bandpass filter.
  • the configuration is such that light of one type of wavelength band is transmitted from one aperture region, but it is also possible to transmit light of a plurality of types of wavelength bands from one aperture region.
  • a bandpass filter so-called multi-bandpass filter
  • the number of wavelength bands transmitted through one aperture region is up to the number of types of spectral filter elements provided in the image sensor. That is, the number of transmission wavelength bands included in one aperture region can be set to be less than or equal to the number of transmission wavelength bands of the spectroscopic filter element.
  • the imaging optical system preferably has a configuration in which the bandpass filter unit can be replaced.
  • the wavelength band can be changed for imaging.
  • the image pickup device of the present invention can capture a multispectral image of a maximum of n ⁇ m band (n is the type of the polarizing filter element provided in the image pickup device, and m is the type of the spectral filter element). It is also possible to take an image by changing the number of bands within the range of n ⁇ m.
  • the bandpass filter unit is preferably configured to hold the bandpass filter detachably for each opening region. As a result, a multispectral image of an arbitrary wavelength band can be easily captured by simply exchanging the bandpass filter.
  • a spectroscopic filter element that transmits a wide band of light as the spectroscopic filter element provided in the image pickup device in consideration of enabling switching of the wavelength band. That is, it is preferable to use a spectroscopic filter element that covers a selectable transmission wavelength band.
  • the aberration of the region corresponding to each pupil region is individually corrected by the bandpass filter provided corresponding to each pupil region, but an optical element different from the bandpass filter is used.
  • the aberration of the region corresponding to each pupil region may be individually corrected.
  • the arrangement of pixels constituting one pixel block is not limited to that of each of the above embodiments.
  • the arrangement of pixels can be appropriately changed according to the number of pixels constituting one pixel block and the like.
  • the polarizing filter element and the spectroscopic filter element are arranged between the photodiode and the microlens, but one or both of them are arranged in front of the microlens (subject side). It can also be configured to be. By arranging the polarizing filter element and the spectroscopic filter element between the microlens and the photodiode, it is possible to effectively prevent light from being mixed into adjacent pixels. As a result, interference can be further prevented.
  • the polarizing filter elements provided in each pixel of one pixel block may be configured to transmit light in different polarization directions.
  • the polarization directions of the light transmitted by the polarization filter elements included in the pixels P1 to P16 may be different from each other.
  • the function of the image generation unit 200B (calculation unit) in the signal processing unit 200 can be realized by using various processors.
  • the various processors include, for example, a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) to realize various functions.
  • the above-mentioned various processors include a programmable logic device (Programmable) which is a processor whose circuit configuration can be changed after manufacturing such as GPU (Graphics Processing Unit) and FPGA (Field Programmable Gate Array) which are processors specialized in image processing.
  • Logic Device: PLD is also included.
  • the above-mentioned various processors also include a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing a specific process such as an ASIC (Application Specific Integrated Circuit).
  • each part may be realized by one processor, or may be realized by a plurality of processors of the same type or different types (for example, a plurality of FPGAs, a combination of a CPU and an FPGA, or a combination of a CPU and a GPU). Further, a plurality of functions may be realized by one processor. As an example of configuring a plurality of functions with one processor, first, as represented by a computer such as a server, one processor is configured by a combination of one or more CPUs and software, and there are a plurality of these processors. There is a form realized as a function of.
  • SoC System On Chip
  • various functions are configured by using one or more of the above-mentioned various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • These electric circuits may be electric circuits that realize the above functions by using logical sum, logical product, logical denial, exclusive OR, and logical operations combining these.
  • the processor (computer) readable code of the software to be executed is stored in a non-temporary recording medium such as ROM (Read Only Memory), and the processor Refers to the software.
  • the software stored in the non-temporary recording medium includes a program for executing image input, analysis, display control, and the like.
  • the code may be recorded on a non-temporary recording medium such as various optical magnetic recording devices or semiconductor memories instead of the ROM.
  • RAM Random Access Memory
  • EEPROM Electrical Erasable and Programmable Read Only Memory
  • the coefficient storage unit 200C of the signal processing unit 200 can be realized by, for example, a memory such as a ROM (Read-only Memory) or an EEPROM (Electrically Erasable Programmable Read-only Memory).
  • a memory such as a ROM (Read-only Memory) or an EEPROM (Electrically Erasable Programmable Read-only Memory).
  • the image pickup apparatus can also be configured as an interchangeable lens type image pickup apparatus in which the imaging optical system can be exchanged.
  • the matrix A is uniquely determined for each lens (imaging optical system)
  • a matrix A is prepared for each lens, and the coefficient group thereof is stored in the coefficient storage unit.
  • the coefficient group of the matrix A corresponding to the exchanged lenses is read from the coefficient storage unit, arithmetic processing is executed, and each image is generated.
  • Imaging device 10 Imaging optical system 12 Lens 16 Bandpass filter unit 16A Frame body 16A1 First aperture region 16A2 Second aperture region 16A3 Third aperture region 16A4 Fourth aperture region 16B1 First bandpass filter 16B2 Second bandpass filter 16B3 3rd bandpass filter 16B4 4th bandpass filter 16a Frame body 16b Partition 18 Polarizing filter unit 18A Frame 18A1 1st opening area 18A2 2nd opening area 18A3 3rd opening area 18A4 4th opening area 18B1 1st polarizing filter 18B2 2 Polarizing filter 18B3 3rd polarizing filter 18B4 4th polarizing filter 18a Frame body 18b Partition 100 Imaging element 110 Pixel array layer 112 Photo diode 120 Polarizing filter element Array layer 122A 1st polarizing filter element 122B 2nd polarizing filter element 122C 3rd polarization Filter element 122D Fourth polarization filter element 130 Spectral filter element Array layer 132A First spectroscopic filter element 132B Second spectroscopic filter element

Abstract

良好な画質のマルチスペクトル画像を撮像する撮像装置を提供する。撮像装置（１）は、瞳領域が、第１の瞳領域、及び、第１の瞳領域とは異なる第２の瞳領域を含む複数の領域に分割され、第１の瞳領域及び第２の瞳領域を通過する光を互いに異なる方向に偏光する偏光フィルタを備えた撮像光学系（１０）と、第１の瞳領域を通過する光を受光する第１の画素、及び、第２の瞳領域を通過する光を受光する第２の画素を含む撮像素子（１００）と、撮像素子（１００）から出力される信号を処理し、少なくとも第１の画素の出力信号からなる第１の画像データ、及び、第２の画素の出力信号からなる第２の画像データを出力する信号処理部（２００）と、を備える。撮像光学系（１０）は、第１の瞳領域及び第２の瞳領域を通過する光の波長が互いに異なり、かつ、第１の瞳領域及び第２の瞳領域に対応する領域の収差特性が互いに異なる。

Description

撮像装置
　本発明は、撮像装置に関する。
　特許文献１には、偏光特性及び色特性の異なる複数の透光領域を有する偏光カラーフィルタ板と、偏光特性の異なる複数の偏光フィルタを備えた撮像素子と、を使用して、複数の波長帯域の画像（マルチスペクトル画像）を撮像する技術が提案されている。
国際公開第2014/020791号
　本開示の技術に係る１つの実施形態は、良好な画質のマルチスペクトル画像を撮像する撮像装置を提供する。
　（１）瞳領域が、第１の瞳領域、及び、第１の瞳領域とは異なる第２の瞳領域を含む複数の領域に分割され、第１の瞳領域及び第２の瞳領域を通過する光を互いに異なる方向に偏光する偏光子を備えた撮像光学系と、第１の瞳領域を通過する光を受光する第１の画素、及び、第２の瞳領域を通過する光を受光する第２の画素を含む撮像素子と、撮像素子から出力される信号を処理し、少なくとも第１の画素の出力信号からなる第１の画像データ、及び、第２の画素の出力信号からなる第２の画像データを出力するプロセッサと、を備え、撮像光学系は、第１の瞳領域及び第２の瞳領域を通過する光の波長が互いに異なり、かつ、第１の瞳領域及び第２の瞳領域に対応する領域の収差特性が互いに異なる、撮像装置。
　（２）上記（１）の撮像装置において、撮像光学系は、更に、第１の瞳領域及び第２の瞳領域を通過する光の光量が互いに異なる。
　（３）上記（１）又は（２）の撮像装置において、撮像光学系は、第１の瞳領域に配置される第１の光学素子及び第２の瞳領域に配置される第１の光学素子とは異なる第２の光学素子を備え、第１の光学素子及び第２の光学素子によって、第１の瞳領域及び第２の瞳領域に対応する領域の収差が個別に補正される。
　（４）上記（３）の撮像装置において、第１の光学素子は、第１の波長帯域の光を透過させ、第２の光学素子は、第１の波長帯域とは異なる第２の波長帯域の光を透過させる。
　（５）上記（４）の撮像装置において、第１の光学素子は、第１の透過率を有し、第２の光学素子は、第１の透過率とは異なる第２の透過率を有する。
　（６）上記（３）から（５）のいずれか一の撮像装置において、第１の光学素子は、第１の開口面積を有し、第２の光学素子は、第１の開口面積とは異なる第２の開口面積を有する。
　（７）上記（３）から（６）のいずれか一の撮像装置において、第１の光学素子及び第２の光学素子は、レンズ形状を有し、撮像光学系は、第１の光学素子及び第２の光学素子の曲率が個別に調整されて、第１の瞳領域及び第２の瞳領域に対応する領域の収差が個別に補正される。
　（８）上記（３）から（６）のいずれか一の撮像装置において、第１の光学素子及び第２の光学素子は、平板形状を有し、撮像光学系は、第１の光学素子及び第２の光学素子の厚さが個別に調整されて、第１の瞳領域及び第２の瞳領域に対応する領域の収差が個別に補正される。
　（９）上記（３）から（６）のいずれか一の撮像装置において、第１の光学素子及び第２の光学素子は、平板形状を有し、撮像光学系は、第１の光学素子及び第２の光学素子の傾きが個別に調整されて、第１の瞳領域及び第２の瞳領域に対応する領域の収差が個別に補正される。
　（１０）上記（３）から（６）のいずれか一の撮像装置において、第１の光学素子及び第２の光学素子は、平板形状を有し、撮像光学系は、第１の光学素子及び第２の光学素子の片面の傾きが個別に調整されて、第１の瞳領域及び第２の瞳領域に対応する領域の収差が個別に補正される。
　（１１）上記（３）から（１０）のいずれか一の撮像装置において、第１の光学素子及び第２の光学素子が一体化されて１つの光学素子で構成される。
　（１２）上記（１）から（１１）のいずれか一の撮像装置において、撮像光学系は、瞳領域が同心円状に分割される
本発明に係る撮像装置の第１の実施の形態の概略構成を示す図 バンドパスフィルタユニットの正面図 各バンドパスフィルタの透過波長特性の一例を示すグラフ 偏光フィルタユニットの正面図 撮像素子の画素の配列の概略構成を示す図 撮像素子の概略構成を示す図 １つ画素の概略構成を示す断面図 １つの画素ブロックにおける偏光フィルタ素子の配列パターンの一例を示す図 １つの画素ブロックにおける分光フィルタ素子の配列パターンの一例を示す図 分光フィルタ素子の透過波長特性の一例を示すグラフ 信号処理部の概略構成を示すブロック図 画像生成の概念図 撮像装置による画像生成の概念図 図２に示すバンドパスフィルタユニットの１４－１４断面図 図３に示すバンドパスフィルタユニットの１５－１５断面図 第２の実施の形態のバンドパスフィルタユニットの構成を示す図 図１６の１７－１７断面図 図１６の１８－１８断面図 第３の実施の形態のバンドパスフィルタユニットの構成を示す図 図１９の２０－２０断面図 図１９の２１－２１断面図 コマ収差が残存するレンズにおいて非対称な瞳分割で結像位置がずれる様子を模式的に示した図 傾きの設定の概念図 第３の実施の形態のバンドパスフィルタユニットの他の一例を示す図 図２４の２５－２５断面図 図２４の２６－２６断面図 瞳領域の分割態様の他の一例を示す図 バンドパスフィルタの曲率を調整して収差を補正する場合の一例を示す図 収差の補正手法の他の一例を示す図 収差の補正手法の他の一例を示す図 本実施の形態のバンドパスフィルタユニットの構成を示す図 本実施の形態のバンドパスフィルタユニットに備えられる各バンドパスフィルタの透過波長特性の一例を示すグラフ 、本実施の形態のバンドパスフィルタユニットに備えられる各バンドパスフィルタの透過波長特性の一例を示すグラフ 瞳領域の開口形状の他の一例を示す図 各瞳領域に対応するバンドパスフィルタを一体化して１つのバンドパスフィルタとして構成する場合の一例を示す図
　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
　《第１の実施の形態》
　［撮像装置の基本構成］
　図１は、本発明に係る撮像装置の第１の実施の形態の概略構成を示す図である。
　本実施の形態の撮像装置は、４バンドのマルチスペクトル画像を撮像する撮像装置である。本実施の形態の撮像装置は、主として、撮像光学系１０と、撮像素子１００と、信号処理部２００と、を備える。
　［撮像光学系］
　撮像光学系１０は、複数のレンズ１２を組み合わせて構成される。撮像光学系１０は、その光路中にバンドパスフィルタユニット１６及び偏光フィルタユニット１８を有する。また、撮像光学系１０は、図示しない焦点調節機構を有する。焦点調節機構は、たとえば、撮像光学系１０の全体を光軸Ｌに沿って前後移動させて、焦点を調節する。
　図２は、バンドパスフィルタユニットの正面図である。
　バンドパスフィルタユニット１６は、４つの開口領域１６Ａ１～１６Ａ４を備えた枠体１６Ａと、その枠体１６Ａの各開口領域１６Ａ１～１６Ａ４に備えられた４つのバンドパスフィルタ１６Ｂ１～１６Ｂ４と、で構成される。なお、以下においては、必要に応じて、開口領域１６Ａ１を第１開口領域１６Ａ１、開口領域１６Ａ２を第２開口領域１６Ａ２、開口領域１６Ａ３を第３開口領域１６Ａ３、開口領域１６Ａ４を第４開口領域１６Ａ４と称して、各開口領域１６Ａ１～１６Ａ４を区別する。また、第１開口領域１６Ａ１に備えられるバンドパスフィルタ１６Ｂ１を第１バンドパスフィルタ１６Ｂ１、第２開口領域１６Ａ２に備えられるバンドパスフィルタ１６Ｂ２を第２バンドパスフィルタ１６Ｂ２、第３開口領域１６Ａ３に備えられるバンドパスフィルタ１６Ｂ３を第３バンドパスフィルタ１６Ｂ３、第４開口領域１６Ａ４に備えられるバンドパスフィルタ１６Ｂ４を第４バンドパスフィルタ１６Ｂ４と称して、各バンドパスフィルタ１６Ｂ１～１６Ｂ４を区別する。
　枠体１６Ａは、円環状の枠本体１６ａと、枠本体１６ａの内側を仕切る間仕切り１６ｂと、を有する。枠体１６Ａは、枠本体１６ａの内側を十字状の間仕切り１６ｂによって、周方向に４等分割されて、４つの開口領域１６Ａ１～１６Ａ４が備えられる。枠本体１６ａは、撮像光学系１０の絞り（開口絞り）を構成する。撮像光学系１０は、枠体１６Ａによって、瞳領域が４つの領域Ｚ１～Ｚ４に分割される（瞳分割）。以下、必要に応じて、分割された各領域Ｚ１～Ｚ４をそれぞれ第１瞳領域Ｚ１、第２瞳領域Ｚ２、第３瞳領域Ｚ３、第４瞳領域Ｚ４と称する。各開口領域１６Ａ１～１６Ａ４は、撮像光学系１０の４つの瞳領域Ｚ１～Ｚ４に対応する。すなわち、第１開口領域１６Ａ１は、第１瞳領域Ｚ１に対応する。第２開口領域１６Ａ２は、第２瞳領域Ｚ２に対応する。第３開口領域１６Ａ３は、第３瞳領域Ｚ３に対応する。第４開口領域１６Ａ４は、第４瞳領域Ｚ４に対応する。
　撮像光学系１０の各瞳領域Ｚ１～Ｚ４は、各開口領域１６Ａ１～１６Ａ４に備えられるバンドパスフィルタ１６Ｂ１～１６Ｂ４によって、通過する光の波長帯域が制限される。すなわち、第１瞳領域Ｚ１は、第１バンドパスフィルタ１６Ｂ１によって、通過する光の波長帯域が制限される。第２瞳領域Ｚ２は、第２バンドパスフィルタ１６Ｂ２によって、通過する光の波長帯域が制限される。第３瞳領域Ｚ３は、第３バンドパスフィルタ１６Ｂ３によって、通過する光の波長帯域が制限される。第４瞳領域Ｚ４は、第４バンドパスフィルタ１６Ｂ４によって、通過する光の波長帯域が制限される。バンドパスフィルタ１６Ｂ１～１６Ｂ４は、光学素子の一例である。
　図３は、各バンドパスフィルタの透過波長特性の一例を示すグラフである。
　各バンドパスフィルタ１６Ｂ１～１６Ｂ４は、それぞれ異なる波長帯域の光を透過させる。具体的には、第１バンドパスフィルタ１６Ｂ１は、波長帯域λ１の光を透過させる。第２バンドパスフィルタ１６Ｂ２は、波長帯域λ２の光を透過させる。第３バンドパスフィルタ１６Ｂ３は、波長帯域λ３の光を透過させる。第４バンドパスフィルタ１６Ｂ４は、波長帯域λ４の光を透過させる。
　また、各バンドパスフィルタ１６Ｂ１～１６Ｂ４は、各瞳領域Ｚ１～Ｚ４に対応する領域の収差を個別に補正する機能を有する。この点については、後に詳述する。
　以上の構成のバンドパスフィルタユニット１６によって、撮像光学系１０は、各瞳領域Ｚ１～Ｚ４に対応する領域を通過する光の波長が互いに異なるものとなる。
　図４は、偏光フィルタユニットの正面図である。
　偏光フィルタユニット１８は、４つの開口領域１８Ａ１、１８Ａ２を備えた枠体１８Ａと、その枠体１８Ａの各開口領域１８Ａ１～１８Ａ４に備えられた４つの偏光フィルタ１８Ｂ１～１８Ｂ４と、で構成される。なお、以下においては、必要に応じて、開口領域１８Ａ１を第１開口領域１８Ａ１、開口領域１８Ａ２を第２開口領域１８Ａ２、開口領域１８Ａ３を第３開口領域１８Ａ３、開口領域１８Ａ４を第４開口領域１８Ａ４と称して、４つの開口領域１８Ａ１～１８Ａ４を区別する。また、第１開口領域１８Ａ１に備えられる偏光フィルタ１８Ｂ１を第１偏光フィルタ１８Ｂ１、第２開口領域１８Ａ２に備えられる偏光フィルタ１８Ｂ２を第２偏光フィルタ１８Ｂ２、第３開口領域１８Ａ３に備えられる偏光フィルタ１８Ｂ３を第３偏光フィルタ１８Ｂ３、第４開口領域１８Ａ４に備えられる偏光フィルタ１８Ｂ４を第４偏光フィルタ１８Ｂ４と称して、各偏光フィルタ１８Ｂ１～１８Ｂ４を区別する。
　枠体１８Ａは、バンドパスフィルタユニット１６の枠体１６Ａと同じ形状を有する。したがって、円環状の枠本体１８ａ及び間仕切り１８ｂを有する。枠体１８Ａは、その枠本体１８ａ内周部を十字状の間仕切り１８ｂによって、周方向に４等分割されて、４つの開口領域１８Ａ１～１８Ａ４が備えられる。各開口領域１８Ａ１～１８Ａ４は、バンドパスフィルタユニット１６の各開口領域１６Ａ１～１６Ａ４に重ねて配置される。すなわち、第１開口領域１８Ａ１は、バンドパスフィルタユニット１６の第１開口領域１６Ａ１に重ねて配置される。第２開口領域１８Ａ２は、バンドパスフィルタユニット１６の第２開口領域１６Ａ２に重ねて配置される。第３開口領域１８Ａ３は、バンドパスフィルタユニット１６の第３開口領域１６Ａ３に重ねて配置される。第４開口領域１８Ａ４は、バンドパスフィルタユニット１６の第４開口領域１６Ａ４に重ねて配置される。したがって、バンドパスフィルタユニット１６の第１開口領域１６Ａ１を通過した光は、偏光フィルタユニット１８の第１開口領域１８Ａ１を通過する。また、バンドパスフィルタユニット１６の第２開口領域１６Ａ２を通過した光は、偏光フィルタユニット１８の第２開口領域１８Ａ２を通過する。また、バンドパスフィルタユニット１６の第３開口領域１６Ａ３を通過した光は、偏光フィルタユニット１８の第３開口領域１８Ａ３を通過する。また、バンドパスフィルタユニット１６の第４開口領域１６Ａ４を通過した光は、偏光フィルタユニット１８の第４開口領域１８Ａ４を通過する。
　各開口領域１８Ａ１～１８Ａ４に備えられる偏光フィルタ１８Ｂ１～１８Ｂ４は、互いに異なる偏光方向の光を透過させる。具体的には、第１開口領域１８Ａ１に備えられる第１偏光フィルタ１８Ｂ１は、偏光方向θ１（たとえば、θ１＝０°）の光を透過させる。第２開口領域１８Ａ２に備えられる第２偏光フィルタ１８Ｂ２は、偏光方向θ２（たとえば、θ２＝４５°）の光を透過させる。第３開口領域１８Ａ３に備えられる第３偏光フィルタ１８Ｂ３は、偏光方向θ３（たとえば、θ３＝９０°）の光を透過させる。第４開口領域１８Ａ４に備えられる第４偏光フィルタ１８Ｂ４は、偏光方向θ４（たとえば、θ４＝１３５°）の光を透過させる。よって、したがって、第１瞳領域Ｚ１を通過する光は偏光方向θ１で偏光し、第２瞳領域Ｚ２を通過する光は偏光方向θ２で偏光し、第３瞳領域Ｚ３を通過する光は偏光方向θ３で偏光し、第４瞳領域Ｚ４を通過する光は偏光方向θ４で偏光する。偏光フィルタ１８Ｂ１～１８Ｂ４は、偏光子の一例である。
　以上の構成の撮像光学系１０によれば、各瞳領域Ｚ１～Ｚ４に対応する領域から特性の異なる光が出射される。すなわち、偏光方向θ１かつ波長帯域λ１の光（第１の光）、偏光方向θ２かつ波長帯域λ２の光（第２の光）、偏光方向θ３かつ波長帯域λ３の光（第３の光）、及び、偏光方向θ４かつ波長帯域λ４の（第４の光）が出射される。第１の光は、瞳領域Ｚ１を通過する光であり、第１バンドパスフィルタ１６Ｂ１及び第１偏光フィルタ１８Ｂ１を通過する光である。第２の光は、瞳領域Ｚ２を通過する光であり、第２バンドパスフィルタ１６Ｂ２及び第２偏光フィルタ１８Ｂ２を通過する光である。第３の光は、瞳領域Ｚ３を通過する光であり、第３バンドパスフィルタ１６Ｂ３及び第３偏光フィルタ１８Ｂ３を通過する光である。第４の光は、瞳領域Ｚ４を通過する光であり、第４バンドパスフィルタ１６Ｂ４及び第４偏光フィルタ１８Ｂ４を通過する光である。
　［撮像素子］
　図５は、撮像素子の画素の配列の概略構成を示す図である。
　同図に示すように、撮像素子１００は、その受光面に複数種類の画素Ｐ１～Ｐ１６を有する。各画素Ｐ１～Ｐ１６は、水平方向（ｘ軸方向）及び垂直方向（ｙ軸方向）に沿って、一定ピッチで規則的に配列される。
　本実施の形態の撮像素子１００は、隣接する１６個（４×４個）の画素Ｐ１～Ｐ１６で１つの画素ブロックＰＢ（Ｘ，Ｙ）が構成され、この画素ブロックＰＢ（Ｘ，Ｙ）が、水平方向（ｘ軸方向）及び垂直方向（ｙ軸方向）に沿って規則的に配列される。以下、必要に応じて、画素Ｐ１を第１画素Ｐ１、画素Ｐ２を第２画素Ｐ２、画素Ｐ３を第３画素Ｐ３、画素Ｐ４を第４画素Ｐ４、画素Ｐ５を第５画素Ｐ５、画素Ｐ６を第６画素Ｐ６、画素Ｐ７を第７画素Ｐ７、画素Ｐ８を第８画素Ｐ８、画素Ｐ９を第９画素Ｐ９、画素Ｐ１０を第１０画素Ｐ１０、画素Ｐ１１を第１１画素Ｐ１１、画素Ｐ１２を第１２画素Ｐ１２、画素Ｐ１３を第１３画素Ｐ１３、画素Ｐ１４を第１４画素Ｐ１４、画素Ｐ１５を第１５画素Ｐ１５、画素Ｐ１６を第１６画素Ｐ１６として、各画素Ｐ１～Ｐ１６を区別する。各画素Ｐ１～Ｐ１６は、それぞれ異なる光学特性を有する。
　図６は、撮像素子の概略構成を示す図である。また、図７は、１つ画素（図６の破線部）の概略構成を示す断面図である。
　撮像素子１００は、ピクセルアレイ層１１０、偏光フィルタ素子アレイ層１２０、分光フィルタ素子アレイ層１３０及びマイクロレンズアレイ層１４０を有する。各層は、像面側から物体側に向かって、ピクセルアレイ層１１０、偏光フィルタ素子アレイ層１２０、分光フィルタ素子アレイ層１３０、マイクロレンズアレイ層１４０の順で配置される。
　ピクセルアレイ層１１０は、多数のフォトダイオード１１２を二次元的に配列して構成される。１つのフォトダイオード１１２は、１つの画素を構成する。各フォトダイオード１１２は、水平方向（ｘ方向）及び垂直方向（ｙ方向）に沿って規則的に配置される。
　偏光フィルタ素子アレイ層１２０は、透過させる光の偏光方向が異なる４種類の偏光フィルタ素子１２２Ａ～１２２Ｄを二次元的に配列して構成される。以下、必要に応じて、偏光フィルタ素子１２２Ａを第１偏光フィルタ素子１２２Ａ、偏光フィルタ素子１２２Ｂを第２偏光フィルタ素子１２２Ｂ、偏光フィルタ素子１２２Ｃを第３偏光フィルタ素子１２２Ｃ、偏光フィルタ素子１２２Ｄを第４偏光フィルタ素子１２２Ｄとして、各偏光フィルタ素子１２２Ａ～１２２Ｄを区別する。
　各偏光フィルタ素子１２２Ａ～１２２Ｄは、フォトダイオード１１２と同じ間隔で配置され、画素ごとに備えられる。各画素ブロックＰＢ（Ｘ，Ｙ）において、各偏光フィルタ素子１２２Ａ～１２２Ｄは、規則的に配列される。
　図８は、１つの画素ブロックにおける偏光フィルタ素子の配列パターンの一例を示す図である。
　同図に示すように、本実施の形態の撮像装置１では、第１画素Ｐ１、第３画素Ｐ３、第９画素Ｐ９、第１１画素Ｐ１１に第１偏光フィルタ素子１２２Ａが備えられる。また、第２画素Ｐ２、第４画素Ｐ４、第１０画素Ｐ１０、第１２画素Ｐ１２に第２偏光フィルタ素子１２２Ｂが備えられる。また、第３画素Ｐ３、第７画素Ｐ７、第１３画素Ｐ１３、第１５画素Ｐ１５に第３偏光フィルタ素子１２２Ｃが備えられる。また、第４画素Ｐ４、第８画素Ｐ８、第１４画素Ｐ１４、第１６画素Ｐ１６に第４偏光フィルタ素子１２２Ｄが備えられる。
　各偏光フィルタ素子１２２Ａ～１２２Ｄは、互いに異なる偏光方向の光を透過させる。具体的には、第１偏光フィルタ素子１２２Ａは、偏光方向θＡ（たとえば、θＡ＝４５°）の光を透過させる。第２偏光フィルタ素子１２２Ｂは、偏光方向θＢ（たとえば、θＢ＝９０°）の光を透過させる。第３偏光フィルタ素子１２２Ｃは、偏光方向θＣ（たとえば、θＡ＝１３５°）の光を透過させる。第４偏光フィルタ素子１２２Ｄは、偏光方向θＤ（たとえば、θＤ＝０°）の光を透過させる。
　分光フィルタ素子アレイ層１３０は、透過波長特性の異なる４種類の分光フィルタ素子１３２Ａ～１３２Ｄを二次元的に配列して構成される。以下、必要に応じて、分光フィルタ素子１３２Ａを第１分光フィルタ素子１３２Ａ、分光フィルタ素子１３２Ｂを第２分光フィルタ素子１３２Ｂ、分光フィルタ素子１３２Ｃを第３分光フィルタ素子１３２Ｃ、分光フィルタ素子１３２Ｄを第４分光フィルタ素子１３２Ｄとして、各分光フィルタ素子１３２Ａ～１３２Ｄを区別する。
　各分光フィルタ素子１３２Ａ～１３２Ｄは、フォトダイオード１１２と同じ間隔で配置され、画素ごとに備えられる。各画素ブロックＰＢ（Ｘ，Ｙ）において、各分光フィルタ素子１３２Ａ～１３２Ｄは、規則的に配列される。
　図９は、１つの画素ブロックにおける分光フィルタ素子の配列パターンの一例を示す図である。
　同図に示すように、本実施の形態の撮像装置では、第１画素Ｐ１、第２画素Ｐ２、第５画素Ｐ５及び第６画素Ｐ６に第１分光フィルタ素子１３２Ａが備えられる。また、第３画素Ｐ３、第４画素Ｐ４、第７画素Ｐ７及び第８画素Ｐ８に第２分光フィルタ素子１３２Ｂが備えられる。また、第９画素Ｐ９、第１０画素Ｐ１０、第１３画素Ｐ１３及び第１４画素Ｐ１４に第３分光フィルタ素子１３２Ｃが備えられる。また、第１１画素Ｐ１１、第１２画素Ｐ１２、第１５画素Ｐ１５及び第１６画素Ｐ１６に第４分光フィルタ素子１３２Ｄが備えられる。
　図１０は、各分光フィルタ素子の透過波長特性の一例を示すグラフである。
　同図において、Ａは、第１分光フィルタ素子１３２Ａの透過波長特性を示している。Ｂは第２分光フィルタ素子１３２Ｂの透過波長特性を示している。Ｃは、第３分光フィルタ素子１３２Ｃの透過波長特性を示している。Ｄは第４分光フィルタ素子１３２Ｄの透過波長特性を示している。各分光フィルタ素子１３２Ａ～１３２Ｄは、互いに異なる透過波長特性を有する。
　なお、図１０は、第１分光フィルタ素子１３２Ａが、青色（Blue，Ｂ）の光を透過させる分光フィルタ素子で構成され、第２分光フィルタ素子１３２Ｂが、緑色（Green，Ｇ）の光を透過させる分光フィルタ素子で構成され、第３分光フィルタ素子１３２Ｃが、赤色（Red，Ｒ）の光を透過させる分光フィルタ素子で構成され、第４分光フィルタ素子１３２Ｄが、赤外光（Infrared，ＩＲ）を透過させる分光フィルタ素子で構成される場合の例を示している。
　ここで、図１０に示すように、撮像光学系１０の各バンドパスフィルタ１６Ｂ１～１６Ｂ４が透過させる光の波長帯域λ１～λ４は、各分光フィルタ素子１３２Ａ～１３２Ｄが透過させる波長帯域の範囲内で設定される。すなわち、各バンドパスフィルタ１６Ｂ１～１６Ｂ４が透過させる光の波長帯域λ１～λ４は、各分光フィルタ素子１３２Ａ～１３２Ｄが透過させる波長帯域が重なり合う領域で設定される。換言すると、各分光フィルタ素子１３２Ａ～１３２Ｄは、撮像光学系１０の各バンドパスフィルタ１６Ｂ１～１６Ｂ４の透過波長帯域をカバーするように、その透過波長帯域が設定される。このため、各分光フィルタ素子１３２Ａ～１３２Ｄは、広帯域の光を透過させるフィルタが使用される。
　マイクロレンズアレイ層１４０は、多数のマイクロレンズ１４２を二次元的に配列して構成される。各マイクロレンズ１４２は、フォトダイオード１１２と同じ間隔で配置され、１画素ごとに備えられる。マイクロレンズ１４２は、撮像光学系１０からの光をフォトダイオード１１２に効率よく集光させる目的で備えられる。
　以上のように構成される撮像素子１００は、各画素ブロックＰＢ（Ｘ，Ｙ）において、各画素Ｐ１～Ｐ１６が、次のように撮像光学系１０からの光を受光する。すなわち、第１画素Ｐ１は、第１分光フィルタ素子１３２Ａ（透過波長特性Ａ）及び第１偏光フィルタ素子１２２Ａ（偏光方向θＡ）を介して、撮像光学系１０からの光を受光する。また、第２画素Ｐ２は、第１分光フィルタ素子１３２Ａ（透過波長特性Ａ）及び第２偏光フィルタ素子１２２Ｂ（偏光方向θＢ）を介して、撮像光学系１０からの光を受光する。また、第３画素Ｐ３は、第２分光フィルタ素子１３２Ｂ（透過波長特性Ｂ）及び第１偏光フィルタ素子１２２Ａ（偏光方向θＡ）を介して、撮像光学系１０からの光を受光する。また、第４画素Ｐ４は、第２分光フィルタ素子１３２Ｂ（透過波長特性Ｂ）及び第２偏光フィルタ素子１２２Ｂ（偏光方向θＢ）を介して、撮像光学系１０からの光を受光する。また、第５画素Ｐ５は、第１分光フィルタ素子１３２Ａ（透過波長特性Ａ）及び第３偏光フィルタ素子１２２Ｃ（偏光方向θＣ）を介して、撮像光学系１０からの光を受光する。また、第６画素Ｐ６は、第１分光フィルタ素子１３２Ａ（透過波長特性Ａ）及び第４偏光フィルタ素子１２２Ｄ（偏光方向θＤ）を介して、撮像光学系１０からの光を受光する。また、第７画素Ｐ７は、第２分光フィルタ素子１３２Ｂ（透過波長特性Ｂ）及び第３偏光フィルタ素子１２２Ｃ（偏光方向θＣ）を介して、撮像光学系１０からの光を受光する。また、第８画素Ｐ８は、第２分光フィルタ素子１３２Ｂ（透過波長特性Ｂ）及び第４偏光フィルタ素子１２２Ｄ（偏光方向θＤ）を介して、撮像光学系１０からの光を受光する。また、第９画素Ｐ９は、第３分光フィルタ素子１３２Ｃ（透過波長特性Ｃ）及び第１偏光フィルタ素子１２２Ａ（偏光方向θＡ）を介して、撮像光学系１０からの光を受光する。また、第１０画素Ｐ１０は、第３分光フィルタ素子１３２Ｃ（透過波長特性Ｃ）及び第２偏光フィルタ素子１２２Ｂ（偏光方向θＢ）を介して、撮像光学系１０からの光を受光する。また、第１１画素Ｐ１１は、第４分光フィルタ素子１３２Ｄ（透過波長特性Ｄ）及び第１偏光フィルタ素子１２２Ａ（偏光方向θＡ）を介して、撮像光学系１０からの光を受光する。また、第１２画素Ｐ１２は、第４分光フィルタ素子１３２Ｄ（透過波長特性Ｄ）及び第２偏光フィルタ素子１２２Ｂ（偏光方向θＢ）を介して、撮像光学系１０からの光を受光する。また、第１３画素Ｐ１３は、第３分光フィルタ素子１３２Ｃ（透過波長特性Ｃ）及び第３偏光フィルタ素子１２２Ｃ（偏光方向θＣ）を介して、撮像光学系１０からの光を受光する。また、第１４画素Ｐ１４は、第３分光フィルタ素子１３２Ｃ（透過波長特性Ｃ）及び第４偏光フィルタ素子１２２Ｄ（偏光方向θＤ）を介して、撮像光学系１０からの光を受光する。また、第１５画素Ｐ１５は、第４分光フィルタ素子１３２Ｄ（透過波長特性Ｄ）及び第３偏光フィルタ素子１２２Ｃ（偏光方向θＣ）を介して、撮像光学系１０からの光を受光する。また、第１６画素Ｐ１６は、第４分光フィルタ素子１３２Ｄ（透過波長特性Ｄ）及び第４偏光フィルタ素子１２２Ｄ（偏光方向θＤ）を介して、撮像光学系１０からの光を受光する。このように、各画素Ｐ１～Ｐ１６は、互いに異なる光学特性を有することにより、それぞれ特性の異なる光を受光する。すなわち、波長帯域及び偏光方向の異なる光を受光する。
　［信号処理部］
　信号処理部２００は、撮像素子１００から出力される信号を処理して、４バンドのマルチスペクトル画像の画像データを生成する。すなわち、撮像光学系１０のバンドパスフィルタユニット１６を透過する４種類の波長帯域λ１～λ４の画像データを生成する。
　図１１は、信号処理部の概略構成を示すブロック図である。
　同図に示すように、信号処理部２００は、アナログ信号処理部２００Ａ、画像生成部２００Ｂ及び係数記憶部２００Ｃを含む。
　アナログ信号処理部２００Ａは、撮像素子１００の各画素から出力されるアナログの画素信号を取り込み、所定の信号処理（たとえば、相関二重サンプリング処理、増幅処理等）を施した後、デジタル信号に変換して出力する。
　画像生成部２００Ｂは、デジタル信号に変換された後の画素信号に所定の信号処理を施して、各波長帯域λ１～λ４の画像データを生成する。
　図１２は、画像生成の概念図である。
　各画素ブロックＰＢ（Ｘ，Ｙ）には、１６個の画素Ｐ１～Ｐ１６が含まれる。したがって、各画素ブロックＰＢ（Ｘ，Ｙ）から各画素Ｐ１～Ｐ１６の画素信号を分離して抽出することにより、１６個の画像データＤ１～Ｄ１６が生成される。しかし、この１６個の画像データＤ１～Ｄ１６には、混信（クロストーク）が生じている。すなわち、各画素Ｐ１～Ｐ１６には、各波長帯域の光が入射するため、生成される画像は、各波長帯域の画像が所定の割合で混合した画像となる。このため、画像生成部２００Ｂは、混信除去処理を行って、各波長帯域の画像データを生成する。
　以下、信号処理部２００において行われる混信除去処理について説明する。
　各画素ブロックＰＢ（Ｘ，Ｙ）の第１画素Ｐ１で得られる画素信号（信号値）をα１、第２画素Ｐ２で得られる画素信号をα２、第３画素Ｐ３で得られる画素信号をα３、第４画素Ｐ４で得られる画素信号をα４、第５画素Ｐ５で得られる画素信号（信号値）をα５、第６画素Ｐ６で得られる画素信号をα６、第７画素Ｐ７で得られる画素信号をα７、第８画素Ｐ８で得られる画素信号をα８、第９画素Ｐ９で得られる画素信号（信号値）をα９、第１画素Ｐ１で得られる画素信号（信号値）をα１、第２画素Ｐ２で得られる画素信号をα２、第３画素Ｐ３で得られる画素信号をα３、第４画素Ｐ４で得られる画素信号をα４、第１０素Ｐ１０で得られる画素信号（信号値）をα１０、第１１画素Ｐ１１で得られる画素信号（信号値）をα１１、第１２画素Ｐ１２で得られる画素信号をα１２、第１３画素Ｐ１３で得られる画素信号をα１３、第１４画素Ｐ１４で得られる画素信号をα１４、第１５画素Ｐ１５で得られる画素信号（信号値）をα１５、第１６画素Ｐ１６で得られる画素信号をα１６とする。各画素ブロックＰＢ（Ｘ，Ｙ）からは、１６個の画素信号α１～α１６が得られる。画像生成部２００Ｂは、この１６個の画素信号α１～α１６から各波長帯域λ１～λ４の光に対応した４つの画素信号β１～β４を算出し、混信を除去する。具体的には、下記の行列Ａを用いた式１によって、各波長帯域λ１～λ４の光に対応した４つの画素信号β１～β４を算出し、混信を除去する。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　なお、画素信号β１は波長帯域λ１の光に対応した画素信号、画素信号β２は波長帯域λ２の光に対応した画素信号、画素信号β３は波長帯域λ３の光に対応した画素信号、画素信号β４は波長帯域λ４の光に対応した画素信号である。したがって、画素信号β１からは波長帯域λ１の画像データが生成され、画素信号β２からは波長帯域λ２の画像データが生成され、画素信号β３からは波長帯域λ３の画像データが生成され、画素信号β４からは波長帯域λ４の画像データが生成される。以下、上記の式１によって混信を除去できる理由について説明する。
　混信は、各画素Ｐ１～Ｐ１６に各波長帯域λ１～λ４の光が混入することで発生する。撮像光学系１０から出射した各波長帯域λ１～λ４の光が、各画素Ｐ１～Ｐ１６で受光される割合（混信比率）をｂｉｊ（ｉ＝１～４、ｊ＝１～４）とする。ここで、ｂ１１は、波長帯域λ１の光が第１画素Ｐ１で受光される割合、ｂ１２は、波長帯域λ２の光が第１画素Ｐ１で受光される割合、ｂ１３は、波長帯域λ３の光が第１画素Ｐ１で受光される割合、ｂ１４は、波長帯域λ４の光が第１画素Ｐ１で受光される割合である。また、ｂ２１は、波長帯域λ１の光が第２画素Ｐ２で受光される割合、ｂ２２は、波長帯域λ２の光が第２画素Ｐ２で受光される割合、ｂ２３は、波長帯域λ３の光が第２画素Ｐ２で受光される割合、ｂ２４は、波長帯域λ４の光が第２画素Ｐ２で受光される割合である。また、ｂ３１は、波長帯域λ１の光が第３画素Ｐ３で受光される割合、ｂ３２は、波長帯域λ２の光が第３画素Ｐ３で受光される割合、ｂ３３は、波長帯域λ３の光が第３画素Ｐ３で受光される割合、ｂ３４は、波長帯域λ４の光が第３画素Ｐ３で受光される割合である。また、ｂ４１は、波長帯域λ１の光が第４画素Ｐ４で受光される割合、ｂ４２は、波長帯域λ２の光が第４画素Ｐ４で受光される割合、ｂ４３は、波長帯域λ３の光が第４画素Ｐ４で受光される割合、ｂ４４は、波長帯域λ４の光が第４画素Ｐ４で受光される割合である。また、ｂ５１は、波長帯域λ１の光が第５画素Ｐ５で受光される割合、ｂ５２は、波長帯域λ２の光が第５画素Ｐ５で受光される割合、ｂ５３は、波長帯域λ３の光が第５画素Ｐ５で受光される割合、ｂ５４は、波長帯域λ４の光が第５画素Ｐ５で受光される割合である。た、ｂ６１は、波長帯域λ１の光が第６画素Ｐ６で受光される割合、ｂ６２は、波長帯域λ２の光が第６画素Ｐ６で受光される割合、ｂ６３は、波長帯域λ３の光が第６画素Ｐ６で受光される割合、ｂ６４は、波長帯域λ４の光が第６画素Ｐ６で受光される割合である。た、ｂ７１は、波長帯域λ１の光が第７画素Ｐ７で受光される割合、ｂ７２は、波長帯域λ２の光が第７画素Ｐ７で受光される割合、ｂ７３は、波長帯域λ３の光が第７画素Ｐ７で受光される割合、ｂ７４は、波長帯域λ４の光が第７画素Ｐ７で受光される割合である。また、ｂ８１は、波長帯域λ１の光が第８画素Ｐ８で受光される割合、ｂ８２は、波長帯域λ２の光が第８画素Ｐ８で受光される割合、ｂ８３は、波長帯域λ３の光が第８画素Ｐ８で受光される割合、ｂ８４は、波長帯域λ４の光が第８画素Ｐ８で受光される割合である。また、ｂ９１は、波長帯域λ１の光が第９画素Ｐ９で受光される割合、ｂ９２は、波長帯域λ２の光が第９画素Ｐ９で受光される割合、ｂ９３は、波長帯域λ３の光が第９画素Ｐ９で受光される割合、ｂ９４は、波長帯域λ４の光が第９画素Ｐ９で受光される割合である。また、ｂ１０１は、波長帯域λ１の光が第１０画素Ｐ１０で受光される割合、ｂ１０２は、波長帯域λ２の光が第１０画素Ｐ１０で受光される割合、ｂ１０３は、波長帯域λ３の光が第１０画素Ｐ１０で受光される割合、ｂ１０４は、波長帯域λ４の光が第１０画素Ｐ１０で受光される割合である。また、ｂ１１１は、波長帯域λ１の光が第１１画素Ｐ１１で受光される割合、ｂ１１２は、波長帯域λ２の光が第１１画素Ｐ１１で受光される割合、ｂ１１３は、波長帯域λ３の光が第１１画素Ｐ１１で受光される割合、ｂ１１４は、波長帯域λ４の光が第１１画素Ｐ１１で受光される割合である。また、ｂ１２１は、波長帯域λ１の光が第１２画素Ｐ１２で受光される割合、ｂ１２２は、波長帯域λ２の光が第１２画素Ｐ１２で受光される割合、ｂ１２３は、波長帯域λ３の光が第１２画素Ｐ１２で受光される割合、ｂ１２４は、波長帯域λ４の光が第１２画素Ｐ１２で受光される割合である。また、ｂ１３１は、波長帯域λ１の光が第１３画素Ｐ１３で受光される割合、ｂ１３２は、波長帯域λ２の光が第１３画素Ｐ１３で受光される割合、ｂ１３３は、波長帯域λ３の光が第１３画素Ｐ１３で受光される割合、ｂ１３４は、波長帯域λ４の光が第１３画素Ｐ１３で受光される割合である。また、ｂ１４１は、波長帯域λ１の光が第１４画素Ｐ１４で受光される割合、ｂ１４２は、波長帯域λ２の光が第１４画素Ｐ１４で受光される割合、ｂ１４３は、波長帯域λ３の光が第１４画素Ｐ１４で受光される割合、ｂ１４４は、波長帯域λ４の光が第１４画素Ｐ１４で受光される割合である。また、ｂ１５１は、波長帯域λ１の光が第１５画素Ｐ１５で受光される割合、ｂ１５２は、波長帯域λ２の光が第１５画素Ｐ１５で受光される割合、ｂ１５３は、波長帯域λ３の光が第１５画素Ｐ１５で受光される割合、ｂ１５４は、波長帯域λ４の光が第１５画素Ｐ１５で受光される割合である。また、ｂ１６１は、波長帯域λ１の光が第１６画素Ｐ１６で受光される割合、ｂ１６２は、波長帯域λ２の光が第１６画素Ｐ１６で受光される割合、ｂ１６３は、波長帯域λ３の光が第１６画素Ｐ１６で受光される割合、ｂ１６４は、波長帯域λ４の光が第１６画素Ｐ１６で受光される割合である。この割合ｂｉｊは、バンドパスフィルタユニット１６の各開口領域１６Ａ１～１６Ａ４が透過させる光の波長帯域λ１～λ４の設定、偏光フィルタユニット１８の各開口領域１８Ａ１～１８Ａ４が透過させる光の偏光方向θ１、θ２の設定、撮像素子１００の各画素Ｐ１～Ｐ１６の透過波長特性Ａ～Ｄ、及び、撮像素子１００の各画素Ｐ１～Ｐ１６が受光する光の偏光方向θＡ～θＣの設定から一意に定まり、事前に求めることができる。
　各画素ブロックＰＢ（Ｘ，Ｙ）の各画素Ｐ１～Ｐ１６で得られる画素信号α１～α１６と、各波長帯域λ１～λ４の光に対応する画素信号β１～β４との間には、次の関係が成り立つ。
　第１画素Ｐ１で得られる画素信号α１に関して、「ｂ１１＊β１＋ｂ１２＊β２＋ｂ１３＊β３＋ｂ１４＊β４＝α１…式２」が成り立つ（「＊」は、積算の記号）。
　第２画素Ｐ２で得られる画素信号α２に関して、「ｂ２１＊β１＋ｂ２２＊β２＋ｂ２３＊β３＋ｂ２４＊β４＝α２…式３」が成り立つ。
　第３画素Ｐ３で得られる画素信号α３に関して、「ｂ３１＊β１＋ｂ３２＊β２＋ｂ３３＊β３＋ｂ３４＊β４＝α３…式４」が成り立つ。
　第４画素Ｐ４で得られる画素信号α４に関して、「ｂ４１＊β１＋ｂ４２＊β２＋ｂ４３＊β３＋ｂ４４＊β４＝α４…式５」が成り立つ。
　第５画素Ｐ５で得られる画素信号α５に関して、「ｂ５１＊β１＋ｂ５２＊β２＋ｂ５３＊β３＋ｂ５４＊β４＝α５…式６」が成り立つ。
　第６画素Ｐ６で得られる画素信号α６に関して、「ｂ６１＊β１＋ｂ６２＊β２＋ｂ６３＊β３＋ｂ６４＊β４＝α６…式７」が成り立つ。
　第７画素Ｐ７で得られる画素信号α７に関して、「ｂ７１＊β１＋ｂ７２＊β２＋ｂ７３＊β３＋ｂ７４＊β４＝α７…式８」が成り立つ。
　第８画素Ｐ８で得られる画素信号α８に関して、「ｂ８１＊β１＋ｂ８２＊β２＋ｂ８３＊β３＋ｂ８４＊β４＝α８…式９」が成り立つ。
　第９画素Ｐ９で得られる画素信号α９に関して、「ｂ９１＊β１＋ｂ９２＊β２＋ｂ９３＊β３＋ｂ９４＊β４＝α９…式１０」が成り立つ。
　第１０画素Ｐ１０で得られる画素信号α１０に関して、「ｂ１０１＊β１＋ｂ１０２＊β２＋ｂ１０３＊β３＋ｂ１０４＊β４＝α１０…式１１」が成り立つ。
　第１１画素Ｐ１１で得られる画素信号α１１に関して、「ｂ１１１＊β１＋ｂ１１２＊β２＋ｂ１１３＊β３＋ｂ１１４＊β４＝α１１…式１２」が成り立つ。
　第１２画素Ｐ１２で得られる画素信号α１２に関して、「ｂ１２１＊β１＋ｂ１２２＊β２＋ｂ１２３＊β３＋ｂ１２４＊β４＝α１２…式１３」が成り立つ。
　第１３画素Ｐ１３で得られる画素信号α１３に関して、「ｂ１３１＊β１＋ｂ１３２＊β２＋ｂ１３３＊β３＋ｂ１３４＊β４＝α１３…式１４」が成り立つ。
　第１４画素Ｐ１４で得られる画素信号α１４に関して、「ｂ１４１＊β１＋ｂ１４２＊β２＋ｂ１４３＊β３＋ｂ１４４＊β４＝α１４…式１５」が成り立つ。
　第１５画素Ｐ１５で得られる画素信号α１５に関して、「ｂ１５１＊β１＋ｂ１５２＊β２＋ｂ１５３＊β３＋ｂ１５４＊β４＝α１５…式１６」が成り立つ。
　第１６画素Ｐ１６で得られる画素信号α１６に関して、「ｂ１６１＊β１＋ｂ１６２＊β２＋ｂ１６３＊β３＋ｂ１６４＊β４＝α１６…式１７」が成り立つ。
　ここで、上記式２～１７の連立方程式は、行列Ｂを用いた下記の式１８で表わすことができる。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　式２～１７の連立方程式の解であるβ１～β４は、上記式１８の両辺に行列Ｂの逆行列Ｂ－１をかけることで算出される。
Figure JPOXMLDOC01-appb-M000005
　このように、各波長帯域λ１～λ４に対応した画素信号β１～β４は、撮像光学系１０から出射される各波長帯域λ１～λ４の光が、画素ブロックＰＢ（Ｘ，Ｙ）の各画素Ｐ１～Ｐ１６で受光される割合に基づいて、各画素Ｐ１～Ｐ１６の信号値（画素信号）α１～α１６から算出できる。
　上記式１は、上記式１９の逆行列Ｂ－１をＡとしたものである（Ｂ－１＝Ａ）。したがって、式１における行列Ａの各要素ａｉｊは、行列Ｂの逆行列Ｂ－１を求めることで取得できる。
　係数記憶部２００Ｃは、混信除去処理を行うための行列Ａの各要素ａｉｊを係数群として記憶する。
　画像生成部２００Ｂは、係数記憶部２００Ｃから係数群を取得し、各画素ブロックＰＢ（Ｘ，Ｙ）の各画素Ｐ１～Ｐ１６から得られる画素信号α１～α１６から、上記式１によって、各波長帯域λ１～λ４に対応した画素信号β１～β４を算出し、各波長帯域λ１～λ４の画像データを生成する。
　画像生成部２００Ｂで生成された各波長帯域λ１～λ４の画像データは、外部に出力され、必要に応じて記憶装置（不図示）に記憶される。また、必要に応じてディスプレイ（不図示）に表示される。
　［画像生成］
　図１３は、撮像装置による画像生成の概念図である。
　撮像光学系１０に入射した光は、特性の異なる４種類の光となって、撮像素子１００に入射する。具体的には、偏光方向θ１かつ波長帯域λ１の光（第１の光）、偏光方向θ１かつ波長帯域λ２の光（第２の光）、偏光方向θ２かつ波長帯域λ３の光（第３の光）、及び、偏光方向θ２かつ波長帯域λ４の（第４の光）となって撮像素子１００に入射する。
　撮像素子１００の各画素ブロックＰＢ（Ｘ，Ｙ）では、撮像光学系１０から出射した各波長帯域の光が、各画素Ｐ１～Ｐ１６において、所定の割合ｂｉｊで受光される。すなわち、各画素Ｐ１～Ｐ１６に備えられる偏光フィルタ素子１２２Ａ～１２２Ｄ及び分光フィルタ素子１３２Ａ～１３２Ｄの作用によって、各波長帯域λ１～λ４の光が所定の割合ｂｉｊで受光される。
　信号処理部２００は、撮像素子１００の各画素ブロックＰＢ（Ｘ，Ｙ）の各画素Ｐ１～Ｐ１６から得られる画素信号α１～α１６から各波長帯域λ１～λ４の光に対応した画素信号β１～β４を算出し、各波長帯域λ１～λ４の画像データを生成する。すなわち、行列Ａを用いた式１による演算処理（混信除去処理）を行って、撮像素子１００から得られる各画素Ｐ１～Ｐ１６の画素信号α１～α１６から各波長帯域λ１～λ４の光に対応した画素信号β１～β４を算出し、各波長帯域λ１～λ４の画像データを生成する。
　このように、本実施の形態の撮像装置によれば、１つの撮像光学系１０と１つ（単板）の撮像素子１００で４種類の波長帯域の画像（４バンドのマルチスペクトル画像）を撮像できる。
　［撮像光学系の収差補正］
　上記のように、本実施の形態の撮像装置１は、撮像光学系１０の瞳領域を複数の領域に分割（瞳分割）し、各領域で波長域を制限することにより、マルチスペクトル画像の撮像を可能としている。
　ところで、一般的な撮像光学系では、波長ごとに収差が異なる。したがって、一般的な撮像光学系を単純に瞳分割して、撮像に用いても、良好な画質のマルチスペクトル画像は得られない。なお、ここでの「一般的な撮像光学系」とは、波長ごとの収差の特に補正していない撮像光学系、すなわち、波長ごとの収差が残存した撮像光学系を意味する。
　上記のように、本実施の形態の撮像装置１では、バンドパスフィルタ１６Ｂ１～１６Ｂ４が、各瞳領域Ｚ１～Ｚ４に対応する領域の収差を個別に補正する機能を有する。具体的には、各バンドパスフィルタ１６Ｂ１～１６Ｂ４が、物体側及び像側の少なくとも一方の面に曲率を持ったレンズ形状を有し、その曲率が個別に調整されて、対応する領域の収差が個別に補正される。すなわち、バンドパスフィルタにレンズの機能を持たせることにより、各瞳領域Ｚ１～Ｚ４に対応する領域の光路長を個別に調整して、収差を補正する。
　図１４は、図２に示すバンドパスフィルタユニットの１４－１４断面図である。同図は、第１バンドパスフィルタ１６Ｂ１及び第４バンドパスフィルタ１６Ｂ４の断面を示している。また、図１５は、図２に示すバンドパスフィルタユニットの１５－１５断面図である。同図は、第２バンドパスフィルタ１６Ｂ２及び第３バンドパスフィルタ１６Ｂ３の断面を示している。
　図１４及び図１５に示すように、各バンドパスフィルタ１６Ｂ１～１６Ｂ４は、いずれも片面（物体側（図１４及び図１５において左側）の面）が、曲面で構成される。撮像光学系１０は、このバンドパスフィルタ１６Ｂ１～１６Ｂ４の片面の曲率が個別に調整されて、各瞳領域Ｚ１～Ｚ４に対応する領域の収差が補正される。具体的には、第１瞳領域Ｚ１に対応する領域については、第１バンドパスフィルタ１６Ｂ１の片面の曲率が調整されることによって、その収差が補正される。また、第２瞳領域Ｚ２に対応する領域については、第２バンドパスフィルタ１６Ｂ２の片面の曲率が調整されることによって、その収差が補正される。また、第３瞳領域Ｚ３に対応する領域については、第３バンドパスフィルタ１６Ｂ３の片面の曲率が調整されることによって、その収差が補正される。また、第４瞳領域Ｚ４に対応する領域については、第４バンドパスフィルタ１６Ｂ４の物体側の面の曲率が調整されることによって、その収差が補正される。
　各バンドパスフィルタ１６Ｂ１～１６Ｂ４は、片面の曲率を変えることにより、焦点距離が変わる。撮像光学系１０の各瞳領域Ｚ１～Ｚ４を通過する光の中心波長における焦点距離をｆ１、ｆ２、ｆ３、ｆ４とする。焦点距離ｆ１、ｆ２、ｆ３、ｆ４が大きい順に各バンドパスフィルタ１６Ｂ１～１６Ｂ４の焦点距離を短くする。
　このように、撮像光学系１０は、バンドパスフィルタ１６Ｂ１～１６Ｂ４によって、各瞳領域Ｚ１～Ｚ４に対応する領域の収差が個別に補正される。この結果、撮像光学系１０は、各瞳領域Ｚ１～Ｚ４に対応する領域の収差特性が互いに異なるものとなる。
　本実施の形態の撮像装置１によれば、各瞳領域Ｚ１～Ｚ４に対応する領域の収差を個別に制御できるので、波長ごとに収差を制御できる。これにより、良好な画質のマルチスペクトル画像を撮像できる。
　本実施の形態の手法は、既存の撮像レンズ（マルチスペクトル撮像用ではない一般的な撮像レンズ）にも適用できる。すなわち、本実施の形態の手法は、瞳分割された各領域にバンドパスフィルタを配置し、各バンドパスフィルタの曲率を調整するだけなので、既存の撮像レンズにも適用できる。したがって、本実施の形態の手法を用いることにより、既存の撮像レンズをマルチスペクトル撮像用の撮像レンズにすることもできる。
　なお、本実施の形態では、各バンドパスフィルタ１６Ｂ１～１６Ｂ４の片面にのみ曲率を持たせているが、両面に曲率を持たせてもよい。
　《第２の実施の形態》
　本実施の形態の撮像装置においても、撮像光学系は、各瞳領域を通過する光の波長が互いに異なり、かつ、各瞳領域に対応する領域の収差特性が互いに異なる構成を有する。具体的には、各瞳領域Ｚ１～Ｚ４に対応する領域に備えられるバンドパスフィルタ１６Ｂ１～１６Ｂ４によって、各瞳領域Ｚ１～Ｚ４に対応する領域を通過する光の波長帯域が制限される。また、各瞳領域Ｚ１～Ｚ４に対応する領域に備えられるバンドパスフィルタ１６Ｂ１～１６Ｂ４によって、各瞳領域Ｚ１～Ｚ４に対応する領域の収差が個別に補正されて、各瞳領域Ｚ１～Ｚ４に対応する領域の収差特性が互いに異なるものとされる。収差の補正手法が異なる点以外は、上記第１の実施の形態の撮像装置１と同じである。したがって、ここでは、バンドパスフィルタ１６Ｂ１～１６Ｂ４による収差の補正手法について説明する。
　図１６は、本実施の形態のバンドパスフィルタユニットの構成を示す図である。なお、同図において、（Ａ）は、バンドパスフィルタユニットの側面図を示しており、（Ｂ）は、バンドパスフィルタユニットの正面図を示している。図１７は、図１６の１７－１７断面図である。同図は、第１バンドパスフィルタ１６Ｂ１及び第４バンドパスフィルタ１６Ｂ４の断面を示している。また、図１８は、図１６の１８－１８断面図である。同図は、第２バンドパスフィルタ１６Ｂ２及び第３バンドパスフィルタ１６Ｂ３の断面を示している。
　図１６～図１８に示すように、本実施の形態のバンドパスフィルタ１６Ｂ１～１６Ｂ４は、平板形状を有する。撮像光学系１０は、各バンドパスフィルタ１６Ｂ１～Ｂ４の厚さ（光軸Ｌと平行な方向の厚さ）ｔ１～ｔ４を個別に調整することで、各瞳領域Ｚ１～Ｚ４に対応する領域の収差が個別に補正される。すなわち、厚さｔ１～ｔ４の違いにより、撮像光学系１０の全体では同じ物体距離であっても、後群にとっての物体距離が変化し、最終結像面の位置を波長帯域ごとに変化させることができる。このため、撮像光学系１０が持つ軸上色収差（色ごとの結像位置のずれ）を、各バンドパスフィルタ１６Ｂ１～１６Ｂ４の厚さｔ１～ｔ４を変化させることによって、波長帯域ごとに個別に補正できる。たとえば、撮像光学系１０の各瞳領域Ｚ１～Ｚ４を通過する光の中心波長における焦点距離をｆ１、ｆ２、ｆ３、ｆ４とした場合、焦点距離ｆ１、ｆ２、ｆ３、ｆ４が小さい順に各バンドパスフィルタ１６Ｂ１～１６Ｂ４の厚さｔ１～ｔ４を厚くする。
　このように、本実施の形態の撮像装置によれば、各瞳領域Ｚ１～Ｚ４に対応する領域の収差を個別に制御できるので、波長ごとに収差を制御できる。これにより、良好な画質のマルチスペクトル画像を撮像できる。また、本実施の形態の手法も既存の撮像レンズに適用できるので、既存の撮像レンズをマルチスペクトル撮像用の撮像レンズにすることができる。
　《第３の実施の形態》
　本実施の形態の撮像装置においても、撮像光学系は、各瞳領域を通過する光の波長が互いに異なり、かつ、各瞳領域に対応する領域の収差特性が互いに異なる構成を有する。具体的には、各瞳領域Ｚ１～Ｚ４に対応する領域に備えられるバンドパスフィルタ１６Ｂ１～１６Ｂ４によって、各瞳領域Ｚ１～Ｚ４に対応する領域を通過する光の波長帯域が制限される。また、各瞳領域Ｚ１～Ｚ４に対応する領域に備えられるバンドパスフィルタ１６Ｂ１～１６Ｂ４によって、各瞳領域Ｚ１～Ｚ４に対応する領域の収差が個別に補正されて、各瞳領域Ｚ１～Ｚ４に対応する領域の収差特性が互いに異なるものとされる。収差の補正手法が異なる点以外は、上記第１の実施の形態の撮像装置１と同じである。したがって、ここでは、バンドパスフィルタ１６Ｂ１～１６Ｂ４による収差の補正手法について説明する。
　図１９は、本実施の形態のバンドパスフィルタユニットの構成を示す図である。なお、同図において、（Ａ）は、バンドパスフィルタユニットの側面図を示しており、（Ｂ）は、バンドパスフィルタユニットの正面図を示している。図２０は、図１９の２０－２０断面図である。同図は、第１バンドパスフィルタ１６Ｂ１及び第４バンドパスフィルタ１６Ｂ４の断面を示している。また、図２１は、図１９の２１－２１断面図である。同図は、第２バンドパスフィルタ１６Ｂ２及び第３バンドパスフィルタ１６Ｂ３の断面を示している。
　図１９～図２１に示すように、本実施の形態のバンドパスフィルタ１６Ｂ１～１６Ｂ４は、平板形状を有する。撮像光学系１０は、各バンドパスフィルタ１６Ｂ１～Ｂ４の傾きを個別に調整することで、各瞳領域Ｚ１～Ｚ４に対応する領域の収差が個別に補正される。
　図２２は、コマ収差が残存するレンズにおいて非対称な瞳分割で結像位置がずれる様子を模式的に示した図である。同図において、位置ｐ１は瞳分割しない場合の結像位置を示し、位置ｐ２は瞳分割した場合の結像位置を示している。同図に示すように、中心結像点にコマ収差を発生させた状態で瞳分割することにより、中心の結像位置をずらすことができる。
　各瞳領域Ｚ１～Ｚ４に対応する領域に備えられたバンドパスフィルタ１６Ｂ１～１６Ｂ４の傾きを個別に調整することにより、各瞳領域Ｚ１～Ｚ４を通過する波長帯域ごとに軸上色収差を抑制できる。すなわち、波長帯域ごとに結像位置を変更できるので、撮像光学系１０が本来的に有する軸上色収差を波長帯域ごとにキャンセルできる。
　図２３は、傾きの設定の概念図である。
　絞りより前側の光学系のd線（５８７．６nm（黄）の輝線スペクトル）における焦点距離をｆ０、各瞳領域Ｚ１～Ｚ４に対応する領域を通過する光の波長帯域の中心波長における焦点距離をそれぞれｆ１、ｆ２、ｆ３、ｆ４とする。中心から開口重心へ引いたベクトルに絞り面内で直行するベクトルを回転中心とした角度をΘとする。角度Θは、物体側に傾ける方向を正とする。絞りより前側の光学系のd線における焦点距離ｆ０が、ｆ＞０の場合、焦点距離ｆ１、ｆ２、ｆ３、ｆ４が小さい順に角度Θを大きくする。一方、絞りより前側の光学系のd線における焦点距離ｆ０が、ｆ＜０の場合、焦点距離ｆ１、ｆ２、ｆ３、ｆ４が大きい順に角度Θを大きくする。
　図２４は、本実施の形態のバンドパスフィルタユニットの他の一例を示す図である。なお、同図において、（Ａ）は、バンドパスフィルタユニットの側面図を示しており、（Ｂ）は、バンドパスフィルタユニットの正面図を示している。図２５は、図２４の２５－２５断面図である。同図は、第１バンドパスフィルタ１６Ｂ１及び第４バンドパスフィルタ１６Ｂ４の断面を示している。また、図２６は、図２４の２６－２６断面図である。同図は、第２バンドパスフィルタ１６Ｂ２及び第３バンドパスフィルタ１６Ｂ３の断面を示している。
　図２４～図２６に示すように、本例のバンドパスフィルタ１６Ｂ１～１６Ｂ４は、片面に傾きを持った平板形状を有する（断面はくさび形状）。撮像光学系１０は、各バンドパスフィルタ１６Ｂ１～１６Ｂ４の片面の傾きを個別に調整することで、各瞳領域Ｚ１～Ｚ４に対応する領域の収差が個別に補正される。
　このように、バンドパスフィルタ自体の傾きを調整するのではなく、片面の傾きを調整することによっても、同様の効果が得られる。
　《第４の実施の形態》
　上記各実施の形態では、撮像光学系の瞳領域を周方向に等分割しているが、瞳領域の分割の態様は、これに限定されるものではない。
　図２７は、瞳領域の分割態様の他の一例（変形例）を示す図である。同図は、バンドパスフィルタユニットの正面図に相当する。
　上記のように、撮像光学系は、絞りを構成する枠本体１６ａの内周部を複数の領域に分割することにより、瞳領域が複数の領域に分割される。本例では、図２７に示すように、枠本体１６ａの内周部を複数のリング状の間仕切り１６ｂによって、同心円状に分割して、撮像光学系の瞳領域を複数の領域に分割している。
　図２７は、瞳領域を４つの領域に分割する場合の一例を示している。枠体１６Ａの４つの開口領域（第１開口領域１６Ａ１、第２開口領域１６Ａ２、第３開口領域１６Ａ３、第４開口領域１６Ａ４）は、それぞれ４つの瞳領域（第１瞳領域Ｚ１、第２瞳領域Ｚ２、第３瞳領域Ｚ３、第４瞳領域Ｚ４）に対応する。すなわち、第１開口領域１６Ａ１は、第１瞳領域Ｚ１に対応する。第２開口領域１６Ａ２は、第２瞳領域Ｚ２に対応する。第３開口領域１６Ａ３は、第３瞳領域Ｚ３に対応する。第４開口領域１６Ａ４は、第４瞳領域Ｚ４に対応する。
　各瞳領域Ｚ１～Ｚ４を通過する光の波長が互いに異なる点、及び、各瞳領域Ｚ１～Ｚ４に対応する領域の収差特性が互いに異なる点については、上記実施の形態の撮像光学系と同じである。すなわち、撮像光学系は、各開口領域１６Ａ１～１６Ａ４に備えられるバンドパスフィルタ１６Ｂ１～１６Ｂ４によって、各瞳領域Ｚ１～Ｚ４に対応する領域を通過する光の波長帯域が制限される。また、バンドパスフィルタ１６Ｂ１～１６Ｂ４によって、各瞳領域Ｚ１～Ｚ４に対応する領域の収差が個別に補正される。
　各瞳領域Ｚ１～Ｚ４に対応する領域の収差を補正する方法は、上記各実施の形態で説明した手法を採用できる。
　図２８は、バンドパスフィルタの曲率を調整して収差を補正する場合の一例を示す図である。同図は、図２７の２８－２８断面図に相当する。
　本例は、各バンドパスフィルタ１６Ｂ１～１６Ｂ４の形状をレンズ形状とし、その曲率を個別に調整することにより、各瞳領域Ｚ１～Ｚ４に対応する領域の収差を補正する場合の例を示している。
　なお、図２８に示す例では、バンドパスフィルタ１６Ｂ１～１６Ｂ４の片面（物体側の面）のみに曲率を持たせているが、両面に曲率を持たせる構成とすることもできる。また、像側の面に曲率を持たせる構成とすることもできる。
　本例のように、瞳領域を同心円状に分割した場合、分割による非対称性が発生しないという利点がある。一方、回折限界については、レンズの中心から外側に向かうにつれて低下するので、要求される画質に応じて、各瞳領域Ｚ１～Ｚ４に割り当てる波長帯域を設定することが好ましい（高画質が要求される波長帯域を中央の瞳領域に割り当てる。）。
　図２９は、収差の補正手法の他の一例を示す図である。同図は、バンドパスフィルタの厚さを調整して収差を補正する場合の一例を示している。
　本例では、各バンドパスフィルタ１６Ｂ１～１６Ｂ４の形状を平板形状とし、その厚さを個別に調整することにより、各瞳領域Ｚ１～Ｚ４に対応する領域の収差を補正する場合の例を示している。
　図３０は、収差の補正手法の他の一例を示す図である。同図は、バンドパスフィルタの傾きを調整して収差を補正する場合の一例を示している。
　本例では、各バンドパスフィルタ１６Ｂ１～１６Ｂ４の形状を平板形状とし、その片面の傾きを個別に調整することにより、各瞳領域Ｚ１～Ｚ４に対応する領域の収差を補正する場合の例を示している。
　なお、図３０では、各バンドパスフィルタの片面の傾きを調整する場合の例を示しているが、バンドパスフィルタ自体の傾きを調整して、各瞳領域Ｚ１～Ｚ４に対応する領域の収差を補正する構成とすることもできる。
　また、上記各手法を組み合わせて、各瞳領域Ｚ１～Ｚ４に対応する領域の収差を補正することもできる。たとえば、第１瞳領域Ｚ１については、第１バンドパスフィルタの曲率を調整して、その収差を補正し、他の瞳領域Ｚ２～Ｚ４については、各バンドパスフィルタ１６Ｂ２～１６Ｂ４の厚さを調整して、その収差を補正する構成とすることもできる。
　《第５の実施の形態》
　撮像光学系の瞳領域を分割して、マルチスペクトル画像を撮像する場合、波長帯域ごとの光量差が大きい場合、良好なダイナミックレンジが得られない。たとえば、特定の波長帯域の画像だけが暗かったり、白飛びしたりする場合がある。本実施の形態の撮像装置では、各瞳領域の開口面積を個別に調整し、波長帯域ごとの光量を個別に調整する。各瞳領域の開口面積の調整は、バンドパスフィルタユニットを構成する枠体の各開口領域の面積（開口面積）を調整することにより実現される。各瞳領域の開口面積が、バンドパスフィルタユニットによって調整される点以外は、上記第１の実施の形態の撮像装置１と同じである。したがって、ここでは、バンドパスフィルタユニットの構成についてのみ説明する。
　図３１は、本実施の形態のバンドパスフィルタユニットの構成を示す図である。
　同図に示すように、本実施の形態のバンドパスフィルタユニット１６は、各開口領域１６Ａ１～１６Ａ４の外周の径が個別に調整されて、各開口領域１６Ａ１～１６Ａ４の面積（開口面積）が個別に調整される。撮像光学系は、各開口領域１６Ａ１～１６Ａ４の面積が個別に調整されることにより、対応する各瞳領域Ｚ１～Ｚ４の開口面積が個別に調整される。また、撮像光学系は、各瞳領域Ｚ１～Ｚ４の開口面積が個別に調整されることにより、各瞳領域Ｚ１～Ｚ４を通過する光の光量が個別に調整される。この結果、撮像光学系は、各瞳領域Ｚ１～Ｚ４を通過する光の光量が互いに異なるものとなる。
　このように、各瞳領域Ｚ１～Ｚ４を通過する光の光量を個別に調整することにより、波長帯域ごとの光量を個別に調整でき、良好なダイナミックレンジが得られる。
　また、各瞳領域Ｚ１～Ｚ４の開口面積を小さくすることにより、各瞳領域Ｚ１～Ｚ４に対応する領域の収差を低減することもできる。したがって、各瞳領域Ｚ１～Ｚ４の開口面積を個別に調整することにより、各瞳領域Ｚ１～Ｚ４に対応する領域の収差を個別に補正できる。たとえば、d線から離れるに従って開口面積を小さくする。通常の撮像レンズでは、d線付近を基準として設計するため、d線から離れるに従って収差が大きくなる。このため、d線から波長が離れるほど開口面積を小さくし、収差を低減することが好ましい。
　なお、本実施の形態では、各開口領域１６Ａ１～１６Ａ４の外周の径を変えて、各開口領域１６Ａ１～１６Ａ４の面積を調整する構成としているが、各開口領域１６Ａ１～１６Ａ４の面積を調整する方法は、これに限定されるものではない。この他、たとえば、間仕切り１６ｂの幅を変えて、各開口領域１６Ａ１～１６Ａ４の面積を調整することもできる。
　《第６の実施の形態》
　上記のように、各瞳領域Ｚ１～Ｚ４を通過する光の光量を個別に調整することにより、波長帯域ごとの光量を個別に調整でき、良好なダイナミックレンジが得られる。上記第５の実施の形態では、各瞳領域Ｚ１～Ｚ４の開口面積を個別に調整して、各瞳領域Ｚ１～Ｚ４を通過する光の光量を個別に調整している。本実施の形態では、各瞳領域Ｚ１～Ｚ４に対応して備えられるバンドパスフィルタ１６Ｂ１～１６Ｂ４の透過率を調整して、各瞳領域Ｚ１～Ｚ４を通過する光の光量を調整する。
　図３２は、本実施の形態のバンドパスフィルタユニットに備えられる各バンドパスフィルタの透過波長特性の一例を示すグラフである。
　上記のように、第１バンドパスフィルタ１６Ｂ１は、波長帯域λ１の光を透過させる。第２バンドパスフィルタ１６Ｂ２は、波長帯域λ２の光を透過させる。第３バンドパスフィルタ１６Ｂ３は、波長帯域λ３の光を透過させる。第４バンドパスフィルタ１６Ｂ４は、波長帯域λ４の光を透過させる。
　図３２に示すように、各バンドパスフィルタ１６Ｂ１～１６Ｂ４は、それぞれ異なる透過率で各波長帯域λ１～λ４の光を透過させる。
　このように、各瞳領域Ｚ１～Ｚ４に対応して備えられるバンドパスフィルタ１６Ｂ１～１６Ｂ４の透過率を個別に調整して、各瞳領域Ｚ１～Ｚ４を通過する光の光量を個別に調整することもできる。これにより、良好なダイナミックレンジが得られる。
　また、開口面積を調整する方法の場合、開口面積を小さくし過ぎると、回折限界が低くなり、解像度が低下するが、本実施の形態のように、透過率を制御することにより、解像度も良好な画像が得られる。
　なお、本実施の形態の調整手法は、各瞳領域Ｚ１～Ｚ４の開口面積を調整する手法と組み合わせて使用することもできる。
　《第７の実施の形態》
　本実施の形態では、各瞳領域Ｚ１～Ｚ４を通過する光の帯域幅を調整して、各瞳領域Ｚ１～Ｚ４を通過する光の光量を調整する。各瞳領域Ｚ１～Ｚ４を通過する光の帯域幅は、バンドパスフィルタ１６Ｂ１～１６Ｂ４で透過させる波長の帯域幅を変えることにより調整する。
　図３３は、本実施の形態のバンドパスフィルタユニットに備えられる各バンドパスフィルタの透過波長特性の一例を示すグラフである。
　図３３に示すように、各バンドパスフィルタ１６Ｂ１～１６Ｂ４は、透過させる波長帯域λ１～λ４の帯域幅が異なる。第１瞳領域Ｚ１は、第１バンドパスフィルタ１６Ｂ１が透過させる波長帯域λ１の帯域幅を調整することにより、光量が調整される。第２瞳領域Ｚ２は、第２バンドパスフィルタ１６Ｂ２が透過させる波長帯域λ２の帯域幅を調整することにより、光量が調整される。第３瞳領域Ｚ３は、第３バンドパスフィルタ１６Ｂ３が透過させる波長帯域λ３の帯域幅を調整することにより、光量が調整される。第４瞳領域Ｚ４は、第４バンドパスフィルタ１６Ｂ４が透過させる波長帯域λ４の帯域幅を調整することにより、光量が調整される。
　このように、各バンドパスフィルタ１６Ｂ１～１６Ｂ４が透過させる波長帯域λ１～λ４の帯域幅を個別に調整して、各瞳領域Ｚ１～Ｚ４を通過する光の光量を個別に調整することもできる。これにより、良好なダイナミックレンジが得られる。
　なお、本実施の形態の調整手法は、各瞳領域Ｚ１～Ｚ４の開口面積を調整する手法、及び／又は、各瞳領域Ｚ１～Ｚ４を透過させる光の透過率を調整する手法と組み合わせて使用することもできる。
　《その他の実施の形態》
　［瞳分割について］
　上記実施の形態では、撮像光学系の瞳領域を４つの領域に分割する場合を例に説明したが、分割数については、これに限定されるものではない。撮像するバンド数（Ｎ）に応じて適宜設定できる（ただし、Ｎ≧２）。
　また、分割の態様については、上記実施の形態で示したものに限定されず、他の態様（とえば、グリッド状に分割する態様等）を採用することもできる。同様に、各瞳領域の開口形状についても、上記実施の形態で示したものに限定されず、他の形状を採用することもできる。
　図３４は、瞳領域の開口形状の他の一例を示す図である。
　同図は、各瞳領域の開口形状を円形状とした場合の例を示している。この場合、バンドパスフィルタユニット１６の各開口領域１６Ａ１～１６Ａ４は、円形状とされる。瞳領域の開口形状は、この他、矩形状、多角形状等を採用することもできる。また、各瞳領域が異なる開口形状を有していてもよい。
　また、上記実施の形態では、絞りの位置にバンドパスフィルタを配置することで、瞳領域を複数の領域に分割しているが、バンドパスフィルタを絞りの近傍に配置することによっても、実質的に瞳領域を複数の領域に分割でき、かつ、各領域を透過する光の波長帯域を制限できる。
　［各瞳領域を透過させる波長帯域の設定について］
　分割した各瞳領域を透過させる波長帯域については、少なくとも一つの瞳領域（第１の瞳領域）が透過させる波長帯域と、他の一つの瞳領域（第２の瞳領域）が透過させる波長帯域とが異なっていればよい。したがって、同じ波長帯域の光を透過させる瞳領域を備えていてもよい。
　［各瞳領域を透過させる光の偏光方向について］
　撮像光学系は、分割した瞳領域ごとに異なる偏光方向に偏光させる構成としてもよい。たとえば、上記第１の実施の形態の撮像光学系において、各偏光フィルタ１８Ｂ１～１８Ｂ４が透過させる光の偏光方向を互いに異なる方向としてもよい。
　［Ｎバンドのマルチスペクトル画像を撮像する場合について］
　撮像素子に備えられる偏光フィルタ素子の種類をｎ種（ｎ≧２）、分光フィルタ素子の種類をｍ種（ｍ≧２）とすると、本発明の撮像装置では、最大で（ｎ×ｍ）バンドのマルチスペクトル画像を撮像できる。この場合、撮像素子の１つの画素ブロックは、偏光フィルタ素子と分光フィルタ素子との組み合わせが異なる（ｎ×ｍ）個の画素で構成される。
　Ｎバンド（Ｎは２以上の整数）のマルチスペクトル画像を撮像する場合、撮像光学系はＮバンドの光を出射する構成とされ、撮像素子は、Ｎ≦（ｎ×ｍ）を満たす構成とされる。
　いま、撮像素子に備えられる偏光フィルタ素子の種類をｎ種、分光フィルタ素子の種類をｍ種、ｎ×ｍ＝ｑとして、１つの画素ブロックがｑ個の画素で構成される場合を考える。この場合、撮像素子の各画素ブロックからは、ｑ個の画素信号α１、α２、…、αｑが出力される。撮像光学系が、ｋ種の波長帯域の光を出射する場合、このｑ個の画素信号α１、α２、…、αｑから混信を除去して、各波長帯域の画素信号β１、β２、…、βｋを算出するための演算式は、行列Ａを用いて、次のように定義される。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　上記のように、行列Ａは、各波長帯域の光が、画素ブロックの各画素で受光される割合を要素とする行列Ｂの逆行列Ｂ－１である。
　［混信除去処理について］
　信号処理部では、混信除去処理を行わずに各波長帯域の画像データを生成することもできる。たとえば、２種類の波長帯域のマルチスペクトル画像を撮像する場合において、撮像光学系の瞳領域を第１の瞳領域及び第２の瞳領域に分割する。第１の瞳領域には、第１の波長帯域λ１の光を透過する第１のバンドパスフィルタ、及び、第１の偏光方向θ１の光を透過する第１の偏光フィルタを備える。一方、第２の瞳領域には、第１の波長帯域λ１とは異なる第２の波長帯域λ２の光を透過する第１のバンドパスフィルタ、及び、第１の偏光方向θ１と直交する第２の偏光方向θ２の光を透過する第２の偏光フィルタを備える。撮像素子は、１つの画素ブロックを２つの画素（第１の画素及び第２の画素）で構成する。第１の画素には、第１の偏光方向θ１の光を透過する第１の偏光フィルタ素子を備える。一方、第２の画素には、第２の偏光方向θ２の光を透過する偏光フィルタ素子を備える。これにより、第１の瞳領域を通過する光が第１の画素でのみ受光され、かつ、第２の瞳領域を通過する光が第２の画素でのみ受光される。したがって、このような場合は混信除去処理を行わずに、各波長帯域の画像データを生成できる。また、混信が生じる場合であっても、その影響が少ない場合、あるいは、ユーザが許容できると認める場合には、混信除去処理を行わずに、各波長帯域の画像データを生成することもできる。
　［バンドパスフィルタの変形例１］
　上記実施の形態では、分割した瞳領域ごとに独立してバンドパスフィルタを配置しているが、各瞳領域に対応するバンドパスフィルタを一体化して１つのバンドパスフィルタとして構成することもできる。
　図３５は、各瞳領域に対応するバンドパスフィルタを一体化して１つのバンドパスフィルタとして構成する場合の一例を示す図である。
　同図に示すように、本例のバンドパスフィルタは、分割した各瞳領域Ｚ１～Ｚ４に対応するバンドパスフィルタ１６Ｂ１～１６Ｂ４を一体化して、１つのバンドパスフィルタとして構成している。
　［バンドパスフィルタの変形例２］
　上記実施の形態では、１つの開口領域から１種類の波長帯域の光を透過させる構成としているが、１つの開口領域から複数種類の波長帯域の光を透過させる構成とすることもできる。たとえば、複数種類の波長帯域を透過させるバンドパスフィルタ（いわゆるマルチバンドパスフィルタ）を使用することにより、１つの開口領域から複数種類の波長帯域を透過させることができる。この場合、１つの開口領域で透過させる波長帯域の数（透過波長帯域数）は、最大で撮像素子に備えられる分光フィルタ素子の種類の数までとされる。すなわち、１つの開口領域が有する透過波長帯域の数は、分光フィルタ素子の透過波長帯域の数以下で設定できる。
　［交換可能なバンドパスフィルタユニット］
　撮像光学系は、バンドパスフィルタユニットを交換できる構成とすることが好ましい。これにより、波長帯域を変えて撮像できる。なお、上記のように、本発明の撮像装置では、最大でｎ×ｍバンドのマルチスペクトル画像を撮像できるので（ｎは撮像素子に備えられる偏光フィルタ素子の種類、ｍは分光フィルタ素子の種類）、ｎ×ｍの範囲内でバンド数を変えて撮像することもできる。
　バンドパスフィルタユニットは、各開口領域に対してバンドパスフィルタを着脱可能に保持する構成とすることが好ましい。これにより、バンドパスフィルタを交換するだけで、任意の波長帯域のマルチスペクトル画像を簡単に撮像できる。
　なお、本例のように、波長帯域の切り換えを可能にすることを考慮して、撮像素子に備える分光フィルタ素子には、広帯域の光を透過させる分光フィルタ素子を使用することが好ましい。すなわち、選択可能な透過波長帯域をカバーする分光フィルタ素子を使用することが好ましい。
　［他の光学素子による収差補正］
　上記実施の形態では、各瞳領域に対応して備えられたバンドパスフィルタによって、各瞳領域に対応する領域の収差を個別に補正する構成としているが、バンドパスフィルタとは別の光学素子によって、各瞳領域に対応する領域の収差を個別に補正する構成としてもよい。バンドパスフィルタによって各瞳領域に対応する領域の収差を補正することにより、部品点数を削減でき、かつ、構成を簡素化できる。
　［撮像素子の構成］
　１つの画素ブロックを構成する画素の配列は、上記各実施の形態のものに限定されるものではない。１つの画素ブロックを構成する画素の数等に応じて画素の配列を適宜変更できる。
　また、上記実施の形態では、偏光フィルタ素子及び分光フィルタ素子が、フォトダイオードとマイクロレンズとの間に配置される構成としているが、いずれか一方又は両方をマイクロレンズの前（被写体側）に配置する構成とすることもできる。なお、偏光フィルタ素子及び分光フィルタ素子をマイクロレンズとフォトダイオードとの間に配置することにより、隣接する画素に光が混入するのを効果的に防止できる。これにより、より混信を防止できる。
　また、１つの画素ブロックの各画素に備える偏光フィルタ素子については、互いに異なる偏光方向の光を透過させる構成としてもよい。たとえば、上記第１の実施の形態の撮像素子において、各画素Ｐ１～Ｐ１６に備える偏光フィルタ素子が透過させる光の偏光方向を互いに異なる方向としてもよい。
　［信号処理部の構成］
　信号処理部２００における画像生成部２００Ｂ（演算部）の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、たとえば、ソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上記各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。更に、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上記各種のプロセッサに含まれる。
　各部の機能は１つのプロセッサにより実現されてもよいし、同種又は異種の複数のプロセッサ（たとえば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上記の機能を実現する電気回路であってもよい。
　上記のプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の入力、解析、表示制御等を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には、たとえばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また、たとえば、不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。
　信号処理部２００の係数記憶部２００Ｃは、たとえば、ＲＯＭ（Read-only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-only Memory）等のメモリで実現できる。
　［撮像装置の構成］
　撮像装置は、撮像光学系の交換が可能なレンズ交換式の撮像装置として構成することもできる。この場合、行列Ａは、レンズ（撮像光学系）ごとに一意に定まるので、レンズごとに行列Ａを用意し、その係数群を係数記憶部に記憶させる。レンズが交換された場合は、交換されたレンズに対応する行列Ａの係数群を係数記憶部から読み出して、演算処理を実行し、各画像を生成する。
１　撮像装置
１０　撮像光学系
１２　レンズ
１６　バンドパスフィルタユニット
１６Ａ　枠体
１６Ａ１　第１開口領域
１６Ａ２　第２開口領域
１６Ａ３　第３開口領域
１６Ａ４　第４開口領域
１６Ｂ１　第１バンドパスフィルタ
１６Ｂ２　第２バンドパスフィルタ
１６Ｂ３　第３バンドパスフィルタ
１６Ｂ４　第４バンドパスフィルタ
１６ａ　枠本体
１６ｂ　間仕切り
１８　偏光フィルタユニット
１８Ａ　枠体
１８Ａ１　第１開口領域
１８Ａ２　第２開口領域
１８Ａ３　第３開口領域
１８Ａ４　第４開口領域
１８Ｂ１　第１偏光フィルタ
１８Ｂ２　第２偏光フィルタ
１８Ｂ３　第３偏光フィルタ
１８Ｂ４　第４偏光フィルタ
１８ａ　枠本体
１８ｂ　間仕切り
１００　撮像素子
１１０　ピクセルアレイ層
１１２　フォトダイオード
１２０　偏光フィルタ素子アレイ層
１２２Ａ　第１偏光フィルタ素子
１２２Ｂ　第２偏光フィルタ素子
１２２Ｃ　第３偏光フィルタ素子
１２２Ｄ　第４偏光フィルタ素子
１３０　分光フィルタ素子アレイ層
１３２Ａ　第１分光フィルタ素子
１３２Ｂ　第２分光フィルタ素子
１４０　マイクロレンズアレイ層
１４２　マイクロレンズ
２００　信号処理部
２００Ａ　アナログ信号処理部
２００Ｂ　画像生成部
２００Ｃ　係数記憶部
Ｄ１～Ｄ１６　画像データ
Ｌ　光軸
Ｐ１　第１画素
Ｐ２　第２画素
Ｐ３　第３画素
Ｐ４　第４画素
Ｐ５　第５画素
Ｐ６　第６画素
Ｐ７　第７画素
Ｐ８　第８画素
Ｐ９　第９画素
Ｐ１０　第１０画素
Ｐ１１　第１１画素
Ｐ１２　第１２画素
Ｐ１３　第１３画素
Ｐ１４　第１４画素
Ｐ１５　第１５画素
Ｐ１６　第１６画素
ＰＢ　画素ブロック
Ｚ１　第１瞳領域
Ｚ２　第２瞳領域
Ｚ３　第３瞳領域
Ｚ４　第４瞳領域
θ１　偏光方向
θ２　偏光方向
θ３　偏光方向
θ４　偏光方向
θＡ　偏光方向
θＢ　偏光方向
θＣ　偏光方向
θＤ　偏光方向
λ１　波長帯域
λ２　波長帯域
λ３　波長帯域
λ４　波長帯域
Ａ　第１分光フィルタ素子の透過波長特性
Ｂ　第２分光フィルタ素子の透過波長特性
Ｃ　第３分光フィルタ素子の透過波長特性
Ｄ　第４分光フィルタ素子の透過波長特性

Claims (12)

  1. 　瞳領域が、第１の瞳領域、及び、前記第１の瞳領域とは異なる第２の瞳領域を含む複数の領域に分割され、前記第１の瞳領域及び前記第２の瞳領域を通過する光を互いに異なる方向に偏光する偏光子を備えた撮像光学系と、
    　前記第１の瞳領域を通過する光を受光する第１の画素、及び、前記第２の瞳領域を通過する光を受光する第２の画素を含む撮像素子と、
    　前記撮像素子から出力される信号を処理し、少なくとも前記第１の画素の出力信号からなる第１の画像データ、及び、前記第２の画素の出力信号からなる第２の画像データを出力するプロセッサと、
    　を備え、
    　前記撮像光学系は、前記第１の瞳領域及び前記第２の瞳領域を通過する光の波長が互いに異なり、かつ、前記第１の瞳領域及び前記第２の瞳領域に対応する領域の収差特性が互いに異なる、
    　撮像装置。
  2. 　前記撮像光学系は、更に、前記第１の瞳領域及び前記第２の瞳領域を通過する光の光量が互いに異なる、
    　請求項１に記載の撮像装置。
  3. 　前記撮像光学系は、前記第１の瞳領域に配置される第１の光学素子及び前記第２の瞳領域に配置される前記第１の光学素子とは異なる第２の光学素子を備え、前記第１の光学素子及び前記第２の光学素子によって、前記第１の瞳領域及び前記第２の瞳領域に対応する領域の収差が個別に補正される、
    　請求項１又は２に記載の撮像装置。
  4. 　前記第１の光学素子は、第１の波長帯域の光を透過させ、前記第２の光学素子は、前記第１の波長帯域とは異なる第２の波長帯域の光を透過させる、
    　請求項３に記載の撮像装置。
  5. 　前記第１の光学素子は、第１の透過率を有し、前記第２の光学素子は、前記第１の透過率とは異なる第２の透過率を有する、
    　請求項４に記載の撮像装置。
  6. 　前記第１の光学素子は、第１の開口面積を有し、前記第２の光学素子は、前記第１の開口面積とは異なる第２の開口面積を有する、
    　請求項３から５のいずれか１項に記載の撮像装置。
  7. 　前記第１の光学素子及び前記第２の光学素子は、レンズ形状を有し、
    　前記撮像光学系は、前記第１の光学素子及び前記第２の光学素子の曲率が個別に調整されて、前記第１の瞳領域及び前記第２の瞳領域に対応する領域の収差が個別に補正される、
    　請求項３から６のいずれか１項に記載の撮像装置。
  8. 　前記第１の光学素子及び前記第２の光学素子は、平板形状を有し、
    　前記撮像光学系は、前記第１の光学素子及び前記第２の光学素子の厚さが個別に調整されて、前記第１の瞳領域及び前記第２の瞳領域に対応する領域の収差が個別に補正される、
    　請求項３から６のいずれか１項に記載の撮像装置。
  9. 　前記第１の光学素子及び前記第２の光学素子は、平板形状を有し、
    　前記撮像光学系は、前記第１の光学素子及び前記第２の光学素子の傾きが個別に調整されて、前記第１の瞳領域及び前記第２の瞳領域に対応する領域の収差が個別に補正される、
    　請求項３から６のいずれか１項に記載の撮像装置。
  10. 　前記第１の光学素子及び前記第２の光学素子は、平板形状を有し、
    　前記撮像光学系は、前記第１の光学素子及び前記第２の光学素子の片面の傾きが個別に調整されて、前記第１の瞳領域及び前記第２の瞳領域に対応する領域の収差が個別に補正される、
    　請求項３から６のいずれか１項に記載の撮像装置。
  11. 　前記第１の光学素子及び前記第２の光学素子が一体化されて１つの光学素子で構成される、
    　請求項３から１０のいずれか１項に記載の撮像装置。
  12. 　前記撮像光学系は、瞳領域が同心円状に分割される、
    　請求項１から１１のいずれか１項に記載の撮像装置。
PCT/JP2020/021936 2019-06-11 2020-06-03 撮像装置 WO2020250774A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021526036A JP7238121B2 (ja) 2019-06-11 2020-06-03 撮像装置
CN202080042619.2A CN113966605B (zh) 2019-06-11 2020-06-03 摄像装置
US17/528,175 US11706506B2 (en) 2019-06-11 2021-11-16 Imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019108830 2019-06-11
JP2019-108830 2019-06-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/528,175 Continuation US11706506B2 (en) 2019-06-11 2021-11-16 Imaging apparatus

Publications (1)

Publication Number Publication Date
WO2020250774A1 true WO2020250774A1 (ja) 2020-12-17

Family

ID=73780970

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/021936 WO2020250774A1 (ja) 2019-06-11 2020-06-03 撮像装置

Country Status (4)

Country Link
US (1) US11706506B2 (ja)
JP (1) JP7238121B2 (ja)
CN (1) CN113966605B (ja)
WO (1) WO2020250774A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022196477A1 (ja) * 2021-03-19 2022-09-22 富士フイルム株式会社 画像データ処理装置、画像データ処理方法、画像データ処理プログラム及び撮像システム
WO2024042783A1 (ja) * 2022-08-22 2024-02-29 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3697075B1 (en) * 2017-10-11 2021-09-22 FUJIFILM Corporation Imaging device and image processing device
WO2021085368A1 (ja) * 2019-10-30 2021-05-06 富士フイルム株式会社 撮像装置、撮像光学系及び撮像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009162847A (ja) * 2007-12-28 2009-07-23 Nikon Corp 撮像装置
JP2012247645A (ja) * 2011-05-27 2012-12-13 Fujifilm Corp 撮像装置
JP2013077935A (ja) * 2011-09-30 2013-04-25 Sony Corp 撮像装置及び撮像方法
WO2014020791A1 (ja) * 2012-08-02 2014-02-06 パナソニック株式会社 偏光カラー撮像装置
WO2014024745A1 (ja) * 2012-08-06 2014-02-13 富士フイルム株式会社 撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH088157A (ja) * 1994-06-16 1996-01-12 Nikon Corp 投影露光装置
JP2004157059A (ja) * 2002-11-08 2004-06-03 Minolta Co Ltd 撮像装置およびレンズ光学系
JP4350996B2 (ja) * 2002-11-26 2009-10-28 日東電工株式会社 有機エレクトロルミネッセンス素子、面光源および表示装置
US7387387B2 (en) * 2004-06-17 2008-06-17 Amo Manufacturing Usa, Llc Correction of presbyopia using adaptive optics and associated methods
WO2006026354A2 (en) * 2004-08-25 2006-03-09 Newport Imaging Corporation Apparatus for multiple camera devices and method of operating same
ES2373134B2 (es) * 2009-08-28 2012-10-26 Universidad De Murcia Instrumento oftalmico de medida de la refraccion ocular y simulacion visual, y metodos asociados de medida de la refraccion ocular, de simulacion de elementos oftalmicos de simulacion visual y de obtencion de parametros opticos.
JP2012003080A (ja) * 2010-06-17 2012-01-05 Olympus Corp 撮像装置
JP5764747B2 (ja) * 2011-09-02 2015-08-19 パナソニックＩｐマネジメント株式会社 偏光撮像素子および内視鏡
CN103234527B (zh) * 2013-04-07 2015-06-24 南京理工大学 多光谱光场相机的成像方法
JP6173065B2 (ja) * 2013-06-21 2017-08-02 オリンパス株式会社 撮像装置、画像処理装置、撮像方法及び画像処理方法
JP6248484B2 (ja) * 2013-09-11 2017-12-20 ソニー株式会社 立体視画像生成装置、立体視画像生成方法
GB2548462B (en) 2016-01-29 2020-06-17 Canon Kk Image sensor and image capturing apparatus
US20210235060A1 (en) * 2018-05-18 2021-07-29 Sony Corporation Solid-state imaging device, information processing device, information processing method, and calibration method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009162847A (ja) * 2007-12-28 2009-07-23 Nikon Corp 撮像装置
JP2012247645A (ja) * 2011-05-27 2012-12-13 Fujifilm Corp 撮像装置
JP2013077935A (ja) * 2011-09-30 2013-04-25 Sony Corp 撮像装置及び撮像方法
WO2014020791A1 (ja) * 2012-08-02 2014-02-06 パナソニック株式会社 偏光カラー撮像装置
WO2014024745A1 (ja) * 2012-08-06 2014-02-13 富士フイルム株式会社 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022196477A1 (ja) * 2021-03-19 2022-09-22 富士フイルム株式会社 画像データ処理装置、画像データ処理方法、画像データ処理プログラム及び撮像システム
WO2024042783A1 (ja) * 2022-08-22 2024-02-29 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US11706506B2 (en) 2023-07-18
CN113966605B (zh) 2023-08-18
CN113966605A (zh) 2022-01-21
US20220078319A1 (en) 2022-03-10
JPWO2020250774A1 (ja) 2020-12-17
JP7238121B2 (ja) 2023-03-13

Similar Documents

Publication Publication Date Title
WO2020250774A1 (ja) 撮像装置
JPWO2020250774A5 (ja)
US20220385863A1 (en) Imaging apparatus and method
US11796722B2 (en) Optical element, optical device, and imaging apparatus for acquiring multispectral images
US20240019762A1 (en) Lens device, imaging apparatus, imaging method, and imaging program
JP2021135404A (ja) レンズ装置、撮像装置、撮像方法、及び撮像プログラム
WO2020250773A1 (ja) 撮像装置
US20220201172A1 (en) Optical element, optical device, imaging apparatus, and manufacturing method of optical element
JP7169363B2 (ja) 撮像装置
JP6692749B2 (ja) マルチスペクトルカメラ
WO2020213418A1 (ja) 撮像装置、信号処理装置、信号処理方法及び信号処理プログラム
WO2017126242A1 (ja) 撮像装置、及び、画像データ生成方法
WO2020213419A1 (ja) 撮像装置、信号処理装置、信号処理方法及び信号処理プログラム
US11982899B2 (en) Image processing device, imaging device, image processing method, and image processing program
WO2023047794A1 (ja) 情報処理方法、情報処理装置、情報処理プログラム、及び情報処理システム
WO2023053767A1 (ja) データ処理装置、方法及びプログラム並びにマルチスペクトルカメラ
US20230319385A1 (en) Optical member, lens device, and imaging apparatus
JP7399194B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2023053766A1 (ja) 画像データ処理装置及び方法
WO2023145188A1 (ja) 撮像装置、処理装置、処理方法、プログラム、及び光学フィルタ
WO2024047944A1 (ja) 校正用部材、筐体装置、校正装置、校正方法、及びプログラム
JP6815628B2 (ja) マルチスペクトル撮像装置
WO2023007966A1 (ja) レンズ装置、撮像装置及びフィルタユニット
JP2010245581A (ja) カメラ
JP2020178158A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20822383

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021526036

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20822383

Country of ref document: EP

Kind code of ref document: A1