WO2020075523A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2020075523A1
WO2020075523A1 PCT/JP2019/038019 JP2019038019W WO2020075523A1 WO 2020075523 A1 WO2020075523 A1 WO 2020075523A1 JP 2019038019 W JP2019038019 W JP 2019038019W WO 2020075523 A1 WO2020075523 A1 WO 2020075523A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
optical
light
polarization
image
Prior art date
Application number
PCT/JP2019/038019
Other languages
English (en)
French (fr)
Inventor
小野　修司
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP19870753.1A priority Critical patent/EP3866462B1/en
Priority to JP2020550373A priority patent/JP6908793B2/ja
Priority to CN201980066394.1A priority patent/CN112840643B/zh
Publication of WO2020075523A1 publication Critical patent/WO2020075523A1/ja
Priority to US17/207,715 priority patent/US11122242B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/281—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for attenuating light intensity, e.g. comprising rotatable polarising elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125—Colour sequential image capture, e.g. using a colour wheel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Definitions

  • the present invention relates to an imaging device, and more particularly to an imaging device that acquires images (multispectral images) in a plurality of wavelength bands.
  • Patent Document 1 discloses that a pupil portion of an optical system is divided, and an optical filter having a different spectral transmittance is arranged in each of the divided pupil portions.
  • an imaging device having a configuration in which a microlens array is arranged in front of the image sensor is described. This image pickup device obtains a multispectral image with one image sensor by guiding light from different optical regions of the pupil portion to different pixels by the light separation effect of the microlens array.
  • Patent Document 1 has a problem that light leaks to adjacent pixels and interference (crosstalk) occurs.
  • Patent Document 2 proposes that a signal (pixel signal) obtained from each pixel is subjected to predetermined signal processing to remove the influence of interference.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide an imaging device capable of acquiring a high-quality multispectral image with a single image sensor.
  • the means to solve the above problems are as follows.
  • an imaging apparatus provided with an arithmetic unit for calculating the Xk.
  • a signal corresponding to each optical region of the optical system can be obtained by performing a predetermined calculation process in pixel block units on the signal obtained from each pixel of the image sensor. That is, a signal without interference (crosstalk) can be obtained. Thereby, a high quality multi-spectral image can be acquired.
  • the matrix A is obtained by calculating an inverse matrix of a matrix whose element is the ratio of the light incident on each optical region of the optical system to each pixel of each pixel block of the image sensor.
  • the inverse matrix B ⁇ 1 of the matrix B whose element is the ratio of the light incident on each optical region of the optical system to each pixel of each pixel block of the image sensor is calculated, and The matrix A of the arithmetic expression is obtained.
  • the ratio of the light incident on each optical region of the optical system to each pixel of each pixel block of the image sensor is defined as the transmittance based on the polarization c and the transmittance based on the spectral transmittance d.
  • the imaging device according to (2) above which is calculated by the product of c and d.
  • each element of the matrix B is calculated by the product of the transmittance c based on the polarized light and the transmittance d based on the spectral transmittance.
  • the transmittance c based on the polarized light is obtained by calculating the square of the cosine of the angle difference between the transmission polarization azimuth of the light transmitted through the optical region and the transmission polarization azimuth of the light received by the pixel, and is calculated as the spectral transmittance.
  • the transmittance d based on the image pickup device according to the above (3) is obtained based on the wavelength band of light transmitted through the optical region and the spectral transmittance of the first optical filter element provided in the pixel.
  • the transmittance c based on the polarization is obtained by the square of the cosine of the angular difference between the transmission polarization azimuth of the light transmitted through the optical region and the transmission polarization azimuth of the light received by the pixel. Further, the transmittance d based on the spectral transmittance is obtained based on the wavelength band of light that transmits the optical region and the spectral transmittance of the first optical filter element provided in the pixel.
  • the optical system is the imaging device according to any one of (1) to (4) above, in which the number of polarization filter sections having the same transmission polarization direction is n or less.
  • the number of polarization filter sections having the same transmission polarization direction in the optical system is set to be equal to or less than the number of types of the first optical filter element provided on the image sensor side.
  • Each pixel block of the image sensor combines nine types of light by combining three types of first optical filter elements having different spectral transmittances and three types of second optical filter elements having different transmission polarization directions.
  • the imaging device according to any one of (1) to (5) above, which has a configuration in which light is received by pixels.
  • each pixel block of the image sensor is configured by combining three kinds of first optical filter elements having different spectral transmittances and three kinds of second optical filter elements having different transmission polarization azimuths to obtain nine kinds of elements. It has a configuration in which light is individually received by each pixel.
  • the optical system is provided with nine optical regions in which the wavelength bands of transmitted light are different.
  • the optical system is provided with three optical regions each including the polarization filter section having the same transmission polarization direction.
  • the combination of the transmission polarization azimuth of the polarization filter unit included in the optical system and the combination of the transmission polarization azimuth of the second optical filter element included in the image sensor have the same configuration.
  • the transmission polarization azimuth of the polarization filter unit included in the optical system is 0 °, 60 °, 90 °
  • the transmission polarization azimuth of the second optical filter element included in the image sensor is also 0 °, 60 °, 90 °. To be done.
  • the optical system is provided with a narrow band filter having different transmission wavelengths in each optical region.
  • the optical system is provided with the narrow band filter at the pupil position.
  • the image sensor has a configuration including the first optical filter element and the second optical filter element between the photodiode and the microlens that configure each pixel.
  • a high quality multi-spectral image can be acquired with one image sensor.
  • FIG. 9 is a cross-sectional view showing a schematic configuration of one pixel (broken line portion in FIG. 8)
  • FIG. 9 shows an example of the arrangement pattern of the polarization filter element with which each pixel block is equipped.
  • FIG. 1 Graph showing an example of setting of the spectral transmittance of each spectral filter element The figure which shows an example of the arrangement pattern of the spectral filter element with which each pixel block is equipped.
  • Conceptual diagram of image generation A graph showing an example of the relationship between the spectral transmittance of the spectral filter element provided in each pixel and the wavelength band of light transmitted through each optical region of the optical system.
  • Conceptual diagram of operation of the image pickup apparatus according to the present embodiment Graph of spectral transmittance of spectral filter element provided in each pixel of image sensor Figure showing an example of the subject image
  • FIG. 1 is a diagram showing a schematic configuration of an embodiment of an image pickup apparatus according to the present invention.
  • the imaging device 1 includes an optical system 10, an image sensor 100, and a signal processing unit 200.
  • the optical system 10 includes a lens 12 and a pupil division filter 14.
  • the lens 12 forms an optical image of a subject on the light receiving surface of the image sensor 100.
  • the lens 12 is configured according to the application of the image pickup apparatus 1.
  • the pupil division filter 14 is provided at or near the pupil position of the optical system 10 and divides the pupil portion of the optical system 10 into nine optical regions.
  • the pupil division filter 14 is configured by overlapping the spectral filter 16 and the polarization filter 18.
  • FIG. 2 is a front view of the pupil division filter.
  • the optical region of reference numeral S1 is the first optical region S1
  • the optical region of reference symbol S2 is the second optical region S2
  • the optical region of reference symbol S3 is the third optical region S3
  • the optical region of reference symbol S4 is the first optical region.
  • the fourth optical region S4, the optical region S5 are the fifth optical regions S5, the optical region S6 is the sixth optical region S6, the optical region S7 is the seventh optical region S7, and the optical region S8 is the eighth optical region.
  • the nine optical regions Sj are distinguished by defining the optical regions S8 and S9 as the ninth optical region S9.
  • Each optical area Sj is set so that light of different wavelength bands is transmitted.
  • the optical region group formed by the region S6 and the optical region group formed by the seventh optical region S7, the eighth optical region S8, and the ninth optical region S9 emit light having different polarization directions (transmission polarization azimuths). It is set to be transparent.
  • Such a configuration is realized by a combination of the spectral filter 16 and the polarization filter 18 having the following configurations.
  • FIG. 3 is a front view of the spectral filter.
  • the spectral filter 16 has nine spectral filter units F1 to F9 that are equally divided into nine in the circumferential direction.
  • the spectral filter unit with the code F1 is the first spectral filter unit F1
  • the spectral filter unit with the code F2 is the second spectral filter unit F2
  • the spectral filter unit with the code F3 is the third spectral filter unit F3, and the spectral filter unit is the same.
  • the spectral filter unit F4 is the fourth spectral filter unit F4
  • the spectral filter unit F5 is the fifth spectral filter unit F5
  • the nine spectral filter sections F1 to F9 are distinguished by using the spectral filter section F7 and the spectral filter section F8 as the eighth spectral filter section F8 and the spectral filter section F9 as the ninth spectral filter section F9.
  • the spectral filter units F1 to F9 correspond to the optical regions S1 to S9 of the pupil division filter 14, respectively.
  • the first spectral filter unit F1 corresponds to the first optical region S1
  • the second spectral filter unit F2 corresponds to the second optical region S2
  • the third spectral filter unit F3 corresponds to the third optical region S3
  • the fourth spectral filter unit F4 corresponds to the fourth optical region S4
  • the fifth spectral filter unit F5 corresponds to the fifth optical region S5
  • the sixth spectral filter unit F6 corresponds to the sixth optical region S6
  • the spectral filter unit F7 corresponds to the seventh optical region S7
  • the eighth spectral filter unit F8 corresponds to the eighth optical region S8
  • the ninth spectral filter unit F9 corresponds to the ninth optical region S9.
  • Each of the spectral filter units F1 to F9 has a configuration for transmitting light in a different wavelength band. That is, they have different spectral transmittance characteristics.
  • FIG. 4 is a graph showing an example of the transmission wavelength set in each spectral filter unit.
  • the wavelength band of light transmitted by the first spectral filter unit F1 is the first wavelength band ⁇ f1
  • the wavelength band of light transmitted by the second spectral filter unit F2 is the second wavelength band ⁇ f2
  • the third spectral filter unit F3 is transparent.
  • the wavelength band of light to be transmitted is the third wavelength band ⁇ f3
  • the wavelength band of light to be transmitted by the fourth spectral filter unit F4 is the fourth wavelength band ⁇ f4
  • the wavelength band of light to be transmitted by the fifth spectral filter unit F5 is the fifth wavelength band.
  • Wavelength band ⁇ f5 the wavelength band of light transmitted by the sixth spectral filter unit F6 is the sixth wavelength band ⁇ f6, and the wavelength band of light transmitted by the seventh spectral filter unit F7 is the seventh wavelength band ⁇ f7, the eighth spectral The wavelength band of light transmitted by the filter unit F8 is defined as an eighth wavelength band ⁇ f8, and the wavelength band of light transmitted by the ninth spectral filter unit F9 is defined as a ninth wavelength band ⁇ f9.
  • each of the spectral filter sections F1 to F9 is set to transmit narrow band light, particularly nine bands within a specific wavelength band.
  • FIG. 5 is a front view of the polarization filter.
  • the polarization filter 18 has three polarization filter sections G1 to G3 that are equally divided in the circumferential direction.
  • the polarization filter section G1 is referred to as a first polarization filter section G1
  • the polarization filter section G2 is referred to as a second polarization filter section G2
  • the polarization filter section G3 is referred to as a third polarization filter section G3.
  • the three polarization filter sections G1 to G3 are distinguished.
  • the first polarization filter section G1 corresponds to the first to third optical areas S1 to S3 of the pupil division filter 14
  • the second polarization filter section G2 corresponds to the fourth to sixth optical areas S4 to S6 of the pupil division filter 14.
  • the third polarization filter portion G3 corresponds to the seventh optical region S7 to the ninth optical region S9 of the pupil division filter 14.
  • FIG. 6 is a diagram showing an example of polarization directions set in each polarization filter section of the polarization filter.
  • the polarization direction (transmission polarization azimuth) is represented by the angle (azimuth) formed by the polarization transmission axis and the X axis on the XY plane orthogonal to the optical axis L.
  • reference sign Aa indicates the polarization transmission axis of the first polarization filter unit G1
  • reference sign Ab indicates the polarization transmission axis of the second polarization filter unit G2
  • reference sign Ac indicates the polarization of the third polarization filter unit G3.
  • the transmission axis is shown.
  • each of the polarization filter sections G1 to G3 has a configuration of transmitting light of different polarization directions (transmission polarization directions).
  • the polarization direction (transmission polarization azimuth) of the light transmitted by the first polarization filter section G1 is ⁇ 1
  • the polarization direction (transmission polarization azimuth) of the light transmitted by the second polarization filter section G2 is ⁇ 2
  • the third polarization filter section G3 transmits it.
  • the polarization direction (transmission polarization azimuth) of the emitted light is ⁇ 3.
  • the pupil division filter 14 is configured by coaxially overlapping the spectral filter 16 and the polarization filter 18 having the above configurations.
  • the pupil division filter 14 operates as follows. That is, the light passing through the first optical region S1 of the pupil division filter 14 passes through the first spectral filter unit F1 of the spectral filter 16 and the first polarizing filter unit G1 of the polarizing filter 18. Therefore, the light in the first wavelength band ⁇ f1 is polarized (linearly polarized) in the polarization direction ⁇ 1 and emitted from the first optical region S1.
  • the light passing through the second optical region S2 of the pupil division filter 14 passes through the second spectral filter unit F2 of the spectral filter 16 and the first polarizing filter unit G1 of the polarizing filter 18. Therefore, the light in the second wavelength band ⁇ f2 is emitted from the second optical region S2 after being polarized (linearly polarized) in the polarization direction ⁇ 1. Further, the light passing through the third optical region S3 of the pupil division filter 14 passes through the third spectral filter unit F3 of the spectral filter 16 and the first polarizing filter unit G1 of the polarizing filter 18.
  • the light in the third wavelength band ⁇ f3 is emitted (linearly polarized) in the polarization direction ⁇ 1 from the third optical region S3.
  • the light passing through the fourth optical region S4 of the pupil division filter 14 passes through the fourth spectral filter unit F4 of the spectral filter 16 and the second polarizing filter unit G2 of the polarizing filter 18. Therefore, the light in the fourth wavelength band ⁇ f4 is polarized (linearly polarized) in the polarization direction ⁇ 2 and emitted from the fourth optical region S4.
  • the light passing through the fifth optical region S5 of the pupil division filter 14 passes through the fifth spectral filter unit F5 of the spectral filter 16 and the second polarizing filter unit G2 of the polarizing filter 18.
  • the light of the fifth wavelength band ⁇ f5 is polarized (linearly polarized) in the polarization direction ⁇ 2 and emitted from the fifth optical region S5.
  • the light passing through the sixth optical region S6 of the pupil division filter 14 passes through the sixth spectral filter unit F6 of the spectral filter 16 and the second polarizing filter unit G2 of the polarizing filter 18. Therefore, the light in the sixth wavelength band ⁇ f6 is emitted (linearly polarized) in the polarization direction ⁇ 2 from the sixth optical region S6.
  • the light passing through the seventh optical region S7 of the pupil division filter 14 passes through the seventh spectral filter unit F7 of the spectral filter 16 and the third polarizing filter unit G3 of the polarizing filter 18. Therefore, the light in the seventh wavelength band ⁇ f7 is polarized (linearly polarized) in the polarization direction ⁇ 3 and emitted from the seventh optical region S7. Further, the light passing through the eighth optical region S8 of the pupil division filter 14 passes through the eighth spectral filter unit F8 of the spectral filter 16 and the third polarizing filter unit G3 of the polarizing filter 18.
  • the light in the eighth wavelength band ⁇ f8 is emitted from the eighth optical region S8 after being polarized (linearly polarized) in the polarization direction ⁇ 3.
  • the light passing through the ninth optical region S9 of the pupil division filter 14 passes through the ninth spectral filter unit F9 of the spectral filter 16 and the third polarizing filter unit G3 of the polarizing filter 18. Therefore, the light of the ninth wavelength band ⁇ f9 is emitted (linearly polarized) in the polarization direction ⁇ 3 from the ninth optical region S9.
  • the optical system 10 is provided so as to be entirely movable back and forth along the optical axis L. Thereby, focus adjustment is performed.
  • FIG. 7 is a diagram showing a schematic configuration of the pixel array of the image sensor.
  • the pixels Pi are regularly arranged at a constant pitch along the horizontal direction (x direction) and the vertical direction (y direction).
  • the image sensor 100 of the present embodiment nine (3 ⁇ 3) adjacent pixels Pi form one pixel block PB (x, y), and this pixel block PB (x, y) is It is regularly arranged along the horizontal direction (x direction) and the vertical direction (y direction).
  • the pixel with the code P1 is the first pixel P1
  • the pixel with the code P2 is the second pixel P2
  • the pixel with the code P3 is the third pixel P3
  • the pixel with the code P4 is the fourth pixel P4, and the code P5.
  • the pixel is a fifth pixel P5
  • the code P6 is a sixth pixel P6
  • the code P7 is a seventh pixel P7
  • the code P8 is an eighth pixel P8,
  • the code P9 is a ninth pixel P9.
  • the nine pixels included in the pixel block PB (x, y) are distinguished.
  • Each pixel Pi receives light of different characteristics.
  • FIG. 8 is a diagram showing a schematic configuration of the image sensor.
  • FIG. 9 is a cross-sectional view showing a schematic configuration of one pixel (broken line portion in FIG. 8).
  • the image sensor 100 includes a pixel array layer 110, a polarization filter element array layer 120, a spectral filter element array layer 130, and a microlens array layer 140. Each layer is arranged in the order of the pixel array layer 110, the polarization filter element array layer 120, the spectral filter element array layer 130, and the microlens array layer 140 from the image plane side to the object side.
  • the pixel array layer 110 is configured by arranging a large number of photodiodes 112 two-dimensionally.
  • One photodiode 112 forms one pixel.
  • the photodiodes 112 are regularly arranged along the horizontal direction (x direction) and the vertical direction (y direction).
  • the polarization filter element array layer 120 is configured by two-dimensionally arranging three types of polarization filter elements 122A, 122B, 122C having mutually different polarization directions (transmission polarization directions).
  • the polarization filter element 122A is the first polarization filter element 122A
  • the polarization filter element 122B is the second polarization filter element 122B
  • the polarization filter element 122C is the third polarization filter element 122C
  • the three types of polarization filter elements 122A, 122B, 122C are distinguished.
  • the polarization filter elements 122A, 122B, 122C are arranged at the same intervals as the photodiode 112 and provided for each pixel.
  • the polarization direction (transmission polarization azimuth) of the light transmitted by the first polarization filter element 122A is ⁇ 1
  • the polarization direction (transmission polarization azimuth) of the light transmitted by the second polarization filter element 122B is ⁇ 2
  • the third polarization filter element 122C is transmitted.
  • ⁇ 3 be the polarization direction (transmission polarization direction) of the light to be caused.
  • the second polarization filter element 122B has an azimuth angle of 60 ° ( ⁇ 2).
  • the polarization filter elements 122A, 122B, 122C are an example of a second optical filter.
  • each pixel block PB (x, y) the polarization filter elements 122A, 122B, 122C are regularly arranged.
  • FIG. 10 is a diagram showing an example of an array pattern of polarization filter elements provided in each pixel block.
  • the first polarization filter element 122A is provided in the first pixel P1, the fourth pixel P4, and the seventh pixel P7, which are the pixels in the first column in the pixel block.
  • the second polarization filter element 122B is provided in the second pixel P2, the fifth pixel P5, and the eighth pixel P8, which are the pixels in the second column in the pixel block, and the third column in the pixel block is provided.
  • the third polarization filter element 122C is provided in the third pixel P3, the sixth pixel P6, and the ninth pixel P9, which are pixels.
  • the spectral filter element array layer 130 is configured by two-dimensionally arranging three types of spectral filter elements 132A, 132B, 132C having different spectral transmittances.
  • the spectral filter element 132A is a first spectral filter element 132A
  • the spectral filter element 132B is a second spectral filter element 132B
  • the spectral filter element 132C is a third spectral filter element 132C.
  • the three types of spectral filter elements 132A, 132B, and 132C are distinguished.
  • the spectral filter elements 132A, 132B, 132C are arranged at the same intervals as the photodiode 112 and provided for each pixel.
  • the spectral filter elements 132A, 132B, 132C are an example of a first optical filter.
  • FIG. 11 is a graph showing an example of setting the spectral transmittance of each spectral filter element.
  • a graph T1 shown by a solid line is a graph of the spectral transmittance of the first spectral filter element 132A.
  • a graph T2 indicated by a broken line is a graph of the spectral transmittance of the second spectral filter element 132B.
  • a graph T3 indicated by a dashed line is a graph of the spectral transmittance of the third spectral filter element 132C.
  • each of the spectral filter elements 132A, 132B, 132C has a configuration in which light transmitted through each of the spectral filter sections F1 to F9 of the spectral filter 16 included in the optical system 10 is transmitted at different transmittances.
  • the first spectral filter element 132A has a characteristic of transmitting more light in the short wavelength band
  • the second spectral filter element 132B transmits light in the intermediate wavelength band.
  • the third spectral filter element 132C has a characteristic of transmitting more light
  • the third spectral filter element 132C has a characteristic of transmitting more light in a long wavelength band.
  • FIG. 12 is a diagram showing an example of an array pattern of spectral filter elements provided in each pixel block.
  • the spectral filter elements 132A, 132B, 132C are regularly arranged.
  • the first spectral filter element 132A is provided in the first pixel P1, the second pixel P2, and the third pixel P3 that are the pixels in the first row in the pixel block
  • the fourth spectral filter element 132B is provided in the fourth pixel P4, the fifth pixel P5, and the sixth pixel P6, which are the pixels in the second row, and the seventh pixel P7, which is the pixel in the third row in the pixel block.
  • the third spectral filter element 132C is provided in the eighth pixel P8 and the ninth pixel P9.
  • the microlens array layer 140 is configured by arranging a large number of microlenses 142 two-dimensionally.
  • the microlenses 142 are arranged at the same intervals as the photodiodes 112 and provided for each pixel.
  • the microlens 142 is provided for the purpose of efficiently focusing the light from the optical system 10 on the photodiode 112.
  • each pixel Pi receives light from the optical system 10 as follows. That is, the first pixel P1 receives the light from the optical system 10 via the first spectral filter element 132A and the first polarization filter element 122A. Further, the second pixel P2 receives light from the optical system 10 via the first spectral filter element 132A and the second polarization filter element 122B. Further, the third pixel P3 receives the light from the optical system 10 via the first spectral filter element 132A and the third polarization filter element 122C.
  • the fourth pixel P4 receives light from the optical system 10 via the second spectral filter element 132B and the first polarization filter element 122A. Further, the fifth pixel P5 receives light from the optical system 10 via the second spectral filter element 132B and the second polarization filter element 122B. Further, the sixth pixel P6 receives the light from the optical system 10 via the second spectral filter element 132B and the third polarization filter element 122C. Further, the seventh pixel P7 receives light from the optical system 10 via the third spectral filter element 132C and the first polarization filter element 122A.
  • each pixel Pi of the pixel block PB (x, y) has the different combination of the spectral filter elements 132A, 132B, 132C and the polarization filter elements 122A, 122B, 122C, and thus receives light having different characteristics. To do.
  • the signal processing unit 200 processes the signal output from the image sensor 100 to generate image data acquired in each optical region Sj of the optical system 10.
  • FIG. 13 is a block diagram showing a schematic configuration of the signal processing unit.
  • the signal processing unit 200 includes an analog signal processing unit 200A, an image generation unit 200B, and a coefficient storage unit 200C.
  • the analog signal processing unit 200A takes in analog pixel signals output from each pixel of the image sensor 100, performs predetermined signal processing (for example, correlated double sampling processing, amplification processing, etc.), and then converts them into digital signals. And output.
  • predetermined signal processing for example, correlated double sampling processing, amplification processing, etc.
  • the image generation unit 200B performs predetermined signal processing on the pixel signal that has been converted into a digital signal to generate image data corresponding to each optical region Sj. That is, the image data image of the image acquired in each optical region Sj is generated.
  • FIG. 14 is a conceptual diagram of image generation.
  • Each pixel block PB (x, y) includes a first pixel P1, a second pixel P2, a third pixel P3, a fourth pixel P4, a fifth pixel P5, a sixth pixel P6, a seventh pixel P7 and an eighth pixel.
  • P8 and the ninth pixel P9 are included. Therefore, from each pixel block PB (x, y), the first pixel P1, the second pixel P2, the third pixel P3, the fourth pixel P4, the fifth pixel P5, the sixth pixel P6, the seventh pixel P7, the eighth pixel
  • the nine image data D1 to D9 are generated by separating and extracting the pixel signals of P8 and the ninth pixel P9.
  • the first image data D1 is generated by separating and extracting the pixel signal of the first pixel P1 from each pixel block PB (x, y).
  • the second image data D2 is generated by separating and extracting the pixel signal of the second pixel P2 from each pixel block PB (x, y).
  • the third image data D3 is generated by separating and extracting the pixel signal of the third pixel P3 from each pixel block PB (x, y).
  • the fourth image data D4 is generated by separating and extracting the pixel signal of the fourth pixel P4 from each pixel block PB (x, y).
  • the fifth image data D5 is generated by separating and extracting the pixel signal of the fifth pixel P5 from each pixel block PB (x, y).
  • the sixth image data D6 is generated by separating and extracting the pixel signal of the sixth pixel P6 from each pixel block PB (x, y).
  • the seventh image data D7 is generated by separating and extracting the pixel signal of the seventh pixel P7 from each pixel block PB (x, y).
  • the eighth image data D8 is generated by separating and extracting the pixel signal of the eighth pixel P8 from each pixel block PB (x, y).
  • the ninth image data D9 is generated by separating and extracting the pixel signal of the ninth pixel P9 from each pixel block PB (x, y).
  • interference has occurred in these nine image data D1 to D9. That is, since light from each optical region Sj of the optical system 10 is incident on each pixel Pi, the generated image is an image in which the images of each optical region Sj are mixed at a predetermined ratio. Therefore, the image generation unit 200B removes interference (crosstalk) by performing the following arithmetic processing.
  • the pixel signal (signal value) obtained by the first pixel P1 of each pixel block PB (x, y) is x1
  • the pixel signal obtained by the second pixel P2 is x2
  • the pixel signal obtained by the third pixel P3 is x3
  • the pixel signal obtained by the fourth pixel P4 is x4
  • the pixel signal obtained by the fifth pixel P5 is x5
  • the pixel signal obtained by the sixth pixel P6 is x6
  • the pixel signal obtained by the seventh pixel P7 is x7
  • the pixel signal X1 corresponds to the pixel signal corresponding to the first optical area S1
  • the pixel signal X2 corresponds to the pixel signal corresponding to the second optical area S2
  • the pixel signal X3 corresponds to the pixel signal corresponding to the third optical area S3, and the pixel signal X4.
  • a pixel signal corresponding to the fourth optical region S4 a pixel signal X5 is a pixel signal corresponding to the fifth optical region S5
  • a pixel signal X6 is a pixel signal corresponding to the sixth optical region S6, and a pixel signal X7 is a seventh optical region.
  • the pixel signal corresponding to S7, the pixel signal X8 is a pixel signal corresponding to the eighth optical region S8, and the pixel signal X9 is a pixel signal corresponding to the ninth optical region S9. Therefore, an image acquired in the first optical region S1 is generated from the pixel signal X1, an image acquired in the second optical region S2 is generated from the pixel signal X2, and a third optical region S3 is generated from the pixel signal X3.
  • the image acquired in the fourth optical region S4 is generated from the pixel signal X4, the image acquired in the fifth optical region S5 is generated from the pixel signal X5, and the pixel signal X6 is generated.
  • Image obtained in the sixth optical region S6 is generated from the pixel signal X7, an image obtained in the seventh optical region S7 is generated from the pixel signal X7, and an image obtained in the eighth optical region S8 is generated from the pixel signal X8. Is generated, and the image acquired in the ninth optical region S9 is generated from the pixel signal X9.
  • Interference occurs when light from each optical region Sj mixes into each pixel Pi.
  • the pixel signals of the original image that is, the pixel signals X1 to X9 corresponding to the respective optical regions S1 to S9 can be obtained by solving the simultaneous equations of Formulas 2 to 10 for X1 to X9.
  • X1 to X9 which are solutions of the simultaneous equations of Expressions 2 to 10, are calculated by multiplying both sides of Expression 11 by the inverse matrix B ⁇ 1 of the matrix B.
  • the light incident on the optical regions S1 to S9 of the optical system 10 is the pixels P1 to S9 of the pixel block PB (x, y). It can be calculated from the signal values (pixel signals) x1 to x9 of the respective pixels P1 to P2 based on the proportion of light received by
  • each element aij of the matrix A in Expression 12 can be obtained by obtaining the inverse matrix B ⁇ 1 of the matrix B.
  • This ratio is calculated as the product of the transmittance c and the transmittance d, where c is the transmittance based on the polarized light and d is the transmittance based on the spectral transmittance.
  • the transmittance c based on polarization is calculated by the square of the cosine of the angular difference between the transmission polarization azimuth of the light transmitted through the optical region and the transmission polarization azimuth of the light received by the pixel.
  • the transmittance d based on the spectral transmittance is obtained based on the wavelength band of the light transmitted through the optical region and the spectral transmittance of the spectral filter element included in the pixel.
  • the transmittance c based on the polarized light has a transmission polarization azimuth of the light passing through the j-th optical region Sj as ⁇ j, Letting ⁇ i be the transmission polarization azimuth of the light received by the i pixel Pi, it is calculated by the square of the cosine (cos) of the angular difference (
  • the transmittance d based on the spectral transmittance is based on the wavelength band of light transmitted through the j-th optical region Sj and the spectral transmittance of the spectral filter elements 132A, 132B, and 132C included in the i-th pixel Pi. Required. That is, it can be obtained from the wavelength band of the light passing through the j-th optical region Sj based on the spectral transmittances of the spectral filter elements 132A, 132B, 132C provided in the i-th pixel Pi.
  • the transmission polarization azimuths of the light transmitted through the first optical region S1, the second optical region S2, and the third optical region S3 are ⁇ 1, the fourth optical region S4, the fifth optical region S5, and
  • the transmission polarization azimuth of the light transmitted through the sixth optical region S6 is ⁇ 2
  • the transmission polarization azimuth of the light transmitted through the seventh optical region S7, the eighth optical region S8 and the ninth optical region S9 is ⁇ 3.
  • the transmission polarization azimuths of the light received by the first pixel P1, the fourth pixel P4, and the seventh pixel P7 of each pixel block PB (x, y) are ⁇ 1, the second pixel P2, the fifth pixel P5, and the eighth pixel P5.
  • the transmission polarization azimuth of the light received by the pixel P8 is ⁇ 2
  • the transmission polarization azimuth of the light received by the third pixel P3, the sixth pixel P6, and the ninth pixel P9 is ⁇ 3.
  • )), c (cos 2 (
  • )) for the second pixel P2, c (cos 2 (
  • )), the fourth pixel for the third pixel P3 For P4, c (cos 2 (
  • )), for the fifth pixel P5, c (cos 2 (
  • )), and for the sixth pixel P6, c (cos 2 (
  • )), c (cos 2 (
  • ) for the seventh pixel P7, c (cos 2 (
  • )), the ninth pixel for the eighth pixel P8 For P9, it is calculated by c (cos
  • )), c (cos 2 (
  • )) for the second pixel P2, c (cos 2 (
  • For P4, c (cos 2 (
  • )), for the fifth pixel P5, c (cos 2 (
  • )), and for the sixth pixel P6, c (cos 2 (
  • )), c (cos 2 (
  • )) for the seventh pixel P7, c (cos 2 (
  • )), the ninth pixel for the eighth pixel P8 For P9, c (cos 2 (
  • )), for the second pixel P2, c (cos 2 (
  • )), for the third pixel P3, c (cos 2 (
  • )), the fourth pixel For P4, c (cos 2 (
  • )), for the fifth pixel P5, c (cos 2 (
  • )), and for the sixth pixel P6, c (cos 2 (
  • )), for the seventh pixel P7, c (cos 2 (
  • )), for the eighth pixel P8, c (cos 2 (
  • the matrix C is as follows. become.
  • dij is the transmittance between the j-th optical region Sj and the i-th pixel Pi. This transmittance is based on the spectral transmittances of the spectral filter elements 132A, 132B, and 132C provided in the i-th pixel Pi, from the wavelength band (center wavelength or peak wavelength) of the light that passes through the j-th optical region Sj. Desired.
  • FIG. 15 is a graph showing an example of the relationship between the spectral transmittance of the spectral filter element provided in each pixel and the wavelength band of light transmitted through each optical region of the optical system.
  • the first spectral filter element 132A is provided in the first pixel P1, the second pixel P2, and the third pixel P3. Therefore, the first pixel P1, the second pixel P2, and the third pixel P3 have the same spectral transmittance (the solid line graph T1 in FIG. 15).
  • the second spectral filter element 132B is provided in the fourth pixel P4, the fifth pixel P5 and the sixth pixel P6.
  • the fourth pixel P4, the fifth pixel P5, and the sixth pixel P6 have the same spectral transmittance (graph T2 indicated by a broken line in FIG. 15).
  • the third spectral filter element 132C is provided in the seventh pixel P7, the eighth pixel P8 and the ninth pixel P9. Therefore, the seventh pixel P7, the eighth pixel P8, and the ninth pixel P9 have the same spectral transmittance (graph T3 indicated by a dashed line in FIG. 15).
  • d54 0.8 for the fifth pixel P5,
  • d64 0.8 for the sixth pixel P6, seventh
  • pixel P7, d74 0.5
  • for the eighth pixel P8, d84 0.5
  • d94 0.5.
  • d77 0.67
  • for the eighth pixel P8, d87 0.67
  • d97 0.67.
  • d79 0.6
  • for the eighth pixel P8, d89 0.6
  • the ninth pixel P9, d99 0.6.
  • the matrix D is as follows.
  • the ratio bij of the light incident on the j-th optical region Sj of the optical system 10 being received by the i-th pixel Pi of each pixel block PB (x, y) is determined by the transmittance cij based on the polarization and the spectral distribution.
  • each element bij of the matrix B is calculated as follows.
  • the matrix B has an inverse matrix B ⁇ 1 . That is, since the matrix B has no rows and columns in which the same elements are arranged, an inverse matrix exists (the matrix C has columns in which the same elements are arranged (for example, the first column and the fourth column). The same elements are arranged in the sixth and sixth columns, and the same elements are arranged in the second, fifth, and seventh columns, and the third and sixth columns are arranged. And the ninth column has the same array of elements.) Also, the matrix D has rows in which the same array of elements exists (for example, the first to third rows have the same array of elements).
  • the same elements are arranged in the 4th to 6th rows, and the same elements are arranged in the 7th to 9th rows.) However, with matrix C
  • the matrix B obtained by the Hadamard product of the matrix D does not have rows and columns in which the same elements are arranged, so that the matrix B has an inverse matrix B ⁇ 1. Exists.).
  • the inverse matrix B ⁇ 1 of the matrix B is as follows.
  • the arithmetic expression for calculating the pixel signals X1 to X9 corresponding to the respective optical regions S1 to S9 from the pixel signals x1 to x9 of the respective pixels P1 to P9 is the following Expression 13.
  • the coefficient storage unit 200C stores each element aij of the matrix A of 9 rows and 9 columns as a coefficient group.
  • the coefficient storage unit 200C is an example of a storage unit.
  • the image generation unit 200B acquires the coefficient group from the coefficient storage unit 200C, and from the pixel signals x1 to x9 obtained from the pixels P1 to P9 of each pixel block PB (x, y), the optical system 10 is calculated according to the above equation 1.
  • the pixel signals X1 to X9 corresponding to the optical regions S1 to S9 are calculated, and the image data of the optical regions S1 to S9 are generated.
  • Image generation unit 200B is an example of a calculation unit.
  • the image data of each of the optical regions S1 to S9 generated by the image generation unit 200B is output to the outside and stored in the storage device as needed. Further, it is displayed on a display (not shown) as needed.
  • FIG. 16 is a conceptual diagram of the operation of the image pickup apparatus according to the present embodiment.
  • the light from the subject Obj passes through the optical regions S1 to S9 of the optical system 10 and is received by the pixels P1 to P2 of the image sensor 100.
  • the first optical image OI1 is an optical image of light in the first wavelength band ⁇ f1 that is linearly polarized in the predetermined polarization direction (azimuth ⁇ 1).
  • the second optical image OI2 is an optical image of light in the second wavelength band ⁇ f2 that is linearly polarized in the predetermined polarization direction (azimuth ⁇ 1).
  • the light that has passed through the third optical region S3 of the optical system 10 forms a third optical image OI3 of the subject Obj on the light receiving surface of the image sensor 100.
  • the third optical image OI3 is an optical image of light in the third wavelength band ⁇ f3 that is linearly polarized in the predetermined polarization direction (azimuth ⁇ 1).
  • the light that has passed through the fourth optical region S4 of the optical system 10 forms a fourth optical image OI4 of the subject Obj on the light receiving surface of the image sensor 100.
  • the fourth optical image OI4 is an optical image of light in the fourth wavelength band ⁇ f4 that is linearly polarized in the predetermined polarization direction (azimuth ⁇ 2).
  • the light that has passed through the fifth optical region S5 of the optical system 10 forms a fifth optical image OI5 of the object Obj on the light receiving surface of the image sensor 100.
  • the fifth optical image OI5 is an optical image of light in the fifth wavelength band ⁇ f5 that is linearly polarized in the predetermined polarization direction (azimuth ⁇ 2).
  • the light that has passed through the sixth optical region S6 of the optical system 10 forms a sixth optical image OI6 of the subject Obj on the light receiving surface of the image sensor 100.
  • This sixth optical image OI6 is an optical image of light in the sixth wavelength band ⁇ f6 that is linearly polarized in the predetermined polarization direction (azimuth ⁇ 2).
  • the light that has passed through the seventh optical region S7 of the optical system 10 forms a seventh optical image OI7 of the subject Obj on the light receiving surface of the image sensor 100.
  • the seventh optical image OI7 is an optical image of light in the seventh wavelength band ⁇ f7 that is linearly polarized in the predetermined polarization direction (azimuth ⁇ 3).
  • the light that has passed through the eighth optical region S8 of the optical system 10 forms an eighth optical image OI8 of the subject Obj on the light receiving surface of the image sensor 100.
  • the eighth optical image OI8 is an optical image of light in the eighth wavelength band ⁇ f8 that is linearly polarized in the predetermined polarization direction (azimuth ⁇ 3).
  • the ninth optical image OI9 is an optical image of light in the ninth wavelength band ⁇ f9 that is linearly polarized in the predetermined polarization direction (azimuth ⁇ 3).
  • the image sensor 100 receives light from each of the optical regions S1 to S9 of the optical system 10 at each of the pixels P1 to P9, and outputs signals (pixel signals) x1 to x9 corresponding to the amount of received light to the signal processing unit 200. .
  • the first pixel P1 receives light from each of the optical regions S1 to S9 at a predetermined transmittance via the first spectral filter element 132A having a predetermined spectral transmittance (see the graph T1 in FIG. 15), In addition, the light of a predetermined polarization direction (azimuth angle ⁇ 1) is received via the first polarization filter element 122A. Then, the pixel signal x1 corresponding to the received light amount is output to the signal processing unit 200.
  • the second pixel P2 receives light from each of the optical regions S1 to S9 with a predetermined transmittance via the first spectral filter element 132A, and also receives a predetermined polarization direction via the second polarization filter element 122B. Light of (azimuth angle ⁇ 2) is received. Then, the pixel signal x2 corresponding to the received light amount is output to the signal processing unit 200.
  • the third pixel P3 receives light from each of the optical regions S1 to S9 with a predetermined transmittance via the first spectral filter element 132A and a predetermined polarization direction via the third polarizing filter element 122C. The light of (azimuth angle ⁇ 3) is received. Then, the pixel signal x3 corresponding to the received light amount is output to the signal processing unit 200.
  • the fourth pixel P4 receives light from each of the optical regions S1 to S9 at a predetermined transmittance via the second spectral filter element 132B having a predetermined spectral transmittance (see graph T2 in FIG. 15), and , Light of a predetermined polarization direction (azimuth angle ⁇ 1) is received via the first polarization filter element 122A. Then, the pixel signal x4 corresponding to the received light amount is output to the signal processing unit 200.
  • the fifth pixel P5 receives light from each of the optical regions S1 to S9 with a predetermined transmittance via the second spectral filter element 132B, and also transmits a predetermined polarization direction via the second polarization filter element 122B. Light of (azimuth angle ⁇ 2) is received. Then, the pixel signal x5 corresponding to the received light amount is output to the signal processing unit 200.
  • the sixth pixel P6 receives light from each of the optical regions S1 to S9 with a predetermined transmittance via the second spectral filter element 132B, and also receives a predetermined polarization direction via the third polarization filter element 122C. The light of (azimuth angle ⁇ 3) is received. Then, the pixel signal x6 corresponding to the received light amount is output to the signal processing unit 200.
  • the seventh pixel P7 receives light from each of the optical regions S1 to S9 at a predetermined transmittance via the third spectral filter element 132C having a predetermined spectral transmittance (see graph T3 in FIG. 15), and , Light of a predetermined polarization direction (azimuth angle ⁇ 1) is received via the first polarization filter element 122A. Then, the pixel signal x7 corresponding to the received light amount is output to the signal processing unit 200.
  • the eighth pixel P8 receives the light from each of the optical regions S1 to S9 with a predetermined transmittance via the third spectral filter element 132C, and also receives the predetermined polarization direction via the second polarization filter element 122B. Light of (azimuth angle ⁇ 2) is received. Then, the pixel signal x8 corresponding to the received light amount is output to the signal processing unit 200.
  • the ninth pixel P9 receives light from each of the optical regions S1 to S9 with a predetermined transmittance via the third spectral filter element 132C, and also receives a predetermined polarization direction via the third polarizing filter element 122C. The light of (azimuth angle ⁇ 3) is received. Then, the pixel signal x9 corresponding to the received light amount is output to the signal processing unit 200.
  • the signal processing unit 200 uses the pixel signals x1 to x9 obtained from the pixels P1 to P9 of each pixel block PB (x, y) of the image sensor 100 to the pixel signal X1 corresponding to each of the optical regions S1 to S9 of the optical system 10. To X9 are calculated, and image data of images D1 to ID9 of the images obtained in the respective optical regions S1 to S9 are generated. That is, the calculation process according to Formula 1 using the matrix A is performed to calculate the pixel signals X1 to X9 corresponding to the optical regions S1 to S9 from the pixel signals x1 to x9 of the pixels P1 to P1 obtained from the image sensor 100. Then, image data of images ID1 to ID9 of the images obtained in the respective optical regions S1 to S9 are generated.
  • one optical system 10 and one image sensor 100 can acquire images (multispectral images) in nine wavelength bands. Further, in each pixel block PB (x, y) of the image sensor 100, light from the optical system 10 can be incident under uniform conditions, so that a high quality image can be easily generated.
  • the spectral filter 16 and the polarization filter 18 included in the optical system 10 and the polarization filter element 122A included in each of the pixels P1 to P9 of the image sensor 100, 122B, 122C and the spectral filter elements 132A, 132B, 132C are set as follows.
  • the transmission polarization azimuth ⁇ 1 of the first polarization filter unit G1 of the polarization filter 18 included in the optical system 10 is 0 °
  • the transmission polarization azimuth ⁇ 2 of the second polarization filter unit G2 is 60 °
  • ⁇ 3 is set to 120 °.
  • the polarization direction of the light transmitted through the first optical region S1, the second optical region S2, and the third optical region S3 is 0 °
  • the light is transmitted through the fourth optical region S4, the fifth optical region S5, and the sixth optical region S6.
  • the polarization direction of the light to be transmitted is 60 °
  • the polarization direction of the light transmitted through the seventh optical region S7, the eighth optical region S8 and the ninth optical region S9 is 120 °.
  • the transmission wavelength band of the first spectral filter unit F1 of the spectral filter 16 included in the optical system 10 is ⁇ f1, its central wavelength is ⁇ 1, the transmission wavelength band of the second spectral filter unit F2 is ⁇ f2, its central wavelength is ⁇ 2, and the third wavelength is The transmission wavelength band of the spectral filter unit F3 is ⁇ f3, its central wavelength is ⁇ 3, the transmission wavelength band of the fourth spectral filter unit F4 is ⁇ f4, its central wavelength is ⁇ 4, the transmission wavelength band of the fifth spectral filter unit F5 is ⁇ f5, and The central wavelength is ⁇ 5, the transmission wavelength band of the sixth spectral filter unit F6 is ⁇ f6, the central wavelength is ⁇ 6, the transmission wavelength band of the seventh spectral filter unit F7 is ⁇ f7, the central wavelength is ⁇ 7, and the eighth spectral filter unit F8 is The transmission wavelength band is ⁇ f8, the center wavelength thereof is ⁇ 8, the transmission wavelength band of the ninth spectral filter unit F9 is ⁇ f9, and the center wavelength
  • the wavelength band of light passing through the first optical region S1 is ⁇ f1 (center wavelength ⁇ 1)
  • the wavelength band of light passing through the second optical region S2 is ⁇ f2 (center wavelength ⁇ 2)
  • the wavelength band of light that is transmitted is ⁇ f3 (center wavelength ⁇ 3)
  • the wavelength band of light that is transmitted through the fourth optical region S4 is ⁇ f4 (center wavelength ⁇ 4)
  • the wavelength band of light that is transmitted through the fifth optical region S5 is ⁇ f5 (center wavelength).
  • the wavelength band of light passing through the sixth optical region S6 is ⁇ f6 (center wavelength ⁇ 6)
  • the wavelength band of light passing through the seventh optical region S7 is ⁇ f7 (center wavelength ⁇ 1)
  • passing through the eighth optical region S8 is ⁇ f8 (center wavelength ⁇ 8)
  • the wavelength band of the light transmitted through the ninth optical region S9 is ⁇ f9 (center wavelength ⁇ 9).
  • the transmission polarization direction ⁇ 1 of the first polarization filter element 122A provided in each pixel of the image sensor 100 is 0 °
  • the transmission polarization direction ⁇ 2 of the second polarization filter element 122B is 60 °
  • the transmission polarization direction ⁇ 3 of the third polarization filter element 122C Is 120 °.
  • the polarization direction of the light received by the first pixel P1 is 0 °
  • the polarization direction of the light received by the second pixel P2 is 60 °
  • the polarization direction of the light received by the third pixel P3 is 120 °.
  • the polarization direction of the light received by the fourth pixel P4 is 0 °
  • the polarization direction of the light received by the fifth pixel P5 is 60 °
  • the polarization direction of the light received by the sixth pixel P6 is 120 °
  • the polarization direction of the light received by the seventh pixel P7 is 0 °
  • the polarization direction of the light received by the eighth pixel P8 is 60 °
  • the polarization direction of the light received by the ninth pixel P9 is 120 °.
  • FIG. 17 is a graph of the spectral transmittance of the spectral filter element provided in each pixel of the image sensor.
  • a graph T1 indicated by a solid line is a graph of the spectral transmittance of the first spectral filter element 132A.
  • a graph T2 indicated by a broken line is a graph of the spectral transmittance of the second spectral filter element 132B.
  • a graph T3 indicated by a dashed line is a graph of the spectral transmittance of the third spectral filter element 132C.
  • Matrix B representing the amount of light interference from each optical region Sj is obtained by the Hadamard product of matrix C and matrix D above.
  • the matrix A of the arithmetic expression (Equation 1) for removing interference is obtained by obtaining the inverse matrix B ⁇ 1 of the matrix B.
  • the arithmetic expression for calculating the pixel signals X1 to X9 corresponding to the optical regions S1 to S9 from the pixel signals x1 to x9 of the pixels P1 to P9 is as shown in the following Expression 14. Obviously, in the image pickup apparatus of the present embodiment, the arithmetic expression for calculating the pixel signals X1 to X9 corresponding to the optical regions S1 to S9 from the pixel signals x1 to x9 of the pixels P1 to P9 is as shown in the following Expression 14. Become.
  • FIG. 18 is a diagram showing an example of a subject image.
  • FIG. 19 is a diagram showing an example of an image generated by the pixel signals x1 to x9 output from the image sensor.
  • the image of the code CI1 indicates the image generated by the pixel signal x1 from the first pixel P1 of each pixel block PB (x, y).
  • the image of the code CI2 indicates an image generated by the pixel signal x2 from the second pixel P2 of each pixel block PB (x, y).
  • the image of the code CI3 indicates the image generated by the pixel signal x3 from the third pixel P3 of each pixel block PB (x, y).
  • the image of the code CI4 indicates the image generated by the pixel signal x4 from the fourth pixel P4 of each pixel block PB (x, y).
  • the image of the code CI5 indicates the image generated by the pixel signal x5 from the fifth pixel P5 of each pixel block PB (x, y).
  • the image of the code CI6 indicates the image generated by the pixel signal x6 from the sixth pixel P6 of each pixel block PB (x, y).
  • the image of the code CI7 indicates the image generated by the pixel signal x7 from the seventh pixel P7 of each pixel block PB (x, y).
  • the image of the code CI8 indicates the image generated by the pixel signal x8 from the eighth pixel P8 of each pixel block PB (x, y).
  • the image of the code CI9 indicates an image generated by the pixel signal x9 from the ninth pixel P9 of each pixel block PB (x, y).
  • FIG. 20 is a diagram showing an example of an image generated by performing the interference removal processing on the pixel signals x1 to x9 output from the image sensor.
  • the image with the code ID1 indicates the image obtained in the first optical region S1.
  • the image with the code ID2 indicates the image obtained in the second optical region S2.
  • the image with the code ID3 indicates the image obtained in the third optical region S3.
  • the image of code ID4. The image obtained in the fourth optical region S4 is shown.
  • the image with the code ID5 indicates the image obtained in the fifth optical region S5.
  • the image with the code ID6 indicates the image obtained in the sixth optical region S6.
  • the image with the code ID7 indicates the image obtained in the seventh optical region S7.
  • the image with the code ID8 indicates the image obtained in the eighth optical region S8.
  • the image with the code ID9 indicates the image obtained in the ninth optical region S9. Clear images with interference removed are obtained for any of the images ID1 to ID9.
  • the types of spectral filter elements (first optical filter elements) provided in each pixel of the image sensor are n types, and the types of polarization filter elements (second optical filter elements) (types of transmission polarization directions) are m types.
  • n is an integer of 2 or more (n ⁇ 2)
  • m is an integer of 2 or more and 3 or less (2 ⁇ m ⁇ 3).
  • each pixel is composed of a combination of different spectral filter elements and polarization filter elements. Therefore, in this case, one pixel block is composed of (n ⁇ m) pixels.
  • the number k of images that can be acquired is equal to or less than the number q of pixels that configure one pixel block (k ⁇ q). However, k is an integer of 3 or more.
  • the number k of images to be acquired does not necessarily have to be the same as the number q of pixels forming one pixel block. You may comprise one pixel block by the number of pixels more than the number of the images to acquire.
  • Optical system is equipped with as many optical areas as the number of images to be acquired.
  • a polarization filter unit is provided in each optical region, but the polarization filter unit on the optical system side is set so as to satisfy the following conditions. That is, regarding the transmission polarization azimuth of the polarization filter section provided in each optical region, the number of optical regions having the same transmission polarization azimuth is u. This number u is set to be equal to or less than the number of types of spectral filter elements (first optical filter elements) on the image sensor side.
  • the number u of optical regions having the same transmission polarization azimuth is the spectral filter element on the image sensor side (first optical filter element).
  • the number of types is n or less (u ⁇ n).
  • one pixel block is configured by q pixels by combining n types of spectral filter elements and m types of polarization filter elements
  • q pixel signals x1, x2 from each pixel block of the image sensor, ..., xq is acquired.
  • the optical system calculates k pixel signals X1, X2, ..., Xk corresponding to each optical region from the q pixel signals x1, x2, ..., Xq.
  • An arithmetic expression for is defined using the matrix A as follows.
  • the matrix A is the inverse matrix B ⁇ 1 of the matrix B whose elements are the ratio of the light incident on each optical region of the optical system to each pixel of each pixel block of the image sensor. Obtained. Further, the ratio is calculated by the product of the transmittance c based on the polarized light and the transmittance d based on the spectral transmittance.
  • the combination of the transmission polarization directions of the polarization filter sections provided in each optical region of the optical system and the combination of the transmission polarization directions of the polarization filter element (second optical filter element) provided in the image sensor are made the same.
  • this combination does not necessarily have to be the same.
  • a combination of 45 °, 90 ° and 135 ° may be used on the optical system side, and a combination of 0 °, 60 ° and 120 ° may be used on the image sensor side.
  • the transmission wavelength band set in each optical region of the optical system can be set arbitrarily. For example, a specific wavelength band may be subdivided and an image for each subdivided band may be acquired. In this case, a multi-spectral image of a specific band can be acquired.
  • the pupil portion of the optical system is equally divided in the circumferential direction to include a plurality of optical regions, but the mode of pupil division is not limited to this.
  • a concentric division, a lattice division, a slit division, and the like can be adopted.
  • the array of pixels forming one pixel block is not limited to that in the above-described embodiment.
  • the arrangement of pixels can be appropriately changed according to the number of pixels forming one pixel block and the like.
  • the polarization filter element and the spectral filter element are arranged between the photodiode and the microlens, but either one or both of them is arranged in front of the microlens (subject side). It can also be configured to.
  • the function of the image generation unit 200B (arithmetic unit) in the signal processing unit 200 can be realized by using various processors.
  • the various processors include, for example, a CPU (Central Processing Unit) which is a general-purpose processor that executes software (program) to realize various functions.
  • the above-mentioned various processors include a programmable logic device (Programmable) which is a processor capable of changing a circuit configuration after manufacturing, such as a GPU (Graphics Processing Unit) or an FPGA (Field Programmable Gate Array) which is a processor specialized in image processing.
  • Logic Device PLD
  • the above-mentioned various processors include a dedicated electric circuit which is a processor having a circuit configuration designed specifically for executing a specific process such as an ASIC (Application Specific Integrated Circuit).
  • each unit may be realized by one processor, or may be realized by a plurality of same or different processors (for example, a plurality of FPGAs, a combination of a CPU and an FPGA, or a combination of a CPU and a GPU). Further, a plurality of functions may be realized by one processor. As an example in which a plurality of functions are configured by one processor, first, as represented by a computer such as a server, one processor is configured by a combination of one or more CPUs and software, and the processor is configured by a plurality of processors. There is a form realized as a function of.
  • a processor that realizes the functions of the entire system by one IC (Integrated Circuit) chip is used, as represented by a system-on-chip (SoC).
  • SoC system-on-chip
  • various functions are configured by using one or more of the above various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electrical circuit in which circuit elements such as semiconductor elements are combined.
  • These electric circuits may be electric circuits that realize the above-described functions using a logical sum, a logical product, a logical negation, an exclusive logical sum, and a logical operation in which these are combined.
  • the processor (computer) readable code of the software to be executed is stored in a non-transitory recording medium such as a ROM (Read Only Memory), Refers to the software.
  • the software stored in the non-transitory recording medium includes a program for executing input, analysis, display control, and the like of an image.
  • the code may be recorded on a non-temporary recording medium such as a magneto-optical recording device or a semiconductor memory instead of the ROM.
  • a RAM Random Access Memory
  • data stored in an EEPROM (Electronically Erasable and Programmable Read Only Memory) not shown can be referred to. it can.
  • the coefficient storage unit 200C of the signal processing unit 200 can be implemented by a memory such as a ROM (Read-only Memory) or an EEPROM (Electrically Erasable Programmable Read-only Memory).
  • a memory such as a ROM (Read-only Memory) or an EEPROM (Electrically Erasable Programmable Read-only Memory).
  • the image pickup device may be configured as a lens-interchangeable image pickup device in which the optical system can be exchanged.
  • the matrix A is uniquely determined for each lens (optical system)
  • the matrix A is prepared for each lens, and the coefficient group is stored in the coefficient storage unit.
  • the coefficient group of the matrix A corresponding to the exchanged lens is read from the coefficient storage unit, the arithmetic processing is executed, and an image of each optical region is generated.
  • Imaging Device 10
  • Optical System 12 Lens 14
  • Pupil Division Filter 16
  • Polarization Filter 100
  • Image Sensor 110
  • Pixel Array Layer 112 Photodiode 120
  • Third Polarization Filter element 130
  • Microlens array layer 142 Microlens 200
  • Signal processing unit 200A Analog signal processing unit 200B Image generation unit 200C Coefficient storage Part CI1 Image CI2 generated by the pixel signal x1 from the first pixel P1 Image CI2 Image generated by the pixel signal x2 from the second pixel P2 CI3 Pixel signal x from the third pixel P3 Image CI4 Image generated by pixel signal x4 from fourth pixel P4 Image CI5 Image generated by pixel signal x5 from
  • Pixel signals of the fourth pixel P4 are extracted from the third image data D4 pixel block generated by extracting pixel signals A sixth image data D6 generated by extracting the pixel signal of the fifth pixel P5 from the fourth image data D5 pixel block, and a sixth signal generated by extracting the pixel signal of the sixth pixel P6 from the fifth image data D6 pixel block.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

１つのイメージセンサで高品質なマルチスペクトル画像を取得できる撮像装置を提供する。分光透過率の異なるｎ種（ｎ≧２）の分光フィルタ素子と、透過偏光方位の異なるｍ種（２≦ｍ≦３）の偏光フィルタ素子とを組み合わせて、ｑ種（ｑ＝ｎ×ｍ）の光を各画素で受光する画素ブロックを複数備えたイメージセンサ（１００）と、透過する光の波長帯域が異なるｋ個（ｋ≦ｑ）の光学領域を備え、かつ、各光学領域に偏光フィルタ部を備えた光学系（１０）と、イメージセンサ（１００）から得られる各画素の信号（画素信号）を処理して、光学系（１０）の各光学領域の画像を生成する信号処理部（２００）と、を備える。信号処理部（２００）は、イメージセンサ（１００）の各画素ブロックから得られるｑ個の画素信号（ｘ１、ｘ２、…、ｘｑ）に対して所定の演算処理を行って、光学系（１００）の各光学領域に対応したｋ個の画素信号（Ｘ１、Ｘ２、…、Ｘｋ）を算出し、各光学領域の画像を生成する。

Description

撮像装置
　本発明は、撮像装置に係り、特に、複数の波長帯域の画像（マルチスペクトル画像）を取得する撮像装置に関する。
　複数の波長帯域の画像（マルチスペクトル画像）を取得する撮像装置として、特許文献１には、光学系の瞳部分を分割し、分割された瞳部分のそれぞれに分光透過率の異なる光学フィルタを配置し、かつ、イメージセンサの前方にマイクロレンズアレイを配置した構成の撮像装置が記載されている。この撮像装置は、マイクロレンズアレイによる光線分離効果によって、瞳部分の異なる光学領域からの光をそれぞれ別の画素へと導くことにより、１つのイメージセンサでマルチスペクトル画像を取得する。
　しかし、マイクロレンズアレイによる光線の分離は必ずしも完全ではない。このため、特許文献１の撮像装置では、隣接する画素に光が漏れ、混信（クロストーク）が発生するという問題がある。
　特許文献２には、この問題を解決するために、各画素から得られる信号（画素信号）に所定の信号処理を施して、混信の影響を除去することが提案されている。
国際公開第2012/143983号 国際公開第2015/004886号
　しかしながら、マイクロレンズアレイを用いて光線を分離した場合に各画素で生じる混信の量は、画素の位置によって異なる。したがって、特許文献２の撮像装置で、より高品質な画像を得るには、画素ごとに混信の発生量を求める必要がある。しかし、これには多大な労力を要する。
　本発明は、このような事情に鑑みてなされたもので、１つのイメージセンサで高品質なマルチスペクトル画像を取得できる撮像装置を提供することを目的とする。
　上記課題を解決するための手段は、次のとおりである。
　（１）ｎをｎ≧２を満たす整数、ｍを２≦ｍ≦３を満たす整数、ｑをｎとｍの積とした場合に、分光透過率の異なるｎ種の第１光学フィルタ素子と、透過偏光方位の異なるｍ種の第２光学フィルタ素子とを組み合わせて、ｑ種の光を各画素で受光する画素ブロックを複数備えたイメージセンサと、ｋをｋ≦ｑを満たす整数とした場合に、透過する光の波長帯域が異なるｋ個の光学領域を備え、かつ、各光学領域に偏光フィルタ部を備えた光学系と、ｉを１≦ｉ≦ｋを満たす整数、ｊを１≦ｊ≦ｑを満たす整数とした場合に、各要素がａｉｊで表されるｋ行ｑ列の行列Ａで構成される係数群を記憶する記憶部と、記憶部から係数群を取得し、イメージセンサの各画素ブロックから得られるｑ個の画素信号ｘ１、ｘ２、…、ｘｑから、下記式によって、光学系の各光学領域に対応したｋ個の画素信号Ｘ１、Ｘ２、…、Ｘｋを算出する演算部と、を備える撮像装置。
Figure JPOXMLDOC01-appb-M000002
　本態様によれば、イメージセンサの各画素から得られる信号に対して、画素ブロック単位で所定の演算処理を施すことにより、光学系の各光学領域に対応した信号が得られる。すなわち、混信（クロストーク）のない信号が得られる。これにより、高品質なマルチスペクトル画像を取得できる。
　（２）行列Ａは、光学系の各光学領域に入射した光が、イメージセンサの各画素ブロックの各画素で受光される割合を要素とする行列の逆行列を算出して取得される、上記（１）の撮像装置。
　本態様によれば、光学系の各光学領域に入射した光が、イメージセンサの各画素ブロックの各画素で受光される割合を要素とする行列Ｂの逆行列Ｂ－１を算出して、上記演算式の行列Ａが求められる。
　（３）光学系の各光学領域に入射した光が、イメージセンサの各画素ブロックの各画素で受光される割合は、偏光に基づく透過率をｃ、分光透過率に基づく透過率をｄとした場合に、ｃとｄとの積で算出される、上記（２）の撮像装置。
　本態様によれば、上記行列Ｂの各要素が、偏光に基づく透過率ｃと分光透過率に基づく透過率ｄとの積で算出される。
　（４）偏光に基づく透過率ｃは、光学領域を透過する光の透過偏光方位と画素が受光する光の透過偏光方位との角度差の余弦の二乗を算出して求められ、分光透過率に基づく透過率ｄは、光学領域を透過する光の波長帯域と画素に備えられた第１光学フィルタ素子の分光透過率とに基づいて求められる、上記（３）の撮像装置。
　本態様によれば、偏光に基づく透過率ｃが、光学領域を透過する光の透過偏光方位と画素が受光する光の透過偏光方位との角度差の余弦の二乗で求められる。また、分光透過率に基づく透過率ｄが、光学領域を透過する光の波長帯域と画素に備えられた第１光学フィルタ素子の分光透過率とに基づいて求められる。
　（５）光学系は、同じ透過偏光方位を有する偏光フィルタ部の数がｎ以下である、上記（１）から（４）のいずれか一の撮像装置。
　本態様によれば、光学系において、同じ透過偏光方位を有する偏光フィルタ部の数が、イメージセンサ側に備えられる第１光学フィルタ素子の種類の数以下とされる。
　（６）イメージセンサの各画素ブロックは、分光透過率の異なる３種の第１光学フィルタ素子と、透過偏光方位の異なる３種の第２光学フィルタ素子とを組み合わせて、９種の光を各画素で受光する構成を有する、上記（１）から（５）のいずれか一の撮像装置。
　本態様によれば、イメージセンサの各画素ブロックが、分光透過率の異なる３種の第１光学フィルタ素子と、透過偏光方位の異なる３種の第２光学フィルタ素子とを組み合わせて、９種の光を各画素で個別に受光する構成を有する。
　（７）光学系は、透過する光の波長帯域が異なる９個の光学領域を備える、上記（６）の撮像装置。
　本態様によれば、光学系には、透過する光の波長帯域が異なる９個の光学領域が備えられる。
　（８）光学系は、同じ透過偏光方位の偏光フィルタ部を備えた光学領域を３個ずつ備える、上記（７）の撮像装置。
　本態様によれば、光学系には、同じ透過偏光方位の偏光フィルタ部を備えた光学領域が３個ずつ備えられる。
　（９）光学系に備えられる偏光フィルタ部の透過偏光方位の組み合わせと、イメージセンサに備えられる第２光学フィルタ素子の透過偏光方位の組み合わせが同じである、上記（８）の撮像装置。
　本態様によれば、光学系に備えられる偏光フィルタ部の透過偏光方位の組み合わせと、イメージセンサに備えられる第２光学フィルタ素子の透過偏光方位の組み合わせが、同じ構成とされる。たとえば、光学系に備えられる偏光フィルタ部の透過偏光方位が０°、６０°、９０°の場合、イメージセンサに備えられる第２光学フィルタ素子の透過偏光方位も０°、６０°、９０°とされる。
　（１０）光学系は、異なる透過波長の狭帯域フィルタを各光学領域に備える、上記（１）から（９）のいずれか一の撮像装置。
　本態様によれば、光学系には、異なる透過波長の狭帯域フィルタが、各光学領域に備えられる。
　（１１）光学系は、瞳位置に狭帯域フィルタを備える、上記（１０）の撮像装置。
　本態様によれば、光学系は、瞳位置に狭帯域フィルタが備えられる。
　（１２）イメージセンサは、各画素を構成するフォトダイオードとマイクロレンズとの間に第１光学フィルタ素子及び第２光学フィルタ素子を有する、上記（１）から（１１）のいずれか一の撮像装置。
　本態様によれば、イメージセンサは、各画素を構成するフォトダイオードとマイクロレンズとの間に第１光学フィルタ素子及び第２光学フィルタ素子を備えた構成を有する。
　本発明によれば、１つのイメージセンサで高品質なマルチスペクトル画像を取得できる。
本発明に係る撮像装置の一実施の形態の概略構成を示す図 瞳分割フィルタの正面図 分光フィルタの正面図 各分光フィルタ部に設定される透過波長の一例を示すグラフ 偏光フィルタの正面図 偏光フィルタの各偏光フィルタ部に設定される偏光方向の一例を示す図 イメージセンサの画素の配列の概略構成を示す図 イメージセンサの概略構成を示す図 図９は、１つの画素（図８の破線部）の概略構成を示す断面図 各画素ブロックに備えられる偏光フィルタ素子の配列パターンの一例を示す図 各分光フィルタ素子の分光透過率の設定の一例を示すグラフ 各画素ブロックに備えられる分光フィルタ素子の配列パターンの一例を示す図 信号処理部の概略構成を示すブロック図 画像生成の概念図 各画素に備えられた分光フィルタ素子の分光透過率と光学系の各光学領域を透過する光の波長帯域との関係の一例を示すグラフ 本実施の形態の撮像装置の動作の概念図 イメージセンサの各画素に備えられる分光フィルタ素子の分光透過率のグラフ 被写体画像の一例を示す図 イメージセンサから出力される画素信号ｘ１～ｘ９で生成される画像の例を示す図 イメージセンサから出力される画素信号ｘ１～ｘ９を混信除去処理して生成される画像の例を示す図
　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
　［装置構成］
　ここでは、９つの波長帯域の画像（マルチスペクトル画像）を取得する場合を例に説明する。
　図１は、本発明に係る撮像装置の一実施の形態の概略構成を示す図である。
　同図に示すように、撮像装置１は、光学系１０、イメージセンサ１００及び信号処理部２００を備える。
　〔光学系〕
　光学系１０は、レンズ１２及び瞳分割フィルタ１４を備える。
　レンズ１２は、被写体の光学像をイメージセンサ１００の受光面上に結像させる。レンズ１２は、撮像装置１の用途に応じた構成とされる。
　瞳分割フィルタ１４は、光学系１０の瞳位置又はその近傍に備えられ、光学系１０の瞳部分を９つの光学領域に分割する。瞳分割フィルタ１４は、分光フィルタ１６と偏光フィルタ１８とを重ね合わせて構成される。
　図２は、瞳分割フィルタの正面図である。
　同図に示すように、瞳分割フィルタ１４は、周方向に９等分割された９つの光学領域Ｓｊ（ｊ＝１、２、３、４、５、６、７、８、９）を有する。以下、必要に応じて、符号Ｓ１の光学領域を第１光学領域Ｓ１、符号Ｓ２の光学領域を第２光学領域Ｓ２、符号Ｓ３の光学領域を第３光学領域Ｓ３、符号Ｓ４の光学領域を第４光学領域Ｓ４、符号Ｓ５の光学領域を第５光学領域Ｓ５、符号Ｓ６の光学領域を第６光学領域Ｓ６、符号Ｓ７の光学領域を第７光学領域Ｓ７、符号Ｓ８の光学領域を第８光学領域Ｓ８、符号Ｓ９の光学領域を第９光学領域Ｓ９として、９つの光学領域Ｓｊを区別する。
　各光学領域Ｓｊは、それぞれ異なる波長帯域の光が透過する設定とされる。また、９つの光学領域Ｓｊのうち第１光学領域Ｓ１、第２光学領域Ｓ２及び第３光学領域Ｓ３で構成される光学領域群と、第４光学領域Ｓ４、第５光学領域Ｓ５及び第６光学領域Ｓ６で構成される光学領域群と、第７光学領域Ｓ７、第８光学領域Ｓ８及び第９光学領域Ｓ９で構成される光学領域群とは、互いに異なる偏光方向（透過偏光方位）の光を透過する設定とされる。このような構成は、次の構成の分光フィルタ１６及び偏光フィルタ１８の組み合わせによって実現される。
　図３は、分光フィルタの正面図である。
　分光フィルタ１６は、周方向に９等分割された９つの分光フィルタ部Ｆ１～Ｆ９を有する。以下、必要に応じて、符号Ｆ１の分光フィルタ部を第１分光フィルタ部Ｆ１、符号Ｆ２の分光フィルタ部を第２分光フィルタ部Ｆ２、符号Ｆ３の分光フィルタ部を第３分光フィルタ部Ｆ３、符号Ｆ４の分光フィルタ部を第４分光フィルタ部Ｆ４、符号Ｆ５の分光フィルタ部を第５分光フィルタ部Ｆ５、符号Ｆ６の分光フィルタ部を第６分光フィルタ部Ｆ６、符号Ｆ７の分光フィルタ部を第７分光フィルタ部Ｆ７、符号Ｆ８の分光フィルタ部を第８分光フィルタ部Ｆ８、符号Ｆ９の分光フィルタ部を第９分光フィルタ部Ｆ９として、９つの分光フィルタ部Ｆ１～Ｆ９を区別する。各分光フィルタ部Ｆ１～Ｆ９は、それぞれ瞳分割フィルタ１４の各光学領域Ｓ１～Ｓ９に対応する。すなわち、第１分光フィルタ部Ｆ１は第１光学領域Ｓ１に対応し、第２分光フィルタ部Ｆ２は第２光学領域Ｓ２に対応し、第３分光フィルタ部Ｆ３は第３光学領域Ｓ３に対応し、第４分光フィルタ部Ｆ４は第４光学領域Ｓ４に対応し、第５分光フィルタ部Ｆ５は第５光学領域Ｓ５に対応し、第６分光フィルタ部Ｆ６は第６光学領域Ｓ６に対応し、第７分光フィルタ部Ｆ７は第７光学領域Ｓ７に対応し、第８分光フィルタ部Ｆ８は第８光学領域Ｓ８に対応し、第９分光フィルタ部Ｆ９は第９光学領域Ｓ９に対応する。
　各分光フィルタ部Ｆ１～Ｆ９は、それぞれ異なる波長帯域の光を透過させる構成を有する。すなわち、それぞれ異なる分光透過率特性を有する。
　図４は、各分光フィルタ部に設定される透過波長の一例を示すグラフである。
　第１分光フィルタ部Ｆ１が透過させる光の波長帯域を第１の波長帯域Δｆ１、第２分光フィルタ部Ｆ２が透過させる光の波長帯域を第２の波長帯域Δｆ２、第３分光フィルタ部Ｆ３が透過させる光の波長帯域を第３の波長帯域Δｆ３、第４分光フィルタ部Ｆ４が透過させる光の波長帯域を第４の波長帯域Δｆ４、第５分光フィルタ部Ｆ５が透過させる光の波長帯域を第５の波長帯域Δｆ５、第６分光フィルタ部Ｆ６が透過させる光の波長帯域を第６の波長帯域Δｆ６、第７分光フィルタ部Ｆ７が透過させる光の波長帯域を第７の波長帯域Δｆ７、第８分光フィルタ部Ｆ８が透過させる光の波長帯域を第８の波長帯域Δｆ８、第９分光フィルタ部Ｆ９が透過させる光の波長帯域を第９の波長帯域Δｆ９とする。本実施の形態の撮像装置１では、各分光フィルタ部Ｆ１～Ｆ９が、狭帯域の光、特に、特定の波長帯域内の９つの帯域を透過する設定とされる。
　図５は、偏光フィルタの正面図である。
　偏光フィルタ１８は、周方向に３等分割された３つの偏光フィルタ部Ｇ１～Ｇ３を有する。以下、必要に応じて、符号Ｇ１の偏光フィルタ部を第１偏光フィルタ部Ｇ１、符号Ｇ２の偏光フィルタ部を第２偏光フィルタ部Ｇ２、符号Ｇ３の偏光フィルタ部を第３偏光フィルタ部Ｇ３として、３つの偏光フィルタ部Ｇ１～Ｇ３を区別する。第１偏光フィルタ部Ｇ１は、瞳分割フィルタ１４の第１光学領域Ｓ１～第３光学領域Ｓ３に対応し、第２偏光フィルタ部Ｇ２は、瞳分割フィルタ１４の第４光学領域Ｓ４～第６光学領域Ｓ６に対応し、第３偏光フィルタ部Ｇ３は、瞳分割フィルタ１４の第７光学領域Ｓ７～第９光学領域Ｓ９に対応する。
　図６は、偏光フィルタの各偏光フィルタ部に設定される偏光方向の一例を示す図である。
　偏光方向（透過偏光方位）は、光軸Ｌと直交するＸＹ平面において、偏光透過軸がＸ軸と成す角度（方位角）によって表わされる。図６において、符号Ａａは、第１偏光フィルタ部Ｇ１の偏光透過軸を示し、符号Ａｂは、第２偏光フィルタ部Ｇ２の偏光透過軸を示し、符号Ａｃは、第３偏光フィルタ部Ｇ３の偏光透過軸を示している。図６に示すように、各偏光フィルタ部Ｇ１～Ｇ３は、それぞれ異なる偏光方向（透過偏光方位）の光を透過させる構成を有する。第１偏光フィルタ部Ｇ１が透過させる光の偏光方向（透過偏光方位）をα１、第２偏光フィルタ部Ｇ２が透過させる光の偏光方向（透過偏光方位）をα２、第３偏光フィルタ部Ｇ３が透過させる光の偏光方向（透過偏光方位）をα３とする。本実施の形態の撮像装置１では、第１偏光フィルタ部Ｇ１が、方位角０°（α１＝０°）の光を透過する設定とされ、第２偏光フィルタ部Ｇ２が方位角６０°（α２＝６０°）の光を透過する設定とされ、第３偏光フィルタ部Ｇ３が方位角１２０°（α３＝１２０°）の光を透過する設定とされる。
　以上の構成の分光フィルタ１６及び偏光フィルタ１８を同軸上に重ね合わせることで、瞳分割フィルタ１４が構成される。この瞳分割フィルタ１４は、次のように作用する。すなわち、瞳分割フィルタ１４の第１光学領域Ｓ１を通過する光は、分光フィルタ１６の第１分光フィルタ部Ｆ１及び偏光フィルタ１８の第１偏光フィルタ部Ｇ１を通過する。よって、第１光学領域Ｓ１からは、第１の波長帯域Δｆ１の光が、偏光方向α１に偏光（直線偏光）されて出射される。また、瞳分割フィルタ１４の第２光学領域Ｓ２を通過する光は、分光フィルタ１６の第２分光フィルタ部Ｆ２及び偏光フィルタ１８の第１偏光フィルタ部Ｇ１を通過する。よって、第２光学領域Ｓ２からは、第２の波長帯域Δｆ２の光が、偏光方向α１に偏光（直線偏光）されて出射される。また、瞳分割フィルタ１４の第３光学領域Ｓ３を通過する光は、分光フィルタ１６の第３分光フィルタ部Ｆ３及び偏光フィルタ１８の第１偏光フィルタ部Ｇ１を通過する。よって、第３光学領域Ｓ３からは、第３の波長帯域Δｆ３の光が、偏光方向α１に偏光（直線偏光）されて出射される。また、瞳分割フィルタ１４の第４光学領域Ｓ４を通過する光は、分光フィルタ１６の第４分光フィルタ部Ｆ４及び偏光フィルタ１８の第２偏光フィルタ部Ｇ２を通過する。よって、第４光学領域Ｓ４からは、第４の波長帯域Δｆ４の光が、偏光方向α２に偏光（直線偏光）されて出射される。また、瞳分割フィルタ１４の第５光学領域Ｓ５を通過する光は、分光フィルタ１６の第５分光フィルタ部Ｆ５及び偏光フィルタ１８の第２偏光フィルタ部Ｇ２を通過する。よって、第５光学領域Ｓ５からは、第５の波長帯域Δｆ５の光が、偏光方向α２に偏光（直線偏光）されて出射される。また、瞳分割フィルタ１４の第６光学領域Ｓ６を通過する光は、分光フィルタ１６の第６分光フィルタ部Ｆ６及び偏光フィルタ１８の第２偏光フィルタ部Ｇ２を通過する。よって、第６光学領域Ｓ６からは、第６の波長帯域Δｆ６の光が、偏光方向α２に偏光（直線偏光）されて出射される。また、瞳分割フィルタ１４の第７光学領域Ｓ７を通過する光は、分光フィルタ１６の第７分光フィルタ部Ｆ７及び偏光フィルタ１８の第３偏光フィルタ部Ｇ３を通過する。よって、第７光学領域Ｓ７からは、第７の波長帯域Δｆ７の光が、偏光方向α３に偏光（直線偏光）されて出射される。また、瞳分割フィルタ１４の第８光学領域Ｓ８を通過する光は、分光フィルタ１６の第８分光フィルタ部Ｆ８及び偏光フィルタ１８の第３偏光フィルタ部Ｇ３を通過する。よって、第８光学領域Ｓ８からは、第８の波長帯域Δｆ８の光が、偏光方向α３に偏光（直線偏光）されて出射される。また、瞳分割フィルタ１４の第９光学領域Ｓ９を通過する光は、分光フィルタ１６の第９分光フィルタ部Ｆ９及び偏光フィルタ１８の第３偏光フィルタ部Ｇ３を通過する。よって、第９光学領域Ｓ９からは、第９の波長帯域Δｆ９の光が、偏光方向α３に偏光（直線偏光）されて出射される。
　光学系１０は、全体が光軸Ｌに沿って前後移動可能に設けられる。これにより、焦点調節が行われる。
　〔イメージセンサ〕
　図７は、イメージセンサの画素の配列の概略構成を示す図である。
　同図に示すように、イメージセンサ１００は、その受光面に複数の画素Ｐｉ（ｉ＝１、２、３、４、５、６、７、８、９）を有する。画素Ｐｉは、水平方向（ｘ方向）及び垂直方向（ｙ方向）に沿って、一定ピッチで規則的に配列される。
　本実施の形態のイメージセンサ１００は、隣接する９個（３個×３個）の画素Ｐｉで１つの画素ブロックＰＢ（ｘ、ｙ）を構成し、この画素ブロックＰＢ（ｘ、ｙ）が、水平方向（ｘ方向）及び垂直方向（ｙ方向）に沿って規則的に配列される。以下、必要に応じて、符号Ｐ１の画素を第１画素Ｐ１、符号Ｐ２の画素を第２画素Ｐ２、符号Ｐ３の画素を第３画素Ｐ３、符号Ｐ４の画素を第４画素Ｐ４、符号Ｐ５の画素を第５画素Ｐ５、符号Ｐ６の画素を第６画素Ｐ６、符号Ｐ７の画素を第７画素Ｐ７、符号Ｐ８の画素を第８画素Ｐ８、符号Ｐ９の画素を第９画素Ｐ９として、１つの画素ブロックＰＢ（ｘ、ｙ）に備えられる９個の画素を区別する。各画素Ｐｉは、それぞれ異なる特性の光を受光する。
　図８は、イメージセンサの概略構成を示す図である。図９は、１つの画素（図８の破線部）の概略構成を示す断面図である。
　イメージセンサ１００は、ピクセルアレイ層１１０、偏光フィルタ素子アレイ層１２０、分光フィルタ素子アレイ層１３０及びマイクロレンズアレイ層１４０を有する。各層は、像面側から物体側に向かって、ピクセルアレイ層１１０、偏光フィルタ素子アレイ層１２０、分光フィルタ素子アレイ層１３０、マイクロレンズアレイ層１４０の順に配置される。
　ピクセルアレイ層１１０は、多数のフォトダイオード１１２を二次元的に配列して構成される。１つのフォトダイオード１１２は、１つの画素を構成する。各フォトダイオード１１２は、水平方向（ｘ方向）及び垂直方向（ｙ方向）に沿って規則的に配置される。
　偏光フィルタ素子アレイ層１２０は、互いに偏光方向（透過偏光方位）の異なる３種類の偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃを二次元的に配列して構成される。以下、必要に応じて、符号１２２Ａの偏光フィルタ素子を第１偏光フィルタ素子１２２Ａ、符号１２２Ｂの偏光フィルタ素子を第２偏光フィルタ素子１２２Ｂ、符号１２２Ｃの偏光フィルタ素子を第３偏光フィルタ素子１２２Ｃとして、３種類の偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃを区別する。各偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃは、フォトダイオード１１２と同じ間隔で配置され、画素ごとに備えられる。第１偏光フィルタ素子１２２Ａが透過させる光の偏光方向（透過偏光方位）をβ１、第２偏光フィルタ素子１２２Ｂが透過させる光の偏光方向（透過偏光方位）をβ２、第３偏光フィルタ素子１２２Ｃが透過させる光の偏光方向（透過偏光方位）をβ３とする。本実施の形態の撮像装置１では、第１偏光フィルタ素子１２２Ａが、方位角０°（β＝０°）の光を透過する設定とされ、第２偏光フィルタ素子１２２Ｂが方位角６０°（β２＝６０°）の光を透過する設定とされ、第３偏光フィルタ素子１２２Ｃが方位角１２０°（β３＝１２０°）の光を透過する設定とされる。偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃは、第２光学フィルタの一例である。
　各画素ブロックＰＢ（ｘ、ｙ）において、偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃは、規則的に配列される。
　図１０は、各画素ブロックに備えられる偏光フィルタ素子の配列パターンの一例を示す図である。
　同図に示すように、本実施の形態の撮像装置１では、画素ブロック内の第１列目の画素である第１画素Ｐ１、第４画素Ｐ４及び第７画素Ｐ７に第１偏光フィルタ素子１２２Ａが備えられ、画素ブロック内の第２列目の画素である第２画素Ｐ２、第５画素Ｐ５及び第８画素Ｐ８に第２偏光フィルタ素子１２２Ｂが備えられ、画素ブロック内の第３列目の画素である第３画素Ｐ３、第６画素Ｐ６及び第９画素Ｐ９に第３偏光フィルタ素子１２２Ｃが備えられる。
　分光フィルタ素子アレイ層１３０は、互いに分光透過率の異なる３種類の分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃを二次元的に配列して構成される。以下、必要に応じて、符号１３２Ａの分光フィルタ素子を第１分光フィルタ素子１３２Ａ、符号１３２Ｂの分光フィルタ素子を第２分光フィルタ素子１３２Ｂ、符号１３２Ｃの分光フィルタ素子を第３分光フィルタ素子１３２Ｃとして、３種類の分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃを区別する。各分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃは、フォトダイオード１１２と同じ間隔で配置され、画素ごとに備えられる。分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃは、第１光学フィルタの一例である。
　図１１は、各分光フィルタ素子の分光透過率の設定の一例を示すグラフである。
　同図において、実線で示すグラフＴ１は、第１分光フィルタ素子１３２Ａの分光透過率のグラフである。また、破線で示すグラフＴ２は、第２分光フィルタ素子１３２Ｂの分光透過率のグラフである。また、一点破線で示すグラフＴ３は、第３分光フィルタ素子１３２Ｃの分光透過率のグラフである。
　図１１に示すように、各分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃは、光学系１０に備えられた分光フィルタ１６の各分光フィルタ部Ｆ１～Ｆ９を透過する光が異なる透過率で透過する構成を有する。特に、本実施の形態の撮像装置１では、第１分光フィルタ素子１３２Ａは、短い波長帯域の光をより多く透過させる特性を有し、第２分光フィルタ素子１３２Ｂは、中間の波長帯域の光をより多く透過させる特性を有し、第３分光フィルタ素子１３２Ｃは、長い波長帯域の光をより多く透過させる特性を有する。
　図１２は、各画素ブロックに備えられる分光フィルタ素子の配列パターンの一例を示す図である。
　同図に示すように、各画素ブロックＰＢ（ｘ、ｙ）において、分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃは、規則的に配列される。本実施の形態の撮像装置１では、画素ブロック内の第１行目の画素である第１画素Ｐ１、第２画素Ｐ２及び第３画素Ｐ３に第１分光フィルタ素子１３２Ａが備えられ、画素ブロック内の第２行目の画素である第４画素Ｐ４、第５画素Ｐ５及び第６画素Ｐ６に第２分光フィルタ素子１３２Ｂが備えられ、画素ブロック内の第３行目の画素である第７画素Ｐ７、第８画素Ｐ８及び第９画素Ｐ９に第３分光フィルタ素子１３２Ｃが備えられる。
　マイクロレンズアレイ層１４０は、多数のマイクロレンズ１４２を二次元的に配列して構成される。各マイクロレンズ１４２は、フォトダイオード１１２と同じ間隔で配置され、１画素ごとに備えられる。マイクロレンズ１４２は、光学系１０からの光をフォトダイオード１１２に効率よく集光させる目的で備えられる。
　以上のように構成されるイメージセンサ１００は、各画素ブロックＰＢ（ｘ、ｙ）において、各画素Ｐｉが、次のように光学系１０からの光を受光する。すなわち、第１画素Ｐ１は、第１分光フィルタ素子１３２Ａ及び第１偏光フィルタ素子１２２Ａを介して、光学系１０からの光を受光する。また、第２画素Ｐ２は、第１分光フィルタ素子１３２Ａ及び第２偏光フィルタ素子１２２Ｂを介して、光学系１０からの光を受光する。また、第３画素Ｐ３は、第１分光フィルタ素子１３２Ａ及び第３偏光フィルタ素子１２２Ｃを介して、光学系１０からの光を受光する。また、第４画素Ｐ４は、第２分光フィルタ素子１３２Ｂ及び第１偏光フィルタ素子１２２Ａを介して、光学系１０からの光を受光する。また、第５画素Ｐ５は、第２分光フィルタ素子１３２Ｂ及び第２偏光フィルタ素子１２２Ｂを介して、光学系１０からの光を受光する。また、第６画素Ｐ６は、第２分光フィルタ素子１３２Ｂ及び第３偏光フィルタ素子１２２Ｃを介して、光学系１０からの光を受光する。また、第７画素Ｐ７は、第３分光フィルタ素子１３２Ｃ及び第１偏光フィルタ素子１２２Ａを介して、光学系１０からの光を受光する。また、第８画素Ｐ８は、第３分光フィルタ素子１３２Ｃ及び第２偏光フィルタ素子１２２Ｂを介して、光学系１０からの光を受光する。また、第９画素Ｐ９は、第３分光フィルタ素子１３２Ｃ及び第３偏光フィルタ素子１２２Ｃを介して、光学系１０からの光を受光する。このように、画素ブロックＰＢ（ｘ、ｙ）の各画素Ｐｉは、異なる組み合わせの分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃと偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃを有することにより、それぞれ異なる特性の光を受光する。
　〔信号処理部〕
　信号処理部２００は、イメージセンサ１００から出力される信号を処理して、光学系１０の各光学領域Ｓｊで取得される画像データを生成する。
　図１３は、信号処理部の概略構成を示すブロック図である。
　同図に示すように、信号処理部２００は、アナログ信号処理部２００Ａ、画像生成部２００Ｂ及び係数記憶部２００Ｃを含む。
　アナログ信号処理部２００Ａは、イメージセンサ１００の各画素から出力されるアナログの画素信号を取り込み、所定の信号処理（たとえば、相関二重サンプリング処理、増幅処理等）を施した後、デジタル信号に変換して出力する。
　画像生成部２００Ｂは、デジタル信号に変換された後の画素信号に所定の信号処理を施して、各光学領域Ｓｊに対応した画像データを生成する。すなわち、各光学領域Ｓｊで取得される画像の画像データ画像を生成する。
　図１４は、画像生成の概念図である。
　各画素ブロックＰＢ（ｘ，ｙ）には、第１画素Ｐ１、第２画素Ｐ２、第３画素Ｐ３、第４画素Ｐ４、第５画素Ｐ５、第６画素Ｐ６、第７画素Ｐ７、第８画素Ｐ８及び第９画素Ｐ９が含まれる。したがって、各画素ブロックＰＢ（ｘ，ｙ）から第１画素Ｐ１、第２画素Ｐ２、第３画素Ｐ３、第４画素Ｐ４、第５画素Ｐ５、第６画素Ｐ６、第７画素Ｐ７、第８画素Ｐ８及び第９画素Ｐ９の画素信号を分離して抽出することにより、９つの画像データＤ１～Ｄ９が生成される。
　すなわち、各画素ブロックＰＢ（ｘ，ｙ）から第１画素Ｐ１の画素信号を分離して抽出することにより、第１の画像データＤ１が生成される。また、各画素ブロックＰＢ（ｘ，ｙ）から第２画素Ｐ２の画素信号を分離して抽出することにより、第２の画像データＤ２が生成される。また、各画素ブロックＰＢ（ｘ，ｙ）から第３画素Ｐ３の画素信号を分離して抽出することにより、第３の画像データＤ３が生成される。また、各画素ブロックＰＢ（ｘ，ｙ）から第４画素Ｐ４の画素信号を分離して抽出することにより、第４の画像データＤ４が生成される。また、各画素ブロックＰＢ（ｘ，ｙ）から第５画素Ｐ５の画素信号を分離して抽出することにより、第５の画像データＤ５が生成される。また、各画素ブロックＰＢ（ｘ，ｙ）から第６画素Ｐ６の画素信号を分離して抽出することにより、第６の画像データＤ６が生成される。また、各画素ブロックＰＢ（ｘ，ｙ）から第７画素Ｐ７の画素信号を分離して抽出することにより、第７の画像データＤ７が生成される。また、各画素ブロックＰＢ（ｘ，ｙ）から第８画素Ｐ８の画素信号を分離して抽出することにより、第８の画像データＤ８が生成される。また、各画素ブロックＰＢ（ｘ，ｙ）から第９画素Ｐ９の画素信号を分離して抽出することにより、第９の画像データＤ９が生成される。
　しかし、この９つの画像データＤ１～Ｄ９には、混信（クロストーク）が生じている。すなわち、各画素Ｐｉには、光学系１０の各光学領域Ｓｊからの光が入射するため、生成される画像は、各光学領域Ｓｊの画像が所定の割合で混合した画像となる。このため、画像生成部２００Ｂは、次の演算処理を行って、混信（クロストーク）を除去する。
　いま、各画素ブロックＰＢ（ｘ、ｙ）の第１画素Ｐ１で得られる画素信号（信号値）をｘ１、第２画素Ｐ２で得られる画素信号をｘ２、第３画素Ｐ３で得られる画素信号をｘ３、第４画素Ｐ４で得られる画素信号をｘ４、第５画素Ｐ５で得られる画素信号をｘ５、第６画素Ｐ６で得られる画素信号をｘ６、第７画素Ｐ７で得られる画素信号をｘ７、第８画素Ｐ８で得られる画素信号をｘ８、第９画素Ｐ９で得られる画素信号をｘ９、とする。各画素ブロックＰＢ（ｘ，ｙ）からは、９個の画素信号ｘ１～ｘ９が得られる。画像生成部２００Ｂは、この９個の画素信号ｘ１～ｘ９から、行列Ａを用いた下記の式１によって、各光学領域Ｓ１～Ｓ９に対応した９個の画素信号Ｘ１～Ｘ９を算出し、混信を除去する。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　なお、画素信号Ｘ１は第１光学領域Ｓ１に対応した画素信号、画素信号Ｘ２は第２光学領域Ｓ２に対応した画素信号、画素信号Ｘ３は第３光学領域Ｓ３に対応した画素信号、画素信号Ｘ４は第４光学領域Ｓ４に対応した画素信号、画素信号Ｘ５は第５光学領域Ｓ５に対応した画素信号、画素信号Ｘ６は第６光学領域Ｓ６に対応した画素信号、画素信号Ｘ７は第７光学領域Ｓ７に対応した画素信号、画素信号Ｘ８は第８光学領域Ｓ８に対応した画素信号、画素信号Ｘ９は第９光学領域Ｓ９に対応した画素信号である。したがって、画素信号Ｘ１からは第１光学領域Ｓ１で取得される画像が生成され、画素信号Ｘ２からは第２光学領域Ｓ２で取得される画像が生成され、画素信号Ｘ３からは第３光学領域Ｓ３で取得される画像が生成され、画素信号Ｘ４からは第４光学領域Ｓ４で取得される画像が生成され、画素信号Ｘ５からは第５光学領域Ｓ５で取得される画像が生成され、画素信号Ｘ６からは第６光学領域Ｓ６で取得される画像が生成され、画素信号Ｘ７からは第７光学領域Ｓ７で取得される画像が生成され、画素信号Ｘ８からは第８光学領域Ｓ８で取得される画像が生成され、画素信号Ｘ９からは第９光学領域Ｓ９で取得される画像が生成される。
　以下、上記式１によって混信を除去できる理由について説明する。
　混信は、各画素Ｐｉに各光学領域Ｓｊからの光が混入することで発生する。いま、光学系１０の第ｊ光学領域Ｓｊ（ｊ＝１～９）に入射した光が、各画素ブロックＰＢ（ｘ、ｙ）の第ｉ画素Ｐｉ（ｉ＝１～９）で受光される割合（混信量（混信比率ともいう））をｂｉｊ（ｉ＝１～９、ｊ＝１～９）とすると、各画素ブロックＰＢ（ｘ、ｙ）の各画素Ｐｉで得られる画素信号ｘｉと、光学系１０の各光学領域Ｓｊに対応する画素信号Ｘｊとの間には、次の関係が成り立つ。
　すなわち、第１画素Ｐ１で得られる画素信号ｘ１に関して、次式２が成り立つ（「＊」は、積算の記号）。
　ｂ１１＊Ｘ１＋ｂ１２＊Ｘ２＋ｂ１３＊Ｘ３＋ｂ１４＊Ｘ４＋ｂ１５＊Ｘ５＋ｂ１６＊Ｘ６＋ｂ１７＊Ｘ７＋ｂ１８＊Ｘ８＋ｂ１９＊Ｘ９＝ｘ１…式２
　また、第２画素Ｐ２で得られる画素信号ｘ２に関して、次式３が成り立つ。
　ｂ２１＊Ｘ１＋ｂ２２＊Ｘ２＋ｂ２３＊Ｘ３＋ｂ２４＊Ｘ４＋ｂ２５＊Ｘ５＋ｂ２６＊Ｘ６＋ｂ２７＊Ｘ７＋ｂ２８＊Ｘ８＋ｂ２９＊Ｘ９＝ｘ２…式３
　また、第３画素Ｐ３で得られる画素信号ｘ３に関して、次式４が成り立つ。
　ｂ３１＊Ｘ１＋ｂ３２＊Ｘ２＋ｂ３３＊Ｘ３＋ｂ３４＊Ｘ４＋ｂ３５＊Ｘ５＋ｂ３６＊Ｘ６＋ｂ３７＊Ｘ７＋ｂ３８＊Ｘ８＋ｂ３９＊Ｘ９＝ｘ３…式４
　また、第４画素Ｐ４で得られる画素信号ｘ４に関して、次式５が成り立つ。
　ｂ４１＊Ｘ１＋ｂ４２＊Ｘ２＋ｂ４３＊Ｘ３＋ｂ４４＊Ｘ４＋ｂ４５＊Ｘ５＋ｂ４６＊Ｘ６＋ｂ４７＊Ｘ７＋ｂ４８＊Ｘ８＋ｂ４９＊Ｘ９＝ｘ４…式５
　また、第５画素Ｐ５で得られる画素信号ｘ５に関して、次式６が成り立つ。
　ｂ５１＊Ｘ１＋ｂ５２＊Ｘ２＋ｂ５３＊Ｘ３＋ｂ５４＊Ｘ４＋ｂ５５＊Ｘ５＋ｂ５６＊Ｘ６＋ｂ５７＊Ｘ７＋ｂ５８＊Ｘ８＋ｂ５９＊Ｘ９＝ｘ５…式６
　また、第６画素Ｐ６で得られる画素信号ｘ６に関して、次式７が成り立つ。
　ｂ６１＊Ｘ１＋ｂ６２＊Ｘ２＋ｂ６３＊Ｘ３＋ｂ６４＊Ｘ４＋ｂ６５＊Ｘ５＋ｂ６６＊Ｘ６＋ｂ６７＊Ｘ７＋ｂ６８＊Ｘ８＋ｂ６９＊Ｘ９＝ｘ６…式７
　また、第７画素Ｐ７で得られる画素信号ｘ７に関して、次式８が成り立つ。
　ｂ７１＊Ｘ１＋ｂ７２＊Ｘ２＋ｂ７３＊Ｘ３＋ｂ７４＊Ｘ４＋ｂ７５＊Ｘ５＋ｂ７６＊Ｘ６＋ｂ７７＊Ｘ７＋ｂ７８＊Ｘ８＋ｂ７９＊Ｘ９＝ｘ７…式８
　また、第８画素Ｐ８で得られる画素信号ｘ８に関して、次式９が成り立つ。
　ｂ８１＊Ｘ１＋ｂ８２＊Ｘ２＋ｂ８３＊Ｘ３＋ｂ８４＊Ｘ４＋ｂ８５＊Ｘ５＋ｂ８６＊Ｘ６＋ｂ８７＊Ｘ７＋ｂ８８＊Ｘ８＋ｂ８９＊Ｘ９＝ｘ８…式９
　また、第９画素Ｐ９で得られる画素信号ｘ９に関して、次式１０が成り立つ。
　ｂ９１＊Ｘ１＋ｂ９２＊Ｘ２＋ｂ９３＊Ｘ３＋ｂ９４＊Ｘ４＋ｂ９５＊Ｘ５＋ｂ９６＊Ｘ６＋ｂ９７＊Ｘ７＋ｂ９８＊Ｘ８＋ｂ９９＊Ｘ９＝ｘ９…式１０
　Ｘ１～Ｘ９について、式２～１０の連立方程式を解くことで、元の画像の画素信号、すなわち、各光学領域Ｓ１～Ｓ９に対応した画素信号Ｘ１～Ｘ９を取得できる。
　ここで、上記の連立方程式は、行列Ｂを用いた下記の式１１で表わすことができる。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　式２～１０の連立方程式の解であるＸ１～Ｘ９は、上記式１１の両辺に行列Ｂの逆行列Ｂ－１をかけることで算出される。
Figure JPOXMLDOC01-appb-M000007
　このように、各光学領域Ｓ１～Ｓ９に対応した画素信号Ｘ１～Ｘ９は、光学系１０の各光学領域Ｓ１～Ｓ９に入射した光が、画素ブロックＰＢ（ｘ、ｙ）の各画素Ｐ１～Ｓ９で受光される割合に基づいて、各画素Ｐ１～Ｐ２の信号値（画素信号）ｘ１～ｘ９から算出できる。
　上記式１は、上記式１２の逆行列Ｂ－１をＡとしたものである（Ｂ－１＝Ａ）。したがって、式１２における行列Ａの各要素ａｉｊは、行列Ｂの逆行列Ｂ－１を求めることで取得できる。行列Ｂの各要素ｂｉｊ（ｉ＝１～９、ｊ＝１～９）は、光学系１０の第ｊ光学領域Ｓｊ（ｊ＝１～９）に入射した光が、各画素ブロックＰＢ（ｘ、ｙ）の第ｉ画素Ｐｉ（ｉ＝１～９）で受光される割合（混信量）である。この割合は、偏光に基づく透過率をｃ、分光透過率に基づく透過率をｄとした場合に、透過率ｃと透過率ｄとの積で算出される。
　ここで、偏光に基づく透過率ｃは、光学領域を透過する光の透過偏光方位と画素が受光する光の透過偏光方位との角度差の余弦の二乗で算出される。
　また、分光透過率に基づく透過率ｄは、光学領域を透過する光の波長帯域と画素に備えられた分光フィルタ素子の分光透過率とに基づいて求められる。
　たとえば、光学系１０の第ｊ光学領域Ｓｊとイメージセンサ１００の第ｉ画素Ｐｉとの関係において、偏光に基づく透過率ｃは、第ｊ光学領域Ｓｊを透過する光の透過偏光方位をθｊ、第ｉ画素Ｐｉが受光する光の透過偏光方位をΦｉとすると、その角度差（｜θｊ－Φｉ｜）の余弦（ｃｏｓ）の二乗（ｃｏｓ２（｜θｊ－Φｉ｜））で算出される。
　また、分光透過率に基づく透過率ｄは、第ｊ光学領域Ｓｊを透過する光の波長帯域と、第ｉ画素Ｐｉに備えられた分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃの分光透過率と、に基づいて求められる。すなわち、第ｉ画素Ｐｉに備えられた分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃの分光透過率に基づいて、第ｊ光学領域Ｓｊを透過する光の波長帯域から求められる。
　本実施の形態の撮像装置１において、第１光学領域Ｓ１、第２光学領域Ｓ２及び第３光学領域Ｓ３を透過する光の透過偏光方位はα１、第４光学領域Ｓ４、第５光学領域Ｓ５及び第６光学領域Ｓ６を透過する光の透過偏光方位はα２、第７光学領域Ｓ７、第８光学領域Ｓ８及び第９光学領域Ｓ９を透過する透過偏光方位はα３である。また、各画素ブロックＰＢ（ｘ、ｙ）の第１画素Ｐ１、第４画素Ｐ４及び第７画素Ｐ７で受光される光の透過偏光方位はβ１、第２画素Ｐ２、第５画素Ｐ５及び第８画素Ｐ８で受光される光の透過偏光方位はβ２、第３画素Ｐ３、第６画素Ｐ６及び第９画素Ｐ９で受光される光の透過偏光方位はβ３である。
　よって、第１光学領域Ｓ１、第２光学領域Ｓ２及び第３光学領域Ｓ３と各画素Ｐ１～Ｐ９との間の偏光に基づく透過率ｃは、第１画素Ｐ１に関して、ｃ＝（ｃｏｓ２（｜α１－β１｜））、第２画素Ｐ２に関して、ｃ＝（ｃｏｓ２（｜α１－β２｜））、第３画素Ｐ３に関して、ｃ＝（ｃｏｓ２（｜α１－β３｜））、第４画素Ｐ４に関して、ｃ＝（ｃｏｓ２（｜α１－β１｜））、第５画素Ｐ５に関して、ｃ＝（ｃｏｓ２（｜α１－β２｜））、第６画素Ｐ６に関して、ｃ＝（ｃｏｓ２（｜α１－β３｜））、第７画素Ｐ７に関して、ｃ＝（ｃｏｓ２（｜α１－β１｜））、第８画素Ｐ８に関して、ｃ＝（ｃｏｓ２（｜α１－β２｜））、第９画素Ｐ９に関して、ｃ＝（ｃｏｓ２（｜α１－β３｜））で算出される。
　また、第４光学領域Ｓ４、第５光学領域Ｓ５及び第６光学領域Ｓ６と各画素Ｐ１～Ｐ９との間の偏光に基づく透過率ｃは、第１画素Ｐ１に関して、ｃ＝（ｃｏｓ２（｜α２－β１｜））、第２画素Ｐ２に関して、ｃ＝（ｃｏｓ２（｜α２－β２｜））、第３画素Ｐ３に関して、ｃ＝（ｃｏｓ２（｜α２－β３｜））、第４画素Ｐ４に関して、ｃ＝（ｃｏｓ２（｜α２－β１｜））、第５画素Ｐ５に関して、ｃ＝（ｃｏｓ２（｜α２－β２｜））、第６画素Ｐ６に関して、ｃ＝（ｃｏｓ２（｜α２－β３｜））、第７画素Ｐ７に関して、ｃ＝（ｃｏｓ２（｜α２－β１｜））、第８画素Ｐ８に関して、ｃ＝（ｃｏｓ２（｜α２－β２｜））、第９画素Ｐ９に関して、ｃ＝（ｃｏｓ２（｜α２－β３｜））で算出される。
　また、第７光学領域Ｓ７、第８光学領域Ｓ８及び第９光学領域Ｓ９と各画素Ｐ１～Ｐ９との間の偏光に基づく透過率ｃは、第１画素Ｐ１に関して、ｃ＝（ｃｏｓ２（｜α３－β１｜））、第２画素Ｐ２に関して、ｃ＝（ｃｏｓ２（｜α３－β２｜））、第３画素Ｐ３に関して、ｃ＝（ｃｏｓ２（｜α３－β３｜））、第４画素Ｐ４に関して、ｃ＝（ｃｏｓ２（｜α３－β１｜））、第５画素Ｐ５に関して、ｃ＝（ｃｏｓ２（｜α３－β２｜））、第６画素Ｐ６に関して、ｃ＝（ｃｏｓ２（｜α３－β３｜））、第７画素Ｐ７に関して、ｃ＝（ｃｏｓ２（｜α３－β１｜））、第８画素Ｐ８に関して、ｃ＝（ｃｏｓ２（｜α３－β２｜））、第９画素Ｐ９に関して、ｃ＝（ｃｏｓ２（｜α３－β３｜））で算出される。
　本実施の形態では、α１＝０°、α２＝６０°、α３＝１２０°、β１＝０°、β２＝６０°、β３＝１２０°であるので、第１光学領域Ｓ１、第２光学領域Ｓ２及び第３光学領域Ｓ３と各画素Ｐ１～Ｐ９との間の偏光に基づく透過率ｃは、第１画素Ｐ１に関して、ｃ＝１、第２画素Ｐ２に関して、ｃ＝０．２５、第３画素Ｐ３に関して、ｃ＝０．２５、第４画素Ｐ４に関して、ｃ＝１、第５画素Ｐ５に関して、ｃ＝０．２５、第６画素Ｐ６に関して、ｃ＝０．２５、第７画素Ｐ７に関して、ｃ＝１、第８画素Ｐ８に関して、ｃ＝０．２５、第９画素Ｐ９に関して、ｃ＝０．２５となる。また、第４光学領域Ｓ４、第５光学領域Ｓ５及び第６光学領域Ｓ６と各画素Ｐ１～Ｐ９との間の偏光に基づく透過率ｃは、第１画素Ｐ１に関して、ｃ＝０．２５、第２画素Ｐ２に関して、ｃ＝１、第３画素Ｐ３に関して、ｃ＝０．２５、第４画素Ｐ４に関して、ｃ＝０．２５、第５画素Ｐ５に関して、ｃ＝１、第６画素Ｐ６に関して、ｃ＝０．２５、第７画素Ｐ７に関して、ｃ＝０．２５、第８画素Ｐ８に関して、ｃ＝１、第９画素Ｐ９に関して、ｃ＝０．２５となる。また、第７光学領域Ｓ７、第８光学領域Ｓ８及び第９光学領域Ｓ９と各画素Ｐ１～Ｐ９との間の偏光に基づく透過率ｃは、第１画素Ｐ１に関して、ｃ＝０．２５、第２画素Ｐ２に関して、ｃ＝０．２５、第３画素Ｐ３に関して、ｃ＝１、第４画素Ｐ４に関して、ｃ＝０．２５、第５画素Ｐ５に関して、ｃ＝０．２５、第６画素Ｐ６に関して、ｃ＝１、第７画素Ｐ７に関して、ｃ＝０．２５、第８画素Ｐ８に関して、ｃ＝０．２５、第９画素Ｐ９に関して、ｃ＝１となる。
　第ｊ光学領域Ｓｊと第ｉ画素Ｐｉとの間の偏光に基づく透過率ｃについては、ｃｉｊ（ｉ＝１～９、ｊ＝１～９）を要素とする下記の９行９列の行列Ｃで表わされる。
Figure JPOXMLDOC01-appb-M000008
　本実施の形態の撮像装置１は、α１＝０°、α２＝６０°、α３＝１２０°、β１＝０°、β２＝６０°、β３＝１２０°であるので、行列Ｃは、次のようになる。
Figure JPOXMLDOC01-appb-M000009
　一方、分光透過率に基づく透過率ｄについては、ｄｉｊ（ｉ＝１～９、ｊ＝１～９）を要素とする下記の９行９列の行列Ｄで表わされる。
Figure JPOXMLDOC01-appb-M000010
　ここで、ｄｉｊは、第ｊ光学領域Ｓｊと第ｉ画素Ｐｉとの間の透過率である。この透過率は、第ｉ画素Ｐｉに備えられた分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃの分光透過率に基づいて、第ｊ光学領域Ｓｊを透過する光の波長帯域（中心波長又はピークの波長）から求められる。
　図１５は、各画素に備えられた分光フィルタ素子の分光透過率と光学系の各光学領域を透過する光の波長帯域との関係の一例を示すグラフである。
　上記のように、本実施の形態の撮像装置１では、第１画素Ｐ１、第２画素Ｐ２及び第３画素Ｐ３に第１分光フィルタ素子１３２Ａが備えられる。したがって、第１画素Ｐ１、第２画素Ｐ２及び第３画素Ｐ３は、同じ分光透過率を有する（図１５において実線のグラフＴ１）。また、本実施の形態の撮像装置１では、第４画素Ｐ４、第５画素Ｐ５及び第６画素Ｐ６に第２分光フィルタ素子１３２Ｂが備えられる。第４画素Ｐ４、第５画素Ｐ５及び第６画素Ｐ６は、同じ分光透過率を有する（図１５において破線のグラフＴ２）。また、本実施の形態の撮像装置１では、第７画素Ｐ７、第８画素Ｐ８及び第９画素Ｐ９に第３分光フィルタ素子１３２Ｃが備えられる。したがって、第７画素Ｐ７、第８画素Ｐ８及び第９画素Ｐ９は、同じ分光透過率を有する（図１５において一点破線のグラフＴ３）。
　図１５に示すグラフから、第１光学領域Ｓ１と各画素Ｐ１～Ｐ９との間における分光透過率に基づく透過率は、第１画素Ｐ１に関して、ｄ１１＝０．７、第２画素Ｐ２に関して、ｄ２１＝０．７、第３画素Ｐ３に関して、ｄ３１＝０．７、第４画素Ｐ４に関して、ｄ４１＝０．４、第５画素Ｐ５に関して、ｄ５１＝０．４、第６画素Ｐ６に関して、ｄ６１＝０．４、第７画素Ｐ７に関して、ｄ７１＝０．３、第８画素Ｐ８に関して、ｄ８１＝０．３、第９画素Ｐ９に関して、ｄ９１＝０．３となる。
　また、第２光学領域Ｓ２と各画素Ｐ１～Ｐ９との間における分光透過率に基づく透過率は、第１画素Ｐ１に関して、ｄ１２＝０．７５、第２画素Ｐ２に関して、ｄ２２＝０．７５、第３画素Ｐ３に関して、ｄ３２＝０．７５、第４画素Ｐ４に関して、ｄ４２＝０．６、第５画素Ｐ５に関して、ｄ５２＝０．６、第６画素Ｐ６に関して、ｄ６２＝０．６、第７画素Ｐ７に関して、ｄ７２＝０．４、第８画素Ｐ８に関して、ｄ８２＝０．４、第９画素Ｐ９に関して、ｄ９２＝０．４となる。
　また、第３光学領域Ｓ３と各画素Ｐ１～Ｐ９との間における分光透過率に基づく透過率は、第１画素Ｐ１に関して、ｄ１３＝０．７２、第２画素Ｐ２に関して、ｄ２３＝０．７２、第３画素Ｐ３に関して、ｄ３３＝０．７２、第４画素Ｐ４に関して、ｄ４３＝０．７３、第５画素Ｐ５に関して、ｄ５３＝０．７３、第６画素Ｐ６に関して、ｄ６３＝０．７３、第７画素Ｐ７に関して、ｄ７３＝０．４５、第８画素Ｐ８に関して、ｄ８３＝０．４５、第９画素Ｐ９に関して、ｄ９３＝０．４５となる。
　また、第４光学領域Ｓ４と各画素Ｐ１～Ｐ９との間における分光透過率に基づく透過率は、第１画素Ｐ１に関して、ｄ１４＝０．６４、第２画素Ｐ２に関して、ｄ２４＝０．６４、第３画素Ｐ３に関して、ｄ３４＝０．６４、第４画素Ｐ４に関して、ｄ４４＝０．８、第５画素Ｐ５に関して、ｄ５４＝０．８、第６画素Ｐ６に関して、ｄ６４＝０．８、第７画素Ｐ７に関して、ｄ７４＝０．５、第８画素Ｐ８に関して、ｄ８４＝０．５、第９画素Ｐ９に関して、ｄ９４＝０．５となる。
　また、第５光学領域Ｓ５と各画素Ｐ１～Ｐ９との間における分光透過率に基づく透過率は、第１画素Ｐ１に関して、ｄ１５＝０．５５、第２画素Ｐ２に関して、ｄ２５＝０．５５、第３画素Ｐ３に関して、ｄ３５＝０．５５、第４画素Ｐ４に関して、ｄ４５＝０．８５、第５画素Ｐ５に関して、ｄ５５＝０．８５、第６画素Ｐ６に関して、ｄ６５＝０．８５、第７画素Ｐ７に関して、ｄ７５＝０．５５、第８画素Ｐ８に関して、ｄ８５＝０．５５、第９画素Ｐ９に関して、ｄ９５＝０．５５となる。
　また、第６光学領域Ｓ６と各画素Ｐ１～Ｐ９との間における分光透過率に基づく透過率は、第１画素Ｐ１に関して、ｄ１６＝０．４７、第２画素Ｐ２に関して、ｄ２６＝０．４７、第３画素Ｐ３に関して、ｄ３６＝０．４７、第４画素Ｐ４に関して、ｄ４６＝０．８１、第５画素Ｐ５に関して、ｄ５６＝０．８１、第６画素Ｐ６に関して、ｄ６６＝０．８１、第７画素Ｐ７に関して、ｄ７６＝０．６、第８画素Ｐ８に関して、ｄ８６＝０．６、第９画素Ｐ９に関して、ｄ９６＝０．６となる。
　また、第７光学領域Ｓ７と各画素Ｐ１～Ｐ９との間における分光透過率に基づく透過率は、第１画素Ｐ１に関して、ｄ１７＝０．４、第２画素Ｐ２に関して、ｄ２７＝０．４、第３画素Ｐ３に関して、ｄ３７＝０．４、第４画素Ｐ４に関して、ｄ４７＝０．７、第５画素Ｐ５に関して、ｄ５７＝０．７、第６画素Ｐ６に関して、ｄ６７＝０．７、第７画素Ｐ７に関して、ｄ７７＝０．６７、第８画素Ｐ８に関して、ｄ８７＝０．６７、第９画素Ｐ９に関して、ｄ９７＝０．６７となる。
　また、第８光学領域Ｓ８と各画素Ｐ１～Ｐ９との間における分光透過率に基づく透過率は、第１画素Ｐ１に関して、ｄ１８＝０．３５、第２画素Ｐ２に関して、ｄ２８＝０．３５、第３画素Ｐ３に関して、ｄ３８＝０．３５、第４画素Ｐ４に関して、ｄ４８＝０．５６、第５画素Ｐ５に関して、ｄ５８＝０．５６、第６画素Ｐ６に関して、ｄ６８＝０．５６、第７画素Ｐ７に関して、ｄ７８＝０．７、第８画素Ｐ８に関して、ｄ８８＝０．７、第９画素Ｐ９に関して、ｄ９８＝０．７となる。
　また、第９光学領域Ｓ９と各画素Ｐ１～Ｐ９との間における分光透過率に基づく透過率は、第１画素Ｐ１に関して、ｄ１９＝０．２５、第２画素Ｐ２に関して、ｄ２９＝０．２５、第３画素Ｐ３に関して、ｄ３９＝０．２５、第４画素Ｐ４に関して、ｄ４９＝０．４、第５画素Ｐ５に関して、ｄ５９＝０．４、第６画素Ｐ６に関して、ｄ６９＝０．４、第７画素Ｐ７に関して、ｄ７９＝０．６、第８画素Ｐ８に関して、ｄ８９＝０．６、第９画素Ｐ９に関して、ｄ９９＝０．６となる。
　よって、本実施の形態の撮像装置１では、行列Ｄは次のようになる。
Figure JPOXMLDOC01-appb-M000011
　上記のように、光学系１０の第ｊ光学領域Ｓｊに入射した光が、各画素ブロックＰＢ（ｘ、ｙ）の第ｉ画素Ｐｉで受光される割合ｂｉｊは、偏光に基づく透過率ｃｉｊと分光透過率に基づく透過率をｄｉｊとの積（ｂｉｊ＝ｃｉｊ＊ｄｉｊ）で算出される。したがって、ｂｉｊを要素とする行列Ｂは、行列Ｃと行列Ｄとのアダマール積で表わされる。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
　本実施の形態の撮像装置１では、行列Ｂの各要素ｂｉｊが次のように算出される。
Figure JPOXMLDOC01-appb-M000015
　この行列Ｂには、逆行列Ｂ－１が存在する。すなわち、行列Ｂは、同じ要素の並びとなる行及び列が存在しないので、逆行列が存在する（行列Ｃは、同じ要素の並びとなる列が存在する（たとえば、第１列目、第４列目及び第６列目が同じ要素の並びとなっており、第２列目、第５列目及び第７列目が同じ要素の並びとなっており、第３列目、第６列目及び第９列目が同じ要素の並びとなっている。）。また、行列Ｄは、同じ要素の並びとなる行が存在する（たとえば、第１行目～第３行目が同じ要素の並びとなっており、第４行目～第６行目が同じ要素の並びとなっており、第７行目～第９行目が同じ要素の並びとなっている。）。しかしながら、行列Ｃと行列Ｄのアダマール積で求められる行列Ｂは、同じ要素の並びとなる行及び列が存在しない。よって、行列Ｂには逆行列Ｂ－１が存在する。）。
　行列Ｂの逆行列Ｂ－１は、次のとおりである。
Figure JPOXMLDOC01-appb-M000016
　よって、本実施の形態の撮像装置１において、各画素Ｐ１～Ｐ９の画素信号ｘ１～ｘ９から各光学領域Ｓ１～Ｓ９に対応した画素信号Ｘ１～Ｘ９を算出する演算式は、次の式１３のようになる。
Figure JPOXMLDOC01-appb-M000017
　係数記憶部２００Ｃは、この９行９列の行列Ａの各要素ａｉｊを係数群として記憶する。係数記憶部２００Ｃは、記憶部の一例である。
　画像生成部２００Ｂは、係数記憶部２００Ｃから係数群を取得し、各画素ブロックＰＢ（ｘ，ｙ）の各画素Ｐ１～Ｐ９から得られる画素信号ｘ１～ｘ９から、上記式１によって、光学系１０の各光学領域Ｓ１～Ｓ９に対応した画素信号Ｘ１～Ｘ９を算出し、各光学領域Ｓ１～Ｓ９の画像データを生成する。画像生成部２００Ｂは、演算部の一例である。
　画像生成部２００Ｂで生成された各光学領域Ｓ１～Ｓ９の画像データは、外部に出力され、必要に応じて、記憶装置に記憶される。また、必要に応じてディスプレイ（不図示）に表示される。
　［動作］
　図１６は、本実施の形態の撮像装置の動作の概念図である。
　被写体Ｏｂｊからの光は、光学系１０の各光学領域Ｓ１～Ｓ９を通過して、イメージセンサ１００の各画素Ｐ１～Ｐ２で受光される。
　この際、光学系１０の第１光学領域Ｓ１を通過した光は、被写体Ｏｂｊの第１の光学像ＯＩ１をイメージセンサ１００の受光面上に結像させる。この第１の光学像ＯＩ１は、所定の偏光方向（方位角α１）に直線偏光された第１の波長帯域Δｆ１の光による光学像となる。
　また、光学系１０の第２光学領域Ｓ２を通過した光は、被写体Ｏｂｊの第２の光学像ＯＩ２をイメージセンサ１００の受光面上に結像させる。この第２の光学像ＯＩ２は、所定の偏光方向（方位角α１）に直線偏光された第２の波長帯域Δｆ２の光による光学像となる。
　また、光学系１０の第３光学領域Ｓ３を通過した光は、被写体Ｏｂｊの第３の光学像ＯＩ３をイメージセンサ１００の受光面上に結像させる。この第３の光学像ＯＩ３は、所定の偏光方向（方位角α１）に直線偏光された第３の波長帯域Δｆ３の光による光学像となる。
　また、光学系１０の第４光学領域Ｓ４を通過した光は、被写体Ｏｂｊの第４の光学像ＯＩ４をイメージセンサ１００の受光面上に結像させる。この第４の光学像ＯＩ４は、所定の偏光方向（方位角α２）に直線偏光された第４の波長帯域Δｆ４の光による光学像となる。
　また、光学系１０の第５光学領域Ｓ５を通過した光は、被写体Ｏｂｊの第５の光学像ＯＩ５をイメージセンサ１００の受光面上に結像させる。この第５の光学像ＯＩ５は、所定の偏光方向（方位角α２）に直線偏光された第５の波長帯域Δｆ５の光による光学像となる。
　また、光学系１０の第６光学領域Ｓ６を通過した光は、被写体Ｏｂｊの第６の光学像ＯＩ６をイメージセンサ１００の受光面上に結像させる。この第６の光学像ＯＩ６は、所定の偏光方向（方位角α２）に直線偏光された第６の波長帯域Δｆ６の光による光学像となる。
　また、光学系１０の第７光学領域Ｓ７を通過した光は、被写体Ｏｂｊの第７の光学像ＯＩ７をイメージセンサ１００の受光面上に結像させる。この第７の光学像ＯＩ７は、所定の偏光方向（方位角α３）に直線偏光された第７の波長帯域Δｆ７の光による光学像となる。
　また、光学系１０の第８光学領域Ｓ８を通過した光は、被写体Ｏｂｊの第８の光学像ＯＩ８をイメージセンサ１００の受光面上に結像させる。この第８の光学像ＯＩ８は、所定の偏光方向（方位角α３）に直線偏光された第８の波長帯域Δｆ８の光による光学像となる。
　また、光学系１０の第９光学領域Ｓ９を通過した光は、被写体Ｏｂｊの第９の光学像ＯＩ９をイメージセンサ１００の受光面上に結像させる。この第９の光学像ＯＩ９は、所定の偏光方向（方位角α３）に直線偏光された第９の波長帯域Δｆ９の光による光学像となる。
　イメージセンサ１００は、光学系１０の各光学領域Ｓ１～Ｓ９からの光を各画素Ｐ１～Ｐ９で受光し、その受光量に応じた信号（画素信号）ｘ１～ｘ９を信号処理部２００に出力する。
　この際、第１画素Ｐ１は、所定の分光透過率の第１分光フィルタ素子１３２Ａ（図１５のグラフＴ１参照）を介して各光学領域Ｓ１～Ｓ９からの光を所定の透過率で受光し、かつ、第１偏光フィルタ素子１２２Ａを介して所定の偏光方向（方位角β１）の光を受光する。そして、その受光量に応じた画素信号ｘ１を信号処理部２００に出力する。
　また、第２画素Ｐ２は、第１分光フィルタ素子１３２Ａを介して各光学領域Ｓ１～Ｓ９からの光を所定の透過率で受光し、かつ、第２偏光フィルタ素子１２２Ｂを介して所定の偏光方向（方位角β２）の光を受光する。そして、その受光量に応じた画素信号ｘ２を信号処理部２００に出力する。
　また、第３画素Ｐ３は、第１分光フィルタ素子１３２Ａを介して各光学領域Ｓ１～Ｓ９からの光を所定の透過率で受光し、かつ、第３偏光フィルタ素子１２２Ｃを介して所定の偏光方向（方位角β３）の光を受光する。そして、その受光量に応じた画素信号ｘ３を信号処理部２００に出力する。
　また、第４画素Ｐ４は、所定の分光透過率の第２分光フィルタ素子１３２Ｂ（図１５のグラフＴ２参照）を介して各光学領域Ｓ１～Ｓ９からの光を所定の透過率で受光し、かつ、第１偏光フィルタ素子１２２Ａを介して所定の偏光方向（方位角β１）の光を受光する。そして、その受光量に応じた画素信号ｘ４を信号処理部２００に出力する。
　また、第５画素Ｐ５は、第２分光フィルタ素子１３２Ｂを介して各光学領域Ｓ１～Ｓ９からの光を所定の透過率で受光し、かつ、第２偏光フィルタ素子１２２Ｂを介して所定の偏光方向（方位角β２）の光を受光する。そして、その受光量に応じた画素信号ｘ５を信号処理部２００に出力する。
　また、第６画素Ｐ６は、第２分光フィルタ素子１３２Ｂを介して各光学領域Ｓ１～Ｓ９からの光を所定の透過率で受光し、かつ、第３偏光フィルタ素子１２２Ｃを介して所定の偏光方向（方位角β３）の光を受光する。そして、その受光量に応じた画素信号ｘ６を信号処理部２００に出力する。
　また、第７画素Ｐ７は、所定の分光透過率の第３分光フィルタ素子１３２Ｃ（図１５のグラフＴ３参照）を介して各光学領域Ｓ１～Ｓ９からの光を所定の透過率で受光し、かつ、第１偏光フィルタ素子１２２Ａを介して所定の偏光方向（方位角β１）の光を受光する。そして、その受光量に応じた画素信号ｘ７を信号処理部２００に出力する。
　また、第８画素Ｐ８は、第３分光フィルタ素子１３２Ｃを介して各光学領域Ｓ１～Ｓ９からの光を所定の透過率で受光し、かつ、第２偏光フィルタ素子１２２Ｂを介して所定の偏光方向（方位角β２）の光を受光する。そして、その受光量に応じた画素信号ｘ８を信号処理部２００に出力する。
　また、第９画素Ｐ９は、第３分光フィルタ素子１３２Ｃを介して各光学領域Ｓ１～Ｓ９からの光を所定の透過率で受光し、かつ、第３偏光フィルタ素子１２２Ｃを介して所定の偏光方向（方位角β３）の光を受光する。そして、その受光量に応じた画素信号ｘ９を信号処理部２００に出力する。
　信号処理部２００は、イメージセンサ１００の各画素ブロックＰＢ（ｘ、ｙ）の各画素Ｐ１～Ｐ９から得られる画素信号ｘ１～ｘ９から光学系１０の各光学領域Ｓ１～Ｓ９に対応した画素信号Ｘ１～Ｘ９を算出し、各光学領域Ｓ１～Ｓ９で得られる画像の画像Ｄ１～ＩＤ９の画像データを生成する。すなわち、行列Ａを用いた式１による演算処理を行って、イメージセンサ１００から得られる各画素Ｐ１～Ｐ１の画素信号ｘ１～ｘ９から各光学領域Ｓ１～Ｓ９に対応した画素信号Ｘ１～Ｘ９を算出し、各光学領域Ｓ１～Ｓ９で得られる画像の画像ＩＤ１～ＩＤ９の画像データを生成する。
　このように、本実施の形態の撮像装置１によれば、１つの光学系１０と１つのイメージセンサ１００で９つの波長帯域の画像（マルチスペクトル画像）を取得できる。また、イメージセンサ１００の各画素ブロックＰＢ（ｘ、ｙ）において、均一な条件で光学系１０からの光を入射できるので、高品質な画像を簡単に生成できる。
　［実施例］
　瞳部分が９分割された上記実施の形態の撮像装置１において、光学系１０に備えられる分光フィルタ１６及び偏光フィルタ１８、並びに、イメージセンサ１００の各画素Ｐ１～Ｐ９に備えられる偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃ及び分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃを次のように設定する。
　光学系１０に備えられる偏光フィルタ１８の第１偏光フィルタ部Ｇ１の透過偏光方位α１を０°、第２偏光フィルタ部Ｇ２の透過偏光方位α２を６０°、第３偏光フィルタ部Ｇ３の透過偏光方位α３を１２０°とする。この場合、第１光学領域Ｓ１、第２光学領域Ｓ２及び第３光学領域Ｓ３を透過する光の偏光方向は０°、第４光学領域Ｓ４、第５光学領域Ｓ５及び第６光学領域Ｓ６を透過する光の偏光方向は６０°、第７光学領域Ｓ７、第８光学領域Ｓ８及び第９光学領域Ｓ９を透過する光の偏光方向は１２０°となる。
　光学系１０に備えられる分光フィルタ１６の第１分光フィルタ部Ｆ１の透過波長帯域をΔｆ１、その中心波長をλ１、第２分光フィルタ部Ｆ２の透過波長帯域をΔｆ２、その中心波長をλ２、第３分光フィルタ部Ｆ３の透過波長帯域をΔｆ３、その中心波長をλ３、第４分光フィルタ部Ｆ４の透過波長帯域をΔｆ４、その中心波長をλ４、第５分光フィルタ部Ｆ５の透過波長帯域をΔｆ５、その中心波長をλ５、第６分光フィルタ部Ｆ６の透過波長帯域をΔｆ６、その中心波長をλ６、第７分光フィルタ部Ｆ７の透過波長帯域をΔｆ７、その中心波長をλ７、第８分光フィルタ部Ｆ８の透過波長帯域をΔｆ８、その中心波長をλ８、第９分光フィルタ部Ｆ９の透過波長帯域をΔｆ９、その中心波長をλ９、とする。この場合、第１光学領域Ｓ１を透過する光の波長帯域はΔｆ１（中心波長λ１）、第２光学領域Ｓ２を透過する光の波長帯域はΔｆ２（中心波長λ２）、第３光学領域Ｓ３を透過する光の波長帯域はΔｆ３（中心波長λ３）、第４光学領域Ｓ４を透過する光の波長帯域はΔｆ４（中心波長λ４）、第５光学領域Ｓ５を透過する光の波長帯域はΔｆ５（中心波長λ５）、第６光学領域Ｓ６を透過する光の波長帯域はΔｆ６（中心波長λ６）、第７光学領域Ｓ７を透過する光の波長帯域はΔｆ７（中心波長λ１）、第８光学領域Ｓ８を透過する光の波長帯域はΔｆ８（中心波長λ８）、第９光学領域Ｓ９を透過する光の波長帯域はΔｆ９（中心波長λ９）、となる。
　イメージセンサ１００の各画素に備えられる第１偏光フィルタ素子１２２Ａの透過偏光方位β１を０°、第２偏光フィルタ素子１２２Ｂの透過偏光方位β２を６０°、第３偏光フィルタ素子１２２Ｃの透過偏光方位β３を１２０°とする。この場合、第１画素Ｐ１で受光される光の偏光方向は０°、第２画素Ｐ２で受光される光の偏光方向は６０°、第３画素Ｐ３で受光される光の偏光方向は１２０°、第４画素Ｐ４で受光される光の偏光方向は０°、第５画素Ｐ５で受光される光の偏光方向は６０°、第６画素Ｐ６で受光される光の偏光方向は１２０°、第７画素Ｐ７で受光される光の偏光方向は０°、第８画素Ｐ８で受光される光の偏光方向は６０°、第９画素Ｐ９で受光される光の偏光方向は１２０°、となる。
　図１７は、イメージセンサの各画素に備えられる分光フィルタ素子の分光透過率のグラフである。同図において、実線で示すグラフＴ１は、第１分光フィルタ素子１３２Ａの分光透過率のグラフである。また、破線で示すグラフＴ２は、第２分光フィルタ素子１３２Ｂの分光透過率のグラフである。また、一点破線で示すグラフＴ３は、第３分光フィルタ素子１３２Ｃの分光透過率のグラフである。
　以上の構成の光学系１０及びイメージセンサ１００において、第ｊ光学領域Ｓｊと第ｉ画素Ｐｉとの間の偏光に基づく透過率ｃについては、ｃｉｊ（ｉ＝１～９、ｊ＝１～９）を要素とする下記の９行９列の行列Ｃで表わされる。
Figure JPOXMLDOC01-appb-M000018
　また、分光透過率に基づく透過率ｄについては、ｄｉｊ（ｉ＝１～９、ｊ＝１～９）を要素とする下記の９行９列の行列Ｄで表わされる。
Figure JPOXMLDOC01-appb-M000019
　各光学領域Ｓｊからの光の混信量を表わす行列Ｂは、上記行列Ｃ及び行列Ｄのアダマール積で求められる。
Figure JPOXMLDOC01-appb-M000020
　混信を除去する演算式（式１）の行列Ａは、行列Ｂの逆行列Ｂ－１を求めることで取得される。
Figure JPOXMLDOC01-appb-M000021
　よって、本実施例の撮像装置において、各画素Ｐ１～Ｐ９の画素信号ｘ１～ｘ９から各光学領域Ｓ１～Ｓ９に対応した画素信号Ｘ１～Ｘ９を算出する演算式は、次の式１４のようになる。
Figure JPOXMLDOC01-appb-M000022
　図１８は、被写体画像の一例を示す図である。
　いま、図１８に示す画像を上記構成の撮像装置で撮像する場合を考える。
　図１９は、イメージセンサから出力される画素信号ｘ１～ｘ９で生成される画像の例を示す図である。
　同図において、符号ＣＩ１の画像は、各画素ブロックＰＢ（ｘ、ｙ）の第１画素Ｐ１からの画素信号ｘ１によって生成される画像を示している。また、符号ＣＩ２の画像は、各画素ブロックＰＢ（ｘ、ｙ）の第２画素Ｐ２からの画素信号ｘ２によって生成される画像を示している。また、符号ＣＩ３の画像は、各画素ブロックＰＢ（ｘ、ｙ）の第３画素Ｐ３からの画素信号ｘ３によって生成される画像を示している。また、符号ＣＩ４の画像は、各画素ブロックＰＢ（ｘ、ｙ）の第４画素Ｐ４からの画素信号ｘ４によって生成される画像を示している。また、符号ＣＩ５の画像は、各画素ブロックＰＢ（ｘ、ｙ）の第５画素Ｐ５からの画素信号ｘ５によって生成される画像を示している。また、符号ＣＩ６の画像は、各画素ブロックＰＢ（ｘ、ｙ）の第６画素Ｐ６からの画素信号ｘ６によって生成される画像を示している。また、符号ＣＩ７の画像は、各画素ブロックＰＢ（ｘ、ｙ）の第７画素Ｐ７からの画素信号ｘ７によって生成される画像を示している。また、符号ＣＩ８の画像は、各画素ブロックＰＢ（ｘ、ｙ）の第８画素Ｐ８からの画素信号ｘ８によって生成される画像を示している。また、符号ＣＩ９の画像は、各画素ブロックＰＢ（ｘ、ｙ）の第９画素Ｐ９からの画素信号ｘ９によって生成される画像を示している。これらの画像ＣＩ１～ＣＩ９は、混信が発生した画像となる。
　図２０は、イメージセンサから出力される画素信号ｘ１～ｘ９を混信除去処理して生成される画像の例を示す図である。
　イメージセンサの各画素ブロックから得られる９個の画素信号ｘ１～ｘ９から光学系１０の各光学領域Ｓ１～Ｓ９に対応した９個の画素信号Ｘ１～Ｘ９を算出し、各光学領域Ｓ１～Ｓ９で得られる画像ＩＤ１～ＩＤ９の画像データを生成する。すなわち、上記式１４によって、各画素Ｐ１～Ｐ９の画素信号ｘ１～ｘ９から各光学領域Ｓ１～Ｓ９に対応した画素信号Ｘ１～Ｘ９を算出し、各光学領域Ｓ１～Ｓ９で得られる画像ＩＤ１～ＩＤ９の画像データを生成する。
　なお、図２０において、符号ＩＤ１の画像は、第１光学領域Ｓ１で得られる画像を示している。また、符号ＩＤ２の画像は、第２光学領域Ｓ２で得られる画像を示している。また、符号ＩＤ３の画像は、第３光学領域Ｓ３で得られる画像を示している。また、符号ＩＤ４の画像は。第４光学領域Ｓ４で得られる画像を示している。また、符号ＩＤ５の画像は、第５光学領域Ｓ５で得られる画像を示している。また、符号ＩＤ６の画像は、第６光学領域Ｓ６で得られる画像を示している。また、符号ＩＤ７の画像は、第７光学領域Ｓ７で得られる画像を示している。また、符号ＩＤ８の画像は、第８光学領域Ｓ８で得られる画像を示している。また、符号ＩＤ９の画像は、第９光学領域Ｓ９で得られる画像を示している。いずれの画像ＩＤ１～ＩＤ９の画像も混信が除去されたクリアな画像が得られる。
　［変形例］
　〔取得する画像の数〕
　上記実施の形態では、異なる波長帯域の９つの画像を取得する場合を例に説明したが、取得する画像の数は、これに限定されるものではない。本発明の撮像装置において、取得できる画像の数ｋは、次のように定められる。
　いま、イメージセンサの各画素に備える分光フィルタ素子（第１光学フィルタ素子）の種類をｎ種、偏光フィルタ素子（第２光学フィルタ素子）の種類（透過偏光方位の種類）をｍ種とする。ｎは、２以上の整数（ｎ≧２）、ｍは、２以上、３以下の整数（２≦ｍ≦３）である。１つの画素ブロックにおいて、各画素は、異なる分光フィルタ素子と偏光フィルタ素子との組み合わせによって構成される。したがって、この場合、１つの画素ブロックは、（ｎ×ｍ）個の画素で構成される。ｎとｍの積（ｎ×ｍ）をｑとする（ｑ＝ｎ×ｍ）。本発明の撮像装置において、取得できる画像の数ｋは、１つの画素ブロックを構成する画素の数ｑ以下となる（ｋ≦ｑ）。ただし、ｋは３以上の整数とする。
　このように、取得する画像の数ｋは、必ずしも１つの画素ブロックを構成する画素の数ｑと同じである必要はない。取得する画像の数以上の数の画素で１つの画素ブロックを構成してもよい。
　光学系には、取得する画像の数ｋだけ光学領域が備えられる。なお、各光学領域には偏光フィルタ部が備えられるが、光学系側の偏光フィルタ部は次の条件を満たすように設定される。すなわち、各光学領域に備えられる偏光フィルタ部の透過偏光方位に関して、同じ透過偏光方位となる光学領域の数をｕとする。この数ｕが、イメージセンサ側の分光フィルタ素子（第１光学フィルタ素子）の種類の数以下とされる。したがって、イメージセンサ側の分光フィルタ素子（第１光学フィルタ素子）の種類がｎ種類の場合、同じ透過偏光方位となる光学領域の数ｕは、イメージセンサ側の分光フィルタ素子（第１光学フィルタ素子）の種類の数ｎ以下とされる（ｕ≦ｎ）。
　ｎ種類の分光フィルタ素子及びｍ種類の偏光フィルタ素子を組み合わせることで、１つの画素ブロックがｑ個の画素で構成される場合、イメージセンサの各画素ブロックからはｑ個の画素信号ｘ１、ｘ２、…、ｘｑが取得される。光学系がｋ個の光学領域を有する場合、このｑ個の画素信号ｘ１、ｘ２、…、ｘｑから光学系が各光学領域に対応したｋ個の画素信号Ｘ１、Ｘ２、…、Ｘｋを算出するための演算式は、行列Ａを用いて、次のように定義される。
Figure JPOXMLDOC01-appb-M000023
Figure JPOXMLDOC01-appb-M000024
　上記のように、行列Ａは、光学系の各光学領域に入射した光が、イメージセンサの各画素ブロックの各画素で受光される割合を要素とする行列Ｂの逆行列Ｂ－１を算出して取得される。また、その割合は、偏光に基づく透過率ｃと、分光透過率に基づく透過率ｄとの積で算出される。
　〔偏光フィルタ部と偏光フィルタ素子の透過偏光方位の設定〕
　上記実施の形態では、光学系の各光学領域に備えられる偏光フィルタ部の透過偏光方位の組み合わせと、イメージセンサに備えられる偏光フィルタ素子（第２光学フィルタ素子）の透過偏光方位の組み合わせを同じにしている（いずれも方位角０°、６０°、１２０°の組み合わせ）。しかし、この組み合わせは、必ずしも同じである必要はない。たとえば、光学系側において、４５°、９０°、１３５°の組み合わせで使用し、イメージセンサ側において、０°、６０°、１２０°の組み合わせで使用してもよい。なお、同じ組み合わせとすることにより、偏光に基づく透過率ｃの算出を容易にできる。
　〔各光学領域に設定する透過波長帯域〕
　光学系の各光学領域に設定する透過波長帯域は、任意に設定できる。たとえば、特定の波長帯域を細分割し、細分割された帯域ごとの画像を取得する構成とすることもできる。この場合、特定の帯域のマルチスペクトル画像を取得できる。
　細分化された狭帯域の画像を取得する場合は、各光学領域に所望の波長帯域の光を透過させる狭帯域フィルタを配置する。
　〔瞳分割の態様〕
　上記実施の形態では、光学系の瞳部分を周方向に等分割して、複数の光学領域を備える構成としているが、瞳分割の態様は、これに限定されるものではない。この他、同心円状に分割する態様、格子状に分割する態様、スリット状に分割する態様等を採用できる。
　〔イメージセンサの構成〕
　１つの画素ブロックを構成する画素の配列は、上記実施の形態のものに限定されるものではない。１つの画素ブロックを構成する画素の数等に応じて、画素の配列を適宜変更できる。
　また、上記実施の形態では、偏光フィルタ素子及び分光フィルタ素子が、フォトダイオードとマイクロレンズとの間に配置される構成としているが、いずれか一方又は両方をマイクロレンズの前（被写体側）に配置する構成とすることもできる。なお、偏光フィルタ素子及び分光フィルタ素子をマイクロレンズとフォトダイオードとの間に配置することにより、隣接する画素に光が混入するのを効果的に防止できる。これにより、より混信を防止できる。
　〔信号処理部の構成〕
　信号処理部２００における画像生成部２００Ｂ（演算部）の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上記各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。更に、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上記各種のプロセッサに含まれる。
　各部の機能は１つのプロセッサにより実現されてもよいし、同種又は異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上記の機能を実現する電気回路であってもよい。
　上記のプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の入力、解析、表示制御等を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。
　信号処理部２００の係数記憶部２００Ｃは、たとえば、ＲＯＭ（Read-only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-only Memory）等のメモリで実現できる。
　〔撮像装置の構成〕
　撮像装置は、光学系の交換が可能なレンズ交換式の撮像装置として構成することもできる。この場合、行列Ａは、レンズ（光学系）ごとに一意に定まるので、レンズごとに行列Ａを用意し、その係数群を係数記憶部に記憶させる。レンズが交換された場合は、交換されたレンズに対応する行列Ａの係数群を係数記憶部から読み出して、演算処理を実行し、各光学領域の画像を生成する。
１　撮像装置
１０　光学系
１２　レンズ
１４　瞳分割フィルタ
１６　分光フィルタ
１８　偏光フィルタ
１００　イメージセンサ
１１０　ピクセルアレイ層
１１２　フォトダイオード
１２０　偏光フィルタ素子アレイ層
１２２Ａ　第１偏光フィルタ素子
１２２Ｂ　第２偏光フィルタ素子
１２２Ｃ　第３偏光フィルタ素子
１３０　分光フィルタ素子アレイ層
１３２Ａ　第１分光フィルタ素子
１３２Ｂ　第２分光フィルタ素子
１３２Ｃ　第３分光フィルタ素子
１４０　マイクロレンズアレイ層
１４２　マイクロレンズ
２００　信号処理部
２００Ａ　アナログ信号処理部
２００Ｂ　画像生成部
２００Ｃ　係数記憶部
ＣＩ１　第１画素Ｐ１からの画素信号ｘ１によって生成される画像
ＣＩ２　第２画素Ｐ２からの画素信号ｘ２によって生成される画像
ＣＩ３　第３画素Ｐ３からの画素信号ｘ３によって生成される画像
ＣＩ４　第４画素Ｐ４からの画素信号ｘ４によって生成される画像
ＣＩ５　第５画素Ｐ５からの画素信号ｘ５によって生成される画像
ＣＩ６　第６画素Ｐ６からの画素信号ｘ６によって生成される画像
ＣＩ７　第７画素Ｐ７からの画素信号ｘ７によって生成される画像
ＣＩ８　第８画素Ｐ８からの画素信号ｘ８によって生成される画像
ＣＩ９　第９画素Ｐ９からの画素信号ｘ９によって生成される画像
Ｄ１　画素ブロックから第１画素Ｐ１の画素信号を抽出して生成される第１の画像データ
Ｄ２　画素ブロックから第２画素Ｐ２の画素信号を抽出して生成される第２の画像データ
Ｄ３　画素ブロックから第３画素Ｐ３の画素信号を抽出して生成される第３の画像データ
Ｄ４　画素ブロックから第４画素Ｐ４の画素信号を抽出して生成される第４の画像データ
Ｄ５　画素ブロックから第５画素Ｐ５の画素信号を抽出して生成される第５の画像データ
Ｄ６　画素ブロックから第６画素Ｐ６の画素信号を抽出して生成される第６の画像データ
Ｄ７　画素ブロックから第７画素Ｐ７の画素信号を抽出して生成される第７の画像データ
Ｄ８　画素ブロックから第８画素Ｐ８の画素信号を抽出して生成される第８の画像データ
Ｄ９　画素ブロックから第９画素Ｐ９の画素信号を抽出して生成される第９の画像データ
Ｆ１　分光フィルタの第１分光フィルタ部
Ｆ２　分光フィルタの第２分光フィルタ部
Ｆ３　分光フィルタの第３分光フィルタ部
Ｆ４　分光フィルタの第４分光フィルタ部
Ｆ５　分光フィルタの第５分光フィルタ部
Ｆ６　分光フィルタの第６分光フィルタ部
Ｆ７　分光フィルタの第７分光フィルタ部
Ｆ８　分光フィルタの第８分光フィルタ部
Ｆ９　分光フィルタの第９分光フィルタ部
Ｇ１　分光フィルタの第１偏光フィルタ部
Ｇ２　分光フィルタの第２偏光フィルタ部
Ｇ３　分光フィルタの第３偏光フィルタ部
ＩＤ１　光学系の第１光学領域の画像
ＩＤ２　光学系の第２光学領域の画像
ＩＤ３　光学系の第３光学領域の画像
ＩＤ４　光学系の第４光学領域の画像
ＩＤ５　光学系の第５光学領域の画像
ＩＤ６　光学系の第６光学領域の画像
ＩＤ７　光学系の第７光学領域の画像
ＩＤ８　光学系の第８光学領域の画像
ＩＤ９　光学系の第９光学領域の画像
Ｌ　光軸
ＯＩ１　光学系の第１光学領域で得られる被写体の第１の光学像
ＯＩ２　光学系の第２光学領域で得られる被写体の第２の光学像
ＯＩ３　光学系の第３光学領域で得られる被写体の第３の光学像
ＯＩ４　光学系の第４光学領域で得られる被写体の第４の光学像
ＯＩ５　光学系の第５光学領域で得られる被写体の第５の光学像
ＯＩ６　光学系の第６光学領域で得られる被写体の第６の光学像
ＯＩ７　光学系の第７光学領域で得られる被写体の第７の光学像
ＯＩ８　光学系の第８光学領域で得られる被写体の第８の光学像
ＯＩ９　光学系の第９光学領域で得られる被写体の第９の光学像
Ｏｂｊ　被写体
Ｐ１　第１画素
Ｐ２　第２画素
Ｐ３　第３画素
Ｐ４　第４画素
Ｐ５　第５画素
Ｐ６　第６画素
Ｐ７　第７画素
Ｐ８　第８画素
Ｐ９　第９画素
Ｐｉ　第ｉ画素
ＰＢ（ｘ，ｙ）　画素ブロック
Ｓ１　光学系の第１光学領域
Ｓ２　光学系の第２光学領域
Ｓ３　光学系の第３光学領域
Ｓ４　光学系の第４光学領域
Ｓ５　光学系の第５光学領域
Ｓ６　光学系の第６光学領域
Ｓ７　光学系の第７光学領域
Ｓ８　光学系の第８光学領域
Ｓ９　光学系の第９光学領域
Ｓｊ　光学系の第ｊ光学領域
Ｔ１　第１分光フィルタ素子の分光透過率のグラフ
Ｔ２　第２分光フィルタ素子の分光透過率のグラフ
Ｔ３　第３分光フィルタ素子の分光透過率のグラフ
Ｘ１　光学系の第１光学領域に対応した画素信号
Ｘ２　光学系の第２光学領域に対応した画素信号
Ｘ３　光学系の第３光学領域に対応した画素信号
Ｘ４　光学系の第４光学領域に対応した画素信号
Ｘ５　光学系の第５光学領域に対応した画素信号
Ｘ６　光学系の第６光学領域に対応した画素信号
Ｘ７　光学系の第７光学領域に対応した画素信号
Ｘ８　光学系の第８光学領域に対応した画素信号
Ｘ９　光学系の第９光学領域に対応した画素信号
Ｘｊ　光学系の第ｊ光学領域に対応した画素信号
ｘ１　第１画素の画素信号
ｘ２　第２画素の画素信号
ｘ３　第３画素の画素信号
ｘ４　第４画素の画素信号
ｘ５　第５画素の画素信号
ｘ６　第６画素の画素信号
ｘ７　第７画素の画素信号
ｘ８　第８画素の画素信号
ｘ９　第９画素の画素信号
ｘｉ　第ｉ画素の画素信号
Δｆ１　第１分光フィルタ部が透過させる光の波長帯域（第１の波長帯域）
Δｆ２　第２分光フィルタ部が透過させる光の波長帯域（第２の波長帯域）
Δｆ３　第３分光フィルタ部が透過させる光の波長帯域（第３の波長帯域）
Δｆ４　第４分光フィルタ部が透過させる光の波長帯域（第４の波長帯域）
Δｆ５　第５分光フィルタ部が透過させる光の波長帯域（第５の波長帯域）
Δｆ６　第６分光フィルタ部が透過させる光の波長帯域（第６の波長帯域）
Δｆ７　第７分光フィルタ部が透過させる光の波長帯域（第７の波長帯域）
Δｆ８　第８分光フィルタ部が透過させる光の波長帯域（第８の波長帯域）
Δｆ９　第９分光フィルタ部が透過させる光の波長帯域（第９の波長帯域）
α１　第１偏光フィルタ部が透過させる光の偏光方向（透過偏光方位、方位角）
α２　第２偏光フィルタ部が透過させる光の偏光方向（透過偏光方位、方位角）
α３　第３偏光フィルタ部が透過させる光の偏光方向（透過偏光方位、方位角）
β１　第１偏光フィルタ素子が透過させる光の偏光方向（透過偏光方位、方位角）
β２　第２偏光フィルタ素子が透過させる光の偏光方向（透過偏光方位、方位角）
β３　第３偏光フィルタ素子が透過させる光の偏光方向（透過偏光方位、方位角）
λ１　第１分光フィルタ部の透過波長帯域の中心波長
λ２　第２分光フィルタ部の透過波長帯域の中心波長
λ３　第３分光フィルタ部の透過波長帯域の中心波長
λ４　第４分光フィルタ部の透過波長帯域の中心波長
λ５　第５分光フィルタ部の透過波長帯域の中心波長
λ６　第６分光フィルタ部の透過波長帯域の中心波長
λ７　第７分光フィルタ部の透過波長帯域の中心波長
λ８　第８分光フィルタ部の透過波長帯域の中心波長
λ９　第９分光フィルタ部の透過波長帯域の中心波長

Claims (12)

  1. 　ｎをｎ≧２を満たす整数、ｍを２≦ｍ≦３を満たす整数、ｑをｎとｍの積とした場合に、分光透過率の異なるｎ種の第１光学フィルタ素子と、透過偏光方位の異なるｍ種の第２光学フィルタ素子とを組み合わせて、ｑ種の光を各画素で受光する画素ブロックを複数備えたイメージセンサと、
    　ｋをｋ≦ｑを満たす整数とした場合に、透過する光の波長帯域が異なるｋ個の光学領域を備え、かつ、各前記光学領域に偏光フィルタ部を備えた光学系と、
    　ｉを１≦ｉ≦ｋを満たす整数、ｊを１≦ｊ≦ｑを満たす整数とした場合に、各要素がａｉｊで表されるｋ行ｑ列の行列Ａで構成される係数群を記憶する記憶部と、
    　前記記憶部から前記係数群を取得し、前記イメージセンサの各前記画素ブロックから得られるｑ個の画素信号ｘ１、ｘ２、…、ｘｑから、下記式によって、前記光学系の各前記光学領域に対応したｋ個の画素信号Ｘ１、Ｘ２、…、Ｘｋを算出する演算部と、
    Figure JPOXMLDOC01-appb-M000001
     　を備える撮像装置。
  2. 　前記行列Ａは、前記光学系の各前記光学領域に入射した光が、前記イメージセンサの各前記画素ブロックの各前記画素で受光される割合を要素とする行列の逆行列を算出して取得される、
    　請求項１に記載の撮像装置。
  3. 　前記光学系の各前記光学領域に入射した光が、前記イメージセンサの各前記画素ブロックの各前記画素で受光される割合は、偏光に基づく透過率をｃ、分光透過率に基づく透過率をｄとした場合に、ｃとｄとの積で算出される、
    　請求項２に記載の撮像装置。
  4. 　偏光に基づく前記透過率ｃは、前記光学領域を透過する光の透過偏光方位と前記画素が受光する光の透過偏光方位との角度差の余弦の二乗を算出して求められ、
    　分光透過率に基づく前記透過率ｄは、前記光学領域を透過する光の波長帯域と前記画素に備えられた前記第１光学フィルタ素子の分光透過率とに基づいて求められる、
    　請求項３に記載の撮像装置。
  5. 　前記光学系は、同じ透過偏光方位を有する前記偏光フィルタ部の数がｎ以下である、
    　請求項１から４のいずれか１項に記載の撮像装置。
  6. 　前記イメージセンサの各前記画素ブロックは、分光透過率の異なる３種の前記第１光学フィルタ素子と、透過偏光方位の異なる３種の前記第２光学フィルタ素子とを組み合わせて、９種の光を各前記画素で受光する構成を有する、
    　請求項１から５のいずれか１項に記載の撮像装置。
  7. 　前記光学系は、透過する光の波長帯域が異なる９個の前記光学領域を備える、
    　請求項６に記載の撮像装置。
  8. 　前記光学系は、同じ透過偏光方位の前記偏光フィルタ部を備えた前記光学領域を３個ずつ備える、
    　請求項７に記載の撮像装置。
  9. 　前記光学系に備えられる前記偏光フィルタ部の透過偏光方位の組み合わせと、前記イメージセンサに備えられる前記第２光学フィルタ素子の透過偏光方位の組み合わせが同じである、
    　請求項８に記載の撮像装置。
  10. 　前記光学系は、異なる透過波長の狭帯域フィルタを各前記光学領域に備える、
    　請求項１から９のいずれか１項に記載の撮像装置。
  11. 　前記光学系は、瞳位置に前記狭帯域フィルタを備える、
    　請求項１０に記載の撮像装置。
  12. 　前記イメージセンサは、各前記画素を構成するフォトダイオードとマイクロレンズとの間に前記第１光学フィルタ素子及び前記第２光学フィルタ素子を有する、
    　請求項１から１１のいずれか１項に記載の撮像装置。
PCT/JP2019/038019 2018-10-09 2019-09-26 撮像装置 WO2020075523A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19870753.1A EP3866462B1 (en) 2018-10-09 2019-09-26 Imaging device
JP2020550373A JP6908793B2 (ja) 2018-10-09 2019-09-26 撮像装置
CN201980066394.1A CN112840643B (zh) 2018-10-09 2019-09-26 摄像装置
US17/207,715 US11122242B2 (en) 2018-10-09 2021-03-21 Imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018190963 2018-10-09
JP2018-190963 2018-10-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/207,715 Continuation US11122242B2 (en) 2018-10-09 2021-03-21 Imaging device

Publications (1)

Publication Number Publication Date
WO2020075523A1 true WO2020075523A1 (ja) 2020-04-16

Family

ID=70163973

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/038019 WO2020075523A1 (ja) 2018-10-09 2019-09-26 撮像装置

Country Status (5)

Country Link
US (1) US11122242B2 (ja)
EP (1) EP3866462B1 (ja)
JP (1) JP6908793B2 (ja)
CN (1) CN112840643B (ja)
WO (1) WO2020075523A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021010103A1 (ja) * 2019-07-17 2021-01-21 富士フイルム株式会社 フィルターおよび撮像装置
WO2023188513A1 (ja) * 2022-03-28 2023-10-05 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
EP4296638A4 (en) * 2021-01-29 2024-07-24 Fujifilm Corp DATA PROCESSING DEVICE, METHOD AND PROGRAM, OPTICAL ELEMENT, OPTICAL IMAGING SYSTEM AND IMAGING DEVICE

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7309640B2 (ja) * 2020-03-18 2023-07-18 株式会社東芝 光学検査装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169096A (ja) * 2008-01-16 2009-07-30 Fujifilm Corp 撮像デバイス
JP2012027393A (ja) * 2010-07-27 2012-02-09 Olympus Corp 撮像装置
WO2012143983A1 (ja) 2011-04-22 2012-10-26 パナソニック株式会社 撮像装置、撮像システム、及び撮像方法
JP2013077935A (ja) * 2011-09-30 2013-04-25 Sony Corp 撮像装置及び撮像方法
WO2015004886A1 (ja) 2013-07-12 2015-01-15 パナソニックＩｐマネジメント株式会社 撮像装置
JP2015211430A (ja) * 2014-04-30 2015-11-24 パナソニックＩｐマネジメント株式会社 撮像装置および演算回路

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5310483B2 (ja) * 2009-10-28 2013-10-09 株式会社リコー 撮像装置
JP2013031054A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
JP6124079B2 (ja) * 2012-08-02 2017-05-10 パナソニックＩｐマネジメント株式会社 偏光カラー撮像装置
US9194800B2 (en) * 2012-10-29 2015-11-24 Tokitae Llc Systems, devices, and methods employing angular-resolved scattering and spectrally resolved measurements for classification of objects
EP2957099B1 (en) * 2013-02-13 2018-08-29 Universität des Saarlandes Plenoptic imaging device
US9769365B1 (en) * 2013-02-15 2017-09-19 Red.Com, Inc. Dense field imaging
EP3940371B1 (en) * 2014-06-05 2023-08-30 Universität Heidelberg Method and imaging apparatus for acquisition of fluorescence and reflectance images
JP2016127333A (ja) * 2014-12-26 2016-07-11 株式会社リコー 撮像素子および撮像装置および撮像情報認識システム
US10708557B1 (en) * 2018-12-14 2020-07-07 Lyft Inc. Multispectrum, multi-polarization (MSMP) filtering for improved perception of difficult to perceive colors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169096A (ja) * 2008-01-16 2009-07-30 Fujifilm Corp 撮像デバイス
JP2012027393A (ja) * 2010-07-27 2012-02-09 Olympus Corp 撮像装置
WO2012143983A1 (ja) 2011-04-22 2012-10-26 パナソニック株式会社 撮像装置、撮像システム、及び撮像方法
JP2013077935A (ja) * 2011-09-30 2013-04-25 Sony Corp 撮像装置及び撮像方法
WO2015004886A1 (ja) 2013-07-12 2015-01-15 パナソニックＩｐマネジメント株式会社 撮像装置
JP2015211430A (ja) * 2014-04-30 2015-11-24 パナソニックＩｐマネジメント株式会社 撮像装置および演算回路

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3866462A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021010103A1 (ja) * 2019-07-17 2021-01-21 富士フイルム株式会社 フィルターおよび撮像装置
JPWO2021010103A1 (ja) * 2019-07-17 2021-01-21
JP7416798B2 (ja) 2019-07-17 2024-01-17 富士フイルム株式会社 フィルターおよび撮像装置
US12092846B2 (en) 2019-07-17 2024-09-17 Fujifilm Corporation Filter and imaging apparatus
EP4296638A4 (en) * 2021-01-29 2024-07-24 Fujifilm Corp DATA PROCESSING DEVICE, METHOD AND PROGRAM, OPTICAL ELEMENT, OPTICAL IMAGING SYSTEM AND IMAGING DEVICE
WO2023188513A1 (ja) * 2022-03-28 2023-10-05 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
EP3866462A1 (en) 2021-08-18
EP3866462B1 (en) 2022-11-02
CN112840643B (zh) 2022-01-14
US11122242B2 (en) 2021-09-14
EP3866462A4 (en) 2021-11-10
JPWO2020075523A1 (ja) 2021-09-02
JP6908793B2 (ja) 2021-07-28
CN112840643A (zh) 2021-05-25
US20210211617A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
WO2020075523A1 (ja) 撮像装置
JP2014239416A5 (ja)
JP7238121B2 (ja) 撮像装置
JP2012249125A5 (ja)
JP2017063414A5 (ja)
Hirsch et al. A switchable light field camera architecture with angle sensitive pixels and dictionary-based sparse coding
JP2012191376A5 (ja)
JP2015177429A5 (ja)
RU2018113727A (ru) Способ и устройство для генерирования данных, характеризующих пиксельный пучок
WO2016191142A3 (en) Nanophotonic filter and deflector for superpixel image sensor
JP7326581B2 (ja) 撮像装置及び方法
JP2012235472A5 (ja)
JP2018536211A5 (ja)
JP2018538709A5 (ja)
JP2013090059A5 (ja)
JP2015097380A5 (ja)
US11457202B2 (en) Imaging device
JP2019502277A5 (ja)
JP7285322B2 (ja) 撮像装置
JP2018033126A5 (ja)
JP6026854B2 (ja) 画像処理システムおよび画像処理方法
Koppelhuber et al. Thin-film camera using luminescent concentrators and an optical Söller collimator
CN104459859A (zh) 滤色器阵列和固态图像传感器
RU2012149706A (ru) Оптико-электронный фотоприемник (варианты)
TWI456527B (zh) 影像縮小方法及影像處理裝置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19870753

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020550373

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019870753

Country of ref document: EP

Effective date: 20210510