WO2020110594A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
WO2020110594A1
WO2020110594A1 PCT/JP2019/042860 JP2019042860W WO2020110594A1 WO 2020110594 A1 WO2020110594 A1 WO 2020110594A1 JP 2019042860 W JP2019042860 W JP 2019042860W WO 2020110594 A1 WO2020110594 A1 WO 2020110594A1
Authority
WO
WIPO (PCT)
Prior art keywords
pupil region
light
polarization direction
pixel
polarization
Prior art date
Application number
PCT/JP2019/042860
Other languages
English (en)
French (fr)
Inventor
小野　修司
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020558222A priority Critical patent/JP7135108B2/ja
Publication of WO2020110594A1 publication Critical patent/WO2020110594A1/ja
Priority to US17/322,921 priority patent/US11917276B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Definitions

  • the present invention relates to an image pickup apparatus and an image pickup method, and more particularly to an image pickup apparatus and an image pickup method for independently obtaining a plurality of images with one image pickup element.
  • Patent Document 1 proposes a technique in which light of two different polarization directions is received by different pixels and two independent images are acquired.
  • the light receiving element described in Patent Document 1 includes an analyzer array that transmits light that has passed through the polarizer of the polarizing plate, and each image corresponding to the light of different polarization directions received by the light receiving element is generated. ..
  • Patent Document 1 images corresponding to lights having different polarization directions are generated, but two types of light having different polarization directions are generated without even aligning the polarization directions.
  • Patent Document 1 first, two kinds of light having different polarization directions are generated by transmitting light that has passed through a lens to a polarizing plate that respectively transmits two kinds of polarization directions.
  • the two types of light having different polarization directions are transmitted through the analyzer and are received by the light receiving element. Therefore, in the image pickup device described in Patent Document 1, two types of light having different polarization directions are generated without once aligning the polarization directions, and each image based on the light is generated.
  • the present invention has been made in view of such circumstances, and an object thereof is that even when different images are generated based on lights having different polarization directions, the polarization directions of received light are different. It is an object of the present invention to provide an image pickup apparatus and an image pickup method capable of generating an image in which a difference in appearance caused by is suppressed.
  • An imaging device for achieving the above object is an imaging optical system having a first pupil region and a pupil region configured of a second pupil region different from the first pupil region.
  • a first polarizer that aligns the polarization direction of light passing through the first pupil region and the second pupil region with the first polarization direction, and a first polarizer direction that transmits light through the second pupil region.
  • a second polarizer that transmits light having a second polarization direction different from the first polarization direction among the received light and light that transmits the first pupil region and the second pupil region
  • An image pickup device having a plurality of pixel units each including a first pixel and a second pixel that receive light of different polarization directions, and a crosstalk removing process performed on pixel signals of the first pixel and the second pixel.
  • Image generation for generating a first image corresponding to the light passing through the first pupil region and a second image corresponding to the light passing through the second pupil region based on the pixel signal after the interference removal processing And a section.
  • the polarization direction of the light transmitted through the first pupil region and the second pupil region is aligned with the first polarization direction by the first polarizer, and the second polarizer by the second polarizer.
  • the lights which are aligned in the first polarization direction and which are transmitted through the pupil region light having a second polarization direction different from the first polarization direction is transmitted.
  • the imaging device transmits light of a third polarization direction different from the first polarization direction and the second polarization direction, of the light aligned in the first polarization direction that is transmitted through the first pupil region.
  • a third polarizer is provided.
  • An imaging apparatus includes an imaging optical system having a first pupil region and a pupil region configured of a second pupil region different from the first pupil region, and a first pupil region. And a first polarizer that aligns the polarization direction of light that passes through the second pupil region with the first polarization direction and a first polarizer that aligns with the first polarization direction that transmits through the second pupil region.
  • a first polarizer that aligns the polarization direction of light that passes through the second pupil region with the first polarization direction
  • a first polarizer that aligns with the first polarization direction that transmits through the second pupil region.
  • the second polarizer that transmits the light of the second polarization direction different from the polarization direction of the first polarization direction and the first polarization direction of the light that is aligned in the first polarization direction that transmits the first pupil region.
  • a third polarizer that transmits light of a third polarization direction that is different and orthogonal to the second polarization direction, and a second polarizer that receives light that transmits the first pupil region and the second pupil region.
  • An image sensor having a plurality of pixel units each including a first pixel that receives light in a polarization direction and a second pixel that receives light in a third polarization direction, a first pixel, and a second pixel
  • An image generation unit that generates a first image corresponding to the light passing through the first pupil region and a second image corresponding to the light passing through the second pupil region based on the pixel signal of. ..
  • the polarization direction of the light transmitted through the first pupil region and the second pupil region is aligned with the first polarization direction by the first polarizer, and the second polarizer by the second polarizer.
  • the lights which are aligned in the first polarization direction and which are transmitted through the pupil region light having a second polarization direction different from the first polarization direction is transmitted.
  • the second polarization direction and the third polarization direction are orthogonal to each other, and the first pixel that receives light in the second polarization direction and the second pixel that receives light in the third polarization direction Ideally, it is not necessary to perform the interference removal processing without mixing signals corresponding to the light in the second polarization direction and the light in the third polarization direction. Therefore, according to this aspect, it is possible to obtain appropriate first image and second image without performing the interference removal processing.
  • the imaging device has a first wavelength filter that transmits light of a first wavelength band among lights that pass through the first pupil region and a second wavelength filter that transmits light that passes through the second pupil region.
  • a second wavelength filter that transmits light in the wavelength band of.
  • An image pickup apparatus includes a first pupil region, a second pupil region different from the first pupil region, and a third pupil region different from the first pupil region and the second pupil region.
  • An imaging optical system having a pupil region configured by a pupil region, and a first polarization direction in which light passing through the first pupil region, the second pupil region, and the third pupil region is aligned with the first polarization direction.
  • a second polarizer that transmits light of a second polarization direction that is different from the first polarization direction among the lights that are aligned in the first polarization direction and that is transmitted through the second pupil region
  • a third polarizer that transmits light having a third polarization direction different from the first polarization direction and the second polarization direction among the lights aligned in the first polarization direction that are transmitted through the third pupil region;
  • a first pixel, a second pixel, and a third pixel that receive light transmitted through the first pupil region, the second pupil region, and the third pupil region, and that receive light of different polarization directions.
  • the interference removal processing is performed, and the pixel signals after the interference removal processing are used.
  • an image generation unit that generates the image of.
  • the polarization direction of the light transmitted through the first pupil region, the second pupil region, and the third pupil region is aligned with the first polarization direction by the first polarizer.
  • the second polarization direction that is different from the first polarization direction among the lights that are aligned in the first polarization direction and that are transmitted through the second pupil region.
  • the lights aligned in the first polarization direction that are transmitted through the third pupil region light having a third polarization direction different from the first polarization direction and the second polarization direction is transmitted.
  • the imaging device has a fourth polarization direction different from the first polarization direction, the second polarization direction, and the third polarization direction among the light that is transmitted through the first pupil region and is aligned with the first polarization direction.
  • a fourth polarizer that transmits light of the polarization direction.
  • the imaging device has a first wavelength filter that transmits light of a first wavelength band among lights that pass through the first pupil region and a second wavelength filter that transmits light that passes through the second pupil region.
  • the first polarizer blocks s-polarized light.
  • the image pickup element is composed of pixels in which the pixel unit includes a polarizing element.
  • the image pickup element has a polarizing element between a photodiode forming a pixel and a microlens.
  • an imaging method wherein a first pupil area of an imaging optical system having a first pupil area and a pupil area configured of a second pupil area different from the first pupil area. And a step of aligning the polarization direction of the light passing through the second pupil region with the first polarization direction by the first polarizer, and a step of aligning the polarization direction of the light passing through the second pupil region with the first polarization direction.
  • an imaging method wherein a first pupil area of an imaging optical system having a first pupil area and a pupil area configured of a second pupil area different from the first pupil area. And a step of aligning the polarization direction of the light passing through the second pupil region with the first polarization direction by the first polarizer, and a step of aligning the polarization direction of the light passing through the second pupil region with the first polarization direction.
  • a third polarization direction of light that is different from the first polarization direction and orthogonal to the second polarization direction is transmitted by the third polarizer, and the first pupil region and the second pupil.
  • Imaging having a plurality of pixel units each including a first pixel that receives light in a second polarization direction and a second pixel that receives light in a third polarization direction and that receives light that passes through a region
  • a second image corresponding to light passing through the first pupil region and light passing through the second pupil region based on pixel signals of the first pixel and the second pixel of the element; Generating an image of.
  • An imaging method includes a first pupil region, a second pupil region different from the first pupil region, and a third pupil region different from the first pupil region and the second pupil region.
  • the first polarizer With the first polarizer, the polarization direction of the light transmitted through the first pupil region, the second pupil region, and the third pupil region of the imaging optical system having the pupil region configured by the pupil region is set by the first polarizer.
  • the step of transmitting the light and the light of the third polarization direction different from the first polarization direction and the second polarization direction of the light transmitted through the third pupil region and aligned with the first polarization direction A step of transmitting the light with a third polarizer, and a step of receiving light transmitted through the first pupil area, the second pupil area, and the third pupil area, and a first step of receiving light of different polarization directions.
  • the pixel signal of the first pixel, the second pixel, and the third pixel of the image sensor having a plurality of pixel units each including the pixel, the second pixel, and the third pixel as a set.
  • the first image corresponding to the light passing through the first pupil region, the second image corresponding to the light passing through the second pupil region, and the third image based on the pixel signal subjected to the interference removal processing.
  • the polarizations are aligned once, even when different images are generated based on lights having different polarization directions, the appearance caused by the different polarization directions of the received light It is possible to generate an image in which the difference between the two is suppressed.
  • FIG. 1 is a diagram showing a schematic configuration of an image pickup apparatus.
  • FIG. 2 is a front view showing a schematic configuration of the first polarization filter.
  • FIG. 3 is a front view showing a schematic configuration of the second polarization filter.
  • FIG. 4 is a diagram showing an example of the first polarization direction and the second polarization direction.
  • FIG. 5 is a diagram showing a schematic configuration of the image sensor.
  • FIG. 6 is a sectional view showing a schematic configuration of one pixel.
  • FIG. 7 is a diagram showing an example of an array pattern of two types of polarizing elements.
  • FIG. 8 is a diagram showing the configuration of one unit of the polarizing element.
  • FIG. 9 is a diagram showing an example of an array of pixels of the image sensor.
  • FIG. 1 is a diagram showing a schematic configuration of an image pickup apparatus.
  • FIG. 2 is a front view showing a schematic configuration of the first polarization filter.
  • FIG. 3 is a front view showing
  • FIG. 10 is a block diagram showing a schematic configuration of the signal processing unit.
  • FIG. 11 is a conceptual diagram of image generation.
  • FIG. 12 is a diagram illustrating an example of calculating the matrix A.
  • FIG. 13 is a diagram illustrating an example of calculating the matrix A.
  • FIG. 14 is a flowchart showing a processing flow of an imaging method using the imaging device.
  • FIG. 15 is a diagram showing a schematic configuration of the image pickup apparatus.
  • FIG. 16 is a front view showing a schematic configuration of the wavelength filter.
  • FIG. 17 is a diagram showing a schematic configuration of the image pickup apparatus.
  • FIG. 18 is a front view showing a conceptual pupil region E of the imaging optical system.
  • FIG. 19 is a front view showing a schematic configuration of the second polarization filter.
  • FIG. 15 is a diagram showing a schematic configuration of the image pickup apparatus.
  • FIG. 16 is a front view showing a schematic configuration of the wavelength filter.
  • FIG. 17 is a diagram showing
  • FIG. 20 is a diagram illustrating an example of calculating the matrix A.
  • FIG. 21 is a diagram illustrating an example of calculating the matrix A.
  • FIG. 22 is a flowchart showing the processing flow of the imaging method.
  • FIG. 23 is a diagram showing a schematic configuration of another example of the image pickup apparatus.
  • FIG. 24 is a diagram illustrating an example of calculating the matrix A.
  • FIG. 25 is a diagram showing a schematic configuration of another example of the image pickup apparatus.
  • FIG. 1 is a diagram showing a schematic configuration of the image pickup apparatus 1 according to the first embodiment.
  • two independent images are acquired using two different polarization directions (first polarization direction 24 and second polarization direction 26).
  • the image pickup apparatus 1 includes an image pickup optical system 10, a first polarization filter (first polarizer) 12, a second polarization filter (second polarizer) 14, and an image pickup device.
  • the device 100 and the signal processing unit 200 are provided.
  • the polarization direction 22 of the natural light reflected by the subject 20 the first polarization direction 24 which is the polarization direction of the light transmitted through the first polarization filter 12, and the second polarization filter 14 are transmitted.
  • the light reflected by the subject 20 includes polarization directions 22 in all directions.
  • This light is captured by the imaging optical system 10.
  • the pupil area E of the imaging optical system 10 is composed of a first pupil area E1 and a second pupil area E2.
  • the first pupil area E1 and the second pupil area E2 can be arbitrarily determined.
  • the pupil area E may be vertically divided into two, one of which is the first pupil area E1 and the other is the second pupil area E2.
  • a parallax image can be obtained from the image based on the light transmitted through the first pupil area E1 and the image based on the light transmitted through the second pupil area E2.
  • the pupil region E may be divided into two in the horizontal direction orthogonal to the vertical direction, one of which may be the first pupil region E1 and the other may be the second pupil region E2.
  • the light transmitted through the first pupil region E1 and the second pupil region E2 is incident on the first polarization filter 12 provided at or near the pupil position and transmitted therethrough.
  • the polarization directions of the light transmitted through the first pupil region E1 and the second pupil region E2 that have passed through the first polarization filter 12 are aligned with the first polarization direction 24.
  • the second polarization filter 14 provided in the half-pupil area (the first pupil area E1 or the second pupil area E2) that is half the pupil area E transmits the light in the second polarization direction 26.
  • the image pickup device 100 receives the light of the first polarization direction 24 and the light of the second polarization direction 26.
  • FIG. 2 is a front view showing a schematic configuration of the first polarization filter (first polarizer) 12.
  • the first polarization filter 12 is provided at or near the pupil position of the imaging optical system 10 as shown in FIG.
  • the first polarization filter 12 has a polarization transmission axis (Aa) in the same direction on the entire surface, and changes the polarization direction of light passing through the first pupil region E1 and the second pupil region E2 to the first polarization. Align in direction 24.
  • the first polarization filter 12 is a polarization filter provided with a polarization transmission axis so as to shield s-polarized light.
  • FIG. 3 is a front view showing a schematic configuration of the second polarization filter (second polarizer) 14.
  • the second polarization filter 14 is provided behind the first polarization filter 12 (on the image sensor 100 side).
  • the second polarization filter 14 has a polarization transmission axis (Ab) that transmits light that passes through the first pupil region E1 or the second pupil region E2.
  • the second polarization filter 14 transmits the light of the second polarization direction 26 among the light transmitted through the second pupil region E2.
  • the portion corresponding to the first pupil region E1 is transparent, and the light of the first polarization direction 24 is transmitted as it is.
  • FIG. 4 is a diagram showing an example of the first polarization direction 24 and the second polarization direction 26.
  • the polarization direction is an angle ⁇ (azimuth) formed by the polarization transmission axis (Aa) of the first polarization filter 12 and the X axis in the XY plane orthogonal to the optical axis L, and the polarization transmission axis of the second polarization filter 14.
  • (Ab) is represented by an angle ⁇ (azimuth) formed with the X axis.
  • the first polarization filter 12 is configured to transmit light whose angle ⁇ a formed by the polarization transmission axis Aa and the X axis is 0° (azimuth angle 0°). That is, in the case shown in FIG. 4, the first polarization direction 24 is 0°.
  • the second polarization filter 14 is configured to transmit light having an angle ⁇ b formed by the polarization transmission axis Ab and the X axis of 30° (azimuth angle of 30°). That is, in the case shown in FIG. 4, the second polarization direction 26 is 30°. As a result, the light passing through the first pupil region E1 becomes the light having the first polarization direction 24, and the light passing through the second pupil region E2 becomes the light having the second polarization direction 26.
  • FIG. 5 is a diagram showing a schematic configuration of the image sensor 100, and is a diagram in which a part of the image sensor 100 is disassembled and enlarged.
  • FIG. 6 is a cross-sectional view showing a schematic configuration of one pixel (broken line portion in FIG. 5).
  • the image sensor 100 includes a pixel array layer 110, a polarizing element array layer 120, and a microlens array layer 130.
  • the pixel array layer 110 is configured by arranging a large number of photodiodes 112 two-dimensionally.
  • One photodiode 112 constitutes one pixel.
  • the photodiodes 112 are regularly arranged along the x-axis direction and the y-axis direction.
  • the polarizing element array layer 120 is provided between the pixel array layer 110 and the microlens array layer 130.
  • the polarizing element array layer 120 is configured by two-dimensionally arranging two different types of polarizing elements 122A and 122B.
  • the polarizing elements 122A and 122B are arranged at the same intervals as the photodiode 112 and provided for each pixel. Therefore, one photodiode 112 is provided with either one of the two types of polarizing elements 122A and 122B.
  • FIG. 7 is a diagram showing an example of an array pattern of two types of polarizing elements.
  • the two types of polarizing elements 122A and 122B are regularly arranged in a predetermined order along the x-axis direction and the y-axis direction.
  • a row in which the first polarizing element 122A and the second polarizing element 122B are repeatedly arranged, and a row in which the second polarizing element 122B and the first polarizing element 122A are repeatedly arranged are repeatedly arranged. Rows are alternately arranged, and the first polarizing element 122A and the second polarizing element 122B are regularly arranged in a predetermined pattern.
  • Each of the first polarizing element 122A and the second polarizing element 122B arranged in this manner includes two types of polarizing elements (first polarizing element 122A and second polarizing element 122B) one by one.
  • the pair of polarizing elements constitutes one unit, and the units are regularly arranged along the x-axis direction and the y-axis direction.
  • FIG. 8 is a diagram showing the configuration of one unit of the polarizing element.
  • one unit U is configured to include one first polarizing element 122A and one second polarizing element 122B.
  • the polarization directions of the first polarizing element 122A and the second polarizing element 122B are different from each other.
  • the first polarizing element 122A is configured to transmit light with an azimuth angle of +0°.
  • the second polarizing element 122B is configured to transmit light having an azimuth angle of +45°. Therefore, the photodiode 112 provided with the first polarization element 122A receives light (linearly polarized light) with an azimuth angle of +0°.
  • the photodiode 112 including the second polarizing element 122B receives light (linearly polarized light) with an azimuth angle of +45°.
  • the microlens array layer 130 is configured by arranging a large number of microlenses 132 two-dimensionally.
  • the microlenses 132 are arranged at the same intervals as the photodiodes 112 and provided for each pixel.
  • the microlens 132 is provided for the purpose of efficiently focusing the light from the imaging optical system 10 on the photodiode 112.
  • FIG. 9 is a diagram showing an example of an array of pixels of the image sensor 100.
  • Each pixel is provided with the first polarizing element 122A or the second polarizing element 122B.
  • the pixel provided with the first polarizing element 122A (the image A in the figure) is the first pixel 102A
  • the pixel provided with the second polarizing element 122B (the image B in the figure) is the second pixel 102B.
  • the image pickup device 100 has a set of two pixels each including one first pixel 102A and one second pixel 102B as one unit, and has a plurality of these units.
  • the unit of the two pixels is set as a pixel unit U(x, y). As shown in FIG. 9, the pixel units U(x, y) are regularly arranged along the x-axis direction and the y-axis direction.
  • the signal processing unit 200 processes the signal output from the image sensor 100 to handle the first image corresponding to the light transmitted through the first pupil region E1 and the light transmitted through the second pupil region E2. Generate a second image.
  • FIG. 10 is a block diagram showing a schematic configuration of the signal processing unit 200.
  • the signal processing unit 200 includes an analog signal processing unit 200A, an image generation unit 200B, and a coefficient storage unit 200C.
  • the analog signal processing unit 200A takes in analog pixel signals output from each pixel of the image sensor 100, performs predetermined signal processing (for example, correlated double sampling processing, amplification processing, etc.), and then converts them into digital signals. And output.
  • predetermined signal processing for example, correlated double sampling processing, amplification processing, etc.
  • the image generation unit 200B performs predetermined signal processing on the pixel signal converted into the digital signal, and generates an image corresponding to the light transmitted through the first pupil region E1 and the light transmitted through the second pupil region E2. To do.
  • FIG. 11 is a conceptual diagram of image generation.
  • Each pixel unit U(x, y) includes one first pixel 102A and one second pixel 102B. Therefore, by separating and extracting the pixel signals of the first pixel 102A and the second pixel 102B from each pixel unit U(x, y), two images (first image and second image) are obtained. Is generated. That is, the first image formed by extracting the pixel signal from the first pixel 102A of each pixel unit U(x, y) and the pixel of the second pixel 102B of each pixel unit U(x, y). A second image is generated that is constructed by extracting the signal.
  • the light received by the first pixel 102A is the light of the first polarization direction 24 (the light transmitted through the first pupil region E1) and the light of the second polarization direction 26 (the second light).
  • the light transmitted through the second pupil region E2) is included.
  • the light received by the second pixel 102B is the light of the first polarization direction 24 (the light transmitted through the first pupil area E1) and the light of the second polarization direction 26 (the second pupil area E2).
  • Light transmitted through is included. That is, in the first pixel 102A and the second pixel 102B, the light of the first polarization direction 24 and the light of the second polarization direction 26 are mixed and incident.
  • the image generation unit 200B performs a process of removing interference (crosstalk) (interference removal process), and the first image and the second pupil corresponding to the light passing through the first pupil region E1. A second image corresponding to the light passing through the area E2 is generated.
  • the interference removal processing is performed as follows.
  • the pixel signal (signal value) obtained by the first pixel 102A is x1
  • the pixel signal obtained by the second pixel 102B is x2.
  • Two pixel signals x1 and x2 are obtained from each pixel unit U(x, y). From the two pixel signals x1 and x2, the image generation unit 200B calculates pixel signals X1 and X2 corresponding to the first polarization direction 24 and the second polarization direction 26 by the following equation 1 using the matrix A. Calculate and remove interference.
  • the ratio (interference amount (also referred to as interference ratio)) of the light transmitted through the first pupil region E1 and the second pupil region E2 to the first pixel 102A and the second pixel 102B is determined by the polarization direction ( From the relationship between the first polarization direction 24 and the second polarization direction 26) and the polarization directions of the first polarization element 122A and the second polarization element 122B included in the first pixel 102A and the second pixel 102B. Uniquely determined.
  • Equation 4 the above simultaneous equations can be expressed by the following Equation 4 using the matrix B.
  • X1 and X2 are calculated by multiplying both sides by the inverse matrix B ⁇ 1 of the matrix B.
  • the pixel signal X1 of the image obtained by the light passing through the first pupil area E1 and the pixel signal X2 of the image obtained by the light passing through the second pupil area E2 are of the first polarization direction 24. From the pixel signals x1 and x2 of the first pixel 102A and the second pixel 102B based on the amounts of light and light of the second polarization direction 26 received by the first pixel 102A and the second pixel 102B. Can be calculated.
  • the light of the first polarization direction 24 and the light of the second polarization direction 26 are the first pixel 102A and the second pixel 102B. This is the amount of light received at (interference amount).
  • the element b11 in the first row is the amount (interference amount) of the light of the first polarization direction 24 received by the first pixel 102A
  • the element b12 is the light of the second polarization direction 26 is the first. This is the amount of light received by the pixel 102A.
  • the element b21 in the second row is the amount of light of the first polarization direction 24 received by the second pixel 102B
  • the element b22 is the light of the second polarization direction 26 is received by the second pixel 102B. It is the amount that is done.
  • the inverse matrix B ⁇ 1 of this matrix B exists. Therefore, by finding the inverse matrix B ⁇ 1 of the matrix B, each element of the matrix A can be found.
  • the light transmitted through the first pupil region E1 is It is determined by the square of the cosine (cos) of the angle difference between the polarization direction of the light transmitted through the second pupil region E2 and the polarization directions of the light received by the first pixel 102A and the second pixel 102B.
  • the polarization direction (azimuth angle) of light (linear polarization) transmitted through the first pupil area E1 (or the second pupil area E2) is ⁇
  • the polarization direction (azimuth angle) of light received by the i-th pixel is If the angle is ⁇ , the ratio is calculated by cos 2 (
  • 12 to 13 are diagrams illustrating an example of calculating the matrix A described above. 12 to 13 show the first polarization direction 24 of the light passing through the first pupil area E1 and the second polarization direction 26 of the light passing through the second pupil area E2 ((( Shown in A)). Further, in FIGS. 12 to 13, the polarization directions of the first polarizing element 122A and the second polarizing element 122B are shown (illustrated by (B)).
  • the light passing through the first pupil region E1 enters the image sensor 100 as linearly polarized light having a polarization direction of 30°
  • the light passing through the second pupil region E2 receives the image sensor 100.
  • And has a polarization direction of 90° and enters as linearly polarized light.
  • the first polarizing element 122A transmits light with a polarization direction of 0°
  • the second polarizing element 122B transmits light with a polarization direction of 45°.
  • the coefficient storage unit 200C stores each element of the matrix A of 2 rows and 2 columns obtained as the inverse matrix B ⁇ 1 of this matrix B as a coefficient group.
  • the coefficient storage unit 200C is an example of a storage unit.
  • the light passing through the first pupil region E1 is incident on the image sensor 100 as linearly polarized light having a polarization direction of 30°
  • the light passing through the second pupil region E2 is the image sensor 100.
  • the first polarizing element 122A transmits light with a polarization direction of 60°
  • the second polarizing element 122B transmits light with a polarization direction of 135°.
  • the coefficient storage unit 200C stores each element of the matrix A of 2 rows and 2 columns obtained as the inverse matrix B ⁇ 1 of this matrix B as a coefficient group.
  • the coefficient storage unit 200C is an example of a storage unit.
  • FIG. 14 is a flowchart showing a processing flow of an imaging method using the imaging device 1.
  • the polarization direction of the light transmitted through the first pupil area E1 and the second pupil area E2 is aligned with the first polarization direction 24 by the first polarization filter 12 (step S10).
  • the light of the second polarization direction 26 is transmitted by the second polarization filter 14 (step S11).
  • the image generation unit 200B performs the interference removal processing on the pixel signals obtained from the first pixel 102A and the second pixel 102B (step S13).
  • the image generation unit 200B generates the first image and the second image based on the pixel signal of the first pixel 102A and the pixel signal of the second pixel 102B after the interference removal processing (step S14). ..
  • the polarization of the pupil region E is once corrected by the first polarization filter 12. Are aligned, it is possible to generate an image in which the difference in the appearance due to the different polarization directions of the received light is suppressed.
  • the wavelength filter (bandpass filter) 40 is provided, and images in each wavelength band can be independently obtained.
  • FIG. 15 is a diagram showing a schematic configuration of the image pickup apparatus 1 of the present embodiment.
  • the parts already described in FIG. 1 are designated by the same reference numerals and the description thereof will be omitted.
  • the image pickup apparatus 1 of the present embodiment includes an image pickup optical system 10, a first polarization filter 12, a wavelength filter 40, a second polarization filter 14, an image pickup device 100, and a signal processing unit 200.
  • the position where the wavelength filter 40 is provided is not limited to the position between the first polarization filter 12 and the second polarization filter 14 as shown in the figure, and the position where the light transmitted through the first pupil region E1 The position is not particularly limited as long as it is a position where light that passes through the second pupil region E2 can be appropriately incident.
  • the light transmitted through the wavelength filter 40 becomes light in different wavelength bands between the first pupil area E1 and the second pupil area E2 (illustrated below the wavelength filter 40).
  • FIG. 16 is a front view showing a schematic configuration of the wavelength filter 40.
  • the wavelength filter 40 transmits light in different wavelength bands between the first pupil area E1 and the second pupil area E2, for example. Specifically, light of different wavelength bands is transmitted through the region 44 corresponding to the first pupil region E1 and the region 46 corresponding to the second pupil region E2.
  • the first image corresponding to the light transmitted through the first pupil region E1 becomes an image based on the light in the wavelength band (first wavelength band) transmitted through the region 44.
  • the second image corresponding to the light passing through the second pupil region E2 is an image based on the light in the wavelength band (second wavelength band) transmitted through the region 46. Note that FIG.
  • the 16 illustrates an example of the wavelength filter 40 when the pupil area E of the imaging optical system 10 is divided into a first pupil area E1 and a second pupil area E2.
  • the first wavelength filter (first wavelength band) and the second wavelength filter (second wavelength band) are integrally provided.
  • a wavelength filter 40 that transmits three different wavelength bands (a first wavelength band, a second wavelength band, and a third wavelength band) is used.
  • the wavelength filter 40 that integrally includes the first wavelength filter, the second wavelength filter, and the third wavelength filter may be used, or the first wavelength filter, the second wavelength filter, and the The three wavelength filters may be provided separately.
  • the images of a plurality of wavelength bands thus obtained are suitably applied to sugar content inspection of fruits, food growth inspection, water quality inspection, etc. by utilizing the spectral reflectance ratio.
  • FIG. 17 is a diagram showing a schematic configuration of the image pickup apparatus 1 of the third embodiment.
  • the parts already described in FIGS. 1 and 15 are designated by the same reference numerals, and the description thereof will be omitted.
  • the image pickup apparatus 1 of the present embodiment includes an image pickup optical system 10, a first polarization filter 12, a wavelength filter 40, a second polarization filter 14, an image pickup device 100, and a signal processing unit 200. .. Further, in the figure, the polarization direction 22 of the natural light reflected by the subject 20, the first polarization direction 24 which is the polarization direction of the light transmitted through the first polarization filter 12, and the second polarization filter 14 are transmitted. A second polarization direction 26 and a third polarization direction 28, which are the polarization directions of the emitted light, are shown. Even when three images are acquired independently by using three different polarization directions, the interference removal processing and the image generation can be performed by applying the method for acquiring two images described above. The same is done.
  • FIG. 18 is a front view showing a conceptual pupil area E of the imaging optical system 10.
  • the pupil area E of this embodiment is composed of a first pupil area E1, a second pupil area E2, and a third pupil area E3.
  • the first pupil area E1, the second pupil area E2, and the third pupil area E3 are areas obtained by equally dividing the pupil area E at an angle of 120°.
  • FIG. 19 is a front view showing a schematic configuration of a second polarization filter (including a second polarizer and a third polarizer) 14 of this embodiment.
  • the second polarization filter 14 has different functions in the first pupil area E1, the second pupil area E2, and the third pupil area E3.
  • the second polarization filter 14 is a bare portion in a region corresponding to the first pupil region E1, and the light of the first polarization direction 24 is transmitted as it is.
  • the second polarization filter 14 has a function of a second polarizer in a region corresponding to the second pupil region E2, and has a function of a third polarizer in a region corresponding to the third pupil region E3.
  • the second polarizer provided in the second pupil area E2 is different from the first polarization direction 24 in the light that is transmitted through the second pupil area E2 and is aligned in the first polarization direction 24.
  • the light of the second polarization direction 26 is transmitted.
  • the third polarizer provided in the third pupil area E3 causes the first polarization direction 24 and the second polarization direction of the light that is transmitted through the third pupil area E3 and aligned in the first polarization direction 24.
  • Light of a third polarization direction 28 different from the polarization direction 26 is transmitted.
  • one polarization filter has the functions of the second polarizer and the third polarizer, but the present invention is not limited to this.
  • a filter having the function of the second polarizer and a filter having the function of the third polarizer may be provided respectively.
  • 20 to 21 are diagrams illustrating an example of calculating the matrix A described above.
  • 20 to 21 the first polarization direction 24 of light passing through the first pupil region E1, the second polarization direction 26 of light passing through the second pupil region E2, and the third pupil region E3.
  • a third polarization direction 28 of light passing through is shown (illustrated in (A)).
  • 20 to 21 the polarization directions of the first polarizing element 122A, the second polarizing element 122B, and the third polarizing element 122C are shown (illustrated by (B)).
  • the image sensor 100 receives light transmitted through the first pupil region E1, the second pupil region E2, and the third pupil region E3, and receives light with different polarization directions. It has a plurality of pixel units each including a first pixel, a second pixel, and a third pixel as a set.
  • the light passing through the first pupil region E1 enters the image sensor 100 as linearly polarized light having a polarization direction of 30°
  • the light passing through the second pupil region E2 receives the image sensor 100.
  • light passing through the third pupil region E3 enters the image sensor 100 as linearly polarized light having a polarization direction of 150°.
  • the first polarizing element 122A transmits light with a polarization direction of 0°
  • the second polarizing element 122B transmits light with a polarization direction of 45°
  • the third polarizing element 122C transmits light with a polarization direction of 90°.
  • the light transmitted through the first pupil region E1 is incident on the image sensor 100 as linearly polarized light having a polarization direction of 30°
  • the light transmitted through the second pupil region E2 is the image sensor 100.
  • Light having a polarization direction of 90° and entering as linearly polarized light, and light passing through the third pupil region E3 enters the image sensor 100 as linearly polarized light having a polarization direction of 150°.
  • the first polarizing element 122A transmits light with a polarization direction of 60°
  • the second polarizing element 122B transmits light with a polarization direction of 150°
  • the third polarizing element 122C transmits light with a polarization direction of 105°.
  • FIG. 22 is a flowchart showing a processing flow of an image pickup method using the image pickup apparatus 1.
  • the polarization direction of light transmitted through the first pupil area E1, the second pupil area E2, and the third pupil area E3 is aligned with the first polarization direction 24 by the first polarization filter 12 (step S20). ).
  • the light of the second polarization direction 26 is transmitted by the second polarization filter 14, and among the light transmitted through the third pupil region E3,
  • the light of the third polarization direction 28 is transmitted by the second polarization filter 14 (step S21).
  • the image sensor 100 receives the light transmitted through the first pupil region E1, the light transmitted through the second pupil region E2, and the light transmitted through the third pupil region E3 (step S22).
  • the image generation unit 200B performs interference removal processing (step S23).
  • the image generation unit 200B generates the first image, the second image, and the third image (step S24).
  • the first polarization filter 12 once changes the pupil region E. Since the polarizations are aligned, it is possible to generate an image in which the difference in the appearance due to the different polarization directions of the received light is suppressed.
  • Light that passes through E1, the second pupil region E2, and the third pupil region E3 is transmitted by each polarizer.
  • FIG. 23 is a diagram showing a schematic configuration of another example of the image pickup apparatus 1 of the present embodiment.
  • the parts already described in FIG. 1 are designated by the same reference numerals and the description thereof will be omitted.
  • the second polarization filter 14 does not have a blank portion and has the functions of the second polarizer and the third polarizer.
  • the second polarizer of the second polarization filter 14 transmits the light of the second polarization direction 26 among the lights having the first polarization direction 24 transmitted through the first pupil region E1.
  • the third polarizer of the second polarization filter 14 transmits the light of the third polarization direction 28 among the light having the first polarization direction 24 transmitted through the second pupil region E2. That is, the second polarization filter 14 of the present example does not have a blank portion, and polarizes each light transmitted through the first pupil region E1 and the second pupil region E2.
  • the second polarizer and the third polarizer may be provided in a single polarization filter or may be provided in different polarization filters.
  • FIG. 24 is a diagram illustrating an example of calculation of the above-described matrix A when the second polarization direction 26 and the third polarization are orthogonal to each other. Note that the portions already described in FIGS. 20 and 21 are denoted by the same reference numerals, and the description thereof will be omitted.
  • the light passing through the first pupil region E1 enters the image sensor 100 as linearly polarized light having a polarization direction of 45°
  • the light passing through the second pupil region E2 receives the image sensor 100.
  • the first polarizing element 122A transmits light having a polarization direction of 45°
  • the second polarizing element 122B transmits light having a polarization direction of 135°.
  • the polarization direction of the light passing through the first pupil area E1 (second polarization direction 26)
  • the polarization direction of the light passing through the second pupil area E2 (the third polarization direction). This is the case when the directions 28) are orthogonal.
  • the polarization direction (second polarization direction 26) of the light passing through the first pupil area E1 is the same as the polarization direction of the first polarizing element 122A
  • the light passing through the second pupil area E2 is
  • the polarization direction (third polarization direction 28) of the second polarization element 122B and the polarization direction of the second polarization element 122B are the same.
  • each image can be generated from the signals obtained from the first pixel 102A and the second pixel 102B without performing the interference removal processing. That is, the pixel signal X1 of the first pupil area E1 is the pixel signal x1 of the first pixel 102A, and the pixel signal X2 of the second pupil area E2 is the pixel signal x2 of the first pixel 102A.
  • FIG. 25 is a diagram showing a schematic configuration of another example of the image pickup apparatus 1 of the present embodiment. It is to be noted that the portions already described in FIG.
  • the second polarizing filter 14 does not have a blank portion and has the functions of the second polarizer, the third polarizer, and the fourth polarizer.
  • the second polarizer of the second polarization filter 14 transmits the light having the second polarization direction 26 out of the light having the first polarization direction 24 transmitted through the first pupil region E1.
  • the third polarizer of the second polarization filter 14 transmits the light having the third polarization direction 28 among the lights having the first polarization direction 24 transmitted through the second pupil region E2.
  • the fourth polarizer of the second polarization filter 14 transmits the light having the fourth polarization direction 30 among the light having the first polarization direction 24 transmitted through the third pupil region E3.
  • the second polarization filter 14 of the present example does not have a transparent portion, and polarizes each light transmitted through the first pupil region E1, the second pupil region E2, and the third pupil region E3.
  • the second polarizer, the third polarizer, and the fourth polarizer may be provided in a single polarization filter or may be provided in separate polarization filters.
  • an image can be generated based on light of various polarization directions without being limited to the polarization directions aligned by the first polarization filter 12, and the light is received. It is possible to generate an image in which a difference in appearance due to different polarization directions of light is suppressed.
  • Imaging device 10 Imaging optical system 12: First polarization filter 14: Second polarization filter 20: Subject 40: Wavelength filter 100: Imaging element 102A: First pixel 102B: Second pixel 110: Pixel array Layer 112: Photodiode 120: Polarizing element array layer 122A: First polarizing element 122B: Second polarizing element 122C: Third polarizing element 130: Microlens array layer 132: Microlens 200: Signal processing unit 200A: Analog Signal processing unit 200B: Image generating unit 200C: Coefficient storage unit E1: First pupil region E2: Second pupil region E3: Third pupil region L: Optical axis

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる撮像装置及び撮像方法を提供する。撮像装置（１）は、撮像光学系（１０）と、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、第１の瞳領域及び第２の瞳領域を透過する光を受光する撮像素子（１００）と、第１の画素及び第２の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、を備える。

Description

撮像装置及び撮像方法
　本発明は、撮像装置及び撮像方法に関し、特に１つの撮像素子で複数の画像を独立に取得する撮像装置及び撮像方法に関する。
　従来より、互いに異なる２つの偏光方向の光をそれぞれ異なる画素で受光し、独立した２つの画像を取得する技術が提案されている。
　例えば特許文献１には、互いに異なる２つの偏光方向の光をそれぞれ異なる画素で受光し、独立した２つの画像を取得する技術が提案されている。特許文献１に記載された受光素子は偏光板の偏光子を透過した光をそれぞれ透過させる検光子アレイを備えており、受光素子が受光した異なる偏光方向の光に対応する各画像が生成される。
特開２００９－１６９０９６号公報
　ここで、特許文献１に記載された技術では、互いに異なる偏光方向の光に対応する画像がそれぞれ生成されているが、偏光方向を一度も揃えることなく、偏光方向が異なる２種の光が生成されている。具体的には、特許文献１では、先ずレンズを透過した光を２種の偏光方向をそれぞれ透過させる偏光板に透過させることにより、互いに異なる偏光方向を有する２種の光が生成される。そして、互いに異なる偏光方向を有する２種の光は、それぞれ検光子を透過して受光素子により受光されている。したがって、特許文献１に記載された撮像装置では、一度も偏光方向が揃えられること無く、偏光方向が異なる２種の光が生成され、その光に基づいた各画像が生成されている。
　このように、一度も偏光方向を揃えること無く生成された異なる偏光方向の光に基づいて、画像が生成される場合には以下のような問題が発生することがある。
　例えば水面を撮影する際に、偏光フィルタを用いてブリュスター角で撮影することによりｓ偏光を遮蔽する技術が知られている。しかし、始めから異なる偏光方向の光を生成する場合には、一方の偏光方向はｓ偏光を遮蔽する方向に合わせることができるが、他方の偏光方向はｓ偏光を遮蔽する方向に合わせることができない。
　また、分光反射率比を利用して果物の糖度を推定する技術が知られているが、一度も偏光方向を揃えることなく、異なる偏光方向の光に基づく画像が用いられると、上手く分光反射率比が算出されない場合がある。具体的には、一度も偏光方向を揃えることなく得られた、異なる偏光方向の光に基づく画像は、被写体の光沢が大きな部分に関しては、鏡面反射光の成分が大きく正しい分光反射率比が得られない。
　本発明はこのような事情に鑑みてなされたもので、その目的は、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる撮像装置及び撮像方法を提供することである。
　上記目的を達成するための本発明の一の態様である撮像装置は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系と、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、第２の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、第１の瞳領域及び第２の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素と第２の画素とを一組とする画素ユニットを複数有する撮像素子と、第１の画素及び第２の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、を備える。
　本態様によれば、第１の偏光子により、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃えられ、第２の偏光子により、第２の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なる第２の偏光方向の光を透過させる。これにより、本態様は、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。
　好ましくは、撮像装置は、第１の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向の光を透過させる第３の偏光子を備える。
　本発明の他の態様である撮像装置は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系と、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、第２の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、第１の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なり且つ第２の偏光方向とは直交する第３の偏光方向の光を透過させる第３の偏光子と、第１の瞳領域及び第２の瞳領域を透過する光を受光する、第２の偏光方向の光を受光する第１の画素と第３の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子と、第１の画素及び第２の画素の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、を備える。
　本態様によれば、第１の偏光子により、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃えられ、第２の偏光子により、第２の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なる第２の偏光方向の光を透過させる。これにより、本態様は、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。また、本態様では、第２の偏光方向と第３の偏光方向とが直交し、且つ第２の偏光方向の光を受光する第１の画素と第３の偏光方向の光を受光する第２の画素とを有するので、理想的には第２の偏光方向の光と第３の偏光方向の光に対応する信号が混ざることなく混信除去処理を行う必要がない。よって、本態様は混信除去処理を行わなくても適切な第１の画像及び第２の画像を得ることができる。
　好ましくは、撮像装置は、第１の瞳領域を透過する光のうち、第１の波長帯域の光を透過させる第１の波長フィルタと、第２の瞳領域を透過する光のうち、第２の波長帯域の光を透過させる第２の波長フィルタと、を備える。
　本発明の他の態様である撮像装置は、第１の瞳領域、第１の瞳領域とは異なる第２の瞳領域、及び第１の瞳領域及び第２の瞳領域とは異なる第３の瞳領域で構成される瞳領域を有する撮像光学系と、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、第２の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、第３の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向の光を透過させる第３の偏光子と、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する撮像素子と、第１の画素、第２の画素、及び第３の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像、第２の瞳領域を透過する光に対応する第２の画像、及び第３の瞳領域を透過する光に対応する第３の画像を生成する画像生成部と、を備える。
　本態様によれば、第１の偏光子により、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光の偏光方向を第１の偏光方向に揃えられ、第２の偏光子により、第２の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なる第２の偏光方向の光を透過させ、第３の偏光子により、第３の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向の光を透過させる。これにより、本態様は、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。
　好ましくは、撮像装置は、第１の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向、第２の偏光方向、及び第３の偏光方向とは異なる第４の偏光方向の光を透過させる第４の偏光子を備える。
　好ましくは、撮像装置は、第１の瞳領域を透過する光のうち、第１の波長帯域の光を透過させる第１の波長フィルタと、第２の瞳領域を透過する光のうち、第２の波長帯域の光を透過させる第２の波長フィルタと、第３の瞳領域を透過する光のうち、第３の波長帯域の光を透過させる第３の波長フィルタと、を備える。
　好ましくは、第１の偏光子は、ｓ偏光を遮光する。
　好ましくは、撮像素子は、画素ユニットが偏光素子を備える画素により構成されている。
　好ましくは、撮像素子は、画素を構成するフォトダイオードとマイクロレンズとの間に偏光素子を有する。
　本発明の他の態様である撮像方法は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、第２の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、第１の瞳領域及び第２の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素と第２の画素とを一組とする画素ユニットを複数有する撮像素子の、第１の画素及び第２の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、を含む。
　本発明の他の態様である撮像方法は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、第２の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、第１の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なり且つ第２の偏光方向とは直交する第３の偏光方向の光を、第３の偏光子により、透過させるステップと、第１の瞳領域及び第２の瞳領域を透過する光を受光する、第２の偏光方向の光を受光する第１の画素と第３の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子の、第１の画素及び第２の画素の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、を含む。
　本発明の他の態様である撮像方法は、第１の瞳領域、第１の瞳領域とは異なる第２の瞳領域、及び第１の瞳領域及び第２の瞳領域とは異なる第３の瞳領域で構成される瞳領域を有する撮像光学系の、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、第２の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、第３の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向の光を、第３の偏光子により、透過させるステップと、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する撮像素子の、第１の画素、第２の画素、及び第３の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像、第２の瞳領域を透過する光に対応する第２の画像、及び第３の瞳領域を透過する光に対応する第３の画像を生成するステップと、を含む。
　本発明によれば、偏光を一度揃えているので、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。
図１は、撮像装置の概略構成を示す図である。 図２は、第１の偏光フィルタの概略構成を示す正面図である。 図３は、第２の偏光フィルタの概略構成を示す正面図である。 図４は、第１の偏光方向及び第２の偏光方向の一例を示す図である。 図５は、撮像素子の概略構成を示す図である。 図６は、１画素の概略構成を示す断面図である。 図７は、２種類の偏光素子の配列パターンの一例を示す図である。 図８は、偏光素子の１ユニットの構成を示す図である。 図９は、撮像素子の画素の配列の一例を示す図である。 図１０は、信号処理部の概略構成を示すブロック図である。 図１１は、画像生成の概念図である。 図１２は、行列Ａの算出の例を説明する図である。 図１３は、行列Ａの算出の例を説明する図である。 図１４は、撮像装置を使用した撮像方法の処理フローを示したフローチャートである。 図１５は、撮像装置の概略構成を示す図である。 図１６は、波長フィルタの概略構成を示す正面図である。 図１７は、撮像装置の概略構成を示す図である。 図１８は、撮像光学系の概念的な瞳領域Ｅを示す正面図である。 図１９は、第２の偏光フィルタの概略構成を示す正面図である。 図２０は、行列Ａの算出の例を説明する図である。 図２１は、行列Ａの算出の例を説明する図である。 図２２は、撮像方法の処理フローを示したフローチャートである。 図２３は、撮像装置の他の例の概略構成を示す図である。 図２４は、行列Ａの算出の例を説明する図である。 図２５は、撮像装置の他の例の概略構成を示す図である。
　以下、添付図面にしたがって本発明の好ましい実施の形態について詳説する。
　＜第１の実施形態＞
　図１は、第１の実施形態の撮像装置１の概略構成を示す図である。本実施形態では、互いに異なる２つの偏光方向（第１の偏光方向２４及び第２の偏光方向２６）を利用して、独立な２枚の画像を取得する。
　同図に示すように、本実施形態の撮像装置１は、撮像光学系１０、第１の偏光フィルタ（第１の偏光子）１２、第２の偏光フィルタ（第２の偏光子）１４、撮像素子１００及び信号処理部２００を備える。また、同図には、被写体２０で反射された自然光の偏光方向２２、第１の偏光フィルタ１２を透過した光の偏光方向である第１の偏光方向２４、及び第２の偏光フィルタ１４を透過した光の偏光方向である第２の偏光方向２６が撮像光学系１０の瞳領域Ｅと共に、それぞれ第１の偏光フィルタ１２及び第２の偏光フィルタ１４の下方に示されている。
　被写体２０が反射する光は、あらゆる方向の偏光方向２２を含んでいる。この光は撮像光学系１０で捉えられる。撮像光学系１０の瞳領域Ｅは、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２で構成される。第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２は、任意に決定することができる。例えば、図１に示すように、瞳領域Ｅを鉛直方向に２分割し、一方を第１の瞳領域Ｅ１とし他方を第２の瞳領域Ｅ２としてもよい。この場合には、第１の瞳領域Ｅ１を透過した光に基づく画像と、第２の瞳領域Ｅ２を透過した光に基づく画像とで視差画像を得ることができる。また例えば、瞳領域Ｅを鉛直方向に直交する水平方向に２分割し、一方を第１の瞳領域Ｅ１とし、他方を第２の瞳領域Ｅ２としてもよい。
　第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過した光は、瞳位置又は瞳位置の近傍に設けられた第１の偏光フィルタ１２に入射し透過する。第１の偏光フィルタ１２を透過した第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過した光の偏光方向は第１の偏光方向２４に揃えられる。その後、瞳領域Ｅの半分の半瞳領域（第１の瞳領域Ｅ１又は第２の瞳領域Ｅ２）に設けられる第２の偏光フィルタ１４により、第２の偏光方向２６の光が透過させられる。その後、撮像素子１００により、第１の偏光方向２４の光と第２の偏光方向２６の光が受光される。
　〔偏光子〕
　図２は、第１の偏光フィルタ（第１の偏光子）１２の概略構成を示す正面図である。第１の偏光フィルタ１２は、図１に示すように撮像光学系１０の瞳位置又はその近傍に備えられる。そして、第１の偏光フィルタ１２は、同一方向の偏光透過軸（Ａａ）を全面に有し、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過する光の偏光方向を第１の偏光方向２４に揃える。例えば第１の偏光フィルタ１２は、ｓ偏光を遮光するように偏光透過軸が設けられた偏光フィルタが用いられる。第１の偏光フィルタ１２にｓ偏光を遮光する偏光フィルタが用いられることにより、水面等の反射光により得られる複数の画像の見え方が反射光により異なることを抑制することができる。
　図３は、第２の偏光フィルタ（第２の偏光子）１４の概略構成を示す正面図である。第２の偏光フィルタ１４は、第１の偏光フィルタ１２の後方（撮像素子１００側）に備えられる。そして、第２の偏光フィルタ１４は、第１の瞳領域Ｅ１、又は第２の瞳領域Ｅ２、を透過する光を透過させる偏光透過軸（Ａｂ）を有する。同図に示した場合では、第２の偏光フィルタ１４は、第２の瞳領域Ｅ２を透過する光のうち、第２の偏光方向２６の光を透過させる。また、同図に示した第２の偏光フィルタ１４は、第１の瞳領域Ｅ１に対応する部分は素抜けとなっており、そのまま第１の偏光方向２４の光を透過させる。
　図４は、第１の偏光方向２４及び第２の偏光方向２６の一例を示す図である。
　偏光方向は、光軸Ｌと直交するＸＹ平面において、第１の偏光フィルタ１２の偏光透過軸（Ａａ）がＸ軸と成す角度Φ（方位角）、及び第２の偏光フィルタ１４の偏光透過軸（Ａｂ）がＸ軸と成す角度Φ（方位角）によって表わされる。図４に示すように第１の偏光フィルタ１２は、その偏光透過軸ＡａとＸ軸の成す角度Φａが０°（方位角０°）の光を透過する構成とされる。すなわち、図４に示す場合では第１の偏光方向２４は０°となる。第２の偏光フィルタ１４は、その偏光透過軸ＡｂとＸ軸のなる角度Φｂが３０°（方位角３０°）の光を透過する構成とされる。すなわち、図４に示す場合では第２の偏光方向２６は３０°となる。この結果、第１の瞳領域Ｅ１を透過する光は第１の偏光方向２４を有する光となり、第２の瞳領域Ｅ２を透過する光は第２の偏光方向２６を有する光となる。
　〔撮像素子〕
　図５は、撮像素子１００の概略構成を示す図であり、撮像素子１００の一部を分解し、拡大して示した図である。図６は、１画素（図５の破線部）の概略構成を示す断面図である。
　図５に示すように、撮像素子１００は、ピクセルアレイ層１１０、偏光素子アレイ層１２０及びマイクロレンズアレイ層１３０を有する。
　ピクセルアレイ層１１０は、多数のフォトダイオード１１２を二次元的に配列して構成される。１つのフォトダイオード１１２は、１つの画素を構成する。各フォトダイオード１１２は、ｘ軸方向及びｙ軸方向に沿って規則的に配置される。
　偏光素子アレイ層１２０は、ピクセルアレイ層１１０とマイクロレンズアレイ層１３０との間に備えられる。偏光素子アレイ層１２０は、異なる２種類の偏光素子１２２Ａ及び１２２Ｂを二次元的に配列して構成される。各偏光素子１２２Ａ及び１２２Ｂは、フォトダイオード１１２と同じ間隔で配置され、画素ごとに備えられる。したがって、１つのフォトダイオード１１２には、２種類の偏光素子１２２Ａ、１２２Ｂのうちいずれか１つが備えられる。
　図７は、２種類の偏光素子の配列パターンの一例を示す図である。
　同図に示すように、２種類の偏光素子１２２Ａ及び１２２Ｂは、ｘ軸方向及びｙ軸方向に沿って、所定の順序で規則的に配列される。
　図７に示す例では、第１の偏光素子１２２Ａ、第２の偏光素子１２２Ｂの順で繰り返し配置される行と、第２の偏光素子１２２Ｂ、第１の偏光素子１２２Ａの順で繰り返し配置される行とを交互に配置して、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂを所定のパターンで規則的に配列している。このように配列される第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂは、２種類の偏光素子（第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂ）を１つずつ含んだ２個一組の偏光素子が１つのユニットを構成し、このユニットが、ｘ軸方向及びｙ軸方向に沿って、規則的に配列される。
　図８は、偏光素子の１ユニットの構成を示す図である。
　同図に示すように、１ユニットＵは、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂを１つずつ含んで構成される。
　上記のように、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂは、互いに偏光方向が異なる。本実施形態では、第１の偏光素子１２２Ａは、方位角＋０°の光を透過する構成とされる。第２の偏光素子１２２Ｂは、方位角＋４５°の光が透過する構成とされる。したがって、第１の偏光素子１２２Ａが備えられたフォトダイオード１１２は、方位角＋０°の光（直線偏光）を受光する。第２の偏光素子１２２Ｂが備えられたフォトダイオード１１２は、方位角＋４５°の光（直線偏光）を受光する。
　マイクロレンズアレイ層１３０は、多数のマイクロレンズ１３２を二次元的に配列して構成される。各マイクロレンズ１３２は、フォトダイオード１１２と同じ間隔で配置され、１画素ごとに備えられる。マイクロレンズ１３２は、撮像光学系１０からの光をフォトダイオード１１２に効率よく集光させる目的で備えられる。
　図９は、撮像素子１００の画素の配列の一例を示す図である。
　各画素には、第１の偏光素子１２２Ａ又は第２の偏光素子１２２Ｂが備えられる。第１の偏光素子１２２Ａが備えられた画素（図中Ａの画像）を第１の画素１０２Ａ、第２の偏光素子１２２Ｂが備えられた画素（図中Ｂの画像）を第２の画素１０２Ｂとする。撮像素子１００は、第１の画素１０２Ａ及び第２の画素１０２Ｂを１つずつ含んだ２個一組の画素を１つのユニットとし、このユニットを複数有する。この２個一組の画素のユニットを画素ユニットＵ（ｘ，ｙ）とする。図９に示すように、画素ユニットＵ（ｘ，ｙ）は、ｘ軸方向及びｙ軸方向に沿って、規則的に配列される。
　〔信号処理部〕
　信号処理部２００は、撮像素子１００から出力される信号を処理して、第１の瞳領域Ｅ１を透過した光に対応する第１の画像、及び第２の瞳領域Ｅ２を透過した光に対応する第２の画像を生成する。
　図１０は、信号処理部２００の概略構成を示すブロック図である。
　同図に示すように、信号処理部２００は、アナログ信号処理部２００Ａ、画像生成部２００Ｂ、及び係数記憶部２００Ｃを含む。
　アナログ信号処理部２００Ａは、撮像素子１００の各画素から出力されるアナログの画素信号を取り込み、所定の信号処理（例えば、相関二重サンプリング処理、増幅処理等）を施した後、デジタル信号に変換して出力する。
　画像生成部２００Ｂは、デジタル信号に変換後の画素信号に所定の信号処理を施して、第１の瞳領域Ｅ１を透過した光、第２の瞳領域Ｅ２を透過した光に対応した画像を生成する。
　図１１は、画像生成の概念図である。
　各画素ユニットＵ（ｘ，ｙ）には、第１の画素１０２Ａ及び第２の画素１０２Ｂが１つずつ含まれる。したがって、各画素ユニットＵ（ｘ，ｙ）から第１の画素１０２Ａ及び第２の画素１０２Ｂの画素信号を分離して抽出することにより、２つの画像（第１の画像及び第２の画像）が生成される。すなわち、各画素ユニットＵ（ｘ，ｙ）の第１の画素１０２Ａから画素信号を抽出して構成される第１の画像と、各画素ユニットＵ（ｘ，ｙ）の第２の画素１０２Ｂの画素信号を抽出して構成される第２の画像が生成される。
　ところで、上記のように、第１の画素１０２Ａで受光される光は、第１の偏光方向２４の光（第１の瞳領域Ｅ１を透過した光）及び第２の偏光方向２６の光（第２の瞳領域Ｅ２を透過した光）が含まれる。また、第２の画素１０２Ｂで受光される光は、第１の偏光方向２４の光（第１の瞳領域Ｅ１を透過した光）及び第２の偏光方向２６の光（第２の瞳領域Ｅ２を透過した光）が含まれる。すなわち、第１の画素１０２Ａ及び第２の画素１０２Ｂにおいては、第１の偏光方向２４の光と第２の偏光方向２６の光とが混信して入射される。
　このため、画像生成部２００Ｂは、混信（クロストーク）を除去する処理（混信除去処理）を行って、第１の瞳領域Ｅ１を透過する光に対応する第１の画像、及び第２の瞳領域Ｅ２を透過する光に対応する第２の画像を生成する。混信除去処理は、次のように行われる。
　いま、第１の画素１０２Ａで得られる画素信号（信号値）をｘ１、第２の画素１０２Ｂで得られる画素信号をｘ２とする。各画素ユニットＵ（ｘ，ｙ）からは、２個の画素信号ｘ１、ｘ２が得られる。画像生成部２００Ｂは、この２個の画素信号ｘ１、ｘ２から、行列Ａを用いた下記の式１によって、第１の偏光方向２４、第２の偏光方向２６に対応した画素信号Ｘ１、Ｘ２を算出し、混信を除去する。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　以下、上記式１によって、第１の偏光方向２４の光、第２の偏光方向２６の光に対応する画像の画素信号Ｘ１、Ｘ２を算出できる理由、すなわち、混信を除去できる理由について説明する。
　第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過した光が、第１の画素１０２Ａ及び第２の画素１０２Ｂで受光される割合（混信量（混信比率ともいう））は、偏光方向（第１の偏光方向２４及び第２の偏光方向２６）と、第１の画素１０２Ａ、第２の１０２Ｂに備えられた第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂの偏光方向との関係から一意に定まる。
　いま、第１の偏光方向２４の光が第１の画素１０２Ａで受光される割合をｂ１１、第２の偏光方向２６の光が第１の画素１０２Ａで受光される割合をｂ１２とすると、Ｘ１、Ｘ２、とｘ１との間には、次の関係が成り立つ。
　ｂ１１＊Ｘ１＋ｂ１２＊Ｘ２＝ｘ１…（式２）
　また、第１の偏光方向２４の光が第２の画素１０２Ｂで受光される割合をｂ２１、第２の偏光方向２６の光が第２の画素１０２Ｂで受光される割合をｂ２２とすると、Ｘ１、Ｘ２とｘ２との間には、次の関係が成り立つ。
　ｂ２１＊Ｘ１＋ｂ２２＊Ｘ２＝ｘ２…（式３）
　Ｘ１及びＸ２について、式２及び式３の連立方程式を解くことで、元の画像の画素信号、すなわち、第１の偏光方向２４の光の画像、第２の偏光方向２６の光の画像の画素信号Ｘ１、Ｘ２を取得できる。
　ここで、上記の連立方程式は、行列Ｂを用いた下記の式４で表わすことができる。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　Ｘ１、Ｘ２は、両辺に行列Ｂの逆行列Ｂ－１をかけることで算出される。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　このように、第１の瞳領域Ｅ１を透過する光で得られる画像の画素信号Ｘ１、第２の瞳領域Ｅ２を透過する光で得られる画像の画素信号Ｘ２は、第１の偏光方向２４の光、第２の偏光方向２６の光が第１の画素１０２Ａ、及び第２の画素１０２Ｂで受光される量に基づいて、第１の画素１０２Ａ、第２の画素１０２Ｂの画素信号ｘ１、ｘ２から算出できる。
　上記式１における行列Ａは、行列Ｂの逆行列Ｂ－１である（Ａ＝Ｂ－１）。したがって、行列Ａの各要素ａｉｊ（ｉ＝１、２；ｊ＝１、２）は、行列Ｂの逆行列Ｂ－１を求めることで取得できる。行列Ｂの各要素ｂｉｊ（ｉ＝１、２；ｊ＝１、２）は、第１の偏光方向２４の光及び第２の偏光方向２６の光が第１の画素１０２Ａ及び第２の画素１０２Ｂで受光される量（混信量）である。
　すなわち、１行目の要素ｂ１１は、第１の偏光方向２４の光が第１の画素１０２Ａで受光される量（混信量）、要素ｂ１２は、第２の偏光方向２６の光が第１の画素１０２Ａで受光される量である。
　また、２行目の要素ｂ２１は、第１の偏光方向２４の光が第２の画素１０２Ｂで受光される量、要素ｂ２２は、第２の偏光方向２６の光が第２の画素１０２Ｂで受光される量である。この行列Ｂの逆行列Ｂ－１は存在する。したがって、行列Ｂの逆行列Ｂ－１を求めることで、行列Ａの各要素を求めることができる。
　第１の瞳領域Ｅ１を透過した光と第２の瞳領域Ｅ２を透過した光が各画素１０２Ａ及び１０２Ｂで受光される割合（混信量）については、第１の瞳領域Ｅ１を透過した光と第２の瞳領域Ｅ２を透過した光の偏光方向と第１の画素１０２Ａ及び第２の画素１０２Ｂで受光される光の偏光方向の角度差の余弦（ｃｏｓ）の二乗によって求められる。したがって、たとえば、第１の瞳領域Ｅ１（又は第２の瞳領域Ｅ２）を透過した光（直線偏光）の偏光方向（方位角）をα、第ｉ画素で受光される光の偏光方向（方位角）をβとすると、割合は、ｃｏｓ２（｜α－β｜）で算出される。
　図１２から図１３は、上述した行列Ａの算出の例を説明する図である。図１２から図１３では、第１の瞳領域Ｅ１を透過する光の第１の偏光方向２４、及び第２の瞳領域Ｅ２を通過する光の第２の偏光方向２６が示されている（（Ａ）で図示）。また、図１２から図１３では、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂの偏光方向が示されている（（Ｂ）で図示）。
　図１２に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向３０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向４５°の光を透過する。
　したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝０．７５００、ｂ１２＝０．００００、ｂ２１＝０．９３３０、ｂ２２＝０．５０００となる。
Figure JPOXMLDOC01-appb-M000007
　この行列Ｂの逆行列Ｂ－１（行列Ａ）は存在し、その各要素は、ａ１１＝１．３３３３、ａ１２＝０、ａ２１＝－２．４８８０、ａ２２＝２．００００となる。
Figure JPOXMLDOC01-appb-M000008
　係数記憶部２００Ｃは、この行列Ｂの逆行列Ｂ－１として求めた２行２列の行列Ａの各要素を係数群として記憶する。係数記憶部２００Ｃは、記憶部の一例である。
　図１３に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向３０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向６０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向１３５°の光を透過する。
　したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝０．７５００、ｂ１２＝０．７５００、ｂ２１＝０．０６７０、ｂ２２＝０．５０００となる。
Figure JPOXMLDOC01-appb-M000009
　この行列Ｂの逆行列Ｂ－１（行列Ａ）は存在し、その各要素は、ａ１１＝１．５３９６、ａ１２＝－２．３０９４、ａ２１＝－０．２０６３、ａ２２＝２．３０９４となる。
Figure JPOXMLDOC01-appb-M000010
　係数記憶部２００Ｃは、この行列Ｂの逆行列Ｂ－１として求めた２行２列の行列Ａの各要素を係数群として記憶する。係数記憶部２００Ｃは、記憶部の一例である。
　図１４は、撮像装置１を使用した撮像方法の処理フローを示したフローチャートである。
　先ず、第１の偏光フィルタ１２により、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過する光の偏光方向を第１の偏光方向２４に揃える（ステップＳ１０）。次に、第２の瞳領域Ｅ２を透過した光のうち、第２の偏光フィルタ１４により、第２の偏光方向２６の光が透過させられる（ステップＳ１１）。その後、第１の瞳領域Ｅ１を透過した光及び第２の瞳領域Ｅ２を透過した光を、第１の画素１０２Ａ及び第２の画素１０２Ｂにより受光する（ステップＳ１２）。そして、画像生成部２００Ｂは、第１の画素１０２Ａ及び第２の画素１０２Ｂから得られた画素信号に対して混信除去処理を行う（ステップＳ１３）。次に、画像生成部２００Ｂは、混信除去処理後の第１の画素１０２Ａの画素信号及び第２の画素１０２Ｂの画素信号に基づいて第１の画像及び第２の画像を生成する（ステップＳ１４）。
　以上で説明した本実施形態によれば、互いに異なる２種の偏光方向を有する光に基づいて異なる２つの画像を生成する場合であっても、一度第１の偏光フィルタ１２により瞳領域Ｅの偏光が揃えられるので、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。
　＜第２の実施形態＞
　次に、本発明の第２の実施形態に関して説明する。本実施形態では、波長フィルタ（バンドパスフィルタ）４０を備え、各波長帯域の画像を独立に得ることができる。
　図１５は、本実施形態の撮像装置１の概略構成を示す図である。なお、図１で既に説明を行った箇所は、同じ符号を付し説明は省略する。
　同図に示すように、本実施形態の撮像装置１は、撮像光学系１０、第１の偏光フィルタ１２、波長フィルタ４０、第２の偏光フィルタ１４、撮像素子１００及び信号処理部２００を備える。なお、波長フィルタ４０を設ける位置は、図示するように第１の偏光フィルタ１２と第２の偏光フィルタ１４との間に限定されるものではなく、第１の瞳領域Ｅ１を透過する光と第２の瞳領域Ｅ２を透過する光とを適切に入射させることができる位置であれば特に限定されるものではない。波長フィルタ４０を透過した光は、第１の瞳領域Ｅ１と第２の瞳領域Ｅ２とで異なる波長帯域の光となる（波長フィルタ４０の下方に図示）。
　図１６は、波長フィルタ４０の概略構成を示す正面図である。
　波長フィルタ４０は、例えば第１の瞳領域Ｅ１と第２の瞳領域Ｅ２とで異なる波長帯域の光を透過させる。具体的には、第１の瞳領域Ｅ１に対応する領域４４と、第２の瞳領域Ｅ２に対応する領域４６とでは異なる波長帯域の光を透過させる。このような波長フィルタ４０を備えることにより、第１の瞳領域Ｅ１を透過する光に対応する第１の画像は、領域４４で透過した波長帯域（第１の波長帯域）の光に基づく画像となり、第２の瞳領域Ｅ２を透過する光に対応する第２の画像は、領域４６で透過した波長帯域（第２の波長帯域）の光に基づく画像となる。なお、図１６では撮像光学系１０の瞳領域Ｅが、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２に２分割される場合の波長フィルタ４０の例を示しており、波長フィルタ４０は第１の波長フィルタ（第１の波長帯域）及び第２の波長フィルタ（第２の波長帯域）を一体的に備える。後で説明する撮像光学系１０の瞳領域Ｅが、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３に分割される場合（第３の実施形態）には、３つの異なる波長帯域（第１の波長帯域、第２の波長帯域、及び第３の波長帯域）を透過させる波長フィルタ４０が使用される。また、第１の波長フィルタ、第２の波長フィルタ、及び第３の波長フィルタを一体的に備える波長フィルタ４０が使用されてもよいし、第１の波長フィルタ、第２の波長フィルタ、及び第３の波長フィルタがそれぞれ別体として設けられてもよい。このようにして得られた複数の波長帯域の画像は、分光反射率比を利用して果実の糖度検査、食物の生育検査、水質検査等に好適に応用される。
　以上で説明した本実施形態によれば、異なる波長帯域の画像を独立に生成することができ、且つ受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。
　＜第３の実施形態＞
　次に、本発明の第３の実施形態に関して説明する。本実施形態では、互いに異なる３つの偏光方向（第１の偏光方向２４、第２の偏光方向２６、第３の偏光方向２８）を利用して、独立に３枚の画像を取得する。
　図１７は、第３の実施形態の撮像装置１の概略構成を示す図である。なお、図１及び図１５で既に説明を行った箇所は、同じ符号を付し説明を省略する。
　同図に示すように、本実施形態の撮像装置１は、撮像光学系１０、第１の偏光フィルタ１２、波長フィルタ４０、第２の偏光フィルタ１４、撮像素子１００、及び信号処理部２００を備える。また、同図には、被写体２０で反射された自然光の偏光方向２２、第１の偏光フィルタ１２を透過した光の偏光方向である第１の偏光方向２４、及び第２の偏光フィルタ１４を透過した光の偏光方向である第２の偏光方向２６と第３の偏光方向２８が示されている。なお、互いに異なる３つの偏光方向を利用して独立に３枚の画像を取得する場合にも、上記で説明した２枚の画像を取得する場合の手法を適用して混信除去処理及び画像生成が同様に行われる。
　図１８は、撮像光学系１０の概念的な瞳領域Ｅを示す正面図である。
　本実施形態の瞳領域Ｅは、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３で構成されている。例えば、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３は、瞳領域Ｅを角度１２０°で３等分した領域である。
　図１９は、本実施形態の第２の偏光フィルタ（第２の偏光子及び第３の偏光子を備える）１４の概略構成を示す正面図である。
　第２の偏光フィルタ１４は、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３においてそれぞれ異なる機能を有する。第２の偏光フィルタ１４は、第１の瞳領域Ｅ１に対応する領域では、素抜け部分となっており、そのまま第１の偏光方向２４の光が透過する。第２の偏光フィルタ１４は第２の瞳領域Ｅ２に対応する領域では第２の偏光子の機能を有し、第３の瞳領域Ｅ３に対応する領域では第３の偏光子の機能を有する。そして、第２の瞳領域Ｅ２に備えられた第２の偏光子により、第２の瞳領域Ｅ２を透過する第１の偏光方向２４に揃った光のうち、第１の偏光方向２４とは異なる第２の偏光方向２６の光を透過させる。また第３の瞳領域Ｅ３に備えられた第３の偏光子により、第３の瞳領域Ｅ３を透過する第１の偏光方向２４に揃った光のうち、第１の偏光方向２４及び第２の偏光方向２６とは異なる第３の偏光方向２８の光を透過させる。なお、図１９で示す例では、一つの偏光フィルタに第２の偏光子及び第３の偏光子の機能を持たせているが、これに限定されるものではない。第２の偏光子の機能を有するフィルタ、及び第３の偏光子の機能を有するフィルタをそれぞれ設けてもよい。
　図２０から図２１は、上述した行列Ａの算出の例を説明する図である。図２０から図２１では、第１の瞳領域Ｅ１を透過する光の第１の偏光方向２４、第２の瞳領域Ｅ２を通過する光の第２の偏光方向２６、及び第３の瞳領域Ｅ３を通過する光の第３の偏光方向２８が示されている（（Ａ）で図示）。また、図２０から図２１では、第１の偏光素子１２２Ａ、第２の偏光素子１２２Ｂ、及び第３の偏光素子１２２Ｃの偏光方向が示されている（（Ｂ）で図示）。なお、本実施形態での撮像素子１００は、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する。
　図２０に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向３０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射し、第３の瞳領域Ｅ３を透過する光は撮像素子１００に偏光方向１５０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向４５°の光を透過し、第３の偏光素子１２２Ｃは偏光方向９０°の光を透過する。
　したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝０．７５００、ｂ１２＝０．００００、ｂ１３＝０．７５００、ｂ２１＝０．９３３０、ｂ２２＝０．５０００、ｂ２３＝０．０６７０、ｂ３１＝０．２５００、ｂ３２＝１．００００、ｂ３３＝０．２５００となる。
Figure JPOXMLDOC01-appb-M000011
　この行列Ｂの逆行列Ｂ－１（行列Ａ）は存在し、その各要素は、ａ１１＝０．０８９３、ａ１２＝１．１５４７、ａ１３＝－０．５７７４、ａ２１＝－０．３３３３、ａ２２＝０．００００、ａ２３＝１．００００、ａ３１＝１．２４４０、ａ３２＝－１．１５４７、ａ３３＝０．５７７４となる。
Figure JPOXMLDOC01-appb-M000012
　図２１に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向３０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射し、第３の瞳領域Ｅ３を透過する光は撮像素子１００に偏光方向１５０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向６０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向１５０°の光を透過し、第３の偏光素子１２２Ｃは偏光方向１０５°の光を透過する。
　したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝０．７５００、ｂ１２＝０．７５００、ｂ１３＝０．００００、ｂ２１＝０．２５００、ｂ２２＝０．２５００、ｂ２３＝１．００００、ｂ３１＝０．０６７０、ｂ３２＝０．９３３０、ｂ３３＝０．５０００となる。
Figure JPOXMLDOC01-appb-M000013
　この行列Ｂの逆行列Ｂ－１（行列Ａ）は存在し、その各要素は、ａ１１＝１．２４４０、ａ１２＝０．５７７４、ａ１３＝－１．１５４７、ａ２１＝０．０８９３、ａ２２＝－０．５７７４、ａ２３＝１．１５４７、ａ３１＝－０．３３３３、ａ３２＝１．００００、ａ３３＝０．００００となる。
Figure JPOXMLDOC01-appb-M000014
　図２２は、撮像装置１を使用した撮像方法の処理フローを示したフローチャートである。
　先ず、第１の偏光フィルタ１２により、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３を透過する光の偏光方向を第１の偏光方向２４に揃える（ステップＳ２０）。次に、第２の瞳領域Ｅ２を透過した光のうち、第２の偏光フィルタ１４により第２の偏光方向２６の光を透過させ、また、第３の瞳領域Ｅ３を透過した光のうち、第２の偏光フィルタ１４により第３の偏光方向２８の光を透過させる（ステップＳ２１）。その後、撮像素子１００により、第１の瞳領域Ｅ１を透過した光、第２の瞳領域Ｅ２を透過した光、及び第３の瞳領域Ｅ３を透過した光を受光する（ステップＳ２２）。その後、画像生成部２００Ｂは混信除去処理を行う（ステップＳ２３）。そして、画像生成部２００Ｂは、第１の画像、第２の画像、及び第３の画像を生成する（ステップＳ２４）。
　以上で説明した本実施形態によれば、互いに異なる３種の偏光方向を有する光に基づいて独立に３つの画像を生成する場合であっても、一度第１の偏光フィルタ１２により瞳領域Ｅの偏光が揃えられるので、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。
　＜第４の実施形態＞
　次に、本発明の第４の実施形態に関して説明する。本実施形態では、第１の偏光フィルタ１２を透過して第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過する光、又は、第１の偏光フィルタ１２を透過して第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３を透過する光を各偏光子により透過させる。
　図２３は、本実施形態の撮像装置１の他の例の概略構成を示す図である。なお、図１で既に説明を行った箇所は同じ符号を付し説明は省略する。
　第２の偏光フィルタ１４は、素抜け部分を有さず、第２の偏光子及び第３の偏光子の機能を有する。第２の偏光フィルタ１４における第２の偏光子は、第１の瞳領域Ｅ１を透過した第１の偏光方向２４を有する光のうち、第２の偏光方向２６の光を透過させる。また、第２の偏光フィルタ１４における第３の偏光子は、第２の瞳領域Ｅ２を透過した第１の偏光方向２４を有する光のうち、第３の偏光方向２８の光を透過させる。すなわち、本例の第２の偏光フィルタ１４は、素抜け部分を有さず、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過するそれぞれの光を偏光させる。なお第２の偏光子と第３の偏光子とは単一の偏光フィルタに備えられても良いし、別々の偏光フィルタに備えられてもよい。
　このように、第２の偏光フィルタ１４に第２の旋光子及び第３の旋光子の機能を設けることにより、以下に示すように第２の偏光方向２６と第３の偏光を直交させることができる。
　図２４は、第２の偏光方向２６と第３の偏光を直交させた場合の上述した行列Ａの算出の例を説明する図である。なお、図２０及び図２１で既に説明を行った箇所は同じ符号を付し説明は省略する。図２４に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向４５°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向１３５°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向４５°の光を透過し、第２の偏光素子１２２Ｂは偏光方向１３５°の光を透過する。図２４に示した場合では、第１の瞳領域Ｅ１を透過する光が有する偏光方向（第２の偏光方向２６）と第２の瞳領域Ｅ２を透過する光が有する偏光方向（第３の偏光方向２８）が直交する場合である。また、第１の瞳領域Ｅ１を透過する光が有する偏光方向（第２の偏光方向２６）と第１の偏光素子１２２Ａの偏光方向が同じであり、第２の瞳領域Ｅ２を透過する光が有する偏光方向（第３の偏光方向２８）と第２の偏光素子１２２Ｂの偏光方向が同じである。
　したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝１．００００、ｂ１２＝０．００００、ｂ２１＝０．００００、ｂ２２＝１．００００となる。
Figure JPOXMLDOC01-appb-M000015
　すなわちこの場合には、理想的に混信が起こらない場合である。このように、混信が起こらない場合には、混信除去処理を行わずに、第１の画素１０２Ａ及び第２の画素１０２Ｂから得られる信号から各画像を生成することができる。すなわち、第１の瞳領域Ｅ１の画素信号Ｘ１は第１の画素１０２Ａの画素信号ｘ１であり、第２の瞳領域Ｅ２の画素信号Ｘ２は第１の画素１０２Ａの画素信号ｘ２である。
　図２５は、本実施形態の撮像装置１の他の例の概略構成を示す図である。なお、図１７で既に説明を行った箇所は同じ符号を付し説明は省略する。
　第２の偏光フィルタ１４は、素抜け部分を有さず、第２の偏光子、第３の偏光子、第４の偏光子の機能を有する。第２の偏光フィルタ１４の第２の偏光子は、第１の瞳領域Ｅ１を透過した第１の偏光方向２４を有する光のうち、第２の偏光方向２６を有する光を透過させる。また、第２の偏光フィルタ１４の第３の偏光子は、第２の瞳領域Ｅ２を透過した第１の偏光方向２４を有する光のうち、第３の偏光方向２８を有する光を透過させる。また、第２の偏光フィルタ１４の第４の偏光子は、第３の瞳領域Ｅ３を透過した第１の偏光方向２４を有する光のうち、第４の偏光方向３０を有する光を透過させる。すなわち、本例の第２の偏光フィルタ１４は、素抜け部分を有さず、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、第３の瞳領域Ｅ３を透過するするそれぞれの光を偏光させる。なお第２の偏光子、第３の偏光子、及び第４の偏光子は単一の偏光フィルタに備えられても良いし、別々の偏光フィルタに備えられてもよい。
　以上で説明した本実施形態によれば、第１の偏光フィルタ１２で揃えられた偏光方向に限定されずに、様々な偏光方向の光に基づいて画像を生成することができ、且つ受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１　　　　：撮像装置
１０　　　：撮像光学系
１２　　　：第１の偏光フィルタ
１４　　　：第２の偏光フィルタ
２０　　　：被写体
４０　　　：波長フィルタ
１００　　：撮像素子
１０２Ａ　：第１の画素
１０２Ｂ　：第２の画素
１１０　　：ピクセルアレイ層
１１２　　：フォトダイオード
１２０　　：偏光素子アレイ層
１２２Ａ　：第１の偏光素子
１２２Ｂ　：第２の偏光素子
１２２Ｃ　：第３の偏光素子
１３０　　：マイクロレンズアレイ層
１３２　　：マイクロレンズ
２００　　：信号処理部
２００Ａ　：アナログ信号処理部
２００Ｂ　：画像生成部
２００Ｃ　：係数記憶部
Ｅ１　　　：第１の瞳領域
Ｅ２　　　：第２の瞳領域
Ｅ３　　　：第３の瞳領域
Ｌ　　　　：光軸

Claims (13)

  1. 　第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系と、
    　前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、
    　前記第２の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、
    　前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素と第２の画素とを一組とする画素ユニットを複数有する撮像素子と、
    　前記第１の画素及び前記第２の画素の画素信号に混信除去処理を施し、前記混信除去処理後の前記画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、
    　を備える撮像装置。
  2. 　前記第１の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向及び前記第２の偏光方向とは異なる第３の偏光方向の光を透過させる第３の偏光子を備える請求項１に記載の撮像装置。
  3. 　第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系と、
    　前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、
    　前記第２の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、
    　前記第１の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向とは異なり且つ前記第２の偏光方向とは直交する第３の偏光方向の光を透過させる第３の偏光子と、
    　前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、前記第２の偏光方向の光を受光する第１の画素と前記第３の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子と、
    　前記第１の画素及び前記第２の画素の画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、
    　を備える撮像装置。
  4. 　前記第１の瞳領域を透過する光のうち、第１の波長帯域の光を透過させる第１の波長フィルタと、
    　前記第２の瞳領域を透過する光のうち、第２の波長帯域の光を透過させる第２の波長フィルタと、
    　を備える請求項１から３のいずれか１項に記載の撮像装置。
  5. 　第１の瞳領域、前記第１の瞳領域とは異なる第２の瞳領域、及び前記第１の瞳領域及び前記第２の瞳領域とは異なる第３の瞳領域で構成される瞳領域を有する撮像光学系と、
    　前記第１の瞳領域、前記第２の瞳領域、及び前記第３の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、
    　前記第２の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、
    　前記第３の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向及び前記第２の偏光方向とは異なる第３の偏光方向の光を透過させる第３の偏光子と、
    　前記第１の瞳領域、前記第２の瞳領域、及び前記第３の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する撮像素子と、
    　前記第１の画素、前記第２の画素、及び前記第３の画素の画素信号に混信除去処理を施し、前記混信除去処理後の前記画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像、前記第２の瞳領域を透過する光に対応する第２の画像、及び前記第３の瞳領域を透過する光に対応する第３の画像を生成する画像生成部と、
    　を備える撮像装置。
  6. 　前記第１の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向、前記第２の偏光方向、及び前記第３の偏光方向とは異なる第４の偏光方向の光を透過させる第４の偏光子を備える請求項５に記載の撮像装置。
  7. 　前記第１の瞳領域を透過する光のうち、第１の波長帯域の光を透過させる第１の波長フィルタと、
    　前記第２の瞳領域を透過する光のうち、第２の波長帯域の光を透過させる第２の波長フィルタと、
    　前記第３の瞳領域を透過する光のうち、第３の波長帯域の光を透過させる第３の波長フィルタと、
    　を備える請求項５又は６に記載の撮像装置。
  8. 　前記第１の偏光子は、ｓ偏光を遮光する請求項１から７のいずれか１項に記載の撮像装置。
  9. 　前記撮像素子は、前記画素ユニットが偏光素子を備える画素により構成されている請求項１から８のいずれか１項に記載の撮像装置。
  10. 　前記撮像素子は、前記画素を構成するフォトダイオードとマイクロレンズとの間に前記偏光素子を有する請求項９に記載の撮像装置。
  11. 　第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、
    　前記第２の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、
    　前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素と第２の画素とを一組とする画素ユニットを複数有する撮像素子の、前記第１の画素及び前記第２の画素の画素信号に混信除去処理を施し、前記混信除去処理後の前記画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、
    　を含む撮像方法。
  12. 　第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、
    　前記第２の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、
    　前記第１の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向とは異なり且つ前記第２の偏光方向とは直交する第３の偏光方向の光を、第３の偏光子により、透過させるステップと、
    　前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、前記第２の偏光方向の光を受光する第１の画素と前記第３の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子の、前記第１の画素及び前記第２の画素の画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、
    　を含む撮像方法。
  13. 　第１の瞳領域、前記第１の瞳領域とは異なる第２の瞳領域、及び前記第１の瞳領域及び前記第２の瞳領域とは異なる第３の瞳領域で構成される瞳領域を有する撮像光学系の、前記第１の瞳領域、前記第２の瞳領域、及び前記第３の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、
    　前記第２の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、
    　前記第３の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向及び前記第２の偏光方向とは異なる第３の偏光方向の光を、第３の偏光子により、透過させるステップと、
    　前記第１の瞳領域、前記第２の瞳領域、及び前記第３の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する撮像素子の、前記第１の画素、前記第２の画素、及び前記第３の画素の画素信号に混信除去処理を施し、前記混信除去処理後の前記画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像、前記第２の瞳領域を透過する光に対応する第２の画像、及び前記第３の瞳領域を透過する光に対応する第３の画像を生成するステップと、
    　を含む撮像方法。
PCT/JP2019/042860 2018-11-26 2019-10-31 撮像装置及び撮像方法 WO2020110594A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020558222A JP7135108B2 (ja) 2018-11-26 2019-10-31 撮像装置及び撮像方法
US17/322,921 US11917276B2 (en) 2018-11-26 2021-05-18 Imaging device and imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018220490 2018-11-26
JP2018-220490 2018-11-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/322,921 Continuation US11917276B2 (en) 2018-11-26 2021-05-18 Imaging device and imaging method

Publications (1)

Publication Number Publication Date
WO2020110594A1 true WO2020110594A1 (ja) 2020-06-04

Family

ID=70854319

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/042860 WO2020110594A1 (ja) 2018-11-26 2019-10-31 撮像装置及び撮像方法

Country Status (3)

Country Link
US (1) US11917276B2 (ja)
JP (1) JP7135108B2 (ja)
WO (1) WO2020110594A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210335013A1 (en) * 2020-04-27 2021-10-28 Huazhong University Of Science And Technology Method for characterizing polarization image information and method for computing characterization parameters
CN114189603A (zh) * 2020-09-15 2022-03-15 美光科技公司 衍射减少的微透镜成像

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013077935A (ja) * 2011-09-30 2013-04-25 Sony Corp 撮像装置及び撮像方法
JP2013197770A (ja) * 2012-03-19 2013-09-30 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2018074064A1 (ja) * 2016-10-17 2018-04-26 ソニー株式会社 画像処理装置と画像処理方法および撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5320735B2 (ja) 2007-12-28 2013-10-23 株式会社ニコン 撮像装置
JP2009169096A (ja) 2008-01-16 2009-07-30 Fujifilm Corp 撮像デバイス
JP2012203274A (ja) * 2011-03-28 2012-10-22 Sony Corp 撮像装置および電子機器
JP6286678B2 (ja) * 2013-07-12 2018-03-07 パナソニックＩｐマネジメント株式会社 撮像装置
JP6391316B2 (ja) * 2014-06-25 2018-09-19 キヤノン株式会社 撮像装置
US9661193B2 (en) * 2014-08-01 2017-05-23 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and analyzing apparatus
CA2902675C (en) * 2014-08-29 2021-07-27 Farnoud Kazemzadeh Imaging system and method for concurrent multiview multispectral polarimetric light-field high dynamic range imaging
US11252362B2 (en) * 2018-08-31 2022-02-15 Sony Semiconductor Solutions Corporation Imaging element, imaging device, and imaging method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013077935A (ja) * 2011-09-30 2013-04-25 Sony Corp 撮像装置及び撮像方法
JP2013197770A (ja) * 2012-03-19 2013-09-30 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2018074064A1 (ja) * 2016-10-17 2018-04-26 ソニー株式会社 画像処理装置と画像処理方法および撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210335013A1 (en) * 2020-04-27 2021-10-28 Huazhong University Of Science And Technology Method for characterizing polarization image information and method for computing characterization parameters
US11967116B2 (en) * 2020-04-27 2024-04-23 Huazhong University Of Science And Technology Method for characterizing polarization image information and method for computing characterization parameters
CN114189603A (zh) * 2020-09-15 2022-03-15 美光科技公司 衍射减少的微透镜成像
US20220086321A1 (en) * 2020-09-15 2022-03-17 Micron Technology, Inc. Reduced diffraction micro lens imaging

Also Published As

Publication number Publication date
JP7135108B2 (ja) 2022-09-12
JPWO2020110594A1 (ja) 2021-10-14
US11917276B2 (en) 2024-02-27
US20210274070A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
US8982190B2 (en) Image processing apparatus, image processing method, and program for generating a three dimensional image to be stereoscopically viewed
EP3070507B1 (en) Endoscope imaging device
US9347832B2 (en) Optical systems and methods employing a polarimetric optical filter
US11917276B2 (en) Imaging device and imaging method
US11877076B2 (en) Imaging device and imaging method
US20210235006A1 (en) Imaging device and imaging method
EP2330811B1 (en) Imaging apparatus with light transmissive filter
US20080211956A1 (en) Image Pickup Device
CN105445952B (zh) 高感光实时偏振成像的微偏阵列及其成像装置
WO2013136809A1 (ja) 画像処理装置、撮像装置および画像処理プログラム
US20140054448A1 (en) Color filter array and image sensor
US11457202B2 (en) Imaging device
CN109246349B (zh) 高品质超分辨面阵成像相机及成像方法
JP7182437B2 (ja) 複眼撮像装置
JP2775873B2 (ja) 光学的ローパスフィルターを有した撮像装置
JP2021019260A (ja) 撮像素子、およびこれを備える撮像装置
JP4482685B2 (ja) 広色域動画カメラ
Shogenji et al. Multispectral imaging system by compact compound optics
Zhang et al. Deep PSF photometric catalog of the VVV survey data
JP2001304966A (ja) フーリエ分光画像計測装置及びこれを用いた人工衛星
Leiber et al. First Observations by the Bonn Wide-Field Photometer and Polarimeter (WWFPP): Surface Polarimetry of the Crab Nebula
Radl Suppressing moiré with lateral dispersion
JP2021060288A (ja) 偏光測定装置及び偏光測定方法
Janssen et al. Speckle spectro‐polarimetry of magnetic structures
JPH0331813A (ja) 光学的ローパスフィルターを有した撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19889465

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020558222

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19889465

Country of ref document: EP

Kind code of ref document: A1