WO2020085149A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
WO2020085149A1
WO2020085149A1 PCT/JP2019/040487 JP2019040487W WO2020085149A1 WO 2020085149 A1 WO2020085149 A1 WO 2020085149A1 JP 2019040487 W JP2019040487 W JP 2019040487W WO 2020085149 A1 WO2020085149 A1 WO 2020085149A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarization direction
pupil region
light
pixel
pupil
Prior art date
Application number
PCT/JP2019/040487
Other languages
English (en)
French (fr)
Inventor
小野　修司
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020553199A priority Critical patent/JPWO2020085149A1/ja
Publication of WO2020085149A1 publication Critical patent/WO2020085149A1/ja
Priority to US17/227,371 priority patent/US20210235006A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/286—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state

Definitions

  • the present invention relates to an image pickup apparatus and an image pickup method, and more particularly to an image pickup apparatus and an image pickup method for independently obtaining a plurality of images with one image pickup element.
  • Patent Document 1 proposes a technique in which light of two different polarization directions is received by different pixels and two independent images are acquired.
  • the light-receiving element described in Patent Document 1 includes an analyzer array that transmits light that has passed through the polarizer of the polarizing plate, and each image corresponding to light of different polarization directions received by the light-receiving element is generated. .
  • a parallax image when generating a parallax image, if the polarization directions are not aligned even once, the appearance may differ between images, and erroneous detection of the parallax amount may occur.
  • a parallax image is generated for a glossy subject based on light of different polarization directions, an image with reduced gloss is acquired in a region that matches the Brewster angle in one image.
  • an image whose gloss is not suppressed is acquired.
  • the present invention has been made in view of such circumstances, and an object thereof is that the polarization directions of received light are different when generating different images based on lights having different polarization directions. It is an object of the present invention to provide an imaging device and an imaging method capable of generating an image in which the difference in the appearance is suppressed.
  • An imaging device for achieving the above object is an imaging optical system having a first pupil region and a pupil region configured of a second pupil region different from the first pupil region.
  • a polarizer for aligning the polarization direction of light passing through the first pupil region and the second pupil region with the first polarization direction, and a light for aligning with the first polarization direction transmitting through the second pupil region.
  • a first optical rotator that rotates in a second polarization direction different from the first polarization direction and a light that passes through the first pupil region and the second pupil region are received, and light in different polarization directions is received.
  • An image sensor having a plurality of pixel units each including a first pixel and a second pixel, and pixel signals of the first pixel and the second pixel, subjected to interference removal processing, and pixels after the interference removal processing. Transmits the first image and the second pupil region corresponding to the light transmitted through the first pupil region based on the signal Provided that an image generator for generating a second image corresponding to the light.
  • the polarization direction of the light transmitted through the first pupil region and the second pupil region is aligned with the first polarization direction by the polarizer, and the second pupil region is aligned by the first optical rotator.
  • the transmitted light of the first polarization direction is rotated to a different second polarization direction, and each image corresponding to the first polarization direction and the second polarization direction is generated.
  • a second optical rotator that rotates light aligned in the first polarization direction and transmitted through the first pupil region to a third polarization direction different from the first polarization direction and the second polarization direction is provided.
  • An imaging apparatus includes an imaging optical system having a first pupil region and a pupil region configured of a second pupil region different from the first pupil region, and a first pupil region. And a polarizer that aligns the polarization direction of light that passes through the second pupil region with the first polarization direction, and a light that aligns with the first polarization direction that passes through the second pupil region and is orthogonal to the first polarization direction.
  • a first optical rotator that rotates in a second polarization direction, and a first pixel that receives light in a first polarization direction that receives light that passes through the first pupil region and the second pupil region.
  • a first pupil region based on an image sensor having a plurality of pixel units each including a second pixel that receives light in a second polarization direction, and pixel signals of the first pixel and the second pixel.
  • An image generation unit that generates a first image corresponding to light passing through the second image and a second image corresponding to light passing through the second pupil region. Equipped with a.
  • the polarization direction of the light transmitted through the first pupil region and the second pupil region is aligned with the first polarization direction by the polarizer, and the second pupil region is aligned by the first optical rotator.
  • the transmitted light aligned in the first polarization direction is rotated to the second polarization direction orthogonal to the first polarization direction, and each image corresponding to the first polarization direction and the second polarization direction is generated.
  • a first wavelength filter that transmits the light in the first wavelength band and the light transmitted through the second pupil region in the second wavelength band
  • a second wavelength filter that transmits light Preferably, of the light transmitted through the first pupil region, a first wavelength filter that transmits the light in the first wavelength band and the light transmitted through the second pupil region in the second wavelength band A second wavelength filter that transmits light.
  • An imaging device includes a first pupil region, a second pupil region different from the first pupil region, and a third pupil region different from the first and second pupil regions.
  • An imaging optical system having a configured pupil region; a polarizer for aligning the polarization direction of light passing through the first pupil region, the second pupil region, and the third pupil region with the first polarization direction; A first optical rotator that rotates light aligned in a first polarization direction that passes through the second pupil region to a second polarization direction that is different from the first polarization direction, and a first optical rotator that transmits through the third pupil region.
  • a second optical rotator for rotating the light aligned in the polarization direction of No.
  • the polarization direction of the light transmitted through the first pupil area, the second pupil area, and the third pupil area is aligned with the first polarization direction by the polarizer, and the polarization direction of the light is transmitted by the first polarizer.
  • the light that has passed through the second pupil region and is aligned with the first polarization direction is rotated into a second polarization direction that is different from the first polarization direction, and the second polarizer transmits the third pupil region.
  • the light aligned in the first polarization direction is rotated to a third polarization direction different from the first polarization direction and the second polarization direction.
  • the light that has passed through the first pupil region and is aligned in the first polarization direction is rotated into a fourth polarization direction that is different from the first polarization direction, the second polarization direction, and the third polarization direction.
  • a third optical rotator is provided.
  • a first wavelength filter that transmits the light in the first wavelength band and the light transmitted through the second pupil region in the second wavelength band
  • a second wavelength filter that transmits light and a third wavelength filter that transmits light in the third wavelength band among the light transmitted through the third pupil region are provided.
  • the polarizer blocks s-polarized light.
  • the image pickup element is composed of pixels in which the pixel unit includes a polarizing element.
  • the image pickup element has a polarizing element between a photodiode forming a pixel and a microlens.
  • a first pupil area of an imaging optical system having a pupil area formed of a first pupil area and a second pupil area different from the first pupil area. And a step of aligning the polarization direction of the light passing through the second pupil region with the first polarization direction by the polarizer, and a step of aligning the light aligned with the first polarization direction passing through the second pupil region with the first Rotating the second polarization direction different from the first polarization direction by the optical rotator of, and receiving light transmitted through the first pupil region and the second pupil region, After performing the interference removal processing on the pixel signals of the first pixel and the second pixel of the image sensor having a plurality of pixel units each of which receives the first pixel and the second pixel The first image and the second image corresponding to the light transmitted through the first pupil region based on the pixel signal. And generating a second image corresponding to the light transmitted through the region.
  • the light that has passed through the first pupil region and is aligned in the first polarization direction is rotated by the second optical rotator into a third polarization direction different from the first polarization direction and the second polarization direction.
  • An imaging method includes a first pupil region, a second pupil region different from the first pupil region, and a third pupil region different from the first and second pupil regions.
  • the polarization direction of light passing through the first pupil region, the second pupil region, and the third pupil region of the imaging optical system having the configured pupil region is aligned with the first polarization direction by the polarizer.
  • the pixel signals of the first pixel, the second pixel, and the third pixel of the image sensor having a plurality of pixel units each including a first pixel, a second pixel, and a third pixel that emit light
  • the light transmitted through the first pupil region and aligned in the first polarization direction is different from the first polarization direction, the second polarization direction, and the third polarization direction by the third optical rotator. Rotate in the fourth polarization direction.
  • a first pupil area of an imaging optical system having a pupil area formed of a first pupil area and a second pupil area different from the first pupil area. And a step of aligning the polarization direction of the light passing through the second pupil region with the first polarization direction by the polarizer, and a step of aligning the light aligned with the first polarization direction passing through the second pupil region with the first Rotating the second polarization direction orthogonal to the first polarization direction by the optical rotator of, and receiving the light transmitted through the first pupil region and the second pupil region, the light of the first polarization direction.
  • FIG. 1 is a diagram showing a schematic configuration of an image pickup apparatus.
  • FIG. 2 is a front view showing a schematic configuration of the polarizer.
  • FIG. 3 is a front view showing a schematic configuration of the optical rotator.
  • FIG. 4 is a diagram showing an example of the first polarization direction and the second polarization direction.
  • FIG. 5 is a diagram showing a schematic configuration of the image sensor.
  • FIG. 6 is a sectional view showing a schematic configuration of one pixel.
  • FIG. 7 is a diagram showing an example of an array pattern of polarizing elements.
  • FIG. 8 is a diagram showing the configuration of one unit of the polarizing element.
  • FIG. 9 is a diagram showing an example of an array of pixels of the image sensor.
  • FIG. 1 is a diagram showing a schematic configuration of an image pickup apparatus.
  • FIG. 2 is a front view showing a schematic configuration of the polarizer.
  • FIG. 3 is a front view showing a schematic configuration of the optical
  • FIG. 10 is a block diagram showing a schematic configuration of the signal processing unit.
  • FIG. 11 is a conceptual diagram of image generation.
  • FIG. 12 is a diagram illustrating an example of calculating the matrix A.
  • FIG. 13 is a diagram illustrating an example of calculating the matrix A.
  • FIG. 14 is a diagram illustrating an example of calculating the matrix A.
  • FIG. 15 is a flowchart showing the processing flow of the imaging method.
  • FIG. 16 is a diagram showing a schematic configuration of the image pickup apparatus.
  • FIG. 17 is a front view showing a schematic configuration of the wavelength filter.
  • FIG. 18 is a diagram showing a schematic configuration of the image pickup apparatus.
  • FIG. 19 is a front view showing a conceptual pupil region of the imaging optical system.
  • FIG. 16 is a diagram showing a schematic configuration of the image pickup apparatus.
  • FIG. 17 is a front view showing a schematic configuration of the wavelength filter.
  • FIG. 18 is a diagram showing a schematic configuration of the image pickup apparatus
  • FIG. 20 is a front view showing a schematic configuration of the optical rotator.
  • FIG. 21 is a diagram illustrating an example of calculating the matrix A.
  • FIG. 22 is a diagram illustrating an example of calculating the matrix A.
  • FIG. 23 is a flowchart showing the processing flow of the imaging method.
  • FIG. 24 is a diagram showing a schematic configuration of the image pickup apparatus.
  • FIG. 25 is a diagram showing a schematic configuration of the image pickup apparatus.
  • FIG. 1 is a diagram showing a schematic configuration of the image pickup apparatus 1 according to the first embodiment.
  • two independent images are acquired by using two different polarization directions (first polarization direction 24 and second polarization direction 26).
  • the image pickup apparatus 1 of the present embodiment includes an image pickup optical system 10, a polarizer 12, an optical rotator (first optical rotator) 14, an image pickup element 100, and a signal processing unit 200.
  • the polarization direction 22 of the natural light reflected by the subject 20 the first polarization direction 24 that is the polarization direction of the light transmitted through the polarizer 12, and the polarization direction of the light transmitted through the optical rotator 14 are shown.
  • a second polarization direction 26 is shown below the polarizer 12 and the optical rotator 14, respectively, along with the pupil region E of the imaging optics 10.
  • the light reflected by the subject 20 includes polarization directions 22 in all directions.
  • This light is captured by the imaging optical system 10.
  • the pupil area E of the imaging optical system 10 is composed of a first pupil area E1 and a second pupil area E2.
  • the first pupil area E1 and the second pupil area E2 can be arbitrarily determined.
  • the pupil area E may be vertically divided into two, one of which is the first pupil area E1 and the other is the second pupil area E2.
  • a parallax image can be obtained from the image based on the light transmitted through the first pupil area E1 and the image based on the light transmitted through the second pupil area E2.
  • the pupil region E may be divided into two in the horizontal direction orthogonal to the vertical direction, one of which may be the first pupil region E1 and the other may be the second pupil region E2.
  • the light transmitted through the first pupil region E1 and the second pupil region E2 is incident on and transmitted through the polarizer 12 provided at the pupil position or in the vicinity of the pupil position.
  • the polarization directions of the light transmitted through the first pupil region E1 and the second pupil region E2 that have passed through the polarizer 12 are aligned with the first polarization direction 24.
  • the polarization direction of a part of the light is changed from the first polarization direction 24 to the first polarization direction 24 by the optical rotator 14 provided in the half pupil region (the first pupil region E1 or the second pupil region E2) of the pupil region E. It is rotated in the two polarization directions 26.
  • the image pickup device 100 receives the light of the first polarization direction 24 and the light of the second polarization direction 26.
  • FIG. 2 is a front view showing a schematic configuration of the polarizer 12.
  • the polarizer 12 is provided at or near the pupil position of the imaging optical system 10 as shown in FIG. Then, the polarization directions of the light transmitted through the first pupil area E1 and the second pupil area E2 are aligned with the first polarization direction 24.
  • a polarization filter provided with a polarization transmission axis Aa so as to shield s-polarized light is used.
  • a polarization filter that shields the s-polarized light for the polarizer 12 it is possible to prevent the appearance of a plurality of images obtained by the reflected light from the water surface or the like from being different due to the reflected light.
  • FIG. 3 is a front view showing a schematic configuration of the optical rotator 14.
  • the optical rotator 14 is provided at or near the pupil position of the imaging optical system 10 as shown in FIG. Then, the optical rotator 14 rotates the light transmitted through the second pupil region E2 in the second polarization direction 26 different from the first polarization direction 24.
  • the optical rotator 14 substances having various optical rotatory powers are used.
  • an optical member made of crystal can be used as the optical rotator 14.
  • the optical rotator 14 rotates the incident linearly polarized light L1 having the first polarization direction 24 by ⁇ .
  • the linearly polarized light L2 having the polarization direction 26 of is emitted.
  • the rotation angle (optical rotation angle) ⁇ of the polarization direction in the optical rotator 14 is expressed by the following formula based on the thickness d of the optical rotator 14 and the optical rotatory power ⁇ of the crystal.
  • FIG. 4 is a diagram showing an example of the first polarization direction 24 and the second polarization direction 26.
  • the polarization direction is an angle ⁇ (azimuth) formed by the polarization transmission axis of the polarizer 12 and the X axis and an angle ⁇ formed by the polarization direction rotated by the optical rotator 14 and the X axis in the XY plane orthogonal to the optical axis L. It is represented by (azimuth).
  • the polarizer 12 is configured to transmit light whose angle ⁇ a formed by the polarization transmission axis Aa and the X axis is 90 ° (azimuth angle 90 °). That is, in the case shown in FIG. 4, the first polarization direction 24 is 90 °.
  • the optical rotator 14 is designed to rotate the first polarization direction 24 to the second polarization direction 26.
  • the optical rotator 14 that rotates the first polarization direction 24 to the second polarization direction 26 (azimuth angle 30 °) is designed by using the relationship between the thickness d and the optical rotation power ⁇ . To be done.
  • the rotation angle ⁇ of the optical rotator 14 is 60 °.
  • FIG. 5 is a diagram showing a schematic configuration of the image sensor 100, and is a diagram in which a part of the image sensor 100 is disassembled and enlarged.
  • FIG. 6 is a cross-sectional view showing a schematic configuration of one pixel (broken line portion in FIG. 5).
  • the image pickup device 100 includes a pixel array layer 110, a polarizing element array layer 120, and a microlens array layer 130.
  • the pixel array layer 110 is configured by arranging a large number of photodiodes 112 two-dimensionally.
  • One photodiode 112 constitutes one pixel.
  • the photodiodes 112 are regularly arranged along the x-axis direction and the y-axis direction.
  • the polarizing element array layer 120 is provided between the pixel array layer 110 and the microlens array layer 130.
  • the polarizing element array layer 120 is configured by two-dimensionally arranging two different types of first polarizing element 122A and second polarizing element 122B.
  • the first polarizing element 122A and the second polarizer 122B are arranged at the same intervals as the photodiode 112, and are provided for each pixel. Therefore, one photodiode 112 is provided with either one of the first polarizing element 122A and the second polarizer 122B.
  • FIG. 7 is a diagram showing an example of an array pattern of the first polarizing element 122A and the second polarizing element 122B.
  • the two types of polarizing elements 122A and 122B are regularly arranged in a predetermined order along the x-axis direction and the y-axis direction.
  • first polarizing element 122A and the second polarizing element 122B are repeatedly arranged, and a row in which the second polarizing element 122B and the first polarizing element 122A are repeatedly arranged. Rows are alternately arranged, and the first polarizing element 122A and the second polarizing element 122B are regularly arranged in a predetermined pattern.
  • Each of the first polarization element 122A and the second polarization element 122B arranged in this way includes two types of polarization elements (first polarization element 122A and second polarization element 122B) one by one.
  • the pair of polarizing elements constitutes one unit, and the units are regularly arranged along the x-axis direction and the y-axis direction.
  • FIG. 8 is a diagram showing the configuration of one unit of the polarizing element.
  • one unit U is configured to include one first polarizing element 122A and one second polarizing element 122B.
  • the polarization directions of the first polarizing element 122A and the second polarizing element 122B are different from each other.
  • the first polarizing element 122A is configured to transmit light with an azimuth angle of + 0 °.
  • the second polarizing element 122B is configured to transmit light having an azimuth angle of + 45 °. Therefore, the photodiode 112 provided with the first polarizing element 122A receives light (linearly polarized light) with an azimuth angle of + 0 °.
  • the photodiode 112 including the second polarizing element 122B receives light (linearly polarized light) with an azimuth angle of + 45 °.
  • the microlens array layer 130 is configured by arranging a large number of microlenses 132 two-dimensionally.
  • the microlenses 132 are arranged at the same intervals as the photodiodes 112 and provided for each pixel.
  • the microlens 132 is provided for the purpose of efficiently condensing the light from the imaging optical system 10 on the photodiode 112.
  • FIG. 9 is a diagram showing an example of an array of pixels of the image sensor 100.
  • Each pixel is provided with the first polarizing element 122A or the second polarizing element 122B.
  • the pixel provided with the first polarizing element 122A (the image A in the figure) is the first pixel 102A
  • the pixel provided with the second polarizing element 122B (the image B in the figure) is the second pixel 102B.
  • the image sensor 100 has a set of two pixels each including one first pixel 102A and one second pixel 102B as one unit, and has a plurality of these units.
  • the unit of the two pixels is a pixel unit U (x, y). As shown in FIG. 9, the pixel units U (x, y) are regularly arranged along the x-axis direction and the y-axis direction.
  • the signal processing unit 200 processes the signal output from the image sensor 100 to handle the first image corresponding to the light transmitted through the first pupil region E1 and the light transmitted through the second pupil region E2. A second image is generated.
  • FIG. 10 is a block diagram showing a schematic configuration of the signal processing unit 200.
  • the signal processing unit 200 includes an analog signal processing unit 200A, an image generation unit 200B, and a coefficient storage unit 200C.
  • the analog signal processing unit 200A takes in analog pixel signals output from each pixel of the image sensor 100, performs predetermined signal processing (for example, correlated double sampling processing, amplification processing, etc.), and then converts them into digital signals. And output.
  • predetermined signal processing for example, correlated double sampling processing, amplification processing, etc.
  • the image generation unit 200B performs predetermined signal processing on the pixel signal converted into the digital signal, and outputs the first light corresponding to the light transmitted through the first pupil region E1 and the light transmitted through the second pupil region E2. Generate an image and a second image.
  • FIG. 11 is a conceptual diagram of image generation.
  • Each pixel unit U (x, y) includes one first pixel 102A and one second pixel 102B. Therefore, by separating and extracting the pixel signals of the first pixel 102A and the second pixel 102B from each pixel unit U (x, y), two images (first image and second image) are obtained. Is generated. That is, the first image formed by extracting the pixel signal from the first pixel 102A of each pixel unit U (x, y) and the pixel of the second pixel 102B of each pixel unit U (x, y). A second image is generated that is constructed by extracting the signal.
  • the light received by the first pixel 102A is the light of the first polarization direction 24 (the light transmitted through the first pupil region E1) and the light of the second polarization direction 26 (the second light).
  • the light transmitted through the second pupil region E2) is included.
  • the light received by the second pixel 102B is light in the first polarization direction 24 (light that has passed through the first pupil area E1) and light in the second polarization direction 26 (second pupil area E2). Light transmitted through) is included. That is, in the first pixel 102A and the second pixel 102B, the light of the first polarization direction 24 and the light of the second polarization direction 26 are mixed and incident.
  • the image generation unit 200B performs the process of removing interference (crosstalk) (interference removal process), and the first image and the second pupil corresponding to the light transmitted through the first pupil region E1. A second image corresponding to the light passing through the area E2 is generated.
  • the interference removal processing is performed as follows.
  • the pixel signal (signal value) obtained by the first pixel 102A is x1
  • the pixel signal obtained by the second pixel 102B is x2.
  • Two pixel signals x1 and x2 are obtained from each pixel unit U (x, y). From the two pixel signals x1 and x2, the image generation unit 200B calculates pixel signals X1 and X2 corresponding to the first polarization direction 24 and the second polarization direction 26 by the following equation 1 using the matrix A. Calculate and remove interference.
  • the ratio of the light transmitted through the first pupil region E1 and the second pupil region E2 to the first pixel 102A and the second pixel 102B is the polarization direction ( Relationship between the first polarization direction 24 and the second polarization direction 26) and the polarization directions of the first polarization element 122A and the second polarization element 122B included in the first pixel 102A and the second pixel 102B.
  • Equation 4 The above simultaneous equations can be expressed by the following Equation 4 using the matrix B.
  • X1 and X2 are calculated by multiplying both sides by the inverse matrix B ⁇ 1 of the matrix B.
  • the pixel signal X1 of the image obtained by the light passing through the first pupil area E1 and the pixel signal X2 of the image obtained by the light passing through the second pupil area E2 are in the first polarization direction 24. From the pixel signals x1 and x2 of the first pixel 102A and the second pixel 102B based on the amounts of light and light of the second polarization direction 26 received by the first pixel 102A and the second pixel 102B. Can be calculated.
  • the light of the first polarization direction 24 and the light of the second polarization direction 26 are the first pixel 102A and the second pixel 102B. This is the amount of light received at (interference amount).
  • the element b11 in the first row is the amount of light of the first polarization direction 24 received by the first pixel 102A (interference amount), and the element b12 is the light of the second polarization direction 26 is the first. This is the amount of light received by the pixel 102A.
  • the element b21 in the second row is the amount of light of the first polarization direction 24 received by the second pixel 102B
  • the element b22 is the amount of light of the second polarization direction 26 received by the second pixel 102B. It is the amount that is done.
  • the inverse matrix B ⁇ 1 of this matrix B exists. Therefore, by finding the inverse matrix B ⁇ 1 of the matrix B, each element of the matrix A can be found.
  • the light transmitted through the first pupil region E1 is It is determined by the square of the cosine (cos) of the angle difference between the polarization direction of the light transmitted through the second pupil region E2 and the polarization directions of the light received by the first pixel 102A and the second pixel 102B.
  • the polarization direction (azimuth angle) of the light (linear polarization) transmitted through the first pupil area E1 (or the second pupil area E2) is ⁇
  • the polarization direction (azimuth angle) of the light received by the i-th pixel is If the angle is ⁇ , the interference amount is calculated by cos 2 (
  • 12 to 14 are diagrams illustrating an example of calculating the matrix A described above.
  • 12 to 14 show a first polarization direction 24 of light passing through the first pupil area E1 and a second polarization direction 26 of light passing through the second pupil area E2 ((( Shown in A)).
  • 12 to 14 show polarization directions of the first polarizing element 122A and the second polarizing element 122B (illustrated by (B)).
  • the light passing through the first pupil region E1 enters the image sensor 100 as linearly polarized light having a polarization direction of 30 °, and the light passing through the second pupil region E2 receives the image sensor 100.
  • the first polarizing element 122A transmits light having a polarization direction of 0 °
  • the second polarizing element 122B transmits light having a polarization direction of 45 °.
  • the coefficient storage unit 200C stores each element of the matrix A of 2 rows and 2 columns obtained as the inverse matrix B ⁇ 1 of this matrix B as a coefficient group.
  • the coefficient storage unit 200C is an example of a storage unit.
  • the light transmitted through the first pupil region E1 is incident on the image sensor 100 as linearly polarized light having a polarization direction of 30 °
  • the light transmitted through the second pupil region E2 is the image sensor 100.
  • the first polarizing element 122A transmits light with a polarization direction of 60 °
  • the second polarizing element 122B transmits light with a polarization direction of 135 °.
  • the coefficient storage unit 200C stores each element of the matrix A of 2 rows and 2 columns obtained as the inverse matrix B ⁇ 1 of this matrix B as a coefficient group.
  • the coefficient storage unit 200C is an example of a storage unit.
  • the light passing through the first pupil region E1 enters the image sensor 100 as a linearly polarized light having a polarization direction of 0 °, and the light passing through the second pupil region E2 receives the image sensor 100.
  • linearly polarized light having a polarization direction of 90 °.
  • the first polarizing element 122A transmits light with a polarization direction of 0 °
  • the second polarizing element 122B transmits light with a polarization direction of 90 °.
  • the polarization direction of light passing through the first pupil region E1 first polarization direction 24
  • the polarization direction of light passing through the second pupil region E2 second polarization direction.
  • the directions 26 are orthogonal.
  • the polarization direction (first polarization direction 24) of the light passing through the first pupil area E1 and the polarization direction of the first polarizing element 122A are the same, and the light passing through the second pupil area E2 is The polarization direction of the second polarization element 122B and the polarization direction of the second polarization element 122B are the same.
  • each image can be generated from the signals obtained from the first pixel 102A and the second pixel 102B without performing the interference removal processing. That is, the pixel signal X1 of the first pupil area E1 is the pixel signal x1 of the first pixel 102A, and the pixel signal X2 of the second pupil area E2 is the pixel signal x2 of the first pixel 102A.
  • the image generation unit 200B obtains the coefficient group from the coefficient storage unit 200C, and from the two pixel signals x1 and x2 obtained from each pixel unit U (x, y), the first polarization direction 24 is calculated by the above-described formula 1. Two pixel signals X1 and X2 corresponding to the light of the first polarization direction 26 and the light of the second polarization direction 26 are calculated, and images of the light of the first polarization direction 24 and the light of the second polarization direction 26 are generated.
  • the image generation unit 200B is an example of a calculation unit.
  • the images corresponding to the first polarization direction 24 and the second polarization direction 26 generated by the image generation unit 200B are output to the outside and stored in the storage device as needed. Further, it is displayed on a display (not shown) as needed.
  • FIG. 15 is a flowchart showing a processing flow of an imaging method using the imaging device 1.
  • the polarizer 12 aligns the polarization direction of the light transmitted through the first pupil area E1 and the second pupil area E2 with the first polarization direction 24 (step S10).
  • the first polarization direction 24 of the light transmitted through the second pupil area E2 is rotated by the optical rotator 14 to the second polarization direction 26 (step S11).
  • the light transmitted through the first pupil area E1 and the light transmitted through the second pupil area E2 are received by the first pixel 102A and the second pixel 102B (step S12).
  • the image generation unit 200B performs the interference removal processing on the pixel signals obtained from the first pixel 102A and the second pixel 102B (step S13).
  • the image generation unit 200B generates the first image and the second image based on the pixel signal of the first pixel 102A and the pixel signal of the second pixel 102B after the interference removal processing (step S14). .
  • the polarizer 12 even when two different images are generated based on light having two different polarization directions, the polarizer 12 once aligns the polarization of the pupil region E. Therefore, it is possible to generate an image in which the difference in the appearance caused by the difference in the polarization direction of the received light is suppressed.
  • a wavelength filter (bandpass filter) 40 is provided, and images in each wavelength band can be obtained independently.
  • FIG. 16 is a diagram showing a schematic configuration of the image pickup apparatus 1 of the present embodiment.
  • the parts already described in FIG. 1 are designated by the same reference numerals and the description thereof will be omitted.
  • the image pickup apparatus 1 of the present embodiment includes an image pickup optical system 10, a polarizer 12, a wavelength filter 40, an optical rotator (first optical rotator) 14, an image pickup element 100, and a signal processing unit 200.
  • the position where the wavelength filter 40 is provided is not limited to the position between the polarizer 12 and the optical rotator 14, and the light that passes through the first pupil region E1 and the light that passes through the second pupil region E2 can be used. Is not particularly limited as long as it is a position at which the light can be appropriately incident.
  • the light transmitted through the wavelength filter 40 becomes light in a different wavelength band between the first pupil region E1 and the second pupil region E2 (illustrated below the wavelength filter 40).
  • FIG. 17 is a front view showing a schematic configuration of the wavelength filter 40.
  • the wavelength filter 40 transmits light in different wavelength bands between the first pupil area E1 and the second pupil area E2, for example. Specifically, light in different wavelength bands is transmitted through the region 44 corresponding to the first pupil region E1 and the region 46 corresponding to the second pupil region E2.
  • the first image corresponding to the light transmitted through the first pupil region E1 becomes an image based on the light in the wavelength band (first wavelength band) transmitted through the region 44.
  • the second image corresponding to the light passing through the second pupil region E2 is an image based on the light in the wavelength band (second wavelength band) transmitted through the region 46. Note that FIG.
  • the wavelength filter 40 when the pupil area E of the imaging optical system 10 is divided into a first pupil area E1 and a second pupil area E2.
  • the first wavelength filter (first wavelength band) and the second wavelength filter (second wavelength band) are integrally provided.
  • a wavelength filter 40 that transmits three different wavelength bands (a first wavelength band, a second wavelength band, and a third wavelength band) is used.
  • the wavelength filter 40 that integrally includes the first wavelength filter, the second wavelength filter, and the third wavelength filter may be used, or the first wavelength filter, the second wavelength filter, and the The three wavelength filters may be provided separately.
  • the images of a plurality of wavelength bands thus obtained are suitably applied to the sugar content test of fruits, the growth test of food, the water quality test, etc. by utilizing the spectral reflectance ratio.
  • FIG. 18 is a diagram showing a schematic configuration of the image pickup apparatus 1 according to the third embodiment.
  • the parts already described in FIGS. 1 and 16 are designated by the same reference numerals and the description thereof will be omitted.
  • the image pickup apparatus 1 of this embodiment includes an image pickup optical system 10, a polarizer 12, a wavelength filter 40, an optical rotator 14, an image pickup device 100, and a signal processing unit 200.
  • the polarization direction 22 of the natural light reflected by the subject 20 the first polarization direction 24 that is the polarization direction of the light transmitted through the polarizer 12, and the polarization direction of the light transmitted through the optical rotator 14 are shown.
  • a second polarization direction 26 and a third polarization direction 28 are shown. Even when three images are acquired independently by utilizing three different polarization directions, the method for acquiring two images described above is applied to perform interference removal processing and image generation. The same is done.
  • FIG. 19 is a front view showing a conceptual pupil region E of the imaging optical system 10.
  • the pupil area E of this embodiment is composed of a first pupil area E1, a second pupil area E2, and a third pupil area E3.
  • the first pupil area E1, the second pupil area E2, and the third pupil area E3 are areas obtained by equally dividing the pupil area E at an angle of 120 °.
  • FIG. 20 is a front view showing a schematic configuration of the optical rotator 14 of the present embodiment. Note that the same reference numerals are given to the portions already described in FIG. 3, and the description thereof will be omitted.
  • the figure shows the crystal optical axis LCa of the first optical rotation portion 14A and the crystal optical axis LCb of the second optical rotation portion 14B.
  • the optical rotator 14 is composed of a first optical rotator portion (first optical rotator) 14A and a second optical rotator portion (second optical rotator) 14B.
  • the first optical rotatory portion 14A and the second optical rotatory portion 14B have different thicknesses and have different optical rotatory powers.
  • the optical rotator 14 corresponds to the first pupil region E1, the second pupil region E2, and the third pupil region E3, and the light transmitted through the second pupil region E2 is the first optical rotation portion 14A.
  • the first optical rotation portion 14A outputs the linearly polarized light L2 having the second polarization direction 26 obtained by rotating the incident linearly polarized light L1 having the first polarization direction 24 by ⁇ 1. Further, the second optical rotation portion 14B emits the linearly polarized light L3 having the third polarization direction 28 obtained by rotating the incident linearly polarized light L1 having the first polarization direction 24 by ⁇ 2.
  • the example of the optical rotator 14 in which the first optical rotation portion 14A and the second optical rotation portion 14B are integrated has been described with reference to FIG. 20, the present invention is not limited to this example.
  • the optical rotator 14 of the first optical rotatory portion 14A and the optical rotator 14 having the second optical rotatory portion 14B may be independently provided.
  • 21 to 22 are diagrams illustrating an example of calculating the matrix A described above.
  • 21 to 22 the first polarization direction 24 of light passing through the first pupil region E1, the second polarization direction 26 of light passing through the second pupil region E2, and the third pupil region E3.
  • a third polarization direction 28 of light passing through is shown (illustrated in (A)).
  • 21 to 22 the polarization directions of the first polarizing element 122A, the second polarizing element 122B, and the third polarizing element 122C are shown (illustrated by (B)).
  • the image sensor 100 receives light transmitted through the first pupil region E1, the second pupil region E2, and the third pupil region E3, and receives light having different polarization directions. It has a plurality of pixel units each including a first pixel, a second pixel, and a third pixel as a set.
  • the light passing through the first pupil region E1 enters the image sensor 100 as linearly polarized light having a polarization direction of 30 °
  • the light passing through the second pupil region E2 receives the image sensor 100.
  • light passing through the third pupil region E3 enters the image sensor 100 as linearly polarized light having a polarization direction of 150 °.
  • first polarizing element 122A transmits light with a polarization direction of 0 °
  • second polarizing element 122B transmits light with a polarization direction of 45 °
  • third polarizing element 122C transmits light with a polarization direction of 90 °.
  • the light transmitted through the first pupil region E1 is incident on the image sensor 100 as linearly polarized light having a polarization direction of 30 °
  • the light transmitted through the second pupil region E2 is the image sensor 100.
  • Light having a polarization direction of 90 ° and entering as linearly polarized light, and light passing through the third pupil region E3 enters the image sensor 100 as linearly polarized light having a polarization direction of 150 °.
  • the first polarizing element 122A transmits light with a polarization direction of 60 °
  • the second polarizing element 122B transmits light with a polarization direction of 150 °
  • the third polarizing element 122C transmits light with a polarization direction of 105 °.
  • FIG. 23 is a flowchart showing a processing flow of an imaging method using the imaging device 1.
  • the polarizer 12 aligns the polarization direction of light transmitted through the first pupil area E1, the second pupil area E2, and the third pupil area E3 with the first polarization direction 24 (step S20).
  • the first polarization direction 24 of the light transmitted through the second pupil region E2 is rotated to the second polarization direction 26 by the optical rotation portion 14A of the optical rotator 14, and the light transmitted through the third pupil region E3 is rotated.
  • the first polarization direction 24 of is rotated by the optical rotation portion 14B of the optical rotator 14 to the third polarization direction 28 (step S21).
  • the image sensor 100 receives the light transmitted through the first pupil region E1, the light transmitted through the second pupil region E2, and the light transmitted through the third pupil region E3 (step S22). After that, the image generation unit 200B performs interference removal processing (step S23). Then, the image generation unit 200B generates the first image, the second image, and the third image (step S24).
  • the polarization directions of received light are different. It is possible to generate an image in which the difference in appearance is suppressed.
  • FIG. 24 is a diagram showing a schematic configuration of the image pickup apparatus 1 of the present embodiment.
  • the parts already described in FIG. 1 are designated by the same reference numerals and the description thereof will be omitted.
  • the optical rotator 14 rotates the first polarization direction 24 of the light transmitted through the first pupil region E1 to the second polarization direction 26, and transmits the light transmitted through the second pupil region E2.
  • the first polarization direction 24 of the is rotated to the third polarization direction 28. That is, the optical rotator 14 has optical rotatory portions with different optical rotatory powers at the corresponding portions of the first pupil region E1 and the second pupil region E2, and rotates the incident linearly polarized light, respectively.
  • the first optical rotation portion (first optical rotation element) of the optical rotation element 14 rotates the light passing through the first pupil region E1 from the first polarization direction 24 to the second polarization direction 26. .
  • the second optical rotation portion (second optical rotation element) of the optical rotation element 14 rotates the light transmitted through the second pupil region E2 from the first polarization direction 24 to the third polarization direction 28.
  • the optical rotator 14 may have the first optical rotator and the second optical rotator as an integral optical rotator or as separate optical rotators.
  • FIG. 25 is a diagram showing a schematic configuration of another example of the imaging device 1 of the present embodiment. It is to be noted that the parts already described in FIG. 18 are denoted by the same reference numerals and the description thereof will be omitted.
  • the optical rotator 14 rotates the first polarization direction 24 of the light transmitted through the first pupil region E1 to the second polarization direction 26, and transmits the light transmitted through the second pupil region E2.
  • the first polarization direction 24 is rotated to the third polarization direction 28, and the first polarization direction 24 of the light transmitted through the third pupil region E3 is rotated to the fourth polarization direction 30.
  • the optical rotator 14 has optical rotatory portions with different optical rotatory powers in the corresponding portions of the first pupil region E1, the second pupil region E2, and the third pupil region E3, and rotates the incident linearly polarized light, respectively. .
  • the first optical rotation portion (first optical rotation element) of the optical rotation element 14 rotates the light passing through the first pupil region E1 from the first polarization direction 24 to the second polarization direction 26.
  • the second optical rotation portion (second optical rotation element) of the optical rotation element 14 rotates the light transmitted through the second pupil region E2 from the first polarization direction 24 to the third polarization direction 28.
  • the third optical rotation portion (third optical rotation element) of the optical rotation element 14 rotates the light transmitted through the third pupil region E3 from the first polarization direction 24 to the fourth polarization direction 30.
  • the optical rotator 14 may have the first optical rotator, the second optical rotator, and the second optical rotator as an integrated optical rotator or as a separate optical rotator.
  • an image can be generated based on light of various polarization directions without being limited to the polarization directions aligned by the polarizer 12, and the polarization of received light can be changed. It is possible to generate an image in which a difference in appearance due to different directions is suppressed.
  • imaging device 10 imaging optical system 12: polarizer 14: optical rotator 20: subject 40: wavelength filter 100: imaging element 102A: first pixel 102B: second pixel 110: pixel array layer 112: photodiode 120 : Polarizing element array layer 122A: First polarizing element 122B: Second polarizing element 122C: Third polarizing element 130: Microlens array layer 132: Microlens 200: Signal processing unit 200A: Analog signal processing unit 200B: Image Generation unit 200C: Coefficient storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合に、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる撮像装置及び撮像方法を提供する。撮像装置（１）は、撮像光学系（１０）と、第１の瞳領域（Ｅ１）及び第２の瞳領域（Ｅ２）を透過する光の偏光方向を第１の偏光方向に揃える偏光子（１２）と、第２の瞳領域（Ｅ２）を透過する第１の偏光方向に揃った光を第１の偏光方向とは異なる第２の偏光方向に回転させる第１の旋光子（１４）と、第１の瞳領域及び第２の瞳領域を透過する光を受光する撮像素子（１００）と、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、を備える。

Description

撮像装置及び撮像方法
　本発明は、撮像装置及び撮像方法に関し、特に１つの撮像素子で複数の画像を独立に取得する撮像装置及び撮像方法に関する。
　従来より、互いに異なる２つの偏光方向の光をそれぞれ異なる画素で受光し、独立した２つの画像を取得する技術が提案されている。
　例えば特許文献１には、互いに異なる２つの偏光方向の光をそれぞれ異なる画素で受光し、独立した２つの画像を取得する技術が提案されている。特許文献１に記載された受光素子は偏光板の偏光子を透過した光をそれぞれ透過させる検光子アレイを備えており、受光素子が受光した異なる偏光方向の光に対応する各画像が生成される。
特開２００９－１６９０９６号公報
　ここで、特許文献１に記載された技術では、互いに異なる偏光方向の光に対応する画像がそれぞれ生成されているが、偏光方向を一度も揃えることなく、偏光方向が異なる２種の光が生成されている。具体的には、特許文献１では、先ずレンズを透過した光を２種の偏光方向をそれぞれ透過させる偏光板に透過させることにより、互いに異なる偏光方向を有する２種の光が生成される。そして、互いに異なる偏光方向を有する２種の光は、それぞれ検光子を透過して受光素子により受光されている。したがって、特許文献１に記載された撮像装置では、一度も偏光方向が揃えられること無く、偏光方向が異なる２種の光が生成され、その光に基づいた各画像が生成されている。
　このように、一度も偏光方向を揃えること無く生成された異なる偏光方向の光に基づいて、画像が生成される場合には以下のような問題が発生することがある。
　例えば水面を撮影する際に、偏光フィルタを用いてブリュスター角で撮影することによりｓ偏光を遮蔽する技術が知られている。しかし、始めから異なる偏光方向の光を生成する場合には、一方の偏光方向はｓ偏光を遮蔽する方向に合わせることができるが、他方の偏光方向はｓ偏光を遮蔽する方向に合わせることができない。
　また、分光反射率比を利用して果物の糖度を推定する技術が知られているが、一度も偏光方向を揃えることなく、異なる偏光方向の光に基づく画像が用いられると、上手く分光反射率比が算出されない場合がある。具体的には、一度も偏光方向を揃えることなく得られた、異なる偏光方向の光に基づく画像は、被写体の光沢が大きな部分に関しては、鏡面反射光の成分が大きく正しい分光反射率比が得られない。
　また例えば視差画像を生成する場合には、偏光方向が一度も揃えてられていないと、画像間で見え方が異なってしまい視差量の誤検出が発生する場合がある。具体的には、光沢を有する被写体に関して、互いに異なる偏光方向の光に基づいて視差画像を生成した場合には、一方の画像ではブリュスター角に合致した領域では光沢が抑えられた画像が取得されるが、他方の画像では光沢が抑えられていない画像が取得される。その結果、両画像の見え方に大きな差異が発生し、視差量の誤検出が発生する場合がある。
　本発明はこのような事情に鑑みてなされたもので、その目的は、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合に、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる撮像装置及び撮像方法を提供することである。
　上記目的を達成するための本発明の一の態様である撮像装置は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系と、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える偏光子と、第２の瞳領域を透過する第１の偏光方向に揃った光を第１の偏光方向とは異なる第２の偏光方向に回転させる第１の旋光子と、第１の瞳領域及び第２の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素と第２の画素とを一組とする画素ユニットを複数有する撮像素子と、第１の画素及び第２の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、を備える。
　本態様によれば、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向は偏光子により第１の偏光方向に揃えられ、第１の旋光子により、第２の瞳領域を透過する第１の偏光方向の光を異なる第２の偏光方向に回転させ、第１の偏光方向及び第２の偏光方向に対応する各画像が生成される。これにより、本態様は、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。
　好ましくは、第１の瞳領域を透過する第１の偏光方向に揃った光を、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向に回転させる第２の旋光子を備える。
　本発明の他の態様である撮像装置は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系と、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える偏光子と、第２の瞳領域を透過する第１の偏光方向に揃った光を第１の偏光方向と直交する第２の偏光方向に回転させる第１の旋光子と、第１の瞳領域及び第２の瞳領域を透過する光を受光する、第１の偏光方向の光を受光する第１の画素と第２の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子と、第１の画素及び第２の画素の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、を備える。
　本態様によれば、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向は偏光子により第１の偏光方向に揃えられ、第１の旋光子により、第２の瞳領域を透過する第１の偏光方向に揃った光を第１の偏光方向と直交する第２の偏光方向に回転させ、第１の偏光方向及び第２の偏光方向に対応する各画像が生成される。これにより、本態様は、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。
　好ましくは、第１の瞳領域を透過する光のうち、第１の波長帯域の光を透過させる第１の波長フィルタと、第２の瞳領域を透過する光のうち、第２の波長帯域の光を透過させる第２の波長フィルタと、を備える。
　本発明の他の態様である撮像装置は、第１の瞳領域、第１の瞳領域とは異なる第２の瞳領域、及び第１及び第２の瞳領域とは異なる第３の瞳領域で構成される瞳領域を有する撮像光学系と、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える偏光子と、第２の瞳領域を透過する第１の偏光方向に揃った光を第１の偏光方向とは異なる第２の偏光方向に回転させる第１の旋光子と、第３の瞳領域を透過する第１の偏光方向に揃った光を第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向に回転させる第２の旋光子と、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する撮像素子と、第１の画素、第２の画素、及び第３の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像、第２の瞳領域を透過する光に対応する第２の画像、及び第３の瞳領域を透過する光に対応する第３の画像を生成する画像生成部と、を備える。
　本態様によれば、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光の偏光方向は偏光子により第１の偏光方向に揃えられ、第１の偏光子により、第２の瞳領域を透過する第１の偏光方向に揃った光を第１の偏光方向とは異なる第２の偏光方向に回転させ、第２の偏光子により、第３の瞳領域を透過する第１の偏光方向に揃った光を第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向に回転させる。これにより、本態様は、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。
　好ましくは、第１の瞳領域を透過する第１の偏光方向に揃った光を、第１の偏光方向、第２の偏光方向、及び第３の偏光方向とは異なる第４の偏光方向に回転させる第３の旋光子を備える。
　好ましくは、第１の瞳領域を透過する光のうち、第１の波長帯域の光を透過させる第１の波長フィルタと、第２の瞳領域を透過する光のうち、第２の波長帯域の光を透過させる第２の波長フィルタと、第３の瞳領域を透過する光のうち、第３の波長帯域の光を透過させる第３の波長フィルタと、を備える。
　好ましくは、偏光子は、ｓ偏光を遮光する。
　好ましくは、撮像素子は、画素ユニットが偏光素子を備える画素により構成されている。
　好ましくは、撮像素子は、画素を構成するフォトダイオードとマイクロレンズとの間に偏光素子を有する。
　本発明の他の態様である撮像方法は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を、偏光子により、第１の偏光方向に揃えるステップと、第２の瞳領域を透過する第１の偏光方向に揃った光を、第１の旋光子により、第１の偏光方向とは異なる第２の偏光方向に回転させるステップと、第１の瞳領域及び第２の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素と第２の画素とを一組とする画素ユニットを複数有する撮像素子の、第１の画素及び第２の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、を含む。
　好ましくは、第１の瞳領域を透過する第１の偏光方向に揃った光を、第２の旋光子により、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向に回転させる。
　本発明の他の態様である撮像方法は、第１の瞳領域、第１の瞳領域とは異なる第２の瞳領域、及び第１及び第２の瞳領域とは異なる第３の瞳領域で構成される瞳領域を有する撮像光学系の、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光の偏光方向を、偏光子により、第１の偏光方向に揃えるステップと、第２の瞳領域を透過する第１の偏光方向に揃った光を、第１の旋光子により、第１の偏光方向とは異なる第２の偏光方向に回転させるステップと、第３の瞳領域を透過する第１の偏光方向に揃った光を、第２の旋光子により、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向に回転させるステップと、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する撮像素子の、第１の画素、第２の画素、及び第３の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像、第２の瞳領域を透過する光に対応する第２の画像、及び第３の瞳領域を透過する光に対応する第３の画像を生成するステップと、を含む。
　好ましくは、第１の瞳領域を透過する第１の偏光方向に揃った光を、第３の旋光子により、第１の偏光方向、第２の偏光方向、及び第３の偏光方向とは異なる第４の偏光方向に回転させる。
　本発明の他の態様である撮像方法は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を、偏光子により、第１の偏光方向に揃えるステップと、第２の瞳領域を透過する第１の偏光方向に揃った光を、第１の旋光子により、第１の偏光方向と直交する第２の偏光方向に回転させるステップと、第１の瞳領域及び第２の瞳領域を透過する光を受光する、第１の偏光方向の光を受光する第１の画素と第２の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子の、第１の画素及び第２の画素の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、を含む。
　本発明によれば、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。
図１は、撮像装置の概略構成を示す図である。 図２は、偏光子の概略構成を示す正面図である。 図３は、旋光子の概略構成を示す正面図である。 図４は、第１の偏光方向及び第２の偏光方向の一例を示す図である。 図５は、撮像素子の概略構成を示す図である。 図６は、１画素の概略構成を示す断面図である。 図７は、偏光素子の配列パターンの一例を示す図である。 図８は、偏光素子の１ユニットの構成を示す図である。 図９は、撮像素子の画素の配列の一例を示す図である。 図１０は、信号処理部の概略構成を示すブロック図である。 図１１は、画像生成の概念図である。 図１２は、行列Ａの算出の例を説明する図である。 図１３は、行列Ａの算出の例を説明する図である。 図１４は、行列Ａの算出の例を説明する図である。 図１５は、撮像方法の処理フローを示したフローチャートである。 図１６は、撮像装置の概略構成を示す図である。 図１７は、波長フィルタの概略構成を示す正面図である。 図１８は、撮像装置の概略構成を示す図である。 図１９は、撮像光学系の概念的な瞳領域を示す正面図である。 図２０は、旋光子の概略構成を示す正面図である。 図２１は、行列Ａの算出の例を説明する図である。 図２２は、行列Ａの算出の例を説明する図である。 図２３は、撮像方法の処理フローを示したフローチャートである。 図２４は、撮像装置の概略構成を示す図である。 図２５は、撮像装置の概略構成を示す図である。
　以下、添付図面にしたがって本発明の好ましい実施の形態について詳説する。
　＜第１の実施形態＞
　図１は、第１の実施形態の撮像装置１の概略構成を示す図である。本実施形態では、互いに異なる２つの偏光方向（第１の偏光方向２４及び第２の偏光方向２６）を利用して、独立な２枚の画像を取得する。
　同図に示すように、本実施形態の撮像装置１は、撮像光学系１０、偏光子１２、旋光子（第１の旋光子）１４、撮像素子１００及び信号処理部２００を備える。また、同図には、被写体２０で反射された自然光の偏光方向２２、偏光子１２を透過した光の偏光方向である第１の偏光方向２４、及び旋光子１４を透過した光の偏光方向である第２の偏光方向２６が撮像光学系１０の瞳領域Ｅと共に、それぞれ偏光子１２及び旋光子１４の下方に示されている。
　被写体２０が反射する光は、あらゆる方向の偏光方向２２を含んでいる。この光は撮像光学系１０で捉えられる。撮像光学系１０の瞳領域Ｅは、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２で構成される。第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２は、任意に決定することができる。例えば、図１に示すように、瞳領域Ｅを鉛直方向に２分割し、一方を第１の瞳領域Ｅ１とし他方を第２の瞳領域Ｅ２としてもよい。この場合には、第１の瞳領域Ｅ１を透過した光に基づく画像と、第２の瞳領域Ｅ２を透過した光に基づく画像とで視差画像を得ることができる。また例えば、瞳領域Ｅを鉛直方向に直交する水平方向に２分割し、一方を第１の瞳領域Ｅ１とし、他方を第２の瞳領域Ｅ２としてもよい。
　第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過した光は、瞳位置または瞳位置の近傍に設けられた偏光子１２に入射し透過する。偏光子１２を透過した第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過した光の偏光方向は第１の偏光方向２４に揃えられる。その後、瞳領域Ｅの半分の半瞳領域（第１の瞳領域Ｅ１又は第２の瞳領域Ｅ２）に設けられる旋光子１４により、一部の光の偏光方向が第１の偏光方向２４から第２の偏光方向２６に回転させられる。その後、撮像素子１００により、第１の偏光方向２４の光と第２の偏光方向２６の光が受光される。
　〔偏光子〕
　図２は、偏光子１２の概略構成を示す正面図である。偏光子１２は、図１に示すように撮像光学系１０の瞳位置またはその近傍に備えられる。そして、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過する光の偏光方向を第１の偏光方向２４に揃える。例えば偏光子１２は、ｓ偏光を遮光するように偏光透過軸Ａａが設けられた偏光フィルタが用いられる。偏光子１２にｓ偏光を遮光する偏光フィルタが用いられることにより、水面等の反射光により得られる複数の画像の見え方が反射光により異なることを抑制することができる。
　〔旋光子〕
　図３は、旋光子１４の概略構成を示す正面図である。旋光子１４は、図１に示すように撮像光学系１０の瞳位置またはその近傍に備えられる。そして、旋光子１４は、第２の瞳領域Ｅ２を透過した光を第１の偏光方向２４とは異なる第２の偏光方向２６に回転させる。
　旋光子１４は、様々な旋光能を有する物質が使用される。例えば、旋光子１４として水晶で構成された光学部材を用いることができる。この場合、旋光子１４が結晶光学軸ＬＣに平行な厚みｄを有するように設置されると、旋光子１４は入射した第１の偏光方向２４を有する直線偏光Ｌ１をθだけ回転させた第２の偏光方向２６を有する直線偏光Ｌ２を射出する。
　なお、旋光子１４での偏光方向の回転角（旋光角度）θは、旋光子１４の厚さｄと水晶の旋光能ρとにより、次の式で表される。
　θ＝ｄ×ρ
　図４は、第１の偏光方向２４及び第２の偏光方向２６の一例を示す図である。
　偏光方向は、光軸Ｌと直交するＸＹ平面において、偏光子１２の偏光透過軸がＸ軸と成す角度Φ（方位角）、及び旋光子１４により回転させられる偏光方向とＸ軸となす角度Φ（方位角）によって表わされる。図４に示すように偏光子１２は、その偏光透過軸ＡａとＸ軸の成す角度Φａが９０°（方位角９０°）の光を透過する構成とされる。すなわち、図４に示す場合では第１の偏光方向２４は９０°となる。旋光子１４は、第１の偏光方向２４を第２の偏光方向２６へ回転させるように設計されている。例えば図３で説明したように、厚みｄと旋光能ρとの関係を使用して、第１の偏光方向２４を第２の偏光方向２６（方位角３０°）に回転させる旋光子１４が設計される。なおこの場合、旋光子１４の回転角θ＝６０°である。この結果、第１の瞳領域Ｅ１を透過する光は第１の偏光方向２４を有する光となり、第２の瞳領域Ｅ２を透過する光は第２の偏光方向２６を有する光となる。
　〔撮像素子〕
　図５は、撮像素子１００の概略構成を示す図であり、撮像素子１００の一部を分解し、拡大して示した図である。図６は、１画素（図５の破線部）の概略構成を示す断面図である。
　図５に示すように、撮像素子１００は、ピクセルアレイ層１１０、偏光素子アレイ層１２０及びマイクロレンズアレイ層１３０を有する。
　ピクセルアレイ層１１０は、多数のフォトダイオード１１２を二次元的に配列して構成される。１つのフォトダイオード１１２は、１つの画素を構成する。各フォトダイオード１１２は、ｘ軸方向及びｙ軸方向に沿って規則的に配置される。
　偏光素子アレイ層１２０は、ピクセルアレイ層１１０とマイクロレンズアレイ層１３０との間に備えられる。偏光素子アレイ層１２０は、異なる２種類の第１の偏光素子１２２Ａ及び第２の偏光子１２２Ｂを二次元的に配列して構成される。第１の偏光素子１２２Ａ及び第２の偏光子１２２Ｂは、フォトダイオード１１２と同じ間隔で配置され、画素ごとに備えられる。したがって、１つのフォトダイオード１１２には、第１の偏光素子１２２Ａ、又は第２の偏光子１２２Ｂのうちいずれか１つが備えられる。
　図７は、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂの配列パターンの一例を示す図である。
　同図に示すように、２種類の偏光素子１２２Ａ及び１２２Ｂは、ｘ軸方向及びｙ軸方向に沿って、所定の順序で規則的に配列される。
　図７に示す例では、第１の偏光素子１２２Ａ、第２の偏光素子１２２Ｂの順で繰り返し配置される行と、第２の偏光素子１２２Ｂ、第１の偏光素子１２２Ａの順で繰り返し配置される行とを交互に配置して、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂを所定のパターンで規則的に配列している。このように配列される第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂは、２種類の偏光素子（第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂ）を１つずつ含んだ２個一組の偏光素子が１つのユニットを構成し、このユニットが、ｘ軸方向及びｙ軸方向に沿って、規則的に配列される。
　図８は、偏光素子の１ユニットの構成を示す図である。
　同図に示すように、１ユニットＵは、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂを１つずつ含んで構成される。
　上記のように、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂは、互いに偏光方向が異なる。本実施形態では、第１の偏光素子１２２Ａは、方位角＋０°の光を透過する構成とされる。第２の偏光素子１２２Ｂは、方位角＋４５°の光が透過する構成とされる。したがって、第１の偏光素子１２２Ａが備えられたフォトダイオード１１２は、方位角＋０°の光（直線偏光）を受光する。第２の偏光素子１２２Ｂが備えられたフォトダイオード１１２は、方位角＋４５°の光（直線偏光）を受光する。
　マイクロレンズアレイ層１３０は、多数のマイクロレンズ１３２を二次元的に配列して構成される。各マイクロレンズ１３２は、フォトダイオード１１２と同じ間隔で配置され、１画素ごとに備えられる。マイクロレンズ１３２は、撮像光学系１０からの光をフォトダイオード１１２に効率よく集光させる目的で備えられる。
　図９は、撮像素子１００の画素の配列の一例を示す図である。
　各画素には、第１の偏光素子１２２Ａまたは第２の偏光素子１２２Ｂが備えられる。第１の偏光素子１２２Ａが備えられた画素（図中Ａの画像）を第１の画素１０２Ａ、第２の偏光素子１２２Ｂが備えられた画素（図中Ｂの画像）を第２の画素１０２Ｂとする。撮像素子１００は、第１の画素１０２Ａ及び第２の画素１０２Ｂを１つずつ含んだ２個一組の画素を１つのユニットとし、このユニットを複数有する。この２個一組の画素のユニットを画素ユニットＵ（ｘ，ｙ）とする。図９に示すように、画素ユニットＵ（ｘ，ｙ）は、ｘ軸方向及びｙ軸方向に沿って、規則的に配列される。
　〔信号処理部〕
　信号処理部２００は、撮像素子１００から出力される信号を処理して、第１の瞳領域Ｅ１を透過した光に対応する第１の画像、及び第２の瞳領域Ｅ２を透過した光に対応する第２の画像を生成する。
　図１０は、信号処理部２００の概略構成を示すブロック図である。
　同図に示すように、信号処理部２００は、アナログ信号処理部２００Ａ、画像生成部２００Ｂ、及び係数記憶部２００Ｃを含む。
　アナログ信号処理部２００Ａは、撮像素子１００の各画素から出力されるアナログの画素信号を取り込み、所定の信号処理（例えば、相関二重サンプリング処理、増幅処理等）を施した後、デジタル信号に変換して出力する。
　画像生成部２００Ｂは、デジタル信号に変換後の画素信号に所定の信号処理を施して、第１の瞳領域Ｅ１を透過した光、第２の瞳領域Ｅ２を透過した光に対応した第１の画像及び第２の画像を生成する。
　図１１は、画像生成の概念図である。
　各画素ユニットＵ（ｘ，ｙ）には、第１の画素１０２Ａ及び第２の画素１０２Ｂが１つずつ含まれる。したがって、各画素ユニットＵ（ｘ，ｙ）から第１の画素１０２Ａ及び第２の画素１０２Ｂの画素信号を分離して抽出することにより、２つの画像（第１の画像及び第２の画像）が生成される。すなわち、各画素ユニットＵ（ｘ，ｙ）の第１の画素１０２Ａから画素信号を抽出して構成される第１の画像と、各画素ユニットＵ（ｘ，ｙ）の第２の画素１０２Ｂの画素信号を抽出して構成される第２の画像が生成される。
　ところで、上記のように、第１の画素１０２Ａで受光される光は、第１の偏光方向２４の光（第１の瞳領域Ｅ１を透過した光）及び第２の偏光方向２６の光（第２の瞳領域Ｅ２を透過した光）が含まれる。また、第２の画素１０２Ｂで受光される光は、第１の偏光方向２４の光（第１の瞳領域Ｅ１を透過した光）及び第２の偏光方向２６の光（第２の瞳領域Ｅ２を透過した光）が含まれる。すなわち、第１の画素１０２Ａ及び第２の画素１０２Ｂにおいては、第１の偏光方向２４の光と第２の偏光方向２６の光とが混信して入射される。
　このため、画像生成部２００Ｂは、混信（クロストーク）を除去する処理（混信除去処理）を行って、第１の瞳領域Ｅ１を透過する光に対応する第１の画像、及び第２の瞳領域Ｅ２を透過する光に対応する第２の画像を生成する。混信除去処理は、次のように行われる。
　いま、第１の画素１０２Ａで得られる画素信号（信号値）をｘ１、第２の画素１０２Ｂで得られる画素信号をｘ２とする。各画素ユニットＵ（ｘ，ｙ）からは、２個の画素信号ｘ１、ｘ２が得られる。画像生成部２００Ｂは、この２個の画素信号ｘ１、ｘ２から、行列Ａを用いた下記の式１によって、第１の偏光方向２４、第２の偏光方向２６に対応した画素信号Ｘ１、Ｘ２を算出し、混信を除去する。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　以下、上記式１によって、第１の偏光方向２４の光、第２の偏光方向２６の光に対応する画像の画素信号Ｘ１、Ｘ２を算出できる理由、すなわち、混信を除去できる理由について説明する。
　第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過した光が、第１の画素１０２Ａ及び第２の画素１０２Ｂで受光される割合（混信量（混信比率ともいう））は、偏光方向（第１の偏光方向２４及び第２の偏光方向２６）と、第１の画素１０２Ａ、第２の画素１０２Ｂに備えられた第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂの偏光方向との関係から一意に定まる。
　いま、第１の偏光方向２４の光が第１の画素１０２Ａで受光される混信量をｂ１１、第２の偏光方向２６の光が第１の画素１０２Ａで受光される割合をｂ１２とすると、Ｘ１、Ｘ２、とｘ１との間には、次の関係が成り立つ。
　ｂ１１＊Ｘ１＋ｂ１２＊Ｘ２＝ｘ１…（式２）
　また、第１の偏光方向２４の光が第２の画素１０２Ｂで受光される割合をｂ２１、第２の偏光方向２６の光が第２の画素１０２Ｂで受光される割合をｂ２２とすると、Ｘ１、Ｘ２とｘ２との間には、次の関係が成り立つ。
　ｂ２１＊Ｘ１＋ｂ２２＊Ｘ２＝ｘ２…（式３）
　Ｘ１及びＸ２について、式２及び式３の連立方程式を解くことで、元の画像の画素信号、すなわち、第１の偏光方向２４の光の画像、第２の偏光方向２６の光の画像の画素信号Ｘ１、Ｘ２を取得できる。
　ここで、上記の連立方程式は、行列Ｂを用いた下記の式４で表わすことができる。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　Ｘ１、Ｘ２は、両辺に行列Ｂの逆行列Ｂ－１をかけることで算出される。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　このように、第１の瞳領域Ｅ１を透過する光で得られる画像の画素信号Ｘ１、第２の瞳領域Ｅ２を透過する光で得られる画像の画素信号Ｘ２は、第１の偏光方向２４の光、第２の偏光方向２６の光が第１の画素１０２Ａ、及び第２の画素１０２Ｂで受光される量に基づいて、第１の画素１０２Ａ、第２の画素１０２Ｂの画素信号ｘ１、ｘ２から算出できる。
　上記式１における行列Ａは、行列Ｂの逆行列Ｂ－１である（Ａ＝Ｂ－１）。したがって、行列Ａの各要素ａｉｊ（ｉ＝１、２；ｊ＝１、２）は、行列Ｂの逆行列Ｂ－１を求めることで取得できる。行列Ｂの各要素ｂｉｊ（ｉ＝１、２；ｊ＝１、２）は、第１の偏光方向２４の光及び第２の偏光方向２６の光が第１の画素１０２Ａ及び第２の画素１０２Ｂで受光される量（混信量）である。
　すなわち、１行目の要素ｂ１１は、第１の偏光方向２４の光が第１の画素１０２Ａで受光される量（混信量）、要素ｂ１２は、第２の偏光方向２６の光が第１の画素１０２Ａで受光される量である。
　また、２行目の要素ｂ２１は、第１の偏光方向２４の光が第２の画素１０２Ｂで受光される量、要素ｂ２２は、第２の偏光方向２６の光が第２の画素１０２Ｂで受光される量である。この行列Ｂの逆行列Ｂ－１は存在する。したがって、行列Ｂの逆行列Ｂ－１を求めることで、行列Ａの各要素を求めることができる。
　第１の瞳領域Ｅ１を透過した光と第２の瞳領域Ｅ２を透過した光が各画素１０２Ａ及び１０２Ｂで受光される割合（混信量）については、第１の瞳領域Ｅ１を透過した光と第２の瞳領域Ｅ２を透過した光の偏光方向と第１の画素１０２Ａ及び第２の画素１０２Ｂで受光される光の偏光方向の角度差の余弦（ｃｏｓ）の二乗によって求められる。したがって、たとえば、第１の瞳領域Ｅ１（または第２の瞳領域Ｅ２）を透過した光（直線偏光）の偏光方向（方位角）をα、第ｉ画素で受光される光の偏光方向（方位角）をβとすると、混信量は、ｃｏｓ２（｜α－β｜）で算出される。
　図１２から図１４は、上述した行列Ａの算出の例を説明する図である。図１２から図１４では、第１の瞳領域Ｅ１を透過する光の第１の偏光方向２４、及び第２の瞳領域Ｅ２を通過する光の第２の偏光方向２６が示されている（（Ａ）で図示）。また、図１２から図１４では、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂの偏光方向が示されている（（Ｂ）で図示）。
　図１２に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向３０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向４５°の光を透過する。
　したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝０．７５００、ｂ１２＝０．００００、ｂ２１＝０．９３３０、ｂ２２＝０．５０００となる。
Figure JPOXMLDOC01-appb-M000007
　この行列Ｂの逆行列Ｂ－１（行列Ａ）は存在し、その各要素は、ａ１１＝１．３３３３、ａ１２＝０、ａ２１＝－２．４８８０、ａ２２＝２．００００となる。
Figure JPOXMLDOC01-appb-M000008
　係数記憶部２００Ｃは、この行列Ｂの逆行列Ｂ－１として求めた２行２列の行列Ａの各要素を係数群として記憶する。係数記憶部２００Ｃは、記憶部の一例である。
　図１３に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向３０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向６０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向１３５°の光を透過する。
　したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝０．７５００、ｂ１２＝０．７５００、ｂ２１＝０．０６７０、ｂ２２＝０．５０００となる。
Figure JPOXMLDOC01-appb-M000009
　この行列Ｂの逆行列Ｂ－１（行列Ａ）は存在し、その各要素は、ａ１１＝１．５３９６、ａ１２＝－２．３０９４、ａ２１＝－０．２０６３、ａ２２＝２．３０９４となる。
Figure JPOXMLDOC01-appb-M000010
　係数記憶部２００Ｃは、この行列Ｂの逆行列Ｂ－１として求めた２行２列の行列Ａの各要素を係数群として記憶する。係数記憶部２００Ｃは、記憶部の一例である。
　図１４に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向９０°の光を透過する。図１４に示した場合では、第１の瞳領域Ｅ１を透過する光が有する偏光方向（第１の偏光方向２４）と第２の瞳領域Ｅ２を透過する光が有する偏光方向（第２の偏光方向２６）が直交する場合である。また、第１の瞳領域Ｅ１を透過する光が有する偏光方向（第１の偏光方向２４）と第１の偏光素子１２２Ａの偏光方向が同じであり、第２の瞳領域Ｅ２を透過する光が有する偏光方向（第２の偏光方向２６）と第２の偏光素子１２２Ｂの偏光方向が同じである。
　したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝１．００００、ｂ１２＝０．００００、ｂ２１＝０．００００、ｂ２２＝１．００００となる。
Figure JPOXMLDOC01-appb-M000011
　すなわちこの場合には、理想的に混信が起こらない場合である。このように、混信が起こらない場合には、混信除去処理を行わずに、第１の画素１０２Ａ及び第２の画素１０２Ｂから得られる信号から各画像を生成することができる。すなわち、第１の瞳領域Ｅ１の画素信号Ｘ１は第１の画素１０２Ａの画素信号ｘ１であり、第２の瞳領域Ｅ２の画素信号Ｘ２は第１の画素１０２Ａの画素信号ｘ２である。
　画像生成部２００Ｂは、係数記憶部２００Ｃから係数群を取得し、各画素ユニットＵ（ｘ，ｙ）から得られる２個の画素信号ｘ１、ｘ２から、上記式１によって、第１の偏光方向２４の光及び第２の偏光方向２６の光に対応した２個の画素信号Ｘ１、Ｘ２を算出し、第１の偏光方向２４の光、及び第２の偏光方向２６の光の画像を生成する。画像生成部２００Ｂは、演算部の一例である。
　画像生成部２００Ｂで生成された第１の偏光方向２４、第２の偏光方向２６に対応する画像は、外部に出力され、必要に応じて、記憶装置に記憶される。また、必要に応じてディスプレイ（不図示）に表示される。
　図１５は、撮像装置１を使用した撮像方法の処理フローを示したフローチャートである。
　先ず、偏光子１２により、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過する光の偏光方向を第１の偏光方向２４に揃える（ステップＳ１０）。次に、第２の瞳領域Ｅ２を透過した光が有する第１の偏光方向２４を旋光子１４により第２の偏光方向２６に回転させる（ステップＳ１１）。その後、第１の瞳領域Ｅ１を透過した光及び第２の瞳領域Ｅ２を透過した光を、第１の画素１０２Ａ及び第２の画素１０２Ｂにより受光する（ステップＳ１２）。そして、画像生成部２００Ｂは、第１の画素１０２Ａ及び第２の画素１０２Ｂから得られた画素信号に対して混信除去処理を行う（ステップＳ１３）。なお、第１の偏光方向２４と第２の偏光方向２６とが直交する場合であり、且つ第１の偏光素子１２２Ａの偏光方向が第１の偏光方向２４に対応し、第２の偏光素子１２２Ｂの偏光方向が第２の偏光方向２６に対応する場合には、混信が理想的に発生しなく混信除去処理は行われなくてもよい。次に、画像生成部２００Ｂは、混信除去処理後の第１の画素１０２Ａの画素信号及び第２の画素１０２Ｂの画素信号に基づいて第１の画像及び第２の画像を生成する（ステップＳ１４）。
　以上で説明した本実施形態によれば、互いに異なる２種の偏光方向を有する光に基づいて異なる２つの画像を生成する場合であっても、一度偏光子１２により瞳領域Ｅの偏光が揃えられるので、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。
　＜第２の実施形態＞
　次に、本発明の第２の実施形態に関して説明する。本実施形態では、波長フィルタ（バンドパスフィルタ）４０を備え、各波長帯域の画像を独立に得ることができる。
　図１６は、本実施形態の撮像装置１の概略構成を示す図である。なお、図１で既に説明を行った箇所は、同じ符号を付し説明は省略する。
　同図に示すように、本実施形態の撮像装置１は、撮像光学系１０、偏光子１２、波長フィルタ４０、旋光子（第１の旋光子）１４、撮像素子１００及び信号処理部２００を備える。なお、波長フィルタ４０を設ける位置は、偏光子１２と旋光子１４との間に限定されるものではなく、第１の瞳領域Ｅ１を透過する光と第２の瞳領域Ｅ２を透過する光とを適切に入射させることができる位置であれば特に限定されるものではない。波長フィルタ４０を透過した光は、第１の瞳領域Ｅ１と第２の瞳領域Ｅ２とで異なる波長帯域の光となる（波長フィルタ４０の下方に図示）。
　図１７は、波長フィルタ４０の概略構成を示す正面図である。
　波長フィルタ４０は、例えば第１の瞳領域Ｅ１と第２の瞳領域Ｅ２とで異なる波長帯域の光を透過させる。具体的には、第１の瞳領域Ｅ１に対応する領域４４と、第２の瞳領域Ｅ２に対応する領域４６とでは異なる波長帯域の光を透過させる。このような波長フィルタ４０を備えることにより、第１の瞳領域Ｅ１を透過する光に対応する第１の画像は、領域４４で透過した波長帯域（第１の波長帯域）の光に基づく画像となり、第２の瞳領域Ｅ２を透過する光に対応する第２の画像は、領域４６で透過した波長帯域（第２の波長帯域）の光に基づく画像となる。なお、図１７では撮像光学系１０の瞳領域Ｅが、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２に２分割される場合の波長フィルタ４０の例を示しており、波長フィルタ４０は第１の波長フィルタ（第１の波長帯域）及び第２の波長フィルタ（第２の波長帯域）を一体的に備える。後で説明する撮像光学系１０の瞳領域Ｅが、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３に分割される場合（第３の実施形態）には、３つの異なる波長帯域（第１の波長帯域、第２の波長帯域、及び第３の波長帯域）を透過させる波長フィルタ４０が使用される。また、第１の波長フィルタ、第２の波長フィルタ、及び第３の波長フィルタを一体的に備える波長フィルタ４０が使用されてもよいし、第１の波長フィルタ、第２の波長フィルタ、及び第３の波長フィルタがそれぞれ別体として設けられてもよい。このようにして得られた複数の波長帯域の画像は、分光反射率比を利用して果実の糖度検査、食物の生育検査、水質検査等に好適に応用される。
　以上で説明した本実施形態によれば、異なる波長帯域の画像を独立に生成することができ、且つ受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。
　＜第３の実施形態＞
　次に、本発明の第３の実施形態に関して説明する。本実施形態では、互いに異なる３つの偏光方向（第１の偏光方向２４、第２の偏光方向２６、第３の偏光方向２８）を利用して、独立に３枚の画像を取得する。
　図１８は、第３の実施形態の撮像装置１の概略構成を示す図である。なお、図１及び図１６で既に説明を行った箇所は、同じ符号を付し説明を省略する。
　同図に示すように、本実施形態の撮像装置１は、撮像光学系１０、偏光子１２、波長フィルタ４０、旋光子１４、撮像素子１００、及び信号処理部２００を備える。また、同図には、被写体２０で反射された自然光の偏光方向２２、偏光子１２を透過した光の偏光方向である第１の偏光方向２４、及び旋光子１４を透過した光の偏光方向である第２の偏光方向２６と第３の偏光方向２８が示されている。なお、互いに異なる３つの偏光方向を利用して独立に３枚の画像を取得する場合にも、上記で説明した２枚の画像を取得する場合の手法を適用して混信除去処理及び画像生成が同様に行われる。
　図１９は、撮像光学系１０の概念的な瞳領域Ｅを示す正面図である。
　本実施形態の瞳領域Ｅは、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３で構成されている。例えば、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３は、瞳領域Ｅを角度１２０°で３等分した領域である。
　図２０は、本実施形態の旋光子１４の概略構成を示す正面図である。なお、図３で既に説明を行った箇所は同じ符号を付し説明は省略する。なお同図には、第１の旋光部分１４Ａの結晶光学軸ＬＣａと第２の旋光部分１４Ｂの結晶光学軸ＬＣｂが示されている。
　旋光子１４は、第１の旋光部分（第１の旋光子）１４Ａと第２の旋光部分（第２の旋光子）１４Ｂとから構成されている。第１の旋光部分１４Ａと第２の旋光部分１４Ｂとは、異なる厚みを有しており、旋光能が異なる。なお、旋光子１４は、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３に対応して、第２の瞳領域Ｅ２を透過した光は第１の旋光部分１４Ａに入射し、第３の瞳領域Ｅ３を透過した光は第２の旋光部分１４Ｂに入射する。また、第１の瞳領域Ｅ１を透過する光は、旋光子１４において素抜け部分ＢＲを透過し、偏光方向の変化はない。
　第１の旋光部分１４Ａは、入射した第１の偏光方向２４を有する直線偏光Ｌ１をθ１だけ回転させた第２の偏光方向２６を有する直線偏光Ｌ２を射出する。また、第２の旋光部分１４Ｂは、入射した第１の偏光方向２４を有する直線偏光Ｌ１をθ２だけ回転させた第３の偏光方向２８を有する直線偏光Ｌ３を射出する。なお、図２０では、第１の旋光部分１４Ａと第２の旋光部分１４Ｂとが一体となった旋光子１４の例に関して説明をしたが、この例に限定されるものではない。例えば、第１の旋光部分１４Ａの旋光子１４と第２の旋光部分１４Ｂを有する旋光子１４とをそれぞれ独立に設けてもよい。
　図２１から図２２は、上述した行列Ａの算出の例を説明する図である。図２１から図２２では、第１の瞳領域Ｅ１を透過する光の第１の偏光方向２４、第２の瞳領域Ｅ２を通過する光の第２の偏光方向２６、及び第３の瞳領域Ｅ３を通過する光の第３の偏光方向２８が示されている（（Ａ）で図示）。また、図２１から図２２では、第１の偏光素子１２２Ａ、第２の偏光素子１２２Ｂ、及び第３の偏光素子１２２Ｃの偏光方向が示されている（（Ｂ）で図示）。なお、本実施形態での撮像素子１００は、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する。
　図２１に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向３０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射し、第３の瞳領域Ｅ３を透過する光は撮像素子１００に偏光方向１５０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向４５°の光を透過し、第３の偏光素子１２２Ｃは偏光方向９０°の光を透過する。
　したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝０．７５００、ｂ１２＝０．００００、ｂ１３＝０．７５００、ｂ２１＝０．９３３０、ｂ２２＝０．５０００、ｂ２３＝０．０６７０、ｂ３１＝０．２５００、ｂ３２＝１．００００、ｂ３３＝０．２５００となる。
Figure JPOXMLDOC01-appb-M000012
　この行列Ｂの逆行列Ｂ－１（行列Ａ）は存在し、その各要素は、ａ１１＝０．０８９３、ａ１２＝１．１５４７、ａ１３＝－０．５７７４、ａ２１＝－０．３３３３、ａ２２＝０．００００、ａ２３＝１．００００、ａ３１＝１．２４４０、ａ３２＝－１．１５４７、ａ３３＝０．５７７４となる。
Figure JPOXMLDOC01-appb-M000013
　図２２に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向３０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射し、第３の瞳領域Ｅ３を透過する光は撮像素子１００に偏光方向１５０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向６０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向１５０°の光を透過し、第３の偏光素子１２２Ｃは偏光方向１０５°の光を透過する。
　したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝０．７５００、ｂ１２＝０．７５００、ｂ１３＝０．００００、ｂ２１＝０．２５００、ｂ２２＝０．２５００、ｂ２３＝１．００００、ｂ３１＝０．０６７０、ｂ３２＝０．９３３０、ｂ３３＝０．５０００となる。
Figure JPOXMLDOC01-appb-M000014
　この行列Ｂの逆行列Ｂ－１（行列Ａ）は存在し、その各要素は、ａ１１＝１．２４４０、ａ１２＝０．５７７４、ａ１３＝－１．１５４７、ａ２１＝０．０８９３、ａ２２＝－０．５７７４、ａ２３＝１．１５４７、ａ３１＝－０．３３３３、ａ３２＝１．００００、ａ３３＝０．００００となる。
Figure JPOXMLDOC01-appb-M000015
　図２３は、撮像装置１を使用した撮像方法の処理フローを示したフローチャートである。
　先ず、偏光子１２により、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３を透過する光の偏光方向を第１の偏光方向２４に揃える（ステップＳ２０）。次に、第２の瞳領域Ｅ２を透過した光が有する第１の偏光方向２４を旋光子１４の旋光部分１４Ａにより第２の偏光方向２６に回転させ、第３の瞳領域Ｅ３を透過した光が有する第１の偏光方向２４を旋光子１４の旋光部分１４Ｂにより第３の偏光方向２８に回転させる（ステップＳ２１）。その後、撮像素子１００により、第１の瞳領域Ｅ１を透過した光、第２の瞳領域Ｅ２を透過した光、及び第３の瞳領域Ｅ３を透過した光を受光する（ステップＳ２２）。その後、画像生成部２００Ｂは混信除去処理を行う（ステップＳ２３）。そして、画像生成部２００Ｂは、第１の画像、第２の画像、及び第３の画像を生成する（ステップＳ２４）。
　以上で説明した本実施形態によれば、互いに異なる３種の偏光方向を有する光に基づいて独立に３つの画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。
　＜第４の実施形態＞
　次に、本発明の第４の実施形態に関して説明する。本実施形態では、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２の全て、または、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３を透過する光の全てを旋光子１４によって回転させる。
　図２４は、本実施形態の撮像装置１の概略構成を示す図である。なお、図１で既に説明を行った箇所は同じ符号を付し説明は省略する。
　同図に示した場合では旋光子１４は、第１の瞳領域Ｅ１を透過した光の第１の偏光方向２４を第２の偏光方向２６に回転させ、第２の瞳領域Ｅ２を透過した光の第１の偏光方向２４を第３の偏光方向２８に回転させる。すなわち、旋光子１４は、第１の瞳領域Ｅ１と第２の瞳領域Ｅ２との対応部分で異なる旋光能の旋光部分を有し、入射した直線偏光をそれぞれ回転させる。具体的には、旋光子１４の第１の旋光部分（第１の旋光子）は、第１の瞳領域Ｅ１を透過する光を第１の偏光方向２４から第２の偏光方向２６に回転させる。また、旋光子１４の第２の旋光部分（第２の旋光子）は、第２の瞳領域Ｅ２を透過する光を第１の偏光方向２４から第３の偏光方向２８に回転させる。なお旋光子１４は、第１の旋光部分と第２の旋光部分とを一体の旋光子として有していてもよいし、別体の旋光子として有していてもよい。
　図２５は、本実施形態の撮像装置１の他の例の概略構成を示す図である。なお、図１８で既に説明を行った箇所は同じ符号を付し説明は省略する。
　同図に示した場合では旋光子１４は、第１の瞳領域Ｅ１を透過した光の第１の偏光方向２４を第２の偏光方向２６に回転させ、第２の瞳領域Ｅ２を透過した光の第１の偏光方向２４を第３の偏光方向２８に回転させ、第３の瞳領域Ｅ３を透過した光の第１の偏光方向２４を第４の偏光方向３０に回転させる。すなわち、旋光子１４は、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３の対応部分で異なる旋光能の旋光部分を有し、入射した直線偏光をそれぞれ回転させる。具体的には、旋光子１４の第１の旋光部分（第１の旋光子）は、第１の瞳領域Ｅ１を透過する光を第１の偏光方向２４から第２の偏光方向２６に回転させる。また、旋光子１４の第２の旋光部分（第２の旋光子）は、第２の瞳領域Ｅ２を透過する光を第１の偏光方向２４から第３の偏光方向２８に回転させる。また、旋光子１４の第３の旋光部分（第３の旋光子）は、第３の瞳領域Ｅ３を透過する光を第１の偏光方向２４から第４の偏光方向３０に回転させる。なお旋光子１４は、第１の旋光部分、第２の旋光部分、第２の旋光部分を一体の旋光子として有していてもよいし、別体の旋光子として有していてもよい。
　以上で説明した本実施形態によれば、偏光子１２で揃えられた偏光方向に限定されずに、様々な偏光方向の光に基づいて画像を生成することができ、且つ受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１　　　　：撮像装置
１０　　　：撮像光学系
１２　　　：偏光子
１４　　　：旋光子
２０　　　：被写体
４０　　　：波長フィルタ
１００　　：撮像素子
１０２Ａ　：第１の画素
１０２Ｂ　：第２の画素
１１０　　：ピクセルアレイ層
１１２　　：フォトダイオード
１２０　　：偏光素子アレイ層
１２２Ａ　：第１の偏光素子
１２２Ｂ　：第２の偏光素子
１２２Ｃ　：第３の偏光素子
１３０　　：マイクロレンズアレイ層
１３２　　：マイクロレンズ
２００　　：信号処理部
２００Ａ　：アナログ信号処理部
２００Ｂ　：画像生成部
２００Ｃ　：係数記憶部

Claims (15)

  1. 　第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系と、
    　前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える偏光子と、
    　前記第２の瞳領域を透過する前記第１の偏光方向に揃った光を前記第１の偏光方向とは異なる第２の偏光方向に回転させる第１の旋光子と、
    　前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素と第２の画素とを一組とする画素ユニットを複数有する撮像素子と、
    　前記第１の画素及び前記第２の画素の画素信号に混信除去処理を施し、前記混信除去処理後の前記画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、
    　を備える撮像装置。
  2. 　前記第１の瞳領域を透過する前記第１の偏光方向に揃った光を、前記第１の偏光方向及び前記第２の偏光方向とは異なる第３の偏光方向に回転させる第２の旋光子を備える請求項１に記載の撮像装置。
  3. 　第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系と、
    　前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える偏光子と、
    　前記第２の瞳領域を透過する前記第１の偏光方向に揃った光を前記第１の偏光方向と直交する第２の偏光方向に回転させる第１の旋光子と、
    　前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、前記第１の偏光方向の光を受光する第１の画素と前記第２の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子と、
    　前記第１の画素及び前記第２の画素の画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、
    　を備える撮像装置。
  4. 　前記第１の瞳領域を透過する光のうち、第１の波長帯域の光を透過させる第１の波長フィルタと、
    　前記第２の瞳領域を透過する光のうち、第２の波長帯域の光を透過させる第２の波長フィルタと、
    　を備える請求項１から３のいずれか１項に記載の撮像装置。
  5. 　第１の瞳領域、前記第１の瞳領域とは異なる第２の瞳領域、及び前記第１及び前記第２の瞳領域とは異なる第３の瞳領域で構成される瞳領域を有する撮像光学系と、
    　前記第１の瞳領域、前記第２の瞳領域、及び前記第３の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える偏光子と、
    　前記第２の瞳領域を透過する前記第１の偏光方向に揃った光を前記第１の偏光方向とは異なる第２の偏光方向に回転させる第１の旋光子と、
    　前記第３の瞳領域を透過する前記第１の偏光方向に揃った光を前記第１の偏光方向及び前記第２の偏光方向とは異なる第３の偏光方向に回転させる第２の旋光子と、
    　前記第１の瞳領域、前記第２の瞳領域、及び前記第３の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する撮像素子と、
    　前記第１の画素、前記第２の画素、及び前記第３の画素の画素信号に混信除去処理を施し、前記混信除去処理後の前記画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像、前記第２の瞳領域を透過する光に対応する第２の画像、及び前記第３の瞳領域を透過する光に対応する第３の画像を生成する画像生成部と、
    　を備える撮像装置。
  6. 　前記第１の瞳領域を透過する前記第１の偏光方向に揃った光を、前記第１の偏光方向、前記第２の偏光方向、及び前記第３の偏光方向とは異なる第４の偏光方向に回転させる第３の旋光子を備える請求項５に記載の撮像装置。
  7. 　前記第１の瞳領域を透過する光のうち、第１の波長帯域の光を透過させる第１の波長フィルタと、
    　前記第２の瞳領域を透過する光のうち、第２の波長帯域の光を透過させる第２の波長フィルタと、
    　前記第３の瞳領域を透過する光のうち、第３の波長帯域の光を透過させる第３の波長フィルタと、
    　を備える請求項５又は６に記載の撮像装置。
  8. 　前記偏光子は、ｓ偏光を遮光する請求項１から７のいずれか１項に記載の撮像装置。
  9. 　前記撮像素子は、前記画素ユニットが偏光素子を備える画素により構成されている請求項１から８のいずれか１項に記載の撮像装置。
  10. 　前記撮像素子は、前記画素を構成するフォトダイオードとマイクロレンズとの間に前記偏光素子を有する請求項９に記載の撮像装置。
  11. 　第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を、偏光子により、第１の偏光方向に揃えるステップと、
    　前記第２の瞳領域を透過する前記第１の偏光方向に揃った光を、第１の旋光子により、前記第１の偏光方向とは異なる第２の偏光方向に回転させるステップと、
    　前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素と第２の画素とを一組とする画素ユニットを複数有する撮像素子の、前記第１の画素及び前記第２の画素の画素信号に混信除去処理を施し、前記混信除去処理後の前記画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、
    　を含む撮像方法。
  12. 　前記第１の瞳領域を透過する前記第１の偏光方向に揃った光を、第２の旋光子により、前記第１の偏光方向及び前記第２の偏光方向とは異なる第３の偏光方向に回転させる請求項１１に記載の撮像方法。
  13. 　第１の瞳領域、前記第１の瞳領域とは異なる第２の瞳領域、及び前記第１及び前記第２の瞳領域とは異なる第３の瞳領域で構成される瞳領域を有する撮像光学系の、前記第１の瞳領域、前記第２の瞳領域、及び前記第３の瞳領域を透過する光の偏光方向を、偏光子により、第１の偏光方向に揃えるステップと、
    　前記第２の瞳領域を透過する前記第１の偏光方向に揃った光を、第１の旋光子により、前記第１の偏光方向とは異なる第２の偏光方向に回転させるステップと、
    　前記第３の瞳領域を透過する前記第１の偏光方向に揃った光を、第２の旋光子により、前記第１の偏光方向及び前記第２の偏光方向とは異なる第３の偏光方向に回転させるステップと、
    　前記第１の瞳領域、前記第２の瞳領域、及び前記第３の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する撮像素子の、前記第１の画素、前記第２の画素、及び前記第３の画素の画素信号に混信除去処理を施し、前記混信除去処理後の前記画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像、前記第２の瞳領域を透過する光に対応する第２の画像、及び前記第３の瞳領域を透過する光に対応する第３の画像を生成するステップと、
    　を含む撮像方法。
  14. 　前記第１の瞳領域を透過する前記第１の偏光方向に揃った光を、第３の旋光子により、前記第１の偏光方向、前記第２の偏光方向、及び前記第３の偏光方向とは異なる第４の偏光方向に回転させる請求項１３に記載の撮像方法。
  15. 　第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を、偏光子により、第１の偏光方向に揃えるステップと、
    　前記第２の瞳領域を透過する前記第１の偏光方向に揃った光を、第１の旋光子により、前記第１の偏光方向と直交する第２の偏光方向に回転させるステップと、
    　前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、前記第１の偏光方向の光を受光する第１の画素と前記第２の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子の、前記第１の画素及び前記第２の画素の画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、
    　を含む撮像方法。
PCT/JP2019/040487 2018-10-22 2019-10-15 撮像装置及び撮像方法 WO2020085149A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020553199A JPWO2020085149A1 (ja) 2018-10-22 2019-10-15 撮像装置及び撮像方法
US17/227,371 US20210235006A1 (en) 2018-10-22 2021-04-11 Imaging device and imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-198457 2018-10-22
JP2018198457 2018-10-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/227,371 Continuation US20210235006A1 (en) 2018-10-22 2021-04-11 Imaging device and imaging method

Publications (1)

Publication Number Publication Date
WO2020085149A1 true WO2020085149A1 (ja) 2020-04-30

Family

ID=70330608

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/040487 WO2020085149A1 (ja) 2018-10-22 2019-10-15 撮像装置及び撮像方法

Country Status (3)

Country Link
US (1) US20210235006A1 (ja)
JP (1) JPWO2020085149A1 (ja)
WO (1) WO2020085149A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210335013A1 (en) * 2020-04-27 2021-10-28 Huazhong University Of Science And Technology Method for characterizing polarization image information and method for computing characterization parameters

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202131671A (zh) * 2019-10-07 2021-08-16 日商索尼半導體解決方案公司 電子機器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015157A (ja) * 2006-07-05 2008-01-24 Nikon Corp 撮像装置
WO2013114888A1 (ja) * 2012-02-02 2013-08-08 パナソニック株式会社 撮像装置
JP2014199241A (ja) * 2012-07-23 2014-10-23 株式会社リコー ステレオカメラ
JP2015211430A (ja) * 2014-04-30 2015-11-24 パナソニックＩｐマネジメント株式会社 撮像装置および演算回路

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009157043A (ja) * 2007-12-26 2009-07-16 Olympus Corp 撮像装置及びそれを有する撮像機器
JP5320735B2 (ja) * 2007-12-28 2013-10-23 株式会社ニコン 撮像装置
JP2009169096A (ja) * 2008-01-16 2009-07-30 Fujifilm Corp 撮像デバイス
JP5831105B2 (ja) * 2011-09-30 2015-12-09 ソニー株式会社 撮像装置及び撮像方法
WO2015004886A1 (ja) * 2013-07-12 2015-01-15 パナソニックＩｐマネジメント株式会社 撮像装置
JP6391316B2 (ja) * 2014-06-25 2018-09-19 キヤノン株式会社 撮像装置
US9661193B2 (en) * 2014-08-01 2017-05-23 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and analyzing apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015157A (ja) * 2006-07-05 2008-01-24 Nikon Corp 撮像装置
WO2013114888A1 (ja) * 2012-02-02 2013-08-08 パナソニック株式会社 撮像装置
JP2014199241A (ja) * 2012-07-23 2014-10-23 株式会社リコー ステレオカメラ
JP2015211430A (ja) * 2014-04-30 2015-11-24 パナソニックＩｐマネジメント株式会社 撮像装置および演算回路

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210335013A1 (en) * 2020-04-27 2021-10-28 Huazhong University Of Science And Technology Method for characterizing polarization image information and method for computing characterization parameters
US11967116B2 (en) * 2020-04-27 2024-04-23 Huazhong University Of Science And Technology Method for characterizing polarization image information and method for computing characterization parameters

Also Published As

Publication number Publication date
US20210235006A1 (en) 2021-07-29
JPWO2020085149A1 (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
US9347832B2 (en) Optical systems and methods employing a polarimetric optical filter
EP3070507B1 (en) Endoscope imaging device
US20160163752A1 (en) Image-acquisition device
WO2013031100A1 (ja) 偏光撮像素子および内視鏡
WO2016106379A1 (en) Epi-illumination fourier ptychographic imaging for thick samples
US20210235006A1 (en) Imaging device and imaging method
WO2021172284A1 (ja) 撮像装置及び方法
EP2330811B1 (en) Imaging apparatus with light transmissive filter
US11877076B2 (en) Imaging device and imaging method
US11917276B2 (en) Imaging device and imaging method
US20180075615A1 (en) Imaging device, subject information acquisition method, and computer program
US11573428B2 (en) Imaging method and apparatus using circularly polarized light
JP2017156245A5 (ja)
WO2012144162A1 (ja) ３次元撮像装置、光透過部、画像処理装置、およびプログラム
CN112805992B (zh) 摄像装置
CN109246349B (zh) 高品质超分辨面阵成像相机及成像方法
JP2012154847A (ja) 偏光画像撮像装置
CN102445418A (zh) 用于检验带有斜面的物体的方法及系统
JP2021019260A (ja) 撮像素子、およびこれを備える撮像装置
Wong et al. A novel snapshot polarimetric imager
Gutiérrez et al. Optimal snapshot full-Stokes imaging polarimeter in the visible band based on division-of-aperture
JP2013034095A (ja) 撮像装置およびアダプタユニット
JP2001304966A (ja) フーリエ分光画像計測装置及びこれを用いた人工衛星
JP2021060288A (ja) 偏光測定装置及び偏光測定方法
JPH10501113A (ja) 画像ピックアップ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19877465

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020553199

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19877465

Country of ref document: EP

Kind code of ref document: A1