WO2020071253A1 - 撮像装置 - Google Patents

撮像装置

Info

Publication number
WO2020071253A1
WO2020071253A1 PCT/JP2019/038018 JP2019038018W WO2020071253A1 WO 2020071253 A1 WO2020071253 A1 WO 2020071253A1 JP 2019038018 W JP2019038018 W JP 2019038018W WO 2020071253 A1 WO2020071253 A1 WO 2020071253A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
optical
image
light
imaging device
Prior art date
Application number
PCT/JP2019/038018
Other languages
English (en)
French (fr)
Inventor
小野　修司
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020550372A priority Critical patent/JP7169363B2/ja
Priority to CN201980064764.8A priority patent/CN112805992B/zh
Priority to EP19869769.0A priority patent/EP3863278B1/en
Publication of WO2020071253A1 publication Critical patent/WO2020071253A1/ja
Priority to US17/206,163 priority patent/US11457202B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/288—Filters employing polarising elements, e.g. Lyot or Solc filters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0053—Driving means for the movement of one or more optical element
    • G03B2205/0084—Driving means for the movement of one or more optical element using other types of actuators

Definitions

  • the present invention relates to an imaging device, and more particularly, to an imaging device that acquires three images independently with one imaging device.
  • Patent Document 1 a pupil region of an optical system is divided into two, light passing through each region is separated using a polarizer and an analyzer, and is received by different pixels.
  • An imaging device capable of independently acquiring an image is described.
  • the imaging device disclosed in Patent Literature 1 is limited to two images that can be acquired.
  • Patent Literature 2 discloses that a pupil portion of an optical system is divided into two or more regions, and light from each region is guided to different pixels by a microlens array. An imaging device capable of independently acquiring one or more images is described.
  • Patent Document 3 proposes, in order to solve this problem, to perform predetermined signal processing on a signal (pixel signal) obtained from each pixel to remove the influence of interference.
  • the present invention has been made in view of such circumstances, and it is an object of the present invention to provide an imaging device capable of acquiring three independent high-quality images using one imaging device.
  • An optical system having three optical regions that allow light of different polarization directions to pass through, and N pixels that receive light of different polarization directions when N is an integer satisfying N ⁇ 3
  • An image sensor having a plurality of pixel units as one set, and a matrix of 3 rows and N columns where each element is represented by aij when i and j are integers satisfying 1 ⁇ i ⁇ 3 and 1 ⁇ j ⁇ N .., XN obtained from each pixel unit of the image sensor by a storage unit that stores a coefficient group constituted by A, and a coefficient group obtained from the storage unit.
  • An image pickup apparatus comprising: a calculation unit that calculates three pixel signals X1, X2, and X3 corresponding to respective optical regions of the optical system.
  • the matrix A is obtained by calculating an inverse matrix of a matrix having, as an element, a rate at which light incident on each optical region of the optical system is received by each pixel of each pixel unit of the image sensor.
  • the inverse matrix B ⁇ 1 of the matrix B having a ratio of light incident on each optical region of the optical system at each pixel of each pixel unit of the image sensor as an element is calculated.
  • Each element of A is obtained.
  • the ratio of the light incident on each optical region of the optical system received by each pixel of each pixel unit of the image sensor depends on the polarization direction of light passing through each optical region of the optical system and each pixel of the image sensor.
  • the imaging device according to (2), wherein the image is obtained by calculating the square of the cosine of the angle difference in the polarization direction of the light received by each pixel of the unit.
  • the square of the cosine of the angle difference between the polarization direction of light passing through each optical region of the optical system and the polarization direction of light received by each pixel of each pixel unit of the image sensor is calculated.
  • Each element of B is determined.
  • the imaging device includes a plurality of pixel units each including three pixels that receive light having different polarization directions.
  • one pixel unit is composed of three pixels equal to the number of divisions of the optical area.
  • the combination of the polarization direction of the light passing through each optical region of the optical system and the combination of the polarization direction of the light received by each pixel of each pixel unit of the image sensor have the same setting. As a result, it is possible to simplify the arithmetic processing when obtaining each element of the matrix A.
  • three polarization filters having different polarization directions are provided at the pupil position.
  • each optical region of the optical system has a different focal length.
  • each optical region of the optical system has a different focal length.
  • each optical region of the optical system focuses on a subject at a different distance.
  • each optical region of the optical system has a configuration in which subjects at different distances are focused.
  • each optical region of the optical system transmits light in a different wavelength band.
  • each optical region of the optical system has a configuration in which light in a different wavelength band is transmitted.
  • each optical region of the optical system has a parallax with each other.
  • each optical region of the optical system has a parallax with each other.
  • At least two of the three optical regions of the optical system have parallax.
  • two optical regions are set to the same focal length and have left and right parallax.
  • each pixel is provided with a polarizing element.
  • a polarizing element is provided between the photodiode and the microlens forming each pixel.
  • three high-quality images can be independently acquired by one image sensor.
  • FIG. 1 is a diagram illustrating a schematic configuration of an imaging device according to a first embodiment.
  • Front view showing schematic configuration of optical system
  • Front view showing a schematic configuration of a polarizing filter provided in each optical region
  • Diagram showing a schematic configuration of an image sensor Sectional view showing a schematic configuration of one pixel (broken line part in FIG. 5).
  • the figure which shows an example of the arrangement pattern of three types of polarizing elements The figure which shows the structure of one unit of a polarizing element
  • FIG. 3 is a diagram illustrating an example of an array of pixels of an imaging element.
  • FIG. 2 is a diagram illustrating a schematic configuration of an imaging device according to a second embodiment.
  • FIG. 3 is a diagram illustrating an example of an array of pixels of an imaging element. Diagram showing an example of an image obtained by imaging (an image before interference removal)
  • FIG. 1 is a diagram illustrating a schematic configuration of the imaging apparatus according to the first embodiment.
  • the imaging device 1 of the present embodiment includes an optical system 10, an imaging element 100, and a signal processing unit 200.
  • FIG. 2 is a front view showing a schematic configuration of the optical system.
  • the optical system 10 has three optical regions 12A, 12B, and 12C concentrically.
  • the central optical area 12A is a first optical area 12A
  • the intermediate optical area 12B is a second optical area 12B
  • the outermost optical area 12C is a third optical area 12C.
  • the optical regions 12A, 12B, and 12C have different optical characteristics.
  • each of the optical regions 12A, 12B, and 12C has a configuration in which subjects at different distances are focused.
  • the first optical area 12A has a configuration in which a short-distance subject is focused
  • the second optical area 12B has a configuration in which a middle-distance subject is focused
  • the third optical area 12C Has a configuration that focuses on a subject at a long distance. Note that the distinction between the short distance, the medium distance, and the long distance is relative. That is, the second optical region 12B has a configuration in which a subject farther than the first optical region 12A is focused, and the third optical region 12C has a configuration in which a subject farther than the second optical region 12B is focused. Having.
  • each of the optical regions 12A, 12B, and 12C is individually provided with a polarizing filter 14A, 14B, and 14C.
  • Each of the polarizing filters 14A, 14B, 14C is provided at the pupil position of the optical system 10 or in the vicinity thereof.
  • the polarizing filter 14A provided in the first optical area 12A is a first polarizing filter 14A
  • the polarizing filter 14B provided in the second optical area 12B is a second polarizing filter 14B
  • the polarizing filter 14C provided in the third optical area 12C is a third polarizing filter. It is assumed that the polarizing filter 14C is used.
  • Each polarization filter 14A, 14B, 14C has a different polarization direction.
  • FIG. 3 is a front view showing a schematic configuration of a polarizing filter provided in each optical region.
  • Each of the polarizing filters 14A, 14B, 14C is arranged concentrically.
  • the first polarizing filter 14A has a circular shape corresponding to the first optical region 12A, and transmits light incident on the first optical region 12A.
  • the second polarizing filter 14B has a ring shape corresponding to the second optical region 12B, and transmits light incident on the second optical region 12B.
  • the third polarizing filter 14C has a ring shape corresponding to the third optical region 12C, and transmits light incident on the third optical region 12C.
  • FIG. 4 is a diagram showing an example of the polarization direction set for each polarization filter.
  • the polarization direction is represented by an angle ⁇ (azimuth) formed by the polarization transmission axis and the X axis in an XY plane orthogonal to the optical axis L.
  • the first polarization filter 14A is configured to transmit light having an angle ⁇ a between its polarization transmission axis Aa and the X axis of 0 ° (azimuth angle 0 °).
  • the second polarization filter 14B is configured to transmit light having an angle ⁇ b between its polarization transmission axis Ab and the X axis of 60 ° (azimuth angle of 60 °).
  • the third polarization filter 14C is configured to transmit light having an angle ⁇ c between its polarization transmission axis Ac and the X axis of 120 ° (azimuth angle of 120 °).
  • light (linearly polarized light) having an azimuth of 0 ° is emitted from the first optical region 12A
  • light (linearly polarized light) having an azimuth of 60 ° is emitted from the second optical region 12B.
  • Linearly polarized light) is emitted
  • light (linearly polarized light) having an azimuth angle of 120 ° is emitted from the third optical region 12C.
  • the optical system 10 is provided so as to be entirely movable back and forth along the optical axis L. Thereby, focus adjustment is performed. In addition, it is good also as a structure which can move for every optical area.
  • FIG. 5 is a diagram illustrating a schematic configuration of the image sensor, and is a diagram in which a part of the image sensor is disassembled and enlarged.
  • FIG. 6 is a cross-sectional view illustrating a schematic configuration of one pixel (a broken line portion in FIG. 5).
  • the image sensor 100 has a pixel array layer 110, a polarizing element array layer 120, and a microlens array layer.
  • the pixel array layer 110 is configured by arranging a large number of photodiodes 112 two-dimensionally. One photodiode 112 forms one pixel. Each photodiode 112 is regularly arranged along the x-axis direction and the y-axis direction.
  • the polarizing element array layer 120 is provided between the pixel array layer 110 and the microlens array layer 130.
  • the polarizing element array layer 120 is configured by three-dimensionally arranging three types of polarizing elements 122A, 122B, and 122C having different polarization directions (directions of the polarization transmission axis).
  • the polarizing element 122A transmitting light in the first polarization direction is the first polarizing element 122A
  • the polarizing element 122B transmitting light in the second polarization direction is the second polarizing element 122B
  • transmitting light in the third polarization direction is transmitted from the third polarization direction.
  • the polarizing element 122C is referred to as a third polarizing element 122C.
  • Each polarizing element 122A, 122B, 122C is arranged at the same interval as the photodiode 112, and is provided for each pixel. Therefore, one photodiode 112 includes any one of the three types of polarizing elements 122A, 122B, and 122C.
  • FIG. 7 is a diagram showing an example of an arrangement pattern of three types of polarizing elements.
  • the three types of polarizing elements 122A, 122B, and 122C are regularly arranged in a predetermined order along the x-axis direction and the y-axis direction.
  • Rows repeatedly arranged in the order of 122A are alternately arranged, and three types of polarizing elements 122A, 122B, 122C are regularly arranged in a predetermined pattern.
  • the polarizing elements 122A, 122B, and 122C arranged in this way constitute one unit by a set of three polarizing elements each including three types of polarizing elements 122A, 122B, and 122C. They are arranged regularly along the x-axis direction and the y-axis direction.
  • FIG. 8 is a diagram showing a configuration of one unit of the polarizing element.
  • one unit includes one first polarizing element 122A, one second polarizing element 122B, and one third polarizing element 122C.
  • the polarization directions of the polarizing elements 122A, 122B, and 122C are different from each other.
  • the first polarizing element 122A is configured to transmit light having an azimuth angle of 0 °.
  • the second polarizing element 122B is configured to transmit light having an azimuth angle of 60 °.
  • the third polarizing element 122C is configured to transmit light having an azimuth angle of 120 °. Therefore, the photodiode 112 provided with the first polarizing element 122A receives light (linearly polarized light) having an azimuth of 0 °.
  • the photodiode 112 provided with the second polarizing element 122B receives light having 60 ° azimuth (linearly polarized light).
  • the photodiode 112 provided with the third polarizing element 122C receives light (linearly polarized light) having an azimuth angle of 120 °.
  • the microlens array layer 130 is formed by arranging a large number of microlenses 132 two-dimensionally. Each micro lens 132 is arranged at the same interval as the photodiode 112 and is provided for each pixel. The micro lens 132 is provided for the purpose of efficiently condensing light from the optical system 10 to the photodiode 112.
  • FIG. 9 is a diagram showing an example of an array of pixels of the image sensor.
  • Each pixel is provided with any one of the first polarizing element 122A, the second polarizing element 122B, and the third polarizing element 122C.
  • a pixel provided with the first polarizing element 122A (image in the figure) is a first pixel 102A
  • a pixel provided with the second polarizing element 122B (image in the figure B) is a second pixel 102B and a third polarizing element.
  • a pixel provided with 122C (the image in C in the figure) is referred to as a third pixel 102C.
  • the image sensor 100 has one set of three pixels each including a first pixel 102A, a second pixel 102B, and a third pixel 102C, and has a plurality of units.
  • the unit of the set of three pixels is referred to as a pixel unit U (x, y).
  • the pixel units U (x, y) are regularly arranged along the x-axis direction and the y-axis direction.
  • the first pixel 102A Since the first pixel 102A includes the first polarizing element 122A, the first pixel 102A receives light (linearly polarized light) having an azimuth of 0 °. For this reason, the first pixel 102A mainly receives light from the first optical region 12A and partially receives light from the second optical region 12B and the third optical region 12C.
  • the second pixel 102B Since the second pixel 102B includes the second polarizing element 122B, it receives light (linearly polarized light) having an azimuth angle of 60 °. For this reason, the second pixel 102B mainly receives light from the second optical region 12B and partially receives light from the first optical region 12A and the third optical region 12C.
  • the third pixel 102C since the third pixel 102C includes the third polarizing element 122C, it receives light (linearly polarized light) having an azimuth of 120 °. For this reason, the third pixel 102C mainly receives light from the third optical region 12C and partially receives light from the first optical region 12A and the second optical region 12B.
  • the signal processing unit 200 processes a signal output from the image sensor 100 to generate image data acquired in each of the optical regions 12A, 12B, and 12C of the optical system 10.
  • FIG. 10 is a block diagram showing a schematic configuration of the signal processing unit.
  • the signal processing unit 200 includes an analog signal processing unit 200A, an image generation unit 200B, and a coefficient storage unit 200C.
  • the analog signal processing unit 200A takes in an analog pixel signal output from each pixel of the image sensor 100, performs predetermined signal processing (for example, correlated double sampling processing, amplification processing, and the like), and converts the signal into a digital signal. And output.
  • predetermined signal processing for example, correlated double sampling processing, amplification processing, and the like
  • the image generation unit 200B performs predetermined signal processing on the pixel signal converted into the digital signal to generate image data corresponding to each of the optical regions 12A, 12B, and 12C. That is, an image acquired by each of the optical regions 12A, 12B, and 12C is generated.
  • FIG. 11 is a conceptual diagram of image generation.
  • Each pixel unit U (x, y) includes one first pixel 102A, one second pixel 102B, and one third pixel 102C. Therefore, three image data are generated by separating and extracting the pixel signals of the first pixel 102A, the second pixel 102B, and the third pixel 102C from each pixel unit U (x, y).
  • the first image data DA configured by extracting a pixel signal from the first pixel 102A of each pixel unit U (x, y) and the pixel of the second pixel 102B of each pixel unit U (x, y)
  • the second image data DB configured by extracting the signal
  • the third image data DC configured by extracting the pixel signal from the third pixel 102C of each pixel unit U (x, y) are generated. Is done.
  • the light received by the first pixel 102A is mainly light from the first optical region 12A, but part of the light from the second optical region 12B and the light from the third optical region 12C.
  • the image represented by the first image data DA is mainly an image acquired in the first optical region 12A, but an image obtained by interference between the images acquired in the second optical region 12B and the third optical region 12C.
  • the image represented by the second image data DB is an image obtained by interfering the image acquired by the first optical region 12A and the image acquired by the third optical region 12C with the image acquired by the second optical region 12B.
  • the image represented by the image data DC is an image in which the image acquired by the first optical region 12A and the image acquired by the second optical region 12B interfere with the image acquired by the third optical region 12C.
  • the image generation unit 200B performs a process of removing interference (crosstalk) to generate images acquired in the optical regions 12A, 12B, and 12C.
  • the interference removal is performed as follows.
  • the pixel signal (signal value) obtained by the first pixel 102A be x1
  • the pixel signal obtained by the second pixel 102B be x2
  • the pixel signal obtained by the third pixel 102C be x3. From each pixel unit U (x, y), three pixel signals x1, x2, x3 are obtained.
  • the image generation unit 200B calculates pixel signals X1, X2, and X3 corresponding to the respective optical regions 12A, 12B, and 12C by the following Expression 1 using a matrix A, that is, The pixel signals X1, X2, and X3 of the images obtained in the optical regions 12A, 12B, and 12C are calculated, and interference is removed.
  • the interference occurs when light from each of the optical regions 12A, 12B, and 12C is mixed into each of the pixels 102A, 102B, and 102C.
  • the ratio (interference amount (also referred to as interference ratio)) at which the light incident on each of the optical regions 12A, 12B, and 12C is received by each of the pixels 102A, 102B, and 102C is provided in each of the optical regions 12A, 12B, and 12C. It is uniquely determined from the relationship between the polarization directions of the polarization filters 14A, 14B, 14C and the polarization directions of the polarization elements 122A, 122B, 122C provided in the pixels 102A, 102B, 102C.
  • the ratio of the light incident on the first optical region 12A at the first pixel 102A (interference amount) is b11
  • the ratio of the light incident on the second optical region 12B at the first pixel 102A is b12.
  • the rate at which the light incident on the third optical region 12C is received by the first pixel 102A is b13
  • the following relationship holds between X1, X2, X3, and x1.
  • b11 * X1 + b12 * X2 + b13 * X3 x1 (formula 2)
  • b21 is the ratio of light incident on the first optical region 12A received by the second pixel 102B
  • b22 is the ratio of light incident on the second optical region 12B received by the second pixel 102B
  • b3 is the third optical region. Assuming that the rate at which the light incident on 12C is received by the second pixel 102B is b23, the following relationship holds between X1, X2, X3, and x2.
  • b21 * X1 + b22 * X2 + b23 * X3 x2 (Equation 3)
  • b31 is the ratio of light incident on the first optical region 12A received by the third pixel 102C
  • b32 is the ratio of light incident on the second optical region 12B received by the third pixel 102C
  • b3 is the third optical region. Assuming that the rate at which the light incident on 12C is received by the third pixel 102C is b33, the following relationship holds between X1, X2, X3, and x3.
  • Equation 4 By solving the simultaneous equations of Equations 2 to 4 for X1, X2, and X3, the pixel signals of the original image, that is, the pixel signals X1, X2, and X3 of the images obtained in the optical regions 12A, 12B, and 12C are obtained. it can.
  • X1, X2, and X3 are calculated by multiplying both sides by the inverse matrix B- 1 of the matrix B.
  • the light incident on the optical regions 12A, 12B, and 12C is received by the pixels 102A, 102B, and 102C. It can be calculated from the pixel signals x1, x2, x3 of the pixels 102A, 102B, 102C based on the ratio (interference amount).
  • the element b11 in the first row is a ratio (amount of interference) at which the light incident on the first optical region 12A is received by the first pixel 102A
  • the element b12 is a light whose incident on the second optical region 12B is the first.
  • the ratio of light received by the pixel 102A, element b13, is the ratio of light incident on the third optical region 12C being received by the first pixel 102A.
  • the element b21 in the second row is a rate at which light incident on the first optical area 12A is received by the second pixel 102B
  • the element b22 is light received at the second pixel 102B on the second optical area 12B.
  • the element b23 is a rate at which light incident on the third optical region 12C is received by the second pixel 102B.
  • the element b31 in the third row is a ratio at which the light incident on the first optical region 12A is received by the third pixel 102C
  • the element b32 is a light receiving the light incident on the second optical region 12B at the third pixel 102C.
  • the element b33 is a rate at which light incident on the third optical region 12C is received by the third pixel 102C. That is, each element bij of the matrix B is a rate at which the light incident on the j-th optical region is received by the i-th pixel. There is an inverse matrix B ⁇ 1 of this matrix B. Therefore, by finding the inverse matrix B ⁇ 1 of the matrix B, each element aij of the matrix A can be found.
  • the j-th optical region Is received at the i-th pixel is calculated by cos 2 (
  • the polarization direction (azimuth) of the light (linearly polarized light) passing through the first optical region 12A is 0 °.
  • the polarization direction of the light passing through the second optical region 12B is 60 °.
  • the polarization direction of the light passing through the third optical region 12C is 120 °.
  • the polarization direction (azimuth) of the light (linearly polarized light) received by the first pixel 102A is 0 °.
  • the polarization direction of the light received by the second pixel 102B is 60 °.
  • the polarization direction of the light received by the third pixel 102C is 120 °.
  • the coefficient storage unit 200C stores, as a coefficient group, each element aij of the matrix A of 3 rows and 3 columns obtained as the inverse matrix B- 1 of the matrix B.
  • the coefficient storage unit 200C is an example of a storage unit.
  • the image generation unit 200B obtains a coefficient group from the coefficient storage unit 200C, and obtains the optical system 10 of the optical system 10 from the three pixel signals x1, x2, and x3 obtained from each pixel unit U (x, y) by the above equation (1).
  • the three pixel signals X1, X2, X3 corresponding to the respective optical regions 12A, 12B, 12C are calculated, and image data of the respective optical regions 12A, 12B, 12C is generated.
  • Image generation unit 200B is an example of a calculation unit.
  • the image data of each of the optical regions 12A, 12B, and 12C generated by the image generation unit 200B is output to the outside and stored in a storage device as needed.
  • the information is displayed on a display (not shown) as necessary.
  • FIG. 12 is a diagram illustrating an example of an image generated by the image generation unit.
  • the image ImA is an image obtained by the first optical region 12A.
  • This image ImA focuses on a subject at a short distance (cat), and a subject at a medium distance and a long distance becomes a blurred image (a subject at a medium distance (a person) is moderately blurred, and a subject at a long distance (a cat)).
  • Bus becomes a large blurred image.
  • the image ImB is an image obtained by the second optical region 12B.
  • This image ImB is focused on a medium-range subject (person), and the short-range and long-range subjects are blurred images (a short-range subject (cat) and a long-range subject (bus) are moderate). The image becomes blurred.)
  • the image ImC is an image obtained by the third optical region 12C.
  • This image ImC focuses on a long-distance subject (bus), and a short-distance and middle-distance subject becomes a blurred image (a middle-distance subject (human) is moderately blurred, and a short-distance subject (bass) Cat) becomes a large blurred image.)
  • the imaging device 1 of the present embodiment three independent high-quality images can be obtained using one imaging device 100.
  • the configuration is such that the polarizing filters 14A, 14B, and 14C provided in the optical regions 12A, 12B, and 12C of the optical system 10 and the polarizing elements 122A and 122B provided in the pixels 102A, 102B, and 102C of the imaging device 100. , 122C, so that the overall configuration can be simplified.
  • FIG. 13 is a diagram illustrating a schematic configuration of an imaging device according to the second embodiment.
  • the imaging device 1 of the present embodiment is configured as a device that captures three images having different focal lengths. For this reason, the configuration of the optical system 10 is different from that of the imaging device 1 according to the first embodiment. Therefore, only the configuration of the optical system 10 will be described here.
  • the optical axis L has three optical regions 12A, 12B, and 12C. Each of the optical regions 12A, 12B, and 12C has a different focal length.
  • the first optical region 12A at the center is a wide-angle optical region and has a predetermined focal length.
  • the intermediate second optical region 12B is a telephoto optical region and has a longer focal length than the first optical region 12A.
  • the outermost third optical region 12C is a super-telephoto optical region and has a longer focal length than the second optical region 12B.
  • the second optical region 12B and the third optical region 12C are configured by a reflection bending optical system. By configuring the optical region of the telephoto system with a reflection bending optical system, the configuration of the optical system can be made compact.
  • Each optical area 12A, 12B, 12C is provided with a polarizing filter 14A, 14B, 14C individually.
  • the polarizing filter 14A provided in the first optical area 12A is a first polarizing filter 14A
  • the polarizing filter 14B provided in the second optical area 12B is a second polarizing filter 14B
  • the polarizing filter 14C provided in the third optical area 12C is a third polarizing filter. It is assumed that the polarizing filter 14C is used.
  • Each polarization filter 14A, 14B, 14C has a different polarization direction.
  • the first polarization filter 14A is configured to transmit light having an azimuth angle of 0 °
  • the second polarization filter 14B is configured to transmit light having an azimuth angle of 60 °
  • the third polarization filter is configured to transmit light having an azimuth angle of 60 °
  • 14C is configured to transmit light having an azimuth angle of 120 °.
  • the optical system 10 is configured such that the optical regions 12A, 12B, and 12C individually move back and forth along the optical axis L. Thereby, each of the optical regions 12A, 12B, and 12C can be individually focused. The entire optical system 10 may be moved back and forth along the optical axis L.
  • pixels corresponding to the optical regions 12A, 12B, and 12C are obtained from three pixel signals x1, x2, and x3 obtained from each pixel unit U (x, y).
  • the signals X1, X2, and X3 are calculated from Expression 1, and image data of each of the optical regions 12A, 12B, and 12C is generated.
  • FIG. 14 is a diagram illustrating an example of an imaging situation.
  • the first optical area 12A captures an image of the subject at an angle of view ⁇ 1.
  • the second optical area 12B captures an image of the subject at an angle of view ⁇ 2.
  • the third optical area 12C captures an image of the subject at an angle of view ⁇ 3.
  • FIG. 15 is a diagram illustrating an example of an image obtained by imaging (an image before interference removal).
  • the image Ia is an image generated by extracting a pixel signal from the first pixel 102A of each pixel unit U (x, y).
  • This image Ia is a wide-angle image mainly acquired in the first optical region 12A, but is an image in which a telephoto image acquired in the second optical region 12B and a super-telephoto image acquired in the third optical region 12C are mixed. (The telephoto image acquired by the second optical area 12B and the super telephoto image acquired by the third optical area 12C are slightly emerged images.)
  • the image Ib is an image generated by extracting a pixel signal of the second pixel 102B of each pixel unit U (x, y).
  • This image Ib is mainly a telephoto image acquired in the second optical region 12B, but is a mixed image of the wide-angle image acquired in the first optical region 12A and the image acquired in the third optical region 12C. (The wide-angle image acquired in the first optical region 12A and the image acquired in the third optical region 12C are slightly emerged images.)
  • the image Ic is an image generated by extracting a pixel signal from the third pixel 102C of each pixel unit U (x, y).
  • This image Ic is mainly a super-telephoto image obtained in the third optical region 12C, but an image in which the wide-angle image obtained in the first optical region 12A and the telephoto image obtained in the second optical region 12B are mixed. (Each light image acquired in the first optical region 12A and an image acquired in the second optical region 12B are slightly emerged images.)
  • the image generation unit 200B in the signal processing unit 200 uses the following Expression 6 for each of the three pixel signals x1, x2, and x3 obtained from each pixel unit U (x, y) to use the optical regions 12A and 12B. , 12C corresponding to pixel signals X1, X2, and X3, and removes interference.
  • FIG. 16 is a diagram showing an example of an image after interference removal.
  • the image ImA is an image obtained by the first optical region 12A, and a wide-angle image is obtained.
  • the image ImB is an image obtained by the second optical area 12B, and a telephoto image is obtained.
  • the image ImC is an image obtained by the third optical region 12C, and a super-telephoto image is obtained. Any of the images ImA, ImB and ImC can obtain clear images without interference.
  • three independent high-quality images can be obtained using one imaging device 100.
  • the combination of the polarization directions (azimuths) of the polarization filters 14A, 14B, and 14C provided in the optical regions 12A, 12B, and 12C of the optical system 10 is 0. °, 60 °, 120 °
  • combinations of polarization directions (azimuths) of the polarizing elements 122A, 122B, 122C provided in the pixels 102A, 102B, 102C of each pixel unit U (x, y) are 0 °, 60 °.
  • the combination of the polarization directions of the polarization filters 14A, 14B, and 14C provided in the optical regions 12A, 12B, and 12C of the optical system 10 is 0 °, 45 °, 90 °
  • the case where the combination of the polarization directions of the polarization elements 122A, 122B, and 122C provided in each of the pixels 102A, 102B, and 102C of each pixel unit U (x, y) is 0 °, 60 °, and 120 ° will be described.
  • a combination of polarization directions (azimuths) of the polarization filters 14A, 14B, and 14C provided in the optical regions 12A, 12B, and 12C of the optical system 10 and An example in which the combination of the polarization directions (azimuths) of the polarization elements 122A, 122B, and 122C provided in each of the pixels 102A, 102B, and 102C of the image sensor 100 is described.
  • the polarization direction (azimuth) of the first polarization filter 14A provided in the first optical region 12A of the optical system 10 is 0 °
  • the polarization direction (azimuth) of the second polarization filter 14B provided in the second optical region 12B is 45 °.
  • the polarization direction (azimuth) of the third polarization filter 14C provided in the third optical region 12C is 90 °.
  • light having an azimuth of 0 ° (linearly polarized light) is emitted from the first optical region 12A
  • light having a 45 ° azimuth linearly polarized light
  • Light (linearly polarized light) having an azimuth angle of 90 ° is emitted from the region 12C.
  • the polarization direction (azimuth) of the polarization element 122A provided in the first pixel 102A of the imaging element 100 is 0 °
  • the polarization direction (azimuth) of the polarization element 122B provided in the second pixel 102B is 45 °
  • the third pixel 102C is provided. Is set to 90 °.
  • the first pixel 102A receives light (linearly polarized light) having an azimuth of 0 °
  • the second pixel 102B receives light (linearly polarized light) having an azimuth of 45 °
  • the third pixel 102C has an azimuth of 90 °.
  • ° light (linearly polarized light) is received.
  • FIG. 17 is a diagram illustrating an example of an image obtained by imaging (an image before interference removal).
  • the image Ia is an image generated by extracting a pixel signal from the first pixel 102A of each pixel unit U (x, y).
  • This image Ia is a wide-angle image mainly acquired in the first optical area 12A, but is an image in which a telephoto image acquired in the second optical area 12B is an interference image (telephoto acquired in the second optical area 12B). The image becomes a faint image.
  • the image Ib is an image generated by extracting a pixel signal of the second pixel 102B of each pixel unit U (x, y).
  • This image Ib is mainly a telephoto image acquired in the second optical region 12B, but is a mixed image of the wide-angle image acquired in the first optical region 12A and the image acquired in the third optical region 12C. (The wide-angle image acquired in the first optical region 12A and the image acquired in the third optical region 12C are slightly emerged images.)
  • the image Ic is an image generated by extracting a pixel signal from the third pixel 102C of each pixel unit U (x, y).
  • This image Ic is a super-telephoto image mainly acquired in the third optical region 12C, but is an image in which the telephoto image acquired in the second optical region 12B is an interference image (acquired in the second optical region 12B). The image becomes a faint image.
  • the j-th optical region Is received at the i-th pixel is calculated by cos 2 (
  • the ratio of the light incident on the first optical region 12A at the first pixel 102A (interference amount) is b11
  • the ratio of the light incident on the second optical region 12B at the first pixel 102A is b12.
  • the ratio of the light incident on the third optical region 12C to the first pixel 102A is b13
  • b13 0.
  • b21 is the ratio of light incident on the first optical region 12A received by the second pixel 102B
  • b22 is the ratio of light incident on the second optical region 12B received by the second pixel 102B
  • b3 is the third optical region.
  • the matrix B is set as follows.
  • the coefficient storage unit 200C stores, as a coefficient group, each element aij of the matrix A of 3 rows and 3 columns obtained as the inverse matrix B- 1 of the matrix B.
  • the image generation unit 200B corresponds to each of the optical regions 12A, 12B, and 12C with respect to three pixel signals x1, x2, and x3 obtained from each of the pixel units U (x, y) using Expression 7 below.
  • the pixel signals X1, X2, X3 are calculated, and images of the respective optical regions 12A, 12B, 12C are generated.
  • the generated optical areas 12A, 12B, and 12C are clear images without interference (see FIG. 16).
  • the polarization filters 14A, 14B, and 14C provided in the optical regions 12A, 12B, and 12C of the optical system 10 and the polarization provided in the pixels 102A, 102B, and 102C of the pixel unit U (x, y).
  • the elements 122A, 122B, and 122C may have different combinations of polarization directions.
  • the process of obtaining the matrix A can be simplified by making the combination of the polarization directions of the polarization filters provided in each optical region and the polarization direction of the polarization elements provided in each pixel of each pixel unit the same. That is, the process of setting the matrix B and calculating the inverse matrix B ⁇ 1 can be simplified.
  • each pixel unit U (x, y) of the imaging device 100 is configured with four pixels.
  • each pixel unit U (x, y) of the image sensor 100 is configured with four pixels.
  • Imaging device The basic configuration of the imaging device 100 is the same as the imaging device 100 of the imaging device 1 according to the first embodiment. That is, the image sensor 100 includes the pixel array layer 110, the polarizing element array layer 120, and the microlens array layer 130.
  • FIG. 18 is a diagram illustrating an example of an array of pixels of the image sensor.
  • the image sensor 100 includes a first pixel 102A (pixel A in the figure), a second pixel 102B (pixel B in the figure), a third pixel 102C (pixel C in the figure), and a fourth pixel 102D (pixel D in the figure). (Pixels) one by one as a unit, and a plurality of units are provided.
  • the unit of the set of four pixels is referred to as a pixel unit U (x, y).
  • the pixel units U (x, y) are regularly arranged along the x-axis direction and the y-axis direction.
  • Each pixel of the pixel unit U (x, y) is provided with a polarizing element having a different polarization direction.
  • the first pixel 102A includes a polarizing element that transmits light having an azimuth of 0 °. Therefore, the first pixel 102A receives light (linearly polarized light) having an azimuth angle of 0 °.
  • the second pixel 102B includes a polarizing element that transmits light having an azimuth angle of 45 °. Therefore, the second pixel 102B receives light (linearly polarized light) having an azimuth angle of 45 °.
  • the third pixel 102C includes a polarizing element that transmits light having an azimuth angle of 90 °.
  • the third pixel 102C receives light having an azimuth angle of 90 °.
  • the fourth pixel 102D includes a polarizing element that transmits light having an azimuth of 135 °. Therefore, the fourth pixel 102D receives light having an azimuth of 135 °.
  • the optical system 10 is provided with three optical regions 12A, 12B, and 12C having different focal lengths, similarly to the imaging device 1 of the second embodiment.
  • the first polarizing filter 14A provided in the first optical region 12A is configured to transmit light having an azimuth of 0 °
  • the second polarizing filter 14A provided in the second optical region 12B is configured to transmit light having an azimuth angle of 45 °
  • the third polarizing filter 14C provided in the third optical region 12C is configured to transmit light having an azimuth angle of 90 °.
  • light (linearly polarized light) having an azimuth of 0 ° is emitted from the first optical region 12A, and light (linearly) having an azimuth of 45 ° is emitted from the second optical region 12B.
  • Polarized light is emitted, and light (linearly polarized light) having an azimuth of 90 ° is emitted from the third optical region 12C.
  • the signal processing unit 200 processes a signal (pixel signal) for each pixel obtained from the image sensor 100 in a unit of a pixel unit U (x, y), and obtains the signal in each of the optical regions 12A, 12B, and 12C of the optical system 10. To generate an image.
  • FIG. 19 is a diagram illustrating an example of an image obtained by imaging (an image before interference removal). This figure shows an image generated from a pixel signal of each pixel unit U (x, y) when an image is taken in the imaging situation shown in FIG.
  • the image Ia is an image generated by extracting a pixel signal from the first pixel 102A of each pixel unit U (x, y).
  • This image Ia is a wide-angle image mainly obtained in the first optical area 12A, but is an image obtained by interference of the image obtained in the second optical area 12B. That is, the telephoto image acquired by the second optical area 12B becomes an image that slightly emerges. This is because while the polarization directions (azimuths) of the light passing through the first optical region 12A, the second optical region 12B, and the third optical region 12C are 0 °, 45 °, and 90 °, respectively, This is because the polarization direction (azimuth angle) of the light received by one pixel 102A is 0 °.
  • the image Ib is an image generated by extracting a pixel signal of the second pixel 102B of each pixel unit U (x, y).
  • This image Ib is mainly a telephoto image acquired in the second optical region 12B, but is an image in which the wide-angle image acquired in the first optical region 12A and the super-telephoto image acquired in the third optical region 12C are mixed.
  • the wide-angle image acquired in the first optical region 12A and the super-telephoto image acquired in the third optical region 12C are slightly emerged images.
  • the image Ic is an image generated by extracting a pixel signal from the third pixel 102C of each pixel unit U (x, y).
  • This image Ic is a super-telephoto image mainly acquired in the third optical region 12C, but is an image in which the telephoto image acquired in the second optical region 12B is an interference image (acquired in the second optical region 12B).
  • the telephoto image becomes an image that slightly emerges.) This is because while the polarization directions (azimuths) of the light passing through the first optical region 12A, the second optical region 12B, and the third optical region 12C are 0 °, 45 °, and 90 °, respectively, This is because the polarization direction (azimuth angle) of the light received by the three pixels 102C is 90 °.
  • the image Id is an image generated by extracting a pixel signal from the fourth pixel 102D of each pixel unit U (x, y).
  • This image Id is an image in which the images of the first optical region 12A and the third optical region 12C are equally interfered. This is because while the polarization directions (azimuths) of the light passing through the first optical region 12A, the second optical region 12B, and the third optical region 12C are 0 °, 45 °, and 90 °, respectively, This is because the polarization direction (azimuth angle) of the light received by the four pixels 102D is 135 °.
  • the image generation unit 200B in the signal processing unit 200 calculates each of the four pixel signals x1, x2, x3, and x4 obtained from each pixel unit U (x, y) by the following Expression 8 using the matrix A. Pixel signals X1, X2, and X3 corresponding to the optical regions 12A, 12B, and 12C are calculated, and interference is removed.
  • the ratio of the light incident on the first optical region 12A at the first pixel 102A (interference amount) is b11
  • the ratio of the light incident on the second optical region 12B at the first pixel 102A is b12.
  • the rate at which the light incident on the third optical region 12C is received by the first pixel 102A is b13
  • the following relationship holds between X1, X2, X3, and x1.
  • b11 * X1 + b12 * X2 + b13 * X3 x1 (Equation 9)
  • b21 is the ratio of light incident on the first optical region 12A received by the second pixel 102B
  • b22 is the ratio of light incident on the second optical region 12B received by the second pixel 102B
  • b3 is the third optical region. Assuming that the rate at which the light incident on 12C is received by the second pixel 102B is b23, the following relationship holds between X1, X2, X3, and x2.
  • b21 * X1 + b22 * X2 + b23 * X3 x2 (Equation 10)
  • b31 is the ratio of light incident on the first optical region 12A received by the third pixel 102C
  • b32 is the ratio of light incident on the second optical region 12B received by the third pixel 102C
  • b3 is the third optical region. Assuming that the rate at which the light incident on 12C is received by the third pixel 102C is b33, the following relationship holds between X1, X2, X3, and x3.
  • b41 is the ratio of light incident on the first optical region 12A received by the fourth pixel 102D
  • b42 is the ratio of light incident on the second optical region 12B received by the fourth pixel 102D
  • b3 is the third optical region. Assuming that the rate at which the light incident on 12C is received by the fourth pixel 102D is b43, the following relationship holds between X1, X2, X3, and x4.
  • the ratio is cos 2 (
  • the polarization direction (azimuth) of the light (linearly polarized light) passing through the first optical region 12A is 0 °.
  • the polarization direction of the light passing through the second optical region 12B is 45 °.
  • the polarization direction of the light passing through the third optical region 12C is 90 °.
  • the polarization direction (azimuth) of the light (linearly polarized light) received by the first pixel 102A is 0 °.
  • the polarization direction of the light received by the second pixel 102B is 45 °.
  • the polarization direction of the light received by the third pixel 102C is 90 °.
  • the polarization direction of the light received by the fourth pixel 102D is 135 °.
  • the pixel signals X1, X2, and X3 corresponding to the optical regions 12A, 12B, and 12C can be calculated by Expression 14 below.
  • the images of the optical regions 12A, 12B, and 12C generated from the calculated pixel signals X1, X2, and X3 are clear images without interference, as shown in FIG.
  • the number of pixels provided in each pixel unit U (x, y) of the image sensor 100 does not necessarily need to be three, and even if there are four or more pixels, interference is removed and clearing is performed. Image can be generated.
  • the pixel unit U (x, y) is composed of N (N is an integer satisfying N ⁇ 3) pixels that receive light having different polarization directions
  • the pixel unit U (x, y) corresponds to each of the optical regions 12A, 12B, and 12C.
  • the three pixel signals X1, X2, and X3 can be calculated by the following equation 15 using the matrix A.
  • i and j are integers satisfying 1 ⁇ i ⁇ 3 and 1 ⁇ j ⁇ N.
  • the matrix A is obtained by calculating the inverse matrix B ⁇ 1 of the matrix B having the ratio of light incident on each optical region of the optical system 10 at each pixel of each pixel unit of the image sensor as an element. . Therefore, when the matrix B is set, the polarization direction of the polarization filter provided in each optical region of the optical system and the polarization direction of the polarization element provided in the pixel of each pixel unit are set such that the inverse matrix B ⁇ 1 is obtained. Should be fine.
  • one pixel unit By configuring one pixel unit with four or more pixels as described above, a redundant image can be captured using a plurality of pixels and the amount of received light increases, so that a final image with less noise can be obtained.
  • each optical region may be configured to transmit light in a different wavelength band.
  • each optical region may be configured to have a parallax with each other. For example, it is possible to adopt a configuration in which two of the three optical regions are set to the same focal length and an image having parallax on the left and right is captured.
  • the configuration may be such that all three optical regions are set to the same focal length, and an image having parallax at three viewpoints is captured.
  • a stereoscopic image can be captured by one image sensor.
  • the distance can be measured.
  • the optical region (pupil region) of the optical system is divided into three concentric circles, but the manner of division is not limited to this.
  • FIG. 20 is a diagram showing another example of the division of the optical region.
  • the pupil portion may be divided into three in the circumferential direction.
  • images having parallax of three viewpoints can be captured.
  • an image having left and right parallax can be captured.
  • FIG. 21 is a diagram showing another example of the division of the optical region.
  • the pupil portion may be divided into three parts in the vertical direction.
  • FIG. 22 is a diagram showing another example of the division of the optical region.
  • the pupil portion may be divided into a central region and an outer peripheral region, and the outer peripheral region may be further divided into two right and left regions.
  • the two outer peripheral regions may be set to the same focal length on the left and right, an image having left and right parallax can be captured.
  • FIG. 23 is a diagram showing another example of an array of pixels.
  • a set of three pixels 102A, 102B, 102C arranged in a line along the vertical direction (y direction) constitutes one pixel unit U (x, y),
  • a configuration in which the pixels are regularly arranged along the y direction can also be used.
  • FIG. 24 is a diagram showing another example of an array of pixels.
  • a set of three pixels 102A, 102B, and 102C arranged in a line along the horizontal direction (x direction) constitutes one pixel unit U (x, y),
  • a configuration in which the pixels are regularly arranged along the y direction can also be used.
  • FIG. 25 is a diagram showing another example of an array of pixels.
  • the image sensor 100 shown in the figure has an octagonal pixel shape, and is arranged in a grid pattern with the pixel position shifted in the horizontal direction (x direction) by ⁇ ⁇ ⁇ pitch for each horizontal line. Also in this case, one pixel unit U (x, y) is constituted by a set of three pixels.
  • a color filter is arranged for each pixel unit.
  • red, green, and blue color filters are arranged in a predetermined filter array (for example, a Bayer array) for each pixel unit.
  • the polarizing element is arranged between the photodiode and the microlens.
  • the polarizing element may be arranged before the microlens (subject side).
  • the function of the image generation unit 200B (arithmetic unit) in the signal processing unit 200 can be realized by using various processors.
  • the various processors include, for example, a CPU (Central Processing Unit) which is a general-purpose processor that executes software (program) to realize various functions.
  • the above-mentioned various processors include a programmable logic device (Programmable) which is a processor capable of changing a circuit configuration after manufacturing, such as a GPU (Graphics Processing Unit) or an FPGA (Field Programmable Gate Array) which is a processor specialized in image processing.
  • Logic Device PLD
  • the above-mentioned various processors include a dedicated electric circuit which is a processor having a circuit configuration designed specifically for executing a specific process such as an ASIC (Application Specific Integrated Circuit).
  • each unit may be realized by one processor, or may be realized by a plurality of same or different processors (for example, a plurality of FPGAs, a combination of a CPU and an FPGA, or a combination of a CPU and a GPU). Further, a plurality of functions may be realized by one processor. As an example in which a plurality of functions are configured by one processor, first, as represented by a computer such as a server, one processor is configured by a combination of one or more CPUs and software, and the processor is configured by a plurality of processors. There is a form realized as a function of.
  • SoC system-on-chip
  • a processor that realizes the functions of the entire system with one integrated circuit (IC) chip
  • various functions are configured by using one or more of the above various processors as a hardware structure.
  • the hardware structure of these various processors is more specifically an electric circuit (circuitry) combining circuit elements such as semiconductor elements.
  • These electric circuits may be electric circuits that realize the above-described functions using a logical sum, a logical product, a logical negation, an exclusive logical sum, and a logical operation in which these are combined.
  • the processor or the electric circuit executes the software (program)
  • the processor (computer) readable code of the software to be executed is stored in a non-transitory recording medium such as a ROM (Read Only Memory) and the processor is executed.
  • the software stored in the non-transitory recording medium includes a program for executing input, analysis, display control, and the like of an image.
  • the code may be recorded on a non-temporary recording medium such as a magneto-optical recording device or a semiconductor memory instead of the ROM.
  • a RAM Random Access Memory
  • data stored in an EEPROM (Electronically Erasable and Programmable Read Only Memory) not shown can be referred to. it can.
  • the coefficient storage unit 200C of the signal processing unit 200 can be implemented by a memory such as a ROM (Read-only Memory) or an EEPROM (Electrically Erasable Programmable Read-only Memory).
  • a memory such as a ROM (Read-only Memory) or an EEPROM (Electrically Erasable Programmable Read-only Memory).
  • One pixel unit may be configured with four or more pixels having different polarization directions, and an image of each optical region may be generated using pixel signals from three of the pixels.
  • one pixel unit is constituted by a set of four pixels that receive light at azimuth angles of 0 °, 45 °, 90 °, and 135 °, light having azimuth angles of 0 °, 45 °, and 90 °
  • the configuration may be such that an image of each optical region is generated using a pixel signal of a pixel that receives light.
  • the imaging device can also be configured as an interchangeable lens type imaging device whose optical system can be replaced.
  • the matrix A is uniquely determined for each lens (optical system)
  • the matrix A is prepared for each lens, and the coefficient group is stored in the coefficient storage unit.
  • the coefficient group of the matrix A corresponding to the exchanged lens is read from the coefficient storage unit, the arithmetic processing is executed, and an image of each optical region is generated.
  • Imaging device 10 optical system 12A first optical region 12B second optical region 12C third optical region 14A first polarizing filter 14B second polarizing filter 14C third polarizing filter 100 image sensor 102A first pixel 102B second pixel 102C third Pixel 102D Fourth pixel 110 Pixel array layer 112 Photodiode 120 Polarizing element array layer 122A First polarizing element 122B Second polarizing element 122C Third polarizing element 130 Microlens array layer 132 Microlens 200 Signal processing unit 200A Analog signal processing unit 200B Image generation unit 200C Coefficient storage unit Aa Polarization transmission axis Ab of the first polarization filter Polar transmission axis Ac of the second polarization filter Polarization transmission axis DA of the third polarization filter First image data DB Second image data DC Third Image data Ia obtained from the first pixel Image Ib image obtained from the second pixel Ic image obtained from the third pixel Id image obtained from the fourth pixel ImA image ImB of the first optical area image ImB of the second optical area Im

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

１つの撮像素子を用いて３つの独立した高品質な画像を取得できる撮像装置を提供する。互いに異なる偏光方向の光を通過させる３個の光学領域（１２Ａ、１２Ｂ、１２Ｃ）を有する光学系（１０）と、互いに異なる偏光方向の光を受光する３個の画素を一組とする画素ユニットを複数有する撮像素子（１００）と、撮像素子（１００）の各画素ユニットから得られる３個の画素信号（ｘ１、ｘ２、ｘ３）から、光学系（１０）の各光学領域（１２Ａ、１２Ｂ、１２Ｃ）に対応した３個の画素信号（Ｘ１、Ｘ２、Ｘ３）を算出し、各光学領域（１２Ａ、１２Ｂ、１２Ｃ）の画像を生成する画像処理部（２００）と、を備える。

Description

撮像装置
　本発明は、撮像装置に係り、特に、１つの撮像素子で３つの画像を独立に取得する撮像装置に関する。
　特許文献１には、光学系の瞳領域を二分割し、各領域を通過する光を、偏光子及び検光子を用いて分離し、異なる画素で受光することにより、１つの撮像素子で２つの画像を独立に取得できる撮像装置が記載されている。しかし、特許文献１の撮像装置は、取得できる画像が２つに限定される。
　一方、特許文献２には、光学系の瞳部分を２つ以上の領域に分割し、各領域からの光をマイクロレンズアレイによって、それぞれ別の画素へと導くことにより、１つの撮像素子で２つ以上の画像を独立に取得できる撮像装置が記載されている。
　しかし、マイクロレンズアレイによる光線の分離は、必ずしも完全ではない。このため、特許文献２の撮像装置では、隣接する画素に光が漏れ、混信（クロストーク）が発生するという問題がある。
　特許文献３には、この問題を解決するために、各画素から得られる信号（画素信号）に所定の信号処理を施して、混信の影響を除去することが提案されている。
特開2009-169096号公報 国際公開第2012/143983号 国際公開第2015/004886号
　しかしながら、マイクロレンズアレイを用いて光線を分離した場合に各画素で生じる混信の量は、画素の位置によって異なる。したがって、特許文献３の撮像装置で、より高品質な画像を得るには、画素ごとに混信の発生量を求める必要がある。しかし、これには多大な労力を要する。
　本発明は、このような事情に鑑みてなされたもので、１つの撮像素子を用いて３つの独立した高品質な画像を取得できる撮像装置を提供することを目的とする。
　（１）互いに異なる偏光方向の光を通過させる３個の光学領域を有する光学系と、ＮをＮ≧３を満たす整数とした場合に、互いに異なる偏光方向の光を受光するＮ個の画素を一組とする画素ユニットを複数有する撮像素子と、ｉ、ｊを１≦ｉ≦３、１≦ｊ≦Ｎを満たす整数とした場合に、各要素がａｉｊで表される３行Ｎ列の行列Ａで構成される係数群を記憶する記憶部と、記憶部から係数群を取得し、撮像素子の各画素ユニットから得られるＮ個の画素信号ｘ１、ｘ２、…、ｘＮから、下記式によって、光学系の各光学領域に対応した３個の画素信号Ｘ１、Ｘ２、Ｘ３を算出する演算部と、を備える撮像装置。
Figure JPOXMLDOC01-appb-M000002
　本態様によれば、撮像素子の各画素ユニットから得られるＮ個の画素信号ｘ１、ｘ２、…、ｘＮに対して、所定の演算処理を行うことにより、光学系の各光学領域に対応した画素信号Ｘ１、Ｘ２、Ｘ３が得られる。これにより、１つの撮像素子を用いて３つの独立した高品質な画像を取得できる。
　（２）行列Ａは、光学系の各光学領域に入射した光が、撮像素子の各画素ユニットの各画素で受光される割合を要素とする行列の逆行列を算出して取得される、上記（１）の撮像装置。
　本態様によれば、光学系の各光学領域に入射した光が、撮像素子の各画素ユニットの各画素で受光される割合を要素とする行列Ｂの逆行列Ｂ－１を算出して、行列Ａの各要素が取得される。
　（３）光学系の各光学領域に入射した光が、撮像素子の各画素ユニットの各画素で受光される割合は、光学系の各光学領域を通過する光の偏光方向と撮像素子の各画素ユニットの各画素で受光される光の偏光方向の角度差の余弦の二乗を算出して取得される、上記（２）の撮像装置。
　本態様によれば、光学系の各光学領域を通過する光の偏光方向と撮像素子の各画素ユニットの各画素で受光される光の偏光方向の角度差の余弦の二乗を算出して、行列Ｂの各要素が求められる。
　（４）撮像素子は、互いに異なる偏光方向の光を受光する３個の画素を一組とする画素ユニットを複数有する、上記（１）から（３）のいずれか一の撮像装置。
　本態様によれば、１つの画素ユニットが、光学領域の分割数と同じ３個の画素で構成される。
　（５）光学系の各光学領域を通過する光の偏光方向の組み合わせと、撮像素子の各画素ユニットの各画素で受光される光の偏光方向の組み合わせが同じである、上記（１）から（３）のいずれか一の撮像装置。
　本態様によれば、光学系の各光学領域を通過する光の偏光方向の組み合わせと、撮像素子の各画素ユニットの各画素で受光される光の偏光方向の組み合わせが同じ設定を有する。これにより、行列Ａの各要素を求める際の演算処理を簡素化できる。
　（６）光学系は、互いに偏光方向の異なる３個の偏光フィルタを瞳位置に有する、上記（１）から（５）のいずれか一の撮像装置。
　本態様によれば、互いに偏光方向の異なる３個の偏光フィルタが瞳位置に備えられる。
　（７）光学系の各光学領域は、それぞれ異なる焦点距離を有する、上記（１）から（６）のいずれか一の撮像装置。
　本態様によれば、光学系の各光学領域が、それぞれ異なる焦点距離を有する。
　（８）光学系の各光学領域は、それぞれ異なる距離の被写体に焦点が合う、上記（１）から（６）のいずれか一の撮像装置。
　本態様によれば、光学系の各光学領域が、それぞれ異なる距離の被写体に焦点が合う構成を有する。
　（９）光学系の各光学領域は、それぞれ異なる波長帯域の光を透過させる、上記（１）から（６）のいずれか一の撮像装置。
　本態様によれば、光学系の各光学領域が、それぞれ異なる波長帯域の光を透過させる構成を有する。
　（１０）光学系の各光学領域は、互いに視差を有する、上記（１）から（６）のいずれか一の撮像装置。
　本態様によれば、光学系の各光学領域が、互いに視差を有する。
　（１１）光学系の各光学領域は、少なくとも２つが視差を有する、上記（１）から（６）のいずれか一の撮像装置。
　本態様によれば、光学系の３つの光学領域のうち少なくとも２つが視差を有する。たとえば、２つの光学領域が同じ焦点距離に設定され、左右の視差を有する。
　（１２）撮像素子は、各画素に偏光素子を有する、上記（１）から（１１）のいずれか一の撮像装置。
　本態様によれば、各画素に偏光素子が備えられる。
　（１３）撮像素子は、各画素を構成するフォトダイオードとマイクロレンズとの間に偏光素子を有する、上記（１２）の撮像装置。
　本態様によれば、各画素を構成するフォトダイオードとマイクロレンズとの間に偏光素子が備えられる。
　本発明によれば、１つの撮像素子で高品質な３つの画像を独立に取得できる。
第１の実施の形態の撮像装置の概略構成を示す図 光学系の概略構成を示す正面図 各光学領域に備えられる偏光フィルタの概略構成を示す正面図 各偏光フィルタに設定される偏光方向の一例を示す図 撮像素子の概略構成を示す図 １画素（図５の破線部）の概略構成を示す断面図 ３種類の偏光素子の配列パターンの一例を示す図 偏光素子の１ユニットの構成を示す図 撮像素子の画素の配列の一例を示す図 信号処理部の概略構成を示すブロック図 画像生成の概念図 画像生成部によって生成される画像の一例を示す図 第２の実施の形態の撮像装置の概略構成を示す図 撮像シチュエーションの一例を示す図 撮像により得られる画像（混信除去前の画像）の一例を示す図 混信除去後の画像の一例を示す図 撮像により得られる画像（混信除去前の画像）の一例を示す図 撮像素子の画素の配列の一例を示す図 撮像により得られる画像（混信除去前の画像）の一例を示す図 光学領域の分割の他の一例を示す図 光学領域の分割の他の一例を示す図 光学領域の分割の他の一例を示す図 画素の配列の他の一例を示す図 画素の配列の他の一例を示す図 画素の配列の他の一例を示す図
　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
　［第１の実施の形態］
　図１は、第１の実施の形態の撮像装置の概略構成を示す図である。
　同図に示すように、本実施の形態の撮像装置１は、光学系１０、撮像素子１００及び信号処理部２００を備える。
　〔光学系〕
　図２は、光学系の概略構成を示す正面図である。
　図１及び図２に示すように、光学系１０は、同心円状に３つの光学領域１２Ａ、１２Ｂ、１２Ｃを有する。中央の光学領域１２Ａを第１光学領域１２Ａ、中間の光学領域１２Ｂを第２光学領域１２Ｂ、最外周の光学領域１２Ｃを第３光学領域１２Ｃとする。各光学領域１２Ａ、１２Ｂ、１２Ｃは、それぞれ光学特性が異なる。本実施の形態では、各光学領域１２Ａ、１２Ｂ、１２Ｃが、それぞれ異なる距離の被写体に焦点が合う構成を有する。具体的には、第１光学領域１２Ａは、近距離の被写体に焦点が合う構成を有し、第２光学領域１２Ｂは、中距離の被写体に焦点が合う構成を有し、第３光学領域１２Ｃは、遠距離の被写体に焦点が合う構成を有する。なお、ここでの近距離、中距離及び遠距離の区別は相対的なものである。すなわち、第２光学領域１２Ｂは第１光学領域１２Ａよりも遠距離の被写体に焦点が合う構成を有し、第３光学領域１２Ｃは第２光学領域１２Ｂよりも遠距離の被写体に焦点が合う構成を有する。
　図１に示すように、各光学領域１２Ａ、１２Ｂ、１２Ｃには、それぞれ個別に偏光フィルタ１４Ａ、１４Ｂ、１４Ｃが備えられる。各偏光フィルタ１４Ａ、１４Ｂ、１４Ｃは、それぞれ光学系１０の瞳位置又はその近傍に備えられる。第１光学領域１２Ａに備えられる偏光フィルタ１４Ａを第１偏光フィルタ１４Ａ、第２光学領域１２Ｂに備えられる偏光フィルタ１４Ｂを第２偏光フィルタ１４Ｂ、第３光学領域１２Ｃに備えられる偏光フィルタ１４Ｃを第３偏光フィルタ１４Ｃとする。各偏光フィルタ１４Ａ、１４Ｂ、１４Ｃは、それぞれ偏光方向が異なる。
　図３は、各光学領域に備えられる偏光フィルタの概略構成を示す正面図である。
　各偏光フィルタ１４Ａ、１４Ｂ、１４Ｃは、同心円状に配置される。第１偏光フィルタ１４Ａは、第１光学領域１２Ａに対応して円形状を有し、第１光学領域１２Ａに入射した光が透過する。第２偏光フィルタ１４Ｂは、第２光学領域１２Ｂに対応してリング形状を有し、第２光学領域１２Ｂに入射した光が透過する。第３偏光フィルタ１４Ｃは、第３光学領域１２Ｃに対応してリング形状を有し、第３光学領域１２Ｃに入射した光が透過する。
　図４は、各偏光フィルタに設定される偏光方向の一例を示す図である。
　偏光方向は、光軸Ｌと直交するＸＹ平面において、偏光透過軸がＸ軸と成す角度Φ（方位角）によって表わされる。図４に示すように、第１偏光フィルタ１４Ａは、その偏光透過軸ＡａとＸ軸の成す角度Φａが０°（方位角０°）の光を透過する構成とされる。第２偏光フィルタ１４Ｂは、その偏光透過軸ＡｂとＸ軸の成す角度Φｂが６０°（方位角６０°）の光を透過する構成とされる。第３偏光フィルタ１４Ｃは、その偏光透過軸ＡｃとＸ軸の成す角度Φｃが１２０°（方位角１２０°）の光を透過する構成とされる。この結果、本実施の形態の光学系１０では、第１光学領域１２Ａからは、方位角０°の光（直線偏光）が出射され、第２光学領域１２Ｂからは、方位角６０°の光（直線偏光）が出射され、第３光学領域１２Ｃからは、方位角１２０°の光（直線偏光）が出射される。
　光学系１０は、全体が光軸Ｌに沿って前後移動可能に設けられる。これにより、焦点調節が行われる。なお、光学領域ごとに移動できる構成としてもよい。
　〔撮像素子〕
　図５は、撮像素子の概略構成を示す図であり、撮像素子の一部を分解し、拡大して示した図である。図６は、１画素（図５の破線部）の概略構成を示す断面図である。
　図５に示すように、撮像素子１００は、ピクセルアレイ層１１０、偏光素子アレイ層１２０及びマイクロレンズアレイ層１３０を有する。
　ピクセルアレイ層１１０は、多数のフォトダイオード１１２を二次元的に配列して構成される。１つのフォトダイオード１１２は、１つの画素を構成する。各フォトダイオード１１２は、ｘ軸方向及びｙ軸方向に沿って規則的に配置される。
　偏光素子アレイ層１２０は、ピクセルアレイ層１１０とマイクロレンズアレイ層１３０との間に備えられる。偏光素子アレイ層１２０は、互いに偏光方向（偏光透過軸の方向）の異なる３種類の偏光素子１２２Ａ、１２２Ｂ、１２２Ｃを二次元的に配列して構成される。第１の偏光方向の光を透過する偏光素子１２２Ａを第１偏光素子１２２Ａ、第２の偏光方向の光を透過する偏光素子１２２Ｂを第２偏光素子１２２Ｂ、第３の偏光方向の光を透過する偏光素子１２２Ｃを第３偏光素子１２２Ｃとする。各偏光素子１２２Ａ、１２２Ｂ、１２２Ｃは、フォトダイオード１１２と同じ間隔で配置され、画素ごとに備えられる。したがって、１つのフォトダイオード１１２には、３種類の偏光素子１２２Ａ、１２２Ｂ、１２２Ｃのうちいずれか１つが備えられる。
　図７は、３種類の偏光素子の配列パターンの一例を示す図である。
　同図に示すように、３種類の偏光素子１２２Ａ、１２２Ｂ、１２２Ｃは、ｘ軸方向及びｙ軸方向に沿って、所定の順序で規則的に配列される。
　図７に示す例では、第１偏光素子１２２Ａ、第２偏光素子１２２Ｂ、第３偏光素子１２２Ｃの順で繰り返し配置される行と、第３偏光素子１２２Ｃ、第２偏光素子１２２Ｂ、第１偏光素子１２２Ａの順で繰り返し配置される行とを交互に配置して、３種類の偏光素子１２２Ａ、１２２Ｂ、１２２Ｃを所定のパターンで規則的に配列している。このように配列される偏光素子１２２Ａ、１２２Ｂ、１２２Ｃは、３種類の偏光素子１２２Ａ、１２２Ｂ、１２２Ｃを１つずつ含んだ３個一組の偏光素子が１つのユニットを構成し、このユニットが、ｘ軸方向及びｙ軸方向に沿って、規則的に配列される。
　図８は、偏光素子の１ユニットの構成を示す図である。
　同図に示すように、１ユニットは、第１偏光素子１２２Ａ、第２偏光素子１２２Ｂ及び第３偏光素子１２２Ｃを１つずつ含んで構成される。
　上記のように、各偏光素子１２２Ａ、１２２Ｂ、１２２Ｃは、互いに偏光方向が異なる。本実施の形態では、第１偏光素子１２２Ａは、方位角０°の光を透過する構成とされる。第２偏光素子１２２Ｂは、方位角６０°の光が透過する構成とされる。第３偏光素子１２２Ｃは、方位角１２０°の光が透過する構成とされる。したがって、第１偏光素子１２２Ａが備えられたフォトダイオード１１２は、方位角０°の光（直線偏光）を受光する。第２偏光素子１２２Ｂが備えられたフォトダイオード１１２は、方位角６０°の光（直線偏光）を受光する。第３偏光素子１２２Ｃが備えられたフォトダイオード１１２は、方位角１２０°の光（直線偏光）を受光する。
　マイクロレンズアレイ層１３０は、多数のマイクロレンズ１３２を二次元的に配列して構成される。各マイクロレンズ１３２は、フォトダイオード１１２と同じ間隔で配置され、１画素ごとに備えられる。マイクロレンズ１３２は、光学系１０からの光をフォトダイオード１１２に効率よく集光させる目的で備えられる。
　図９は、撮像素子の画素の配列の一例を示す図である。
　各画素には、第１偏光素子１２２Ａ、第２偏光素子１２２Ｂ及び第３偏光素子１２２Ｃのいずれか１つの偏光素子が備えられる。第１偏光素子１２２Ａが備えられた画素（図中Ａの画像）を第１画素１０２Ａ、第２偏光素子１２２Ｂが備えられた画素（図中Ｂの画像）を第２画素１０２Ｂ、第３偏光素子１２２Ｃが備えられた画素（図中Ｃの画像）を第３画素１０２Ｃとする。撮像素子１００は、第１画素１０２Ａ、第２画素１０２Ｂ及び第３画素１０２Ｃを１つずつ含んだ３個一組の画素を１つのユニットとし、このユニットを複数有する。この３個一組の画素のユニットを画素ユニットＵ（ｘ，ｙ）とする。図９に示すように、画素ユニットＵ（ｘ，ｙ）は、ｘ軸方向及びｙ軸方向に沿って、規則的に配列される。
　第１画素１０２Ａは、第１偏光素子１２２Ａを備えることから、方位角０°の光（直線偏光）を受光する。このため、第１画素１０２Ａは、主として第１光学領域１２Ａからの光を受光し、一部、第２光学領域１２Ｂ及び第３光学領域１２Ｃからの光を受光する。
　第２画素１０２Ｂは、第２偏光素子１２２Ｂを備えることから、方位角６０°の光（直線偏光）を受光する。このため、第２画素１０２Ｂは、主として第２光学領域１２Ｂからの光を受光し、一部、第１光学領域１２Ａ及び第３光学領域１２Ｃからの光を受光する。
　第３画素１０２Ｃは、第３偏光素子１２２Ｃを備えることから、方位角１２０°の光（直線偏光）を受光する。このため、第３画素１０２Ｃは、主として第３光学領域１２Ｃからの光を受光し、一部、第１光学領域１２Ａ及び第２光学領域１２Ｂの光を受光する。
　〔信号処理部〕
　信号処理部２００は、撮像素子１００から出力される信号を処理して、光学系１０の各光学領域１２Ａ、１２Ｂ、１２Ｃで取得される画像データを生成する。
　図１０は、信号処理部の概略構成を示すブロック図である。
　同図に示すように、信号処理部２００は、アナログ信号処理部２００Ａ、画像生成部２００Ｂ及び係数記憶部２００Ｃを含む。
　アナログ信号処理部２００Ａは、撮像素子１００の各画素から出力されるアナログの画素信号を取り込み、所定の信号処理（たとえば、相関二重サンプリング処理、増幅処理等）を施した後、デジタル信号に変換して出力する。
　画像生成部２００Ｂは、デジタル信号に変換後の画素信号に所定の信号処理を施して、各光学領域１２Ａ、１２Ｂ、１２Ｃに対応した画像データを生成する。すなわち、各光学領域１２Ａ、１２Ｂ、１２Ｃで取得される画像を生成する。
　図１１は、画像生成の概念図である。
　各画素ユニットＵ（ｘ，ｙ）には、第１画素１０２Ａ、第２画素１０２Ｂ及び第３画素１０２Ｃが１つずつ含まれる。したがって、各画素ユニットＵ（ｘ，ｙ）から第１画素１０２Ａ、第２画素１０２Ｂ及び第３画素１０２Ｃの画素信号を分離して抽出することにより、３つの画像データが生成される。すなわち、各画素ユニットＵ（ｘ，ｙ）の第１画素１０２Ａから画素信号を抽出して構成される第１の画像データＤＡと、各画素ユニットＵ（ｘ，ｙ）の第２画素１０２Ｂの画素信号を抽出して構成される第２の画像データＤＢと、各画素ユニットＵ（ｘ，ｙ）の第３画素１０２Ｃから画素信号を抽出して構成される第３の画像データＤＣと、が生成される。
　ところで、上記のように、第１画素１０２Ａで受光される光は、主として第１光学領域１２Ａからの光であるが、その一部には第２光学領域１２Ｂ及び第３光学領域１２Ｃからの光が含まれる。したがって、第１の画像データＤＡが表わす画像は、主として、第１光学領域１２Ａで取得される画像となるが、第２光学領域１２Ｂ及び第３光学領域１２Ｃで取得される画像が混信した画像となる。すなわち、第２光学領域１２Ｂ及び第３光学領域１２Ｃで取得される画像が、うっすらと浮かび出た画像となる。同様に、第２の画像データＤＢが表わす画像は、第２光学領域１２Ｂで取得される画像に、第１光学領域１２Ａ及び第３光学領域１２Ｃで取得される画像が混信した画像となり、第３の画像データＤＣが表わす画像は、第３光学領域１２Ｃで取得される画像に、第１光学領域１２Ａ及び第２光学領域１２Ｂで取得される画像が混信した画像となる。
　このため、画像生成部２００Ｂは、混信（クロストーク）を除去する処理を行って、各光学領域１２Ａ、１２Ｂ、１２Ｃで取得される画像を生成する。混信除去は、次のように行われる。
　いま、第１画素１０２Ａで得られる画素信号（信号値）をｘ１、第２画素１０２Ｂで得られる画素信号をｘ２、第３画素１０２Ｃで得られる画素信号をｘ３とする。各画素ユニットＵ（ｘ，ｙ）からは、３個の画素信号ｘ１、ｘ２、ｘ３が得られる。画像生成部２００Ｂは、この３個の画素信号ｘ１、ｘ２、ｘ３から、行列Ａを用いた下記の式１によって、各光学領域１２Ａ、１２Ｂ、１２Ｃに対応した画素信号Ｘ１、Ｘ２、Ｘ３、すなわち、各光学領域１２Ａ、１２Ｂ、１２Ｃで得られる画像の画素信号Ｘ１、Ｘ２、Ｘ３を算出し、混信を除去する。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　以下、上記式１によって各光学領域１２Ａ、１２Ｂ、１２Ｃで得られる画像の画素信号Ｘ１、Ｘ２、Ｘ３を算出できる理由、すなわち、混信を除去できる理由について説明する。
　混信は、各画素１０２Ａ、１０２Ｂ、１０２Ｃに各光学領域１２Ａ、１２Ｂ、１２Ｃからの光が混入することで発生する。各光学領域１２Ａ、１２Ｂ、１２Ｃに入射した光が、各画素１０２Ａ、１０２Ｂ、１０２Ｃで受光される割合（混信量（混信比率ともいう））は、各光学領域１２Ａ、１２Ｂ、１２Ｃに備えられた偏光フィルタ１４Ａ、１４Ｂ、１４Ｃの偏光方向と、各画素１０２Ａ、１０２Ｂ、１０２Ｃに備えられた偏光素子１２２Ａ、１２２Ｂ、１２２Ｃの偏光方向との関係から一意に定まる。
　いま、第１光学領域１２Ａに入射した光が第１画素１０２Ａで受光される割合（混信量）をｂ１１、第２光学領域１２Ｂに入射した光が第１画素１０２Ａで受光される割合をｂ１２、第３光学領域１２Ｃに入射した光が第１画素１０２Ａで受光される割合をｂ１３とすると、Ｘ１、Ｘ２、Ｘ３とｘ１との間には、次の関係が成り立つ。
　ｂ１１＊Ｘ１＋ｂ１２＊Ｘ２＋ｂ１３＊Ｘ３＝ｘ１…（式２）
　また、第１光学領域１２Ａに入射した光が第２画素１０２Ｂで受光される割合をｂ２１、第２光学領域１２Ｂに入射した光が第２画素１０２Ｂで受光される割合をｂ２２、第３光学領域１２Ｃに入射した光が第２画素１０２Ｂで受光される割合をｂ２３とすると、Ｘ１、Ｘ２、Ｘ３とｘ２との間には、次の関係が成り立つ。
　ｂ２１＊Ｘ１＋ｂ２２＊Ｘ２＋ｂ２３＊Ｘ３＝ｘ２…（式３）
　また、第１光学領域１２Ａに入射した光が第３画素１０２Ｃで受光される割合をｂ３１、第２光学領域１２Ｂに入射した光が第３画素１０２Ｃで受光される割合をｂ３２、第３光学領域１２Ｃに入射した光が第３画素１０２Ｃで受光される割合をｂ３３とすると、Ｘ１、Ｘ２、Ｘ３とｘ３との間には、次の関係が成り立つ。
　ｂ３１＊Ｘ１＋ｂ３２＊Ｘ２＋ｂ３３＊Ｘ３＝ｘ３…（式４）
　Ｘ１、Ｘ２、Ｘ３について、式２～４の連立方程式を解くことで、元の画像の画素信号、すなわち、各光学領域１２Ａ、１２Ｂ、１２Ｃで得られる画像の画素信号Ｘ１、Ｘ２、Ｘ３を取得できる。
　ここで、上記の連立方程式は、行列Ｂを用いた下記の式５で表わすことができる。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　Ｘ１、Ｘ２、Ｘ３は、両辺に行列Ｂの逆行列Ｂ－１をかけることで算出される。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　このように、各光学領域１２Ａ、１２Ｂ、１２Ｃで得られる画像の画素信号Ｘ１、Ｘ２、Ｘ３は、各光学領域１２Ａ、１２Ｂ、１２Ｃに入射した光が各画素１０２Ａ、１０２Ｂ、１０２Ｃで受光される割合（混信量）に基づいて、各画素１０２Ａ、１０２Ｂ、１０２Ｃの画素信号ｘ１、ｘ２、ｘ３から算出できる。
　上記式１における行列Ａは、行列Ｂの逆行列Ｂ－１である（Ａ＝Ｂ－１）。したがって、行列Ａの各要素ａｉｊ（ｉ＝１、２、３；ｊ＝１、２、３）は、行列Ｂの逆行列Ｂ－１を求めることで取得できる。行列Ｂの各要素ｂｉｊ（ｉ＝１、２、３；ｊ＝１、２、３）は、各光学領域１２Ａ、１２Ｂ、１２Ｃに入射した光が各画素１０２Ａ、１０２Ｂ、１０２Ｃで受光される割合（混信量）である。すなわち、１行目の要素ｂ１１は、第１光学領域１２Ａに入射した光が第１画素１０２Ａで受光される割合（混信量）、要素ｂ１２は、第２光学領域１２Ｂに入射した光が第１画素１０２Ａで受光される割合、要素ｂ１３は、第３光学領域１２Ｃに入射した光が第１画素１０２Ａで受光される割合である。また、２行目の要素ｂ２１は、第１光学領域１２Ａに入射した光が第２画素１０２Ｂで受光される割合、要素ｂ２２は、第２光学領域１２Ｂに入射した光が第２画素１０２Ｂで受光される割合、要素ｂ２３は、第３光学領域１２Ｃに入射した光が第２画素１０２Ｂで受光される割合である。また、３行目の要素ｂ３１は、第１光学領域１２Ａに入射した光が第３画素１０２Ｃで受光される割合、要素ｂ３２は、第２光学領域１２Ｂに入射した光が第３画素１０２Ｃで受光される割合、要素ｂ３３は、第３光学領域１２Ｃに入射した光が第３画素１０２Ｃで受光される割合である。すなわち、行列Ｂの各要素ｂｉｊは、第ｊ光学領域に入射した光が第ｉ画素で受光される割合である。この行列Ｂの逆行列Ｂ－１は存在する。したがって、行列Ｂの逆行列Ｂ－１を求めることで、行列Ａの各要素ａｉｊを求めることができる。
　各光学領域１２Ａ、１２Ｂ、１２Ｃに入射した光が各画素１０２Ａ、１０２Ｂ、１０２Ｃで受光される割合（混信量）については、各光学領域１２Ａ、１２Ｂ、１２Ｃを通過する光の偏光方向と各画素１０２Ａ、１０２Ｂ、１０２Ｃで受光される光の偏光方向の角度差の余弦（ｃｏｓ）の二乗によって求められる。したがって、たとえば、第ｊ光学領域を通過した光（直線偏光）の偏光方向（方位角）をαｊ、第ｉ画素で受光される光の偏光方向（方位角）をβｉとすると、第ｊ光学領域に入射した光が、第ｉ画素で受光される割合（混信量）は、ｃｏｓ２（｜αｊ－βｉ｜）で算出される。したがって、要素ｂｉｊは、ｃｏｓ２（｜αｊ－βｉ｜）で算出される。
　本実施の形態の撮像装置１において、第１光学領域１２Ａを通過する光（直線偏光）の偏光方向（方位角）は０°である。また、第２光学領域１２Ｂを通過する光の偏光方向は６０°である。また、第３光学領域１２Ｃを通過する光の偏光方向は１２０°である。また、第１画素１０２Ａで受光される光（直線偏光）の偏光方向（方位角）は０°である。また、第２画素１０２Ｂで受光される光の偏光方向は６０°である。また、第３画素１０２Ｃで受光される光の偏光方向は１２０°である。
　したがって、行列Ｂの各要素ｂｉｊは、ｂ１１＝１、ｂ１２＝０．２５、ｂ１３＝０．２５、ｂ２１＝０．２５、ｂ２２＝１、ｂ２３＝０．０２５、ｂ３１＝０．２５、ｂ３２＝０．２５、ｂ３３＝１となる。
Figure JPOXMLDOC01-appb-M000009
　この行列Ｂの逆行列Ｂ－１は存在し、その各要素ａｉｊは、ａ１１＝１．１１１１、ａ１２＝－０．２２２２、ａ１３＝－０．２２２２、ａ２１＝－０．２２２２、ａ２２＝１．１１１１、ａ２３＝－０．２２２２、ａ３１＝－０．２２２２、ａ３２＝－０．２２２２、ａ３３＝１．１１１１となる。
Figure JPOXMLDOC01-appb-M000010
　係数記憶部２００Ｃは、この行列Ｂの逆行列Ｂ－１として求めた３行３列の行列Ａの各要素ａｉｊを係数群として記憶する。係数記憶部２００Ｃは、記憶部の一例である。
　画像生成部２００Ｂは、係数記憶部２００Ｃから係数群を取得し、各画素ユニットＵ（ｘ，ｙ）から得られる３個の画素信号ｘ１、ｘ２、ｘ３から、上記式１によって、光学系１０の各光学領域１２Ａ、１２Ｂ、１２Ｃに対応した３個の画素信号Ｘ１、Ｘ２、Ｘ３を算出し、各光学領域１２Ａ、１２Ｂ、１２Ｃの画像データを生成する。画像生成部２００Ｂは、演算部の一例である。
　画像生成部２００Ｂで生成された各光学領域１２Ａ、１２Ｂ、１２Ｃの画像データは、外部に出力され、必要に応じて、記憶装置に記憶される。また、必要に応じてディスプレイ（不図示）に表示される。
　図１２は、画像生成部によって生成される画像の一例を示す図である。
　画像ＩｍＡは、第１光学領域１２Ａによって得られる画像である。この画像ＩｍＡは、近距離の被写体（猫）に焦点が合い、中距離及び遠距離の被写体は、ぼけた画像となる（中距離の被写体（人）が中程度にぼけ、遠距離の被写体（バス）が大きくぼけた画像となる。）。
　画像ＩｍＢは、第２光学領域１２Ｂによって得られる画像である。この画像ＩｍＢは、中距離の被写体（人）に焦点が合い、近距離及び遠距離の被写体は、ぼけた画像となる（近距離の被写体（猫）及び遠距離の被写体（バス）が中程度にぼけた画像となる。）。
　画像ＩｍＣは、第３光学領域１２Ｃによって得られる画像である。この画像ＩｍＣは、遠距離の被写体（バス）に焦点が合い、近距離及び中距離の被写体は、ぼけた画像となる（中距離の被写体（人）が中程度にぼけ、近距離の被写体（猫）が大きくぼけた画像となる。）。
　図１２に示すように、いずれの画像ＩｍＡ、ＩｍＢ、ＩｍＣも混信のないクリアな画像が得られる。
　このように、本実施の形態の撮像装置１によれば、１つの撮像素子１００を用いて、３つの独立した高品質な画像を取得できる。また、その構成は、光学系１０の各光学領域１２Ａ、１２Ｂ、１２Ｃに備えられる偏光フィルタ１４Ａ、１４Ｂ、１４Ｃ、及び、撮像素子１００の各画素１０２Ａ、１０２Ｂ、１０２Ｃに備えられる偏光素子１２２Ａ、１２２Ｂ、１２２Ｃの組み合わせで実現できるので、全体の構成を簡素化できる。
　［第２の実施の形態］
　図１３は、第２の実施の形態の撮像装置の概略構成を示す図である。
　本実施の形態の撮像装置１は、焦点距離の異なる３つの画像を撮像する装置として構成される。このため、上記第１の実施の形態の撮像装置１と光学系１０の構成が異なる。したがって、ここでは光学系１０の構成についてのみ説明する。
　〔光学系〕
　図１３に示すように、光軸Ｌが同じ３つの光学領域１２Ａ、１２Ｂ、１２Ｃを有する。各光学領域１２Ａ、１２Ｂ、１２Ｃは、それぞれ焦点距離が異なる。中央の第１光学領域１２Ａは、広角の光学領域であり、所定の焦点距離を有する。中間の第２光学領域１２Ｂは、望遠の光学領域であり、第１光学領域１２Ａよりも長い焦点距離を有する。最外周の第３光学領域１２Ｃは、超望遠の光学領域であり、第２光学領域１２Ｂよりも長い焦点距離を有する。本実施の形態では、第２光学領域１２Ｂ及び第３光学領域１２Ｃを反射屈曲光学系で構成している。望遠系の光学領域を反射屈曲光学系で構成することにより、光学系の構成をコンパクト化できる。
　各光学領域１２Ａ、１２Ｂ、１２Ｃには、それぞれ個別に偏光フィルタ１４Ａ、１４Ｂ、１４Ｃが備えられる。第１光学領域１２Ａに備えられる偏光フィルタ１４Ａを第１偏光フィルタ１４Ａ、第２光学領域１２Ｂに備えられる偏光フィルタ１４Ｂを第２偏光フィルタ１４Ｂ、第３光学領域１２Ｃに備えられる偏光フィルタ１４Ｃを第３偏光フィルタ１４Ｃとする。各偏光フィルタ１４Ａ、１４Ｂ、１４Ｃは、それぞれ偏光方向が異なる。本実施の形態では、第１偏光フィルタ１４Ａが、方位角０°の光を透過する構成とされ、第２偏光フィルタ１４Ｂが、方位角６０°の光を透過する構成とされ、第３偏光フィルタ１４Ｃが、方位角１２０°の光を透過する構成とされる。この結果、本実施の形態の光学系１０では、第１光学領域１２Ａからは、方位角０°の光（直線偏光）が出射され、第２光学領域１２Ｂからは、方位角６０°の光（直線偏光）が出射され、第３光学領域１２Ｃからは、方位角１２０°の光（直線偏光）が出射される。
　光学系１０は、各光学領域１２Ａ、１２Ｂ、１２Ｃが光軸Ｌに沿って個別に前後移動する構成とされる。これにより、各光学領域１２Ａ、１２Ｂ、１２Ｃを個別に焦点調節できる。なお、光学系１０の全体を光軸Ｌに沿って前後移動させる構成とすることもできる。
　〔画像生成〕
　上記第１の実施の形態の撮像装置１と同様に、各画素ユニットＵ（ｘ，ｙ）から得られる３個の画素信号ｘ１、ｘ２、ｘ３から各光学領域１２Ａ、１２Ｂ、１２Ｃに対応した画素信号Ｘ１、Ｘ２、Ｘ３を式１から算出し、各光学領域１２Ａ、１２Ｂ、１２Ｃの画像データを生成する。
　図１４は、撮像シチュエーションの一例を示す図である。
　同図に示すように、第１光学領域１２Ａは、画角θ１で被写体を撮像する。第２光学領域１２Ｂは、画角θ２で被写体を撮像する。第３光学領域１２Ｃは、画角θ３で被写体を撮像する。
　図１５は、撮像により得られる画像（混信除去前の画像）の一例を示す図である。
　画像Ｉａは、各画素ユニットＵ（ｘ，ｙ）の第１画素１０２Ａから画素信号を抽出することで生成される画像である。この画像Ｉａは、主として第１光学領域１２Ａで取得される広角の画像となるが、第２光学領域１２Ｂで取得される望遠画像及び第３光学領域１２Ｃで取得される超望遠画像が混信した画像となる（第２光学領域１２Ｂで取得される望遠画像及び第３光学領域１２Ｃで取得される超望遠画像が、うっすらと浮かび出た画像となる。）。
　画像Ｉｂは、各画素ユニットＵ（ｘ，ｙ）の第２画素１０２Ｂの画素信号を抽出することで生成される画像である。この画像Ｉｂは、主として第２光学領域１２Ｂで取得される望遠の画像となるが、第１光学領域１２Ａで取得される広角画像及び第３光学領域１２Ｃで取得される画像が混信した画像となる（第１光学領域１２Ａで取得される広角画像及び第３光学領域１２Ｃで取得される画像が、うっすらと浮かび出た画像となる。）。
　画像Ｉｃは、各画素ユニットＵ（ｘ，ｙ）の第３画素１０２Ｃから画素信号を抽出することで生成される画像である。この画像Ｉｃは、主として第３光学領域１２Ｃで取得される超望遠の画像となるが、第１光学領域１２Ａで取得される広角画像及び第２光学領域１２Ｂで取得される望遠画像が混信した画像となる（第１光学領域１２Ａで取得される光各画像及び第２光学領域１２Ｂで取得される画像が、うっすらと浮かび出た画像となる。）。
　信号処理部２００における画像生成部２００Ｂは、各画素ユニットＵ（ｘ，ｙ）から得られる３個の画素信号ｘ１、ｘ２、ｘ３に対して、下記式６を用いて、各光学領域１２Ａ、１２Ｂ、１２Ｃに対応した画素信号Ｘ１、Ｘ２、Ｘ３を算出し、混信を除去する。
Figure JPOXMLDOC01-appb-M000011
　図１６は、混信除去後の画像の一例を示す図である。
　画像ＩｍＡは、第１光学領域１２Ａによって得られる画像であり、広角の画像が得られる。画像ＩｍＢは、第２光学領域１２Ｂによって得られる画像であり、望遠の画像が得られる。画像ＩｍＣは、第３光学領域１２Ｃによって得られる画像であり、超望遠の画像が得られる。いずれの画像ＩｍＡ、ＩｍＢ、ＩｍＣも混信のないクリアな画像が得られる。
　このように、本実施の形態の撮像装置１においても、１つの撮像素子１００を用いて、３つの独立した高品質な画像を取得できる。
　［第３の実施の形態］
　上記第１及び第２の実施の形態の撮像装置１では、光学系１０の各光学領域１２Ａ、１２Ｂ、１２Ｃに備えられる偏光フィルタ１４Ａ、１４Ｂ、１４Ｃの偏光方向（方位角）の組み合わせが、０°、６０°、１２０°、各画素ユニットＵ（ｘ，ｙ）の各画素１０２Ａ、１０２Ｂ、１０２Ｃに備えられる偏光素子１２２Ａ、１２２Ｂ、１２２Ｃの偏光方向（方位角）の組み合わせが、０°、６０°、１２０°であるが、各偏光フィルタ１４Ａ、１４Ｂ、１４Ｃに設定される偏光方向の組み合わせ、及び、各偏光素子１２２Ａ、１２２Ｂ、１２２Ｃに設定される偏光方向の組み合わせは、これに限定されるものではない。互いに異なる偏光方向の組み合わせとなればよい。
　以下、偏光方向の組み合わせの他の一例として、光学系１０の各光学領域１２Ａ、１２Ｂ、１２Ｃに備えられる偏光フィルタ１４Ａ、１４Ｂ、１４Ｃの偏光方向の組み合わせが、０°、４５°、９０°、各画素ユニットＵ（ｘ，ｙ）の各画素１０２Ａ、１０２Ｂ、１０２Ｃに備えられる偏光素子１２２Ａ、１２２Ｂ、１２２Ｃの偏光方向の組み合わせが、０°、６０°、１２０°の場合について説明する。
　〔装置構成〕
　ここでは、上記第２の実施の形態の撮像装置１において、光学系１０の各光学領域１２Ａ、１２Ｂ、１２Ｃに備えられる偏光フィルタ１４Ａ、１４Ｂ、１４Ｃの偏光方向（方位角）の組み合わせ、及び、撮像素子１００の各画素１０２Ａ、１０２Ｂ、１０２Ｃに備えられる偏光素子１２２Ａ、１２２Ｂ、１２２Ｃの偏光方向（方位角）の組み合わせを変えた場合を例に説明する。
　光学系１０の第１光学領域１２Ａに備えられる第１偏光フィルタ１４Ａの偏光方向（方位角）を０°、第２光学領域１２Ｂに備えられる第２偏光フィルタ１４Ｂの偏光方向（方位角）を４５°、第３光学領域１２Ｃに備えられる第３偏光フィルタ１４Ｃの偏光方向（方位角）を９０°とする。この場合、第１光学領域１２Ａからは、方位角０°の光（直線偏光）が出射され、第２光学領域１２Ｂからは、方位角４５°の光（直線偏光）が出射され、第３光学領域１２Ｃからは、方位角９０°の光（直線偏光）が出射される。
　撮像素子１００の第１画素１０２Ａに備えられる偏光素子１２２Ａの偏光方向（方位角）を０°、第２画素１０２Ｂに備えられる偏光素子１２２Ｂの偏光方向（方位角）を４５°、第３画素１０２Ｃに備えられる偏光方向（方位角）を９０°とする。この場合、第１画素１０２Ａでは、方位角０°の光（直線偏光）が受光され、第２画素１０２Ｂでは方位角４５°の光（直線偏光）が受光され、第３画素１０２Ｃでは方位角９０°の光（直線偏光）が受光される。
　〔画像生成〕
　図１７は、撮像により得られる画像（混信除去前の画像）の一例を示す図である。
　画像Ｉａは、各画素ユニットＵ（ｘ，ｙ）の第１画素１０２Ａから画素信号を抽出することで生成される画像である。この画像Ｉａは、主として第１光学領域１２Ａで取得される広角の画像となるが、第２光学領域１２Ｂで取得される望遠画像が混信した画像となる（第２光学領域１２Ｂで取得される望遠画像が、うっすらと浮かび出た画像となる。）。
　画像Ｉｂは、各画素ユニットＵ（ｘ，ｙ）の第２画素１０２Ｂの画素信号を抽出することで生成される画像である。この画像Ｉｂは、主として第２光学領域１２Ｂで取得される望遠の画像となるが、第１光学領域１２Ａで取得される広角画像及び第３光学領域１２Ｃで取得される画像が混信した画像となる（第１光学領域１２Ａで取得される広角画像及び第３光学領域１２Ｃで取得される画像が、うっすらと浮かび出た画像となる。）。
　画像Ｉｃは、各画素ユニットＵ（ｘ，ｙ）の第３画素１０２Ｃから画素信号を抽出することで生成される画像である。この画像Ｉｃは、主として第３光学領域１２Ｃで取得される超望遠の画像となるが、第２光学領域１２Ｂで取得される望遠画像が混信した画像となる（第２光学領域１２Ｂで取得される画像が、うっすらと浮かび出た画像となる。）。
　各光学領域１２Ａ、１２Ｂ、１２Ｃに入射した光が各画素１０２Ａ、１０２Ｂ、１０２Ｃで受光される割合（混信量）については、各光学領域１２Ａ、１２Ｂ、１２Ｃを通過する光の偏光方向と各画素１０２Ａ、１０２Ｂ、１０２Ｃで受光される光の偏光方向の角度差の余弦（ｃｏｓ）の二乗によって求められる。したがって、たとえば、第ｊ光学領域を通過した光（直線偏光）の偏光方向（方位角）をαｊ、第ｉ画素で受光される光の偏光方向（方位角）をβｉとすると、第ｊ光学領域に入射した光が、第ｉ画素で受光される割合（混信量）は、ｃｏｓ２（｜αｊ－βｉ｜）で算出される。したがって、行列Ｂの各要素ｂｉｊは、ｃｏｓ２（｜αｊ－βｉ｜）で算出される。
　いま、第１光学領域１２Ａに入射した光が第１画素１０２Ａで受光される割合（混信量）をｂ１１、第２光学領域１２Ｂに入射した光が第１画素１０２Ａで受光される割合をｂ１２、第３光学領域１２Ｃに入射した光が第１画素１０２Ａで受光される割合をｂ１３とすると、ｂ１１＝１、ｂ１２＝０．５、ｂ１３＝０となる。また、第１光学領域１２Ａに入射した光が第２画素１０２Ｂで受光される割合をｂ２１、第２光学領域１２Ｂに入射した光が第２画素１０２Ｂで受光される割合をｂ２２、第３光学領域１２Ｃに入射した光が第２画素１０２Ｂで受光される割合をｂ２３とすると、ｂ２１＝０．５、ｂ２２＝１、ｂ２３＝０５となる。また、第１光学領域１２Ａに入射した光が第３画素１０２Ｃで受光される割合をｂ３１、第２光学領域１２Ｂに入射した光が第３画素１０２Ｃで受光される割合をｂ３２、第３光学領域１２Ｃに入射した光が第３画素１０２Ｃで受光される割合をｂ３３とすると、ｂ３１＝０、ｂ３２＝０．５、ｂ３３＝１となる。よって、行列Ｂは、次のように設定される。
Figure JPOXMLDOC01-appb-M000012
　この行列Ｂの逆行列Ｂ－１は存在し、その各要素ａｉｊは、ａ１１＝１．５、ａ１２＝－１、ａ１３＝０．５、ａ２１＝－１、ａ２２＝２、ａ２３＝－１、ａ３１＝０．５、ａ３２＝－１、ａ３３＝１．５となる。
Figure JPOXMLDOC01-appb-M000013
　係数記憶部２００Ｃは、この行列Ｂの逆行列Ｂ－１として求めた３行３列の行列Ａの各要素ａｉｊを係数群として記憶する。
　画像生成部２００Ｂは、各画素ユニットＵ（ｘ，ｙ）から得られる３個の画素信号ｘ１、ｘ２、ｘ３に対して、下記式７を用いて、各光学領域１２Ａ、１２Ｂ、１２Ｃに対応した画素信号Ｘ１、Ｘ２、Ｘ３を算出し、各光学領域１２Ａ、１２Ｂ、１２Ｃの画像を生成する。
Figure JPOXMLDOC01-appb-M000014
　生成される各光学領域１２Ａ、１２Ｂ、１２Ｃ画像は、それぞれ混信のないクリアな画像となる（図１６参照）。
　このように、光学系１０の各光学領域１２Ａ、１２Ｂ、１２Ｃに備えられる偏光フィルタ１４Ａ、１４Ｂ、１４Ｃ、及び、各画素ユニットＵ（ｘ，ｙ）の各画素１０２Ａ、１０２Ｂ、１０２Ｃに備えられる偏光素子１２２Ａ、１２２Ｂ、１２２Ｃについては、互いに異なる偏光方向の組み合わせとなっていればよい。
　なお、各光学領域に備えられる偏光フィルタの偏光方向の組み合わせと、各画素ユニットの各画素に備えられる偏光素子の偏光方向の組み合わせを同じにすることで、行列Ａを求める工程を簡素化できる。すなわち、行列Ｂを設定し、その逆行列Ｂ－１を求める演算の工程を簡素化できる。
　［第４の実施の形態］
　上記第１及び第２の実施の形態の撮像装置１は、光学系１０に備えられる光学領域の数と、撮像素子１００の各画素ユニットＵ（ｘ，ｙ）に備えられる画素の数とが一致している。撮像素子１００の各画素ユニットＵ（ｘ，ｙ）に備えられる画素の数は、必ずしも３である必要はない。互いに異なる偏光方向の光を受光する画像を少なくとも３つ備えていればよい。したがって、撮像素子１００の各画素ユニットＵ（ｘ，ｙ）は、４画素で構成することもできる。以下、撮像素子１００の各画素ユニットＵ（ｘ，ｙ）を４画素で構成する場合について説明する。
　〔撮像素子〕
　撮像素子１００の基本構成は、上記第１の実施の形態の撮像装置１の撮像素子１００と同じである。すなわち、撮像素子１００は、ピクセルアレイ層１１０、偏光素子アレイ層１２０及びマイクロレンズアレイ層１３０を有する。
　図１８は、撮像素子の画素の配列の一例を示す図である。
　撮像素子１００は、第１画素１０２Ａ（図中Ａの画素）、第２画素１０２Ｂ（図中Ｂの画素）、第３画素１０２Ｃ（図中Ｃの画素）及び第４画素１０２Ｄ（図中Ｄの画素）を１つずつ含んだ４個一組の画素を１つのユニットとし、このユニットを複数備えた構成を有する。この４個一組の画素のユニットを画素ユニットＵ（ｘ，ｙ）とする。図１８に示すように、画素ユニットＵ（ｘ，ｙ）は、ｘ軸方向及びｙ軸方向に沿って、規則的に配列される。
　画素ユニットＵ（ｘ，ｙ）の各画素には、互いに偏光方向の異なる偏光素子が備えられる。第１画素１０２Ａには、方位角０°の光を透過する偏光素子が備えられる。したがって、第１画素１０２Ａでは、方位角０°の光（直線偏光）が受光される。第２画素１０２Ｂには、方位角４５°の光を透過する偏光素子が備えられる。したがって、第２画素１０２Ｂでは、方位角４５°の光（直線偏光）が受光される。第３画素１０２Ｃには、方位角９０°の光を透過する偏光素子が備えられる。したがって、第３画素１０２Ｃでは、方位角９０°の光が受光される。第４画素１０２Ｄには、方位角１３５°の光を透過する偏光素子が備えられる。したがって、第４画素１０２Ｄでは、方位角１３５°の光が受光される。
　〔光学系〕
　光学系１０については、上記第２の実施の形態の撮像装置１と同様に、焦点距離の異なる３つの光学領域１２Ａ、１２Ｂ、１２Ｃが備えられているものとする。ただし、本実施の形態の撮像装置１では、第１光学領域１２Ａに備えられる第１偏光フィルタ１４Ａが、方位角０°の光を透過する構成とされ、第２光学領域１２Ｂに備えられる第２偏光フィルタ１４Ｂが、方位角４５°の光を透過する構成とされ、第３光学領域１２Ｃに備えられる第３偏光フィルタ１４Ｃが、方位角９０°の光を透過する構成とされる。したがって、本実施の形態の光学系１０では、第１光学領域１２Ａからは、方位角０°の光（直線偏光）が出射され、第２光学領域１２Ｂからは、方位角４５°の光（直線偏光）が出射され、第３光学領域１２Ｃからは、方位角９０°の光（直線偏光）が出射される。
　〔信号処理〕
　信号処理部２００は、撮像素子１００から得られる画素ごとの信号（画素信号）を画素ユニットＵ（ｘ，ｙ）の単位で処理して、光学系１０の各光学領域１２Ａ、１２Ｂ、１２Ｃで得られる画像を生成する。
　図１９は、撮像により得られる画像（混信除去前の画像）の一例を示す図である。同図は、図１４に示す撮像シチュエーションで撮像した場合に、各画素ユニットＵ（ｘ，ｙ）の画素信号から生成される画像を示している。
　画像Ｉａは、各画素ユニットＵ（ｘ，ｙ）の第１画素１０２Ａから画素信号を抽出することで生成される画像である。この画像Ｉａは、主として第１光学領域１２Ａで取得される広角の画像となるが、第２光学領域１２Ｂで取得される画像が混信した画像となる。すなわち、第２光学領域１２Ｂで取得される望遠画像が、うっすらと浮かび出た画像となる。これは、第１光学領域１２Ａ、第２光学領域１２Ｂ、第３光学領域１２Ｃを通過する光の偏光方向（方位角）が、それぞれ０°、４５°、９０°であるのに対して、第１画素１０２Ａで受光される光の偏光方向（方位角）が０°であるためである。
　画像Ｉｂは、各画素ユニットＵ（ｘ，ｙ）の第２画素１０２Ｂの画素信号を抽出することで生成される画像である。この画像Ｉｂは、主として第２光学領域１２Ｂで取得される望遠の画像となるが、第１光学領域１２Ａで取得される広角画像及び第３光学領域１２Ｃで取得される超望遠画像が混信した画像となる（第１光学領域１２Ａで取得される広角画像及び第３光学領域１２Ｃで取得される超望遠画像が、うっすらと浮かび出た画像となる。）。これは、第１光学領域１２Ａ、第２光学領域１２Ｂ、第３光学領域１２Ｃを通過する光の偏光方向（方位角）が、それぞれ０°、４５°、９０°であるのに対して、第２画素１０２Ｂで受光される光の偏光方向（方位角）が４５°であるためである。
　画像Ｉｃは、各画素ユニットＵ（ｘ，ｙ）の第３画素１０２Ｃから画素信号を抽出することで生成される画像である。この画像Ｉｃは、主として第３光学領域１２Ｃで取得される超望遠の画像となるが、第２光学領域１２Ｂで取得される望遠画像が混信した画像となる（第２光学領域１２Ｂで取得される望遠画像が、うっすらと浮かび出た画像となる。）。これは、第１光学領域１２Ａ、第２光学領域１２Ｂ、第３光学領域１２Ｃを通過する光の偏光方向（方位角）が、それぞれ０°、４５°、９０°であるのに対して、第３画素１０２Ｃで受光される光の偏光方向（方位角）が９０°であるためである。
　画像Ｉｄは、各画素ユニットＵ（ｘ，ｙ）の第４画素１０２Ｄから画素信号を抽出することで生成される画像である。この画像Ｉｄは、第１光学領域１２Ａ及び第３光学領域１２Ｃの画像が等しく混信した画像となる。これは、第１光学領域１２Ａ、第２光学領域１２Ｂ、第３光学領域１２Ｃを通過する光の偏光方向（方位角）が、それぞれ０°、４５°、９０°であるのに対して、第４画素１０２Ｄで受光される光の偏光方向（方位角）が１３５°であるためである。
　信号処理部２００における画像生成部２００Ｂは、各画素ユニットＵ（ｘ，ｙ）から得られる４個の画素信号ｘ１、ｘ２、ｘ３、ｘ４に対して、行列Ａを用いた下記式８によって、各光学領域１２Ａ、１２Ｂ、１２Ｃに対応した画素信号Ｘ１、Ｘ２、Ｘ３を算出し、混信を除去する。
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-M000016
　なお、行列Ａの各要素ａｉｊ（ｉ＝１、２、３；ｊ＝１、２、３、４）は、次のように求められる。
　いま、第１光学領域１２Ａに入射した光が第１画素１０２Ａで受光される割合（混信量）をｂ１１、第２光学領域１２Ｂに入射した光が第１画素１０２Ａで受光される割合をｂ１２、第３光学領域１２Ｃに入射した光が第１画素１０２Ａで受光される割合をｂ１３とすると、Ｘ１、Ｘ２、Ｘ３とｘ１との間には、次の関係が成り立つ。
　ｂ１１＊Ｘ１＋ｂ１２＊Ｘ２＋ｂ１３＊Ｘ３＝ｘ１…（式９）
　また、第１光学領域１２Ａに入射した光が第２画素１０２Ｂで受光される割合をｂ２１、第２光学領域１２Ｂに入射した光が第２画素１０２Ｂで受光される割合をｂ２２、第３光学領域１２Ｃに入射した光が第２画素１０２Ｂで受光される割合をｂ２３とすると、Ｘ１、Ｘ２、Ｘ３とｘ２との間には、次の関係が成り立つ。
　ｂ２１＊Ｘ１＋ｂ２２＊Ｘ２＋ｂ２３＊Ｘ３＝ｘ２…（式１０）
　また、第１光学領域１２Ａに入射した光が第３画素１０２Ｃで受光される割合をｂ３１、第２光学領域１２Ｂに入射した光が第３画素１０２Ｃで受光される割合をｂ３２、第３光学領域１２Ｃに入射した光が第３画素１０２Ｃで受光される割合をｂ３３とすると、Ｘ１、Ｘ２、Ｘ３とｘ３との間には、次の関係が成り立つ。
　ｂ３１＊Ｘ１＋ｂ３２＊Ｘ２＋ｂ３３＊Ｘ３＝ｘ３…（式１１）
　また、第１光学領域１２Ａに入射した光が第４画素１０２Ｄで受光される割合をｂ４１、第２光学領域１２Ｂに入射した光が第４画素１０２Ｄで受光される割合をｂ４２、第３光学領域１２Ｃに入射した光が第４画素１０２Ｄで受光される割合をｂ４３とすると、Ｘ１、Ｘ２、Ｘ３とｘ４との間には、次の関係が成り立つ。
　ｂ４１＊Ｘ１＋ｂ４２＊Ｘ２＋ｂ４３＊Ｘ３＝ｘ４…（式１２）
　上記式９～１２の連立方程式は、行列Ｂを用いた下記の式１３で表わすことができる。
Figure JPOXMLDOC01-appb-M000017
Figure JPOXMLDOC01-appb-M000018
　上記のように、行列Ａは、行列Ｂの逆行列Ｂ－１である（Ａ＝Ｂ－１）。したがって、行列Ａの各要素ａｉｊ（ｉ＝１、２、３；ｊ＝１、２、３、４）は、行列Ｂの逆行列Ｂ－１を求めることで取得できる。
　行列Ｂの各要素ｂｉｊ（ｉ＝１、２、３、４；ｊ＝１、２、３）は、第ｊ光学領域に入射した光が第ｉ画素で受光される割合である。この割合は、第ｊ光学領域を通過する光の偏光方向（方位角）と第ｉ画素で受光される光の偏光方向（方位角）との角度差の余弦（ｃｏｓ）の二乗によって求められる。したがって、たとえば、第ｊ光学領域を通過した光の偏光方向（方位角）をαｊ、第ｉ画素で受光される光の偏光方向（方位角）をβｉとすると、この割合は、ｃｏｓ２（｜αｊ－βｉ｜）で算出される。すなわち、行列Ｂの各要素ｂｉｊは、ｃｏｓ２（｜αｊ－βｉ｜）で算出される。
　本実施の形態の撮像装置１において、第１光学領域１２Ａを通過する光（直線偏光）の偏光方向（方位角）は０°である。また、第２光学領域１２Ｂを通過する光の偏光方向は４５°である。また、第３光学領域１２Ｃを通過する光の偏光方向は９０°である。また、第１画素１０２Ａで受光される光（直線偏光）の偏光方向（方位角）は０°である。また、第２画素１０２Ｂで受光される光の偏光方向は４５°である。また、第３画素１０２Ｃで受光される光の偏光方向は９０°である。また、第４画素１０２Ｄで受光される光の偏光方向は１３５°である。
　したがって、行列Ｂの各要素ｂｉｊは、ｂ１１＝１、ｂ１２＝０．５、ｂ１３＝０、ｂ２１＝０．５、ｂ２２＝１、ｂ２３＝０．５、ｂ３１＝０、ｂ３２＝０．５、ｂ３３＝１、ｂ４１＝０．５、ｂ４２＝０、ｂ４３＝０．５となる。
Figure JPOXMLDOC01-appb-M000019
　この行列Ｂの逆行列Ｂ－１は存在し、その各要素ａｉｊ（ｉ＝１、２、３；ｊ＝１、２、３、４）は、ａ１１＝０．７５、ａ１２＝－０．２５、ａ１３＝－０．２５、ａ１４＝０．７５、ａ２１＝０、ａ２２＝１、ａ２３＝０、ａ２４＝－１、ａ３１＝－０．２５、ａ３２＝－０．２５、ａ３３＝０．７５、ａ３４＝０．７５となる。
Figure JPOXMLDOC01-appb-M000020
　よって、本実施の形態の撮像装置１では、下記式１４により各光学領域１２Ａ、１２Ｂ、１２Ｃに対応した画素信号Ｘ１、Ｘ２、Ｘ３を算出できる。
Figure JPOXMLDOC01-appb-M000021
　算出された画素信号Ｘ１、Ｘ２、Ｘ３から生成される各光学領域１２Ａ、１２Ｂ、１２Ｃの画像は、図１６に示すように、混信のないクリアな画像となる。
　このように、撮像素子１００の各画素ユニットＵ（ｘ，ｙ）に備えられる画素の数は、必ずしも３である必要はなく、４つ以上の画素であっても、混信を除去して、クリアな画像を生成できる。
　画素ユニットＵ（ｘ，ｙ）が、互いに異なる偏光方向の光を受光するＮ個（Ｎは、Ｎ≧３を満たす整数）の画素で構成される場合、各光学領域１２Ａ、１２Ｂ、１２Ｃに対応した３個の画素信号Ｘ１、Ｘ２、Ｘ３は、行列Ａを用いた下記式１５で算出できる。
Figure JPOXMLDOC01-appb-M000022
Figure JPOXMLDOC01-appb-M000023
　なお、ｉ、ｊは、１≦ｉ≦３、１≦ｊ≦Ｎを満たす整数である。
　行列Ａは、光学系１０の各光学領域に入射した光が、撮像素子の各画素ユニットの各画素で受光される割合を要素とする行列Ｂの逆行列Ｂ－１を算出して取得される。したがって、光学系の各光学領域に備えられる偏光フィルタの偏光方向と、各画素ユニットの画素に備えられる偏光素子の偏光方向は、行列Ｂを設定した場合に、その逆行列Ｂ－１が求まる条件であればよい。
　このように、１つの画素ユニットを４以上の画素で構成することにより、複数の画素を使って冗長に撮像でき、受光量も多くなるので、ノイズの少ない最終画像を得られる。
　［その他の実施の形態］
　〔光学系の構成〕
　上記実施の形態では、光学系の各光学領域が、それぞれ異なる焦点距離を有する場合、それぞれ異なる距離の被写体に焦点が合う場合を例に説明したが、光学系の構成は、これに限定されるものではない。この他に、たとえば、各光学領域が、それぞれ異なる波長帯域の光を透過させる構成であってもよい。また、各光学領域は、互いに視差を有する構成であってもよい。たとえば、３つの光学領域のうち２つは同じ焦点距離に設定して、左右に視差を有する画像を撮像する構成とすることができる。あるいは、３つの光学領域をすべて同じ焦点距離に設定し、３視点の視差を有する画像を撮像する構成とすることができる。これにより、たとえば、１つの撮像素子で立体画像を撮像できる。また、距離を測定できる。
　また、上記実施の形態では、光学系の光学領域（瞳領域）を同心円状に三分割する構成としているが、分割の態様は、これに限定されるものではない。
　図２０は、光学領域の分割の他の一例を示す図である。
　同図に示すように、瞳部分が周方向に三分割される構成とすることもできる。この場合、たとえば、それぞれ同じ焦点距離に設定することで、３視点の視差を有する画像を撮像できる。また、たとえば、左右２つの領域を同じ焦点距離に設定することで、左右の視差を有する画像を撮像できる。
　図２１は、光学領域の分割の他の一例を示す図である。
　同図に示すように、瞳部分が上下方向に三分割される構成とすることもできる。
　図２２は、光学領域の分割の他の一例を示す図である。
　同図に示すように、瞳部分が中央領域と外周領域に分割され、更に、外周領域が左右に二分割される構成とすることもできる。この場合、たとえば、外周の２つの領域を左右同じ焦点距離に設定することで、左右の視差を有する画像を撮像できる。
　〔撮像素子の構成〕
　１つの画素ユニットを構成する画素の配列は、上記実施の形態のものに限定されるものではない。
　図２３は、画素の配列の他の一例を示す図である。
　同図に示すように、縦方向（ｙ方向）に沿って一列に並ぶ３個一組の画素１０２Ａ、１０２Ｂ、１０２Ｃで１つの画素ユニットＵ（ｘ，ｙ）を構成し、これをｘ方向及びｙ方向に沿って、規則的に配列する構成とすることもできる。
　図２４は、画素の配列の他の一例を示す図である。
　同図に示すように、横方向（ｘ方向）に沿って一列に並ぶ３個一組の画素１０２Ａ、１０２Ｂ、１０２Ｃで１つの画素ユニットＵ（ｘ，ｙ）を構成し、これをｘ方向及びｙ方向に沿って、規則的に配列する構成とすることもできる。
　図２５は、画素の配列の他の一例を示す図である。
　同図に示す撮像素子１００は、画素の形状を八角形状とし、水平ラインごとに画素の位置を１／２ピッチだけ水平方向（ｘ方向）にずらして格子状に配置している。この場合も３個一組の画素で１つの画素ユニットＵ（ｘ，ｙ）が構成される。
　また、カラー画像を生成する場合には、画素ユニット単位でカラーフィルタを配置する。たとえば、画素ユニット単位で赤、緑、青のカラーフィルタを所定のフィルタ配列（たとえば、ベイヤ配列）で配置する。
　また、上記実施の形態では、偏光素子が、フォトダイオードとマイクロレンズとの間に配置される構成としているが、マイクロレンズの前（被写体側）に配置する構成とすることもできる。なお、偏光素子をマイクロレンズとフォトダイオードとの間に配置することにより、隣接する画素に光が混入するのを効果的に防止できる。これにより、より混信を防止できる。
　〔信号処理部の構成〕
　信号処理部２００における画像生成部２００Ｂ（演算部）の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上記各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。更に、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上記各種のプロセッサに含まれる。
　各部の機能は１つのプロセッサにより実現されてもよいし、同種又は異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上記の機能を実現する電気回路であってもよい。
　上記のプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の入力、解析、表示制御等を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。
　信号処理部２００の係数記憶部２００Ｃは、たとえば、ＲＯＭ（Read-only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-only Memory）等のメモリで実現できる。
　〔信号処理の手法〕
　１つの画素ユニットを偏光方向の異なる４個以上の画素で構成し、そのうちの３個の画素からの画素信号を使用して、各光学領域の画像を生成する構成としてもよい。たとえば、方位角０°、４５°、９０°、１３５°の光を受光する４個一組の画素で１つの画素ユニットが構成される場合において、方位角０°、４５°、９０°の光を受光する画素の画素信号を使用して、各光学領域の画像を生成する構成としてもよい。
　〔撮像装置の構成〕
　撮像装置は、光学系の交換が可能なレンズ交換式の撮像装置として構成することもできる。この場合、行列Ａは、レンズ（光学系）ごとに一意に定まるので、レンズごとに行列Ａを用意し、その係数群を係数記憶部に記憶させる。レンズが交換された場合は、交換されたレンズに対応する行列Ａの係数群を係数記憶部から読み出して、演算処理を実行し、各光学領域の画像を生成する。
１　撮像装置
１０　光学系
１２Ａ　第１光学領域
１２Ｂ　第２光学領域
１２Ｃ　第３光学領域
１４Ａ　第１偏光フィルタ
１４Ｂ　第２偏光フィルタ
１４Ｃ　第３偏光フィルタ
１００　撮像素子
１０２Ａ　第１画素
１０２Ｂ　第２画素
１０２Ｃ　第３画素
１０２Ｄ　第４画素
１１０　ピクセルアレイ層
１１２　フォトダイオード
１２０　偏光素子アレイ層
１２２Ａ　第１偏光素子
１２２Ｂ　第２偏光素子
１２２Ｃ　第３偏光素子
１３０　マイクロレンズアレイ層
１３２　マイクロレンズ
２００　信号処理部
２００Ａ　アナログ信号処理部
２００Ｂ　画像生成部
２００Ｃ　係数記憶部
Ａａ　第１偏光フィルタの偏光透過軸
Ａｂ　第２偏光フィルタの偏光透過軸
Ａｃ　第３偏光フィルタの偏光透過軸
ＤＡ　第１の画像データ
ＤＢ　第２の画像データ
ＤＣ　第３の画像データ
Ｉａ　第１画素から得られる画像
Ｉｂ　第２画素から得られる画像
Ｉｃ　第３画素から得られる画像
Ｉｄ　第４画素から得られる画像
ＩｍＡ　第１光学領域の画像
ＩｍＢ　第２光学領域の画像
ＩｍＣ　第３光学領域の画像
Ｌ　光軸
Ｕ（ｘ、ｙ）　画素ユニット

Claims (13)

  1. 　互いに異なる偏光方向の光を通過させる３個の光学領域を有する光学系と、
    　ＮをＮ≧３を満たす整数とした場合に、互いに異なる偏光方向の光を受光するＮ個の画素を一組とする画素ユニットを複数有する撮像素子と、
    　ｉ、ｊを１≦ｉ≦３、１≦ｊ≦Ｎを満たす整数とした場合に、各要素がａｉｊで表される３行Ｎ列の行列Ａで構成される係数群を記憶する記憶部と、
    　前記記憶部から前記係数群を取得し、前記撮像素子の各前記画素ユニットから得られるＮ個の画素信号ｘ１、ｘ２、…、ｘＮから、下記式によって、前記光学系の各前記光学領域に対応した３個の画素信号Ｘ１、Ｘ２、Ｘ３を算出する演算部と、
    Figure JPOXMLDOC01-appb-M000001
     　を備える撮像装置。
  2. 　前記行列Ａは、前記光学系の各前記光学領域に入射した光が、前記撮像素子の各前記画素ユニットの各前記画素で受光される割合を要素とする行列の逆行列を算出して取得される、
    　請求項１に記載の撮像装置。
  3. 　前記光学系の各前記光学領域に入射した光が、前記撮像素子の各前記画素ユニットの各前記画素で受光される割合は、前記光学系の各前記光学領域を通過する光の偏光方向と前記撮像素子の各前記画素ユニットの各前記画素で受光される光の偏光方向の角度差の余弦の二乗を算出して取得される、
    　請求項２に記載の撮像装置。
  4. 　前記撮像素子は、互いに異なる偏光方向の光を受光する３個の前記画素を一組とする前記画素ユニットを複数有する、
    　請求項１から３のいずれか１項に記載の撮像装置。
  5. 　前記光学系の各前記光学領域を通過する光の偏光方向の組み合わせと、前記撮像素子の各前記画素ユニットの各前記画素で受光される光の偏光方向の組み合わせが同じである、
    　請求項１から３のいずれか１項に記載の撮像装置。
  6. 　前記光学系は、互いに偏光方向の異なる３個の偏光フィルタを瞳位置に有する、
    　請求項１から５のいずれか１項に記載の撮像装置。
  7. 　前記光学系の各前記光学領域は、それぞれ異なる焦点距離を有する、
    　請求項１から６のいずれか１項に記載の撮像装置。
  8. 　前記光学系の各前記光学領域は、それぞれ異なる距離の被写体に焦点が合う、
    　請求項１から６のいずれか１項に記載の撮像装置。
  9. 　前記光学系の各前記光学領域は、それぞれ異なる波長帯域の光を透過させる、
    　請求項１から６のいずれか１項に記載の撮像装置。
  10. 　前記光学系の各前記光学領域は、互いに視差を有する、
    　請求項１から６のいずれか１項に記載の撮像装置。
  11. 　前記光学系の各前記光学領域は、少なくとも２つが視差を有する、
    　請求項１から６のいずれか１項に記載の撮像装置。
  12. 　前記撮像素子は、各前記画素に偏光素子を有する、
    　請求項１から１１のいずれか１項に記載の撮像装置。
  13. 　前記撮像素子は、各前記画素を構成するフォトダイオードとマイクロレンズとの間に前記偏光素子を有する、
    　請求項１２に記載の撮像装置。
PCT/JP2019/038018 2018-10-03 2019-09-26 撮像装置 WO2020071253A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020550372A JP7169363B2 (ja) 2018-10-03 2019-09-26 撮像装置
CN201980064764.8A CN112805992B (zh) 2018-10-03 2019-09-26 摄像装置
EP19869769.0A EP3863278B1 (en) 2018-10-03 2019-09-26 Imaging device
US17/206,163 US11457202B2 (en) 2018-10-03 2021-03-19 Imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-188418 2018-10-03
JP2018188418 2018-10-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/206,163 Continuation US11457202B2 (en) 2018-10-03 2021-03-19 Imaging device

Publications (1)

Publication Number Publication Date
WO2020071253A1 true WO2020071253A1 (ja) 2020-04-09

Family

ID=70055244

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/038018 WO2020071253A1 (ja) 2018-10-03 2019-09-26 撮像装置

Country Status (5)

Country Link
US (1) US11457202B2 (ja)
EP (1) EP3863278B1 (ja)
JP (1) JP7169363B2 (ja)
CN (1) CN112805992B (ja)
WO (1) WO2020071253A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022127556A1 (zh) * 2020-12-18 2022-06-23 深圳光峰科技股份有限公司 一种立体显示装置与立体投影显示系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113473033A (zh) * 2021-07-02 2021-10-01 广州爱闪思光电科技有限公司 一种高动态成像设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169096A (ja) 2008-01-16 2009-07-30 Fujifilm Corp 撮像デバイス
WO2012043211A1 (ja) * 2010-10-01 2012-04-05 富士フイルム株式会社 撮像装置
WO2012143983A1 (ja) 2011-04-22 2012-10-26 パナソニック株式会社 撮像装置、撮像システム、及び撮像方法
WO2015004886A1 (ja) 2013-07-12 2015-01-15 パナソニックＩｐマネジメント株式会社 撮像装置
WO2015198851A1 (ja) * 2014-06-23 2015-12-30 コニカミノルタ株式会社 測距装置及び測距方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102177706B (zh) * 2009-10-07 2013-11-27 松下电器产业株式会社 摄像装置和固体摄像元件
JP5742281B2 (ja) * 2011-02-17 2015-07-01 ソニー株式会社 撮像装置、画像処理方法およびプログラム
US9876992B2 (en) * 2014-04-30 2018-01-23 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and distance measuring apparatus using the same
JP6466656B2 (ja) * 2014-06-19 2019-02-06 オリンパス株式会社 撮像素子および撮像装置
WO2016088483A1 (ja) * 2014-12-01 2016-06-09 ソニー株式会社 画像処理装置と画像処理方法
JP6671130B2 (ja) * 2014-12-02 2020-03-25 キヤノン株式会社 撮像素子、撮像装置、焦点検出装置ならびに画像処理装置およびその制御方法
WO2017126242A1 (ja) * 2016-01-18 2017-07-27 富士フイルム株式会社 撮像装置、及び、画像データ生成方法
US10451486B2 (en) * 2016-12-23 2019-10-22 Arizona Board Of Regents On Behalf Of The University Of Arizona Imaging apparatus, methods, and applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169096A (ja) 2008-01-16 2009-07-30 Fujifilm Corp 撮像デバイス
WO2012043211A1 (ja) * 2010-10-01 2012-04-05 富士フイルム株式会社 撮像装置
WO2012143983A1 (ja) 2011-04-22 2012-10-26 パナソニック株式会社 撮像装置、撮像システム、及び撮像方法
WO2015004886A1 (ja) 2013-07-12 2015-01-15 パナソニックＩｐマネジメント株式会社 撮像装置
WO2015198851A1 (ja) * 2014-06-23 2015-12-30 コニカミノルタ株式会社 測距装置及び測距方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3863278A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022127556A1 (zh) * 2020-12-18 2022-06-23 深圳光峰科技股份有限公司 一种立体显示装置与立体投影显示系统

Also Published As

Publication number Publication date
CN112805992B (zh) 2024-04-23
EP3863278A4 (en) 2021-11-03
US20210211633A1 (en) 2021-07-08
JP7169363B2 (ja) 2022-11-10
CN112805992A (zh) 2021-05-14
JPWO2020071253A1 (ja) 2021-09-09
US11457202B2 (en) 2022-09-27
EP3863278A1 (en) 2021-08-11
EP3863278B1 (en) 2023-04-19

Similar Documents

Publication Publication Date Title
US7718940B2 (en) Compound-eye imaging apparatus
US8027041B1 (en) Compact snapshot multispectral imaging system
TWI507012B (zh) ３次元攝像裝置（一）
JP5406383B2 (ja) 撮像装置
US12096135B2 (en) Imaging apparatus and method
US20220078319A1 (en) Imaging apparatus
KR20150015285A (ko) 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치
KR20120008518A (ko) 디지탈 이미징 시스템, 플레놉틱 광학기구 및 이미지 데이타 처리방법
JP5254291B2 (ja) 固体撮像装置
US11122242B2 (en) Imaging device
JP2011182237A (ja) 複眼撮像装置及び該装置における画像処理方法
WO2020071253A1 (ja) 撮像装置
CN108088561A (zh) 一种快照式光场-光谱成像仪及成像方法
US11627263B2 (en) Imaging apparatus
CN117395485A (zh) 集成式偏振光场深度感知成像装置及采用该装置的方法
JP7182437B2 (ja) 複眼撮像装置
JP2015211430A (ja) 撮像装置および演算回路
EP3746978B1 (en) A filter array for demosaicing
JP2015166723A (ja) 撮像装置および撮像システム
JP6344996B2 (ja) 撮像装置
US10552942B2 (en) Reducing color artifacts in plenoptic imaging systems
JP6055595B2 (ja) 立体画像撮影装置および立体画像表示装置
JP2013219180A (ja) 撮像素子および撮像装置
KR20130106525A (ko) 영상 처리 장치 및 이의 영상 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19869769

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020550372

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019869769

Country of ref document: EP

Effective date: 20210503