WO2020066738A1 - 偏光イメージング撮像システム - Google Patents

偏光イメージング撮像システム Download PDF

Info

Publication number
WO2020066738A1
WO2020066738A1 PCT/JP2019/036314 JP2019036314W WO2020066738A1 WO 2020066738 A1 WO2020066738 A1 WO 2020066738A1 JP 2019036314 W JP2019036314 W JP 2019036314W WO 2020066738 A1 WO2020066738 A1 WO 2020066738A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarization
light
wavefront control
control element
imaging
Prior art date
Application number
PCT/JP2019/036314
Other languages
English (en)
French (fr)
Inventor
将司 宮田
光雅 中島
橋本　俊和
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/271,162 priority Critical patent/US11733100B2/en
Publication of WO2020066738A1 publication Critical patent/WO2020066738A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G02B5/3058—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state comprising electrically conductive elements, e.g. wire grids, conductive particles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J4/00—Measuring polarisation of light
    • G01J4/04—Polarimeters using electric detection means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0224—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using polarising or depolarising elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0256—Compact construction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/286—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1213—Filters in general, e.g. dichroic, band
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2806—Array and filter array
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/123—Optical louvre elements, e.g. for directional light blocking

Definitions

  • the present invention relates to a polarization imaging and imaging system including a plurality of wavefront control elements that enable polarization separation.
  • CCD Charge Coupled Device
  • C- complementary metal-oxide-semiconductor
  • MOS Complementary Metal Oxide Semiconductor
  • the light polarization information includes useful information that cannot be obtained simply from the light intensity and its color, that is, information on the wavelength, such as information on the shape of the surface of the subject and the state of the material.
  • polarization imaging a technique for imaging the polarization state of light from a subject as two-dimensional information.
  • conventional ordinary polarization imaging on an imaging plane on which a subject is imaged, when an arbitrary direction parallel to the imaging plane is set to 0 ° and the direction is set to 0 °, an axis parallel to the optical axis is set.
  • a polarization imaging sensor using a microfabrication technology has been proposed as a method for realizing polarization imaging. For example, by integrating a polarization filter formed by a plurality of metal wire grids in which the polarization direction of transmitted light is predetermined on each pixel of the image sensor, light in four different polarization directions is obtained for each pixel.
  • An apparatus configuration and a method for performing the operation have been proposed (Non-Patent Document 1).
  • FIG. 1 is a schematic diagram showing an example of a conventional polarization imaging device including a general imaging optical system and an image sensor having an absorption type polarization filter.
  • FIG. 1A is a schematic diagram illustrating an arrangement relationship between a subject 11, an imaging optical system 12, and an image sensor 13, and
  • FIG. 1B is a diagram illustrating a plurality of regions of the image sensor 13 and detections in the regions.
  • FIG. 4 is a perspective view showing a correspondence relationship with a polarization direction of light.
  • the right end of FIG. 1A is an enlarged view of a dotted rectangular portion drawn on the image sensor 13. With this configuration, it is possible to generate a two-dimensional image including polarization information, that is, a polarization image.
  • the imaging device 13 includes a polarization filter 13a and an image sensor 13b.
  • the polarizing filter 13a and the image sensor 13b are on a flat plate, and are divided into a plurality of regions as shown in FIG.
  • the divided regions of the polarizing filter 13a and the image sensor 13b have the same size and position as shown in the right end diagram of FIG.
  • the plurality of regions of the polarizing filter 13a include a region that transmits only polarized light whose electric field oscillates in a direction parallel to the paper surface (hereinafter referred to as longitudinally polarized light) and a polarized light whose electric field oscillates in a direction perpendicular to the paper surface (hereinafter, referred to as vertical polarization). , Horizontal polarization).
  • the incident light 10 condensed on the imaging element 13 is, for example, partially polarized light that is a mixture of polarized light and non-polarized light.
  • the incident light 10 condensed on the image sensor 13 is converted into light of only vertically polarized light and light of only horizontally polarized light by passing through a plurality of regions of the polarizing filter 13a. Input is made to each area of the corresponding image sensor. As a result, as shown in FIG. 1B, a two-dimensional image corresponding to the vertically polarized light and the horizontally polarized light is generated on the image sensor 13b.
  • the method of generating a changed image by the conventional imaging apparatus shown in FIG. 1 enables the polarization state of the light from the subject 11 to be acquired by a single imaging operation, but the entire polarization imaging apparatus including the imaging optical system 12 Miniaturization is difficult. This is because the distance between the imaging optical system 12 and the imaging device 13, that is, the thickness of the entire polarization imaging apparatus is determined by the focal length of the imaging optical system 12.
  • the imaging optical system 12 in order to make the entire polarization imaging apparatus thin, it is necessary to employ a lens having a short focal length as the imaging optical system 12.
  • the aperture and thickness of the lens and the processing method for realizing the lens are limited. Due to the bundle, it is difficult for the configuration of the polarization imaging apparatus shown in FIG. 1 to have a short focal length. Therefore, it is difficult to reduce the size of the apparatus unless the amount of light input to the image sensor 13b is reduced, that is, the diameter of the lens is not reduced.
  • Non-Patent Document 2 a configuration in which a microlens array constituting a compound eye and a polarization filter array are combined has been proposed as a configuration capable of greatly reducing the size of the entire polarization imaging apparatus.
  • FIG. 2 is a schematic diagram illustrating an example of a polarization imaging apparatus configured by combining a microlens array including a plurality of lenses and a polarization filter array including a polarization filter corresponding to each of the plurality of lenses.
  • a microlens array 22 composed of a plurality of lenses is used as an imaging optical system, and a polarization filter array 23a is arranged so that a plurality of regions of the polarization filter array 23a correspond to each of the plurality of lenses.
  • the image sensor 23b is arranged so that light passing through the polarization filter array 23a is input.
  • the microlens array 22, the polarization filter array 23a, and the image sensor 23b are arranged such that their longitudinal directions are parallel to each other. Further, two polarizing filter arrays 23a are arranged between the microlens array 22 and the image sensor 23b.
  • the two polarization filter arrays 23a are each divided into a plurality of regions, and each of the divided regions has a function of selectively transmitting only vertically polarized light or horizontally polarized light of the incident light 20. I have.
  • light from the subject 21 is focused on each of a plurality of regions on one of the polarizing filter arrays 23a via the microlens array 22.
  • the light that has passed through one of the polarization filter arrays 23a becomes vertically polarized light and horizontally polarized light corresponding to the region through which it passes, and further passes through the other polarization filter array 23a and is input to the image sensor 23b.
  • a two-dimensional image corresponding to the vertically polarized light and the horizontally polarized light is generated on the image sensor 23b.
  • the configuration of the polarization imaging apparatus shown in FIG. 2 can simultaneously acquire a plurality of two-dimensional images of the polarization direction of light from the subject 21 by the above operation. Furthermore, the resolution of a two-dimensional image can be restored by applying an image reconstruction algorithm or the like to the acquired two-dimensional image data (Non-Patent Document 2).
  • the compound eye configuration of FIG. 2 can greatly reduce the aperture of one lens as compared with the single eye configuration of FIG. 1, so that imaging at a short focal length becomes easy. Therefore, the configuration using a compound eye can reduce the size of the polarization imaging apparatus without reducing the amount of light input to the image sensor, as compared with the configuration using a single eye.
  • Non-Patent Documents 1 and 2 has two problems.
  • the conventional imaging method having the configuration disclosed in Non-Patent Document 1 and Non-Patent Document 2 has a problem that the light detection efficiency of the image sensor is low due to the use of the dimming type polarizing filter.
  • the neutral density polarizing filter has a property of transmitting only polarized light parallel to a plane including an axis where light travels, and reflecting or absorbing polarized light in a direction perpendicular to the plane. Therefore, in the imaging method using the conventional configuration, the total amount of light reaching the image sensor necessarily decreases, specifically, to 50% of the amount of light input to the polarization imaging device. That is, it is difficult to realize a polarization imaging device with high efficiency and high sensitivity by using the neutral density polarizing filter in the configuration.
  • the position of at least one polarizing filter array 23a is strictly set to the image sensor 23b or the lens of the lens array 22 corresponding to each polarizing filter. It is necessary to integrate and arrange the polarizing filter array 23a in the vicinity of the image sensor 23b or the lens array 22 in such a way that the manufacturing cost and the mounting cost are increased as compared with the general imaging device 13.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a polarization system capable of acquiring polarization information with high sensitivity, easily producing, and easily miniaturizing, an imaging system for generating a polarization image. (Hereinafter referred to as polarization imaging imaging system).
  • One embodiment of the present invention is a polarization imaging imaging system that simultaneously generates a plurality of polarization images of a subject without reducing light intensity, wherein an imaging unit array in which a plurality of imaging units are two-dimensionally arranged.
  • the imaging unit includes one wavefront control element having a plurality of microstructures, and is arranged to face the wavefront control element, and includes a plurality of pixels corresponding to the wavefront control element arranged two-dimensionally.
  • a pixel array wherein light from the subject has a first polarization and a direction orthogonal to or opposite to the first polarization and the first polarization by the one wavefront control element.
  • the first polarized light is spatially separated from the second polarized light at a first focusing position on the pixel array, and the second polarized light is focused at a second focusing position on the pixel array.
  • the present invention it is possible to realize an imaging apparatus capable of acquiring polarization information with high light use efficiency, and to easily reduce the size, so that the polarization imaging apparatus can be incorporated into various devices. In addition, it can be used as a portable small imaging device. Furthermore, since the apparatus can be configured by directly manufacturing or mounting the wavefront control element directly above the existing image sensor, the productivity is excellent, and the number of parts can be reduced, so that a low cost polarization imaging apparatus can be achieved. Can be realized.
  • FIG. 2 is a schematic diagram illustrating an example of a conventional polarization imaging apparatus including a general imaging optical system and an image sensor including an absorption type polarization filter.
  • FIG. 2 is a schematic diagram illustrating an example of a polarization imaging device configured by combining a microlens array including a plurality of lenses and a polarization filter array including a polarization filter corresponding to each of the plurality of lenses.
  • FIG. 1 is a schematic diagram illustrating a configuration of a polarization imaging system according to an embodiment of the present invention. 1 is a schematic diagram illustrating a configuration example of an imaging unit that is a component of a polarization imaging system according to an embodiment of the present invention.
  • FIG. 1 is a schematic diagram illustrating an example of a polarization imaging system according to an embodiment of the present invention.
  • FIG. 1 is a schematic diagram illustrating a configuration of a polarization imaging system according to a first embodiment.
  • FIG. 5 is a schematic diagram of a columnar microstructure 60 arranged on the wavefront control elements 53 and 54.
  • FIG. 9 is a diagram illustrating a pattern formed by a microstructure 51 disposed on a first wavefront control element 53 and a one-dimensional distribution of a phase delay amount of light 50 from a subject corresponding to the pattern.
  • FIG. 7 is a diagram showing a pattern formed by a microstructure 51 disposed on a second wavefront control element 54 and a one-dimensional distribution of a phase delay amount of light 50 from a subject corresponding to the pattern.
  • FIG. 5 is a schematic diagram of a columnar microstructure 60 arranged on the wavefront control elements 53 and 54.
  • FIG. 9 is a diagram illustrating a pattern formed by a microstructure 51 disposed on a first wavefront control element 53 and a one-dimensional distribution of a phase delay amount of light 50 from a
  • FIG. 2 is a schematic top view of a set of imaging units including three imaging units including an imaging unit capable of separating polarized light for each rotation direction of circularly polarized light.
  • FIG. 9 is a schematic diagram illustrating a difference in crosstalk suppression before and after the barrier 101 is installed in the configuration of the imaging unit array 55 when a plurality of polarization images are generated by the configuration of the imaging unit array 55.
  • FIG. 9 is a schematic diagram illustrating a configuration of an imaging unit array 55 applied to a polarization imaging system according to a second embodiment of the present invention.
  • FIG. 11 is a schematic diagram illustrating a configuration of an imaging unit array applied to a polarization imaging system according to a third embodiment of the present invention.
  • FIG. 11 is a schematic diagram illustrating another configuration of the imaging unit array applied to the polarization imaging system according to the third embodiment of the present invention.
  • FIG. 3 is a schematic diagram illustrating a configuration of a polarized imaging system according to an embodiment of the present invention.
  • the basic configuration of the polarization imaging system according to one embodiment of the present invention includes a pixel array 33b in which a plurality of pixels including photoelectric conversion elements are two-dimensionally arranged, and a wavefront in which a plurality of wavefront control elements are two-dimensionally arranged.
  • An imaging unit array 33 including a control element array 33a and a signal processing unit 35 are provided.
  • One rectangular area in the pixel array 33b indicates one pixel.
  • the imaging unit array 33 is mounted on the substrate 33c.
  • the imaging unit array 33 is electrically connected to the signal processing unit 35 via the board 33c and the wiring 34.
  • the pixel array 33b may include a photoelectric conversion element array, a microlens array, a transparent layer, a color filter array, a wiring layer, and other elements necessary for constituting an image forming element. These elements are omitted in the drawings attached to the present specification.
  • the pixel array 33b may employ either a back-illuminated type in which light is input from a side surface on which the wiring layer is not disposed or a front-illuminated type in which light is input from a side surface on which the wiring layer is disposed. Can be.
  • the imaging unit array 33 will be described.
  • the imaging unit array 33 includes a plurality of imaging units arranged two-dimensionally. One imaging unit is formed such that a plurality of pixels in the pixel array 33b correspond to one wavefront control element in the wavefront control element array 33a.
  • each of the wavefront control elements has a function of imaging light passing through the wavefront control element 33a at a different position on the pixel array 33b for each polarization direction according to the polarization direction of each light flux of the light 30 from the subject.
  • the signal processing unit 35 processes the photoelectric conversion signal output from the pixel array 33b via the substrate 33c and the wiring 34 to generate an image signal.
  • the signal processing unit 35 includes an image signal output path 36 that sends out the generated image signal to the outside.
  • the polarization imaging imaging system includes an optical filter for blocking infrared light, an electronic shutter, a power supply, a flashlight, and other known elements for configuring a polarization imaging imaging system. obtain.
  • the description of these elements is omitted in the specification of the present application, and is also omitted in the drawings attached to the specification of the present application.
  • FIG. 4 is a schematic diagram of a configuration example of an imaging unit that is a component of the polarization imaging system according to one embodiment of the present invention.
  • FIG. 4 shows a side cross section of one imaging unit.
  • the imaging unit is configured to include one wavefront control element 43 and a pixel array 42a in which a plurality of pixels are two-dimensionally arranged on a substrate 42b.
  • the wavefront control element 43 is configured by vertically arranging a plurality of microstructures 43b having a constant height on one side surface of a microstructure support substrate 43a.
  • each of the microstructures 43b has a columnar shape.
  • the structure of the wavefront control element 43 is not limited to this structure.
  • the microstructures 43b can take various forms in the number of arrangements, arrangement intervals, shapes, and arrangement patterns on the microstructure support substrate 43a.
  • the microstructures 43b may be connected and connected to each other, or may be embedded in a material transparent to light 40 from the subject 41, that is, a material that does not absorb light. it can.
  • the material of the fine structure 43b of the wavefront control element 43 is appropriately selected according to the wavelength of the light 40 from the subject.
  • silicon nitride Si 3 N 4
  • silicon carbide SiC
  • titanium dioxide TiO 2
  • gallium nitride GaN
  • a material containing an inorganic carbide or an inorganic nitride can be suitably used because it has a high refractive index and a small light absorption loss.
  • the wavelength of the light 40 from the subject is in the near-infrared region in the range of 800 to 1000 nm
  • silicon Si
  • SiC silicon
  • SiN SiN
  • TiO titanium oxide
  • Materials such as gallium arsenide (GaAs) and GaN can be suitably used.
  • the wavelength of the light 40 from the subject is a near infrared region having a longer wavelength than the above in the near infrared region, specifically, a wavelength band near 1.3 ⁇ m or 1.55 ⁇ m which is a wavelength region for optical communication.
  • a wavelength band near 1.3 ⁇ m or 1.55 ⁇ m which is a wavelength region for optical communication.
  • indium phosphide (InP) or the like can be employed in addition to the above materials.
  • the material of the microstructure 43b is polyimide resin such as fluorinated polyimide, UV epoxy, or the like.
  • a photocurable resin such as a resin, an acrylic resin such as polymethyl methacrylate (PMMA), a photosensitive organic material such as a photoresist, or an organic material such as benzocyclobutene (BCB) can be preferably used.
  • a general inorganic glass material silicon dioxide (SiO 2 ), air, or the like is preferable.
  • SiO 2 silicon dioxide
  • the cross-sectional shape of the microstructure 43b is not limited to a columnar shape, and may be a hollow square, a cross, a circle, a hollow circle, or the like. Even in these shapes, it is possible to give the polarization dependence according to the shape without losing the function as an optical waveguide which brings about a phase delay effect described later.
  • the wavefront control element 43 uses the phase delay effect generated in the microstructure 43b when the light 40 from the subject is input to the microstructure 43b, and thereby the object input to the wavefront control element 43. Is separated into a first polarization having a first polarization direction and a second polarization having a second polarization direction orthogonal to the first polarization direction, and the first polarization direction (FIG. 4 and a second polarization direction (a direction perpendicular to the paper surface in FIG. 4), the first polarization direction and the second polarization direction are determined on the pixel array 42.
  • the phase delay effect generated in the fine structure 43b depends on the polarization direction of the light 40 from the subject, and the shape and / or size of the fine structure 43b.
  • the first polarized light forms an image on the pixel array 42 along a solid line
  • the second polarized light forms an image on the pixel array 42 along a dotted line.
  • the image forming positions are different from each other. That is, in the embodiment of the present invention, the luminous flux of the light 40 from the subject is separated into two orthogonally polarized lights by the wavefront control element 43 included in each imaging unit 43, and travels in accordance with the polarization directions. The directions are determined, and images are formed at different positions on the pixel array 42a.
  • the light is separated and polarized by reducing the light absorption loss using the wavefront control element array 33a without using the dimming type polarizing filter.
  • a polarized image can be obtained. Therefore, the total amount of light reaching the pixel array 33b can be increased, and the imaging sensitivity can be increased, as compared with a conventional polarization imaging imaging system using a neutral density polarizing filter.
  • the configuration of the imaging unit array is to reduce the aperture of each imaging unit (corresponding to the aperture of each lens of the micro lens array 22) while keeping the entire aperture of the imaging unit array 33 for the light 30 from the subject. Accordingly, the distance between the wavefront control element array 33a and the pixel array 33b, that is, the focal length can be significantly reduced. That is, the size of the imaging unit array can be reduced more easily than the conventional polarization imaging device. In addition, as the aperture of one imaging unit is reduced in size, the number of imaging units arranged in the imaging unit array 33 increases.
  • each imaging unit is an imaging optical system having a short focal length, the depth of field is large, and it is hard to be affected by the distance between the subject 31 and the imaging unit array 33. It is easy to focus at the same time. That is, the imaging unit array 33 does not particularly require a focus adjustment mechanism for the subject 31.
  • the imaging unit array 33 can perform polarization imaging only with a configuration including a single-layer wavefront control element array 33a and a pixel array 33b as an image sensor. Therefore, compared to the conventional polarization imaging devices disclosed in Non-Patent Documents 1 and 2, the polarization imaging device has higher productivity and has a technical feature that the number of parts is smaller, so that polarization imaging is less costly. The device can be realized.
  • the image is generated in the signal processing unit 35 by utilizing the difference in the angle of the light flux of the light 30 from the subject that differs depending on the two-dimensional position of each imaging unit in each imaging unit array 33.
  • the polarization imaging system can simultaneously generate an image having predetermined polarization information in the light 30 from the subject and information having the distance information to the subject 31.
  • FIG. 5 is a schematic diagram showing the configuration of the polarization imaging system according to the first embodiment.
  • FIG. 5A is a part of a top view of the imaging unit array 55.
  • FIG. 5B is a side sectional view of the imaging unit array 55 along Vb-Vb.
  • a wavefront control in which a plurality of wavefront control elements are two-dimensionally arranged above a pixel array 52a in which a plurality of pixels including photoelectric conversion elements are arranged in a two-dimensional array.
  • the element arrays 53 are arranged to face each other.
  • the imaging unit array 55 is two-dimensionally and continuously arranged, and the imaging unit array 55 in FIG. 5A is a part thereof.
  • the cross section of the wavefront control element 53 in FIG. 5B is a cross section of the first wavefront control element 53 which is one wavefront control element. That is, FIG. 5B shows a cross section of one imaging unit.
  • a fine structure 53b arranged on the fine structure support substrate 53a is drawn through the fine structure support substrate 53a.
  • a microstructure 53b is vertically provided on a microstructure support substrate 53a of the first wavefront control element 53.
  • the fine structure 53b has a columnar shape and a constant height.
  • right-handed xyz rectangular coordinates are set with the normal direction of the pixel array 52a as the z-axis and the horizontal direction parallel to the pixel array 52a as the x-axis and the y-axis. Further, on the xy plane, the rotation is made from the x axis to the y axis around the z axis, and the angle formed with the x axis is ⁇ .
  • the wavefront control element array constituting the imaging unit array 55 separates the light 50 from the subject into polarization directions parallel to the x-axis direction and the y-axis direction.
  • a second wavefront control element 54 which forms an image at
  • the first wavefront control element 53 and the second wavefront control element 54 are arranged adjacent to each other along the y-axis direction on a plane parallel to the xy plane. That is, the imaging unit array 55 includes two adjacent imaging units. Further, the first wavefront control elements 53 and the second wavefront control elements 54 are alternately arranged along the y-axis direction.
  • the first wavefront control element 53 and the second wavefront control element 54 have a rectangular upper surface and the same area as each other.
  • the shape of the upper surface of the wavefront control elements 53 and 54 is preferably rectangular, and the aspect ratio, which is the ratio of the length of two orthogonal sides, that is, the ratio of the length of the long side to the short side of the rectangle, is used.
  • a value greater than 1 is preferred.
  • the aspect ratio can be 4: 3, 16: 9 or any other commonly used two-dimensional image aspect ratio.
  • the form, such as the arrangement, shape, or size, of the wavefront control elements is not limited to the example shown in FIG. 5, and various forms can be adopted as appropriate.
  • the first wavefront control elements 53 and the second wavefront control elements 54 may be alternately arranged along the x-axis direction and the y-axis direction, and may be arranged to form a so-called checkered pattern.
  • the first wavefront control element 53 and the second wavefront control element 54 may be arranged randomly without any one-dimensional or two-dimensional regularity. That is, the same applies to the arrangement, shape, size, and the like of the imaging unit array configured to include one wavefront control element.
  • the number of two types of wavefront control elements that separate the light 50 from the subject into different polarization directions that is, the first wavefront control element 53 and the second wavefront control element 54 in the present embodiment are included in the imaging unit array 55.
  • the number of types of wavefront control elements included in the image sensor array 55 is not limited to two in the present embodiment, but may be N (N is a natural number of 2 or more).
  • N is a natural number of 2 or more.
  • the arrangement of the N types of wavefront control elements, their respective shapes, their respective sizes, and the like can employ various forms as appropriate as in the case of the two types in the present embodiment.
  • the numbers of different types of wavefront control elements included in the imaging element array 55 are equal to each other, as in the case of two types.
  • Light 50 from the subject input to the polarization imaging system is applied to the first wavefront control element 53 for each imaging unit, in the x-axis direction and the y-axis direction orthogonal thereto, and in the second wavefront control element 54.
  • .Theta. 45.degree.
  • polarized light in the direction of .theta. 135.degree. Orthogonal thereto.
  • each separated polarized light forms an image at a different position on the corresponding pixel array 52a.
  • the polarization direction to be separated is not limited to the case of the present embodiment, and the polarization direction to be separated from the light 50 from the subject can be freely changed by appropriately setting the configurations of the wavefront control elements 53 and 54. be able to.
  • the polarization image generated on the pixel array 52a is subjected to photoelectric conversion by the photoelectric conversion element in each pixel of the pixel array 52a, and the polarization image is generated in each polarization direction from the entire substrate 52b on which the pixel array 52a is disposed.
  • a plurality of corresponding photoelectric conversion signals are output.
  • the signal processing unit 35 generates an image signal corresponding to each polarization direction based on the plurality of photoelectric conversion signals output from the pixel array 52b. Since the image formed from the image signal is determined by the number of pixels included in the imaging unit, the resolution of the image may be reduced depending on the size of the imaging unit.
  • an image reconstruction algorithm that performs signal processing (considering the influence of parallax) on these photoelectrically converted signals using the two-dimensional position information of the pixel array in the imaging unit array 55 (see FIG.
  • an image processing means such as Non-Patent Document 2
  • the resolution of a polarization image can be greatly restored.
  • two-dimensional information of three of the four Stokes parameters expressing the polarization state of the light 50 from the subject can be obtained simultaneously from the polarization images corresponding to the four polarization directions, As a result, it is possible to simultaneously obtain the light intensity image, the polarization direction image, and the polarization degree image. Further, in the present embodiment, when performing the resolution recovery processing, it is possible to obtain the parallax information of the subject by using the two-dimensional position information of each imaging unit in the imaging unit array. Therefore, it is also possible to calculate distance information between the subject and the imaging unit array in addition to each polarized image whose resolution has been restored.
  • the wavefront control elements 53 and 54 in the present embodiment include a plurality of microstructures 53b arranged upright on the side surface of the microstructure support substrate 53a.
  • the plurality of microstructures 53b are arranged so as to form a pattern.
  • a pattern formed by one or more columnar microstructures 53b, a pattern formed by one or more hole-shaped microstructures 53b, or the like can be employed.
  • the distance between the microstructures 53b is reduced. Is preferably smaller than the wavelength of the light 50 from the subject.
  • the wavefront control elements 53 and 54 have a pattern formed by a plurality of columnar microstructures 60 will be described.
  • FIG. 6 is a schematic view of a columnar microstructure 60 disposed on the wavefront control elements 53 and 54.
  • FIG. 6A is a top view of the columnar microstructure 60
  • FIGS. 6B and 6C are side views of the columnar microstructure 60 in the x plane.
  • FIG. 6B shows a case where the polarization direction of the light 60a from the subject is perpendicular to the paper surface
  • FIG. 6C shows a case where the polarization direction of the light 60b from the subject is horizontal to the paper surface. I have.
  • Microstructure 60 is formed of a material having a high refractive index n 1 than the refractive index n 0 of the fine structure 60 surrounding material or space, is constant respective heights h of the microstructures 60 . Further, the shape of the bottom surface and the top surface of the microstructure 60 is a square whose sides are W 1 and W 2 .
  • the fine structure 60 can function as an optical waveguide for confining and propagating the light 60a and 60b from the subject in the fine structure 60 due to the difference in the refractive index between the material and the space around the fine structure 60. Therefore, when the light 60a, 60b from the subject enters from one side of the xy plane of the microstructure 60, the light 60a, 60b from the subject propagates in the y-axis direction while being confined in the microstructure 60.
  • the light 60a, 60b from the subject incident on the microstructure 60 propagates while undergoing a phase delay effect determined by an effective refractive index (hereinafter referred to as an effective refractive index) n eff of the optical waveguide, After propagating through the length of the height h, the light is emitted from the other side surface of the fine structure 60.
  • an effective refractive index hereinafter referred to as an effective refractive index
  • n eff is a function having the size of the microstructure 60 as a variable, and shows a large polarization dependence depending on the shape of the microstructure 60.
  • the cross section of the microstructure 60 is perpendicular to the propagation direction of the light 60a, 60b from the subject, that is, parallel to the xz plane, the rectangular shape shown in FIG.
  • Different n eff for the polarization direction of 60b can be given to each of the light 60a and 60b from the subject.
  • the phase delay amount for the polarization direction of the light 60a from the subject that is vertically polarized is ⁇ 1
  • the phase delay amount for the polarization direction of the light 60b from the subject that is horizontally polarized is ⁇ 2
  • the effective refractive index for the polarization direction of the light 60a is n eff1
  • the effective refractive index for the polarization direction of the horizontally polarized light 60b from the subject is n eff2
  • the direction of the vertical polarization is parallel to the polarization direction of the light 60a from the subject.
  • the length of the side of the microstructure 60 is w 1
  • the length of the side in the polarization direction of the horizontally polarized light 60b from the subject is w 2 .
  • n eff1 and n eff2 can be respectively adjusted by a combination of w 1 and w 2 .
  • Its adjustable value, for n eff1 is less than n 1 greater than the n 0, for n eff2 is the value less than n 1 exceed n 0. Therefore, from Expression (1), from Expression (1), from Expression (1), from Expression (1), ⁇ 1 and ⁇ 2 can be adjusted to predetermined values by a combination of w1 and w2. That is, by setting the lengths w 1 and w 2 of the sides of the columnar microstructure 60 shown in FIG. 6, the phase delay amount ⁇ 1 and the horizontal it is possible to adjust the phase delay phi 2 with respect to the polarization direction of the light 60b from a polarizing subject to a predetermined value.
  • the wavefront control elements 53 and 54 form a two-dimensional columnar microstructure 60 having a combination of the side lengths W1 and W2 of the predetermined cross section on the microstructure support substrate 53a.
  • a two-dimensional distribution of a predetermined amount of phase delay can be given to each polarization direction of light 60a and 60b from a subject orthogonal to each other.
  • the variable range of the amount of phase delay for each polarization direction by the columnar structure has a range of 0 to 2 ⁇ or more.
  • FIG. 7 shows a correspondence relationship between a pattern formed by the microstructure 51 arranged on the first wavefront control element 53 and a one-dimensional distribution of a phase delay amount of the light 50 from the subject corresponding to the pattern.
  • FIG. FIG. 7A is a top view of the first wavefront control element 53 in FIG.
  • FIG. 7B is a graph illustrating a phase delay amount of light 50 from a subject corresponding to a pattern formed by the microstructure 51 arranged on the first wavefront control element 53.
  • the vertical axis is the phase delay amount when the first wavefront control element 53
  • the horizontal axis represents the coordinates (x L, y 0) and the coordinates (x R, y 0) and x-axis direction of the coordinates through.
  • a plurality of columnar microstructures 51 are arranged in parallel to the x-axis and y-axis directions at intervals equal to or less than the wavelength of light 50 from the subject.
  • the definitions of the coordinates and ⁇ are the same as in FIG.
  • the lengths w 1 and w 2 of the sides of the cross section of the columnar microstructure 51 differ depending on the two-dimensional position on the first wavefront control element 53. I have. Due to the values of the lengths w 1 and w 2 of the sides of the cross section of the columnar microstructure 51 determined by the two-dimensional position on the first wavefront control element 53, the lights passing through the wavefront control element 53 are orthogonal to each other. Have two-dimensional distributions of different phase delay amounts for the two polarization directions. Therefore, the wavefront control element 53 can give different light wavefronts for two mutually orthogonal polarizations of the light 50 from the subject.
  • the wavefront control element 53 travels by spatially separating two polarized lights of the light 50 from the subject passing through the wavefront control element 53. It is possible to do. Further, the wavefront control element 53 converts the two-dimensional distribution of the phase delay amount of the light 50 from the subject that has passed through the wavefront control element 53 into a distribution that forms an image at different positions for each polarization direction. It is possible to spatially separate two polarized lights of the light 50 from the subject that has passed through 53, and to form an image at two different positions of the pixel array 52a.
  • FIG. 7A The principle of forming an image at a different position of the pixel array 52a for each polarization direction will be described with reference to FIG.
  • FIG. 7A attention is paid to a region on the upper surface of the wavefront control element 53 on the left side of the paper surface, that is, a region on the left side of the paper surface divided by the line S.
  • the size and the arrangement direction are adjusted so that the phase delay amount shows a maximum at the position (1) and the phase delay amount monotonously decreases as the distance from the coordinates increases.
  • a plurality of microstructures 51 are provided so as to converge and form an image at a location corresponding to the coordinates (x R , y 0 ).
  • the wavefront control element 53 spatially separates two polarized lights orthogonal to each other in the light 50 from the subject in accordance with the pattern formed by the fine structure 51, and It has a function of imaging each of the polarized lights at two different positions of the pixel array 52a.
  • the wavefront control element 53 when the wavefront control element 53 has a pattern formed by the fine structure 51 shown in FIG. 7A, the wavefront control element 53 emits light 50 from the subject as shown in FIG.
  • the two-dimensional distributions of different phase delay amounts can be given to the polarization in the x-axis direction and the polarization in the y-axis direction.
  • the polarization of the light 50 from the subject in the x-axis direction is A two-dimensional distribution of the amount of phase delay similar to that of an off-axis (eccentric) lens that ideally condenses light 50 from a subject at the position of coordinates (x L , y 0 ) is provided.
  • an off-axis (eccentricity) such that the light 50 from the subject is ideally collected at the position of the coordinates (x R , y 0 ).
  • the polarization in the x-axis direction of the light 50 from the subject forms an image around the position of the coordinates (x L , y 0 ) on the image plane on the pixel array 52a.
  • polarization in the y-axis direction of the inner is imaged about a position of the coordinate (x R, y 0) in the imaging plane of the pixel array 52a. That is, the wavefront control element 53 can spatially separate two orthogonally polarized lights of the light 50 from the subject and form an image at different positions on the pixel array 52a.
  • An image is formed around the position of y 0 ).
  • a set of imaging units included adjacent to the wavefront control elements 53 and 54 is configured, and the set of imaging units is arranged two-dimensionally and continuously in the imaging unit array 55 to form an imaging unit array.
  • the wavefront control elements 53 and 54 hardly absorb the light 50 from the subject by the microstructure support substrate 53a and the microstructure 53b, and the microstructures are arranged at intervals smaller than the wavelength of the light 50 from the subject. Since the structure 53b is disposed, unnecessary light diffraction does not occur. Further, by appropriately setting the shape of the microstructure 53b to match the impedance between the microstructure 53b and the microstructure support substrate 53a, the light between the microstructure 53b and the microstructure support substrate 53a is adjusted. Can be suppressed.
  • the light 50 from the subject is separated into a plurality of polarized lights by the wavefront control elements 53 and 54 with almost no loss of power, and each of the separated polarized lights forms an image on the pixel array 52a. Therefore, when a plurality of polarization images are generated by using the wavefront control elements 53 and 54, it is possible in principle to perform light generation with high light utilization efficiency close to 100%.
  • the wavefront control elements 53 and 54 having the polarization separation function and the imaging function of the present embodiment can be manufactured by thin film deposition means and patterning means used in known semiconductor manufacturing technology.
  • the wavefront control elements 53 and 54 in the present embodiment have a pattern formed by the fine structure 53a having a constant height, there is a high possibility that the wavefront control elements 53 and 54 can be easily manufactured at low cost.
  • the wavefront control elements 53 and 54 themselves serve both as the imaging optical system and the polarization splitting optical system, the number of components is smaller and the mounting cost is lower than before.
  • FIG. 9 is a schematic top view of a set of imaging units including three imaging units including an imaging unit capable of separating polarization in each rotation direction of circularly polarized light.
  • the imaging unit array 90 is configured to include a third wavefront control element 91 in addition to the first wavefront control element 53 and the second wavefront control element 54 shown in FIG.
  • the imaging unit array 90 is two-dimensionally continuous with this configuration as a set of imaging units.
  • the polarization images corresponding to the respective polarization directions are determined by the number of imaging units included in the imaging unit array 90. It can be generated for twice as many.
  • FIG. 10 is a schematic diagram showing a difference in crosstalk suppression before and after the barrier 101 is installed with respect to the configuration of the imaging unit array 55 when a plurality of polarization images are generated by the configuration of the imaging unit array 55 shown in FIG.
  • FIG. 10A is a top view of an imaging unit array 55 including a first wavefront control element 53 and a second wavefront control element 54.
  • FIG. 10B is a side sectional view of the imaging unit array 55 along Xb-Xb in FIG.
  • FIG. 10C is a top view of a configuration in which a barrier 101 is further provided in the imaging unit array 55.
  • FIG. 10D is a side sectional view of the imaging unit array 55 provided with the barrier 101 along Xd-Xd in FIG. 10C.
  • crosstalk may occur near the boundary between a plurality of polarization images formed on the pixel array 52a.
  • This crosstalk may cause degradation of the image after reconstruction and a decrease in the polarization extinction ratio (polarization intensity in a desired direction / polarization intensity in other directions).
  • the configuration of the imaging unit array 55 in the second modified example of the present embodiment has a configuration in which a barrier 101 is provided at a boundary between adjacent imaging units in order to avoid this crosstalk. As shown in FIG.
  • the barrier 101 is located between the pixel array 52a and the first wavefront control element 53 and the second wavefront control element 54, and the first wavefront control element 53 and the The two wavefront control elements 54 and the pixel array 52a are provided so as to be substantially perpendicular to each other.
  • the barrier 101 is preferably made of a material that absorbs the light 100 from the subject and does not generate stray light, or a member that has been subjected to surface processing so as to have a similar function. If the overlap of the polarized light beams separated by the respective wavefront control elements 53 and 54 provided in the adjacent imaging units is completely blocked by the barrier 101, the crosstalk between the polarized images generated by the adjacent imaging units is reduced. Can be completely removed. In addition, even if it is a partial barrier that cannot completely block the overlap of the polarized light beams separated by the respective wavefront control elements provided in the adjacent imaging units, for example, a low-height barrier, the crosstalk may be reduced.
  • the height and position of the barrier 101 may be determined according to the use, the manufacturing process, or the mounting process as long as the effect can be reduced.
  • FIG. 11 is a schematic diagram showing the configuration of an imaging unit array 55 applied to the polarization imaging system according to the second embodiment of the present invention.
  • FIG. 11A is a part of a top view of the imaging unit array 55
  • FIG. 11B is a side sectional view of the imaging unit array 55 along XIb-XIb in FIG. 11A. It is.
  • the configuration of the imaging unit array 55 in the present embodiment is different from the configuration of the imaging unit array 55 in the first embodiment in that a polarizing filter array 111 is provided above the pixel array 52a. Further arranged.
  • a polarizing filter array 111 is provided above the pixel array 52a.
  • two polarization filters 111a and 111b whose transmission axes are orthogonal to each other are arranged.
  • the polarizing filters 111a and 111b are arranged corresponding to the image forming positions of the two polarized lights separated by the wavefront control element 53.
  • the polarization filter array 111 is made of a metal wire grid, a photonic crystal, or the like, and can be realized by a known technique.
  • components other than the polarization filter array 111 are the same as those in the first embodiment.
  • each polarized light separated from the light 110 from the subject by the wavefront control element 53 always passes through the polarizing filter 111a or 111b corresponding to the polarization direction. Thereafter, each polarized light forms an image on the pixel array 52a.
  • the polarization filter array 111 is arranged so that the polarization direction of the separated polarized light and the direction of the polarization transmission axis of the polarization filters 111a and 111b corresponding to the polarization direction match.
  • the first effect is an effect of greatly reducing the influence of crosstalk in the imaging unit array 55.
  • crosstalk may occur near the boundary between two images composed of polarization components formed at different positions on the pixel array 52a.
  • the configuration is such that the polarization filters 111a and 111b are further provided in one imaging unit in the present embodiment, as shown in FIG. , The crosstalk between two polarized images separated and formed in one imaging unit can be completely removed.
  • the second effect is an effect of improving the polarization extinction ratio of two polarized images in one imaging unit.
  • the polarization in a predetermined direction is separated from the light 110 from the subject due to the configuration of the wavefront control element 53 or the influence of a dimensional error or the like generated when the wavefront control element 53 is manufactured.
  • the polarization extinction ratio of the separated polarized light cannot be sufficiently ensured.
  • the polarization filtering is performed twice by the wavefront control element 53 and the polarization filter array 111, and the separated polarized light is filtered. It is possible to improve the polarization extinction ratio.
  • the above-described effect can be obtained while maintaining high light use efficiency. This is because, after the polarization in a predetermined direction is separated by the wavefront control element 53, the separated polarization is filtered by the polarization filter array 111, so that the total amount of light reaching the pixel array 52a is hardly reduced. It is.
  • the above-described first and second effects can be obtained in addition to the effects obtained in the first embodiment. Further, modifications similar to those of the first embodiment are possible.
  • FIG. 12 is a schematic diagram showing a configuration of an imaging unit array applied to the polarization imaging system according to the third embodiment of the present invention.
  • FIG. 12A is a part of a top view of the imaging unit array including the wavefront control elements 53 and 54
  • FIG. FIG. 2 is a side sectional view of a portion that is continuous along an axis.
  • the configuration of the imaging unit array in the present embodiment is different from the configuration of the imaging unit array in the first embodiment in that a color filter array 121 is further arranged above the pixel array 52a.
  • a color filter array 121 is further arranged above the pixel array 52a.
  • three color filters 121a, 121b, and 121c that selectively transmit the three primary colors red (R), green (G), and blue (B) in the visible light band, respectively, are arranged horizontally with the pixel array 52a.
  • a color filter array 121 which is configured to be connected so as to face each other is arranged.
  • there is no limitation on the wavelength range of the light 120 from the subject and there is no limitation on the number of types of color filters to be used and the band to be used.
  • the arrangement pattern of the color filters 121a, 121b, 121c in the color filter array 121 in the xy plane that is, in the plane parallel to the pixel array 52a.
  • the arrangement pattern shown in FIG. 12A an arrangement similar to the Bayer arrangement employed in a general color image sensor can be employed.
  • the position where the color filter array 121 is disposed is not limited to the position above the pixel array 52a, and may be disposed above the wavefront control element 53, for example, as shown in FIG.
  • the color filter array 121 is composed of an organic material, an inorganic material, a metal nanohole array, or the like, and can be realized by a known technique.
  • the color filter array 121 is a set of one or more (two in FIG. 12A) imaging units and a set of polarization imaging units.
  • one of a plurality of types (three types in FIG. 12A) of color filters 121a, 121b, and 121c is arranged so as to correspond thereto.
  • the two-dimensional distribution of the phase delay amount of the off-axis lens is designed for the wavefront control elements 53 and 54 constituting each imaging unit using the transmission wavelengths of the corresponding color filters 121a, 121b and 121c. (See equation (1)).
  • the focal length of the off-axis lens is set to be equal in all the imaging units.
  • the imaging unit array in this embodiment has the same components other than the color filter array 121.
  • one type of color filter 121a, 121b, or 121c is arranged for one set of imaging units. Therefore, the polarization image generated by each imaging unit is always transmitted through the color filters 121a, 121b, and 121c corresponding to each imaging unit, and then photoelectrically converted on the pixel array 52a.
  • the focal lengths of the wavefront control elements 53 and 54 constituting each imaging unit are designed using the transmission wavelengths of the corresponding color filters so that all the imaging units have the same focal length. Therefore, the polarization images generated by the respective imaging units have different wavelength ranges, the same optical magnification, and almost no focus shift.
  • the focal length differs depending on the wavelength (color) of the incident light beam, and blur called chromatic aberration occurs. That is, since the distance between the imaging surface and the object differs for each wavelength, a wavelength range where focus is achieved and a wavelength range where focus is not achieved are mixed, and an optical image is obtained in a wide wavelength range (for example, the entire visible light band). Is generated, the color contrast of the image is reduced.
  • the wavefront control elements 53 and 54 function as off-axis lenses, the focal length mainly changes. Therefore, in the first embodiment, when performing polarization imaging in a wide wavelength range (for example, the entire visible light band), a clear image in a specific wavelength range may not be obtained due to the influence of chromatic aberration.
  • a polarized image having the same optical magnification and a small out-of-focus is generated for each wavelength range of the color filters 121a, 121b, and 121c.
  • the signal processing unit 35 performs signal processing and image rearrangement according to the two-dimensional position of the imaging unit array on all of the generated polarization images, so that a clear polarization image whose resolution is restored for each wavelength region is obtained. Can be generated.
  • a clear polarized image can be generated in each of the R, G, and B wavelength ranges.
  • light intensity images for each of the R, G, and B wavelength ranges can be extracted from these polarization images, it is also possible to generate an RGB color image in which the influence of chromatic aberration is reduced.
  • the number of pixels used in the resolution recovery processing in one wavelength range is different from that of the first embodiment.
  • the resolution of the polarized image generated after the resolution restoration processing is reduced.
  • the same imaging can be performed by selectively extracting only the photoelectric conversion signal corresponding to the color corresponding to each imaging unit.
  • the effects obtained in the first embodiment can be obtained, the influence of chromatic aberration in the imaging optical system can be reduced, and the number and types of the color filters 121a, 121b, 121c can be reduced.
  • This embodiment can be modified in the same manner as the first embodiment.
  • the present embodiment can coexist with the configuration including the polarization filter array 111 in the second embodiment, and it is also possible to obtain the effects of the polarization filter array 111 and the color filter array 121 at the same time.
  • Imaging optical system 13 Image sensor 13a Polarizing filter 13b Image sensor 22 Micro lens array 23a Polarizing filter array 23b Image sensors 30, 40, 50, 60a, 60b, 110, 120 Light from subject 33, 55, 90 Imaging unit array 33a Wavefront control element array 33b, 42a Pixel array 33c, 42b, 52b Substrate 34 Wiring 35 Signal processing unit 36 Image signal output paths 43, 53, 54, 91 Wavefront control elements 43a, 53a, 60 Microstructure support substrate 43b, 51, 53b Microstructure 111 Polarization filter array 111a, 111b Polarization filter 121 Color filter array 121a, 121b, 121c Color filter

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Polarising Elements (AREA)
  • Blocking Light For Cameras (AREA)
  • Optical Filters (AREA)
  • Studio Devices (AREA)

Abstract

光強度を減退させることなく、被写体の複数の偏光画像を同時に生成する。複数の撮像ユニットが二次元的に配列している撮像ユニットアレイを備え、撮像ユニットは、複数の微細構造体を有する１つの波面制御素子と、波面制御素子に対向するように配置され、波面制御素子に対応する複数の画素が二次元配列されて含まれている画素アレイと、を備え、被写体からの光が１つの波面制御素子により、第１の偏光と第１の偏光と直交する方向または第１の偏光と反対の回転方向を有する第２の偏光とに空間的に分離され、第１の偏光が画素アレイ上の第１の集光位置に集光され、第２の偏光が画素アレイ上の第２の集光位置に集光される、偏光イメージング撮像システムを提供する。

Description

偏光イメージング撮像システム
　本発明は、偏光分離を可能とする波面制御素子を複数備える偏光イメージング撮像システムに関する。
　従来の一般的な撮像素子は、結像光学系および二次元イメージセンサ（電荷結合素子（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ、以下ＣＣＤという）センサや相補型金属－酸化物－半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ、以下Ｃ－ＭＯＳという）センサ）などのイメージセンサを含んで構成され、被写体からの光の強度情報と色情報とを含むデータを取得する。そのデータを処理することにより二次元画像が形成される。ここで、「被写体からの光」とは、被写体である物体から光が放射され、またはその被写体とは分離されている光源から放射した光がその被写体に照射されることにより、その被写体がその光を反射または散乱した光のことを指す。
　上記データを取得する際に、被写体からの光の偏光情報について無視されることが多い。しかしながら、光の偏光情報には、被写体の表面の形状や材料の状態に関する情報など、単に、光の強度とその色、すなわち波長からは取得不可能な有益な情報が含まれている。一般的に、被写体からの光の偏光状態について二次元情報として撮像する手法を偏光イメージングという。従来の通常の偏光イメージングでは、被写体が結像される結像面上において、結像面に平行な任意の１方向を基準にしてその方向を０°とした場合、光軸に平行な軸を中心に４５°、９０°、および１３５°だけ回転させた方向におけるそれぞれの偏光の光強度を取得する。これにより、被写体からの光の偏光状態を表現する４つのストークスパラメータのうち３つを得ることができ、具体的には、光強度、偏光方向、および偏光度の情報を得ることができる。これらの情報を含むデータから二次元画像を生成することにより、被写体の表面形状の推定、被写体の材料の応力状態のデータ取得、または被写体についての物体認識技術等への応用を図ることが可能となる。この取得されるデータの特徴から、偏光イメージングは、天文学、医療、またはセンシング技術等の分野への応用に向けて、これまで多くの研究開発がなされてきた。
　特に近年では、車載用カメラ、ＩｏＴ（Ｉｎｔｅｒｎｅｔ　ｏｆ　Ｔｈｉｎｇｓ）デバイス、医療用デバイス等について、被写体からの光の偏光情報を含む多次元の情報を取得する目的のために、作製が簡易で、かつ高感度で小型な偏光イメージング装置の実現が期待されている。
　これまで、偏光イメージングを実現する方法として微細加工技術を利用した偏光イメージングセンサが提案されている。例えば、透過光の偏光方向が所定に設定されている複数の金属ワイヤーグリッドにより形成された偏光フィルタをイメージセンサの各ピクセル上に集積することにより、４つの異なる偏光方向の光をピクセル毎に取得するための装置構成および方法が提案されている（非特許文献１）。
　図１は、一般的な結像光学系と吸収型偏光フィルタを備えるイメージセンサとを含んで構成される従来の偏光イメージング装置の例を示す模式図である。図１（ａ）は、被写体１１、結像光学系１２、および撮像素子１３の配置関係を示す模式図であり、図１（ｂ）は、撮像素子１３の複数の領域とその領域において検出される光の偏光方向との対応関係を示す斜視図である。図１（ａ）の右端は、撮像素子１３上に描かれた点線の矩形部分を拡大したものである。この構成により、偏光情報を含む二次元画像、すなわち偏光画像の生成が可能である。非特許文献１に開示される事項を図１を用いて説明する。撮像素子１３は、偏光フィルタ１３ａとイメージセンサ１３ｂを備えている。偏光フィルタ１３ａおよびイメージセンサ１３ｂは平板形上であって、図１（ｂ）に示されるように複数の領域に分割されている。そして、偏光フィルタ１３ａおよびイメージセンサ１３ｂの複数に分割された領域は、図１（ａ）右端図に示されるように、互いに大きさと位置が一致している。偏光フィルタ１３ａの複数の領域は、紙面に対して平行な方向に電場が振動する偏光（以下、縦偏光という）のみを通過させる領域と紙面に対して垂直な方向に電場が振動する偏光（以下、横偏光という）のみを通過させる領域を含んでいる。撮像素子１３上に集光された入射光１０は、例えば部分偏光であって偏光と非偏光とが混在した光である。
　まず、被写体１１からの光は、結像光学系１２を介して撮像素子１３上に集光される。次に、撮像素子１３上に集光された入射光１０は、偏光フィルタ１３ａの複数の領域を通過させることにより縦偏光のみの光および横偏光のみの光となり、偏光フィルタ１３ａの複数の領域に対応するイメージセンサのそれぞれの領域へと入力される。その結果、図１（ｂ）に示されるように、イメージセンサ１３ｂ上において縦偏光および横偏光に対応する二次元画像が生成される。
　同様の手法として、微細構造からなる波長板と偏光フィルタをセンサ上に集積する方法やフォトニック結晶による偏光フィルタアレイをセンサ上に集積する方法が提案されている。
　図１に示す従来の撮像装置による変更画像の生成方法は、一度の撮像操作により被写体１１からの光の偏光状態の取得を可能にするものの、結像光学系１２を含めた偏光イメージング装置全体の小型化は困難である。これは、結像光学系１２と撮像素子１３との距離、すなわち偏光イメージング装置全体の厚みが結像光学系１２の焦点距離により決定されるためである。ここで、偏光イメージング装置全体を薄くするには、結像光学系１２として短い焦点距離をもつレンズを採用する必要があるが、レンズの口径や厚み、それを実現するための加工方法等の律束により、図１に示される偏光イメージング装置の構成では短い焦点距離とすることが難しい。したがって、イメージセンサ１３ｂに入力される光量を低下させ、すなわちレンズ口径を小さくしなければ装置の小型化を実現することが難しい。
　そのような背景から、偏光イメージング装置全体の大幅な小型化を可能とする構成として、複眼を構成するマイクロレンズアレイと偏光フィルタアレイとを組み合わせた構成が提案されている（非特許文献２）。
　図２は、複数のレンズを備えるマイクロレンズアレイと複数のレンズのそれぞれに対応する偏光フィルタを備える偏光フィルタアレイとを組み合わせて構成された偏光イメージング装置の例を示す模式図である。非特許文献２において開示される事項を図２を用いて説明する。この偏光イメージング装置は、結像光学系として複数のレンズから構成されるマイクロレンズアレイ２２が用いられ、その複数のレンズのそれぞれについて偏光フィルタアレイ２３ａの複数の領域を対応させるように偏光フィルタアレイ２３ａが配置され、偏光フィルタアレイ２３ａを通過した光が入力されるようにイメージセンサ２３ｂが配置されている。ここで、マイクロレンズアレイ２２、偏光フィルタアレイ２３ａ、およびイメージセンサ２３ｂは、それらの長手方向がそれぞれ平行となるように配置されている。さらに、偏光フィルタアレイ２３ａは、マイクロレンズアレイ２２とイメージセンサ２３ｂとの間に２個配置されている。この２個の偏光フィルタアレイ２３ａは、それぞれ複数の領域に分割されており、その分割された領域のそれぞれにおいて、入射光２０の縦偏光または横偏光のみを選択的に通過させる機能を有している。
　まず、被写体２１からの光は、マイクロレンズアレイ２２を介して一方の偏光フィルタアレイ２３ａ上の複数の領域のそれぞれの上に集光する。次いで、一方の偏光フィルタアレイ２３ａを通過した光は、通過する領域に対応して縦偏光および横偏光となり、さらに他方の偏光フィルタアレイ２３ａを通過してイメ－ジセンサ２３ｂに入力される。その結果、イメージセンサ２３ｂ上において縦偏光および横偏光に対応する二次元画像が生成される。
　図２に示される偏光イメージング装置の構成は、上記の動作により被写体２１からの光の偏光方向毎の二次元画像を同時に複数取得することができる。さらに、取得した二次元画像のデータに対して画像再構成アルゴリズム等を適用することにより、二次元画像の解像度を回復することも可能である（非特許文献２）。
　図２の複眼構成は、図１の単眼構成に比べて、ひとつのレンズの口径を大幅に小さくすることが可能なため、短焦点距離での結像が容易となる。したがって、単眼よりも複眼による構成の方が、イメージセンサに入力される光量を減少させずに、偏光イメージング装置の小型化が可能である。
Viktor Gruev， Rob Perkins， and Timothy York， CCD polarization imaging sensor with aluminum nanowire optical filters，" Optics Express， 30 August 2010， Vol. 18， No. 18， pp.19087-19094 Jun Tanida， Tomoya Kumagai， Kenji Yamada， Shigehiro Miyatake， Kouichi Ishida， Takashi Morimoto， Noriyuki Kondou， Daisuke Miyazaki， and Yoshiki Ichioka， "Thin observation module by bound optics (TOMBO)： concept and experimental verification，" ，Applied Optics， 10 April 2001， Vol. 40， No. 10， pp.1806-1813
　しかしながら、上記の非特許文献１および非特許文献２に開示される従来の構成による撮像方法には２つの課題がある。
　まず、非特許文献１および非特許文献２に開示される構成による従来の撮像方法が共に有する課題は、減光型偏光フィルタを使用することに起因するイメージセンサにおける光検出効率低さである。減光型偏光フィルタは、光が進行する軸を含む平面に平行な偏光のみを透過させ、それと垂直な方向の偏光を反射または吸収する特性を有する。したがって、従来の構成による撮像方法では、イメージセンサに到達する総光量は必然的に低下し、具体的には、偏光イメージング装置に入力した光量の５０％まで低下する。すなわち、減光型偏光フィルタを構成中に使用することにより、高効率・高感度な偏光イメージング装置を実現することが困難である。
　さらに、非特許文献２に開示される従来の構成では、結像光学系に加えて、少なくとも１つの偏光フィルタアレイ２３ａの位置を各偏光フィルタが対応するイメージセンサ２３ｂまたはレンズアレイ２２のレンズと厳密に整合させて、偏光フィルタアレイ２３ａをイメージセンサ２３ｂまたはレンズアレイ２２の近傍に集積配置する必要があり、一般的な撮像素子１３と比べて、作製コストおよび実装コストが増大する課題がある。
　本発明は、上記の問題点に鑑みてなされたもので、その目的は、高感度に偏光情報を取得でき、簡易に作製でき、かつ小型化が容易な、偏光画像を生成するための撮像システム（以下で、偏光イメージング撮像システムという）を提供することにある。
　本発明の一実施形態は、光強度を減退させることなく、被写体の複数の偏光画像を同時に生成する偏光イメージング撮像システムであって、複数の撮像ユニットが二次元的に配列している撮像ユニットアレイを備え、撮像ユニットは、複数の微細構造体を有する１つの波面制御素子と、波面制御素子に対向するように配置され、波面制御素子に対応する複数の画素が二次元配列されて含まれている画素アレイと、を備え、被写体からの光が１つの波面制御素子により、第１の偏光および第１の偏光と第１の偏光と直交する方向または第１の偏光と反対の回転方向を有する第２の偏光とに空間的に分離され、第１の偏光が画素アレイ上の第１の集光位置に集光され、第２の偏光が画素アレイ上の第２の集光位置に集光される、偏光イメージング撮像システムを提供する。
　本発明によれば、高い光利用効率で偏光情報を取得することが可能なイメージング装置を実現することができ、かつ小型化が容易なため、偏光イメージング装置を様々なデバイスへ組み込みことを可能とする他、携帯可能な小型イメージング装置として利用することができる。さらに、既存のイメージセンサの直上に、波面制御素子を直接作製するまたは装着するだけで装置を構成することができるため、生産性が優れるとともに、部品点数が少なく済むため、抵コストな偏光イメージング装置を実現できる。
一般的な結像光学系と吸収型偏光フィルタを備えるイメージセンサとを含んで構成される従来の偏光イメージング装置の例を示す模式図である。 複数のレンズを備えるマイクロレンズアレイと複数のレンズのそれぞれに対応する偏光フィルタを備える偏光フィルタアレイとを組み合わせて構成された偏光イメージング装置の例を示す模式図である。 本発明の一実施形態である偏光イメージング撮像システムの構成を示す模式図である。 本発明の一実施形態の偏光イメージング撮像システムの構成要素である撮像ユニットの構成例の模式図である。 第１の実施形態における偏光イメージング撮像システムの構成を示す模式図である。 波面制御素子５３，５４に配置されている柱状の微細構造体６０の模式図である。 第１の波面制御素子５３上に配置されている微細構造体５１により形成されるパターンおよびそのパターンに対応する被写体からの光５０の位相遅延量の一次元分布の対応関係を示す図である。 第２の波面制御素子５４上に配置されている微細構造体５１により形成されるパターンおよびそのパターンに対応する被写体からの光５０の位相遅延量の一次元分布の対応関係を示す図である。 円偏光の回転方向毎にて偏光の分離が可能な撮像ユニットを含む３つの撮像ユニットから構成される１組の撮像ユニットの上面模式図である 撮像ユニットアレイ５５の構成により複数の偏光画像が生成する場合に、撮像ユニットアレイ５５の構成に対して障壁１０１を設置する前後におけるクロストーク抑制の差異を示す模式図である。 本発明の第２の実施形態による偏光イメージング撮像システムに適用する撮像ユニットアレイ５５の構成を示す模式図である。 本発明の第３の実施形態による偏光イメージング撮像システムに適用する撮像ユニットアレイの構成を示す模式図である。 本発明の第３の実施形態による偏光イメージング撮像システムに適用する撮像ユニットアレイの別の構成を示す模式図である。
　以下、本発明の実施形態について詳細に説明する。また、本発明の実施形態は、本発明の要旨の範囲を逸脱しない限り、以下の例示に何ら限定されることなく置換、変形を行うことが可能である。
　はじめに、本発明の実施形態を説明する前に、本発明の一実施形態である偏光イメージング撮像システムの構成および撮像ユニットの動作について以下に概説する。
（１）偏光イメージング撮像システムの構成
　図３は、本発明の一実施形態である偏光イメージング撮像システムの構成を示す模式図である。本発明の一実施形態の偏光イメージング撮像システムの基本構成は、光電変換素子を含む画素が二次元的に複数配列している画素アレイ３３ｂと波面制御素子が二次元的に複数配列している波面制御素子アレイ３３ａとを備える撮像ユニットアレイ３３および信号処理部３５を備える。画素アレイ３３ｂ中の１つの矩形領域が１つの画素を指す。撮像ユニットアレイ３３は、基板３３ｃ上に載置されている。撮像ユニットアレイ３３は、基板３３ｃおよび配線３４を介して信号処理部３５と電気的に接続されている。
　なお、画素アレイ３３ｂは、光電変換素子アレイ、マイクロレンズアレイ、透明層、カラーフィルタアレイ、配線層その他の画像形成素子を構成するために必要な要素を備え得る。これら要素は、本願明細書に添付した図面中では省略されている。
　また、画素アレイ３３ｂは、配線層が配置されていない側面から光が入力される裏面照射型、配線層が配置されている側面から光が入力される表面照射型のいずれの構造も採用することができる。撮像ユニットアレイ３３について説明する。撮像ユニットアレイ３３は、撮像ユニットが二次元的に複数配列して構成されている。１つの撮像ユニットは、波面制御素子アレイ３３ａの内の１つの波面制御素子に対して、画素アレイ３３ｂの内の複数の画素が対応するように形成されている。
　また、波面制御素子のそれぞれは、被写体からの光３０の各光束の偏光方向に応じて、偏光方向毎に画素アレイ３３ｂ上の異なる位置に波面制御素子３３ａを通過した光を結像させる機能を備える。
　信号処理部３５は、基板３３ｃおよび配線３４を介して画素アレイ３３ｂから出力される光電変換信号を処理して画像信号を生成する。信号処理部３５は、生成した画像信号を外部に送出する画像信号出力経路３６を備える。
　なお、本発明の一実施形態である偏光イメージング撮像システムは、赤外光を遮断するための光学フィルタ、電子シャッタ、電源、フラッシュライトその他の偏光イメージング撮像システムを構成するための公知の要素を備え得る。これら要素についての説明は、本願明細書において省略され、本願明細書に添付した図面中においても省略されている。
（２）撮像ユニットの動作
　図４は、本発明の一実施形態の偏光イメージング撮像システムの構成要素である撮像ユニットの構成例の模式図である。図４は、１つの撮像ユニットの側断面を示している。
　まず、撮像ユニットの構成について説明する。撮像ユニットは、１つの波面制御素子４３と複数の画素が基板４２ｂ上に二次元的に配列している画素アレイ４２ａとを含んで構成されている。この例では、波面制御素子４３は、微細構造体支持基板４３ａの片側面上に高さが一定の複数の微細構造体４３ｂが垂直に立設されて構成されている。この例において、微細構造体４３ｂのそれぞれの形状は柱状である。波面制御素子４３の構造はこの構造に制限されることはなく、特に微細構造体４３ｂは、配置数や配置間隔、形状、微細構造体支持基板４３ａ上における配列パターンにおいて様々な形態をとり得る。また、微細構造体４３ｂは、それぞれが接続し連結していてもよく、また被写体４１からの光４０に対して透明な、すなわち光吸収を生じない材料の内部に埋め込まれた形態とすることもできる。
　以下で説明する本発明の一実施形態において、波面制御素子４３の微細構造体４３ｂの材料は、被写体からの光４０の波長に応じて適宜選択されることが好ましい。
　被写体からの光４０の波長が３８０乃至８００ｎｍの範囲の可視光領域である場合は、窒化ケイ素（Ｓｉ3Ｎ4）、炭化ケイ素（ＳｉＣ）、二酸化チタン（ＴｉＯ2）、窒化ガリウム（ＧａＮ）その他無機炭化物または無機窒化物を含む材料が、屈折率が高く、光の吸収損失が小さいため好適に用いることができる。
　また、被写体からの光４０の波長が８００乃至１０００ｎｍの範囲の近赤外領域である場合は、その波長域の光に対して吸収損失が小さい材料として、ケイ素（Ｓｉ）、ＳｉＣ、ＳｉＮ、ＴｉＯ2、ヒ化ガリウム（ＧａＡｓ）、ＧａＮ等の材料を好適に用いることができる。
　被写体からの光４０の波長が、近赤外領域の内上記よりもさらに長波長の近赤外領域、具体的には、光通信用波長領域である１．３μｍ近傍の波長帯や１．５５μｍ近傍の波長帯では、上記の材料に加えて、リン化インジウム（ＩｎＰ）等を採用することができる。
　さらに、貼り付け、塗布して微細構造体４３ｂを微細構造体支持基板４３ａ上に接着法、塗布法等により形成する場合、微細構造体４３ｂの材料は、フッ素化ポリイミド等のポリイミド樹脂、ＵＶエポキシ樹脂等の光硬化性樹脂、、ポリメタクリル酸メチル（ＰＭＭＡ）等のアクリル樹脂、フォトレジスト等の光感光性有機材料、またはベンゾシクロブテン（ＢＣＢ）などの有機材料を好適に用いることができる。
　同様に、微細構造体４３ｂの周囲の構造の材料および微細構造体支持基板４３ａの材料は、一般的な無機ガラス材料、二酸化ケイ素（ＳｉＯ2、）、空気等が好適である。それらの屈折率が微細構造体４３ｂの材料の屈折率より低く、被写体からの光４０の波長に対して小さな吸収損失を示す限り、特段の制限がなく選択することが可能である。　微細構造体４３ｂの断面の形状は、、柱状に限定されず、中空四角形、十字形、円形、中空円形などの形状を採用することができる。これらの形状においても、後述する位相遅延効果をもたらす光導波路としての機能を失うことなく、形状に応じた偏光依存性を与えることも可能である。
　次に、撮像ユニットの動作について説明する。波面制御素子４３は、後述するように、被写体からの光４０が微細構造体４３ｂに入力された時に微細構造体４３ｂにおいて生じる位相遅延効果を利用することにより、波面制御素子４３に入力された被写体からの光４０を、第１の偏光方向を有する第１の偏光と第１の偏光方向と直交する第２の偏光方向を有する第２の偏光とに分離して、第１の偏光方向（図４において紙面に平行な方向）および第２の偏光方向（図４において紙面に垂直な方向）に対応してそれぞれの進行方向を決定し、第１の偏光と第２の偏光を画素アレイ４２上の異なる位置に結像させる機能を有する。ここで、微細構造体４３ｂにおいて生じる位相遅延効果は、被写体からの光４０の偏光方向、微細構造体４３ｂの形状および／または寸法に依存する。
　図４の波面制御素子４３と画素アレイ４２ａとの間において、第１の偏光は実線に沿って画素アレイ４２上で結像し、第２の偏光は点線に沿って画素アレイ４２上で結像し、互いの結像位置は異なっている。すなわち、本発明の実施形態では、被写体からの光４０の光束は、各撮像ユニット４３に含まれる波面制御素子４３によって、互いに直交する２つの偏光に分離され、それらの偏光方向に対応して進行方向がそれぞれ決定され、画素アレイ４２ａ上の異なる位置でそれぞれ結像する。
　この動作により、被写体からの光４０が画素アレイ４２ａに到達するまでに総光量を減退することなく、１つの撮像ユニットにつき、互いに直交する偏光方向を有する２つの偏光画像を得ることが可能になる。また、波面制御素子４３毎に所定の第１の偏光方向を設定することで、様々な偏光方向に対応する偏光画像を画素アレイ４２ａ上において同時に取得できる。画素アレイ４２ａを構成する画素に対して結像した偏光が入力されると、各画素に含まれる光電変換素子によって入力された偏光の強度に応じた電気信号である光電変換信号が基板４２ｂから出力される。これにより、１つの撮像ユニットにつき、被写体からの光４０の内の２つの偏光に対応する２つの光電変換信号を同時に出力することができる。
　さらに、複数の撮像ユニットで取得された光電変換信号に基づき信号処理部３５において生成された複数の画像信号に対して、撮像ユニットアレイ３３内の撮像ユニット４３の二次元位置に応じた信号処理および画像再配置処理を行うことにより、例えば、解像度が大幅に回復された各偏光画像を取得することができる。
　本発明の一実施形態の偏光イメージング撮像システムにおける撮像ユニットアレイによれば、減光型偏光フィルタを用いることなく、波面制御素子アレイ３３ａを用いて光の吸収損失を小さくして偏光を分離し結像させることにより、偏光画像を得ることができる。したがって、減光型偏光フィルタを用いた従来の偏光イメージング撮像システムと比較して、画素アレイ３３ｂに到達する総光量を増加させることができ、撮像感度を高めることが可能となる。
　さらに、この撮像ユニットアレイの構成は、被写体からの光３０に対する撮像ユニットアレイ３３全体の開口を保ったまま、各撮像ユニットの開口（マイクロレンズアレイ２２の各レンズの口径に相当）を小さくすることができ、それに応じて波面制御素子アレイ３３ａと画素アレイ３３ｂとの距離、すなわち焦点距離を大幅に短くすることが可能である。すなわち、撮像ユニットアレイは、従来の偏光イメージング装置よりも容易に小型化することができる。また、１つの撮像ユニットの開口の小型化に伴い、撮像ユニットアレイ３３に配列される撮像ユニットの数が増加する。
　さらに、各撮像ユニットは、短い焦点距離を有する結像光学系となるために被写界深度が深くなり、被写体３１と撮像ユニットアレイ３３との距離の大小に影響されにくく、被写体３１の前後のピントが同時に合いやすい。すなわち、撮像ユニットアレイ３３は、被写体３１に対するピントの調整機構を特段必要としない。
　また、撮像ユニットアレイ３３は、一層の波面制御素子アレイ３３ａとイメージセンサである画素アレイ３３ｂとを含む構成のみにより偏光イメージングを行うことが可能である。そのため、非特許文献１および２に開示される従来の偏光イメージング装置と比べて、より高い生産性を有し、および部品点数がより少なくなるという技術的特徴を有するため、より抵コストな偏光イメージング装置を実現できる。
　さらに、本発明の偏光イメージング撮像システムでは、各撮像ユニットアレイ３３内における各撮像ユニットの二次元位置によって異なる被写体からの光３０の光束の角度に差異を利用して、信号処理部３５において生成した画像信号に対して画像再構成アルゴリズムを用いて処理することにより、撮像ユニットアレイ３３と被写体３１との間の距離情報の取得、およびリフォーカスも可能である。したがって、本発明の一実施形態の偏光イメージング撮像システムは、被写体からの光３０の内の所定の偏光情報および被写体３１との距離情報を有する画像を同時に生成することができる。
（第１の実施形態）
　以下、第１の実施形態における偏光イメージング撮像システムの構成の概略について説明する。
　図５は、第１の実施形態における偏光イメージング撮像システムの構成を示す模式図である。図５（ａ）は、撮像ユニットアレイ５５の上面図の一部である。図５（ｂ）は、撮像ユニットアレイ５５のＶｂ－Ｖｂに沿う側断面図である。
　図５（ｂ）に示されるように、光電変換素子を含む複数の画素が二次元配列して配置している画素アレイ５２ａの上方に、複数の波面制御素子が二次元配列している波面制御素子アレイ５３が互いに対向するように配置されている。撮像ユニットアレイ５５は、二次元的に更に連続して配列しており、図５（ａ）中の撮像ユニットアレイ５５はその一部である。
　また、図５（ｂ）における波面制御素子５３の断面は、１つの波面制御素子である第１の波面制御素子５３の断面である。すなわち図５（ｂ）は、１つの撮像ユニットの断面を示している。
　また、図５（ａ）における撮像ユニットアレイ５５の上面図には、微細構造体支持基板５３ａを透視して、微細構造体支持基板５３ａ上に配置されている微細構造体５３ｂが描かれている。図５（ｂ）において、第１の波面制御素子５３の微細構造体支持基板５３ａ上に微細構造体５３ｂが垂直に立設されている。この微細構造体５３ｂは、それぞれの形状は柱状であって、それぞれの高さは一定である。
　以下の説明において、画素アレイ５２ａの法線方向をｚ軸、画素アレイ５２ａに平行な水平方向をx軸およびy軸として、右手系のｘｙｚ直交座標を設定する。また、ｘｙ平面上において、ｚ軸を中心にｘ軸からｙ軸方向に回転させて、ｘ軸と成す角度をθとする。
　本実施形態では、図５に示されているように、撮像ユニットアレイ５５を構成する波面制御素子アレイは、被写体からの光５０をｘ軸方向およびｙ軸方向に平行な偏光方向にそれぞれ分離して画素アレイ５２ａ上に結像する第１の波面制御素子５３と、被写体からの光５０をθ＝４５°の方向およびθ＝１３５°の方向に平行な偏光方向にそれぞれ分離して画素アレイ上に結像する第２の波面制御素子５４とから構成されている。また、本実施形態では、第１の波面制御素子５３と第２の波面制御素子５４とはｘｙ平面に平行な平面上においてｙ軸方向に沿って隣接して配置されている。つまり、撮像ユニットアレイ５５は隣接する２つの撮像ユニットから構成されている。また、第１の波面制御素子５３と第２の波面制御素子５４とは、ｙ軸方向に沿って交互に配列している。
　第１の波面制御素子５３および第２の波面制御素子５４は、それらの上面が矩形形状であり、互いに同一の面積を有している。ここで、波面制御素子５３，５４の上面の形状は長方形であることが好ましく、直交する二辺の長さの比、すなわち長方形の短辺に対する長辺の長さの比であるアスペクト比については１より大きい方が好ましい。例えば、そのアスペクト比を４：３、１６：９その他の一般的に用いられる二次元画像のアスペクト比とすることができる。
　波面制御素子の配列、形状、またはサイズ等の形態は、図５の例示に制限されることはなく、適宜様々な形態を採用することができる。例えば、第１の波面制御素子５３と第２の波面制御素子５４とが、ｘ軸方向およびｙ軸方向に沿って交互に配列し、いわゆる市松模様を形成するように配置することもできる。また、第１の波面制御素子５３と第２の波面制御素子５４とが一次元的にまたは二次元的に規則性を有さずに、ランダムに配置される構成とすることも可能である。すなわち、1つの波面制御素子を含んで構成されている撮像ユニットアレイの配列、形状、またはサイズ等についても同様である。
　被写体からの光５０を異なる偏光方向に分離する２種類の波面制御素子、すなわち本実施例における第１の波面制御素子５３および第２の波面制御素子５４が撮像ユニットアレイ５５内に含まれる数は、それぞれ等しいことが好ましい。これは、異なる偏光方向を有する複数の偏光画像間において、それらの解像度をそれぞれ等しくするためである。
　さらに、撮像素子アレイ５５を構成する波面制御素子の種類の数は、本実施形態における２種類に制限されず、Ｎ種類（Ｎは２以上の自然数）とすることができる。この場合、Ｎ種類の波面制御素子の配列の仕方、それぞれの形状、またはそれぞれサイズ等は、本実施形態における２種類の場合についての例示と同様に、適宜様々な形態を採用することができる。また、撮像素子アレイ５５に含まれる異なる種類の波面制御素子のそれぞれの数は、２種類の場合と同様に、それぞれ等しい数であることが好ましい。
　以下、本実施形態における偏光イメージング撮像システムの各構成要素の働きについて説明する。
　偏光イメージング撮像システムに入力される被写体からの光５０は、撮像ユニット毎に、第１の波面制御素子５３において、ｘ軸方向とそれと直交するｙ軸方向とに、第２の波面制御素子５４において、θ＝４５°の方向とそれと直交するθ＝１３５°の方向の偏光に分離される。次いで、分離されたそれぞれの偏光は、対応する画素アレイ５２ａ上の異なる位置でそれぞれ結像する。
　したがって、第１の波面制御素子５３を有する撮像ユニットと第２の波面制御素子５４を有する撮像ユニットとの２つの撮像ユニットを「１組の撮像ユニット」とすると、１組の撮像ユニットにつき、ｘ軸方向（θ＝０°）、ｙ軸方向（θ＝９０°）、θ＝４５°の方向、θ＝１３５°の方向を有する偏光からなる４つの偏光画像を生成できる。すなわち、本実施形態では、撮像ユニットが二次元配列して複数配置されているため、各偏光方向に対応する偏光画像を、撮像ユニットアレイに含まれる撮像ユニットの数の２倍数分生成できる。
　なお、分離される偏光方向は本実施形態の場合に限られず、波面制御素子５３，５４の構成を適宜設定することにより、被写体からの光５０の内から分離される偏光方向を自由に変更することができる。
　その次に、画素アレイ５２ａ上に生成された偏光画像は、画素アレイ５２ａの各画素内の光電変換素子によって光電変換がなされ、画素アレイ５２ａが配置される基板５２ｂの全体から、各偏光方向に対応する複数の光電変換信号が出力される。そして、信号処理部３５において、画素アレイ５２ｂから出力された複数の光電変換信号に基づいて各偏光方向に対応した画像信号が生成される。この画像信号から形成される画像は、撮像ユニット内に含まれる画素の数によって決定されるため、撮像ユニットのサイズにより画像の解像度が低くなる場合がある。
　ここで、本実施形態では、これらの光電変換信号に対して、撮像ユニットアレイ５５におけるの画素アレイの二次元位置情報を利用した（視差の影響を考慮した）信号処理を施す画像再構成アルゴリズム（非特許文献２）等の画像処理手段を適用することにより、偏光画像の解像度を大幅に回復することができる。このような画像の解像度を回復する処理（以下、解像度回復処理という）を信号処理部３５に入力された光電変換信号に対して施すことにより、図５の例の場合、ｘ軸方向（θ＝０°）、ｙ軸方向（θ＝９０°）、θ＝４５°の方向、θ＝１３５°の方向を有する偏光からなる４つの偏光画像解像度を向上させて生成することができる。
　本実施形態では、上記の４つの偏光方向に対応する偏光画像から、被写体のからの光５０の偏光状態を表現する４つのストークスパラメータのうち３つのパラメータの二次元情報を同時に得ることができ、その結果、光強度画像、偏光方向画像、および偏光度画像を同時に得ることが可能となる。さらに、本実施形態では、解像度回復処理を行う際に撮像ユニットアレイ内における各撮像ユニットの二次元位置情報を利用して、被写体についての視差情報を得ることができる。したがって、解像度が回復された各偏光画像に加えて、被写体と撮像ユニットアレイとの間の距離情報を算出することも可能である。
　以下、本実施形態における波面制御素子５３，５４について説明する。
　本実施形態における波面制御素子５３，５４は、微細構造体支持基板５３ａの方側面に配列して立設されている複数の微細構造体５３ｂを備えている。この複数の微細構造体５３ｂは、パターンを形成するように配置されている。微細構造体５３ｂにより形成されるパターンは、１または複数の柱状の微細構造体５３ｂにより形成されるパターンや、１または複数の孔状の微細構造体５３ｂにより形成されるパターン等を採用できる。
　ここで、複数の形状の異なる微細構造体５３ｂにより形成されるパターンを採用する場合、波面制御素子５３，５４において不要な光回折が発生するのを抑制するため、各微細構造体５３ｂ間の間隔は、被写体からの光５０の波長よりも小さいことが好ましい。
　以下、波面制御素子５３，５４の具体的な一例として、複数の柱状の微細構造体６０から形成されるパターンを有する場合について説明する。
　図６は、波面制御素子５３，５４に配置されている柱状の微細構造体６０の模式図である。図６（ａ）は、柱状の微細構造体６０の上面図であり、図６（ｂ）および図６（ｃ）は、柱状の微細構造体６０のｘ平面における側面図を示したものである。図６（ｂ）は被写体からの光６０ａの偏光方向が紙面に対して垂直の場合であり、図６（ｃ）は被写体からの光６０ｂの偏光方向が紙面に対して水平の場合を示している。
　微細構造体６０は、微細構造体６０周囲の材料または空間の屈折率ｎ0よりも高い屈折率ｎ1を有する材料から形成されており、微細構造体６０のそれぞれの高さｈは一定である。また、微細構造体６０の底面および上面の形状は、辺の長さがＷ1とＷ2の四角形である。
　この微細構造体６０は、微細構造体６０周囲の材料または空間との屈折率差により、被写体からの光６０ａ，６０ｂを微細構造体６０内に閉じ込めて伝搬させる光導波路として機能することができる。したがって、微細構造体６０のｘｙ平面の一方の側面から被写体からの光６０ａ，６０ｂを入射すると、被写体からの光６０ａ，６０ｂは微細構造体６０内に閉じ込められながらｙ軸方向に伝搬する。このとき、微細構造体６０に入射した被写体からの光６０ａ，６０ｂは、光導波路の実効的な屈折率（以下、実効屈折率という）ｎeffによって決定される位相遅延効果を受けながら伝搬し、高さｈの長さを伝搬した後に微細構造体６０の他方の側面から出射される。
　この場合、微細構造体６０周囲の材料または空間を微細構造体６０の高さｈの長さを伝搬した光の位相を基準とすると、微細構造体６０中を伝搬するときに生じる被写体からの光６０ａ，６０ｂの位相遅延量φは、真空中における被写体からの光６０ａ，６０ｂの波長をλとおくと、次式（１）により、
φ＝（ｎeff－ｎ0）×２πｈ／λ　　・・・(1)
と表わされる。
　ｎeffは微細構造体６０の寸法を変数とする関数であり、かつ微細構造体６０の形状に依って大きな偏光依存性を示すことが知られている。被写体からの光６０ａ，６０ｂの伝搬方向に垂直な、すなわちｘｚ平面に平行な、微細構造体６０の断面が図６（ａ）に示される長方形である場合、互いに直交する被写体からの光６０ａ，６０ｂの偏光方向に対して異なるｎeffを被写体からの光６０ａ，６０ｂのそれぞれについて与えることができる。
　ここで、縦偏光である被写体からの光６０ａの偏光方向に対する位相遅延量をφ1、横偏光である被写体からの光６０ｂの偏光方向に対する位相遅延量をφ2、縦偏光である被写体からの光６０ａの偏光方向に対する実効屈折率をｎeff1、横偏光である被写体からの光６０ｂの偏光方向に対する実効屈折率をｎeff2、縦偏光である被写体からの光６０ａの偏光方向に平行な方向の微細構造体６０の辺の長さをｗ1、横偏光である被写体からの光６０ｂの偏光方向の辺の長さをｗ2とする。この場合、ｎeff1およびｎeff2は、ｗ1とｗ2との組み合わせによってそれぞれ調整できることが知られている。その調整可能な値は、ｎeff1についてはｎ0を超えｎ1未満であり、ｎeff2についてはｎ0を超えｎ1未満の値である。したがって、式（１）より、φ１およびφ２は、ｗ１とｗ２との組み合わせによってそれぞれ所定の値に調整することができる。すなわち、図６に示される、柱状の微細構造体６０の辺の長さｗ1およびｗ2を設定することにより、縦偏光である被写体からの光６０ａの偏光方向に対する位相遅延量φ1および横偏光である被写体からの光６０ｂの偏光方向に対する位相遅延量φ2を所定の値に調整することが可能である。
　上記の原理に基づいて、波面制御素子５３，５４は、微細構造体支持基板５３ａ上に所定の断面の辺の長さＷ１とＷ２との組み合わせを有する柱状の微細構造体６０を二次元的なパターンを形成するように複数配置することにより、互いに直交する被写体からの光６０ａと６０ｂとのそれぞれの偏光方向に対して所定の位相遅延量の二次元分布を与えることができる。その結果、互いに直交する被写体からの光６０ａおよび６０ｂのそれぞれの偏光方向に対して所定の波面制御を行うことが可能となる。
　ここで、任意の波面制御を行うには、柱状構造による各偏光方向に対する位相遅延量の可変範囲が、０～２π以上の範囲を有していることが好ましい。また、作製方法および作製コストの観点から、微細構造体６０の高さｈは可能な限り小さい方が好ましい。したがって、式(１)から、被写体からの光６０ａ，６０ｂの波長λとしたときに、微細構造体６０の高さｈは、
ｈ＝λ／（ｎ1－ｎ0）　　・・・（２）
に近づけるように設定することが好ましい。
　図７は、第１の波面制御素子５３上に配置されている微細構造体５１により形成されるパターンおよびそのパターンに対応する被写体からの光５０の位相遅延量の一次元分布の対応関係を示す図である。図７（ａ）は、図５（ａ）における第１の波面制御素子５３の上面図である。図７（ｂ）は、第１の波面制御素子５３に配置されている微細構造体５１により形成されるパターンに対応する被写体からの光５０の位相遅延量を示すグラフである。縦軸は第１の波面制御素子５３ときの位相遅延量であり、横軸は座標（ｘL，ｙ0）と座標（ｘR，ｙ0）とを通るｘ軸方向の座標である。ここで、柱状の微細構造体５１は、x軸およびy軸方向に平行に、被写体からの光５０の波長以下の間隔で、複数配列して配置されている。また、座標およびθの定義は図５と同様である。
　図７（ａ）に示されるように、柱状の微細構造体５１の断面の辺の長さｗ1およびｗ2は、第１の波面制御素子５３上の二次元位置に依って、それぞれ異なっている。第１の波面制御素子５３上の二次元位置によって決定される柱状の微細構造体５１の断面の辺の長さｗ1およびｗ2の値により、波面制御素子５３を通過した光は、互いに直交する２つの偏光方向についてそれぞれ異なる位相遅延量の二次元分布を有する。したがって、波面制御素子５３は、被写体からの光５０の内の互いに直交する２つの偏光について、それぞれ異なる光波面を与えることができる。被写体からの光５０の進行方向はこの光波面によって決定されるため、波面制御素子５３は、波面制御素子５３を通過した被写体からの光５０の内の２つの偏光を空間的に分離して進行させることが可能となる。さらに、波面制御素子５３は、波面制御素子５３を通過した被写体からの光５０の位相遅延量の二次元分布を、偏光方向毎にそれぞれ異なる位置で結像する分布にすることにより、波面制御素子５３を通過した被写体からの光５０の内の２つの偏光を空間的に分離し、画素アレイ５２ａの２つの異なる位置に結像させることが可能となる。
　この偏光方向毎に画素アレイ５２ａの異なる位置に結像する原理について図７（ｂ）を用いて説明する。図７（ａ）において、波面制御素子５３の上面の紙面向かって左側の領域、すなわち線Ｓによって区分された紙面左側の領域に着目する。波面制御素子５３の上面の紙面向かって左側の領域は、θ＝０°の偏光方向の光を画素アレイ５２ａにおける座標（ｘL，ｙ0）に対応する箇所に集光し結像する領域である。ここで、波面制御素子５３の上面の紙面向かって左側の領域に設けられている複数の微細構造体５１は、被写体からの光５０がその領域に入力されると座標（ｘL，ｙ0）の位置において位相遅延量が極大を示し、その座標から離れるほど単調に位相遅延量が低下するように、寸法および配置方向を調整して設けられている。
　同様に、図７（ａ）において、波面制御素子５３の上面の紙面向かって右側の領域、すなわち線Ｓによって区分された紙面右側の領域は、θ＝９０°の偏光方向の光が画素アレイ５２ａにおける座標（ｘR，ｙ0）に対応する箇所に集光し結像するように、複数の微細構造体５１が設けられている。
　すなわち、本実施形態における波面制御素子５３は、微細構造体５１により形成されたパターンに対応して、被写体からの光５０の内の互いに直交する２つの偏光を空間的に分離して、２つの偏光のそれぞれを画素アレイ５２ａの２つの異なる位置に結像させる機能を有している。
　例えば、波面制御素子５３が図７（ａ）に示される微細構造体５１により形成されたパターンを有するの場合、波面制御素子５３は、図７（ｂ）に示すように、被写体からの光５０の内のｘ軸方向の偏光とｙ軸方向の偏光に対して、それぞれ異なる位相遅延量の二次元分布を与えることができる。
　さらに詳細に説明すると、図７（ａ）に示される波面制御素子５３に配置されている複数の微細構造体５１により形成されるパターンは、座標（ｘL，ｙ0）と座標（ｘR，ｙ0）とを結ぶ線分とその線分と直交して２つの座標の中点を通る線Ｓを境として、一定の対称性を有している。具体的には、線Ｓを境として分割された波面制御素子５３のいずれかの領域に着目して、その領域に含まれる全ての微細構造体５１の断面を、二次元位置を変化させずにθ＝９０°回転操作をすると、着目した領域におけるパターンと他方の領域におけるパターンとが同一となる。
　図７（ａ）に示される波面制御素子５３に配置されている複数の微細構造体５１により形成されるパターンに依れば、被写体からの光５０の内のｘ軸方向の偏光に対して、理想的に座標（ｘL，ｙ0）の位置で被写体からの光５０が集光するようなｏｆｆ－ａｘｉｓ（偏心）レンズと同様の位相遅延量の二次元分布が与えられる。同様に、被写体からの光５０の内のy軸方向の偏光に対して、理想的に座標（ｘR，ｙ0）の位置で被写体からの光５０が集光するようなｏｆｆ－ａｘｉｓ（偏心）レンズと同様の位相遅延量の二次元分布が与えられる。この場合、被写体からの光５０の内のｘ軸方向の偏光は、画素アレイ５２ａ上の結像面において座標（ｘL，ｙ0）の位置を中心として結像し、被写体からの光５０の内のｙ軸方向の偏光は、画素アレイ５２ａ上の結像面において座標（ｘR，ｙ0）の位置を中心として結像する。すなわち、波面制御素子５３は、被写体からの光５０の内の互いに直交する２つ偏光を空間的に分離して画素アレイ５２ａ上の異なる位置に結像させることができる。
　なお、図７に示される波面制御素子５３の機能についての説明は一例であって、柱状の微細構造体５１の寸法を設定することにより、分離される偏光方向と分離された偏光の結像位置との組み合わせを所定に調整することができる。例えば、図８に示すように、図７（ａ）における波面制御素子５３に配置されている複数の微細構造体５１により形成されるパターンをｘｙ平面上で４５°回転させた場合（つまり、図５（ａ）における第２の波面制御素子５４に形成されているパターンの場合）には、被写体からの光５０の内のθ＝４５°の方向の偏光は、画素アレイ５２ａ上の結像面において座標（ｘL，ｙ0）の位置を中心として結像し、被写体からの光５０の内のθ＝１３５°の方向の偏光は、画素アレイ５２ａ上の結像面において座標（ｘR，ｙ0）の位置を中心として結像する。
　したがって、波面制御素子５３，５４に隣接して含まれる１組の撮像ユニットを構成し、その１組の撮像ユニットを撮像ユニットアレイ５５内で二次元的に連続して配置して、撮像ユニットアレイ５５が画素アレイ５２ａと対向するように配置することにより撮像ユニットアレイ５５を構成すれば、上記のように、被写体からの光５０に対して、ｘ軸方向（θ＝０°）、ｙ軸方向（θ＝９０°）、θ＝４５°の方向、θ＝１３５°の方向を有する偏光からなる４つの偏光画像を高解像度で生成することができる。
　本実施形態における波面制御素子５３，５４は、微細構造体支持基板５３ａおよび微細構造体５３ｂによる被写体からの光５０に対する光吸収はほとんどなく、また被写体からの光５０の波長よりも小さな間隔で微細構造体５３ｂが配置されていることにより不要な光回折も生じることがない。さらに、微細構造体５３ｂの形状を適宜設定することにより微細構造体５３ｂと微細構造体支持基板５３ａとのインピーダンスを整合することで、微細構造体５３ｂと微細構造体支持基板５３ａとの間における光の反射を抑制することも可能である。したがって、被写体からの光５０は、パワーをほとんど失うことなく波面制御素子５３，５４によって複数の偏光に分離され、分離された偏光のそれぞれが画素アレイ５２ａ上で結像する。そのため、波面制御素子５３，５４を用いて複数の偏光画像を生成する場合、光利用効率が高く１００％に近い光利用効率で行うことが原理的に可能である。
　本実施形態の偏光分離機能および結像機能を有する波面制御素子５３，５４は、公知の半導体製造技術において使用される薄膜堆積手段およびパターニング手段により作製され得る。また、本実施形態における波面制御素子５３，５４は、高さが一定の微細構造体５３ａによって形成されるパターンを有しているため、安価で容易に作製できる可能性も高い。また、波面制御素子５３，５４自体が、結像光学系と偏光分離光学系とを兼ねているため、従来に比べ部品点数が少なく、かつ実装コストも低くて済む。
（第１の実施形態の第１の変形例）
　以上では、４つの偏光情報を同時に生成可能な偏光撮像システムについて詳細に説明した。以下では、上記の例に加えてさらに円偏光の回転方向情報も取得可能な変形例について説明する。
　上述したように、波面制御素子の構成を適宜設定することにより、所定の方向の偏光とそれと直交する方向の偏光に対して、所定の波面制御を行うことが可能である。このコンセプトは、ジョーンズ行列を用いて一般化をすることにより、円偏光の回転方向に応じた波面制御へ拡張することが可能であることが知られている。すなわち、本実施形態における波面制御素子の構成を適切に設定することにより、右回り円偏光と左回り円偏光との分離およびそれら分離された偏光の結像も可能である。
　図９は、円偏光の回転方向毎にて偏光の分離が可能な撮像ユニットを含む３つの撮像ユニットから構成される１組の撮像ユニットの上面模式図である。撮像ユニットアレイ９０は、図５（ａ）に示される第１の波面制御素子５３、第２の波面制御素子５４に加えて、第３の波面制御素子９１を含んで構成されている。撮像ユニットアレイ９０は、この構成を一組の撮像ユニットとして、二次元的に連続している。
　各撮像ユニットを図９に示すように配置して、第１の波面制御素子５３を有する撮像ユニット、第２の波面制御素子５４を有する撮像ユニット、および第２の波面制御素子９１を有する撮像ユニットから構成される３つの撮像ユニットを「１組の撮像ユニット」とすると、１組の撮像ユニットにつき、ｘ軸方向（θ＝０°）、ｙ軸方向（θ＝９０°）、θ＝４５°の方向、θ＝１３５°の方向、右回り円偏光方向、および左回り円偏光方向を有する偏光からなる６つの偏光画像を生成できる。すなわち、本実施形態の第１の変形例では、撮像ユニットが二次元配列して複数配置されているため、各偏光方向に対応する偏光画像を、撮像ユニットアレイ９０に含まれる撮像ユニットの数の２倍数分生成できる。
　６つの偏光方向に対応する偏光画像から、被写体のからの光５０の偏光状態を表現するすべてのストークスパラメータ４つについて二次元情報を得ることができ、被写体の偏光特性の全てを同時に取得することが可能となる。
（第１の実施形態の第２の変形例）
　次に、画素アレイ５２ａ上における偏光画像の重なり（以下、クロストークという）を軽減可能とする変形例について説明する。
　図１０は、図５に示される撮像ユニットアレイ５５の構成により複数の偏光画像が生成する場合に、撮像ユニットアレイ５５の構成に対して障壁１０１を設置する前後におけるクロストーク抑制の差異を示す模式図である。図１０（ａ）は、第１の波面制御素子５３と第２の波面制御素子５４とを含んで構成される撮像ユニットアレイ５５の上面図である。図１０（ｂ）は、図１０（ａ）中のＸｂ－Ｘｂに沿う撮像ユニットアレイ５５の側断面図である。図１０（ｃ）は、撮像ユニットアレイ５５に障壁１０１をさらに設けた構成の上面図である。図１０（ｄ）は、図１０（ｃ）中のＸｄ－Ｘｄに沿う障壁１０１を備えた撮像ユニットアレイ５５の側断面図である。
　図１０（ａ）に示すように、隣接する各撮像ユニット５３，５４において、画素アレイ５２ａ上に結像された複数の偏光画像の境界付近において、クロストークが生じる場合がある。このクロストークは、再構成後の画像の劣化や偏光消光比（所望の方向の偏光の強度／その他の方向の偏光の強度）の低下を招来する可能性がある。本実施例の第２の変形例における撮像ユニットアレイ５５の構成は、このクロストークを避けるために、隣接する撮像ユニットとの境界に障壁１０１を設けた構成となっている。障壁１０１は、図１０（ｄ）に示されるように、第１の波面制御素子５３および第２の波面制御素子５４と画素アレイ５２ａとの間に位置し、第１の波面制御素子５３、第２の波面制御素子５４、および画素アレイ５２ａと略垂直を成すように立設されている。
　障壁１０１は、被写体からの光１００を吸収し迷光が生じない材料により形成されたもの、またはそれと同様の機能を有するように表面加工が施された部材であることが好ましい。障壁１０１によって隣接する撮像ユニットに備えられた各波面制御素子５３，５４によって分離された偏光の光束同士の重なりを完全に遮蔽すれば、隣接する撮像ユニットにより生成される偏光画像同士のクロストークは完全に除去できる。また、隣接する撮像ユニットに備えられた各波面制御素子により分離された偏光の光束同士の重なりを完全に遮蔽することのできない部分的な、例えば高さが低い障壁であっても、クロストークの影響を軽減できる効果を有する限り、用途、作製プロセス、または実装プロセスに合わせて、障壁１０１の高さおよび位置を決定すればよい。
（第２の実施形態）
　次に、本発明の第２の実施形態について説明する。本実施形態は、偏光フィルタアレイ１１１を併用した撮像ユニットアレイ５５の構成と動作を例示するものである。
　図１１は、本発明の第２の実施形態による偏光イメージング撮像システムに適用する撮像ユニットアレイ５５の構成を示す模式図である。図１１（ａ）は撮像ユニットアレイ５５の上面図の一部であり、図１１（ｂ）は図１１（ａ）中のＸＩｂ－ＸＩｂに沿った撮像ユニットアレイ５５の側断面図を示したものである。
　図１１（ｂ）に示されるように、本実施形態における撮像ユニットアレイ５５の構成は、第１の実施形態における撮像ユニットアレイ５５の構成に対して、画素アレイ５２ａの上方に偏光フィルタアレイ１１１がさらに配置されている。１つの波面制御素子５３とそれに対応する画素アレイ５２ａ上の複数の画素とから構成される１つの撮像ユニットにつき、互いに透過軸が直交している２枚の偏光フィルタ１１１ａ，１１１ｂが配置され、２枚の偏光フィルタ１１１ａ，１１１ｂは、波面制御素子５３によって分離される２つの偏光の結像位置に対応して配置されている。
　この偏光フィルタアレイ１１１は、金属ワイヤーグリッドやフォトニック結晶などから構成されており公知の技術によって実現され得る。
　本実施形態において、偏光フィルタアレイ１１１以外の構成要素は第１の実施形態と同じである。
　本実施形態において、波面制御素子５３によって被写体からの光１１０の内から分離された各偏光は、その偏光方向に対応する偏光フィルタ１１１ａまたは１１１ｂを必ず通過する。その後、画素アレイ５２ａ上においてそれぞれの偏光が結像する。偏光フィルタアレイ１１１は、分離された偏光の偏光方向とその偏光方向に対応する偏光フィルタ１１１ａ，１１１ｂの偏光透過軸の方向を一致させて配置されている。
　本実施形態において、撮像ユニットアレイ５５の構成を上記の構成とすることにより、第１の実施形態と同様の機能を実現でき、かつ２つの新たな効果を得ることができる。
　第１の効果は、撮像ユニットアレイ５５内のクロストークによる影響を大幅に低下させる効果である。第１の実施形態の場合、１つの撮像ユニット内で、画素アレイ５２ａ上の異なる位置に結像された各偏光成分からなる２つの像の境界付近において、クロストークが生じる場合がある。一方、本実施例における１つの撮像ユニット内に偏光フィルタ１１１ａ，１１１ｂをさらに備える構成とした場合、図１１（ｂ）に示されるように、所望の方向の偏光以外がカットされて画素アレイ５２ａ上に光が到達するため、１つの撮像ユニット内で分離して結像される２つの偏光画像のクロストークを完全に除去することができる。
　第２の効果は、１つの撮像ユニット内において２つの偏光画像の偏光消光比を向上させる効果である。第１の実施形態の場合、波面制御素子５３の構成、または波面制御素子５３の作製時に生じた寸法誤差等による影響によって、被写体からの光１１０の内から所定の方向の偏光を分離する時に、分離された偏光の偏光消光比を満足に確保できない場合がある。一方、本実施例における１つの撮像ユニット内に偏光フィルタ１１１ａ，１１１ｂをさらに備える構成とした場合、波面制御素子５３と偏光フィルタアレイ１１１による二度の偏光フィルタリングを行うこととなり、分離された偏光の偏光消光比を向上させることが可能である。
　なお、本実施例における１つの撮像ユニット内に偏光フィルタ１１１ａ，１１１ｂをさらに備える構成では、高い光利用効率を保持したまま、上記の効果を得ることができる。これは、波面制御素子５３により所定の方向の偏光を分離の後に、その分離された偏光に対して偏光フィルタアレイ１１１によるフィルタリングを行うため、画素アレイ５２ａ上に到達する総光量をほとんど減少させないためである。
　本実施形態において、第１の実施形態において得られる効果に加えて、上記の第１の効果および第２の効果を得ることができる。また、第１の実施形態と同様の変形が可能である。
（第３の実施形態）
　次に、本発明の第３の実施形態を説明する。本実施形態は、カラーフィルタアレイ１２１を併用した撮像ユニットアレイの構成と動作を例示するものである。
　図１２は、本発明の第３の実施形態による偏光イメージング撮像システムに適用する撮像ユニットアレイの構成を示す模式図である。図１２（ａ）は波面制御素子５３，５４を含んで構成される撮像ユニットアレイの上面図の一部であり、図１２（ｂ）は波面制御素子５３を含んで構成される撮像ユニットがｘ軸に沿って連続する部分の側断面図を示したものである。
　図１２（ｂ）に示されるように、本実施形態における撮像ユニットアレイの構成は、第１の実施形態における撮像ユニットアレイの構成に対して、画素アレイ５２ａの上方にカラーフィルタアレイ１２１がさらに配置されている。この例では、可視光帯における三原色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）をそれぞれ選択的に透過する３つのカラーフィルタ１２１ａ、１２１ｂ、および１２１ｃがそれぞれ画素アレイ５２ａと水平に対向するように連結して構成されているカラーフィルタアレイ１２１が配置されている。また、本実施形態では、被写体からの光１２０の波長域に制限が無く、採用するカラーフィルタの種類の数や使用帯域にも制限が無く、目的に応じて適宜所定に設定することができる。
　さらに、ｘｙ平面、すなわち画素アレイ５２ａと平行な平面内において、カラーフィルタアレイ１２１中のカラーフィルタ１２１ａ，１２１ｂ，１２１ｃの配置パターンにも制限は無い。例えば、図１２（ａ）に示される配置パターンの他には、一般的なカラーイメージセンサにおいて採用されているベイヤー配置と同様の配置とすることもできる。また、カラーフィルタアレイ１２１を配置する位置は、画素アレイ５２ａの上方に制限されることはなく、例えば、図１３に示されるように、波面制御素子５３の上方に配置することもできる。
　また、カラーフィルタアレイ１２１は、有機材料、無機材料、または金属のナノホールアレイ等から構成されており公知の技術によって実現され得る。
　図１２（ａ）中の太線で描かれた矩形で示されるように、カラーフィルタアレイ１２１は、１または複数（図１２（ａ）では２つ）の撮像ユニットからなる１組の偏光撮像ユニットに対して、複数種類（図１２（ａ）では３種類）のカラーフィルタ１２１ａ，１２１ｂ，１２１ｃのうちいずれか１種類のカラーフィルタが対応するように配置されている。さらに、各撮像ユニットを構成する波面制御素子５３，５４は、それぞれ対応するカラーフィルタ１２１ａ，１２１ｂ，１２１ｃの透過波長を用いて、ｏｆｆ－ａｘｉｓレンズの位相遅延量の二次元分布が設計されている（式(１)を参照）。その際、ｏｆｆ－ａｘｉｓレンズの焦点距離は、全ての撮像ユニットにおいて等しくなるように設定されている。
　本実施例における撮像ユニットアレイは、カラーフィルタアレイ１２１以外の構成要素は同じである。
　本実施形態において、１組の撮像ユニットに対して１２１ａ、１２１ｂ、または１２１ｃの内の１種類のカラーフィルタが配置されている。したがって、各撮像ユニットによってそれぞれ生成される偏光画像は、撮像ユニット毎に対応するカラーフィルタ１２１ａ，１２１ｂ，１２１ｃを必ず透過した後に画素アレイ５２ａ上で光電変換が行われる。このとき、各撮像ユニットを構成する波面制御素子５３，５４の焦点距離は、全ての撮像ユニットで等しくなるように、それぞれ対応するカラーフィルタの透過波長を用いて設計されている。したがって、それぞれの撮像ユニットにおいて生成される偏光画像は、その波長域が異なり、光学倍率が等しく、かつピントのズレもほぼない。
　本実施形態における撮像ユニットアレイの構成を採用することにより、第１の実施形態において得られる効果に加えて、さらに結像光学系における色収差の影響を軽減できる効果を得ることができる。
　一般に、結像光学系では、入射する光束の波長（色）に違いによって焦点距離が異なり、色収差とよばれるボケが生じる。すなわち、波長毎に結像面と被写体との距離が異なるため、ピントが合う波長域とピントが合わない波長域とが混在した状態となり、広い波長域（例えば、可視光帯全域）において光学像を生成する際に、画像の色コントラストの低下を招来する。
　本実施形態における波面制御素子５３，５４においても同様の色収差が存在し、式（１）から分かるように、被写体からの光１２０の波長が設計波長から離れるのに従って、位相遅延量の二次元分布は所定の設定から外れてしまう。波面制御素子５３，５４をｏｆｆ－ａｘｉｓレンズとして機能させる場合、主に焦点距離が変化する。したがって、第１の実施形態において、広い波長域（例えば、可視光帯全域）での偏光イメージングを行うとき、色収差の影響により、特定の波長域について鮮明な画像を得られない可能性がある。一方、本実施形態における撮像ユニットアレイの構成を採用することにより、各撮像ユニットにおいて、カラーフィルタ１２１ａ，１２１ｂ，１２１ｃの波長域毎に、光学倍率が等しくピントのズレが少ない偏光画像を生成することができる。さらに、生成した全ての偏光画像に対して、信号処理部３５において撮像ユニットアレイの二次元位置に応じた信号処理および画像再配置を行うことによって、波長域毎に解像度が回復した鮮明な偏光画像を生成することが可能である。例えば、被写体からの光１２０が可視光帯の場合、Ｒ、Ｇ、Ｂのそれぞれの波長域において鮮明な偏光画像を生成することが可能である。さらに、これらの偏光画像から、Ｒ、Ｇ、Ｂのそれぞれの波長域についての光強度画像を取り出すことができるため、色収差の影響を軽減したＲＧＢカラー画像を生成することも可能である。
　なお、本実施形態は、各撮像ユニットに１２１ａ，１２１ｂ，１２１ｃの内の１種類のカラーフィルタを対応させるため、１つの波長域での解像度回復処理に使用する画素数が、第１の実施形態の場合と比べて、１／（カラーフィルタの種類数）となるために、解像度回復処理の後に生成される偏光画像の解像度は低下する。また、一般的なカラーイメージセンサを画素アレイ５２ａとして採用した場合においても、撮像ユニット毎に対応する色に対応する光電変換信号のみを選択抽出することにより、同様の撮像が可能である。
　本実施形態の構成においても、第１の実施形態において得られる効果を得ることができ、結像光学系における色収差の影響を軽減でき、かつカラーフィルタ１２１ａ，１２１ｂ，１２１ｃの選択や種類の数を所定に設定することにより、特定の複数の波長域の偏光情報を同時に得ることが可能である。
　本実施形態は、第１の実施形態と同様の変形が可能である。また、本実施形態は、第２の実施形態における偏光フィルタアレイ１１１を含む構成と共存でき、偏光フィルタアレイ１１１およびカラーフィルタアレイ１２１による効果を同時に得ることも可能である。
１０、２０　　入射光
１１、２１、３１、４１　　　　　被写体
１２　　　　　結像光学系
１３　　　　　撮像素子
１３ａ　　　　偏光フィルタ
１３ｂ　　　　イメージセンサ
２２　　　　　マイクロレンズアレイ
２３ａ　　　　偏光フィルタアレイ
２３ｂ　　　　イメージセンサ
３０、４０、５０、６０ａ、６０ｂ、１１０、１２０　　　被写体からの光
３３、５５、９０　　　撮像ユニットアレイ
３３ａ　　　　　　　　波面制御素子アレイ
３３ｂ、４２ａ　　　　画素アレイ
３３ｃ、４２ｂ、５２ｂ　　　　基板
３４　　　　　配線
３５　　　　　信号処理部
３６　　　　　画像信号出力経路
４３、５３、５４、９１　　　波面制御素子
４３ａ、５３ａ、６０　　　　微細構造体支持基板
４３ｂ、５１、５３ｂ　　　　微細構造体
１１１　　　　　偏光フィルタアレイ
１１１ａ、１１１ｂ　　　　偏光フィルタ
１２１　　　　カラーフィルタアレイ
１２１ａ、１２１ｂ、１２１ｃ　　　カラーフィルタ

Claims (8)

  1. 被写体の偏光画像を生成する撮像システムであって、
    　複数の撮像ユニットが二次元的に配列している撮像ユニットアレイを備え、
    　　前記撮像ユニットは、
    　　複数の微細構造体を有する１つの波面制御素子と、
    　　前記波面制御素子に対向するように配置され、前記波面制御素子に対応する複数の画素が二次元配列されて含まれている画素アレイと、を備え、
    　　被写体からの光が前記１つの波面制御素子により、第１の偏光と前記第１の偏光と直交する方向または前記第１の偏光と反対の回転方向を有する第２の偏光とに空間的に分離され、前記第１の偏光が前記画素アレイ上の第１の集光位置に集光され、前記第２の偏光が前記画素アレイ上の第２の集光位置に集光される、
    偏光イメージング撮像システム。
  2. 　前記波面制御素子は、
    　前記画素アレイ上の前記第１の集光位置と前記第２の集光位置とを結ぶ線分の垂直二等分線を含み前記画素アレイに垂直な平面との交線を境とする２つの領域を有しており、
    　一方の領域内に複数配置されている第１の微細構造体の前記波面制御素子上の第１の断面と、他方の領域内に複数配置されている前記第１の微細構造体に対応する第２の微細構造体の前記波面制御素子上の第２の断面とを有し、
    　　前記第１の断面の位置および前記第２の断面の位置は、前記波面制御素子の面上において前記交線から等しい距離だけ離れており、
    　　前記第１の断面の形状は、前記第２の断面の形状を前記波面制御素子の面に対して水平に９０°回転させたものである、
    請求項１に記載の偏光イメージング撮像システム。
  3. 　前記撮像ユニットアレイは、
    隣接する前記撮像ユニットがそれぞれ備える第１の波面制御素子および第２の波面制御素子を有し、
    　前記第１の波面制御素子が前記被写体からの光の内から空間的に分離する前記第１の偏光の方向は、前記第２の波面制御素子が前記被写体からの光の内から空間的に分離する前記第１の偏光の方向と異なり、
    　互いに偏光方向が異なる、前記撮像ユニットアレイに含まれる前記撮像ユニットの数の２倍数の前記偏光画像を生成する、
    請求項２に記載の偏光イメージング撮像システム。
  4. 　前記波面制御素子は、
    　前記画素アレイに対向する面上に複数の前記微細構造体を配置しており、
    　複数の前記微細構造体は、前記波面制御素子の面からそれぞれ等しい高さを有している、
    請求項２または３に記載の偏光イメージング撮像システム。
  5. 　前記撮像ユニットアレイは、
    　隣接する前記撮像ユニットの間に、前記第１の偏光および前記第２の偏光を遮蔽する障壁をさらに備え、
    　前記障壁は、前記波面制御素子および前記画素アレイとの間に配置され、前記波面制御素子の面および前記画素アレイの面に対して略垂直となるように設けられている、
    請求項２乃至４のいずれか一項に記載の偏光イメージング撮像システム。
  6. 　前記撮像ユニットアレイは、
    　第１の偏光フィルタおよび第２の偏光フィルタを含む偏光フィルタアレイをさらに備え、
    　前記第１の偏光は、前記第１の偏光の偏光方向のみを透過させる前記第１の偏光フィルタを介して、前記第１の集光位置に集光し、
    　前記第２の偏光は、前記第２の偏光の偏光方向のみを透過させる前記第２の偏光フィルタを介して、前記第２の集光位置に集光する、
    請求項２乃至５のいずれか一項に記載の偏光イメージング撮像システム。
  7. 　前記撮像ユニットアレイは、
    　１または複数のカラーフィルタ含むカラーフィルタアレイをさらに備え、
    　前記カラーフィルタは、前記被写体からの光または前記第１の偏光および前記第２の偏光の所定の波長域のみを透過させ、
    　１つの前記撮像ユニットに対して１つの前記カラーフィルタを対応するように配置されている、
    請求項２乃至６のいずれか一項に記載の偏光イメージング撮像システム。
  8. 　前記画素アレイにおいて、前記第1の偏光に基づいて生成された第１の偏光画像もしくは前記第２の偏光に基づいて生成された第２の偏光画像に基づいて、前記被写体からの光について、少なくとも光強度、偏光方向、および偏光度の二次元情報を取得する、請求項２乃至７のいずれか一項に記載の偏光イメージング撮像システム。
PCT/JP2019/036314 2018-09-26 2019-09-17 偏光イメージング撮像システム WO2020066738A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/271,162 US11733100B2 (en) 2018-09-26 2019-09-17 Polarization imaging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-180793 2018-09-26
JP2018180793A JP6857163B2 (ja) 2018-09-26 2018-09-26 偏光イメージング撮像システム

Publications (1)

Publication Number Publication Date
WO2020066738A1 true WO2020066738A1 (ja) 2020-04-02

Family

ID=69952443

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/036314 WO2020066738A1 (ja) 2018-09-26 2019-09-17 偏光イメージング撮像システム

Country Status (3)

Country Link
US (1) US11733100B2 (ja)
JP (1) JP6857163B2 (ja)
WO (1) WO2020066738A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210333150A1 (en) * 2020-04-24 2021-10-28 Facebook Technologies, Llc Polarimetric imaging camera
WO2022113352A1 (ja) * 2020-11-30 2022-06-02 日本電信電話株式会社 光学素子、撮像素子及び撮像装置
WO2022113362A1 (ja) * 2020-11-30 2022-06-02 日本電信電話株式会社 光学素子、撮像素子及び撮像装置
WO2022113363A1 (ja) * 2020-11-30 2022-06-02 日本電信電話株式会社 光学素子、撮像素子及び撮像装置
WO2022162800A1 (ja) * 2021-01-27 2022-08-04 日本電信電話株式会社 撮像装置及び光学素子
WO2022162801A1 (ja) * 2021-01-27 2022-08-04 日本電信電話株式会社 撮像装置及び光学素子
WO2022247387A1 (zh) * 2021-05-25 2022-12-01 Oppo广东移动通信有限公司 图像传感器、摄像装置、电子设备及成像方法
US11756978B2 (en) 2021-02-24 2023-09-12 Meta Platforms Technologies, Llc Multi-spectral image sensor
WO2023243363A1 (ja) * 2022-06-17 2023-12-21 ソニーグループ株式会社 光検出装置
EP4227716A4 (en) * 2020-10-12 2024-04-24 Nippon Telegraph & Telephone IMAGING ELEMENT AND IMAGING DEVICE

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11841522B2 (en) * 2020-04-03 2023-12-12 Samsung Electronics Co., Ltd. On-chip simultaneous full stokes polarization (linear + circular) and (multi/hyper) spectral imaging
US20230239552A1 (en) * 2020-05-21 2023-07-27 Nippon Telegraph And Telephone Corporation Image sensor and imaging device
JPWO2022071086A1 (ja) * 2020-09-29 2022-04-07
WO2022079757A1 (ja) * 2020-10-12 2022-04-21 日本電信電話株式会社 光学素子、撮像素子及び撮像装置
WO2022079756A1 (ja) * 2020-10-12 2022-04-21 日本電信電話株式会社 撮像素子及び撮像装置
WO2022079765A1 (ja) * 2020-10-12 2022-04-21 日本電信電話株式会社 光学素子、撮像素子及び撮像装置
JPWO2022092007A1 (ja) * 2020-10-30 2022-05-05
CN113267902A (zh) * 2021-04-26 2021-08-17 四川大学 基于平面各向异性手性微结构的偏振成像器件
JP2023024079A (ja) 2021-08-06 2023-02-16 ソニーグループ株式会社 固体撮像装置
CN114170107B (zh) * 2021-12-13 2024-06-11 浙江理工大学 一种基于生成对抗网络的浑浊水下偏振图像复原方法
WO2024095471A1 (ja) * 2022-11-04 2024-05-10 ソニーセミコンダクタソリューションズ株式会社 光検出装置及び測距装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009168795A (ja) * 2007-12-21 2009-07-30 Sharp Corp 偏光検出装置及び偏光検出素子、並びに偏光検出方法
US20090303571A1 (en) * 2008-04-24 2009-12-10 Micronic Laser Systems Ab Spatial Light Modulator with Structured Mirror Surfaces
JP2011176525A (ja) * 2010-02-24 2011-09-08 Ricoh Co Ltd 偏光イメージング装置、その製造方法及び撮像装置
WO2012002207A1 (ja) * 2010-06-29 2012-01-05 国立大学法人京都工芸繊維大学 偏光イメージング装置および偏光イメージング方法
JP2013074400A (ja) * 2011-09-27 2013-04-22 Toshiba Corp 固体撮像装置
JP2015115329A (ja) * 2013-12-06 2015-06-22 キヤノン株式会社 撮像素子およびこれを備えた撮像装置
JP2015166723A (ja) * 2014-03-04 2015-09-24 パナソニックＩｐマネジメント株式会社 撮像装置および撮像システム
JP2016127512A (ja) * 2015-01-07 2016-07-11 株式会社リコー 撮像装置
JP2018044865A (ja) * 2016-09-14 2018-03-22 国立大学法人宇都宮大学 光学機器のキャリブレーション法
CN108007575A (zh) * 2017-11-29 2018-05-08 中国科学院光电技术研究所 一种基于二元数字编码双折射晶体的小型化全斯托克斯矢量偏振成像装置
CN108088564A (zh) * 2017-12-15 2018-05-29 哈尔滨工业大学 一种快照式光场-偏振成像仪及成像方法
WO2018147473A1 (ja) * 2017-02-10 2018-08-16 国立大学法人京都工芸繊維大学 ３次元物体情報計測装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101617263A (zh) * 2005-05-18 2009-12-30 道格拉斯·S·霍布斯 用于偏振和波长滤波的微结构光学装置
US20090116029A1 (en) * 2005-09-06 2009-05-07 Yasuo Ohtera Wavelength division image measuring device
KR102391632B1 (ko) * 2016-06-07 2022-04-27 애어리3디 인크. 광 필드 이미징 장치 및 깊이 획득 및 3차원 이미징 방법
US10652497B2 (en) * 2017-04-21 2020-05-12 Trustees Of Dartmouth College Quanta image sensor with polarization-sensitive jots
US11385104B2 (en) * 2017-12-22 2022-07-12 Arizona Board Of Regents On Behalf Of Arizona State University On-chip polarization detection and polarimetric imaging
DE102018119096B3 (de) * 2018-08-06 2019-11-28 Norik Janunts Anordnung zur Detektion der Intensitätsverteilung von Komponenten des elektromagnetischen Feldes in Strahlungsbündeln

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009168795A (ja) * 2007-12-21 2009-07-30 Sharp Corp 偏光検出装置及び偏光検出素子、並びに偏光検出方法
US20090303571A1 (en) * 2008-04-24 2009-12-10 Micronic Laser Systems Ab Spatial Light Modulator with Structured Mirror Surfaces
JP2011176525A (ja) * 2010-02-24 2011-09-08 Ricoh Co Ltd 偏光イメージング装置、その製造方法及び撮像装置
WO2012002207A1 (ja) * 2010-06-29 2012-01-05 国立大学法人京都工芸繊維大学 偏光イメージング装置および偏光イメージング方法
JP2013074400A (ja) * 2011-09-27 2013-04-22 Toshiba Corp 固体撮像装置
JP2015115329A (ja) * 2013-12-06 2015-06-22 キヤノン株式会社 撮像素子およびこれを備えた撮像装置
JP2015166723A (ja) * 2014-03-04 2015-09-24 パナソニックＩｐマネジメント株式会社 撮像装置および撮像システム
JP2016127512A (ja) * 2015-01-07 2016-07-11 株式会社リコー 撮像装置
JP2018044865A (ja) * 2016-09-14 2018-03-22 国立大学法人宇都宮大学 光学機器のキャリブレーション法
WO2018147473A1 (ja) * 2017-02-10 2018-08-16 国立大学法人京都工芸繊維大学 ３次元物体情報計測装置
CN108007575A (zh) * 2017-11-29 2018-05-08 中国科学院光电技术研究所 一种基于二元数字编码双折射晶体的小型化全斯托克斯矢量偏振成像装置
CN108088564A (zh) * 2017-12-15 2018-05-29 哈尔滨工业大学 一种快照式光场-偏振成像仪及成像方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Fabrication of a Thin Film Micro Polatization Array", 2006 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS, 21 May 2006 (2006-05-21) *
"Novel Functions in Microscopy Realized by Patterned Photonic Crystals", IEICE TRANSACTIONS ON ELECTRONICS, vol. E90-C, no. 5, 1 May 2007 (2007-05-01), pages 1046 - 1054, XP001542171 *
"One-shot spectral polarization imaging using photonic crystal filter array", THE 24TH SYMPOSIUM ON SENSING VIA IMAGE INFORMATION(SSII2018, 13 June 2018 (2018-06-13) *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210333150A1 (en) * 2020-04-24 2021-10-28 Facebook Technologies, Llc Polarimetric imaging camera
WO2021217103A1 (en) * 2020-04-24 2021-10-28 Facebook Technologies, Llc Polarimetric imaging camera
US11781913B2 (en) 2020-04-24 2023-10-10 Meta Platforms Technologies, Llc Polarimetric imaging camera
EP4227716A4 (en) * 2020-10-12 2024-04-24 Nippon Telegraph & Telephone IMAGING ELEMENT AND IMAGING DEVICE
WO2022113352A1 (ja) * 2020-11-30 2022-06-02 日本電信電話株式会社 光学素子、撮像素子及び撮像装置
WO2022113362A1 (ja) * 2020-11-30 2022-06-02 日本電信電話株式会社 光学素子、撮像素子及び撮像装置
WO2022113363A1 (ja) * 2020-11-30 2022-06-02 日本電信電話株式会社 光学素子、撮像素子及び撮像装置
WO2022162800A1 (ja) * 2021-01-27 2022-08-04 日本電信電話株式会社 撮像装置及び光学素子
WO2022162801A1 (ja) * 2021-01-27 2022-08-04 日本電信電話株式会社 撮像装置及び光学素子
US11756978B2 (en) 2021-02-24 2023-09-12 Meta Platforms Technologies, Llc Multi-spectral image sensor
WO2022247387A1 (zh) * 2021-05-25 2022-12-01 Oppo广东移动通信有限公司 图像传感器、摄像装置、电子设备及成像方法
WO2023243363A1 (ja) * 2022-06-17 2023-12-21 ソニーグループ株式会社 光検出装置

Also Published As

Publication number Publication date
JP6857163B2 (ja) 2021-04-14
US11733100B2 (en) 2023-08-22
US20210333151A1 (en) 2021-10-28
JP2020051868A (ja) 2020-04-02

Similar Documents

Publication Publication Date Title
WO2020066738A1 (ja) 偏光イメージング撮像システム
WO2019202890A1 (ja) カラー撮像素子および撮像装置
JP5866577B2 (ja) 光学フィルタおよびそれを用いた偏光撮像装置
US11257856B2 (en) Lens-free compound eye cameras based on angle-sensitive meta-surfaces
JP6981496B2 (ja) カラー撮像素子および撮像装置
TWI472023B (zh) 成像器件及成像裝置
JP4455677B2 (ja) 撮像用光検出装置
JP4836625B2 (ja) 固体撮像素子
KR20100122058A (ko) 2차원 고체 촬상 장치, 및 2차원 고체 촬상 장치에서의 편광광 데이터 처리 방법
JP2011159967A (ja) 固体撮像装置、撮像装置、及び分光素子
JP2010129777A (ja) ２次元固体撮像装置
WO2021070305A1 (ja) 分光素子アレイ、撮像素子および撮像装置
TW202119094A (zh) 攝像元件及攝像裝置
JP7364066B2 (ja) 撮像素子及び撮像装置
JP5975229B2 (ja) カラー撮像装置
JP7265195B2 (ja) カラー撮像素子および撮像装置
CN116670545A (zh) 包含超表面的折叠光程
JP2023099014A (ja) カラー撮像素子および撮像装置
JP7425104B2 (ja) 色分離レンズアレイを備えるイメージセンサ及びそれを含む電子装置
WO2022079756A1 (ja) 撮像素子及び撮像装置
KR20230093052A (ko) 광학 소자, 촬상 소자 및 촬상장치
EP4367489A1 (en) Image sensor comprising liquid crystal polarizers
WO2023283153A1 (en) Image sensor comprising liquid crystal polarizers
Siddique et al. Hybrid Visible Imaging and Near-infrared Optical Spectroscopy with Smartphone Image Sensor using Bioinspired Nanostructures
JP2007171370A (ja) 光学素子およびそれを有する撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19865350

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19865350

Country of ref document: EP

Kind code of ref document: A1