WO2022162800A1 - 撮像装置及び光学素子 - Google Patents

撮像装置及び光学素子 Download PDF

Info

Publication number
WO2022162800A1
WO2022162800A1 PCT/JP2021/002909 JP2021002909W WO2022162800A1 WO 2022162800 A1 WO2022162800 A1 WO 2022162800A1 JP 2021002909 W JP2021002909 W JP 2021002909W WO 2022162800 A1 WO2022162800 A1 WO 2022162800A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
wavelength
optical element
polarization
imaging device
Prior art date
Application number
PCT/JP2021/002909
Other languages
English (en)
French (fr)
Inventor
将司 宮田
陽光 曽我部
史英 小林
志織 杉本
成 根本
俊和 橋本
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to CN202180092016.8A priority Critical patent/CN116762353A/zh
Priority to JP2022577890A priority patent/JPWO2022162800A1/ja
Priority to KR1020237025555A priority patent/KR20230127277A/ko
Priority to EP21922821.0A priority patent/EP4270941A1/en
Priority to US18/273,224 priority patent/US20240147032A1/en
Priority to PCT/JP2021/002909 priority patent/WO2022162800A1/ja
Publication of WO2022162800A1 publication Critical patent/WO2022162800A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J4/00—Measuring polarisation of light
    • G01J4/04—Polarimeters using electric detection means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0224—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using polarising or depolarising elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B1/00—Optical elements characterised by the material of which they are made; Optical coatings for optical elements
    • G02B1/002—Optical elements characterised by the material of which they are made; Optical coatings for optical elements made of materials engineered to provide properties not available in nature, e.g. metamaterials

Definitions

  • the present invention relates to imaging devices and optical elements.
  • an imaging device acquires a two-dimensional image in which the obtainable optical information is three colors of R (red), G (green), and B (blue).
  • the obtainable optical information is three colors of R (red), G (green), and B (blue).
  • hyperspectral cameras have been put into practical use as cameras that acquire more detailed color information (wavelength spectrum), and efforts are being made to extract new valuable information from more diverse optical information. It is
  • polarization image sensors that acquire polarization information, which is optical information as important as wavelengths, have also been put into practical use, and technologies for extracting new valuable information from a wider variety of optical information have been proposed. Therefore, in recent years, realization of a hyperspectral imaging device capable of acquiring polarization information has been desired.
  • hyperspectral cameras in practical use are of the line scan type, and acquire spectral images by taking multiple images using a line scan mechanism and a spectroscopic element. Furthermore, in addition to this, it is theoretically possible to combine an existing hyperspectral camera with an existing polarization image sensor in order to acquire polarization information simultaneously. However, when combining an existing hyperspectral camera with an existing polarization image sensor, there is a problem that the device becomes more complicated.
  • the present invention has been made in view of the above, and is a hyperspectral imaging device that has a simple device configuration and can acquire polarization information, and a hyperspectral imaging device that has a simple device configuration and can acquire polarization information.
  • An object of the present invention is to provide an optical element for realizing an imaging device.
  • an imaging device includes a transparent substrate, and a plurality of structures arranged on or within the transparent substrate in the plane direction of the transparent substrate.
  • an optical element having, an imaging element in which a plurality of pixels including a photoelectric conversion element are arranged, and a signal processing unit that generates an image signal based on an electrical signal obtained from the imaging element, the optical element
  • an image in which the condensed light intensity distribution of each wavelength is convoluted is divided into a plurality of pixels corresponding to each polarization component according to the polarization component.
  • Each image is formed, and the plurality of structures have the same height when viewed from the side, and the signal processing unit reconstructs an image in which the point spread function of each wavelength is convolved for each polarization component.
  • an optical element according to the present invention is an optical element having a transparent substrate and a plurality of structures arranged on or within the transparent substrate in a plane direction of the transparent substrate, wherein the optical element has a wavelength
  • an image in which the point spread function of each wavelength is convoluted is applied to a plurality of pixels corresponding to each polarization component, respectively.
  • the imaged structures are characterized by having the same height when viewed from the side.
  • a hyperspectral imaging device that has a simple device configuration and is capable of acquiring polarization information.
  • FIG. 1 is a side view showing a schematic configuration of an imaging device according to an embodiment.
  • FIG. 2 is a diagram for explaining the configuration of the lens shown in FIG. 1.
  • FIG. 3 is a schematic diagram showing processing until the imaging device shown in FIG. 1 acquires an image.
  • FIG. 4 is a diagram schematically showing a part of a cross section of an imaging device and a lens according to the embodiment.
  • FIG. 5 is a diagram for explaining image reconstruction processing by the signal processing unit.
  • FIG. 6 is a side view of a structure having a square shape when viewed from above. 7 is a bottom view of the structure shown in FIG. 6.
  • FIG. FIG. 8 is a bottom view of the structure.
  • FIG. 9 is a side view of the structure; FIG.
  • FIG. 10 is a side view of the structure;
  • FIG. 11 is a diagram showing the relationship between the phase delay amount and the structural width of the structure at each wavelength for each polarized light.
  • FIG. 12 is a diagram showing the relationship between the phase delay amount and the structural width of the structure at each wavelength for each polarized light.
  • FIG. 13 is a diagram showing the relationship between the phase delay amount and the structural width of the structure at each wavelength for each polarization.
  • FIG. 14 is a diagram showing the relationship between the phase delay amount and the structural width of the structure at each wavelength for each polarized light.
  • FIG. 15 is a diagram showing the relationship between the phase delay amount and the structural width of the structure at each wavelength for each polarized light.
  • FIG. 16 is a diagram showing the relationship between the phase delay amount and the structural width of the structure at each wavelength for each polarization.
  • FIG. 17 is a diagram showing an example of a cross-sectional shape of a structure.
  • FIG. 18 is a diagram showing an example of phase distribution for each polarized light possessed by a structure designed to be equivalent to a Fresnel lens.
  • FIG. 19 is a diagram showing an example of a phase distribution for each polarized light possessed by a structure designed to be equivalent to a Fresnel lens.
  • FIG. 20 is a diagram showing an example of phase distribution for each polarized light possessed by a structure designed to be equivalent to a Fresnel lens.
  • FIG. 21 is a diagram showing an example of phase distribution for each polarized light possessed by a structure designed to be equivalent to a Fresnel lens.
  • FIG. 22 is a diagram showing an example of phase distribution for each polarized light possessed by a structure designed to be equivalent to a Fresnel lens.
  • FIG. 23 is a diagram showing an example of phase distribution for each polarized light possessed by a structure designed to be equivalent to a Fresnel lens.
  • FIG. 24 is a diagram showing an example of a phase distribution for each polarized light possessed by a structure when the PSF is designed to have a propeller shape.
  • FIG. 25 is a diagram showing an example of phase distribution for each polarized light possessed by the structure when the PSF is designed to have a propeller shape.
  • FIG. 26 is a diagram showing an example of a phase distribution for each polarized light possessed by a structure when the PSF is designed to have a propeller shape.
  • FIG. 27 is a diagram showing an example of a phase distribution for each polarized light possessed by a structure when the PSF is designed to have a propeller shape.
  • FIG. 28 is a diagram showing an example of a phase distribution for each polarized light possessed by a structure when the PSF is designed to have a propeller shape.
  • FIG. 29 is a diagram showing an example of phase distribution for each polarized light possessed by a structure when the PSF is designed to have a propeller shape.
  • FIG. 30 is a diagram showing PSF shapes for each polarization and each wavelength obtained from the phase distributions shown in FIGS. 24 to 29 by Fresnel diffraction integration.
  • FIG. 31 is a diagram showing PSF shapes for each polarization and each wavelength obtained from the phase distributions shown in FIGS. 24 to 29 by Fresnel diffraction integration.
  • FIG. 32 is a diagram showing PSF shapes for each polarization and each wavelength obtained from the phase distributions shown in FIGS. 24 to 29 by Fresnel diffraction integration.
  • FIG. 30 is a diagram showing PSF shapes for each polarization and each wavelength obtained from the phase distributions shown in FIGS. 24 to 29 by Fresnel diffraction integration.
  • FIG. 31 is a diagram showing PSF shapes for each polarization and each wavelength obtained from the phase distributions
  • FIG. 33 is a diagram showing PSF shapes for each polarization and each wavelength obtained from the phase distributions shown in FIGS. 24 to 29 by Fresnel diffraction integration.
  • FIG. 34 is a diagram showing PSF shapes for each polarization and each wavelength obtained from the phase distributions shown in FIGS. 24 to 29 by Fresnel diffraction integration.
  • FIG. 35 is a diagram showing PSF shapes for each polarization and each wavelength obtained from the phase distributions shown in FIGS. 24 to 29 by Fresnel diffraction integration.
  • FIG. 36 is a diagram showing PSF shapes for each polarization and each wavelength obtained from the phase distributions shown in FIGS. 24 to 29 by Fresnel diffraction integration.
  • FIG. 37 is a diagram showing simulation results.
  • FIG. 37 is a diagram showing simulation results.
  • FIG. 38 is a diagram illustrating an example of a reconstructed image by an imaging device; 39 is a diagram showing the wavelength spectrum at the x point of the reconstructed image in FIG. 38.
  • FIG. FIG. 40 is a diagram showing the result of comparing the reconstruction accuracy for each PSF shape of the lens.
  • FIG. 41 is a diagram showing reconstructed images respectively reconstructed based on observed images of each shape of the PSF in FIG.
  • FIG. 42 is a plan view of an imaging unit to which the lens shown in FIG. 1 is applied.
  • FIG. 43 is a cross-sectional view when the imaging unit is cut along line AA' in FIG. 44 is a plan view of an imaging unit according to Modification 1 of the embodiment.
  • FIG. 45 is a cross-sectional view of the imaging unit taken along line BB' of FIG.
  • FIG. 46 is a plan view of an imaging unit to which the lens shown in FIG. 1 is applied.
  • FIG. 47 is a cross-sectional view of the imaging unit taken along line CC' of FIG. 48 is a plan view of an imaging unit according to Modification 2 of the embodiment.
  • FIG. 49 is a cross-sectional view of the imaging unit taken along line BB' of FIG.
  • FIG. 50 is a diagram schematically showing another example of a part of the cross section of the optical element 12 according to the embodiment.
  • FIG. 51 is a diagram schematically showing another example of a part of the cross section of the optical element 12 according to the embodiment.
  • FIG. 52 is a diagram schematically showing another example of part of the cross section of the optical element 12 according to the embodiment.
  • FIG. 53 is a diagram schematically showing another example of part of the cross section of the optical element 12 according to the embodiment.
  • FIG. 54 is a diagram schematically showing another example of part of the cross section of the optical element 12 according to the embodiment.
  • FIG. 55 is a diagram schematically showing another example of part of the cross section of the optical element 12 according to the embodiment.
  • FIG. 1 is a side view showing a schematic configuration of an imaging device according to an embodiment.
  • FIG. 2 is a diagram illustrating the configuration of the optical element 12 shown in FIG.
  • FIG. 3 is a schematic diagram showing processing until the imaging device 10 shown in FIG. 1 acquires an image.
  • the imaging device 10 has an optical element 12, an imaging element 11, and a signal processing section 13.
  • the imaging element 11 has a photoelectric conversion element such as CCD or CMOS.
  • the signal processing unit 13 processes photoelectric conversion signals output from the imaging element 11 to generate image signals.
  • the imaging device 10 in the imaging device 10, light such as natural light or illumination light is applied to an imaging target (actual image), and light transmitted/reflected/scattered by the imaging target 1, or light transmitted/reflected/scattered by the imaging target 1 or Light emitted from the optical element 12 forms an optical image on the imaging element 11 .
  • the optical element 12 has a function that the imaging position differs according to the polarization information and the imaging characteristics differ according to the wavelength.
  • the optical element 12 consists of a fine binary structure.
  • the optical element 12 has a plurality of fine columnar structures 160 arranged with a period equal to or less than the wavelength of incident light and having a constant height when viewed from the side.
  • the optical element 12 includes a first lens pattern region 12-1 that separates linearly polarized light at 0° (horizontal) and 90° (vertical), and a linearly polarized light at +45° (oblique) and ⁇ 45° (oblique).
  • a second lens pattern region 12-2 (see FIG. 2) that separates the linearly polarized light forms a set, and separates the polarized light components in four directions at the same time.
  • the optical element 12 has different imaging (condensing) positions depending on the polarization direction.
  • the optical element 12 performs optical encoding by having the function of having different imaging characteristics depending on the wavelength.
  • the optical element 12 is a lens (wavelength-dependent PSF lens) having a PSF (Point spread function) with a shape that clearly differs depending on the wavelength. It has a function to generate images by performing different convolution operations on .
  • the optical element 12 is a wavelength-dependent PSF lens, and the image (acquired observed image (encoded image)) in which the PSF of each wavelength is convoluted is converted in each polarization direction in the imaging element 11 according to the polarization direction. It has a function of forming an image on a plurality of corresponding pixels.
  • the light from the imaging target 1 is imaged at different positions in a state in which the polarized components are separated by the optical element 12, and the imaging characteristics (blurring degree) differ depending on the wavelength.
  • the optical element 12 performs a different convolution operation for each wavelength while separating the polarization components.
  • the imaging device 11 acquires an observation image for each polarization direction, which has been subjected to a different convolution operation for each wavelength by the optical device 12, which is a polarization separation/wavelength dependent PSF lens.
  • the optical device 12 which is a polarization separation/wavelength dependent PSF lens.
  • an image G1 corresponding to the 90° polarization component an image G2 corresponding to the 0° polarization component, an image G3 corresponding to the -45° polarization component, and an image G3 corresponding to the 45° polarization component.
  • the images G1 to G4 are formed on the imaging element 11 as the image G4 (see FIG. 3) in which the PSF of each wavelength is convoluted in any of the images.
  • the signal processing unit 13 Based on compressed sensing, the signal processing unit 13 generates a reconstructed image in which spectral information is restored by reconstruction processing for reconstructing an image in which the PSF of each wavelength is convoluted for each polarization component. For example, the signal processing unit 13 performs reconstruction processing to perform a reconstructed image G1′ corresponding to a 90° polarization component, a reconstructed image G2′ corresponding to a 0° polarization component, and a reconstruction image G2′ corresponding to a ⁇ 45° polarization component. A reconstructed image G3′ and a reconstructed image G4′ corresponding to the 45° polarization component are generated.
  • the imaging device 10 may include known components such as an optical filter for cutting infrared light, an electronic shutter, a viewfinder, a power supply (battery), and a flashlight, but descriptions thereof are particularly useful for understanding the present invention. It is omitted because it is not necessary. Also, the above configuration is merely an example, and in the embodiment, known elements can be appropriately combined and used as components other than the optical element 12, the imaging element 11, and the signal processing section 13.
  • FIG. 4 is a diagram schematically showing a part of the cross section of the imaging element 11 and the optical element 12 according to the embodiment.
  • FIG. 4 part of the imaging element 11 and the optical element 12 will be described as an imaging unit 100.
  • FIG. 4 is a cross-sectional view when the optical element 12 shown in FIG. 2 is applied and cut along line AA' shown in FIG. Also, from FIG. 4 onward, an xyz coordinate system is shown.
  • the xy plane direction corresponds to the surface direction of the imaging device 11, the transparent substrate 190 described later, and the like.
  • plane view refers to viewing in the z-axis direction (for example, in the negative z-axis direction).
  • ide view refers to viewing in the x-axis direction or the y-axis direction (eg, the y-axis negative direction).
  • a first lens pattern region 12-1 that separates linearly polarized light at 0° (horizontal) and 90° (vertical) and linearly polarized light at +45° (oblique) and ⁇ 45° (oblique) and a second lens pattern region 12-2 separating the .
  • the imaging unit 100 is arranged so that the optical element 12 and the imaging element 11 face each other.
  • the imaging element 11 and the optical element 12 are provided in this order in the z-axis positive direction.
  • the imaging element 11 has a plurality of pixels 130 each including a photoelectric conversion element arranged in a two-dimensional array.
  • An example of a photoelectric conversion element is a photodiode (PD).
  • PD photodiode
  • Each pixel corresponds to red (R), green (G), and blue (B).
  • An example of the wavelength band of red light is 600 nm ⁇ 0 ⁇ 800 nm, where ⁇ 0 is the wavelength.
  • An example wavelength band for green light is 500 nm ⁇ 0 ⁇ 600 nm.
  • An example wavelength band for blue light is less than ⁇ 0 ⁇ 500 nm.
  • Pixel R, pixel G, and pixel B may be in a Bayer array. Alternatively, the pixels may be for monochrome images.
  • the incident light travels along the z-axis negative direction and reaches the imaging element 11 via the optical element 12 .
  • An electric charge generated in each pixel 130 of the imaging element 11 is converted into an electric signal that is the basis of a pixel signal by a transistor or the like (not shown) and output to the outside of the imaging unit 100 through a wiring layer.
  • the optical element 12 is arranged on the side on which the light from the object to be imaged is incident.
  • the optical element 12 is provided so as to cover the imaging element 11 when viewed from above.
  • the optical element 12 is composed of a plurality of structures 160 periodically (having a periodic structure) on the bottom surface of the transparent substrate 190, for example.
  • the plurality of structures 160 may be evenly spaced, such as for ease of design, or may be unevenly spaced.
  • a plurality of structures 160 are formed in a transparent layer 150 formed on the imaging device 11 to cover the plurality of pixels.
  • the transparent layer 150 is a low refractive index transparent layer made of material such as air or SiO2 .
  • the transparent substrate 190 and the transparent layer 150 may be made of a single material, or may be made of a plurality of layers.
  • the multiple structures 160 have the same height when viewed from the side.
  • the plurality of structures 160 consist of microstructured patterns made of a material such as SiN or TiO 2 having a higher refractive index than the transparent layer 150 .
  • the optical element 12 is a metasurface.
  • the metasurface includes a plurality of microstructures (corresponding to the structure 160) having a width equal to or less than the wavelength of light when viewed from above and having the same height when viewed from the side.
  • Each of the plurality of structures 160 has a two-fold rotationally symmetric cross-sectional shape when cut along a plane parallel to the xy plane, and polarization dependence can be achieved by this shape.
  • the metasurface may have a two-dimensional structure or a three-dimensional structure.
  • the optical element 12 can control the phase and light intensity according to the light characteristics (wavelength, polarization, incident angle) by simply changing the parameters of this structure 160 . In the case of a three-dimensional structure, the degree of freedom in design is improved over that of a two-dimensional structure.
  • the optical element 12 has different imaging (condensing) positions depending on the polarization direction, and has different PSFs depending on the wavelength at each condensing point.
  • the light from the imaging target 1 is imaged at different positions on the imaging element 11 in a state in which the polarization components are separated by the optical element 12 having a polarization separation/wavelength dependent PSF function, and focused according to the wavelength.
  • Images RGB images or monochrome images having different image characteristics (degree of blurring) are acquired.
  • the optical element 12 includes a first lens pattern region 12-1 that separates 0° and 90° linearly polarized light, and a +45° and -45° linearly polarized light.
  • a second lens pattern region 12-2 is formed as a set. Images corresponding to the four polarization components of 0°, 90°, +45°, and -45° are formed, and the imaging device 11 sets respective regions in which the images corresponding to the respective polarization components are imaged.
  • FIG. 4 shows an example in which an image corresponding to the polarization component of 0° is formed on the area 11-1 of the imaging device 11 and an image corresponding to the polarization component of +45° is formed on the area 11-2.
  • Each acquired image is optically convolved for each wavelength by the polarization separation/wavelength dependent PSF of the optical element 12 for the imaging target (actual image) 1, and integrated along the wavelength dimension on the pixel. handle.
  • the imaging unit 100 acquires the image in an optically encoded and compressed state.
  • the image sensor 11 is a color image sensor, after the convolution operation, multiplication is performed according to the wavelength sensitivities of the respective R, G, and B pixels of the image sensor 11, and then integration along the wavelength dimension is performed on the pixels. be done.
  • an optically encoded image is formed on the imaging device 11 for each polarization component only by the optical element 12 .
  • the optical element 12 can perform polarization separation while performing effective encoding in spectral image reconstruction. Therefore, since the imaging device 10 only requires the optical element 12, the imaging device 11, and the signal processing unit 13, it is possible to realize a hyperspectral imaging device having a simple device configuration and capable of acquiring polarization information.
  • the distance between the optical element 12 and the image pickup device 11 is determined by the focal length of the lens as in a normal image pickup device, so the size of the image pickup device 10 has the same field of view F number. Equivalent to a normal camera.
  • the optically encoded image is processed by the signal processing unit 13 by performing appropriate signal processing. Image information can be restored.
  • the imaging device 10 performs signal processing using compressed sensing, which is a method of reconstructing (restoring) an object with high accuracy from a small amount of information, particularly by utilizing the sparsity of natural images. Since the imaging apparatus 10 can perform different encoding for each wavelength component of the actual image using the wavelength-dependent PSF of the optical element 12, the signal processing unit 13 performs image reconstruction processing based on compressed sensing. By doing so, the spectrum image can be restored.
  • compressed sensing is a method of reconstructing (restoring) an object with high accuracy from a small amount of information, particularly by utilizing the sparsity of natural images. Since the imaging apparatus 10 can perform different encoding for each wavelength component of the actual image using the wavelength-dependent PSF of the optical element 12, the signal processing unit 13 performs image reconstruction processing based on compressed sensing. By doing so, the spectrum image can be restored.
  • a spectral image (polarized spectral image) (for example, images G1′ to G4′ in FIG. 3) composed of each polarization component is generated. be able to.
  • three of the four Stokes parameters describing the polarization state can be derived for each wavelength from the information of the four linearly polarized light components. Further, depending on the lens pattern and its combination, it is also possible to obtain the full Stokes parameter for each wavelength by performing polarization separation for each of four or six bases from which all Stokes parameters can be derived.
  • the signal processing unit 13 is based on the matrix defined by the imaging process of the optical element 12 and the image formed on the imaging element 11, that is, the image in which the PSF of each wavelength is convolved (encoded image). Then, an image is reconstructed for each polarization component.
  • FIG. 5 is a diagram for explaining image reconstruction processing by the signal processing unit 13 .
  • the reconstruction process solves an optimization problem (e.g., equation (A) in FIG. 5) with the observation matrix ⁇ defined by the optical system and the acquired encoded image g as input. processing.
  • equation (A) equation (A) in FIG. 5
  • R corresponds to the prior probability of the signal based on prior (prediction information: image-likeness), and the sparsity of the image in general, such as a small difference between adjacent pixels, is used. .
  • ⁇ is a balancing parameter.
  • SSTV Spa-Spectral Total Variation
  • ADMM Alternating Direction Method of Multipliers
  • Reference document 2 a technique called Alternating Direction Method of Multipliers
  • a method has been proposed for performing image reconstruction by simultaneously optimizing the regularization term and the parameters of the optimization problem using machine learning or the like (see Non-Patent Document 2).
  • the signal processing unit 13 can also apply this method. That is, the signal processing unit 13 may reconstruct the spectral image using a model configured by a neural network and an optimized reconstruction algorithm.
  • the signal processing unit 13 uses machine learning to previously learn the form of the regularization term and various parameters of the optimization problem using various spectral images, and obtains the learned (optimized) regularity An image is reconstructed using the conversion term and various parameters.
  • Reference 2 S. Boyd, N. Parikh, E. Chu, B. Peleato, and J. Eckstein, “Distributed optimization and statistical learning via the alternating direction method of multipliers,” Foundations and Trends in Machine Learning, vol. 3, no. 1, pp. 1-122, 2011.
  • the observation matrix ⁇ effective for reconstruction can be realized with a simple and compact optical system (optical element 12).
  • the imaging position varies according to the polarization information.
  • the optical element 12 is a polarization separation/wavelength dependent PSF lens having different imaging characteristics depending on the wavelength.
  • FIG. 6 and 7 are diagrams showing an example of a schematic configuration of the structure 160.
  • FIG. FIG. 6 is a side view of a structure 160 having a square shape when viewed from above.
  • FIG. 7 is a bottom view of structure 160 shown in FIG.
  • the structure 160 is a columnar structure extending in the z-axis direction, and is formed on the bottom surface of a transparent substrate 190 (for example, a SiO 2 substrate (refractive index 1.45)).
  • a transparent substrate 190 for example, a SiO 2 substrate (refractive index 1.45).
  • Equation (1) Let P be the arrangement period of each structure 160 . It is desirable to set the arrangement period P as shown in Equation (1) so that diffracted light does not occur on the transmission side.
  • ⁇ min is the shortest wavelength in the wavelength band to be received.
  • n0 is the refractive index of the transparent layer on the transmission side.
  • ⁇ min is 420 nm
  • n 0 is 1.0
  • P 400 nm.
  • the height h (length in the z-axis direction) of the structure 160 is constant. Since it is preferable that the structure 160 has an optical phase delay amount (phase value) of 2 ⁇ or more with respect to the incident light, that is, the light traveling along the z-axis direction, the height h is the wavelength to be separated. Assuming that the desired central wavelength in the wavelength region on the longest wavelength side of the region is ⁇ r , it is desirable to set as in Equation (2).
  • each of the plurality of structures 160 has a two-fold rotational symmetry in cross section when cut along a plane parallel to the xy plane.
  • the polarization dependence refers to the property of being able to give different amounts of phase delay to orthogonal linearly polarized light.
  • the phase value for each polarization component that depends on the dimensional parameters of the cross-sectional shape of the structure 16 is used to design a lens pattern having polarization separation and wavelength dependent PSF.
  • FIG. 9 and 10 are side views of the structure.
  • the structure 160 is formed of a material having a refractive index n1 higher than the refractive index n0 of the material or space surrounding the structure 160, and the height h of the structure 160 when viewed from the side is constant. . Also, the bottom and top surfaces of the structure 160 are square.
  • the structure 160 can act as an optical waveguide that confines and propagates light within the structure due to the refractive index difference with the material or space surrounding the structure 160 . Therefore, when light is incident on one side of the structure 160, the light propagates while being strongly confined within the structure. At this time, the incident light propagates while undergoing a phase delay effect determined by the effective refractive index neff of the optical waveguide, and is finally output from the other side of the structure.
  • phase delay amount ⁇ due to the structure is given by the formula ( 3).
  • n eff in equation (3) is a function of the dimensions of structure 160 and that strong polarization dependence occurs depending on the shape of structure 160 .
  • Structure 160 can independently provide different n effs for orthogonal incident polarizations by having a rectangular structure cross-section as shown in FIG.
  • ⁇ x is the phase delay amount for the horizontal (x-axis direction) polarization component in FIG. 8
  • ⁇ y is the phase delay amount for the vertical (y-axis) polarization component
  • ⁇ y is the effective n effx is the refractive index
  • n effy is the effective refractive index for the vertical polarization component
  • w 1 is the width of the column parallel to the horizontal direction
  • w 2 is the width of the column parallel to the vertical direction.
  • n effx and n effy can be controlled by a combination of w 1 and w 2 , respectively n 0 ⁇ n effx ⁇ n 1 and n 0 ⁇ n effy ⁇ n Takes a value of 1 .
  • ⁇ x and ⁇ y can be arbitrarily controlled by a combination of w1 and w2 . That is, as illustrated in FIGS. 11 to 16 (described later), by designing the widths w 1 and w 2 of the structure 160, the phase delay amounts ⁇ x and ⁇ y for each polarization direction can be adjusted. It can be set arbitrarily.
  • 11 to 16 are diagrams showing the relationship between the phase delay amount and the structural width of the structure 160 at each wavelength for each polarization.
  • 11 to 16 show vertical polarization or horizontal polarization of wavelengths (450, 550, 660 nm) when the structural parameter (width) of the columnar structure 160 is set to various values while the height is constant. Indicates the phase value of polarized light.
  • FIG. 11 shows the phase values of horizontally polarized light at a wavelength of 450 nm
  • FIG. 12 shows the phase values of vertically polarized light at a wavelength of 450 nm
  • FIG. 13 shows the phase values of transversely polarized light at a wavelength of 550 nm
  • FIG. 14 shows the phase values of vertically polarized light at a wavelength of 550 nm
  • FIG. 15 shows the phase values of laterally polarized light at a wavelength of 650 nm
  • FIG. 16 shows the phase values of vertically polarized light at a wavelength of 650 nm.
  • FIGS. 11 to 16 describe the relationship between the phase delay amount and the structural width of the structure 160 for horizontally polarized light and vertically polarized light
  • the present invention is not limited to this.
  • a similar design can be applied for any orthogonal polarization.
  • the compositional structure of structure 160 shown in FIGS. 6-10 may be rotated 45° in the xy plane.
  • 11 to 16 show characteristics for only three wavelengths, but similar characteristics can be obtained for any wavelength.
  • An optical element 12 can be designed with a PSF.
  • FIG. 17 is a diagram showing an example of the cross-sectional shape of the structure 160.
  • Structure 160 may have a variety of cross-sectional shapes as illustrated in FIG. Exemplified shapes are, for example, two-fold rotationally symmetrical shapes obtained by various combinations of rectangular shapes, rhombic shapes, cross shapes and elliptical shapes.
  • the lens phase distribution is designed to focus light at different positions for each polarized light, and has a PSF having a different shape for each wavelength.
  • phase distribution was designed using the structure 160 having the SiN composition structure shown in FIGS.
  • a lens having a PSF with a different shape for each wavelength can be realized from various phase distributions.
  • phase distributions ⁇ x and ⁇ y of the lens for orthogonal polarized light are represented by equations (4) and (5), for example.
  • (x, y) are spatial coordinates on the lens plane.
  • ⁇ d is the design wavelength.
  • xf is the focal length (amount of eccentricity) along the x-axis.
  • zf is the focal length along the z-axis.
  • n is the refractive index of the light propagation space after passing through the lens.
  • C is an arbitrary constant.
  • FIG. 18 to 23 are diagrams showing examples of phase distributions for each polarized light possessed by the structure 160 when designed to be equivalent to the Fresnel lens.
  • FIG. 18 shows the phase distribution of laterally polarized light at a wavelength of 450 nm.
  • FIG. 19 shows the phase distribution of vertically polarized light at a wavelength of 450 nm.
  • FIG. 20 shows the phase distribution of laterally polarized light at a wavelength of 550 nm.
  • FIG. 21 shows the phase distribution of vertically polarized light at a wavelength of 550 nm.
  • FIG. 22 shows the phase distribution of laterally polarized light at a wavelength of 650 nm.
  • FIG. 23 shows the phase distribution of vertically polarized light at a wavelength of 650 nm.
  • the lens size is 0.5 mm ⁇ 1 mm
  • the focal length z f is 5.0 mm
  • the amount of eccentricity x f is 0.25 mm
  • the design wavelength is 520 nm.
  • rice field. ⁇ is transformed so that it falls within the range of 0 to 2 ⁇ . For example, -0.5 ⁇ and 2.5 ⁇ are converted to 1.5 ⁇ and 0.5 ⁇ respectively.
  • phase distribution of formulas (4) and (5) is most suitable from the phase delay amount at the design wavelength of the composition structure.
  • a structure 160 having a structure (a structure that minimizes the phase error in each polarization) may be selected and arranged for each position.
  • phase distributions of the lenses shown in FIGS. 18 to 23 when parallel light is incident on the optical element 12, it is separated into horizontal and vertical polarization components and condensed around one point, each of which differs in focal length.
  • the parallel light beams of the design wavelength are condensed at one point at the focal length. That is, the PSF shape becomes a dot (more precisely, a Gaussian function for a circular lens and a sinc function for a square lens).
  • the magnitude of the PSF changes depending on the wavelength due to the wavelength dependence of the condensed position due to the phase pattern and the wavelength dispersion with respect to the phase of the composition structure. That is, chromatic aberration occurs in which the degree of blurring of an image varies depending on the wavelength.
  • the object to be imaged is sorted for each polarization component, and while forming an image centering on a different position, different convolution operations are performed for each wavelength. After image acquisition, it is possible to generate a spectral image by image reconstruction.
  • the optical element 12 is designed to have a phase distribution such that the shape of the PSF rotates according to the wavelength.
  • the phase distributions ⁇ x and ⁇ y of the lens are expressed by, for example, formula (6) and formula ( 7).
  • r is the distance from the origin (designed condensing center position) on the lens plane.
  • ⁇ is the angle formed by the designed condensing center position on the lens plane and the coordinates.
  • c is the speed of light in vacuum.
  • ⁇ ( ⁇ ) is the optical angular frequency at the position ⁇ .
  • ⁇ min is the design minimum optical angular frequency.
  • ⁇ max is the design maximum optical angular frequency.
  • f is the focal length.
  • n is the refractive index of the light propagation space after passing through the lens.
  • C is an arbitrary constant.
  • N is the number of vanes.
  • FIG. 24 to 29 are diagrams showing examples of phase distributions for each polarized light possessed by the structure 160 when the PSF is designed to have a propeller shape.
  • FIG. 24 shows the phase distribution of laterally polarized light at a wavelength of 450 nm.
  • FIG. 25 shows the phase distribution of vertically polarized light at a wavelength of 450 nm.
  • FIG. 26 shows the phase distribution of laterally polarized light at a wavelength of 550 nm.
  • FIG. 27 shows the phase distribution of vertically polarized light at a wavelength of 550 nm.
  • FIG. 28 shows the phase distribution of laterally polarized light at a wavelength of 650 nm.
  • FIG. 29 shows the phase distribution of vertically polarized light at a wavelength of 650 nm.
  • the lens size is 0.5 mm ⁇ 1 mm
  • the focal length f is 5.0 mm
  • the number of blades is 3
  • the design wavelength is 420 to 660 nm
  • the condensing position is horizontal polarized light (+0 .25 mm, 0 mm) and vertical polarization (-0.25 mm, 0 mm).
  • ⁇ is transformed so that it falls within the range of 0 to 2 ⁇ . For example, -0.5 ⁇ and 2.5 ⁇ are converted to 1.5 ⁇ and 0.5 ⁇ respectively.
  • the amount of phase delay at each wavelength (each angular frequency) possessed by the composition structure can be obtained from equations (6) and (7).
  • ) (a structure in which the phase error of each polarization is minimized) is selected and arranged for each position.
  • the optical element 12 sorts the object 1 to be imaged 1 by polarization component using the above-described polarization separation function and wavelength-dependent PSF, and performs different convolution operations for each wavelength while forming images centering on different positions. can be applied, and imaging device 10 can generate a spectral image by image reconstruction after image acquisition.
  • the propeller lens type in which the size of the PSF is almost constant and the wavelength dependence occurs in a clear form of rotation, is advantageous in reconstruction and is more suitable. is.
  • optical element 12 designed based on the propeller lens type will be shown below, but the same applies to other wavelength-dependent PSF lenses such as Fresnel lens type.
  • FIGS. 30 to 36 are diagrams showing PSF shapes for each polarization and each wavelength obtained by Fresnel diffraction integration from the phase distributions shown in FIGS. 24 to 29.
  • 32 to 36 are PSF shapes in horizontal polarization and horizontal polarization in the vicinity of the focal point (+0.5 mm, 0 mm).
  • the condensing position differs depending on the polarization, and it can be seen that polarization separation is achieved.
  • the blades are a propeller-shaped PSF with three blades, which rotate according to the wavelength.
  • the size of the PSF itself does not substantially change regardless of changes in wavelength.
  • the polarization components are sorted, and the result of convolving the image with the PSF of the corresponding wavelength is imaged on the image sensor.
  • the separation of horizontal polarized light and vertical polarized light was described, but the same result was obtained for the separation of +45°/ ⁇ 45° polarized light.
  • FIG. 37 is a diagram showing simulation results.
  • FIG. 30 36 is performed for each wavelength, and integration is performed along the wavelength dimension in consideration of the sensitivity of RGB pixels of a general color image sensor.
  • FIG. 37 is a monochrome display of an RGB color image, the image on the left is the input spectrum image (actual image), and the image on the right is the image after convolution formed on the imaging device 11 ( observation image).
  • the wavelength range of B light is 420 to 500 nm
  • the wavelength range of G light is 500 to 600 nm
  • the wavelength range of R light is 600 to 660 nm.
  • FIG. 37 an image of only one polarization component (horizontal polarization) is shown as an observation image, and reconstruction processing corresponding to the observation image of this horizontal polarization will be shown below, but the same applies to other polarization components. be.
  • the observed image is blurred due to the convolution operation by the PSF of the optical element 12.
  • the amount of observed information is compressed to 12% of the actual image (3 colors from 25 wavelength bands), and the information is restored from 3 colors to 25 wavelength bands by image reconstruction based on compressed sensing. .
  • FIG. 38 is a diagram showing an example of a reconstructed image by the imaging device 10.
  • FIG. FIG. 38 shows an example in which a spectral image is generated from the observed image shown in FIG. 37 using reconstruction processing based on compressed sensing.
  • FIG. 38 also shows an actual image for comparison. Note that the reconstructed image and the actual image shown in FIG. 38 are spectral images of 25 bands, but are monochrome images displayed as RGB images for visualization.
  • the reconstructed image was evaluated using PSNR (Peak Signal-to-Noise Ratio), SSIM (Structural Similarity), and SAM (Spectral Angle Mapping) evaluation indices.
  • PSNR Peak Signal-to-Noise Ratio
  • SSIM Structuretural Similarity
  • SAM Spectral Angle Mapping
  • PSNR is an index that evaluates the difference for each pixel, as shown in equations (8) and (9), and the higher the value (dB), the higher the image quality.
  • the PSNR of each wavelength image was calculated and applied to the spectral image by averaging across wavelengths.
  • SSIM is structural similarity, and is an index including correlation with surrounding pixels, as shown in Equation (10). The closer SSIM is to 1, the higher the image quality. The SSIM of each wavelength image was calculated and applied to the spectral image by averaging across wavelengths.
  • SAM is the wavelength spectrum similarity, and the closer to 0, the more similar the spectrum. It was applied to the spectral image by calculating the SAM of each pixel and averaging it over the entire image.
  • the reconstructed image had a PSNR of 29.10 dB, an SSIM of 0.9176, and a SAM of 0.1874. Therefore, it can be seen that the imaging device 10 reconstructs the image with high accuracy.
  • FIG. 39 is a diagram showing the wavelength spectrum at the x point of the reconstructed image in FIG. 38.
  • FIG. 39 also shows the wavelength spectrum at the x point of the real image (ground truth) together with the reconstructed image.
  • the reconstructed image has a spectrum that closely matches the actual image, and it can be seen that highly accurate information restoration can be performed by image reconstruction. Note that the reconstruction accuracy varies depending on the shape of the PSF of the optical element 12 as well as the regularization term and how to solve the optimization problem.
  • FIG. 40 shows the results of comparing the reconstruction accuracy for each PSF shape of the optical element 12 .
  • FIG. 41 is a diagram showing reconstructed images respectively reconstructed based on observed images of each shape of the PSF in FIG.
  • the reconstructed image, the actual image, and the Fresnel lens image shown in FIG. 41 are monochrome representations of RGB images.
  • FIG. 40 also shows a Fresnel lens type PSF.
  • FIG. 41 also shows a real image and a reconstructed image by the Fresnel lens type.
  • the Fresnel lens type image is reconstructed using large chromatic aberration.
  • FIGS. 40 and 41 PSNR, SSIM, and SAM were used as evaluation indices.
  • N in FIGS. 40 and 41 is the number of blades.
  • 40 and 41 are the results of calculation and evaluation assuming only one polarization component.
  • the parameters of the lens are a lens size of 0.5 mm ⁇ 1.0 mm, a focal length zf of 5.0 mm, an amount of eccentricity xf of 0.25 mm, and a designed wavelength band of 420 to 660 nm.
  • the optical element 12 As shown in Figures 40 and 41, there was no significant difference in the number of blades in any of the evaluation indices, and the accuracy was higher than that of the Fresnel lens PSF. In other words, the optical element 12 showed higher accuracy than the Fresnel lens PSF regardless of the number of blades. Therefore, it can be said that the optical element 12 according to the present embodiment is more suitable than the Fresnel lens type and constitutes an observation matrix advantageous for reconstruction.
  • an optically encoded image is formed on the imaging element 11 for each polarization component only by the optical element 12 .
  • the hyperspectral camera optical system and the polarization information acquisition optical system are realized as an integrated optical element by the optical element 12, which is a metasurface.
  • the imaging device 10 only the optical element 12 can perform polarization separation and effective encoding in spectral image reconstruction. Therefore, the imaging device 10 can be configured by only the optical element 12, the imaging device 11, and the signal processing unit 13, and it is possible to realize a hyperspectral imaging device that has a simple device configuration and is capable of acquiring polarization information. can.
  • the distance between the optical element 12 and the image pickup device 11 is determined by the focal length of the lens as in a normal image pickup device, so the size of the image pickup device 10 has the same field of view F number. Equivalent to a normal camera.
  • the optically encoded image is processed by the signal processing unit 13 by performing appropriate signal processing. Image information can be restored.
  • the imaging itself acquisition of an image separated into each polarization component and encoded
  • the imaging itself acquisition of an image separated into each polarization component and encoded
  • the optical element 12 responsible for polarization separation and encoding is composed of a fine binary structure, so manufacturing man-hours can be reduced compared to general diffractive optical elements that require multistage lithography. It is thin, light in weight, and easy to manufacture.
  • the optical element 12 which has a fine binary structure, has a light transmittance resulting from the shadow effect (a phenomenon in which the diffracted light from the diffractive optical element is reflected and scattered by its own multistage structure) that occurs in a general diffractive optical element. Since there is no degradation or limit on the maximum lens numerical aperture (NA), higher NA lenses (bright lenses with high light utilization efficiency) can be realized.
  • NA numerical aperture
  • Modification 1 of Embodiment In Modified Example 1, a modified example capable of reducing overlapping of images (crosstalk) on the pixels of the image sensor 11 will be described.
  • FIG. 42 is a plan view of an imaging unit to which the optical element 12 shown in FIG. 1 is applied. Note that the transparent substrate 190 is omitted.
  • FIG. 43 is a cross-sectional view when the imaging unit is cut along line AA' in FIG.
  • image overlap occurs near the boundary of each image of the imaging element 11 (near the boundary between the regions 11-1 and 11-2). There are concerns that arise. This image overlap may lead to degradation of the reconstructed image and degradation of the polarization extinction ratio (desired polarization component/other polarization components).
  • FIG. 44 is a plan view of an imaging unit according to Modification 1 of the embodiment. Note that the transparent substrate 190 is omitted.
  • FIG. 45 is a cross-sectional view of the imaging unit taken along line BB' of FIG.
  • the first lens pattern region 12-1 and the second lens pattern region 12-2 (polarization splitting) of the optical element 12 are used to avoid overlapping of images. area) is provided with a barrier 240 immediately below the boundary.
  • this barrier 240 be made of a material that absorbs light and does not generate stray light, or that is surface-treated to add a similar function.
  • This barrier 240 is provided between the optical element 12 , which is a polarization separation/wavelength dependent PSF lens, and the imaging element 11 . If the barrier 240 completely blocks the influence between the first lens pattern area 12-1 and the second lens pattern area 12-2, the image overlap can be completely eliminated.
  • barrier height and position can be determined according to the application, fabrication, and mounting process.
  • Modification 2 of Embodiment In Modified Example 2, a modified example in which it is possible to reduce overlapping of images (crosstalk) on the pixels of the image sensor 11 and improve the polarization extinction ratio will be described.
  • FIG. 46 is a plan view of an imaging unit to which the optical element 12 shown in FIG. 1 is applied. Note that the transparent substrate 190 is omitted.
  • FIG. 47 is a cross-sectional view of the imaging unit taken along line CC' of FIG.
  • an image corresponding to the 0° polarization component of the imaging element 11 is formed.
  • the two images formed in the area 11-1a formed in the area 11-1a where the 90° polarization component is formed and the area 11-1b formed in the area 11-1b where the image corresponding to the 90° polarization component is imaged there is a concern that the images overlap (crosstalk). This image overlap may lead to degradation of the reconstructed image and degradation of the polarization extinction ratio (desired polarization component/other polarization component).
  • FIG. 48 is a plan view of an imaging unit according to modification 2 of the embodiment. Note that the transparent substrate 190 is omitted.
  • FIG. 49 is a cross-sectional view of the imaging unit taken along line BB' of FIG.
  • the imaging unit 200A has a configuration in which a plurality of polarizing filters 250 are provided between the optical element 12 and the imaging element 11 in order to avoid overlapping of images. corresponds to the imaging position of the light spatially polarized and separated by the optical element 12 .
  • each polarized component separated by the lens is necessarily transmitted through the corresponding polarizing filter. After that, each light forms an image on the imaging device 11 . At this time, the polarization direction of the separated light is matched with the polarization transmission axis of the corresponding polarization filter 250 .
  • a polarizing filter is provided between the optical element 12 and the image pickup element 11 so that the polarization direction corresponding to the pixel positioned directly below matches the polarization transmission axis.
  • the imaging unit 200A double polarization filtering is performed by the optical element 12 and the polarization filter 250. Since this leads to an improvement in the polarization extinction ratio, the imaging unit 200A can also improve the quality of the polarization image.
  • the imaging unit 200A using the polarizing filter 250 together can add the above effects while maintaining high light utilization efficiency. This is because polarization filtering is performed after polarization separation, so that the total amount of light reaching the pixel array is hardly reduced.
  • the imaging unit 200A can be further provided with a barrier 240 shown in FIGS. 44 and 45.
  • the polarizing filter 250 and the barrier 240 together, the crosstalk of each polarization image is substantially eliminated, and a higher quality polarization spectral image can be generated.
  • the optical element 12 is not limited to the configuration shown in FIGS. 3 and 4, and can take various forms in terms of the number and spacing of the structures 160, structural shapes, and arrangement patterns. Also, the structures 160 may be connected to each other or embedded in a transparent material.
  • optical element 12 is formed on the bottom surface of the transparent substrate 190 in FIGS. 3 and 4, it is not limited to this.
  • 50 to 55 are diagrams schematically showing other examples of part of the cross section of the optical element 12 according to the embodiment.
  • the structure 160 of the optical element 12 may be formed on the upper surface of the transparent substrate 190A.
  • structure 160 is supported by transparent substrate 190A.
  • the transparent layer above the structure 160 may be a protective layer such as air or resin, and the material of the transparent layer may be a single material or a layered structure of multiple materials.
  • the structure 160 of the optical element 12 may be embedded in the transparent substrate 190B.
  • the transparent substrate 190B may be made of a single material, or may be made of a plurality of layers.
  • the structures 160 of the optical element 12 may be formed on both sides of the transparent substrate 190C.
  • the polarization splitting/wavelength dependent PSF function described above may be realized with the structures 160 on both sides of the transparent substrate 190C.
  • the wavelength-dependent PSF function may be realized by the structure 160 of the transparent substrate 190C, and other optical functions such as filters, splitters, and light shielding layers may be realized on the other side.
  • the transparent layer above the structure 160 may be air or a protective layer such as resin.
  • the structure 160 of the optical element 12 may be formed on the refractive lens 190D.
  • Structure 160 is supported on refractive lens 190D.
  • the refracting lens 190D is useful in improving the light collection performance of wavelength dependent light collection characteristics (higher NA, etc.). The same applies to the refractive lenses 190E and 190F described later.
  • the transparent layer above the structure 160 may be air or a protective layer such as resin.
  • the refractive lens 190D may be made of a single material or may be a layered material of multiple materials.
  • the structure 160 of the optical element 12 may be embedded within the refractive lens 190E.
  • the refractive lens 190E may be made of a single material or may be made of multiple layers.
  • the structure 160 of the optical element 12 may be formed on both surfaces of the refractive lens 190F.
  • the wavelength dependent PSF function described above may be realized with structures 160 on both sides of refractive lens 190F.
  • the wavelength-dependent PSF function may be realized by the structure 160 of the refractive lens 190F, and other optical functions such as filters, splitters, and light shielding layers may be realized on the other side.
  • the transparent layer above the structure 160 may be air or a protective layer such as resin.
  • the refractive lens 190F may be made of a single material, or may be made of multiple layers of material.
  • a light shielding film pattern or the like may be provided on the same plane or on the back surface.
  • TiO 2 and SiN have been described as examples of the material of the structure 160 .
  • the material of the structure 160 is not limited to them.
  • SiN, SiC, TiO 2 , GaN, or the like may be used as the material of the structure 6 . It is suitable because of its high refractive index and low absorption loss.
  • Si, SiC, SiN, TiO 2 , GaAs, GaN, or the like may be used as the material of the structure 6 .
  • InP or the like can be used as the material of the structure 160 in addition to the materials described above for light in the long-wavelength near-infrared region (communication wavelengths of 1.3 ⁇ m, 1.55 ⁇ m, etc.).
  • polyimide such as fluorinated polyimide, BCB (benzocyclobutene), photocurable resin, UV epoxy resin, acrylic resin such as PMMA, general resists, etc. as a material.
  • the material of the transparent layer 150 is not limited to these. Any material that has a lower refractive index than the material of the structure 160 and a low loss with respect to the wavelength of the incident light may be used, including general glass materials.
  • the transparent layer 150 may be made of the same material as the color filter, or may be made of an organic material such as resin, as long as the loss is sufficiently low with respect to the wavelength of light that should reach the corresponding pixel. good. In this case, the transparent layer 150 is not only made of the same material as the color filter, but also has the same structure as the color filter and is designed to have absorption characteristics according to the wavelength of light to be guided to the corresponding pixel. may
  • the three primary colors of RGB have been described as examples of the colors corresponding to the pixels. light, etc.).
  • the shape of the structure 160 an example has been described in which a structure having a cross-sectional shape of a rectangle, a rhombus, a cross, or an ellipse is used.
  • This shape is an example, and one type of structure (for example, only a rectangular shape) may be used, or two or more types of structures (for example, only a rectangular shape and a cross shape) may be used.
  • imaging target 10 imaging device 11
  • imaging element 12 optical element 13 signal processing unit 130
  • pixel 150 transparent layer 160 structure 190, 190A to 190C transparent substrate 190D to 190F refracting lens

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Polarising Elements (AREA)

Abstract

撮像装置（１０）は、各透明基板と、透明基板上または透明基板内において透明基板の面方向に配置された複数の構造体と、を有する光学素子（１２）と、光電変換素子を含む複数の画素が配置された撮像素子（１１）と、撮像素子（１１）から得られた電気信号に基づいて画像信号を生成する信号処理部（１３）と、を有し、光学素子（１２）は、波長毎に異なる点拡がり関数を有した状態で光を出力することで各波長の点拡がり関数が畳み込まれている画像を、偏光成分に応じて、各偏光成分に対応する複数の画素にそれぞれ結像し、複数の構造体は、側面視したときに、同じ高さを有し、信号処理部（１３）は、偏光成分毎に、各波長の点拡がり関数が畳み込まれている画像を再構成する。

Description

撮像装置及び光学素子
　本発明は、撮像装置及び光学素子に関する。
　一般に、撮像装置は、取得可能である光学情報がＲ（赤）、Ｇ（緑）、Ｂ（青）の３色の２次元画像を取得する。これに対し、近年、より詳細な色情報（波長スペクトル）を取得するカメラとしてハイパースペクトルカメラが実用化されており、より多彩な光学情報から新たな価値のある情報を抽出するような取り組みが進められている。
　また、波長と同様に重要な光情報である偏光情報を取得する偏光イメージセンサも実用化され、より多彩な光学情報から、新たに価値のある情報を抽出する技術が提案されている。そこで、近年、偏光情報を取得可能であるハイパースペクトル撮像装置の実現が望まれている。
Gonzalo　R　Arce,　David　J　Brady,　Lawrence　Carin,　Henry　Arguello,　and　David　S　Kittle,　"Compressive　Coded　Aperture　Spectral　Imaging:　An　introduction",　IEEE　Signal　Processing　Magazine,　Vol.　31,　No.　1,　pp.　105-115,　2013. Y.　Sogabe,　et　al.　"ADMM-INSPIRED　RECONSTRUCTION　NETWORK　FOR　COMPRESSIVE　SPECTRAL　IMAGING",　In:　2020　IEEE　International　Conference　on　Image　Processing　(ICIP).　IEEE,　2020.　p.　2865-2869.
　一般に、実用化されているハイパースペクトルカメラは、ラインスキャン型であり、ラインスキャン機構と分光素子とを用いて複数回撮像することで、スペクトル画像を取得する。さらに、これに加えて、偏光情報を同時取得するには、既存のハイパースペクトルカメラに既存の偏光イメージセンサを組み合わせる方法が原理的には可能である。しかしながら、既存のハイパースペクトルカメラに既存の偏光イメージセンサを組み合わせる場合、装置がさらに複雑化するという問題があった。
　本発明は、上記に鑑みてなされたものであって、簡易な装置構成であるとともに偏光情報を取得可能であるハイパースペクトル撮像装置及び簡易な装置構成であるとともに偏光情報を取得可能であるハイパースペクトル撮像装置を実現するための光学素子を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、透明基板と、透明基板上または透明基板内において透明基板の面方向に配置された複数の構造体と、を有する光学素子と、光電変換素子を含む複数の画素が配置された撮像素子と、撮像素子から得られた電気信号に基づいて画像信号を生成する信号処理部と、を有し、光学素子は、波長毎に異なる点拡がり関数を有した状態で光を出力することで各波長の集光強度分布が畳み込まれている画像を、偏光成分に応じて、各偏光成分に対応する複数の画素にそれぞれ結像し、複数の構造体は、側面視したときに、同じ高さを有し、信号処理部は、偏光成分毎に、各波長の点拡がり関数が畳み込まれている画像を再構成することを特徴とする。
　また、本発明に係る光学素子は、透明基板と、透明基板上または透明基板内において透明基板の面方向に配置された複数の構造体と、を有する光学素子であって、光学素子は、波長毎に異なる集光強度分布を有した状態で光を出力することで各波長の点拡がり関数が畳み込まれている画像を、偏光成分に応じて、各偏光成分に対応する複数の画素にそれぞれ結像し、複数の構造体は、側面視したときに、同じ高さを有することを特徴とする。
　本発明によれば、簡易な装置構成であるとともに偏光情報を取得可能であるハイパースペクトル撮像装置を実現することができる。
図１は、実施の形態に係る撮像装置の概略構成を示した側面図である。 図２は、図１に示すレンズの構成を説明する図である。 図３は、図１に示す撮像装置が画像を取得するまでの処理を示す概略図である。 図４は、実施の形態に係る撮像素子及びレンズの断面の一部を模式的に示す図である。 図５は、信号処理部による画像の再構成処理を説明する図である。 図６は、平面視したときの形状が正方形形状である構造体の側面図である。 図７は、図６に示す構造体の底面図である。 図８は、構造体の底面図である。 図９は、構造体の側面図である。 図１０は、構造体の側面図である。 図１１は、各偏光における各波長における位相遅延量及び構造体の構造幅の関係を示す図である。 図１２は、各偏光における各波長における位相遅延量及び構造体の構造幅の関係を示す図である。 図１３は、各偏光における各波長における位相遅延量及び構造体の構造幅の関係を示す図である。 図１４は、各偏光における各波長における位相遅延量及び構造体の構造幅の関係を示す図である。 図１５は、各偏光における各波長における位相遅延量及び構造体の構造幅の関係を示す図である。 図１６は、各偏光における各波長における位相遅延量及び構造体の構造幅の関係を示す図である。 図１７は、構造体の断面形状の例を示す図である。 図１８は、フレネルレンズと同等となるように設計した場合の構造体が有する各偏光に対する位相分布の例を示す図である。 図１９は、フレネルレンズと同等となるように設計した場合の構造体が有する各偏光に対する位相分布の例を示す図である。 図２０は、フレネルレンズと同等となるように設計した場合の構造体が有する各偏光に対する位相分布の例を示す図である。 図２１は、フレネルレンズと同等となるように設計した場合の構造体が有する各偏光に対する位相分布の例を示す図である。 図２２は、フレネルレンズと同等となるように設計した場合の構造体が有する各偏光に対する位相分布の例を示す図である。 図２３は、フレネルレンズと同等となるように設計した場合の構造体が有する各偏光に対する位相分布の例を示す図である。 図２４は、ＰＳＦがプロペラ形状となるように設計した場合の構造体が有する各偏光に対する位相分布の例を示す図である。 図２５は、ＰＳＦがプロペラ形状となるように設計した場合の構造体が有する各偏光に対する位相分布の例を示す図である。 図２６は、ＰＳＦがプロペラ形状となるように設計した場合の構造体が有する各偏光に対する位相分布の例を示す図である。 図２７は、ＰＳＦがプロペラ形状となるように設計した場合の構造体が有する各偏光に対する位相分布の例を示す図である。 図２８は、ＰＳＦがプロペラ形状となるように設計した場合の構造体が有する各偏光に対する位相分布の例を示す図である。 図２９は、ＰＳＦがプロペラ形状となるように設計した場合の構造体が有する各偏光に対する位相分布の例を示す図である。 図３０は、図２４～図２９に示す位相分布からフレネル回折積分によって求めた各偏光及び各波長におけるＰＳＦ形状を示す図である。 図３１は、図２４～図２９に示す位相分布からフレネル回折積分によって求めた各偏光及び各波長におけるＰＳＦ形状を示す図である。 図３２は、図２４～図２９に示す位相分布からフレネル回折積分によって求めた各偏光及び各波長におけるＰＳＦ形状を示す図である。 図３３は、図２４～図２９に示す位相分布からフレネル回折積分によって求めた各偏光及び各波長におけるＰＳＦ形状を示す図である。 図３４は、図２４～図２９に示す位相分布からフレネル回折積分によって求めた各偏光及び各波長におけるＰＳＦ形状を示す図である。 図３５は、図２４～図２９に示す位相分布からフレネル回折積分によって求めた各偏光及び各波長におけるＰＳＦ形状を示す図である。 図３６は、図２４～図２９に示す位相分布からフレネル回折積分によって求めた各偏光及び各波長におけるＰＳＦ形状を示す図である。 図３７は、シミュレーション結果を示す図である。 図３８は、撮像装置による再構成画像の一例を示す図である。 図３９は、図３８における再構成画像の×点における波長スペクトルを示す図である。 図４０は、レンズのＰＳＦの形状ごとに再構成精度を比較した結果を示す図である。 図４１は、図４０のＰＳＦの各形状の観測画像に基づいてそれぞれ再構成された再構成画像を示す図である。 図４２は、図１に示すレンズを適用した撮像ユニットの平面図である。 図４３は、図４２のＡ－Ａ´線で撮像ユニットを切断した場合の断面図である。 図４４は、実施の形態の変形例１に係る撮像ユニットの平面図である。 図４５は、図４４のＢ－Ｂ´線で撮像ユニットを切断した場合の断面図である。 図４６は、図１に示すレンズを適用した撮像ユニットの平面図である。 図４７は、図４６のＣ－Ｃ´線で撮像ユニットを切断した場合の断面図である。 図４８は、実施の形態の変形例２に係る撮像ユニットの平面図である。 図４９は、図４８のＢ－Ｂ´線で撮像ユニットを切断した場合の断面図である。 図５０は、実施の形態に係る光学素子１２の断面の一部の他の例を模式的に示す図である。 図５１は、実施の形態に係る光学素子１２の断面の一部の他の例を模式的に示す図である。 図５２は、実施の形態に係る光学素子１２の断面の一部の他の例を模式的に示す図である。 図５３は、実施の形態に係る光学素子１２の断面の一部の他の例を模式的に示す図である。 図５４は、実施の形態に係る光学素子１２の断面の一部の他の例を模式的に示す図である。 図５５は、実施の形態に係る光学素子１２の断面の一部の他の例を模式的に示す図である。
　以下、本発明を実施するための最良の形態を図面とともに詳細に説明する。なお、以下の説明において、各図は本発明の内容を理解でき得る程度に形状、大きさ、及び位置関係を概略的に示してあるに過ぎず、したがって、本発明は各図で例示された形状、大きさ、及び位置関係のみに限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。なお、以下では、Ａに対し、“＾Ａ”と記載する場合は「“Ａ”の直上に“＾”が記された記号」と同等であるとする。
［実施の形態］
［撮像装置］
　まず、本発明の実施の形態に係る撮像装置について説明する。図１は、実施の形態に係る撮像装置の概略構成を示した側面図である。図２は、図１に示す光学素子１２の構成を説明する図である。図３は、図１に示す撮像装置１０が画像を取得するまでの処理を示す概略図である。
　図１に示すように、実施の形態に係る撮像装置１０は、光学素子１２、撮像素子１１及び信号処理部１３を有する。撮像素子１１は、ＣＣＤやＣＭＯＳ等の光電変換素子を有する。信号処理部１３は、撮像素子１１から出力される光電変換信号を処理して画像信号を生成する。
　図１及び図２に示すように、撮像装置１０で、自然光や照明光等の光が撮像対象（実画像）に照射され、撮像対象１により透過／反射／散乱した光、または、撮像対象１から発する光は、光学素子１２により撮像素子１１上に光学像を形成する。
　光学素子１２は、偏光情報に応じて結像位置が異なり、かつ、波長に応じて結像特性が異なる機能を有する。光学素子１２は、微細なバイナリー構造から成る。光学素子１２は、入射光の波長以下の周期で配置された、側面視した際の高さが一定の、複数の微細な柱状の構造体１６０を有する。
　複数の微細な柱状の構造体１６０の断面は、いずれも２回回転対称の形状を有し、この形状により偏光依存性を実現できる。例えば、光学素子１２は、０°（横）と９０°（縦）との直線偏光を分離する第１のレンズパターン領域１２－１と、＋４５°（斜め）と－４５°（斜め）との直線偏光を分離する第２のレンズパタ－ン領域１２－２（図２参照）とが組を形成しており、同時に４方向の偏光成分を分離する。光学素子１２は、偏光方向に応じて結像（集光）位置が異なる。
　さらに、光学素子１２は、波長に応じて結像特性が異なる機能を有することで、光学的な符号化を行う。このため、光学素子１２は、波長に応じて明確に異なる形状のＰＳＦ（Point　spread　function：点拡がり関数）をもつレンズ（波長依存ＰＳＦレンズ）であり、実画像（被写体）に対して、波長毎に異なる畳み込み演算を施した画像を生成する機能を有する。光学素子１２は、波長依存ＰＳＦレンズであり各波長のＰＳＦが畳み込まれている画像（取得した観測画像（符号化画像））を、偏光方向に応じて、撮像素子１１における、各偏光方向に対応する複数の画素にそれぞれ結像する機能を有する。すなわち、この光学素子１２で物体を撮像すると、偏光変更方向に応じて、実画像に対して波長毎に異なるＰＳＦで畳み込み演算がなされ、その結果が、撮像素子１１における、各偏光方向に対応する領域上でそれぞれ結像する。
　撮像対象１からの光は、光学素子１２によって、偏光成分が分離された状態で異なる位置で結像し、波長に応じて結像特性（ぼやけ具合）が異なる。光学素子１２によって、偏光成分を分離しながら、波長毎に異なる畳み込み演算が行われることとなる。
　撮像素子１１は、偏光分離・波長依存ＰＳＦレンズである光学素子１２により、波長毎に異なる畳み込み演算がなされた観測画像を、偏光方向毎に取得する。例えば、図３に示すように、９０°の偏光成分に対応する画像Ｇ１、０°の偏光成分に対応する画像Ｇ２、－４５°の偏光成分に対応する画像Ｇ３、４５°の偏光成分に対応する画像Ｇ４であって、いずれの画像も各波長のＰＳＦが畳み込まれている画像Ｇ１～Ｇ４（図３参照）が撮像素子１１に結像される。
　信号処理部１３は、圧縮センシングに基づいて、各波長のＰＳＦが畳み込まれている画像を、偏光成分毎に、再構成する再構成処理により、スペクトル情報を復元した再構成画像を生成する。例えば、信号処理部１３は、再構成処理により、９０°の偏光成分に対応する再構成画像Ｇ１´、０°の偏光成分に対応する再構成画像Ｇ２´、－４５°の偏光成分に対応する再構成画像Ｇ３´、４５°の偏光成分分に対応する再構成画像Ｇ４´を生成する。
　なお、撮像装置１０は、赤外光カットの光学フィルタ、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は、本発明の理解に特に必要でないため省略する。また、以上の構成はあくまでも一例であり、実施の形態では、光学素子１２、撮像素子１１、信号処理部１３を除く構成要素として、公知の要素を適切に組み合わせて用いることができる。
［レンズ及び撮像素子］
　続いて、実施の形態における光学素子１２及び撮像素子１１の概略を説明する。図４は、実施の形態に係る撮像素子１１及び光学素子１２の断面の一部を模式的に示す図である。
　図４では、撮像素子１１及び光学素子１２の一部を、撮像ユニット１００として説明する。図４の撮像ユニット１００は、図２に示す光学素子１２を適用し、図２に示すＡ－Ａ´線で切断した場合の断面図である。また、図４以降では、ｘｙｚ座標系が示される。ｘｙ平面方向は、撮像素子１１、後述する透明基板１９０等の面方向に相当する。以下、特に説明がある場合を除き、「平面視」は、ｚ軸方向に（例えばｚ軸負方向に）視ることを指し示す。「側面視」は、ｘ軸方向またはｙ軸方向（例えばｙ軸負方向）に見ることを指し示す。撮像ユニット１００では、０°（横）と９０°（縦）との直線偏光を分離する第１のレンズパターン領域１２－１と、＋４５°（斜め）と－４５°（斜め）との直線偏光を分離する第２のレンズパタ－ン領域１２－２とが組を形成している。
　図４に示すように、撮像ユニット１００は、光学素子１２と撮像素子１１とは対向して配置される。撮像素子１１及び光学素子１２は、ｚ軸正方向にこの順に設けられる。
　撮像素子１１は、各々が光電変換素子を含む複数の画素１３０が２次元アレイ状に複数配列される。光電変換素子の例は、フォトダイオード（ＰＤ：Photo　Diode）である。各画素は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に対応する。赤色の光の波長帯域の例は、波長をλ０とすると、６００ｎｍ＜λ０≦８００ｎｍである。緑色の光の波長帯域の例は、５００ｎｍ＜λ０≦６００ｎｍである。青色の光の波長帯域の例は、λ０≦５００ｎｍ未満である。画素Ｒ、画素Ｇ、画素Ｂは、ベイヤー配列でもよい。または、画素は、モノクロ画像用であってもよい。
　入射した光は、ｚ軸負方向に沿って進み、光学素子１２を介して撮像素子１１に到達する。撮像素子１１の各画素１３０に発生した電荷は、図示しないトランジスタ等によって、画素信号の基礎となる電気信号に変換され、配線層を介して撮像ユニット１００の外部に出力される。
　光学素子１２は、撮像対象からの光が入射する側に配置されている。平面視したとき、光学素子１２は、撮像素子１１を覆うように設けられる。光学素子１２は、透明基板１９０の底面に、例えば周期的に（周期構造を有して）、複数の構造体１６０によって構成される。複数の構造体１６０は、設計を容易にする等のために等間隔配置されてもよいし、不等間隔配置されてもよい。複数の構造体１６０は、複数の画素を覆うために撮像素子１１上に形成された透明層１５０内に形成される。
　透明基板１９０は、例えば、ＳｉＯ２（屈折率ｎ＝１．４５）等の材料からなる低屈折率の透明基板である。透明層１５０は、空気またはＳｉＯ２等の材料からなる低屈折率の透明層である。透明基板１９０及び透明層１５０の材料は単一であってもよいし、複数の材料が層状になったものでもよい。複数の構造体１６０は、側面視したときに、同じ高さを有する。複数の構造体１６０は、透明層１５０の屈折率よりも高い屈折率を有するＳｉＮやＴｉＯ２等の材料から形成された微細構造パターンからなる。
　光学素子１２の例は、メタサーフェスである。メタサーフェスは、平面視したときに光の波長以下の幅を有するとともに、側面視したときに同じ高さを有する複数の微細構造体（構造体１６０に相当）を含んで構成される。複数の構造体１６０は、ｘｙ平面と平行な面で切断した際の各々の断面形状が、２回回転対称形状であり、この形状により偏光依存性を実現できる。なお、メタサーフェスは、２次元構造を有してもよいし、３次元構造を有してもよい。光学素子１２は、この構造体１６０のパラメータを変えるだけで、光の特性（波長、偏波、入射角）に応じて、位相と光強度を制御することができる。３次元構造の場合、２次元構造よりも設計自由度が向上する。
　光学素子１２は、偏光方向に応じて結像（集光）位置が異なり、それぞれの集光点で波長に応じて異なるＰＳＦを有する。これにより、撮像対象１からの光は、偏光分離・波長依存ＰＳＦ機能を有する光学素子１２により、偏光成分が分離された状態で撮像素子１１上の異なる位置で結像し、波長に応じて結像特性（ぼやけ具合）が異なる画像（ＲＧＢ画像またはモノクロ画像）として取得される。
　例えば、図２にも示すように、光学素子１２は、０°と９０°との直線偏光を分離する第１のレンズパターン領域１２－１と、＋４５°と－４５°との直線偏光を分離する第２のレンズパタ－ン領域１２－２とが組として形成される。０°、９０°、＋４５°、－４５°の４つの偏光成分に対応する画像が形成され、撮像素子１１では、各偏光成分に対応する画像が結像される領域がそれぞれ設定される。図４では、撮像素子１１の領域１１－１に０°の偏光成分に対応する画像が結像され、領域１１－２に＋４５°の偏光成分に対応する画像が結像される例を示す。
　各取得画像は、撮像対象（実画像）１に対して光学素子１２の偏光分離・波長依存ＰＳＦによって波長毎に光学的な畳み込み演算がなされ、画素上で波長次元に沿って積分された結果に対応する。撮像ユニット１００は、光学的に符号化及び圧縮された状態の画像を取得する。なお、撮像素子１１がカラーイメージセンサの場合、畳み込み演算の後に、撮像素子１１のＲ，Ｇ，Ｂそれぞれの画素の波長感度に応じた乗算がなされた後に、画素上で波長次元に沿って積分される。
　このように、撮像装置１０では、光学素子１２のみで、偏光成分毎に、光学的に符号化された画像を撮像素子１１上に結像する。言い換えると、撮像装置１０では、光学素子１２によって、偏光分離をしながら、スペクトル画像再構成において効果的な符号化を行うことができる。したがって、撮像装置１０は、光学素子１２と撮像素子１１と信号処理部１３のみで足りるため、簡易な装置構成であるとともに偏光情報を取得可能であるハイパースペクトル撮像装置を実現することができる。
　また、撮像装置１０では、光学素子１２と撮像素子１１との間の距離は、通常の撮像装置と同様に、レンズの焦点距離によって決まるため、撮像装置１０のサイズは、同じ視野Ｆナンバーを有する通常のカメラと同等となる。
　そして、光学的に符号化された画像は、観測プロセスが既知の場合（ここでは、光学素子１２のＰＳＦとセンサの波長感度特性）、信号処理部１３において、適切な信号処理を行うことで実画像の情報を復元することができる。
　撮像装置１０は、特に、自然画像がもつスパース性を利用することで、少ない情報量から対象を高精度に再構成（復元）する手法である圧縮センシングを用いて信号処理を行う。撮像装置１０は、光学素子１２が有する波長依存ＰＳＦによって、実画像の各波長成分に対して異なる符号化を行うことが可能なため、信号処理部１３が圧縮センシングに基づく画像の再構成処理を行うことで、スペクトル画像を復元することができる。
　この処理を、偏光成分毎に分離した各偏光成分の観測画像に適用することで、各偏光成分からなるスペクトル画像（偏光スペクトル画像）（例えば、図３の画像Ｇ１´～Ｇ４´）を生成することができる。
　なお、本例の場合、４つの直線偏光成分の情報から偏光状態を記述するストークスパラメータ４つのうち３つのパラメータを、波長毎に導出できる。また、レンズパターンとその組によっては、ストークスパラメータ全てを導出可能な４つまたは６つの基底毎に偏光分離し、フルストークスパラメータを波長毎に取得することも可能である。
［画像の再構成処理］
　信号処理部１３は、光学素子１２の撮像プロセスによって定義される行列と、撮像素子１１に結像された画像、すなわち、各波長のＰＳＦが畳み込まれている画像（符号化画像）とを基に、偏光成分毎にそれぞれ画像を再構成する。図５は、信号処理部１３による画像の再構成処理を説明する図である。
　図５に示すように、再構成処理は、光学系によって定義される観測行列Φと、取得した符号化画像ｇとを入力とする最適化問題（例えば、図５の式（Ａ））を解く処理である。
　式（Ａ）において、右辺の第１項のｆは、本来復元したい画像を示す。観測画像のデータ数が復元したい画像（再構成画像）のデータ数より著しく少ないため、Φｆ－ｇ＝０を満たす解は無数に存在するが、正規化項を第２項として加えることで、復元画像として尤もらしい画像（再構成画像＾ｆ）を求めやすくしている。
　正規化項に関しては、スペクトル画像用に様々なものが提案されており、本実施の形態では、正則化項のいずれについても適用可能である。式（Ａ）の例では、Ｒがprior（先見情報：画像らしさ）に基づく信号の事前確率に対応しており、隣接画素との差分は小さいなどの一般的に画像がもつスパース性を利用する。なお、τはバランシングパラメータである。なお、本実施例では、正規化項として、ＳＳＴＶ（Spatio-Spectral　Total　Variation）（参考文献１）と呼ばれるものを用いており、画像再構成において空間次元および波長次元の隣接画素の差分を最小化するように最適化される。
参考文献１：Aggarwal,　H.　K.,　&　Majumdar,　A.　(2016).　Hyperspectral　image　denoising　using　spatio-spectral　total　variation.　IEEE　Geoscience　and　Remote　Sensing　Letters,　13(3),　442-446.
　最適化問題の解き方も様々な方法が提案されている。本実施の形態では、例えば、ＡＤＭＭ（Alternating　Direction　Method　of　Multipliers）（参考文献２）と呼ばれる手法を用いる。そして、近年、機械学習などを使って正則化項と最適化問題のパラメータを同時最適化し、画像再構成を行う方法が提案されている（非特許文献２参照）。信号処理部１３は、この方法を適用することも可能である。すなわち、信号処理部１３は、ニューラルネットワークで構成されるモデルおよび最適化された再構成アルゴリズムを用いて、スペクトル画像の再構成を行ってもよい。言い換えると、信号処理部１３は、機械学習を用いて、正則化項の形と最適化問題の各種パラメータとを様々なスペクトル画像を使って事前に学習し、学習済み（最適化済み）の正則化項と各種パラメータとを使って、画像再構成する。
参考文献２：S.　Boyd,　N.　Parikh,　E.　Chu,　B.　Peleato,　and　J.　Eckstein,　“Distributed　optimization　and　statistical　learning　via　the　alternating　direction　method　of　multipliers,”　Foundations　andTrends　in　Machine　Learn-　ing,　vol.　3,　no.　1,　pp.　1－122,　2011.
　このように、撮像装置１０では、再構成に効果的な観測行列Φを、簡易で小型な光学系（光学素子１２）で実現することができる。
［構造体の一例］
　構造体１６０を実現するには、本実施の形態では、微細な柱状の構造体１６０の断面形状を設計して任意の空間位相分布を設計することで、偏光情報に応じて結像位置が異なり、かつ、波長に応じて結像特性が異なる、偏光分離・波長依存ＰＳＦレンズである光学素子１２を実現する。
　図６及び図７は、構造体１６０の概略構成の例を示す図である。図６は、平面視したときの形状が正方形形状である構造体１６０の側面図である。図７は、図６に示す構造体１６０の底面図である。
　構造体１６０は、ｚ軸方向に延在する柱状構造体であり、透明基板１９０（例えばＳｉＯ２基板（屈折率１．４５））の底面に形成される。構造体１６０の材料の例は、ＳｉＮ（屈折率ｎ１＝２．０５）である。構造体１６０の側方及び下方は、空気（Ａｉｒ（屈折率ｎ０＝１．０））である。
　それぞれの構造体１６０の配置周期をＰとする。配置周期Ｐは、透過側で回折光が生じないように、式（１）のように設定することが望ましい。
Figure JPOXMLDOC01-appb-M000001
　λｍｉｎは、受光対象の波長帯域における最短波長である。ｎ０は、透過側の透明層の屈折率である。例えば、λｍｉｎを４２０ｎｍとし、ｎ０を１．０とし、Ｐ＝４００ｎｍとした。
　構造体１６０の高さｈ（ｚ軸方向の長さ）は、一定である。高さｈは、構造体１６０が、入射した光、すなわちｚ軸方向に沿って進む光に対して２π以上の光位相遅延量（位相値）を有していることが好ましいため、分離する波長域の最も長波長側の波長域における所望の中心波長をλｒとすると、式（２）のように設定することが望ましい。
Figure JPOXMLDOC01-appb-M000002
　式（２）において、ｎ１は、構造体１６０の屈折率である。構造体１６０がＳｉＮの場合、ｎ１＝２．０５であり、高さｈは例えば１２５０ｎｍである。また、構造体１６０は、ＴｉＮ（屈折率２．４０）で形成されてもよい。
　構造体１６０の断面形状を設計（寸法設計を含む）することで、各波長の光に対して異なる光位相遅延量を与えることのできる様々な組み合わせが実現可能である。構造体１６０の断面形状を多様化させることで、組み合わせが増加し、設計自由度はさらに向上する。
　偏光依存性を生じさせるため、複数の構造体１６０は、ｘｙ平面と平行な面で切断した際の各々の断面形状が、２回回転対称形状であることが望ましい。なお、ここでいう偏光依存性は、直交する直線偏光にそれぞれに対して異なる位相遅延量を与えることが可能な性質を指す。本実施の形態では、構造体１６の断面形状の寸法パラメータに依存する各偏光成分に対する位相値を用いて、偏光分離かつ波長依存ＰＳＦを有するレンズパターンを設計する。
［位相制御の原理］
　図８は、構造体１６０の底面図である。図９及び図１０は、構造体の側面図である。構造体１６０は、構造体１６０周囲の材料または空間の屈折率ｎ０よりも高い屈折率ｎ１を有する材料から形成されており、側面視したときの構造体１６０の高さｈは一定である。また、構造体１６０の底面及び上面は、四角形である。
　構造体１６０は、構造体１６０周囲の材料または空間との屈折率差により、光を構造内に閉じ込めて伝搬させる光導波路として動作することができる。したがって、構造体１６０の片側から光を入射すると、光は構造内に強く閉じ込められながら伝搬する。このとき、入射した光は光導波路の実効的な屈折率ｎｅｆｆによって決まる位相遅延効果を受けながら伝搬し、最後にもう一方の構造方側から出力される。
　この場合、構造周囲の材料または空間を構造の厚み分の長さを伝搬した光の位相を基準した際、構造による位相遅延量φは、光の真空中での波長をλとすると、式（３）で表される。
Figure JPOXMLDOC01-appb-M000003
　式（３）におけるｎｅｆｆは、構造体１６０の寸法の関数であり、かつ、構造体１６０の形状によっては強い偏光依存性が生じることが知られている。構造体１６０は、図８に示すような長方形の構造断面をもつようにすると、直交する入射偏光に対して異なるｎｅｆｆを独立に与えることができる。
　ここで、図８の横方向（ｘ軸方向）の偏光成分に対する位相遅延量をφｘ、縦方向（ｙ軸方向）の偏光成分に対する位相遅延量をφｙ、横方向の偏光成分に対する実効的な屈折率をｎｅｆｆｘ、縦方向の偏光成分に対する実効的な屈折率をｎｅｆｆｙ、横方向に平行な方向の柱の幅をｗ１、縦方向に平行な方向の柱の幅をｗ２とする。
　この時、ｎｅｆｆｘとｎｅｆｆｙとは、ｗ１とｗ２との組み合わせによって、それぞれ制御できることが知られており、それぞれ、ｎ０＜ｎｅｆｆｘ<ｎ１、及び、ｎ０＜ｎｅｆｆｙ＜ｎ１の値をとる。
　したがって、φｘとφｙとは、ｗ１とｗ２との組み合わせによってそれぞれ任意に制御できる。すなわち、図１１～図１６（後述）に例示するように、構造体１６０の幅であるｗ１とｗ２とを設計することで、各偏光方向に対する位相遅延量のφｘとφｙとを任意に設定することが可能である。
　以上から、本実施の形態では、平面上の位置に応じて、適した幅を有する柱状の構造体１６０をそれぞれ配置することで、各偏光方向に対して任意の位相遅延空間分布を与えることができる。この結果、本実施の形態では、設計波長において各偏光方向に対して任意の波面制御を行うことが可能となる。
［位相遅延量］
　次に、構造体１６０の構造幅及び各偏光における位相遅延量について説明する。図１１～図１６は、各偏光における各波長における位相遅延量及び構造体１６０の構造幅の関係を示す図である。図１１～図１６は、柱状の構造体１６０の構造パラメータ（幅）を、高さは一定の状態で、様々な値に設定した場合の、波長（４５０，５５０，６６０ｎｍ）の縦偏光或いは横偏光の位相値を示す。
　図１１は、波長４５０ｎｍにおける横偏光の位相値を示し、図１２は、波長４５０ｎｍにおける縦偏光の位相値を示す。図１３は、波長５５０ｎｍにおける横偏光の位相値を示し、図１４は、波長５５０ｎｍにおける縦偏光の位相値を示す。図１５は、波長６５０ｎｍにおける横偏光の位相値を示し、図１６は、波長６５０ｎｍにおける縦偏光の位相値を示す。
　図１１～図１６に示すように、構造体１６０の断面形状を適切に設計（寸法設計を含む）することで、各偏光において０～２πの位相値の様々な組み合わせを、様々な設計波長で実現することが可能である。
　なお、図１１～図１６では、横偏光及び縦偏光について位相遅延量と構造体１６０の構造幅との関係を説明したが、これに限らない。本実施の形態では、任意の直交偏光に対して同様の設計を適用できる。例えば、＋４５°及びー４５°偏光の制御に対しては、図６～図１０に示す構造体１６０の組成構造を、４５°、ｘｙ平面上で回転させればよい。また図１１～図１６では、３波長のみの特性を示したが、任意の波長でも同様の特性が得られる。
　このように、実施の形態では、バイナリー構造のみで任意の直交偏光方向に応じて異なる空間位相分布を設計波長に応じて設計でき、後述するように、偏光を分離しながら波長毎に形状の異なるＰＳＦをもつ光学素子１２を設計できる。
　なお、構造体１６０の断面形状は、図７及び図８に示される長方形の形状に限られない。図１７は、構造体１６０の断面形状の例を示す図である。図１７に例示されるようなさまざまな断面形状を、構造体１６０が有してよい。例示される形状は、例えば長方形形状、ひし形形状、十字形状及び楕円形状をさまざまに組み合わせることによって得られる２回回転対称形状である。
［レンズの設計例１］
　次に、偏光分離・波長依存ＰＳＦレンズである光学素子１２の設計例について説明する。本実施の形態では、偏光毎に異なる位置を中心に集光し、波長毎に異なる形状のＰＳＦをもつレンズ位相分布を設計し、柱状の構造体１６０で実現する。
　ここでは、図６～図１０に示すＳｉＮ組成構造の構造体１６０を用いて位相分布を設計し、偏光分離・波長依存ＰＳＦ機能を有する光学素子１２を実現した。なお、波長毎に異なる形状のＰＳＦをもつレンズは様々な位相分布から実現できる。
　最も簡単な例として、フレネルレンズと同等の位相分布を基に波長毎に異なるＰＳＦをもつ光学素子１２を設計する場合を説明する。この場合、直交する各偏光（ここでは横偏光と縦偏光）に対するレンズの位相分布φｘ、　φｙは、例えば、式（４）及び式（５）で表される。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　式（４）及び図（５）において、（ｘ，ｙ）は、レンズ平面上の空間座標である。λｄは、設計波長である。ｘｆは、ｘ軸に沿った焦点距離（偏芯量）である。ｚｆは、ｚ軸に沿った焦点距離である。ｎは、レンズ透過後の光伝搬空間の屈折率である。Ｃは、任意の定数である。
　図１８～図２３は、フレネルレンズと同等となるように設計した場合の構造体１６０が有する各偏光に対する位相分布の例を示す図である。図１８は、波長４５０ｎｍにおける横偏光の位相分布を示す。図１９は、波長４５０ｎｍにおける縦偏光の位相分布を示す。図２０は、波長５５０ｎｍにおける横偏光の位相分布を示す。図２１は、波長５５０ｎｍにおける縦偏光の位相分布を示す。図２２は、波長６５０ｎｍにおける横偏光の位相分布を示す。図２３は、波長６５０ｎｍにおける縦偏光の位相分布を示す。
　図１８～図２３に示す例の場合、レンズサイズは０．５ｍｍ×１ｍｍ、焦点距離ｚｆは５．０ｍｍ、偏芯量ｘｆは０．２５ｍｍ、設計波長は５２０ｎｍのパラメータでレンズ設計を行った。φは、０～２πの範囲に収まるように変換している。例えば、－０．５π及び２．５πは、１．５π及び０．５πにそれぞれに変換している。
　フレネルレンズと同等の位相分布である偏光分離・波長依存ＰＳＦレンズを実現するには、組成構造が有する設計波長における位相遅延量から、式（４）及び式（５）の位相分布に最も適合する構造（各偏光における位相エラーが最小となる構造）の構造体１６０を、位置毎に選んで配置すればよい。
　図１８～図２３に示すレンズの位相分布の場合、平行光を光学素子１２に入射すると、横と縦との偏光成分毎に分離され、焦点距離においてそれぞれ異なる１点を中心として集光する。この場合、設計波長の平行光は、焦点距離においてそれぞれ１点に集光する。すなわち、ＰＳＦ形状がドット（正確には円レンズの場合ガウス関数、正方形レンズの場合ｓｉｎｃ関数）となる。
　その他の波長の光は、位相パターンに起因する集光位置の波長依存性、及び、組成構造の位相に対する波長分散により、ＰＳＦの大きさが波長に依存して変化する。すなわち、波長に応じて像のぼやけ具合が異なる色収差が生じる。
　本実施の形態では、この偏光分離機能と色収差とを利用して、撮像対象に対して偏光成分毎にソートし、それぞれ異なる位置を中心に結像させながら、波長毎に異なる畳み込み演算を施した後、画像取得し、画像再構成によってスペクトル画像を生成することが可能である。
　本例では、横偏光及び縦偏光の分離について記述したが、＋４５°／－４５°偏光の分離についても同様の設計でよく、横偏光・縦偏光分離パターンと、＋４５°／－４５°偏光分離パターン並べて１組とすれば、４つの直線偏光成分の分類および画像化が可能となる（図２参照）。
［レンズの設計例２］
　波長依存ＰＳＦレンズである光学素子１２の他の設計例について説明する。ここでは、プロペラ形状のPSFをもつ位相分布となるように設計した場合を例に説明する。
　すなわち、ＰＳＦの形状が波長に応じて回転するような位相分布を有する光学素子１２を設計する。この場合、直交する各偏光（ここでは、横偏光及び縦偏光）に対して異なる集光中心位置をそれぞれ設定すると、レンズの位相分布φｘ、　φｙは、例えば、式（６）及び式（７）で表される。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　式（６）、式（７）において、ｒは、レンズ平面上の原点（設計集光中心位置）から距離である。θは、レンズ平面上の設計集光中心位置と座標がなす角度である。ｃは、真空中の光の速度である。ω(θ)は、θの位置での光角周波数である。ωｍｉｎは、設計上最小の光角周波数である。ωｍａｘは、設計上最大の光角周波数である。ｆは、焦点距離である。ｎは、レンズ透過後の光伝搬空間の屈折率である。Ｃは、任意の定数である。Ｎは、羽根の数である。
　図２４～図２９は、ＰＳＦがプロペラ形状となるように設計した場合の構造体１６０が有する各偏光に対する位相分布の例を示す図である。図２４は、波長４５０ｎｍにおける横偏光の位相分布を示す。図２５は、波長４５０ｎｍにおける縦偏光の位相分布を示す。図２６は、波長５５０ｎｍにおける横偏光の位相分布を示す。図２７は、波長５５０ｎｍにおける縦偏光の位相分布を示す。図２８は、波長６５０ｎｍにおける横偏光の位相分布を示す。図２９は、波長６５０ｎｍにおける縦偏光の位相分布を示す。
　図２４～図２９に示す例の場合、レンズサイズは０．５ｍｍ×１ｍｍ、焦点距離ｆは５．０ｍｍ、羽根の数は３、設計波長は４２０～６６０ｎｍ、集光位置は、横偏光（＋０．２５ｍｍ，０ｍｍ）、縦偏光（－０．２５ｍｍ，０ｍｍ）のパラメータでレンズ設計を行った。φは、０～２πの範囲に収まるように変換している。例えば、－０．５π及び２．５πは、１．５π及び０．５πにそれぞれに変換している。
　プロペラ形状のPSFをもつ位相分布となるような偏光分離・波長依存ＰＳＦレンズを実現するには、組成構造がもつ各波長（各角周波数）における位相遅延量から、式（６）、式（７）の位相分布に最も適合する構造（各偏光の位相エラーが最小となる構造）の構造体１６０を、位置毎に選んで配置すればよい。
　図２４～図２９に示すレンズの位相分布の場合、平行光を光学素子１２に入射すると、横と縦との偏光成分毎に分離され、焦点距離においてそれぞれ異なる１点を中心として集光する。さらに、後述するように、ＰＳＦ形状はプロペラのような形状となり、その羽の数は式（７）中のＮに対応する。このＰＳＦ形状は、波長に応じて回転し、その大きさはほとんど変化しない。
　これは、レンズの焦点距離が、波長と回転角θとに依存性をもつ位相パターン及び組成構造の位相に対する波長分散に起因する。任意の回転角θでの設計角周波数ω（θ）（設計波長）の光のみ設計焦点距離及び焦点位置に集光し、その他の光は焦点距離が前後に変化する。回転角θに応じて設計角周波数ω（θ）が線形的に変化されるため、プロペラ形状のようなＰＳＦが生成され、ＰＳＦは、角周波数（波長）に依存して回転する。
　光学素子１２は、以上の偏光分離機能と波長依存ＰＳＦを利用して、撮像対象１に対して偏光成分毎にソートし、それぞれ異なる位置を中心に結像させながら、波長毎に異なる畳み込み演算を施すことが可能であり、撮像装置１０は、画像取得後、画像再構成によってスペクトル画像を生成することが可能である。
　なお、後述するように、フレネルレンズ型に比べて、ＰＳＦの大きさがほぼ一定で、かつ波長依存性が回転という明確な形で生じるプロペラレンズ型の方が再構成において有利であり、より好適である。
　また、ここでは、横偏光及び縦偏光の分離について記述したが、＋４５°／－４５°偏光の分離についても同様の設計でよく、横偏光・縦偏光分離パターンと、＋４５°／－４５°偏光分離パターン並べて１組とすれば、４つの直線偏光成分の分類および画像化が可能となる（図２参照）。
　また、式（６）、式（７）は、設計角周波数ωがレンズ位置に応じて変化しているが、角周波数を波長に置き換えても同様の効果が得られる。
　以下、プロペラレンズ型に基づいて設計した光学素子１２の実施例を示すが、フレネルレンズ型といったその他の波長依存ＰＳＦレンズにおいても同様である。
［ＰＳＦ形状例］
　本実施の形態における偏光分離・波長依存ＰＦＳレンズのＰＳＦ形状の一例を示す。図３０～図３６は、図２４～図２９に示す位相分布からフレネル回折積分によって求めた各偏光及び各波長におけるＰＳＦ形状を示す図である。図３０～図３６に示す例の場合、レンズサイズは１ｍｍ×２ｍｍ、焦点距離ｆは１０ｍｍ、羽根の数は３、設計波長は４２０～６６０ｎｍ、集光位置は、横偏光（＋０．５ｍｍ，０ｍｍ）、縦偏光（－０．５ｍｍ，０ｍｍ）のパラメータでレンズ設計を行った。
　図３０は、波長λ＝６００ｎｍにおける横偏光におけるＰＳＦ形状である。図３１は、波長λ＝６００ｎｍにおける縦偏光におけるＰＳＦ形状である。図３２～図３６は、横偏光及び集光点付近（＋０．５ｍｍ，０ｍｍ）での横偏光におけるＰＳＦ形状である。図３２は、波長λ＝４５０ｎｍにおけるＰＳＦ形状である。図３３は、波長λ＝５００ｎｍにおけるＰＳＦ形状である。図３４は、波長λ＝５５０ｎｍにおけるＰＳＦ形状である。図３５は、波長λ＝６００ｎｍにおけるＰＳＦ形状である。図３６は、波長λ＝６５０ｎｍにおけるＰＳＦ形状である。
　図３０及び図３１に示すように、光学素子１２によれば、偏光に応じて集光位置が異なっており、偏光分離が実現できていることがわかる。そして、光学素子１２によれば、図３２～図３６に示すように、羽根が３枚のプロペラ形状のＰＳＦになっており、波長に応じて回転する。図３２～図３６に示すように、波長の変化によらず、ＰＳＦ自体の大きさはほぼ変化しない。
　これらのＰＳＦをもつ光学素子１２で撮像対象１を撮像すると、偏光成分毎にソートされ、対応する波長のＰＳＦで画像を畳み込んだ結果がイメージセンサ上に結像することになる。なお、本例では、横偏光及び縦偏光の分離について記述したが、＋４５°／－４５°偏光の分離についても同様の結果が得られた。
［観測画像例］
　続いて、図３０～図３６のＰＳＦを有する光学素子１２で自然画像を撮像したシミュレーション結果について説明する。図３７は、シミュレーション結果を示す図である。
　シミュレーションは、公開されているスペクトル画像（ICVL，Boaz　Arad　and　Ohad　Ben-Shahar.　Sparse　recovery　of　hyperspectral　signal　from　natural　rgb　images,　In　European　Conference　on　Computer　Vision,　pp.　19－34.　Springer,　2016.,　［online］，［令和２年１２月２８日検索］，インターネット＜ＵＲＬ：http://icvl.cs.bgu.ac.il/hyperspectral/＞）（波長４２０ｎｍ～６６０ｎｍ：２５バンド）に対して図３０～図３６のＰＳＦで波長毎に畳み込み演算し、一般的なカラーイメージセンサのＲＧＢ画素の感度を考慮して波長次元に沿って積分することで実施した。なお、図３７は、ＲＧＢカラー画像をモノクロ表示したものであり、左側の画像が入力スペクトル画像（実画像）であり、右側の画像が、撮像素子１１上に結像される畳み込み後の画像（観測画像）である。
　これは、図３０～図３６のＰＳＦをもつレンズとカラーイメージセンサとを用いて撮像し、センサから出力されるＲＧＢカラー画像（観測画像）をシミュレートしていることに対応する。
　なお、Ｂの光の波長域は４２０～５００ｎｍ、Ｇの光の波長域は、５００～６００ｎｍであり、Ｒの光の波長域は、６００～６６０ｎｍとしている。図３７では、任意の１つ偏光成分のみ（横偏光）の画像を観測画像として示し、以降では、この横偏光の観測画像に対応する再構成処理について示すが、その他の偏光成分においても同様である。
　図３７に示すように、観測画像は光学素子１２のＰＳＦによる畳み込み演算によりぼやけていることがわかる。なお、観測した情報量は実画像の１２％（２５波長バンドから３色）に圧縮されていることになり、圧縮センシングに基づく画像再構成により、情報を、３色から２５波長バンドに復元する。
［再構成画像］
　次に、撮像装置１０による再構成画像の一例について説明する。図３８は、撮像装置１０による再構成画像の一例を示す図である。図３８では、図３７に示す観測画像から圧縮センシングに基づく再構成処理を用いてスペクトル画像を生成した例について示す。
　ここでは、正則化項としてＳＳＴＶ、最適化問題の解き方としてＡＤＭＭを用いた。また、図３８には、比較のために実画像も示す。なお、図３８に示す再構成画像及び実画像は、２５バンドのスペクトル画像だが、可視化のためＲＧＢ画像で表示したものをモノクロ表示したものである。
　再構成画像に対し、ＰＳＮＲ（Peak　Signal-to-Noise　Ratio）、ＳＳＩＭ（Structural　Similarity）、ＳＡＭ（Spectral　Angle　Mapping）の評価指数で評価を行った。
　ＰＳＮＲは、式（８）及び式（９）に示すように、１画素毎の差を評価する指数であり、大きな値（dB）ほど高画質である。各波長の画像のＰＳＮＲを計算し、波長全体で平均をとることで、スペクトル画像に適用した。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
　ＳＳＩＭは、構造的類似性であり、式（１０）に示すように、周囲ピクセルとの相関を含めた指標である。ＳＳＩＭが１に近いほど高画質である。各波長の画像のＳＳＩＭを計算し、波長全体で平均をとることで、スペクトル画像に適用した。
Figure JPOXMLDOC01-appb-M000010
　ＳＡＭは、波長スペクトル類似度であり、０に近いほどスペクトルが類似する。各画素のＳＡＭを計算し、画像全体で平均をとることで、スペクトル画像に適用した。
　再構成画像は、ＰＳＮＲが２９．１０ｄＢであり、ＳＳＩＭが０．９１７６であり、ＳＡＭが、０．１８７４であった。したがって、撮像装置１０により、精度よく画像が再構成されていることがわかる。
［再構成した波長スペクトル］
　次に、再構成した波長スペクトルの例について説明する。図３９は、図３８における再構成画像の×点における波長スペクトルを示す図である。図３９には、比較のため、再構成画像（Reconstructed）とともに、実画像（Ground　truth）の×点における波長スペクトルも示す。
　図３９に示すように、再構成画像では、実画像とよく一致するスペクトルが得られており、画像再構成により、高精度な情報の復元が実行可能であることがわかる。なお、再構成精度は、光学素子１２のＰＳＦの形状のほか、正則化項や最適化問題の解き方によって変化する。
［ＰＳＦの形状による再構成精度の比較］
　次に、光学素子１２におけるＰＳＦの形状による再構成精度を比較した結果を示す。図４０は、光学素子１２のＰＳＦの形状ごとに再構成精度を比較した結果を示す字である。図４１は、図４０のＰＳＦの各形状の観測画像に基づいてそれぞれ再構成された再構成画像を示す図である。図４１に示す再構成画像、実画像及びフレネルレンズ画像は、ＲＧＢ画像で表示したものをモノクロ表示したものである。
　図４０では、比較のため、フレネルレンズ型のＰＳＦによるものについても示す。また、図４１には、比較のために、実画像と、フレネルレンズ型とによる再構成画像についても示す。フレネルレンズ型による画像については、大きな色収差を利用して再構成を行っている。
　図４０及び図４１では、評価指数として、ＰＳＮＲ、ＳＳＩＭ、ＳＡＭを用いた。図４０及び図４１におけるＮは羽根の数である。図４０及び図４１は、１つの偏光成分のみを仮定して計算、評価を行った結果である。なお、レンズのパラメータは、レンズサイズが０．５ｍｍ×１．０ｍｍ、焦点距離ｚｆが５．０ｍｍ、偏芯量ｘｆが０．２５ｍｍ、設計波長帯域が４２０～６６０ｎｍである。
　図４０及び図４１に示すように、いずれの評価指数も、羽根の数による大きな違いはなく、フレネルレンズＰＳＦよりも高い精度を示した。言い換えると、光学素子１２は、羽根の数によらず、フレネルレンズＰＳＦよりも、高い精度を示した。このため、本実施の形態に係る光学素子１２は、フレネルレンズ型よりもより好適であり、再構成に有利な観測行列を構成するものといえる。
［実施の形態の効果］
　このように、本実施の形態に係る撮像装置１０では、光学素子１２のみで、偏光成分毎に、光学的に符号化された画像を撮像素子１１上に結像する。本実施の形態では、ハイパースペクトルカメラ光学系と偏光情報取得光学系がメタサーフェスである光学素子１２により一体の光学素子として実現されている。言い換えると、撮像装置１０では、光学素子１２のみによって、偏光分離をしながら、スペクトル画像再構成において効果的な符号化を行うことができる。このため、撮像装置１０の構成要素は、光学素子１２と撮像素子１１と信号処理部１３のみでよく、簡易な装置構成であるとともに偏光情報を取得可能であるハイパースペクトル撮像装置を実現することができる。
　また、撮像装置１０では、光学素子１２と撮像素子１１との間の距離は、通常の撮像装置と同様に、レンズの焦点距離によって決まるため、撮像装置１０のサイズは、同じ視野Ｆナンバーを有する通常のカメラと同等となる。
　そして、光学的に符号化された画像は、観測プロセスが既知の場合（ここでは、光学素子１２のＰＳＦとセンサの波長感度特性）、信号処理部１３において、適切な信号処理を行うことで実画像の情報を復元することができる。
　また、撮像装置１０では、撮像自体（各偏光成分に分離され、符号化された画像の取得）は、シングルショットでよいため、時間次元の犠牲がなく、再構成処理を除くと、通常カメラと同等の時間分解能が可能である。
　また、撮像装置１０では、偏光分離及び符号化を担う光学素子１２は、微細なバイナリー構造から構成されるため、多段リソグラフィが必要な一般的な回折光学素子に比べ、作製工数の削減が可能であり、厚さも薄く、重さも軽く、作製が容易である。
　また、微細なバイナリー構造からなる光学素子１２は、一般的な回折光学素子で生じるシャドー効果（回折光学素子による回折光が自身の多段構造によって反射・散乱してしまう現象）に起因する光透過率低下や最大レンズ開口数（ＮＡ）の制限がないため、より高いＮＡのレンズ（光利用効率が高い明るいレンズ）を実現できる。
　なお、本実施の形態では、撮像素子１１がカラーイメージセンサの場合に基づく実施例を示したが、モノクロイメージセンサの場合においても、符号化された画像取得の際に３ｃｈ（ＲＧＢ：カラー）が１ｃｂ（モノクロ）となる以外は、同様である。
［実施の形態の変形例１］
　本変形例１では、撮像素子１１の画素上における像の重なり（クロストーク）を軽減可能な変形例について説明する。
　本変形例１では、撮像素子１１及び光学素子１２の一部を、撮像ユニットとして説明する。図４２は、図１に示す光学素子１２を適用した撮像ユニットの平面図である。なお、透明基板１９０は省略している。図４３は、図４２のＡ－Ａ´線で撮像ユニットを切断した場合の断面図である。
　図４２及び図４３に示すように、隣接する各レンズパターンにおいて、撮像素子１１の各像の境界付近（領域１１－１及び領域１１－２の境界付近）で、像の重なり（クロストーク）が生じる懸念がある。この像の重なりは、再構成後の画像の劣化や偏光消光比（所望の偏光成分／その他の偏光成分）の劣化に繋がる可能性がある。
　図４４は、実施の形態の変形例１に係る撮像ユニットの平面図である。なお、透明基板１９０は省略している。図４５は、図４４のＢ－Ｂ´線で撮像ユニットを切断した場合の断面図である。
　図４４及び図４５に示すように、撮像ユニット２００では、像の重なりを避けるために、光学素子１２の第１のレンズパターン領域１２－１及び第２のレンズパタ－ン領域１２－２（偏光分離領域）の境界直下に障壁２４０を設けた構成を有する。
　この障壁２４０は、光を吸収し迷光が生じない材料によって構成されたもの、または、同様の機能を付加する表面加工が施されたものが望ましい。
　この障壁２４０は偏光分離・波長依存ＰＳＦレンズである光学素子１２と、撮像素子１１との間に設けられている。障壁２４０によって第１のレンズパターン領域１２－１及び第２のレンズパタ－ン領域１２－２間の影響を完全に遮断すれば、像の重なりは完全に除去できる。
　なお、部分的な障壁であっても、像の重なりの影響を軽減できる効果をもっており、用途や作製や実装プロセスに合わせて、障壁高さおよび位置を決定すればよい。
［実施の形態の変形例２］
　本変形例２では、撮像素子１１の画素上における像の重なり（クロストーク）の軽減が可能であり、かつ、偏光消光比の向上が可能である変形例について説明する。
　本変形例２では、撮像素子１１及び光学素子１２の一部を、撮像ユニットとして説明する。図４６は、図１に示す光学素子１２を適用した撮像ユニットの平面図である。なお、透明基板１９０は省略している。図４７は、図４６のＣ－Ｃ´線で撮像ユニットを切断した場合の断面図である。
　図４６及び図４７に示すように、同一レンズパターン（例えば、第１のレンズパターン領域１２－１）において、偏光分離後、撮像素子１１の、０°の偏光成分に対応する画像が結像される領域１１－１ａと９０°の偏光成分に対応する画像が結像される領域１１－１ｂとに形成された２つの像において、像の重なり（クロストーク）が生じる懸念がある。この像の重なりは、再構成後の画像の劣化や偏光消光比（所望の偏光成分／その他の偏光成分）の劣化に繋がる可能性がある。
　図４８は、実施の形態の変形例２に係る撮像ユニットの平面図である。なお、透明基板１９０は省略している。図４９は、図４８のＢ－Ｂ´線で撮像ユニットを切断した場合の断面図である。
　図４８及び図４９に示すように、撮像ユニット２００Ａでは、像の重なりを避けるために、光学素子１２と撮像素子１１との間に、複数の偏光フィルタ２５０を設けた構成となっており、それぞれが光学素子１２によって空間的に偏光分離される光の結像位置に対応している。
　したがって、レンズによって分離された各偏光成分からなる光は、対応する偏光フィルタを必ず透過する。その後、撮像素子１１上においてそれぞれの光は結像する。この際、分離された光の偏光方向と対応する偏光フィルタ２５０の偏光透過軸とを一致させる。
　このように、撮像ユニット２００Ａでは、光学素子１２と撮像素子１１との間に、直下に位置する前記画素が対応する偏光方向と偏光透過軸とを一致させた偏光フィルタを設ける。これによって、撮像ユニット２００Ａでは、所望の偏光成分以外の成分をカットした状態で、撮像素子１１の画素１３０上に光を導くことができるため、異なる偏光成分からなる像の境界付近における像の重なりを完全に除去することができる。したがって、撮像ユニット２００Ａによれば、像のクロストークを大きく軽減することができる。
　さらに、撮像ユニット２００Ａでは、光学素子１２と偏光フィルタ２５０とによる二重の偏光フィルタリングを行うこととなる。これは、偏光消光比を向上させることに繋がることから、撮像ユニット２００Ａでは、偏光画像の質の向上も実現することができる。
　なお、偏光フィルタ２５０を併用する撮像ユニット２００Ａでは、高い光利用効率を保持したまま、上記の効果を付加できる。これは、偏光分離後に偏光フィルタリングを行うため、画素アレイ上に到達する総光量をほとんど減らすことがないためである。
　なお、撮像ユニット２００Ａは、図４４及び図４５に示す障壁２４０をさらに設けることも可能である。偏光フィルタ２５０と障壁２４０とを併用することによって、各偏光画像のクロストークをほぼなくし、より高画質な偏光スペクトル画像を生成できる。
［レンズ構造例］
　光学素子１２は、図３及び図４に示す構成に制限されることはなく、構造体１６０の数や間隔、構造形状、配列パターンにおいて様々な形態をとり得る。また、構造体１６０は、それぞれが接続されていてもよく、また透明材料内に埋め込まれた形態でもよい。
　図３及び図４では、光学素子１２が透明基板１９０の底面に形成されているがこれに限らない。図５０～図５５は、実施の形態に係る光学素子１２の断面の一部の他の例を模式的に示す図である。
　図５０に示すように、光学素子１２の構造体１６０は、透明基板１９０Ａの上面に形成されてもよい。この場合、構造体１６０は、透明基板１９０Ａに支持されている。構造体１６０の上方の透明層は、空気でも樹脂などの保護層でもよく、透明層の材料は単一でよいし、複数の材料が層状になったものでもよい。
　また、図５１に示すように、光学素子１２の構造体１６０は、透明基板１９０Ｂ内に埋め込まれていてもよい。透明基板１９０Ｂの材料は単一でもよいし、複数の材料が層状になったものでもよい。
　また、図５２に示すように、光学素子１２の構造体１６０は、透明基板１９０Ｃの両面に形成されていてもよい。上述した偏光分離・波長依存ＰＳＦ機能を、透明基板１９０Ｃの両面の構造体１６０で実現してもよい。また、波長依存ＰＳＦ機能を、透明基板１９０Ｃの構造体１６０で実現してもよく、もう片面でフィルタやスプリッタ、遮光層などその他の光学機能を実現してもよい。構造体１６０上方の透明層は空気でも樹脂などの保護層でもよく、透明層の材料は単一でよいし、複数の材料が層状になったものでもよい。
　また、図５３に示すように、光学素子１２の構造体１６０は、屈折レンズ１９０Ｄ上に形成されていてもよい。構造体１６０は、屈折レンズ１９０Ｄ上に支持されている。屈折レンズ１９０Ｄは、波長依存集光特性の集光性能向上（高いＮＡ化など）において有益である。なお、以降で説明する屈折レンズ１９０Ｅ，１９０Ｆでも同様である。構造体１６０上方の透明層は、空気でも樹脂などの保護層でもよい。屈折レンズ１９０Ｄの材料は単一でもよい、複数の材料が層状になったものでもよい。
　また、図５４に示すように、光学素子１２の構造体１６０は、屈折レンズ１９０Ｅ内に埋め込まれていてもよい。屈折レンズ１９０Ｅの材料は、単一でもよいし、複数の材料が層状になったものでもよい。
　また、図５５に示すように、光学素子１２の構造体１６０は、屈折レンズ１９０Ｆの両面に形成されていてもよい。上述した波長依存ＰＳＦ機能を、屈折レンズ１９０Ｆの両面の構造体１６０で実現してもよい。また、波長依存ＰＳＦ機能を、屈折レンズ１９０Ｆの構造体１６０で実現してもよく、もう片面でフィルタやスプリッタ、遮光層などその他の光学機能を実現してもよい。構造体１６０上方の透明層は空気でも樹脂などの保護層でもよい。屈折レンズ１９０Ｆの材料は単一でもよいし、複数の材料が層状になったものでもよい。
　また、図５０～図５５では省略しているが、遮光膜パターンなどを同一平面上または裏面に施してもよい。
　なお、実施の形態では、構造体１６０の材料として、ＴｉＯ２及びＳｉＮを例に挙げて説明した。ただし、構造体１６０の材料はそれらに限定されない。例えば、波長が３８０ｎｍ～１０００ｎｍの光（可視光～近赤外光）の光に対しては、ＳｉＮの他に、ＳｉＣ、ＴｉＯ２、ＧａＮ等が構造体６の材料として用いられてよい。屈折率が高く、吸収損失が少ないため適している。波長が８００～１０００ｎｍの光（近赤外光）で用いる場合は、Ｓｉ、ＳｉＣ、ＳｉＮ、ＴｉＯ２、ＧａＡｓ、ＧａＮ等が構造体６の材料として用いられてよい。低損失であるため適している。長波長帯の近赤外領域（通信波長である１．３μｍや１．５５μｍ等）の光に対しては、上述の材料に加えて、ＩｎＰ等を構造体１６０の材料として用いることができる。
　また、構造体１６０が、貼り付け、塗布等によって形成される場合、フッ素化ポリイミド等のポリイミド、ＢＣＢ（ベンゾシクロブテン）、光硬化性樹脂、ＵＶエポキシ樹脂、ＰＭＭＡ等のアクリル樹脂、レジスト全般などのポリマー等が材料として挙げられる。
　また、実施の形態では、透明層１５０の材料としてＳｉＯ２及び空気層を想定した例を示したが、これらに限定されない。一般的なガラス材料等も含め、構造体１６０の材料の屈折率より低い屈折率を有し、入射光の波長に対して低損失なものであればよい。透明層１５０は、対応する画素に到達すべき光の波長に対して十分に低損失であればよいため、カラーフィルタと同様の材質であってもよく、例えば樹脂などの有機材料であってもよい。この場合、単に透明層１５０がカラーフィルタと同様の材質であるばかりでなく、カラーフィルタと同様の構造を持ち、対応する画素に導かれるべき光の波長に応じた吸収特性を持つよう設計されていてもよい。
　また、実施の形態では、画素の対応する色として、ＲＧＢの３原色を例に挙げて説明したが、画素は、近赤外光及び３原色以外の波長の光（例えば、赤外光、紫外光等）にも対応してよい。
　また、実施の形態では、構造体１６０の形状として、長方形形状、ひし形形状、十字形状及び楕円形状の断面形状を有する構造体が用いられる例について説明した。この形状は一例であり、１種類の構造体（例えば長方形形状のみ）が用いられてもよいし、２種類以上の構造体（例えば長方形形状と十字形状のみ）が用いられてもよい。
　以上、本発明を具体的な実施の形態に基づいて説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
　１　撮像対象
　１０　撮像装置
　１１　撮像素子
　１２　光学素子
　１３　信号処理部
　１３０　画素
　１５０　透明層
　１６０　構造体
　１９０，１９０Ａ～１９０Ｃ　透明基板
　１９０Ｄ～１９０Ｆ　屈折レンズ

Claims (8)

  1. 　透明基板と、前記透明基板上または前記透明基板内において前記透明基板の面方向に配置された複数の構造体と、を有する光学素子と、
    　光電変換素子を含む複数の画素が配置された撮像素子と、
    　前記撮像素子から得られた電気信号に基づいて画像信号を生成する信号処理部と、
    　を有し、
    　前記光学素子は、波長毎に異なる点拡がり関数を有した状態で光を出力することで各波長の点拡がり関数が畳み込まれている画像を、偏光成分に応じて、各偏光成分に対応する複数の画素にそれぞれ結像し、
    　前記複数の構造体は、側面視したときに、同じ高さを有し、
    　前記信号処理部は、偏光成分毎に、各波長の点拡がり関数が畳み込まれている画像を再構成する
    　ことを特徴とする撮像装置。
  2. 　前記信号処理部は、前記光学素子の撮像プロセスによって定義される行列と、各波長の点拡がり関数が畳み込まれている画像とを基に、偏光成分毎にそれぞれ画像を再構成することを特徴とする請求項１に記載の撮像装置。
  3. 　前記信号処理部は、ニューラルネットワークで構成されるモデルを用いて、前記光学素子の撮像プロセスによって定義される行列と、各波長の点拡がり関数が畳み込まれている画像とを入力とする最適化問題を解くことを特徴とする請求項２に記載の撮像装置。
  4. 　前記複数の構造体の各々は、前記透明層の屈折率よりも高い屈折率を有し、入射した光に対して断面形状に応じた光位相遅延量を与える柱状構造体であり、
    　前記複数の構造体は、前記画素に対する前記各波長の点拡がり関数が畳み込まれている画像を偏光成分に応じて各偏光成分に対応する複数の画素にそれぞれ結像するための光位相量遅延分布に従って断面形状が設定され、前記画素に対する前記各波長の点拡がり関数が畳み込まれている画像を偏光成分に応じて各偏光成分に対応する複数の画素にそれぞれ結像するための光位相量遅延分布に従って配置されることを特徴とする請求項１～３のいずれか一つに記載の撮像装置。
  5. 　前記複数の構造体の各々の断面形状は、２回回転対称形状であることを特徴とする、
    　請求項１～４のいずれか一つに記載の撮像装置。
  6. 　前記光学素子における偏光分離領域の境界直下に、光を吸収する障壁を設けたことを特徴とする請求項１～５のいずれか一つに記載の撮像装置。
  7. 　前記光学素子と前記撮像素子との間に設けられ、直下に位置する前記画素が対応する偏光方向と偏光透過軸とを一致させた偏光フィルタをさらに有することを特徴とする請求項１～６のいずれか一つに記載の撮像装置。
  8. 　透明基板と、前記透明基板上または前記透明基板内において前記透明基板の面方向に配置された複数の構造体と、を有する光学素子であって、
    　前記光学素子は、波長毎に異なる点拡がり関数を有した状態で光を出力することで各波長の点拡がり関数が畳み込まれている画像を、偏光成分に応じて、各偏光成分に対応する撮像素子の複数の画素にそれぞれ結像し、
    　前記複数の構造体は、側面視したときに、同じ高さを有することを特徴とする光学素子。
PCT/JP2021/002909 2021-01-27 2021-01-27 撮像装置及び光学素子 WO2022162800A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202180092016.8A CN116762353A (zh) 2021-01-27 2021-01-27 摄像装置和光学元件
JP2022577890A JPWO2022162800A1 (ja) 2021-01-27 2021-01-27
KR1020237025555A KR20230127277A (ko) 2021-01-27 2021-01-27 촬상 장치 및 광학소자
EP21922821.0A EP4270941A1 (en) 2021-01-27 2021-01-27 Imaging device and optical element
US18/273,224 US20240147032A1 (en) 2021-01-27 2021-01-27 Imaging device and optical element
PCT/JP2021/002909 WO2022162800A1 (ja) 2021-01-27 2021-01-27 撮像装置及び光学素子

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/002909 WO2022162800A1 (ja) 2021-01-27 2021-01-27 撮像装置及び光学素子

Publications (1)

Publication Number Publication Date
WO2022162800A1 true WO2022162800A1 (ja) 2022-08-04

Family

ID=82653135

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002909 WO2022162800A1 (ja) 2021-01-27 2021-01-27 撮像装置及び光学素子

Country Status (6)

Country Link
US (1) US20240147032A1 (ja)
EP (1) EP4270941A1 (ja)
JP (1) JPWO2022162800A1 (ja)
KR (1) KR20230127277A (ja)
CN (1) CN116762353A (ja)
WO (1) WO2022162800A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
JP2018511253A (ja) * 2015-03-24 2018-04-19 ザ ユニバーシティ オブ ユタ リサーチ ファウンデイション 分散して空間的符号化画像を作成する画像を伴う撮像素子
JP2018107794A (ja) * 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置
JP2018170757A (ja) * 2017-03-29 2018-11-01 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置
WO2020066738A1 (ja) * 2018-09-26 2020-04-02 日本電信電話株式会社 偏光イメージング撮像システム
JP2020123964A (ja) * 2018-04-17 2020-08-13 日本電信電話株式会社 カラー撮像素子および撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
JP2018511253A (ja) * 2015-03-24 2018-04-19 ザ ユニバーシティ オブ ユタ リサーチ ファウンデイション 分散して空間的符号化画像を作成する画像を伴う撮像素子
JP2018107794A (ja) * 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置
JP2018170757A (ja) * 2017-03-29 2018-11-01 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置
JP2020123964A (ja) * 2018-04-17 2020-08-13 日本電信電話株式会社 カラー撮像素子および撮像装置
WO2020066738A1 (ja) * 2018-09-26 2020-04-02 日本電信電話株式会社 偏光イメージング撮像システム

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"European Conference on Computer Vision", 2016, SPRINGER, pages: 19 - 34
"Imaging: An introduction", IEEE SIGNAL PROCESSING MAGAZINE, vol. 31, no. 1, 2013, pages 105 - 115
AGGARWAL, H. K.MAJUMDAR, A: "Hyperspectral image denoising using spatio-spectral total variation", IEEE GEOSCIENCE AND REMOTE SENSING LETTERS, vol. 13, no. 3, 2016, pages 442 - 446, XP011608902, DOI: 10.1109/LGRS.2016.2518218
S. BOYDN. PARIKHE. CHUB. PELEATOJ. ECKSTEIN: "Distributed optimization and statistical learning via the alternating direction method of multipliers", FOUNDATIONS AND TRENDS IN MACHINE LEARNING, vol. 3, no. 1, 2011, pages 1 - 122, XP055127725, DOI: 10.1561/2200000016
Y. SOGABE ET AL.: "In: 2020 IEEE International Conference on Image Processing (ICIP", 2020, IEEE, article "ADMM-INSPIRED RECONSTRUCTION NETWORK FOR COMPRESSIVE SPECTRAL IMAGING", pages: 2865 - 2869

Also Published As

Publication number Publication date
US20240147032A1 (en) 2024-05-02
EP4270941A1 (en) 2023-11-01
CN116762353A (zh) 2023-09-15
KR20230127277A (ko) 2023-08-31
JPWO2022162800A1 (ja) 2022-08-04

Similar Documents

Publication Publication Date Title
JP7328232B2 (ja) フルカラー撮像のためのメタ表面およびシステムならびに撮像の方法
CN111670576B (zh) 用于深度获取的光场图像处理方法
JP6707105B2 (ja) カラー撮像素子および撮像装置
JP6725526B2 (ja) 分散して空間的符号化画像を作成する画像を伴う撮像素子
CA2594105C (en) A system for multi- and hyperspectral imaging
CN111426381B (zh) 一种基于超构透镜阵列的超紧凑型光谱光场相机系统
EP3700197B1 (en) Imaging device and method, and image processing device and method
US9426383B1 (en) Digital camera for capturing spectral and spatial information
US20220086372A1 (en) Multi-Modal Computational Imaging via Metasurfaces
WO2021136469A1 (zh) 一种图像传感器、分光滤色器件及图像传感器的制备方法
KR20220061175A (ko) 분광소자 어레이, 촬상소자 및 촬상장치
WO2022162800A1 (ja) 撮像装置及び光学素子
Chang et al. Axicon metalens for broadband light harvesting
TW202119094A (zh) 攝像元件及攝像裝置
US20230292016A1 (en) Meta-lens enabled light-field camera with extreme depth-of-field
Shaik et al. Longwave infrared multispectral image sensor system using aluminum-germanium plasmonic filter arrays
CN114927536B (zh) 多光谱成像芯片、组件、制备方法及移动终端
WO2022162801A1 (ja) 撮像装置及び光学素子
JP7364066B2 (ja) 撮像素子及び撮像装置
Rueda et al. Compressive spectral imaging based on colored coded apertures
Wei et al. Compact hyperspectral imaging of extreme-depth-of-field diffractive lenses based on spatial–spectral sparse deep learning
Xu et al. Wavelength encoding spectral imaging based on the combination of deeply learned filters and an RGB camera
Chowdhury Non-Standard Imaging Techniques
JP2022027780A (ja) カラー撮像素子および撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21922821

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022577890

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18273224

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20237025555

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180092016.8

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2021922821

Country of ref document: EP

Effective date: 20230727

NENP Non-entry into the national phase

Ref country code: DE