WO2022162801A1 - 撮像装置及び光学素子 - Google Patents

撮像装置及び光学素子 Download PDF

Info

Publication number
WO2022162801A1
WO2022162801A1 PCT/JP2021/002910 JP2021002910W WO2022162801A1 WO 2022162801 A1 WO2022162801 A1 WO 2022162801A1 JP 2021002910 W JP2021002910 W JP 2021002910W WO 2022162801 A1 WO2022162801 A1 WO 2022162801A1
Authority
WO
WIPO (PCT)
Prior art keywords
wavelength
image
optical element
imaging
point spread
Prior art date
Application number
PCT/JP2021/002910
Other languages
English (en)
French (fr)
Inventor
将司 宮田
陽光 曽我部
史英 小林
志織 杉本
成 根本
俊和 橋本
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/002910 priority Critical patent/WO2022162801A1/ja
Priority to KR1020237025556A priority patent/KR20230127278A/ko
Priority to EP21922822.8A priority patent/EP4270942A1/en
Priority to CN202180091998.9A priority patent/CN116848847A/zh
Priority to JP2022577891A priority patent/JPWO2022162801A1/ja
Priority to US18/273,228 priority patent/US20240121488A1/en
Publication of WO2022162801A1 publication Critical patent/WO2022162801A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals

Definitions

  • the present invention relates to imaging devices and optical elements.
  • an imaging device acquires a two-dimensional image in which the obtainable optical information is three colors of R (red), G (green), and B (blue).
  • the obtainable optical information is three colors of R (red), G (green), and B (blue).
  • hyperspectral cameras have been put into practical use as cameras that acquire more detailed color information (wavelength spectrum), and efforts are being made to extract new valuable information from more diverse optical information. It is As a hyperspectral camera in practical use, there is generally a line scan type. In addition, research on compression-sensing hyperspectral cameras is underway.
  • a line scan type hyperspectral camera allows only one-dimensional spatial light to enter through a slit, separates wavelengths using a spectroscopic element (prism or grating), and acquires one-dimensional spatial x one-dimensional wavelength with a two-dimensional image sensor.
  • a line-scan type hyperspectral camera generates an image of two dimensions of space and one dimension of wavelength by photographing multiple times while scanning the position of the slit (or the imaging target itself).
  • the line scan type hyperspectral camera since wavelength information is obtained directly by wavelength separation by a spectroscopic element, there is an advantage that the accuracy of the wavelength spectrum is good.
  • the line scan type hyperspectral camera has the drawback that the device becomes large due to the long optical path length and scanning mechanism required for wavelength separation, and the time resolution is low due to multiple shooting (moving objects cannot be imaged).
  • a compressed-sensing hyperspectral camera optically encodes (manipulates and computes optical information) the imaged object, captures the image, and uses reconstruction processing that utilizes the sparsity of natural images to extract spatial information. Restore wavelength information.
  • Compressed-sensing hyperspectral cameras accurately restore the original information from a small amount of information. , which generally has the advantage of being a single-shot operation.
  • the compression sensing type hyperspectral camera generally requires a large-scale and complicated optical system for optical encoding, and thus has the disadvantage of requiring a large number of man-hours for manufacturing and increasing the size of the device. It is also possible to encode with a simplified optical system using a multi-stage diffraction optical element that requires multi-stage lithography, but the number of fabrication steps is large, and due to theoretical limitations (such as shadow effects), light transmittance and optical There is a constraint on the numerical aperture (or F-number) of the system.
  • the present invention has been made in view of the above, and it is an object of the present invention to provide a hyperspectral imaging device with a simple device configuration and an optical element for realizing a hyperspectral imaging device with a simple device configuration.
  • an imaging device includes a transparent substrate, and a plurality of structures arranged on or within the transparent substrate in the plane direction of the transparent substrate.
  • an optical element having, an imaging element in which a plurality of pixels including a photoelectric conversion element are arranged, and a signal processing unit that generates an image signal based on an electrical signal obtained from the imaging element, the optical element Light is output with a different point spread function for each wavelength, and an image in which the point spread function of each wavelength is convoluted is formed on an image pickup device, and the plurality of structures, when viewed from the side, , have the same height, and the signal processing unit reconstructs an image in which the point spread function of each wavelength is convolved.
  • an optical element according to the present invention is an optical element having a transparent substrate and a plurality of structures arranged on or within the transparent substrate in a plane direction of the transparent substrate, wherein the optical element has a wavelength
  • the light is output with different point spread functions for each wavelength, and an image in which the point spread functions of the respective wavelengths are convolved is formed on the imaging device. It is characterized by having a height.
  • a hyperspectral imaging device with a simple device configuration can be realized.
  • FIG. 1 is a side view showing a schematic configuration of an imaging device according to an embodiment.
  • FIG. 2 is a schematic diagram showing processing until the imaging device shown in FIG. 1 acquires an image.
  • FIG. 3 is a diagram schematically showing a part of a cross section of an imaging element and an optical element according to the embodiment.
  • FIG. 4 is a diagram for explaining image reconstruction processing by the signal processing unit.
  • FIG. 5 is a diagram showing an example of a schematic configuration of a structure.
  • FIG. 6 is a diagram showing an example of a schematic configuration of a structure.
  • FIG. 7 is a diagram showing the structural width of the structure and the amount of phase delay at each wavelength.
  • FIG. 8 is a diagram showing an example of a cross-sectional shape of a structure.
  • FIG. 1 is a side view showing a schematic configuration of an imaging device according to an embodiment.
  • FIG. 2 is a schematic diagram showing processing until the imaging device shown in FIG. 1 acquires an image.
  • FIG. 3 is a
  • FIG. 9 is a diagram showing an example of phase distribution of a structure designed to be equivalent to a Fresnel lens.
  • FIG. 10 is a diagram showing an example of phase distribution of a structure designed to be equivalent to a Fresnel lens.
  • FIG. 11 is a diagram showing an example of phase distribution of a structure designed to be equivalent to a Fresnel lens.
  • FIG. 12 is a diagram showing an example of the phase distribution of the structure when the point spread function (PSF) is designed to have a propeller shape.
  • FIG. 13 is a diagram showing an example of the phase distribution of the structure when the PSF is designed to have a propeller shape.
  • FIG. 14 is a diagram showing an example of the phase distribution of the structure when the PSF is designed to have a propeller shape.
  • FIG. 10 is a diagram showing an example of phase distribution of a structure designed to be equivalent to a Fresnel lens.
  • FIG. 11 is a diagram showing an example of phase distribution of a structure designed
  • FIG. 15 is a diagram showing a PSF shape obtained from the phase distribution shown in FIGS. 12 to 14 by Fresnel diffraction integration.
  • FIG. 16 is a diagram showing a PSF shape obtained by Fresnel diffraction integration from the phase distribution shown in FIGS. 12 to 14.
  • FIG. 17 is a diagram showing a PSF shape obtained by Fresnel diffraction integration from the phase distribution shown in FIGS. 12 to 14.
  • FIG. FIG. 18 is a diagram showing a PSF shape obtained by Fresnel diffraction integration from the phase distribution shown in FIGS. 12 to 14.
  • FIG. 19 is a diagram showing a PSF shape obtained by Fresnel diffraction integration from the phase distribution shown in FIGS. 12 to 14.
  • FIG. 20 is a diagram showing simulation results.
  • FIG. 21 is a diagram illustrating an example of a reconstructed image by an imaging device; 22 is a diagram showing the wavelength spectrum at the x point of the reconstructed image in FIG. 21.
  • FIG. 23A and 23B are diagrams showing the results of comparing the reconstruction accuracies depending on the shape of the PSF of the optical element 12.
  • FIG. 24A and 24B are diagrams showing reconstructed images respectively reconstructed based on the observed images of each shape of the PSF in FIG. 23.
  • FIG. FIG. 25 is a diagram schematically showing another example of part of the cross section of the optical element according to the embodiment.
  • FIG. 26 is a diagram schematically showing another example of a part of the cross section of the optical element according to the embodiment.
  • FIG. 21 is a diagram illustrating an example of a reconstructed image by an imaging device
  • 22 is a diagram showing the wavelength spectrum at the x point of the reconstructed image in FIG. 21.
  • FIG. 27 is a diagram schematically showing another example of a part of the cross section of the optical element according to the embodiment
  • FIG. 28 is a diagram schematically showing another example of a part of the cross section of the optical element according to the embodiment.
  • FIG. 29 is a diagram schematically showing another example of part of the cross section of the optical element according to the embodiment.
  • FIG. 30 is a diagram schematically showing another example of a part of the cross section of the optical element according to the embodiment.
  • FIG. 1 is a side view showing a schematic configuration of an imaging device according to an embodiment.
  • FIG. 2 is a schematic diagram showing processing until the imaging device 10 shown in FIG. 1 acquires an image.
  • the imaging device 10 has an optical element 12, an imaging element 11, and a signal processing section 13.
  • the imaging element 11 has a photoelectric conversion element such as CCD or CMOS.
  • the signal processing unit 13 processes photoelectric conversion signals output from the imaging element 11 to generate image signals.
  • the imaging device 10 in the imaging device 10, light such as natural light or illumination light is applied to an imaging target (actual image), and light transmitted/reflected/scattered by the imaging target 1, or light transmitted/reflected/scattered by the imaging target 1 or Light emitted from the optical element 12 forms an optical image on the imaging element 11 .
  • the optical element 12 consists of a minute binary structure. In other words, the optical element 12 has a plurality of fine columnar structures 160 .
  • the optical element 12 performs optical encoding by having a function of different imaging characteristics depending on the wavelength.
  • the optical element 12 is a lens (wavelength-dependent PSF lens) having a PSF (Point spread function) with a shape that clearly differs depending on the wavelength. It has a function to generate an image that has undergone a calculation.
  • the optical element 12 is a wavelength-dependent PSF lens. When an object is imaged by the optical element 12, a convolution operation is performed on the actual image with a PSF that differs for each wavelength, and the result is imaged on the imaging element.
  • the imaging device 11 acquires an observed image that has undergone a different convolution operation for each wavelength by means of the optical device 12, which is a wavelength-dependent PSF lens.
  • the signal processing unit 13 generates a spectral image by performing a process of reconstructing the spatial information and spectral information of the object from the observed image based on compressed sensing.
  • the imaging device 10 may include known components such as an optical filter for cutting infrared light, an electronic shutter, a viewfinder, a power supply (battery), and a flashlight, but descriptions thereof are particularly useful for understanding the present invention. It is omitted because it is not necessary. Also, the above configuration is merely an example, and in the embodiment, known elements can be appropriately combined and used as components other than the optical element 12, the imaging element 11, and the signal processing section 13.
  • the imaging element 11 has a plurality of pixels each including a photoelectric conversion element arranged in a two-dimensional array.
  • the optical element 12 has a PSF that differs for each wavelength, and is a plurality of fine structures that have the function of forming an image on the imaging device 11 in which the PSF that differs for each wavelength is convoluted with respect to the actual image. are arranged on the entire surface.
  • FIG. 3 is a diagram schematically showing a part of the cross section of the imaging element and the optical element according to the embodiment. Also, from FIG. 3 onward, an xyz coordinate system is shown.
  • the xy plane direction corresponds to the surface direction of the imaging element 11, the transparent substrate 190, etc., which will be described later.
  • plane view refers to viewing in the z-axis direction (for example, in the negative z-axis direction).
  • ide view refers to viewing in the x-axis direction or the y-axis direction (eg, the y-axis negative direction).
  • the optical element 12 is arranged facing the imaging element 11 .
  • the imaging element 11 and the optical element 12 are provided in this order in the z-axis positive direction.
  • the imaging device 11 has a wiring layer 180 and a plurality of pixels 130 arranged in the xy plane direction.
  • Each pixel 130 includes a photoelectric conversion element.
  • An example of a photoelectric conversion element is a photodiode (PD).
  • PD photodiode
  • Each pixel corresponds to red (R), green (G), and blue (B).
  • An example of the wavelength band of red light is 600 nm ⁇ 0 ⁇ 800 nm, where ⁇ 0 is the wavelength.
  • An example wavelength band for green light is 500 nm ⁇ 0 ⁇ 600 nm.
  • An example wavelength band for blue light is less than ⁇ 0 ⁇ 500 nm.
  • Pixel R, pixel G, and pixel B may be in a Bayer array. Alternatively, the pixels may be for monochrome images.
  • the incident light travels along the z-axis negative direction and reaches the imaging element 11 via the optical element 12 .
  • An electric charge generated in each pixel of the imaging device 11 is converted into an electrical signal that is the basis of a pixel signal by a transistor or the like (not shown) and output to the outside of the imaging unit 100 via the wiring layer 180 .
  • FIG. 3 some of the wires included in the wiring layer 180 are illustrated.
  • the optical element 12 is arranged on the side on which the light from the object to be imaged is incident.
  • the optical element 12 is provided so as to cover the imaging element 11 when viewed from above.
  • the optical element 12 is composed of a plurality of structures 160 periodically (having a periodic structure) on the bottom surface of the transparent substrate 190, for example.
  • the plurality of structures 160 may be evenly spaced, such as for ease of design, or may be unevenly spaced.
  • a plurality of structures 160 are formed in a transparent layer 150 formed on the imaging device 11 to cover the plurality of pixels.
  • the transparent layer 150 is a low refractive index transparent layer made of material such as air or SiO2 .
  • the transparent substrate 190 and the transparent layer 150 may be made of a single material, or may be made of a plurality of layers.
  • the multiple structures 160 have the same height when viewed from the side.
  • the plurality of structures 160 consist of microstructured patterns made of a material such as SiN or TiO 2 having a higher refractive index than the transparent layer 150 .
  • the optical element 12 is a metasurface.
  • the metasurface includes a plurality of microstructures (corresponding to the structure 160) having a width equal to or less than the wavelength of light when viewed from above and having the same height when viewed from the side.
  • Each of the plurality of structures 160 has a four-fold rotational symmetry in cross-sectional shape when cut along a plane parallel to the xy plane.
  • the metasurface may have a two-dimensional structure or a three-dimensional structure.
  • the optical element 12 can control the phase and light intensity according to the light characteristics (wavelength, polarization, incident angle) by simply changing the parameters of this structure 160 . In the case of a three-dimensional structure, the degree of freedom in design is improved over that of a two-dimensional structure.
  • the optical element 12 has a different PSF depending on the wavelength, so that the imaging characteristics (blurring degree) differ depending on the wavelength of the light from the imaging target 1 .
  • Light from an imaging target 1 is imaged on an imaging device 11 by an optical device 12 having a wavelength-dependent PSF function, and acquired as an image (RGB image or monochrome image).
  • the acquired image corresponds to the result of optical convolution operation performed for each wavelength by the wavelength-dependent PSF of the optical element 12 on the imaging object (actual image) 1 and integrated along the wavelength dimension on the pixel.
  • the optical device 12 and the imaging device 11 acquire an image in an optically encoded and compressed state.
  • the image sensor 11 is a color image sensor, after the convolution operation, multiplication is performed according to the wavelength sensitivities of the respective R, G, and B pixels of the image sensor 11, and then integration along the wavelength dimension is performed on the pixels. be done.
  • an optically encoded image is formed on the imaging element 11 by one optical element 12 (optical element 12).
  • the imaging device 10 can be composed of only one optical element 12 and imaging element 11, and a hyperspectral imaging device can be realized with a simple device.
  • the distance between the optical element 12 and the image pickup device 11 is determined by the focal length of the lens as in a normal image pickup device, so the size of the image pickup device 10 has the same field of view F number. Equivalent to a normal camera.
  • the optically encoded image is processed by the signal processing unit 13 by performing appropriate signal processing. Image information can be restored.
  • the imaging device 10 performs signal processing using compressed sensing, which is a method of reconstructing (restoring) an object with high accuracy from a small amount of information, particularly by utilizing the sparsity of natural images. Since the imaging apparatus 10 can perform different encoding for each wavelength component of the actual image using the wavelength-dependent PSF of the optical element 12, the signal processing unit 13 performs image reconstruction processing based on compressed sensing. By doing so, the spectrum image can be restored.
  • compressed sensing is a method of reconstructing (restoring) an object with high accuracy from a small amount of information, particularly by utilizing the sparsity of natural images. Since the imaging apparatus 10 can perform different encoding for each wavelength component of the actual image using the wavelength-dependent PSF of the optical element 12, the signal processing unit 13 performs image reconstruction processing based on compressed sensing. By doing so, the spectrum image can be restored.
  • FIG. 4 is a diagram for explaining image reconstruction processing by the signal processing unit 13 .
  • the reconstruction process solves an optimization problem (e.g., equation (A) in FIG. 4) with the observation matrix ⁇ defined by the optical system and the acquired encoded image g as input. processing.
  • equation (A) equation (A) in FIG. 4
  • R corresponds to the prior probability of the signal based on prior (prediction information: image-likeness), and the sparsity of the image in general, such as a small difference between adjacent pixels, is used. .
  • ⁇ is a balancing parameter.
  • SSTV Spa-Spectral Total Variation
  • ADMM Alternating Direction Method of Multipliers
  • Reference document 2 a technique called Alternating Direction Method of Multipliers
  • a method has been proposed for performing image reconstruction by simultaneously optimizing the regularization term and the parameters of the optimization problem using machine learning or the like (see Non-Patent Document 2).
  • the signal processing unit 13 can also apply this method. That is, the signal processing unit 13 may reconstruct the spectral image using a model configured by a neural network and an optimized reconstruction algorithm.
  • the signal processing unit 13 uses machine learning to previously learn the form of the regularization term and various parameters of the optimization problem using various spectral images, and obtains the learned (optimized) regularity An image is reconstructed using the conversion term and various parameters.
  • Reference 2 S. Boyd, N. Parikh, E. Chu, B. Peleato, and J. Eckstein, “Distributed optimization and statistical learning via the alternating direction method of multipliers,” Foundations and Trends in Machine Learning, vol. 3, no. 1, pp. 1-122, 2011.
  • the observation matrix ⁇ effective for reconstruction can be realized with a simple and compact optical system (optical element 12).
  • FIG. 5 and 6 are diagrams showing an example of a schematic configuration of the structure 160.
  • FIG. FIG. 5 is a side view of structure 160 having a square shape when viewed from above.
  • FIG. 6 is a bottom view of structure 160 shown in FIG.
  • the structure 160 is a columnar structure extending in the z-axis direction, and is formed on the bottom surface of a transparent substrate 190 (for example, a SiO 2 substrate (refractive index 1.45)).
  • a transparent substrate 190 for example, a SiO 2 substrate (refractive index 1.45).
  • Equation (1) Let P be the arrangement period of each structure 160 . It is desirable to set the arrangement period P as shown in Equation (1) so that diffracted light does not occur on the transmission side.
  • ⁇ min is the shortest wavelength in the wavelength band to be received.
  • n0 is the refractive index of the transparent layer on the transmission side.
  • ⁇ min is 420 nm
  • n 0 is 1.0
  • P 400 nm.
  • the height h (length in the z-axis direction) of the structure 160 is constant. Since it is preferable that the structure 160 has an optical phase delay amount (phase value) of 2 ⁇ or more with respect to the incident light, that is, the light traveling along the z-axis direction, the height h is the wavelength to be separated. Assuming that the desired central wavelength in the wavelength region on the longest wavelength side of the region is ⁇ r , it is desirable to set as in Equation (2).
  • each of the plurality of structures 160 has a four-fold rotational symmetry in cross section when cut along a plane parallel to the xy plane.
  • FIG. 7 is a diagram showing the relationship between the structural width of the structural body 160 and the amount of phase delay at each wavelength.
  • FIG. 7 shows phase values for each wavelength (420 to 660 nm) when the structural parameter (width) of the columnar structure 160 is set to various values while the height is constant. As shown in FIG. 7, by appropriately designing the cross-sectional shape of the structure 160, all phase values from 0 to 2 ⁇ can be realized at all design wavelengths.
  • an arbitrary spatial phase distribution can be designed according to the design wavelength simply by designing the cross-sectional shape of the structure 160 having a binary structure.
  • the optical element 12 can be designed with Although only wavelengths of 420 to 660 nm have been described here, the same design can be applied to other arbitrary wavelength bands.
  • FIG. 8 is a diagram showing an example of the cross-sectional shape of the structure 160.
  • Structure 160 may have various cross-sectional shapes as illustrated in FIG. Exemplified shapes are, for example, four-fold rotationally symmetrical shapes obtained by various combinations of square, cross and circular shapes.
  • phase distribution was designed using the structure 160 having the SiN composition shown in FIGS. 5 and 6, and a wavelength-dependent PSF lens was realized.
  • a lens having a PSF with a different shape for each wavelength can be realized from various phase distributions.
  • phase distribution ⁇ of the lens is represented, for example, by Equation (3).
  • Equation (3) (x, y) are spatial coordinates on the lens plane.
  • ⁇ d is the design wavelength.
  • f is the focal length.
  • n is the refractive index of the light propagation space after passing through the lens.
  • C is an arbitrary constant.
  • FIGS. 9 to 11 are diagrams showing examples of the phase distribution of the structure 160 when designed to be equivalent to the Fresnel lens.
  • 9 to 11 are examples of phase distributions designed to have phase distributions equivalent to those of a Fresnel lens.
  • the lenses were designed with parameters of a lens diameter of 1.0 mm, a focal length of 5.0 mm, and a design wavelength of 520 nm.
  • ⁇ is transformed so that it falls within the range of 0 to 2 ⁇ . For example, -0.5 ⁇ and 2.5 ⁇ are converted to 1.5 ⁇ and 0.5 ⁇ respectively.
  • a structure that best matches the phase distribution of formula (2) from the phase delay amount at the design wavelength of the composition structure (the phase error is minimized structure) may be selected and arranged for each position.
  • the parallel light of the design wavelength is condensed to one point at the focal length. That is, the PSF shape becomes a dot (more precisely, a Gaussian function for a circular lens and a sinc function for a square lens).
  • the magnitude of the PSF changes depending on the wavelength due to the wavelength dependence of the condensed position due to the phase pattern and the wavelength dispersion with respect to the phase of the composition structure. That is, chromatic aberration occurs in which the degree of blurring of an image varies depending on the wavelength.
  • the optical element 12 is designed to have a phase distribution such that the shape of the PSF rotates according to the wavelength.
  • the phase distribution ⁇ of the lens is represented, for example, by Equation (4).
  • ⁇ ( ⁇ ) in Equation (4) is represented by Equation (5).
  • r is the distance from the origin on the lens plane.
  • ⁇ is the angle between the origin on the lens plane and the coordinates.
  • c is the speed of light in vacuum.
  • ⁇ ( ⁇ ) is the optical angular frequency at the position ⁇ .
  • ⁇ min is the design minimum optical angular frequency.
  • ⁇ max is the design maximum optical angular frequency.
  • f is the focal length.
  • n is the refractive index of the light propagation space after passing through the lens.
  • C is an arbitrary constant.
  • N is the number of vanes.
  • FIG. 12 to 14 are other examples of the phase distribution of the structure 160.
  • FIG. 12 to 14 are diagrams showing examples of the phase distribution of the structure 160 when the PSF is designed to have a propeller shape.
  • the lenses were designed with parameters of a lens diameter of 1.0 mm, a focal length of 5.0 mm, a number of wings of 3, and a design wavelength of 420 to 660 nm.
  • ⁇ is transformed so that it falls within the range of 0 to 2 ⁇ . For example, -0.5 ⁇ and 2.5 ⁇ are converted to 1.5 ⁇ and 0.5 ⁇ respectively.
  • phase A structure 160 with a minimum error may be selected and arranged for each position.
  • the PSF shape becomes a propeller-like shape, and the number of blades corresponds to N in Equation (5).
  • This PSF shape rotates with wavelength and its magnitude changes little.
  • the optical element 12 can perform different convolution operations on the imaging target for each wavelength, and after acquiring the image, the imaging device 10 can generate a spectral image by image reconstruction.
  • the propeller lens type in which the size of the PSF is almost constant and the wavelength dependence occurs in a clear form of rotation, is advantageous in reconstruction and is more suitable. is.
  • optical element 12 designed based on the propeller lens type will be shown below, but the same applies to other wavelength-dependent PSF lenses such as Fresnel lens type.
  • FIGS. 12 to 14 are diagrams showing PSF shapes obtained by Fresnel diffraction integration from the phase distributions shown in FIGS. 12 to 14.
  • the blades are a propeller-shaped PSF with three blades, and it can be seen that the blades rotate according to the wavelength.
  • the size of the PSF itself does not substantially change regardless of changes in wavelength.
  • the imaging target 1 is imaged with the optical element 12 having these PSFs, the result of convolving the image with the PSF of the corresponding wavelength is imaged on the image sensor.
  • FIG. 20 is a diagram showing simulation results.
  • Fig. 15 19 is performed for each wavelength, and integration is performed along the wavelength dimension in consideration of the sensitivity of RGB pixels of a general color image sensor.
  • 20 is a monochrome display of an RGB color image, the image on the left is an input spectrum image (actual image), and the image on the right is an image (observation image) acquired on the image sensor 11. be.
  • the wavelength range of B light is 420 to 500 nm
  • the wavelength range of G light is 500 to 600 nm
  • the wavelength range of R light is 600 to 660 nm.
  • the observed image is blurred due to the convolution operation by the PSF of the optical element 12.
  • the amount of observed information is compressed to 12% of the actual image (3 colors from 25 wavelength bands), and the information is restored from 3 colors to 25 wavelength bands by image reconstruction based on compressed sensing. .
  • FIG. 21 is a diagram showing an example of a reconstructed image by the imaging device 10. As shown in FIG. FIG. 21 shows an example in which a spectral image is generated from the observed image shown in FIG. 20 using reconstruction processing based on compressed sensing.
  • FIG. 21 also shows an actual image for comparison. Note that the reconstructed image and the actual image shown in FIG. 21 are 25-band spectral images, but for visualization purposes, the RGB images are displayed in monochrome.
  • the reconstructed image was evaluated using PSNR (Peak Signal-to-Noise Ratio), SSIM (Structural Similarity), and SAM (Spectral Angle Mapping) evaluation indices.
  • PSNR Peak Signal-to-Noise Ratio
  • SSIM Structuretural Similarity
  • SAM Spectral Angle Mapping
  • PSNR is an index that evaluates the difference for each pixel, as shown in equations (6) and (7), and the higher the value (dB), the higher the image quality.
  • the PSNR of each wavelength image was calculated and applied to the spectral image by averaging across wavelengths.
  • SSIM is structural similarity, and is an index including correlation with surrounding pixels, as shown in Equation (8). The closer SSIM is to 1, the higher the image quality. The SSIM of each wavelength image was calculated and applied to the spectral image by averaging across wavelengths.
  • SAM is the wavelength spectrum similarity, and the closer to 0, the more similar the spectrum. It was applied to the spectral image by calculating the SAM of each pixel and averaging it over the entire image.
  • the reconstructed image had a PSNR of 29.09 dB, an SSIM of 0.9142, and a SAM of 0.1872. Therefore, it can be seen that the imaging device 10 reconstructs the image with high accuracy.
  • FIG. 22 is a diagram showing the wavelength spectrum at the x point of the reconstructed image in FIG. 21.
  • FIG. 22 also shows the wavelength spectrum at the x point of the real image (ground truth) together with the reconstructed image.
  • the reconstructed image has a spectrum that closely matches the actual image, and it can be seen that highly accurate information restoration can be performed by image reconstruction. Note that the reconstruction accuracy varies depending on the shape of the PSF of the optical element 12 as well as the regularization term and how to solve the optimization problem.
  • FIG. 23A and 23B are diagrams showing the results of comparing the configuration accuracy for each PSF shape of the optical element 12.
  • FIG. 24A and 24B are diagrams showing reconstructed images respectively reconstructed based on the observed images of each shape of the PSF in FIG. 23.
  • FIG. The reconstructed image, the actual image, and the Fresnel lens image shown in FIG. 24 are monochrome representations of RGB images.
  • FIG. 23 also shows a Fresnel lens type PSF.
  • FIG. 24 also shows a real image and a reconstructed image by the Fresnel lens type.
  • the Fresnel lens type image is reconstructed using the large chromatic aberration described above.
  • N in FIGS. 23 and 24 is the number of blades.
  • FIG. 23 also shows the PSF shape of the optical element 12, which is a wavelength-dependent PSF, when the number of blades N is 1-4.
  • the lens parameters are a lens diameter of 1.0 mm, a focal length of 5.0 mm, and a design wavelength band of 420 to 660 nm.
  • the sensor parameters are a pixel size of 24 ⁇ m, an image size of 128 ⁇ 128 ⁇ 25, and a patch size of 32 ⁇ 32 ⁇ 3.
  • the optical element 12 As shown in Figures 23 and 24, there was no significant difference in the number of wings in any evaluation index, and the accuracy was higher than that of the Fresnel lens PSF. In other words, the optical element 12 showed higher accuracy than the Fresnel lens PSF regardless of the number of blades. Therefore, it can be said that the optical element 12 according to the present embodiment is more suitable than the Fresnel lens type and constitutes an observation matrix advantageous for reconstruction.
  • an optically encoded image is formed on the imaging element 11 by the single optical element 12 .
  • the single optical element 12 can perform effective encoding in spectral image reconstruction. Therefore, the components of the imaging device 10 are only one optical element 12, the imaging device 11, and the signal processing unit 13, and the hyperspectral imaging device can be realized with a simple device.
  • the distance between the optical element 12 and the image pickup device 11 is determined by the focal length of the lens as in a normal image pickup device, so the size of the image pickup device 10 has the same field of view F number. It becomes equivalent to a normal camera, and the size of the device can be reduced compared to the conventional one.
  • the optically encoded image is realized by performing appropriate signal processing in the signal processing unit 13. Image information can be restored with high accuracy.
  • the imaging itself acquisition of the encoded image
  • the imaging apparatus 10 since the imaging itself (acquisition of the encoded image) can be performed in a single shot, there is no sacrifice in the time dimension. It is possible.
  • the optical element 12 responsible for encoding is composed of a fine binary structure. It is thin, light weight, and easy to manufacture.
  • the optical element 12 which has a fine binary structure, has a light transmittance resulting from the shadow effect (a phenomenon in which the diffracted light from the diffractive optical element is reflected and scattered by its own multistage structure) that occurs in a general diffractive optical element. Since there is no degradation or limit on the maximum lens numerical aperture (NA), higher NA lenses (bright lenses with high light utilization efficiency) can be realized.
  • NA numerical aperture
  • the optical element 12 is not limited to the configuration shown in FIGS. 2 and 3, and can take various forms in terms of the number and spacing of the structures 160, structural shapes, and arrangement patterns. Also, the structures 160 may be connected to each other or embedded in a transparent material.
  • optical element 12 is formed on the bottom surface of the transparent substrate 190 in FIGS. 2 and 3, it is not limited to this.
  • 25 to 30 are diagrams schematically showing other examples of part of the cross section of the optical element 12 according to the embodiment.
  • the structure 160 of the optical element 12 may be formed on the upper surface of the transparent substrate 190A.
  • structure 160 is supported by transparent substrate 190A.
  • the transparent layer above the structure 160 may be a protective layer such as air or resin, and the material of the transparent layer may be a single material or a layered structure of multiple materials.
  • the structure 160 of the optical element 12 may be embedded in the transparent substrate 190B.
  • the transparent substrate 190B may be made of a single material, or may be made of a plurality of layers.
  • the structures 160 of the optical element 12 may be formed on both sides of the transparent substrate 190C.
  • the wavelength dependent PSF function described above may be realized with structures 160 on both sides of the transparent substrate 190C.
  • the wavelength-dependent PSF function may be realized by the structure 160 of the transparent substrate 190C, and other optical functions such as filters, splitters, and light shielding layers may be realized on the other side.
  • the transparent layer above the structure 160 may be air or a protective layer such as resin.
  • the structure 160 of the optical element 12 may be formed on the refractive lens 190D.
  • Structure 160 is supported on refractive lens 190D.
  • the refracting lens 190D is useful in improving the light collection performance of the wavelength dependent PSF function (higher NA, etc.).
  • the transparent layer above the structure 160 may be air or a protective layer such as resin.
  • the refractive lens 190D may be made of a single material or may be a layered material of multiple materials.
  • the structure 160 of the optical element 12 may be embedded within the refractive lens 190E.
  • the refractive lens 190E may be made of a single material or may be made of multiple layers.
  • the structure 160 of the optical element 12 may be formed on both surfaces of the refractive lens 190F.
  • the wavelength dependent PSF function described above may be realized with structures 160 on both sides of refractive lens 190F.
  • the wavelength-dependent PSF function may be realized by the structure 160 of the refractive lens 190F, and other optical functions such as filters, splitters, and light shielding layers may be realized on the other side.
  • the transparent layer above the structure 160 may be air or a protective layer such as resin.
  • the refractive lens 190F may be made of a single material, or may be a layered material of multiple materials.
  • a light shielding film pattern or the like may be provided on the same plane or on the back surface.
  • TiO 2 and SiN have been described as examples of the material of the structure 160 .
  • the material of the structure 160 is not limited to them.
  • SiN, SiC, TiO 2 , GaN, or the like may be used as the material of the structure 6 . It is suitable because of its high refractive index and low absorption loss.
  • Si, SiC, SiN, TiO 2 , GaAs, GaN, or the like may be used as the material of the structure 6 .
  • InP or the like can be used as the material of the structure 160 in addition to the materials described above for light in the long-wavelength near-infrared region (communication wavelengths of 1.3 ⁇ m, 1.55 ⁇ m, etc.).
  • polyimide such as fluorinated polyimide, BCB (benzocyclobutene), photocurable resin, UV epoxy resin, acrylic resin such as PMMA, general resists, etc. as a material.
  • the material of the transparent layer 150 is not limited to these. Any material that has a lower refractive index than the material of the structure 160 and a low loss with respect to the wavelength of the incident light may be used, including general glass materials.
  • the transparent layer 150 may be made of the same material as the color filter, or an organic material such as resin, as long as the loss is sufficiently low with respect to the wavelength of light that should reach the corresponding pixel. good.
  • the three primary colors of RGB have been described as examples of the colors corresponding to the pixels. light, etc.).
  • a structure having a square cross-sectional shape is used as the shape of the structure 160 .
  • This shape is an example, and one type of structure (for example, only a square shape) may be used, or two or more types of structures (for example, only a square shape and an X shape) may be used.
  • imaging target 10 imaging device 11
  • imaging element 12 optical element 13 signal processing unit 130
  • pixel 150 transparent layer 160 structure 180 wiring layer 190, 190A to 190C transparent substrate 190D to 190F refracting lens

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)

Abstract

撮像装置（１０）は、各々が光電変換素子を含む複数の画素を覆うための透明層と、透明基板と、透明基板上または透明基板内において透明基板の面方向に配置された複数の構造体と、を有する光学素子（１２）と、光電変換素子を含む複数の画素が配置された撮像素子（１１）と、撮像素子（１１）から得られた電気信号に基づいて画像信号を生成する信号処理部と、を有し、光学素子（１２）は、波長毎に、異なる点拡がり関数を有した状態で光を出力し、各波長の点拡がり関数が畳み込まれている画像を撮像素子（１１）に結像し、複数の構造体は、側面視したときに、同じ高さを有し、信号処理部（１３）は、各波長の点拡がり関数が畳み込まれている画像を再構成する。

Description

撮像装置及び光学素子
　本発明は、撮像装置及び光学素子に関する。
　一般に、撮像装置は、取得可能である光学情報がＲ（赤）、Ｇ（緑）、Ｂ（青）の３色の２次元画像を取得する。これに対し、近年、より詳細な色情報（波長スペクトル）を取得するカメラとしてハイパースペクトルカメラが実用化されており、より多彩な光学情報から新たな価値のある情報を抽出するような取り組みが進められている。一般に、実用化されているハイパースペクトルカメラとして、ラインスキャン型がある。また、圧縮センシング型のハイパースペクトルカメラの研究が進められている。
Gonzalo　R　Arce,　David　J　Brady,　Lawrence　Carin,　Henry　Arguello,　and　David　S　Kittle,　"Compressive　Coded　Aperture　Spectral　Imaging:　An　introduction",　IEEE　Signal　Processing　Magazine,　Vol.　31,　No.　1,　pp.　105-115,　2013. Y.　Sogabe,　et　al.　"ADMM-INSPIRED　RECONSTRUCTION　NETWORK　FOR　COMPRESSIVE　SPECTRAL　IMAGING",　In:　2020　IEEE　International　Conference　on　Image　Processing　(ICIP).　IEEE,　2020.　p.　2865-2869.
　ラインスキャン型のハイパースペクトルカメラは、スリットにより、空間１次元の光のみを入射させ、分光素子（プリズムやグレーティング）により波長分離、２次元のイメージセンサで空間１次元×波長１次元を取得する。ラインスキャン型のハイパースペクトルカメラは、スリットの位置（または撮像対象自体）をスキャンしながら複数回撮影することで、空間２次元×波長１次元の画像を生成する。
　ラインスキャン型の場合、分光素子による波長分離により直接波長情報を取得するため、波長スペクトルの精度がよいという利点がある。一方、ラインスキャン型のハイパースペクトルカメラは、波長分離に必要な長い光路長とスキャン機構により装置が大型となり、複数撮影により時間分解能が低い（動体を撮像できない）という欠点があった。
　圧縮センシング型のハイパースペクトルカメラは、撮像対象に対して、光学的な符号化（光情報の操作・演算）を施し撮像、自然画像がもつスパース性を利用した再構成処理を用いて空間情報と波長情報を復元する。
　圧縮センシング型のハイパースペクトルカメラは、少ない情報量から精度よく元の情報を復元するため、上記の他の方法に比べて、情報量の欠如が少ない（空間や時間次元を犠牲にしない）上に、一般的にシングルショット動作であるという利点がある。一方、圧縮センシング型のハイパースペクトルカメラは、光学的な符号化に大規模かつ複雑な光学系が一般的に必要であるため、作製工数が多く、装置も大型化するという欠点があった。なお、多段リソグラフィが必要な多段回折光学素子を用いて簡略化した光学系で符号化することも可能だが、作製工数が多く、また原理的な制約（シャドー効果など）により、光透過率や光学系の開口数（またはＦ値）に制約がある。
　本発明は、上記に鑑みてなされたものであって、簡易な装置構成のハイパースペクトル撮像装置及び簡易な装置構成のハイパースペクトル撮像装置を実現するための光学素子を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、透明基板と、透明基板上または透明基板内において透明基板の面方向に配置された複数の構造体と、を有する光学素子と、光電変換素子を含む複数の画素が配置された撮像素子と、撮像素子から得られた電気信号に基づいて画像信号を生成する信号処理部と、を有し、光学素子は、波長毎に、異なる点拡がり関数を有した状態で光を出力し、各波長の点拡がり関数が畳み込まれている画像を撮像素子に結像し、複数の構造体は、側面視したときに、同じ高さを有し、信号処理部は、各波長の点拡がり関数が畳み込まれている画像を再構成することを特徴とする。
　また、本発明に係る光学素子は、透明基板と、透明基板上または透明基板内において透明基板の面方向に配置された複数の構造体と、を有する光学素子であって、光学素子は、波長毎に異なる点拡がり関数を有した状態で光を出力し、各波長の点拡がり関数が畳み込まれている画像を撮像素子に結像し、複数の構造体は、側面視したときに、同じ高さを有することを特徴とする。
　本発明によれば、簡易な装置構成のハイパースペクトル撮像装置を実現することができる。
図１は、実施の形態に係る撮像装置の概略構成を示した側面図である。 図２は、図１に示す撮像装置が画像を取得するまでの処理を示す概略図である。 図３は、実施の形態に係る撮像素子及び光学素子の断面の一部を模式的に示す図である。 図４は、信号処理部による画像の再構成処理を説明する図である。 図５は、構造体の概略構成の例を示す図である。 図６は、構造体の概略構成の例を示す図である。 図７は、構造体の構造幅及び各波長における位相遅延量を示す図である。 図８は、構造体の断面形状の例を示す図である。 図９は、フレネルレンズと同等となるように設計した場合の構造体が有する位相分布の例を示す図である。 図１０は、フレネルレンズと同等となるように設計した場合の構造体が有する位相分布の例を示す図である。 図１１は、フレネルレンズと同等となるように設計した場合の構造体が有する位相分布の例を示す図である。 図１２は、点拡がり関数（ＰＳＦ）がプロペラ形状となるように設計した場合の構造体が有する位相分布の例を示す図である。 図１３は、ＰＳＦがプロペラ形状となるように設計した場合の構造体が有する位相分布の例を示す図である。 図１４は、ＰＳＦがプロペラ形状となるように設計した場合の構造体が有する位相分布の例を示す図である。 図１５は、図１２～図１４に示す位相分布からフレネル回折積分によって求めたＰＳＦ形状を示す図である。 図１６は、図１２～図１４に示す位相分布からフレネル回折積分によって求めたＰＳＦ形状を示す図である。 図１７は、図１２～図１４に示す位相分布からフレネル回折積分によって求めたＰＳＦ形状を示す図である。 図１８は、図１２～図１４に示す位相分布からフレネル回折積分によって求めたＰＳＦ形状を示す図である。 図１９は、図１２～図１４に示す位相分布からフレネル回折積分によって求めたＰＳＦ形状を示す図である。 図２０は、シミュレーション結果を示す図である。 図２１は、撮像装置による再構成画像の一例を示す図である。 図２２は、図２１における再構成画像の×点における波長スペクトルを示す図である。 図２３は、光学素子１２のＰＳＦの形状による再構成精度を比較した結果を示す図である。 図２４は、図２３のＰＳＦの各形状の観測画像に基づいてそれぞれ再構成された再構成画像を示す図である。 図２５は、実施の形態に係る光学素子の断面の一部の他の例を模式的に示す図である。 図２６は、実施の形態に係る光学素子の断面の一部の他の例を模式的に示す図である。 図２７は、実施の形態に係る光学素子の断面の一部の他の例を模式的に示す図である。 図２８は、実施の形態に係る光学素子の断面の一部の他の例を模式的に示す図である。 図２９は、実施の形態に係る光学素子の断面の一部の他の例を模式的に示す図である。 図３０は、実施の形態に係る光学素子の断面の一部の他の例を模式的に示す図である。
　以下、本発明を実施するための最良の形態を図面とともに詳細に説明する。なお、以下の説明において、各図は本発明の内容を理解でき得る程度に形状、大きさ、及び位置関係を概略的に示してあるに過ぎず、したがって、本発明は各図で例示された形状、大きさ、及び位置関係のみに限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。なお、以下では、Ａに対し、“＾Ａ”と記載する場合は「“Ａ”の直上に“＾”が記された記号」と同等であるとする。
［実施の形態］
［撮像装置］
　まず、本発明の実施の形態に係る撮像装置について説明する。図１は、実施の形態に係る撮像装置の概略構成を示した側面図である。図２は、図１に示す撮像装置１０が画像を取得するまでの処理を示す概略図である。
　図１に示すように、実施の形態に係る撮像装置１０は、光学素子１２、撮像素子１１及び信号処理部１３を有する。撮像素子１１は、ＣＣＤやＣＭＯＳ等の光電変換素子を有する。信号処理部１３は、撮像素子１１から出力される光電変換信号を処理して画像信号を生成する。
　図１及び図２に示すように、撮像装置１０で、自然光や照明光等の光が撮像対象（実画像）に照射され、撮像対象１により透過／反射／散乱した光、または、撮像対象１から発する光は、光学素子１２により撮像素子１１上に光学像を形成する。
　光学素子１２は、微細なバイナリー構造からなる。言い換えると、光学素子１２は、複数の微細な柱状の構造体１６０を有する。そして、光学素子１２は、波長に応じて結像特性が異なる機能を有することで、光学的な符号化を行う。光学素子１２は、波長に応じて明確に異なる形状のＰＳＦ（Point　spread　function：点拡がり関数）をもつレンズ（波長依存ＰＳＦレンズ）であり、実画像（被写体）に対して、波長毎に異なる畳み込み演算を施した画像を生成する機能を有する。光学素子１２は、波長依存ＰＳＦレンズであり、この光学素子１２で物体を撮像すると、実画像に対して波長毎に異なるＰＳＦで畳み込み演算がなされ、その結果が撮像素子上で結像する。
　撮像素子１１は、波長依存ＰＳＦレンズである光学素子１２により、波長毎に異なる畳み込み演算がなされた観測画像を取得する。信号処理部１３は、圧縮センシングに基づいて、被写体の空間情報とスペクトル情報を観測画像から再構成する処理を行うことにより、スペクトル画像を生成する。
　なお、撮像装置１０は、赤外光カットの光学フィルタ、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は、本発明の理解に特に必要でないため省略する。また、以上の構成はあくまでも一例であり、実施の形態では、光学素子１２、撮像素子１１、信号処理部１３を除く構成要素として、公知の要素を適切に組み合わせて用いることができる。
［レンズ及び撮像素子］
　続いて、実施の形態における光学素子１２及び撮像素子１１の概略を説明する。撮像素子１１は、各々が光電変換素子を含む複数の画素が２次元アレイ状に複数配列される。光学素子１２は、波長毎に異なるＰＳＦを有しており、実画像に対して波長毎に異なるＰＳＦが畳み込まれている画像を撮像素子１１に結像する機能を有する複数の微細な構造体が全面に配列される。
　図３は、実施の形態に係る撮像素子及び光学素子の断面の一部を模式的に示す図である。また、図３以降では、ｘｙｚ座標系が示される。ｘｙ平面方向は、後述する撮像素子１１、透明基板１９０等の面方向に相当する。以下、特に説明がある場合を除き、「平面視」は、ｚ軸方向に（例えばｚ軸負方向に）視ることを指し示す。「側面視」は、ｘ軸方向またはｙ軸方向（例えばｙ軸負方向）に見ることを指し示す。
　図３に示すように、光学素子１２は、撮像素子１１に対向して配置される。撮像素子１１及び光学素子１２　は、ｚ軸正方向にこの順に設けられる。
　撮像素子１１は、配線層１８０と、ｘｙ平面方向に配値された複数の画素１３０とを有する。各画素１３０は、各々が光電変換素子を含んで構成される。光電変換素子の例は、フォトダイオード（ＰＤ：Photo　Diode）である。各画素は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に対応する。赤色の光の波長帯域の例は、波長をλ０とすると、６００ｎｍ＜λ０≦８００ｎｍである。緑色の光の波長帯域の例は、５００ｎｍ＜λ０≦６００ｎｍである。青色の光の波長帯域の例は、λ０≦５００ｎｍ未満である。画素Ｒ、画素Ｇ、画素Ｂは、ベイヤー配列でもよい。または、画素は、モノクロ画像用であってもよい。
　入射した光は、ｚ軸負方向に沿って進み、光学素子１２を介して撮像素子１１に到達する。撮像素子１１の各画素に発生した電荷は、図示しないトランジスタ等によって、画素信号の基礎となる電気信号に変換され、配線層１８０を介して撮像ユニット１００の外部に出力される。図３では、配線層１８０に含まれる配線のいくつかが図示される。
　光学素子１２は、撮像対象からの光が入射する側に配置されている。平面視したとき、光学素子１２は、撮像素子１１を覆うように設けられる。光学素子１２は、透明基板１９０の底面に、例えば周期的に（周期構造を有して）、複数の構造体１６０によって構成される。複数の構造体１６０は、設計を容易にする等のために等間隔配置されてもよいし、不等間隔配置されてもよい。複数の構造体１６０は、複数の画素を覆うために撮像素子１１上に形成された透明層１５０内に形成される。
　透明基板１９０は、例えば、ＳｉＯ２（屈折率ｎ＝１．４５）等の材料からなる低屈折率の透明基板である。透明層１５０は、空気またはＳｉＯ２等の材料からなる低屈折率の透明層である。透明基板１９０及び透明層１５０の材料は単一であってもよいし、複数の材料が層状になったものでもよい。複数の構造体１６０は、側面視したときに、同じ高さを有する。複数の構造体１６０は、透明層１５０の屈折率よりも高い屈折率を有するＳｉＮやＴｉＯ２等の材料から形成された微細構造パターンからなる。
　光学素子１２の例は、メタサーフェスである。メタサーフェスは、平面視したときに光の波長以下の幅を有するとともに、側面視したときに同じ高さを有する複数の微細構造体（構造体１６０に相当）を含んで構成される。複数の構造体１６０は、ｘｙ平面と平行な面で切断した際の各々の断面形状が、４回回転対称形状である。なお、メタサーフェスは、２次元構造を有してもよいし、３次元構造を有してもよい。光学素子１２は、この構造体１６０のパラメータを変えるだけで、光の特性（波長、偏波、入射角）に応じて、位相と光強度を制御することができる。３次元構造の場合、２次元構造よりも設計自由度が向上する。
　光学素子１２は、波長に応じて異なるＰＳＦを有し、これにより撮像対象１からの光の波長に応じて、結像特性（ぼやけ具合）が異なる。撮像対象１からの光は、波長依存ＰＳＦ機能を有する光学素子１２により、撮像素子１１上に結像され、画像（ＲＧＢ画像またはモノクロ画像）として取得される。
　取得画像は、撮像対象（実画像）１に対して光学素子１２の波長依存ＰＳＦによって波長毎に光学的な畳み込み演算がなされ、画素上で波長次元に沿って積分された結果に対応する。光学素子１２及び撮像素子１１は、光学的に符号化及び圧縮された状態の画像を取得する。なお、撮像素子１１がカラーイメージセンサの場合、畳み込み演算の後に、撮像素子１１のＲ，Ｇ，Ｂそれぞれの画素の波長感度に応じた乗算がなされた後に、画素上で波長次元に沿って積分される。
　このように、撮像装置１０では、１枚の光学素子１２（光学素子１２　）で、光学的に符号化された画像を撮像素子１１上に結像する。言い換えると、撮像装置１０では、１枚の光学素子１２（光学素子１２　）によってスペクトル画像再構成において効果的な符号化を行うことができる。このため、撮像装置１０の構成要素は、１枚の光学素子１２と撮像素子１１のみでよく、簡易な装置でハイパースペクトル撮像装置を実現することができる。
　また、撮像装置１０では、光学素子１２と撮像素子１１との間の距離は、通常の撮像装置と同様に、レンズの焦点距離によって決まるため、撮像装置１０のサイズは、同じ視野Ｆナンバーを有する通常のカメラと同等となる。
　そして、光学的に符号化された画像は、観測プロセスが既知の場合（ここでは、光学素子１２のＰＳＦとセンサの波長感度特性）、信号処理部１３において、適切な信号処理を行うことで実画像の情報を復元することができる。
　撮像装置１０は、特に、自然画像がもつスパース性を利用することで、少ない情報量から対象を高精度に再構成（復元）する手法である圧縮センシングを用いて信号処理を行う。撮像装置１０は、光学素子１２が有する波長依存ＰＳＦによって、実画像の各波長成分に対して異なる符号化を行うことが可能なため、信号処理部１３が圧縮センシングに基づく画像の再構成処理を行うことで、スペクトル画像を復元することができる。
［画像の再構成処理］
　信号処理部１３は、光学素子１２の撮像プロセスによって定義される行列と、撮像素子１１に結像された画像、すなわち、各波長のＰＳＦが畳み込まれている画像（観測画像）とを基に、画像を再構成する。図４は、信号処理部１３による画像の再構成処理を説明する図である。
　図４に示すように、再構成処理は、光学系によって定義される観測行列Φと、取得した符号化画像ｇとを入力とする最適化問題（例えば、図４の式（Ａ））を解く処理である。
　式（Ａ）において、右辺の第１項のｆは、本来復元したい画像を示す。観測画像のデータ数が復元したい画像（再構成画像）のデータ数より著しく少ないため、Φｆ－ｇ＝０を満たす解は無数に存在するが、正規化項を第２項として加えることで、復元画像として尤もらしい画像（再構成画像＾ｆ）を求めやすくしている。
　正規化項に関しては、スペクトル画像用に様々なものが提案されており、本実施の形態では、正則化項のいずれについても適用可能である。式（Ａ）の例では、Ｒがprior（先見情報：画像らしさ）に基づく信号の事前確率に対応しており、隣接画素との差分は小さいなどの一般的に画像がもつスパース性を利用する。なお、τはバランシングパラメータである。なお、本実施例では、正規化項として、ＳＳＴＶ（Spatio-Spectral　Total　Variation）（参考文献１）と呼ばれるものを用いており、画像再構成において空間次元および波長次元の隣接画素の差分を最小化するように最適化される。
参考文献１：Aggarwal,　H.　K.,　&　Majumdar,　A.　(2016).　Hyperspectral　image　denoising　using　spatio-spectral　total　variation.　IEEE　Geoscience　and　Remote　Sensing　Letters,　13(3),　442-446.
　最適化問題の解き方も様々な方法が提案されている。本実施の形態では、例えば、ＡＤＭＭ（Alternating　Direction　Method　of　Multipliers）（参考文献２）と呼ばれる手法を用いる。そして、近年、機械学習などを使って正則化項と最適化問題のパラメータを同時最適化し、画像再構成を行う方法が提案されている（非特許文献２参照）。信号処理部１３は、この方法を適用することも可能である。すなわち、信号処理部１３は、ニューラルネットワークで構成されるモデルおよび最適化された再構成アルゴリズムを用いて、スペクトル画像の再構成を行ってもよい。言い換えると、信号処理部１３は、機械学習を用いて、正則化項の形と最適化問題の各種パラメータとを様々なスペクトル画像を使って事前に学習し、学習済み（最適化済み）の正則化項と各種パラメータとを使って、画像再構成する。
参考文献２：S.　Boyd,　N.　Parikh,　E.　Chu,　B.　Peleato,　and　J.　Eckstein,　“Distributed　optimization　and　statistical　learning　via　the　alternating　direction　method　of　multipliers,”　Foundations　andTrends　in　Machine　Learn-　ing,　vol.　3,　no.　1,　pp.　1－122,　2011.
　このように、撮像装置１０では、再構成に効果的な観測行列Φを、簡易で小型な光学系（光学素子１２）で実現することができる。
［構造体］
　構造体１６０を実現するには、本実施の形態では、微細な柱状の構造体１６０の断面形状を設計して任意の空間位相分布を設計することで、入射光の波長毎に、形状が異なるＰＳＦ機能を有する光学素子１２を実現する。
　図５及び図６は、構造体１６０の概略構成の例を示す図である。図５は、平面視したときの形状が正方形形状である構造体１６０の側面図である。図６は、図５に示す構造体１６０の底面図である。
　構造体１６０は、ｚ軸方向に延在する柱状構造体であり、透明基板１９０（例えばＳｉＯ２基板（屈折率１．４５））の底面に形成される。構造体１６０の材料の例は、ＳｉＮ（屈折率ｎ１＝２．０５）である。構造体１６０の側方及び下方は、空気（Ａｉｒ（屈折率ｎ０＝１．０））である。
　それぞれの構造体１６０の配置周期をＰとする。配置周期Ｐは、透過側で回折光が生じないように、式（１）のように設定することが望ましい。
Figure JPOXMLDOC01-appb-M000001
　λｍｉｎは、受光対象の波長帯域における最短波長である。ｎ０は、透過側の透明層の屈折率である。例えば、λｍｉｎを４２０ｎｍとし、ｎ０を１．０とし、Ｐ＝４００ｎｍとした。
　構造体１６０の高さｈ（ｚ軸方向の長さ）は、一定である。高さｈは、構造体１６０が、入射した光、すなわちｚ軸方向に沿って進む光に対して２π以上の光位相遅延量（位相値）を有していることが好ましいため、分離する波長域の最も長波長側の波長域における所望の中心波長をλｒとすると、式（２）のように設定することが望ましい。
Figure JPOXMLDOC01-appb-M000002
　式（２）において、ｎ１は、構造体１６０の屈折率である。構造体１６０がＳｉＮの場合、ｎ１＝２．０５であり、高さｈは、例えば１２５０ｎｍである。また、構造体１６０は、ＴｉＮ（屈折率２．４０）で形成されてもよい。
　構造体１６０の断面形状を設計（寸法設計を含む）することで、各波長の光に対して異なる光位相遅延量を与えることのできる様々な組み合わせが実現可能である。構造体１６０の断面形状を多様化させることで、組み合わせが増加し、設計自由度はさらに向上する。なお、偏光依存性を生じさせないため、複数の構造体１６０は、ｘｙ平面と平行な面で切断した際の各々の断面形状が、４回回転対称形状であることが望ましい。
［位相遅延量］
　次に、構造体１６０の構造幅及び各波長における位相遅延量について説明する。図７は構造体１６０の構造幅及び各波長における位相遅延量の関係を示す図である。
　図７では、柱状の構造体１６０の構造パラメータ（幅）を、高さは一定の状態で、様々な値に設定した場合の、各波長（４２０～６６０ｎｍ）の位相値を示す。この図７に示すように、構造体１６０の断面形状を適切に設計することで、全ての設計波長において、０～２π全ての位相値を実現することができる。
　これにより、本実施の形態では、バイナリー構造の構造体１６０の断面形状を設計するだけで、設計波長に応じて任意の空間位相分布を設計でき、後述するように波長毎に形状の異なるＰＳＦを有する光学素子１２を設計できる。なお、ここでは、４２０～６６０ｎｍの波長のみについて説明したが、他の任意の波長帯域に対しても同様の設計を適用できる。
　なお、構造体１６０の断面形状は、図６に示される形状に限られない。図８は、構造体１６０の断面形状の例を示す図である。図８に例示されるようなさまざまな断面形状を、構造体１６０が有してよい。例示される形状は、例えば正方形形状、十字形状及び円形形状をさまざまに組み合わせることによって得られる４回回転対称形状である。
［レンズの設計例１］
　次に、波長依存ＰＳＦレンズである光学素子１２の設計例について説明する。本実施の形態では、波長毎に異なる形状のＰＳＦを有するレンズ位相分布を設計し、この位相分布を基に柱状の構造体１６０を実現する。
　ここでは、図５及び図６に示すＳｉＮ組成の構造体１６０を用いて位相分布を設計し、波長依存ＰＳＦレンズを実現した。なお、波長毎に異なる形状のＰＳＦをもつレンズは、様々な位相分布から実現できる。
　最も簡単な例として、フレネルレンズと同等の位相分布を基に波長毎に異なるＰＳＦをもつ光学素子１２を設計する場合を説明する。この場合、レンズの位相分布φは、例えば式（３）で表される。
Figure JPOXMLDOC01-appb-M000003
　式（３）において、（ｘ，ｙ）は、レンズ平面上の空間座標である。λdは、設計波長である。ｆは、焦点距離である。ｎは、レンズ透過後の光伝搬空間の屈折率である。Ｃは、任意の定数である。
　図９～図１１は、フレネルレンズと同等となるように設計した場合の構造体１６０が有する位相分布の例を示す図である。図９～図１１は、フレネルレンズと同等の位相分布となるように設計した場合の位相分布の例である。図９は、波長λ＝４５０ｎｍの場合であり、図１０は、波長λ＝５５０ｎｍの場合であり、図１１は、波長λ＝６５０ｎｍの場合である。図９～図１１の例では、レンズ径は１．０ｍｍ、焦点距離は５．０ｍｍ、設計波長は５２０ｎｍのパラメータでレンズ設計を行った。φは、０～２πの範囲に収まるように変換している。例えば、－０．５π及び２．５πは、１．５π及び０．５πにそれぞれに変換している。
　フレネルレンズと同等の位相分布である波長依存ＰＳＦレンズを実現するには、組成構造がもつ設計波長における位相遅延量から、式（２）の位相分布に最も適合する構造（位相エラーが最小となる構造）の構造体１６０を、位置毎に選んで配置すればよい。
　フレネルレンズの位相分布の場合、設計波長の平行光は、焦点距離において１点に集光される。すなわち、ＰＳＦ形状がドット（正確には円レンズの場合ガウス関数、正方形レンズの場合ｓｉｎｃ関数）となる。
　その他の波長の光は、位相パターンに起因する集光位置の波長依存性、及び、組成構造の位相に対する波長分散により、ＰＳＦの大きさが波長に依存して変化する。すなわち、波長に応じて像のぼやけ具合が異なる色収差が生じる。
　本実施の形態では、この色収差を利用して、撮像対象に対して波長毎に異なる畳み込み演算を施した後、画像取得し、画像再構成によってスペクトル画像を生成することが可能である。
［レンズの設計例２］
　次に、波長依存ＰＳＦレンズである光学素子１２の他の設計例について説明する。ここでは、プロペラ形状のPSFをもつ位相分布となるように設計した場合を例に説明する。
　すなわち、ＰＳＦの形状が波長に応じて回転するような位相分布を有する光学素子１２を設計する。この場合、レンズの位相分布φは例えば、式（４）で表される。なお、式（４）のω（θ）は、式（５）で表される。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　式（４）、式（５）において、ｒは、レンズ平面上の原点から距離である。θは、レンズ平面上の原点と座標がなす角度である。ｃは、真空中の光の速度である。ω(θ)は、θの位置での光角周波数である。ωｍｉｎは、設計上最小の光角周波数である。ωｍａｘは、設計上最大の光角周波数である。ｆは、焦点距離である。ｎは、レンズ透過後の光伝搬空間の屈折率である。Ｃは、任意の定数である。Ｎは、羽根の数である。
　図１２～図１４は、構造体１６０が有する位相分布の他の例である。図１２～図１４は、ＰＳＦがプロペラ形状となるように設計した場合の構造体１６０が有する位相分布の例を示す図である。図１２は、波長λ＝４５０ｎｍの場合であり、図１３は、波長λ＝５５０ｎｍの場合であり、図１４は、波長λ＝６５０ｎｍの場合である。図１２～図１４の例では、レンズ径は１．０ｍｍ、焦点距離は５．０ｍｍ、翅の数は３、設計波長は４２０～６６０ｎｍのパラメータでレンズ設計を行った。φは、０～２πの範囲に収まるように変換している。例えば、－０．５π及び２．５πは、１．５π及び０．５πにそれぞれに変換している。
　プロペラ形状のPSFをもつ位相分布となるような波長依存ＰＳＦレンズを実現するには、組成構造がもつ各波長（各角周波数）における位相遅延量から、式の位相分布に最も適合する構造（位相エラーが最小となる構造）の構造体１６０を、位置毎に選んで配置すればよい。
　この場合、後述するように、ＰＳＦ形状はプロペラのような形状となり、その羽根の数は式（５）中のＮに対応する。このＰＳＦ形状は、波長に応じて回転し、その大きさはほとんど変化しない。
　これは、レンズの焦点距離が、波長と回転角θとに依存性を有する位相パターン及び組成構造の位相に対する波長分散に起因する。任意の回転角θでの設計角周波数ω（θ）（設計波長）の光のみ設計焦点距離及び焦点位置に集光し、その他の光は焦点距離が前後に変化する。回転角θに応じて設計角周波数ω（θ）が線形的に変化されるため、プロペラ形状のようなＰＳＦが生成され、ＰＳＦは、角周波数（波長）に依存して回転する。
　したがって、光学素子１２は、撮像対象に対して波長毎に異なる畳み込み演算を施すことが可能であり、画像取得後、撮像装置１０は、画像再構成によってスペクトル画像を生成することが可能である。
　なお、後述するように、フレネルレンズ型に比べて、ＰＳＦの大きさがほぼ一定で、かつ波長依存性が回転という明確な形で生じるプロペラレンズ型の方が再構成において有利であり、より好適である。
　また、式（４）、式（５）は、設計角周波数ωがレンズ位置に応じて変化しているが、角周波数を波長に置き換えても同様の効果が得られる。
　以下、プロペラレンズ型に基づいて設計した光学素子１２の実施例を示すが、フレネルレンズ型といったその他の波長依存ＰＳＦレンズにおいても同様である。
［ＰＳＦ形状例］
　実施の形態における波長依存ＰＦＳレンズのＰＳＦ形状の一例を示す。図１５～図１９は、図１２～図１４に示す位相分布からフレネル回折積分によって求めたＰＳＦ形状を示す図である。図１５は、波長λ＝４５０ｎｍにおけるＰＳＦ形状である。図１６は、波長λ＝５００ｎｍにおけるＰＳＦ形状である。図１７は、波長λ＝５５０ｎｍにおけるＰＳＦ形状である。図１８は、波長λ＝６００ｎｍにおけるＰＳＦ形状である。図１９は、波長λ＝６５０ｎｍにおけるＰＳＦ形状である。
　図１５～図１９に示すように、実施の形態における波長依存ＰＦＳレンズによれば、羽根が３枚のプロペラ形状のＰＳＦになっており、波長に応じて回転することがわかる。図１５～図１９に示すように、波長の変化によらず、ＰＳＦ自体の大きさはほぼ変化しない。
　これらのＰＳＦをもつ光学素子１２で、撮像対象１を撮像すると、対応する波長のＰＳＦで画像を畳み込んだ結果がイメージセンサ上に結像することになる。
［観測画像例］
　続いて、図１５～図１９のＰＳＦを有する光学素子１２で自然画像を撮像したシミュレーション結果について説明する。図２０は、シミュレーション結果を示す図である。
　シミュレーションは、公開されているスペクトル画像（ICVL，Boaz　Arad　and　Ohad　Ben-Shahar.　Sparse　recovery　of　hyperspectral　signal　from　natural　rgb　images,　In　European　Conference　on　Computer　Vision,　pp.　19－34.　Springer,　2016.,　［online］，［令和２年１２月２８日検索］，インターネット＜ＵＲＬ：http://icvl.cs.bgu.ac.il/hyperspectral/＞）（波長４２０ｎｍ～６６０ｎｍ：２５バンド）に対して図１５～図１９のＰＳＦで波長毎に畳み込み演算し、一般的なカラーイメージセンサのＲＧＢ画素の感度を考慮して波長次元に沿って積分することで実施した。なお、図２０は、ＲＧＢカラー画像をモノクロ表示したものであり、左側の画像が入力スペクトル画像（実画像）であり、右側の画像が、撮像素子１１上で取得される画像（観測画像）である。
　これは、図１５～図１９のＰＳＦをもつレンズとカラーイメージセンサとを用いて撮像し、センサから出力されるＲＧＢカラー画像（観測画像）をシミュレートしていることに対応する。なお、Ｂの光の波長域は４２０～５００ｎｍ、Ｇの光の波長域は、５００～６００ｎｍであり、Ｒの光の波長域は、６００～６６０ｎｍとしている。
　図２０に示すように、観測画像は光学素子１２のＰＳＦによる畳み込み演算によりぼやけていることがわかる。なお、観測した情報量は実画像の１２％（２５波長バンドから３色）に圧縮されていることになり、圧縮センシングに基づく画像再構成により、情報を、３色から２５波長バンドに復元する。
［再構成画像］
　次に、撮像装置１０による再構成画像の一例について説明する。図２１は、撮像装置１０による再構成画像の一例を示す図である。図２１では、図２０に示す観測画像から圧縮センシングに基づく再構成処理を用いてスペクトル画像を生成した例について示す。
　ここでは、正則化項としてＳＳＴＶ、最適化問題の解き方としてＡＤＭＭを用いた。また、図２１には、比較のために実画像も示す。なお、図２１に示す再構成画像及び実画像は、２５バンドのスペクトル画像だが、可視化のためＲＧＢ画像で表示したものをモノクロ表示したものである。
　再構成画像に対し、ＰＳＮＲ（Peak　Signal-to-Noise　Ratio）、ＳＳＩＭ（Structural　Similarity）、ＳＡＭ（Spectral　Angle　Mapping）の評価指数で評価を行った。
　ＰＳＮＲは、式（６）及び式（７）に示すように、１画素毎の差を評価する指数であり、大きな値（dB）ほど高画質である。各波長の画像のＰＳＮＲを計算し、波長全体で平均をとることで、スペクトル画像に適用した。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　ＳＳＩＭは、構造的類似性であり、式（８）に示すように、周囲ピクセルとの相関を含めた指標である。ＳＳＩＭが１に近いほど高画質である。各波長の画像のＳＳＩＭを計算し、波長全体で平均をとることで、スペクトル画像に適用した。
Figure JPOXMLDOC01-appb-M000008
　ＳＡＭは、波長スペクトル類似度であり、０に近いほどスペクトルが類似する。各画素のＳＡＭを計算し、画像全体で平均をとることで、スペクトル画像に適用した。
　再構成画像は、ＰＳＮＲが２９．０９ｄＢであり、ＳＳＩＭが０．９１４２であり、ＳＡＭが、０．１８７２であった。したがって、撮像装置１０により、精度よく画像が再構成されていることがわかる。
［再構成した波長スペクトル］
　次に、再構成した波長スペクトルの例について説明する。図２２は、図２１における再構成画像の×点における波長スペクトルを示す図である。図２２には、比較のため、再構成画像（Reconstructed）とともに、実画像（Ground　truth）の×点における波長スペクトルも示す。
　図２２に示すように、再構成画像では、実画像とよく一致するスペクトルが得られており、画像再構成により、高精度な情報の復元が実行可能であることがわかる。なお、再構成精度は、光学素子１２のＰＳＦの形状のほか、正則化項や最適化問題の解き方によって変化する。
［ＰＳＦの形状による再構成精度の比較］
　次に、光学素子１２におけるＰＳＦの形状による再構成精度を比較した結果を示す。図２３は、光学素子１２のＰＳＦの形状ごとに構成精度を比較した結果を示す図である。図２４は、図２３のＰＳＦの各形状の観測画像に基づいてそれぞれ再構成された再構成画像を示す図である。図２４に示す再構成画像、実画像及びフレネルレンズ画像は、ＲＧＢ画像で表示したものをモノクロ表示したものである。
　図２３では、比較のため、フレネルレンズ型のＰＳＦによるものについても示す。また、図２４には、比較のために、実画像と、フレネルレンズ型とによる再構成画像についても示す。フレネルレンズ型による画像については、前記した大きな色収差を利用して再構成を行っている。
　図２３及び図２４では、評価指数として、ＰＳＮＲ、ＳＳＩＭ、ＳＡＭを用いた。図２３及び図２４におけるＮは羽根の数である。図２３では、波長依存ＰＳＦである光学素子１２のＰＳＦ形状であって、羽根の数Ｎが１～４である場合のＰＳＦ形状についても示す。なお、レンズのパラメータは、レンズ径が１．０ｍｍ、焦点距離が５．０ｍｍ、設計波長帯域が４２０～６６０ｎｍである。センサパラメータは、ピクセルサイズが２４μｍ、画像サイズが１２８×１２８×２５、パッチサイズが３２×３２×３である。ＡＤＭＭパラメータは、正則化項の重みがλ＝０．０１５、罰則項の重みがρ　=　０．１、Iteration数が６４である。
　図２３及び図２４に示すように、いずれの評価指数も、翅の数による大きな違いはなく、フレネルレンズＰＳＦよりも高い精度を示した。言い換えると、光学素子１２は、羽根の数によらず、フレネルレンズＰＳＦよりも、高い精度を示した。このため、本実施の形態に係る光学素子１２は、フレネルレンズ型よりもより好適であり、再構成に有利な観測行列を構成するものといえる。
［実施の形態の効果］
　このように、実施の形態に係る撮像装置１０では、１枚の光学素子１２で、光学的に符号化された画像を撮像素子１１上に結像する。言い換えると、撮像装置１０では、１枚の光学素子１２によってスペクトル画像再構成において効果的な符号化を行うことができる。このため、撮像装置１０の構成要素は、１枚の光学素子１２と撮像素子１１と信号処理部１３のみでよく、簡易な装置でハイパースペクトル撮像装置を実現することができる。
　また、撮像装置１０では、光学素子１２と撮像素子１１との間の距離は、通常の撮像装置と同様に、レンズの焦点距離によって決まるため、撮像装置１０のサイズは、同じ視野Ｆナンバーを有する通常のカメラと同等となり、従来と比して、装置の小型化が可能である。
　また、光学的に符号化された画像は、観測プロセスが既知の場合（ここでは、光学素子１２のＰＳＦとセンサの波長感度特性）、信号処理部１３において、適切な信号処理を行うことで実画像の情報を高精度に復元することができる。
　また、撮像装置１０では、撮像自体（符号化された画像の取得）は、シングルショットでよいため、時間次元の犠牲がなく、再構成の処理時間を除くと、通常カメラと同等の時間分解能が可能である。
　また、撮像装置１０では、符号化を担う光学素子１２は、微細なバイナリー構造から構成されるため、多段リソグラフィが必要な一般的な回折光学素子に比べ、作製工数の削減が可能であり、厚さも薄く、重さも軽く、作製が容易である。
　また、微細なバイナリー構造からなる光学素子１２は、一般的な回折光学素子で生じるシャドー効果（回折光学素子による回折光が自身の多段構造によって反射・散乱してしまう現象）に起因する光透過率低下や最大レンズ開口数（ＮＡ）の制限がないため、より高いＮＡのレンズ（光利用効率が高い明るいレンズ）を実現できる。
　なお、本実施の形態では、撮像素子１１がカラーイメージセンサの場合に基づく実施例を示したが、モノクロイメージセンサの場合においても、符号化された画像取得の際に３ｃｈ（ＲＧＢ：カラー）が１ｃｂ（モノクロ）となる以外は、同様である。
［レンズ構造例］
　光学素子１２は、図２及び図3に示す構成に制限されることはなく、構造体１６０の数や間隔、構造形状、配列パターンにおいて様々な形態をとり得る。また、構造体１６０は、それぞれが接続されていてもよく、また透明材料内に埋め込まれた形態でもよい。
　図２及び図３では、光学素子１２が透明基板１９０の底面に形成されているがこれに限らない。図２５～図３０は、実施の形態に係る光学素子１２の断面の一部の他の例を模式的に示す図である。
　図２５に示すように、光学素子１２の構造体１６０は、透明基板１９０Ａの上面に形成されてもよい。この場合、構造体１６０は、透明基板１９０Ａに支持されている。構造体１６０の上方の透明層は、空気でも樹脂などの保護層でもよく、透明層の材料は単一でよいし、複数の材料が層状になったものでもよい。
　また、図２６に示すように、光学素子１２の構造体１６０は、透明基板１９０Ｂ内に埋め込まれていてもよい。透明基板１９０Ｂの材料は単一でもよいし、複数の材料が層状になったものでもよい。
　また、図２７に示すように、光学素子１２の構造体１６０は、透明基板１９０Ｃの両面に形成されていてもよい。上述した波長依存ＰＳＦ機能を、透明基板１９０Ｃの両面の構造体１６０で実現してもよい。また、波長依存ＰＳＦ機能を、透明基板１９０Ｃの構造体１６０で実現してもよく、もう片面でフィルタやスプリッタ、遮光層などその他の光学機能を実現してもよい。構造体１６０上方の透明層は空気でも樹脂などの保護層でもよく、透明層の材料は単一でよいし、複数の材料が層状になったものでもよい。
　また、図２８に示すように、光学素子１２の構造体１６０は、屈折レンズ１９０Ｄ上に形成されていてもよい。構造体１６０は、屈折レンズ１９０Ｄ上に支持されている。屈折レンズ１９０Ｄは、波長依存ＰＳＦ機能の集光性能向上（高いＮＡ化など）において有益である。なお、以降で説明する屈折レンズ１９０Ｅ，１９０Ｆでも同様である。構造体１６０上方の透明層は、空気でも樹脂などの保護層でもよい。屈折レンズ１９０Ｄの材料は単一でもよい、複数の材料が層状になったものでもよい。
　また、図２９に示すように、光学素子１２の構造体１６０は、屈折レンズ１９０Ｅ内に埋め込まれていてもよい。屈折レンズ１９０Ｅの材料は、単一でもよいし、複数の材料が層状になったものでもよい。
　また、図３０に示すように、光学素子１２の構造体１６０は、屈折レンズ１９０Ｆの両面に形成されていてもよい。上述した波長依存ＰＳＦ機能を、屈折レンズ１９０Ｆの両面の構造体１６０で実現してもよい。また、波長依存ＰＳＦ機能を、屈折レンズ１９０Ｆの構造体１６０で実現してもよく、もう片面でフィルタやスプリッタ、遮光層などその他の光学機能を実現してもよい。構造体１６０上方の透明層は空気でも樹脂などの保護層でもよい。屈折レンズ１９０Ｆの材料は単一でもよいし、複数の材料が層状になったものでもよい。
　また、図２５～図３０では省略しているが、遮光膜パターンなどを同一平面上または裏面に施してもよい。
　なお、実施の形態では、構造体１６０の材料として、ＴｉＯ２及びＳｉＮを例に挙げて説明した。ただし、構造体１６０の材料はそれらに限定されない。例えば、波長が３８０ｎｍ～１０００ｎｍの光（可視光～近赤外光）の光に対しては、ＳｉＮの他に、ＳｉＣ、ＴｉＯ２、ＧａＮ等が構造体６の材料として用いられてよい。屈折率が高く、吸収損失が少ないため適している。波長が８００～１０００ｎｍの光（近赤外光）で用いる場合は、Ｓｉ、ＳｉＣ、ＳｉＮ、ＴｉＯ２、ＧａＡｓ、ＧａＮ等が構造体６の材料として用いられてよい。低損失であるため適している。長波長帯の近赤外領域（通信波長である１．３μｍや１．５５μｍ等）の光に対しては、上述の材料に加えて、ＩｎＰ等を構造体１６０の材料として用いることができる。
　また、構造体１６０が、貼り付け、塗布等によって形成される場合、フッ素化ポリイミド等のポリイミド、ＢＣＢ（ベンゾシクロブテン）、光硬化性樹脂、ＵＶエポキシ樹脂、ＰＭＭＡ等のアクリル樹脂、レジスト全般などのポリマー等が材料として挙げられる。
　また、実施の形態では、透明層１５０の材料としてＳｉＯ２及び空気層を想定した例を示したが、これらに限定されない。一般的なガラス材料等も含め、構造体１６０の材料の屈折率より低い屈折率を有し、入射光の波長に対して低損失なものであればよい。透明層１５０は、対応する画素に到達すべき光の波長に対して十分に低損失であればよいため、カラーフィルタと同様の材質であってもよく、例えば樹脂などの有機材料であってもよい。
　また、実施の形態では、画素の対応する色として、ＲＧＢの３原色を例に挙げて説明したが、画素は、近赤外光及び３原色以外の波長の光（例えば、赤外光、紫外光等）にも対応してよい。
　また、実施の形態では、構造体１６０の形状として、正方形形状の断面形状を有する構造体が用いられる例について説明した。この形状は一例であり、１種類の構造体（例えば正方形形状のみ）が用いられてもよいし、２種類以上の構造体（例えば正方形形状と×字形状のみ）が用いられてもよい。
　以上、本発明を具体的な実施の形態に基づいて説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
　１　撮像対象
　１０　撮像装置
　１１　撮像素子
　１２　光学素子
　１３　信号処理部
　１３０　画素
　１５０　透明層
　１６０　構造体
　１８０　配線層
　１９０，１９０Ａ～１９０Ｃ　透明基板
　１９０Ｄ～１９０Ｆ　屈折レンズ

Claims (6)

  1. 　透明基板と、前記透明基板上または前記透明基板内において前記透明基板の面方向に配置された複数の構造体と、を有する光学素子と、
    　光電変換素子を含む複数の画素が配置された撮像素子と、
    　前記撮像素子から得られた電気信号に基づいて画像信号を生成する信号処理部と、
    　を有し、
    　前記光学素子は、波長毎に、異なる点拡がり関数を有した状態で光を出力することで、各波長の点拡がり関数が畳み込まれている画像を前記撮像素子に結像し、
    　前記複数の構造体は、側面視したときに、同じ高さを有し、
    　前記信号処理部は、各波長の点拡がり関数が畳み込まれている画像を再構成する
    　ことを特徴とする撮像装置。
  2. 　前記信号処理部は、前記光学素子の撮像プロセスによって定義される行列と、各波長の点拡がり関数が畳み込まれている画像と、を基に、画像を再構成することを特徴とする請求項１に記載の撮像装置。
  3. 　前記信号処理部は、ニューラルネットワークで構成されるモデルを用いて、前記光学素子の撮像プロセスによって定義される行列と、各波長の点拡がり関数が畳み込まれている画像とを入力とする最適化問題を解くことを特徴とする請求項２に記載の撮像装置。
  4. 　前記複数の構造体の各々は、前記透明層の屈折率よりも高い屈折率を有し、入射した光に対して断面形状に応じた光位相遅延量を与える柱状構造体であり、
    　前記複数の構造体は、前記画素に対する前記各波長の点拡がり関数が畳み込まれている画像の結像を実現するための光位相量遅延分布に従って断面形状が設定され、前記画素に対する前記各波長の点拡がり関数が畳み込まれている画像の結像を実現するための光位相量遅延分布に従って配置されることを特徴とする請求項１～３のいずれか一つに記載の撮像装置。
  5. 　前記複数の構造体の各々の断面形状は、４回回転対称形状であることを特徴とする、
    　請求項１～４のいずれか一つに記載の撮像装置。
  6. 　透明基板と、前記透明基板上または前記透明基板内において前記透明基板の面方向に配置された複数の構造体と、を有する光学素子であって、
    　前記光学素子は、波長毎に異なる点拡がり関数を有した状態で光を出力し、各波長の点拡がり関数が畳み込まれている画像を撮像素子に結像し、
    　前記複数の構造体は、側面視したときに、同じ高さを有することを特徴とする光学素子。
PCT/JP2021/002910 2021-01-27 2021-01-27 撮像装置及び光学素子 WO2022162801A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
PCT/JP2021/002910 WO2022162801A1 (ja) 2021-01-27 2021-01-27 撮像装置及び光学素子
KR1020237025556A KR20230127278A (ko) 2021-01-27 2021-01-27 촬상 장치 및 광학소자
EP21922822.8A EP4270942A1 (en) 2021-01-27 2021-01-27 Imaging device and optical element
CN202180091998.9A CN116848847A (zh) 2021-01-27 2021-01-27 摄像装置和光学元件
JP2022577891A JPWO2022162801A1 (ja) 2021-01-27 2021-01-27
US18/273,228 US20240121488A1 (en) 2021-01-27 2021-01-27 Imaging device and optical element

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/002910 WO2022162801A1 (ja) 2021-01-27 2021-01-27 撮像装置及び光学素子

Publications (1)

Publication Number Publication Date
WO2022162801A1 true WO2022162801A1 (ja) 2022-08-04

Family

ID=82653159

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002910 WO2022162801A1 (ja) 2021-01-27 2021-01-27 撮像装置及び光学素子

Country Status (6)

Country Link
US (1) US20240121488A1 (ja)
EP (1) EP4270942A1 (ja)
JP (1) JPWO2022162801A1 (ja)
KR (1) KR20230127278A (ja)
CN (1) CN116848847A (ja)
WO (1) WO2022162801A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
JP2018511253A (ja) * 2015-03-24 2018-04-19 ザ ユニバーシティ オブ ユタ リサーチ ファウンデイション 分散して空間的符号化画像を作成する画像を伴う撮像素子
JP2018107794A (ja) * 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置
JP2018170757A (ja) * 2017-03-29 2018-11-01 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置
WO2020066738A1 (ja) * 2018-09-26 2020-04-02 日本電信電話株式会社 偏光イメージング撮像システム
JP2020123964A (ja) * 2018-04-17 2020-08-13 日本電信電話株式会社 カラー撮像素子および撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
JP2018511253A (ja) * 2015-03-24 2018-04-19 ザ ユニバーシティ オブ ユタ リサーチ ファウンデイション 分散して空間的符号化画像を作成する画像を伴う撮像素子
JP2018107794A (ja) * 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置
JP2018170757A (ja) * 2017-03-29 2018-11-01 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置
JP2020123964A (ja) * 2018-04-17 2020-08-13 日本電信電話株式会社 カラー撮像素子および撮像装置
WO2020066738A1 (ja) * 2018-09-26 2020-04-02 日本電信電話株式会社 偏光イメージング撮像システム

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
AGGARWAL, H. KMAJUMDAR, A: "Hyperspectral Image Denoising Using Spatio-Spectral Total Variation", IEEE GEOSCIENCE AND REMOTE SENSING LETTERS, vol. 13, no. 3, 2016, pages 442 - 446, XP011608902, DOI: 10.1109/LGRS.2016.2518218
BOAZ ARADOHAD BEN-SHAHAR: "European Conference on Computer Vision", 28 December 2020, SPRINGER, article "Sparse Recovery of Hyperspectral Signal from Natural RGB Images", pages: 19 - 34
GONZALO R. ARCEDAVID J. BRADYLAWRENCE CARINHENRY ARGUELLODAVID S. KITTLE: "Compressive Coded Aperture Spectral Imaging: An introduction", IEEE SIGNAL PROCESSING MAGAZINE, vol. 31, no. 1, 2013, pages 105 - 115, XP011533109, DOI: 10.1109/MSP.2013.2278763
S. BOYDN. PARIKHE. CHUB. PELEATOJ. ECKSTEIN: "Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers", FOUNDATIONS AND TRENDS IN MACHINE LEARNING, vol. 3, no. 1, 2011, pages 1 - 122, XP055127725, DOI: 10.1561/2200000016
Y. SOGABE ET AL.: "ADMM-INSPIRED RECONSTRUCTION NETWORK FOR COMPRESSIVE SPECTRAL IMAGING", 2020 IEEE INTERNATIONAL, 2020, pages 2865 - 2869, XP033869549, DOI: 10.1109/ICIP40778.2020.9190998

Also Published As

Publication number Publication date
JPWO2022162801A1 (ja) 2022-08-04
CN116848847A (zh) 2023-10-03
EP4270942A1 (en) 2023-11-01
KR20230127278A (ko) 2023-08-31
US20240121488A1 (en) 2024-04-11

Similar Documents

Publication Publication Date Title
Shi et al. Hscnn+: Advanced cnn-based hyperspectral recovery from rgb images
JP7328232B2 (ja) フルカラー撮像のためのメタ表面およびシステムならびに撮像の方法
US9442228B2 (en) Phase gratings with odd symmetry for lensed optical sensing
Xiong et al. Snapshot hyperspectral light field imaging
US11300449B2 (en) Imaging device with image dispersing to create a spatially coded image
CA2594105C (en) A system for multi- and hyperspectral imaging
KR102269229B1 (ko) 렌즈리스 초분광 영상 이미징 방법 및 그 장치
Peng et al. Residual pixel attention network for spectral reconstruction from RGB images
CN111386549A (zh) 一种混合型高光谱图像重构的方法及系统
KR20220113513A (ko) 이미지 센서, 스펙트럼 분할 및 필터링 디바이스 및 이미지 센서 제조 방법
WO2022162801A1 (ja) 撮像装置及び光学素子
CN114927536B (zh) 多光谱成像芯片、组件、制备方法及移动终端
Shaik et al. Longwave infrared multispectral image sensor system using aluminum-germanium plasmonic filter arrays
CN107884070B (zh) 一种衍射光谱光场计算成像系统
WO2022162800A1 (ja) 撮像装置及び光学素子
US20200404248A1 (en) System and method for compressed sensing light field camera
KR101986998B1 (ko) 하이퍼스펙트럼 이미지 장치
FI20186038A1 (en) Equipment that enables the use of a photographic digital camera for multi- and / or hyperspectral imaging
Wang et al. Computational snapshot angular-spectral lensless imaging
Wei et al. Compact hyperspectral imaging of extreme-depth-of-field diffractive lenses based on spatial–spectral sparse deep learning
US20220404531A1 (en) Method and system for fabrication and use of a spectral basis filter
Jacome et al. Compressive Spectral Imaging Fusion Implementation Based on an End-to-End Optimization Design
Su et al. Data-driven Prior for Pharmaceutical Snapshot Spectral Imaging
Xu et al. Wavelength encoding spectral imaging based on the combination of deeply learned filters and an RGB camera
Qinghan et al. Reconstruction of lensless images using multi-scale attention block

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21922822

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022577891

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18273228

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20237025556

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180091998.9

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2021922822

Country of ref document: EP

Effective date: 20230727

NENP Non-entry into the national phase

Ref country code: DE