WO2013015117A1 - 固体撮像素子および撮像システム - Google Patents

固体撮像素子および撮像システム Download PDF

Info

Publication number
WO2013015117A1
WO2013015117A1 PCT/JP2012/067717 JP2012067717W WO2013015117A1 WO 2013015117 A1 WO2013015117 A1 WO 2013015117A1 JP 2012067717 W JP2012067717 W JP 2012067717W WO 2013015117 A1 WO2013015117 A1 WO 2013015117A1
Authority
WO
WIPO (PCT)
Prior art keywords
filter
solid
imaging device
state imaging
pixel
Prior art date
Application number
PCT/JP2012/067717
Other languages
English (en)
French (fr)
Inventor
創造 横川
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to RU2014101709/28A priority Critical patent/RU2014101709A/ru
Priority to BR112014001426A priority patent/BR112014001426A2/pt
Priority to CN201280036132.9A priority patent/CN103733340B/zh
Priority to KR1020197029347A priority patent/KR102153846B1/ko
Priority to US14/233,220 priority patent/US9960198B2/en
Priority to EP12817111.3A priority patent/EP2738810B1/en
Priority to KR1020147000593A priority patent/KR102031384B1/ko
Publication of WO2013015117A1 publication Critical patent/WO2013015117A1/ja
Priority to IN482CHN2014 priority patent/IN2014CN00482A/en
Priority to US15/823,842 priority patent/US10103189B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0256—Compact construction
    • G01J3/0259—Monolithic
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/18—Generating the spectrum; Monochromators using diffraction elements, e.g. grating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/008—Surface plasmon devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14629—Reflectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1213—Filters in general, e.g. dichroic, band
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2806—Array and filter array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2816—Semiconductor laminate layer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/282—Modified CCD or like
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging

Definitions

  • the present technology relates to a solid-state imaging device and an imaging system having a metal thin film filter having a periodic fine pattern shorter than a wavelength to be detected.
  • Spectral sensors are used for non-invasive inspection applications in various fields such as medical treatment, beauty, and health.
  • a typical spectroscopic sensor irradiates a subject with electromagnetic light such as a visible light source or an infrared light source, a laser or LED that emits light with a narrow band wavelength, and diffracts the light component shifted by reflected light or Raman scattering through a slit. Transmit and reflect on the grating. Thereby, the spectroscopic sensor converts the signal intensity distribution in the wavelength direction into a spatial signal intensity distribution.
  • the incident spectrum can be restored by detecting the electromagnetic wave intensity of each wavelength component spatially separated by a one-dimensional linear sensor or a two-dimensional sensor.
  • Examples of the solid-state imaging device used as the detector include a CCD (Charge Coupled Device) type and a CMOS (Complementary Metal Oxide Semiconductor) type solid-state imaging device.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • These image sensors are basically equivalent to image sensors used for general digital still cameras, camcorders, and mobile information terminals such as smartphones.
  • the number of pixels is increased to more than 10 million.
  • each pixel of the image sensor accumulates signal charge according to the light intensity from the subject, and according to the accumulated charge amount An electrical signal is sampled and imaged as analog or digital data.
  • the solid-state image sensor has sensitivity in a specific electromagnetic wave wavelength band.
  • many CCD and CMOS type solid-state imaging devices used in the visible light / near infrared band are manufactured based on silicon. Silicon is sensitive only to wavelengths shorter than near infrared ( ⁇ 1.1 ⁇ m) than its band gap.
  • energy resolution wavelength resolution
  • a spectroscopic sensor generally uses a diffraction grating in order to make it possible to detect light intensity information for each color and wavelength.
  • each pixel of a two-dimensional pixel array is equipped with several types of on-chip color filters that selectively transmit specific wavelength components, and obtains light intensity information of a plurality of wavelengths from a small number of adjacent pixels, and interpolates by demosaicing. In many cases, a color image is restored by processing.
  • diffraction grating and slit structure in the method of arranging a plurality of types of filters on these two-dimensional pixel planes, it is not necessary to throw away light at the slit. There are challenges.
  • a hole array structure in which openings having the same or finer wavelength as the detection wavelength are periodically arranged in a conductive thin film, or an island array structure having a negative-positive relationship with the structure is known as a plasmon resonator structure.
  • this plasmon resonator structure functions as a filter whose transmission wavelength can be adjusted by a physical structure by optimizing the period and the aperture / dot shape (see Non-Patent Documents 1 and 2).
  • JP 2008-177191 A WO2008 / 082569 A1 JP 2010-165718 A
  • the plasmon resonator structure is a structure in which a spectral function is generated by a structure repeatedly provided with a periodic structure with specific intervals such as ⁇ / 2 and ⁇ / 4 of electromagnetic wave wavelengths. For this reason, it is unsuitable for application to a miniaturized pixel of the same order as the wavelength, and is currently applied only to a solid-state imaging device whose pixel size is several times larger than the electromagnetic wave wavelength. Furthermore, since a considerable type of filter is required to obtain an intensity profile of an optical signal with high wavelength resolution, there remains a problem that the spatial resolution is further greatly reduced. In addition, each of the above documents does not describe a specific means for restoring the input spectrum from the pixel output value of the solid-state image sensor.
  • the applicant has proposed a method for realizing a spectral function at low cost by mounting a metal thin film filter on a part of a pixel region of a solid-state imaging device.
  • this method has a problem in that the number of filters that can be arranged is reduced because the pixel area in which the filter can be mounted is limited. As a result, the filter is inferior to the case where the filter is mounted in the entire area of the solid-state imaging device in terms of wavelength resolution and SN of the signal to be detected.
  • one type of plasmon resonance filter is not a narrow-band filter and exhibits complex transmission characteristics for each wavelength. Therefore, some signal restoration processing is required to estimate the input spectrum from the transmitted light intensity of these filters.
  • each of the above-mentioned patent documents does not disclose a technique related to the waveform signal processing.
  • This technology provides a solid-state imaging device and imaging system that can realize a spectral and imaging device for visible and near infrared rays with high sensitivity and high wavelength resolution, and enables two-dimensional spectral mapping with high spatial resolution. There is to do.
  • a solid-state imaging device is arranged to detect a two-dimensional pixel array in which pixels including photoelectric conversion elements are arranged in an array and to face a pixel region of the two-dimensional pixel array.
  • a plurality of types of filters having a spectral function having a periodic fine pattern shorter than the power wavelength, and each of the filters is larger than the photoelectric conversion element of each pixel of the two-dimensional pixel array and adjacent to each other.
  • One unit in which one type of filter is arranged for a plurality of photoelectric conversion element groups is formed, and the plurality of types of filters are arranged for adjacent unit groups to form a filter bank.
  • N and M are integers of 1 or more).
  • An imaging system includes a solid-state imaging device and an optical system that forms an image of a subject on a two-dimensional pixel array unit of the solid-state imaging device, and the solid-state imaging device includes photoelectric conversion.
  • a spectroscopic function having a two-dimensional pixel array in which pixels including elements are arranged in an array and a periodic fine pattern shorter than the wavelength to be detected, arranged to face the pixel region of the two-dimensional pixel array.
  • each filter is larger than the photoelectric conversion element of each pixel of the two-dimensional pixel array, and one type of filter is arranged for a plurality of adjacent photoelectric conversion element groups.
  • the plurality of types of filters are arranged with respect to adjacent unit groups to form a filter bank, and the filter bank is formed in the pixel region of the two-dimensional pixel array.
  • NxM units (where, N, M is an integer of 1 or more) are arranged.
  • a visible / near-infrared spectroscopic / imaging device having high sensitivity and high wavelength resolution can be realized, and two-dimensional spectral mapping with high spatial resolution is possible.
  • CMOS type solid-state image sensor which concerns on this embodiment. It is a figure for demonstrating the positional relationship of the solid-state image sensor concerning this embodiment, and this metal thin film filter. It is a figure which shows the structural example of the metal thin film filter which concerns on this embodiment. It is a figure which shows the plasmon resonance body structure of the island structure which carried out negative-positive inversion with the hole array structure. It is a figure which shows the 1st structural example which has arrange
  • BSI back irradiation type
  • FIG. 1 is a block diagram illustrating a configuration example of a CMOS solid-state imaging device according to the present embodiment.
  • CMOS solid-state imaging device a back-illuminated CMOS solid-state imaging device
  • an existing surface-illuminated CMOS solid-state image pickup device or a CCD solid-state image pickup device can be used.
  • the present invention can also be applied to a conductor type imaging device.
  • the solid-state imaging device 100 includes a pixel array unit 110 as a two-dimensional image pixel array, a vertical scanning circuit 120, a horizontal transfer scanning circuit 130, and a column ADC which is an ADC (analog-digital converter) group.
  • a circuit 140 is included.
  • the solid-state imaging device 100 includes a PLL circuit 150, a DAC (digital-analog converter) 160 that generates a reference signal RAMP, and a sense amplifier circuit (S / A) 170.
  • a plurality of pixels 110A including photodiodes (photoelectric conversion elements) and in-pixel amplifiers are arranged in a two-dimensional form (matrix form) of m rows and n columns.
  • Each pixel 110 ⁇ / b> A is composed of a photodiode that performs a photoelectric conversion function and a pixel readout circuit that is composed of several transistors for reading out accumulated signals.
  • FIG. 1 shows an example of a pixel of a CMOS image sensor composed of four transistors according to this embodiment.
  • the charge accumulated in the photodiode 111 is transferred to an FD (Floating Diffusion) 113 via the transfer transistor 112.
  • the FD 113 is connected to the gate of the amplification transistor 114.
  • a pixel from which a signal is to be read can be selected by turning on the selection transistor 115.
  • the signal of the selected pixel is read out to the signal line 117 as a signal corresponding to the accumulated charge amount by driving the amplification transistor 114 as a source follower.
  • the pixel signal can be reset by turning on the reset transistor 116.
  • the signal level read from each pixel is extracted by the CDS operation and output to the outside of the device through the column ADC circuit 140 and the sense amplifier circuit 170.
  • the column ADC circuit 140 includes a plurality of columns of column processing units (ADC) 141 that are ADC blocks. That is, the column ADC circuit 140 has a k-bit digital signal conversion function, and is arranged for each vertical signal line (column line) 117 for each column processing unit 141 to constitute a column parallel ADC block.
  • Each column processing unit 141 compares the reference signal RAMP, which is a ramp waveform obtained by changing the reference signal generated by the DAC 160 in a stepped manner, with the analog signal VSL obtained from the pixel via the vertical signal line for each row line.
  • a comparator (comparator) 141-1 is a counter latch (counter) 141-2 that counts the comparison time and holds the count result.
  • the output of each counter 141-2 is connected to a horizontal transfer line LTRF having a k-bit width, for example.
  • a sense amplifier circuit 170 corresponding to the horizontal transfer line LTRF is arranged.
  • the analog signal potential VSL read out to the vertical signal line 117 is compared with the reference signal RAMP by the comparator 141-1 arranged for each column (each column). At this time, the counter 141-2 arranged for each column operates as in the comparator 141-1.
  • Each column processing unit 141 converts the potential (analog signal) VSL of the vertical signal line 117 into a digital signal by changing the reference value RAMP having a ramp waveform and the counter value in a one-to-one correspondence.
  • the column processing unit (ADC) 141 converts a change in the voltage of the reference signal RAMP (potential Vslop) into a change in time, and converts the time into a digital value by counting the time with a certain period (clock).
  • the data held in the counter 141-2 is transferred by the horizontal transfer scanning circuit 130 to the horizontal transfer line LTRF, output to the external signal processing circuit via the sense amplifier circuit 170, and predetermined. A two-dimensional image is generated by this signal processing.
  • the intensity information of each color component at each pixel position is obtained from the intensity information of adjacent different color pixels. Restored by interpolation such as demosaic processing and convolution processing. In addition, processing such as white balance, gamma correction, contour enhancement, and image compression is performed, and an image preferable for the observer or faithful to the subject is restored.
  • FIG. 2 is a diagram for explaining the positional relationship between the solid-state imaging device and the metal thin film filter according to the present embodiment.
  • the pixel array unit 110 in FIG. 1 is shown as a two-dimensional pixel group 201.
  • the two-dimensional pixel group 201 is formed by, for example, several thousand pixels PXL in both vertical and horizontal directions, and forms a huge two-dimensional pixel group having about one million pixels even with a small number of devices, and several tens of millions of pixels.
  • the metal thin film filter group (filter bank) 202 of the present embodiment is disposed so as to face the light incident surface of the two-dimensional pixel group (pixel array unit) 201.
  • each filter MFL corresponds to one square of the filter bank 202.
  • One type of each filter 202FL is mounted on the pixel region of U pixels in the horizontal (X-axis) direction and V pixels in the vertical (Y-axis) direction with respect to the light detection pixel PXL. That is, one type of filter MFL is mounted on adjacent U * V pixels.
  • the filter MFL constitutes one unit (filter bank) 202 with K types in the horizontal (X-axis) direction and L types in the vertical (Y-axis) direction.
  • the metal thin film filter that is the spectral function block of the filter bank 202 or the filter bank group is sandwiched between interlayer insulating films, and the insulating film may have a plurality of types of refractive indexes.
  • control of the refractive index of SiO 2 for example when forming the SiO 2 film by a plasma CVD method, can be adjusted in the refractive index by controlling the flow rate of CF 4 gas.
  • FIGS. 3A to 3D are views showing a structural example of the metal thin film filter according to the present embodiment.
  • the metal film filter is denoted by reference numeral 300.
  • 3A shows a honeycomb arrangement 301
  • FIG. 3B shows an orthogonal matrix arrangement 302
  • FIG. 3C shows an arrangement 303 in which through openings and non-through openings are mixed
  • FIG. ) Shows a cross section taken along line AA ′ in FIG. 3A and includes an array 304 including a non-through hole having a concave structure.
  • the metal thin film filter 300 generates a surface plasmon polariton in which free electrons and light are coupled at a specific electromagnetic wave wavelength due to its fine structure pattern.
  • the metal thin film filter 300 is a sub-wavelength structure obtained by finely processing a thin film made of a conductive material (specifically, silver, aluminum, gold or the like is suitable) having a plasma frequency in the ultraviolet wavelength band.
  • the metal thin film filter 300 has a resonance wavelength determined by the physical properties of the conductor, the pattern period, the aperture diameter, the dot size, the film thickness, and the physical properties of the medium surrounding the structure.
  • the basic structure is a hole array structure, and openings (holes) H1 having a diameter smaller than the detection wavelength are arranged in a two-dimensional array.
  • the hole arrangement is preferably arranged in the honeycomb arrangement 301 as shown in FIG. 3A or the orthogonal matrix arrangement 302 as shown in FIG. 3B, but other arrangements have periodicity. Any structure is acceptable.
  • the hole interval, hole size, and film thickness are key parameters of transmission characteristics.
  • the hole opening portion is indicated by 305 and the conductor portion is indicated by 306.
  • the opening diameter of the hole opening 305 is smaller than the wavelength to be transmitted, and a diameter of about 100 [nm] is preferable. Since there is a degree of freedom in design, it may be in the range of approximately 50 [nm] -200 [nm].
  • the thickness of the conductor thin film 306 is preferably about 100 [nm], but may be in the range of about 10 [nm] -200 [nm]. Further, the transmission wavelength can be changed by adjusting the distances 307 and 308 between adjacent holes, but a range of about half wavelength to one wavelength of the effective electromagnetic wave wavelength in the medium is preferable. Specifically, a hole interval of about 150 [nm] -1000 [nm] is preferable.
  • FIGS. 3C and 3D show an example in which the through openings 305 and the non-through openings 309 are periodically arranged.
  • the shape of the hole opening is preferably circular in terms of processing, but may be an elliptical shape, a polygonal shape, a star shape, a cross shape, a ring shape, a bowl shape, or the like.
  • FIGS. 4A and 4B are diagrams showing a plasmon resonator structure having an island structure in which the hole array structure and the negative / positive inversion are reversed.
  • the island arrangement 400 is preferably a honeycomb arrangement 401 as shown in FIG. 4A and an orthogonal matrix arrangement 402 as shown in FIG.
  • Each island 403 has a size of 20-200 [nm], and the inter-island portion 404 is filled with a dielectric material such as a silicon oxide film.
  • the basic distances 405 and 406 between adjacent islands are preferably a half wavelength of an effective electromagnetic wave wavelength in the medium, and a range of 1/4 wavelength to 1 wavelength is preferable considering the degree of design freedom.
  • the shape of the island structure is preferably circular in terms of processing, but may be an elliptical shape, a polygonal shape, a star shape, a cross shape, a ring shape, a saddle shape, or the like.
  • FIG. 5 is a diagram showing a first structural example in which the present metal thin film filter is arranged in a backside illumination (BSI) CMOS type solid-state imaging device.
  • FIG. 5 is a schematic cross-sectional view of six adjacent pixels extracted from the pixel group constituting the two-dimensional solid-state imaging device array. Of course, in practice, these pixels are developed on the two-dimensional plane by the number of pixels.
  • BSI backside illumination
  • 501 is an on-chip microlens
  • 502A and 502B are metal thin film filters
  • 503 is a smoothing layer
  • 504 is a photodiode
  • 505 is a signal wiring layer
  • 506A and 506B are Each adjacent pixel is shown.
  • the on-chip microlens 501 is an optical element for efficiently guiding light to the photodiode 504.
  • the photodiode 504 is an N-type region surrounded by a P-type region, or a P-type region surrounded by an N-type region. Electrons / holes generated by photoelectric conversion in a region having a higher potential than the surroundings are used as signal charges. It has a function to accumulate.
  • the metal thin film filters 502A and 502B are structures obtained by patterning a periodic structure at sub-wavelength intervals on a metal thin film filter formed of, for example, Al or Ag (FIGS. 3 and 4).
  • the metal thin film filters 502A and 502B are preferably mounted on a smoothing layer 503 made of a silicon oxide film, a nitride film or the like above the photodiode 504.
  • the interlayer insulating film / protective film (smoothing layer) 507 for protecting the metal thin film filters 502A and 502B is preferably a composite material mainly composed of a silicon oxide film (SiO 2 ) and SiO 2 .
  • magnesium fluoride (MgF 2 ) a hollow structure (Air Gap), or the like can be used as a low refractive index medium.
  • the conductive thin film filters 502A and 502B preferably have a common pattern structure between adjacent pixels.
  • the adjacent three pixels 506A mount the metal thin film filter 502A
  • the other three pixels 506B mount the metal thin film filter 502B.
  • the type of filter is not limited to two types, and the number of pixels sharing the same filter is not limited to three pixels, and any integer (for example, adjacent 8-pixel sharing, 64-pixel sharing, 128-pixel sharing, etc.) Can be shared on
  • the signal wiring layer 505 is formed as a signal wiring layer for reading out signal charges accumulated in the photodiode 504 by photoelectric conversion.
  • the photodiode 504 is electrically isolated by an oxide film isolation such as STI in order to be electrically isolated from adjacent photodiodes, and is also electrically isolated by an EDI structure or CION structure by impurity implantation. Yes.
  • FIG. 6 is a diagram showing a second structure example in which the present metal thin film filter is arranged in a backside illumination (BSI) CMOS solid-state imaging device. 6, the same components as those in FIG. 5 are denoted by the same reference numerals for easy understanding.
  • BSI backside illumination
  • the CMOS solid-state image sensor 500A in FIG. 6 is different from the CMOS solid-state image sensor 500 in FIG. 5 as follows.
  • This CMOS type solid-state imaging device 500A has a low refractive index smoothing layer 507A made of a low refractive index material made of SiO 2 , magnesium fluoride (MgF 2 ), or the like, on the on-chip microlens 501.
  • the refractive index of the on-chip microlens 501 needs to be higher than the refractive index of the smoothing layer 507A.
  • the metal thin film filters 502A and 502B are preferably mounted on the smoothing layer 503 made of a silicon oxide film, a nitride film or the like above the photodiode 504.
  • the smoothing layer 503 is formed on the low refractive index smoothing layer 507 ⁇ / b> A
  • the metal thin film filters 502 ⁇ / b> A and 502 ⁇ / b> B are formed on the smoothing layer 503.
  • the filters 502A and 502B are formed by the conductive thin film filter (plasmon resonator) 502, and are periodically formed at a sub-wavelength interval on the metal thin film filter (FIGS. 3 and 4) formed of, for example, Al or Ag. A structure obtained by patterning the structure.
  • color filters such as RGB are often mounted downstream (lower layer) of the on-chip microlens 501, and in the example of FIG. A color filter 508 can also be provided. Thereby, the degree of freedom of the combination of the existing filter 508 and the metal thin film filters 602A and 602B is increased, and a wavelength spectrum can be obtained with higher wavelength resolution.
  • FIG. 7 is a diagram showing a third structure example in which the present metal thin film filter is arranged in a backside illumination (BSI) CMOS type solid-state imaging device. 7, the same components as those in FIGS. 5 and 6 are denoted by the same reference numerals for easy understanding.
  • BSI backside illumination
  • the CMOS type solid-state imaging device 500B of FIG. 7 is different from the CMOS type solid-state imaging device 500A of FIG. 6 as follows.
  • this CMOS type solid-state imaging device 500B two pixels 506A are mounted with a metal thin film filter 502A, and another two pixels 506C are mounted with a metal thin film filter 502C.
  • a metal thin film filter 502B that shields light from the entire pixel surface is mounted on the pixel 506B between the two pixels 506A and the two pixels 506C.
  • the filters 502A, 502B, and 502C are formed by the conductive thin film filter (plasmon resonator) 502, and are periodically formed at a subwavelength interval in the metal thin film filter (FIGS. 3 and 4) formed of, for example, Al or Ag. It is a structure obtained by patterning a typical structure.
  • a general color filter 508 made of an organic pigment / dye can be arranged.
  • FIG. 8 is a diagram showing a fourth structure example in which the present metal thin film filter is arranged in a backside illumination (BSI) CMOS type solid-state imaging device.
  • BSI backside illumination
  • FIG. 8 the same components as those in FIGS. 5 to 7 are denoted by the same reference numerals for easy understanding.
  • the CMOS solid-state image sensor 500C in FIG. 8 is different from the CMOS solid-state image sensor 500A in FIG. 6 as follows.
  • the metal thin film filters 502A and 502B have a structure filled with a smoothing layer 503 as a protective film formed of a dielectric such as SiO or SiN. 8 is an example in which three pixels 506A are mounted with a metal thin film filter 502A, and another three pixels 506B are mounted with a metal thin film filter 502B.
  • the types of metal thin film filters are not limited to two, and the number of pixels sharing the same filter can also be shared by an arbitrary integer.
  • the filters 502A and 502B are formed by the conductive thin film filter (plasmon resonator) 502, and are periodically formed at a sub-wavelength interval on the metal thin film filter (FIGS. 3 and 4) formed of, for example, Al or Ag.
  • the metal thin film filter FIGS. 3 and 4
  • a general color filter 508 made of an organic pigment / dye can be arranged.
  • FIG. 9 is a diagram showing a fifth structure example in which the present metal thin film filter is arranged in a backside illumination (BSI) CMOS type solid-state imaging device.
  • BSI backside illumination
  • FIG. 9 the same components as those in FIGS. 5 to 8 are denoted by the same reference numerals for easy understanding.
  • the CMOS solid-state image sensor 500D in FIG. 9 is different from the CMOS solid-state image sensor 500C in FIG. 8 as follows.
  • the conductive thin film filter preferably has a common structure between adjacent pixels, and in this CMOS type solid-state imaging device 500D, the same metal thin film filter is mounted on 6 pixels of 2 pixels 506A, 506B, and 506C.
  • the smoothing layers 503A, 503B, and 503C formed by the filled dielectric are different for each pixel group, and in the example of FIG. 9, the adjacent two pixels 506A, 606B, and 506C have different refractive indexes.
  • An interlayer insulating film to protect the metal thin film filter for example, a silicon oxide film, a silicon oxide film is deposited by plasma CVD method, a refractive index film formation conditions (for example of CF 4 The flow rate can be controlled.
  • a different refractive index may be realized for each filter bank or region.
  • the refractive index is set to 1.44 in the I column, 1.42 in the II column, 1.40 in the III column, 1.38 in the IV column, and the like.
  • the filters 502A, 502B, and 502C are formed by the conductive thin film filter (plasmon resonator) 502, and are periodically formed at a subwavelength interval in the metal thin film filter (FIGS. 3 and 4) formed of, for example, Al or Ag. It is a structure obtained by patterning a typical structure.
  • a general color filter 508 made of an organic pigment / dye can be arranged.
  • FIG. 10 is a diagram showing a sixth structural example in which the present metal thin film filter is arranged in a backside illumination (BSI) CMOS solid-state imaging device.
  • BSI backside illumination
  • FIG. 10 the same components as those in FIGS. 5 to 9 are denoted by the same reference numerals for easy understanding.
  • a CMOS solid-state image sensor 500E in FIG. 10 has a configuration in which a photonic filter is disposed, unlike the CMOS solid-state image sensors 500 to 500D in FIGS. 5 to 9 in which a metal thin film filter is disposed.
  • the photonic filters 512A and 512B are optical filters in which a medium having a high refractive index and a medium having a low refractive index are laminated at a quarter wavelength interval of the electromagnetic wave wavelength to be transmitted.
  • the photonic filters 512A and 512B can realize a narrow band filter that transmits only a specific electromagnetic wave wavelength by adjusting the film thickness of the low refractive index layer in the middle of the filter.
  • FIG. 10 shows a structural example in which the photonic filter 512 is mounted instead of the metal thin film filter.
  • a silicon oxide film (SIO 2 ) or magnesium fluoride (MgF 2 ) can be used as the low refractive index layer.
  • the photonic filter 512A is mounted on the adjacent three pixels 506A, and the photonic filter 512B is mounted on the other three pixels 506B.
  • the filter is not only three pixels, but an arbitrary number of adjacent pixels. Can be shared.
  • a general color filter 508 made of an organic pigment / dye can be arranged.
  • FIG. 11 is a diagram for outlining a technique for analogizing the electromagnetic wave spectrum waveform of a subject in a spectral imaging system including the spectral solid-state imaging device of the present embodiment.
  • the respective wavelengths are assumed to be ⁇ _0, ⁇ _1,.
  • the solid-state imaging device of the present embodiment holds N types of filters as a filter bank, and the transmittance of each filter has the following transmission characteristics.
  • the transmission characteristics are determined by the structure of the metal thin film filter and the refractive index of the medium filling the periphery thereof, it is possible to design and measure in advance and store it in a memory in the imaging device as a database. Then, assuming that the amount of signal detected by each pixel of the solid-state imaging device is expressed by Equation (3), the estimated electromagnetic wave spectrum of the subject is directly calculated from the inverse matrix calculation as shown in FIG. 11 from (2) and (3). Can be sought.
  • the electromagnetic wave intensity at the N electromagnetic wave wavelengths can be obtained from the N filter types.
  • the wavelength spectrum can then be calculated by calculation.
  • the transmission characteristic data of these filter banks can be held in a recording part in the system as a rewritable database.
  • ⁇ represents the wavelength resolution
  • ⁇ represents the bandwidth desired by the image sensor. Assume that there are N types of filters.
  • the matrix factor or inverse matrix factor of the filter characteristic is held as a database.
  • This imaging system can calculate the intensity information at each wavelength of the input spectrum by multiply-accumulate with the pixel value corresponding to each filter, and can reproduce the input spectrum by arranging them in the wavelength direction. it can.
  • FIG. 12 is a schematic diagram of a two-dimensional spectroscopic map obtained by a spectroscopic device composed of a filter bank of a total of 20 units of 4 vertical units and 5 horizontal units.
  • 601 indicates a unit
  • 602 indicates a filter bank array
  • 603 indicates a captured image.
  • FIG. 13 is a diagram for explaining an outline of a technique for increasing the spatial resolution by photographing the color spectrum at each location while shifting the solid-state imaging device according to the present embodiment at a half interval of one unit of the filter bank. .
  • the sensor is at position A (1.A).
  • the next step shifts to the position B (2.B).
  • the position is shifted to position D (4.D).
  • the position returns to the initial position (5.A).
  • the solid-state imaging device of the present embodiment has a function of shifting the imaging device by a minute distance within a plane horizontal to the plane where the two-dimensional pixel is developed.
  • the timing at which the image sensor is shifted corresponds to a reference time synchronized with the sensor readout timing such as the readout frame time of the pixel output.
  • the solid-state imaging device has a function of shifting the imaging device by a minute distance in a plane horizontal to the two-dimensional pixel plane, and the shift amount is in the X-axis and Y-axis directions of the filter bank 1 unit. This is a shift amount corresponding to half of the size, or 1 / integer thereof.
  • the two-dimensional image sensor can acquire spectral data from each pixel every time the sensor is shifted by a minute distance.
  • a two-dimensional map having finer spatial resolution can be synthesized by synthesizing spectroscopic data sets with a rough spatial resolution obtained for the types of shift combination patterns.
  • FIG. 14 is a flowchart illustrating a method of calibrating a filter transmittance database held by the spectral imaging system of the present embodiment.
  • the database when the calibration mode is entered (ST11), it is determined whether or not the database is calibrated (ST12). When the calibration is performed, the database can be newly overwritten and updated (ST14) by photographing the standard light source (ST13). As a result, high reproducibility can be maintained even when filter characteristics, sensor characteristics, and system deterioration over time have occurred. If the database is not calibrated, the database is not updated (ST15).
  • FIG. 15 is a block diagram illustrating a configuration example of the spectral imaging system of the present embodiment.
  • the spectral imaging system 700 of FIG. 15 includes a sensor module 701, an optical system 702, a module control unit 703, an optical system control unit 704, a light source control unit 705, a DSP (signal processing unit) 706, and an image sensor control unit 707.
  • the spectral imaging system 700 further includes an image / spectral signal processing unit 708, a database 709, a recording unit 710, a microprocessor 711, and a user interface 712.
  • a module control unit 703, an optical system control unit 704, a light source control unit 705, an image sensor control unit 707, an image / spectral signal processing unit 708, a database 709, a recording unit 710, and a microprocessor 711 are connected via a bus BS. It is connected.
  • the microprocessor 711 performs overall control in response to an imaging process or the like by the user input via the user interface 712.
  • the sensor module 701 is mounted with the above-described solid-state image sensor 7011 (such as the solid-state image sensor 100 in FIG. 1) and the actuator 7012 according to the present embodiment.
  • An actuator 7012 that is a mechanism for shifting the solid-state imaging element 7011 is formed of an electrostatic actuator, a polymer actuator, a shape memory alloy, or the like.
  • the module control unit 703 includes a control unit 7031 that controls the module optical system of the sensor module 701 and a control unit 7032 that controls the actuator 7012, and controls the drive system of the sensor module 701.
  • the optical system 702 includes an objective lens 7021, an imaging lens 7022 that forms an image of a subject on the light receiving surface of the solid-state imaging device 7011, and the like, and is controlled by the optical system control unit 704.
  • the light source control unit 705 controls the LED light source 7051 and the laser light source 7052.
  • the present system has a high-luminance light source output at a specific wavelength of visible wavelengths and near infrared rays such as lasers and LED light sources.
  • Image data obtained by the sensor module 701 is subjected to predetermined processing through the DSP 706 and the image sensor control unit 707 and then transferred to the image / spectrum signal processing unit 708 and the like.
  • image / spectrum signal processing unit 708 signal processing such as analogy of spectral waves as described above is performed.
  • the database 709 is appropriately accessed as described above, and update processing or the like is performed as necessary.
  • the image / spectrum signal processing unit 708 has a signal restoration function for estimating the input spectrum by multiplying the transmittance information of each filter in the database 709 held in the storage unit and each pixel output, for example.
  • This structure is based on a structure in which a smoothing layer such as a silicon oxide film is formed on the upper surface of the photodetecting element of the solid-state imaging device, and a conductive thin film is disposed thereon.
  • the light detection unit having this structure or lower may be a general CMOS solid-state image sensor, and is not limited to a CMOS solid-state image sensor, and may be a CCD solid-state image sensor. Therefore, a known method can be applied to the structure and manufacturing method of the photoelectric conversion element, and the description thereof is omitted here.
  • a smoothing layer serving as a base for mounting a metal thin film filter is realized by laminating a silicon oxide film by a plasma CVD method or the like.
  • a metal thin film serving as a base of the metal thin film filter is laminated thereon by sputtering or the like.
  • a fine structure in which a filter function is formed in a metal thin film is manufactured by techniques such as electron beam lithography, photolithography, interference exposure, and etching. Etching is preferably anisotropic dry etching, and a gas used for etching is preferably a tetrafluoromethane (CF 4 ) -based etching gas.
  • CF 4 tetrafluoromethane
  • a nano stamper having a basic structure may be fabricated by electron beam lithography, and the structure may be transferred by a nano imprint technique.
  • an interlayer insulating film that fills the gap of the metal thin film filter is laminated by a plasma CVD method or the like.
  • the plasma CVD method is used here because the film can be formed at a relatively low temperature (250 ° C to 400 ° C) compared to the low pressure CVD method, so a metal thin film filter made of a metal such as Al is mounted. This is because it is advantageous to form a protective film after the formation.
  • the method is not limited to the above method as long as it can be used after the metal thin film is formed by other methods.
  • a composite material mainly composed of silicon oxide (SiO 2 ) and SiO 2 is suitable.
  • magnesium fluoride (MgF 2 ) or the like can be used.
  • silicon nitride (Si 3 N 4 ), titanium oxide (TiO 2 ), tantalum oxide (Ta 2 O 5 ), zirconium oxide (ZrO 2 ), niobium oxide (Nb 2 O 5 ), Oxides and nitrides such as hafnium oxide (HfO 2 ) can also be used.
  • FIG. 16 is a diagram showing a schematic configuration of a metal thin film filter manufacturing apparatus.
  • the manufacturing apparatus 800 in FIG. 16 includes high-frequency power sources 801 and 803, impedance matching units 802 and 804, a substrate 805, a target 806, a vacuum dewar 807, and the like.
  • the substrate 805 is connected to the high frequency power source 801 via the impedance matching unit 802.
  • the target 806 is connected to the high frequency power source 803 via the impedance matching unit 804.
  • the high frequency power supply generally has a frequency of 13.56 MHz in general.
  • the vacuum dewar 807 is filled with a mixed gas mainly composed of an inert gas (for example, Ar gas), and a gas pressure of typically about 0.1 to 10 mTorr is suitable.
  • Plasma is generated by supplying power from the high-frequency power sources 803 and 801 to the target 806 and the substrate 805.
  • a DC bias self-bias effect
  • the target 806 becomes a negative potential on a time average. Therefore, gas ions having a positive charge acquire kinetic energy due to a potential difference and collide with the target 806.
  • atoms / molecules on the surface of the target material are scattered, the substance particles adhere to the substrate 805, and a thin film is stacked on the substrate 805.
  • a high frequency power source 801 and an impedance matching unit 802 are also connected to the substrate 805.
  • a high frequency power source may be supplied only to the substrate 805.
  • the refractive index of SiO 2 can be controlled in a narrow range by performing the film formation while adjusting the gas flow rate of CF 4 or the like. Therefore, it is possible to divide the pixel region into a plurality of regions and mount a dielectric film having a different refractive index for each region. As a result, even if the processing pattern of the metal thin film filter is common, the plasmon resonance wavelength slightly changes, and as a result, a larger number of types of filters can be mounted and higher wavelength resolution (high dispersion) can be achieved. Spectral data can be acquired.
  • a single chip enables high-sensitivity spectrum. Even if the single filter size of the metal thin film filter is different from the size of the single pixel of the solid-state imaging device, sharing the filter between adjacent pixels of the imaging pixel provides the following advantages. That is, even if it is not a dedicated solid-state imaging device, a spectral / imaging function can be realized simply by mounting a filter, and a cheaper and higher-performance spectral / imaging device can be realized.
  • 2D spectral mapping with high spatial resolution is possible. Since the metal thin film filter is shared between adjacent pixels in a relatively large range such as 8 ⁇ 8 pixels or 16 ⁇ 16 pixels, the existing method has a problem that the spatial resolution is greatly reduced when performing two-dimensional spectral mapping. Combining the pixel shift method according to the present technology makes it possible to realize higher two-dimensional spectral imaging at low cost.
  • each filter Since the transmission characteristic database of N types of filters is held and has a function that can be updated, the input spectrum can be restored with high accuracy by the product-sum operation of the data and the output pixel value.
  • each filter is not narrow band, so it is a technique that uses light efficiently and estimates the input spectrum by calculation, enabling both high wavelength resolution and high sensitivity. become.
  • this technique can also take the following structures.
  • a two-dimensional pixel array in which pixels including photoelectric conversion elements are arranged in an array;
  • a plurality of types of filters that are arranged so as to face the pixel region of the two-dimensional pixel array and have a spectral function having a periodic fine pattern shorter than the wavelength to be detected;
  • Each filter above is Forming one unit in which one type of filter is arranged for a plurality of adjacent photoelectric conversion element groups that are larger than the photoelectric conversion elements of each pixel of the two-dimensional pixel array;
  • the multiple types of filters are Arranged for adjacent units to form a filter bank,
  • a solid-state imaging device in which NxM units (where N and M are integers of 1 or more) are arranged so that the filter bank faces the pixel region of the two-dimensional pixel array.
  • the filter is Including a metal thin film filter having a periodic microfabrication pattern shorter than the wavelength to be detected,
  • the metal thin film filter is It is made of metal with plasma frequency in the ultraviolet and visible wavelengths,
  • the solid-state imaging device according to (1) wherein the solid-state imaging device is a one-dimensional lattice or a two-dimensional lattice in which uneven portions or hole structures are periodically arranged at intervals of a submicron scale.
  • the metal thin film filter is It has a filtering function to selectively absorb and transmit a specific electromagnetic wave within a desired electromagnetic wave wavelength band to be detected, and the gap between the irregular pattern of the filter or the periodic pattern of the hole structure is a hollow structure or a dielectric
  • the solid-state imaging device according to (2) which is filled with.
  • the metal thin film filter is It has a filtering function to selectively absorb and transmit specific electromagnetic waves within the desired electromagnetic wave wavelength band to be detected, and the gaps between the irregular patterns of the filter or the periodic pattern of the hole structure are filled with a dielectric. And at least one of the plurality of filter banks is filled with a gap with a dielectric having a refractive index different from that of the other filter banks.
  • the solid-state imaging device according to (2) Metal thin film filter The solid-state imaging device according to any one of (2) to (4), which is disposed in an upper layer of a smoothing layer made of a dielectric.
  • the metal thin film filter is The dielectric smoothing layer is disposed on the smoothing layer formed of a dielectric, and the refractive index of the dielectric smoothing layer has a different refractive index in each of the plurality of pixel regions.
  • Each filter of the metal thin film filter disposed to face the pixel region is 1 for a pixel group having an area equal to or larger than each pixel forming the two-dimensional pixel array and formed by adjacent horizontal (X-axis direction) U pixels and vertical (Y-axis direction) V pixels.
  • U and V are integers of 1 or more.
  • the filter is There are K types in the X-axis direction and L types in the Y-axis direction. Each filter group forms one filter bank unit with K * L types of filters, and has one or more units of the filter bank.
  • K and L are integers of 1 or more, respectively.
  • the filter bank to be arranged is The solid-state imaging device according to (8), wherein there are N types in the X-axis direction and M types in the Y-axis direction.
  • N and M are integers of 1 or more, respectively.
  • the solid-state imaging device according to any one of (1) to (9), further including a storage unit that stores transmittance information for each electromagnetic wave wavelength of each filter of the filter bank as a database.
  • (11) having a storage unit for storing transmittance information for each wavelength of each filter of the filter bank as a database;
  • the database is The solid-state imaging device according to any one of (1) to (9), wherein recalibration and update are possible by photographing a reference light source.
  • the image sensor formed by the two-dimensional pixel array has a mechanism that shifts a minute distance between a plane in which pixels are two-dimensionally developed and a horizontal plane,
  • the solid-state imaging device according to any one of (1) to (12), wherein the timing at which the imaging device is shifted corresponds to a reference time synchronized with a sensor readout timing such as a readout frame time of pixel output.
  • the imaging device formed by the two-dimensional pixel array has a mechanism that shifts a minute distance between a plane in which the pixels are two-dimensionally developed and a horizontal plane,
  • the shift amount is a shift amount corresponding to half of the size of the filter bank 1 unit in the X-axis and Y-axis directions, or an integral number thereof.
  • the solid-state imaging device Each time the sensor is shifted by a small distance, the spectral data from each pixel is acquired, and further, by combining the spectral data set with rough spatial resolution acquired for the type of combination pattern of the shift amount,
  • the solid-state imaging device according to any one of (1) to (13), further including a processing unit that synthesizes a two-dimensional map having fine spatial resolution.
  • a CMOS solid-state imaging device Each pixel includes an on-chip condensing element for each pixel, and a smoothing layer is maintained while maintaining a condensing function by stacking a material having a lower refractive index than the condensing element on the upper layer of the on-chip condensing element. Is disposed, and the filter is disposed on the smoothing layer.
  • the solid-state imaging device according to any one of (1) to (14).
  • a solid-state imaging device An optical system that forms an image of a subject on the two-dimensional pixel array portion of the solid-state imaging device,
  • the solid-state imaging device is A two-dimensional pixel array in which pixels including photoelectric conversion elements are arranged in an array; A plurality of types of filters that are arranged so as to face the pixel region of the two-dimensional pixel array and have a spectral function having a periodic fine pattern shorter than the wavelength to be detected;
  • Each filter above is Forming one unit in which one type of filter is arranged for a plurality of adjacent photoelectric conversion element groups that are larger than the photoelectric conversion elements of each pixel of the two-dimensional pixel array;
  • the multiple types of filters are Arranged for adjacent units to form a filter bank,
  • NxM units where N and M are integers of 1 or more
  • SYMBOLS 100 Solid-state image sensor, 110 ... Pixel array part, 110A ... Pixel, 111 ... Photodiode (photoelectric conversion element), 112 ... Transfer transistor, 113 ... FD, 114 ... Amplifying transistor, 115 ... select transistor, 116 ... reset transistor, 120 ... vertical scanning circuit, 130 ... horizontal transfer scanning circuit, 140 ... column ADC circuit, 150 ... PLL circuit, 150... DAC (digital-analog converter), 170... Sense amplifier circuit (S / A), 201... Two-dimensional pixel group (pixel array section), 202. , Unit), 203 ... filter bank array, 300 ... metal thin film filter, 500, 500A to 500E ...
  • Solid Image element solid Image element, 501... On-chip microlens, 502A, 502B, 502C ... Metal thin film filter, 503 ... Smoothing layer, 504 ... Photodiode, 505 ... Signal wiring layer, 506A, 506B, 506C ... adjacent pixels, 507, 507A ... smoothing layer, 512A, 512B ... photonic filter, 700 ... spectral imaging system, 701 ... sensor module, 702 ... optical system 703 ... Module control unit, 704 ... Optical system control unit, 705 ... Light source control unit, 706 ... DSP (signal processing unit), 707 ... Image sensor control unit, 708 ... Image / spectrum signal processing unit, 709 ... database, 710 ... recording unit, 711 ... microprocessor, 712 ... user interface Face.
  • DSP signal processing unit

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Filters (AREA)

Abstract

本技術は、高感度かつ高い波長分解能を有する可視・近赤外線用の分光・撮像デバイスを実現することが可能で、空間解像度の高い２次元分光マッピングを可能にする固体撮像素子および撮像システムを提供することができる固体撮像素子および撮像システムに関する。 ２次元画素アレイと、２次元画素アレイの画素領域に対向するように配置され、検出すべき波長よりも短い周期的な微細パターンを有する分光機能を備えた複数種類のフィルタと、を有し、各フィルタは、２次元画素アレイの各画素の光電変換素子よりも大きく、隣接する複数の光電変換素子群に対して１種類のフィルタが配置されたて一つのユニットを形成し、複数種類のフィルタは、隣接するユニット群に対して配置されてフィルタバンクを形成し、フィルタバンクが２次元画素アレイの画素領域に対向するように、ＮｘＭユニット（但し、Ｎ，Ｍは１以上の整数）配置されている。

Description

固体撮像素子および撮像システム
　本技術は、検出すべき波長より短い周期的な微細パターンを有する金属薄膜フィルタを有する固体撮像素子および撮像システムに関するものである。
　医療や美容、健康など様々な分野での非侵襲での検査用途に分光センサが用いられる。
　一般的な分光センサは、可視光光源や赤外線光源などの電磁波光や狭帯域波長で発光するレーザー、ＬＥＤなどを被写体に照射し、その反射光やラマン散乱によりシフトした光成分をスリットを通してから回折格子に透過・反射させる。これにより、分光センサは、波長方向の信号強度分布を空間的な信号強度分布に変換する。
　そして、空間的に分離された各波長成分の電磁波強度を１次元のリニアセンサ、もしくは２次元センサで検出することで入射スペクトルの復元が可能になる。
　ここで検出器として用いられる固体撮像素子としては、ＣＣＤ(Charge Coupled Device)型やＣＭＯＳ(Complementary Metal Oxide Semiconductor)型の固体撮像素子があげられる。
　これら撮像素子は一般的なデジタルスチルカメラやカムコーダー、スマートフォンなどの携帯情報端末用にも用いられている撮像素子と基本的には同等のものであり、一般的な撮像用途の固体撮像素子では、その画素数は１０００万を超えるほどに多画素化している。
　分光センサに用いられる固体撮像素子でも、通常の撮像用途に用いられる固体撮像素子でも、撮像素子の各々の画素は被写体からの光強度に応じた信号電荷を蓄積し、蓄積した電荷量に応じた電気信号をアナログもしくはデジタルデータとして標本化し画像化する。
　さて分光センサ・撮像センサの如何によらず、固体撮像素子は特定の電磁波波長帯に感度を有する。
　たとえば、可視光線・近赤外線帯域で用いられるＣＣＤやＣＭＯＳ型固体撮像素子の多くはシリコンをベースに製造される。シリコンはそのバンドギャップより近赤外線（～１．１μｍ）よりも短い波長に対してのみ感度を有する。
　しかしながら、１．１μｍよりも短波長の電磁波に対しては、エネルギー分解能（波長分解能）がなく、蓄積された電荷からは、どの波長の光を検出したかを特定することはできない。それゆえに分光センサでは色・波長ごとの光強度の情報を検出可能にするために回折格子を用いる場合が一般的である。
　回折格子によって分光をする場合に不回避な問題として、光のエネルギーを波長方向に空間的に分離してしまう問題がある。
　つまりは被写体のトータルの光を波長方向に希釈して検出するために高い波長分解能（高分散）を有する分光器を実現するには、それだけ固体撮像素子の感度を高める、もしくは積分時間を長くしてやる必要がある。
　さらに、入射光は細いスリットを通してやる必要があるため、センサに入射する光の量がそもそも少ないという課題がある。
　他方、一般的なカラー撮像デバイスでは、カラー画像を取得するために次のような手法がとられることが多い。
　すなわち、２次元画素配列の各画素に特定の波長成分を選択的に透過する数種類のオンチップカラーフィルタを備え、隣接する少数の画素群で複数波長の光強度情報を取得して、デモザイクによる補間処理によってカラー画像を復元する手法を取ることが多い。
　これら２次元画素平面に複数種類のフィルタを配置する手法の場合、前述の回折格子およびスリット構造とは異なり、スリットで光を捨てる必要はないが、逆に高い波長分解能で分光したい場合には大きな課題がある。
　つまり、フィルタを構成する染料や顔料などの有機素材は塗布により形成されるため、複数種類のフィルタを一度の実装することは事実上不可能である。
　つまりＲＧＢ３色からカラー画像を合成する通常のイメージング装置と比較して、１０色や２０色といった極端に多色のフィルタが必要となる分光デバイスではコストが跳ね上がり、実現は容易ではない。
　しかしながら近年、導体薄膜に検出波長と同程度もしくはそれよりも微細な開口を周期的に配置したホールアレイ構造、または同構造とネガポジ関係にあるアイランドアレイ構造は、プラズモン共鳴体構造として知られている。
　そして、このプラズモン共鳴体構造は、周期や開口・ドット形状を最適化することで、透過波長を物理構造で調整可能なフィルタとして機能することが報告されている（非特許文献１，２参照）。
　さらに、このプラズモン共鳴体を色フィルタとして用いる技術も開示されている（特許文献１、２、３参照）。
　これらの技術は金属薄膜への周期パターンのパターニングでそれぞれのフィルタが実現できるため、多種類のフィルタを１度に実装できる強みがある。
特開２００８-１７７１９１号公報 ＷＯ２００８/０８２５６９ Ａ１ 特開２０１０-１６５７１８号公報
Ebbesen, T.W. et al., Nature, Volume 391, Issue 6668, pp.667-669, 1998 P.B.Catrysse & B.A.Wandell, J.Opt.Soc.Am.A, Vol.20, No.12, p.2293-2306, 2003
　しかしながら、先行特許が開示する色フィルタ技術を備えた固体撮像素子にも課題が残る。
　プラズモン共鳴体構造は、電磁波波長のλ/２，λ/４などの特定間隔の周期構造を繰り返し備えた構造体により分光機能を発生する構造である。このため、波長と同程度の微細化画素に適用するには不適であり、画素サイズが電磁波波長に比べて数倍程度大きい固体撮像素子にのみ適用されるのが現状である。
　さらに、高い波長分解能の光信号の強度プロファイルを得るには相当種類のフィルタが必要になるため、空間解像度が更に大きく低下する課題が残る。また、上記各文献には、固体撮像素子の画素出力値から入力スペクトルを復元する具体的手段に関する記述がない。
　また、出願人は、金属薄膜フィルタを固体撮像素子の画素領域の一部に実装することにより、安価に分光機能を実現する手法を提案している。しかしこの手法では、フィルタを実装できる画素領域が制限されることから、配置できるフィルタの数が少なくなってしまう課題がある。
　それにより、波長分解能や検出する信号のＳＮの観点でフィルタを固体撮像素子全域に実装する場合に比べて劣ってしまう。
　さらには、微細加工の精度には制限があり、より高い波長分解能、具体的にはΔλ＝１ｎｍ程度の超高分散分光をこのフィルタ構造のみで実現するには、微細加工の精度に課題があり、現時点での実現性は低い。
　また、１種類のプラズモン共鳴フィルタは狭帯域フィルタではなく波長ごとに複雑な透過特性を示す。そのため、それらのフィルタの透過光強度から入力スペクトルを推定するには何らかの信号復元処理が必要になる。
　しかしながら、上記の各特許文献にはそれらの波形信号処理に関する手法は開示されていない。
　本技術は、高感度かつ高い波長分解能を有する可視・近赤外線用の分光・撮像デバイスを実現することが可能で、空間解像度の高い２次元分光マッピングを可能にする固体撮像素子および撮像システムを提供することにある。
　本発明の第１の観点の固体撮像素子は、光電変換素子を含む画素がアレイ状に配列された２次元画素アレイと、上記２次元画素アレイの画素領域に対向するように配置され、検出すべき波長よりも短い周期的な微細パターンを有する分光機能を備えた複数種類のフィルタと、を有し、上記各フィルタは、上記２次元画素アレイの各画素の光電変換素子よりも大きく、隣接する複数の光電変換素子群に対して１種類のフィルタが配置された一つのユニットを形成し、上記複数種類のフィルタは、隣接するユニット群に対して配置されてフィルタバンクを形成し、上記フィルタバンクが上記２次元画素アレイの画素領域に対向するように、ＮｘＭユニット（但し、Ｎ，Ｍは１以上の整数）配置されている。
　本発明の第２の観点の撮像システムは、固体撮像素子と、上記固体撮像素子の２次元画素アレイ部に被写体象を結像する光学系と、を有し、上記固体撮像素子は、光電変換素子を含む画素がアレイ状に配列された２次元画素アレイと、上記２次元画素アレイの画素領域に対向するように配置され、検出すべき波長よりも短い周期的な微細パターンを有する分光機能を備えた複数種類のフィルタと、を有し、上記各フィルタは、上記２次元画素アレイの各画素の光電変換素子よりも大きく、隣接する複数の光電変換素子群に対して１種類のフィルタが配置された一つのユニットを形成し、上記複数種類のフィルタは、隣接するユニット群に対して配置されてフィルタバンクを形成し、上記フィルタバンクが上記２次元画素アレイの画素領域に対向するように、ＮｘＭユニット（但し、Ｎ，Ｍは１以上の整数）配置されている。
　本発明によれば、高感度かつ高い波長分解能を有する可視・近赤外線用の分光・撮像デバイスを実現することが可能で、空間解像度の高い２次元分光マッピングを可能にする。
本実施形態に係るＣＭＯＳ型固体撮像素子の構成例を示すブロック図である。 本実施形態に係る固体撮像素子と本金属薄膜フィルタとの位置関係を説明するための図である。 本実施形態に係る金属薄膜フィルタの構造例を示す図である。 ホールアレイ構造とネガポジ反転したアイランド構造のプラズモン共鳴体構造体を示す図である。 裏面照射型（ＢＳＩ）ＣＭＯＳ型固体撮像素子について本金属薄膜フィルタを配置した第１の構造例を示す図である。 裏面照射型（ＢＳＩ）ＣＭＯＳ型固体撮像素子について本金属薄膜フィルタを配置した第２の構造例を示す図である。 裏面照射型（ＢＳＩ）ＣＭＯＳ型固体撮像素子について本金属薄膜フィルタを配置した第３の構造例を示す図である。 裏面照射型（ＢＳＩ）ＣＭＯＳ型固体撮像素子について本金属薄膜フィルタを配置した第４の構造例を示す図である。 裏面照射型（ＢＳＩ）ＣＭＯＳ型固体撮像素子について本金属薄膜フィルタを配置した第５の構造例を示す図である。 裏面照射型（ＢＳＩ）ＣＭＯＳ型固体撮像素子について本金属薄膜フィルタを配置した第６の構造例を示す図である。 本実施形態の分光固体撮像素子を含む分光撮像システムで被写体の電磁波スペクトル波形を類推する手法を概説するための図である。 縦４ユニット、横５ユニットの合計２０ユニットのフィルタバンクで構成される分光デバイスで得られる２次元分光マップの概略図である。 本実施形態に係る固体撮像素子をフィルタバンクの１ユニットの半分の間隔でシフトさせながら各々の場所で色スペクトルを撮影することで空間解像度を上げる手法について概説するための図である。 本実施形態の分光撮像システムが保持するフィルタ透過率のデータベースの校正方法について示すフローチャートである。 本実施形態の分光撮像システムの構成例を示すブロック図である。 金属薄膜フィルタの製造装置の概略構成を示す図である。
　以下、本発明の実施形態を図面に関連付けて説明する。
　なお、説明は以下の順序で行う。
１．ＣＭＯＳ型固体撮像素子の全体の概略構成例
２．固体撮像素子と金属薄膜フィルタとの位置関係
３．金属膜フィルタの構成例
４．金属薄膜フィルタを配置した固体撮像素子の構造例
５．被写体の電磁波スペクトル波形を類推する手法
６．分光撮像システムの構成例７．金属薄膜フィルタの製造方法
＜１．ＣＭＯＳ型固体撮像素子の全体の概略構成例＞
　図１は、本実施形態に係るＣＭＯＳ型固体撮像素子の構成例を示すブロック図である。
　以下、本技術の金属フィルタを裏面照射型ＣＭＯＳ型固体撮像素子に実装した例を示す。ただし、当然ながら既存の表面照射型ＣＭＯＳ型固体撮像素子でも、ＣＣＤ型固体撮像素子でも、Ｓｉ以外の例えばＣｄＳｅなどの量子ドット構造を光検出部に用いた撮像素子や有機光電素材を用いたフォトコンダクター型の撮像素子にでも適応が可能である。
　この固体撮像素子１００は、図１に示すように、２次元画画素アレイとしての画素アレイ部１１０、垂直走査回路１２０、水平転送走査回路１３０、およびＡＤＣ（アナログ－デジタルコンバータ）群であるカラムＡＤＣ回路１４０を有する。
　固体撮像素子１００は、ＰＬＬ回路１５０、参照信号ＲＡＭＰを生成するＤＡＣ（デジタル－アナログコンバータ）１６０、およびセンスアンプ回路（Ｓ／Ａ）１７０を有する。
　画素アレイ部１１０は、フォトダイオード（光電変換素子）と画素内アンプとを含む複数の画素１１０Ａがｍ行ｎ列の２次元状（マトリクス状）に配列されている。
　各画素１１０Ａは光電変換の機能を担うフォトダイオードと蓄積された信号を読み出すための数個のトランジスタで構成される画素読出し回路からなる。
　図１には、本実施形態に係る４つのトランジスタで構成されるＣＭＯＳイメージセンサの画素の一例が示されている。
　画素１１０Ａにおいて、フォトダイオード１１１に蓄積された電荷は転送トランジスタ１１２を介してＦＤ(Floating Diffusion)１１３に転送される。ＦＤ１１３は増幅トランジスタ１１４のゲートに接続されている。
　信号を読み出したい画素は、選択トランジスタ１１５をオンすることで選択することができる。選択された画素の信号は、増幅トランジスタ１１４をソースフォロワ－（SourceFollower）駆動することで蓄積電荷量に対応する信号として信号線１１７に読み出される。また画素信号はリセットトランジスタ１１６をオンすることでリセットできる。
　各々の画素から読み出された信号はＣＤＳ動作により信号レベルが抽出され、カラムＡＤＣ回路１４０、センスアンプ回路１７０を経てデバイス外部に出力される。
　カラムＡＤＣ回路１４０は、ＡＤＣブロックであるカラム処理部（ＡＤＣ）１４１が複数列配列されている。
　すなわち、カラムＡＤＣ回路１４０は、ｋビットデジタル信号変換機能を有し、カラム処理部１４１ごとに各垂直信号線（列線）１１７毎に配置され、列並列ＡＤＣブロックが構成される。
　各カラム処理部１４１は、ＤＡＣ１６０により生成される参照信号を階段状に変化させたランプ波形である参照信号ＲＡＭＰと、行線毎に画素から垂直信号線を経由し得られるアナログ信号ＶＳＬとを比較する比較器（コンパレータ）１４１－１を有する。
　さらに、各カラム処理部１４１は、比較時間をカウントし、カウント結果を保持するカウンタラッチ（カウンタ）１４１－２を有する。
　各カウンタ１４１－２の出力は、たとえばｋビット幅の水平転送線ＬＴＲＦに接続されている。
　そして、水平転送線ＬＴＲＦに対応したセンスアンプ回路１７０が配置される。
　カラムＡＤＣ回路１４０においては、垂直信号線１１７に読み出されたアナログ信号電位ＶＳＬは列毎（カラム毎）に配置された比較器１４１－１で参照信号ＲＡＭＰと比較される。
　このとき、比較器１４１－１と同様に列毎に配置されたカウンタ１４１－２が動作している。
　各カラム処理部１４１は、ランプ波形のある参照信号ＲＡＭＰとカウンタ値が一対一の対応を取りながら変化することで垂直信号線１１７の電位（アナログ信号）ＶＳＬをデジタル信号に変換する。
　カラム処理部（ＡＤＣ）１４１は、参照信号ＲＡＭＰ（電位Ｖｓｌｏｐ）の電圧の変化を時間の変化に変換するものであり、その時間をある周期(クロック)で数えることでデジタル値に変換する。
　アナログ信号ＶＳＬと参照信号ＲＡＭＰ（Ｖｓｌｏｐ）が交わったとき、比較器１４１－１の出力が反転し、カウンタ１４１－２の入力クロックを停止し、または、入力を停止していたクロックをカウンタ１４１－２に入力し、ＡＤ変換を完了させる。
　以上のＡＤ変換期間終了後、水平転送走査回路１３０により、カウンタ１４１－２に保持されたデータが、水平転送線ＬＴＲＦに転送され、センスアンプ回路１７０を経て外部の信号処理回路に出力され、所定の信号処理により２次元画像が生成される。
　外部に出力された画素値データは各々の画素位置では単独のフィルタに対応する強度情報しか持たないため、隣接する異色画素の強度情報から、各々の画素位置での各々の色成分の強度情報をデモザイク処理やコンボリューション処理などの補間により復元される。
　その他、ホワイトバランスやガンマ補正、輪郭強調、画像圧縮などの処理が行われ、観測者にとって好ましい、もしくは被写体に忠実な画像が復元される。
　なお、チップに画像処理プロセッサが実装されたシステムオンチップ型のイメージセンサの場合は、これらの信号処理も同一チップ上で行うことができ、生画像データの他にｊｐｅｇやｍｐｅｇ方式などの圧縮画像を出力する場合もある。
＜２．固体撮像素子と金属薄膜フィルタとの位置関係＞
　図２は、本実施形態に係る固体撮像素子と本金属薄膜フィルタとの位置関係を説明するための図である。
　図２において、図１の画素アレイ部１１０が２次元画素群２０１として示されている。
　２次元画素群２０１は、たとえば縦・横それぞれ数１０００個の画素ＰＸＬにより形成され、少ないデバイスでも１００万画素程度、多いものでは数１０００万画素にも及ぶ巨大な２次元画素群を構成する。
　本実施形態の金属薄膜フィルタ群（フィルタバンク）２０２は、２次元画素群（画素アレイ部）２０１の光入射面に対向するように配置される。
　ここで、各フィルタＭＦＬはフィルタバンク２０２の１つの四角形に対応する。各フィルタ２０２ＦＬのサイズは光検出画素ＰＸＬに対して横（Ｘ軸）方向にＵ画素、縦（Ｙ軸）方向にＶ画素の画素領域に対して１種類が実装される。
　つまり隣接するＵ＊Ｖ画素に対して１種類のフィルタＭＦＬが実装される。
　さにに、フィルタＭＦＬは、横（Ｘ軸）方向にＫ種類、縦（Ｙ軸）方向にＬ種類で１つのユニット（フィルタバンク）２０２を構成する。
　図２の例では、Ｋ＝５，Ｌ＝４の２０種類で１つのフィルタバンクを構成する例となっている。
　さらに、フィルタバンク２０２は２次元撮像素子全面に横（Ｘ軸）方向にＮユニット、縦（Ｙ軸）方向にＭユニット配置され、Ｎ＊Ｍ種類のフィルタバンクアレイ２０３によって構成される。
　つまり、図２の例のフィルタバンク２０２は、Ｋ＝５，Ｌ＝４の２０種類のフィルタを有し、それが、Ｎ＝４，Ｍ＝４、計１６ユニットあることになる。
　また、フィルタバンク２０２、もしくはフィルタバンク群の分光機能ブロックである金属薄膜フィルタは層間絶縁膜にはさまれており、その絶縁膜は複数種類の屈折率であっても構わない。
　たとえば、フィルタバンクアレイ２０３のうち、図２のＡラインは屈折率＝１．４２であり、Ｂラインは屈折率＝１．４０、Ｃラインでは屈折率＝１．３８、Ｄラインでは屈折率＝１．３６などのように設定可能である。
　すなわち、２次元撮像素子領域の画素領域ごとに異なる屈折率を持つようにすることができる。
　ここで、ＳｉＯ２の屈折率のコントロールは、たとえばプラズマＣＶＤ法によってＳｉＯ２膜を成膜する際、ＣＦ４ガスの流量をコントロールすることで屈折率の調整ができる。
＜３．金属膜フィルタの構成例＞
　図３の（Ａ）～（Ｄ）は、本実施形態に係る金属薄膜フィルタの構造例を示す図である。
　図３においては、金属膜フィルタを符号３００で示している。
　図３の（Ａ）はハニカム配列３０１を、図３の（Ｂ）は直交行列配列３０２を、図３の（Ｃ）は貫通開口と非貫通開口が混在した配列３０３を、図３の（Ｄ）は図３の（Ａ）のＡ－Ａ‘線の断面であって凹構造を有する非貫通穴を含む配列３０４をそれぞれ示している。
　金属薄膜フィルタ３００は、その微細構造パターンにより特定の電磁波波長で自由電子と光とがカップリングした表面プラズモンポラリトンを生ずる。
　この金属薄膜フィルタ３００は、紫外線波長帯にプラズマ周波数を有する導体素材（具体的には銀やアルミニウム、金などが好適である）からなる薄膜に微細加工を施したサブ波長構造体である。
　そして、金属薄膜フィルタ３００は、導体の物性とパターン周期・開口径・ドットサイズ・膜厚・構造体の周囲の媒質の物性によって決まる共鳴波長を有する。
　基本構造はホールアレイ構造で、検出波長よりも小さい径を有する開口（ホール）Ｈｌを２次元配列状に配置する。
　ホール配置は図３の（Ａ）に示すようなハニカム配列３０１、あるいは図３の（Ｂ）に示すような直交行列配列３０２に配置するのが好適であるが、その他の配列でも周期性がある構造であれば構わない。
　ここで、ホール間隔やホールサイズ・膜厚が透過特性のキーパラメーターになる。図３では、ホール開口部は３０５、導体部分は３０６で示している。
　ホール開口３０５の開口径は透過させたい波長よりも小さく、直径１００［ｎｍ］程度が好適である。設計自由度があるため、大凡５０［ｎｍ］‐２００［ｎｍ］の範囲であれば構わない。
　また、導体薄膜３０６の厚みは１００[ｎｍ]程度が好適であるが、１０［ｎｍ］‐２００［ｎｍ］程度の範囲であれば構わない。
　また、隣接ホール間との間隔３０７，３０８を調整することで、透過波長を変化させることができるが、媒質中での実効的な電磁波波長の半波長～１波長程度の範囲が好適であり、具体的には１５０［ｎｍ］‐１０００［ｎｍ］程度のホール間隔が好ましい。
　また、ホールアレイ構造の全ての開口が導体薄膜を貫通している必要はなく、図３の（Ｃ）および（Ｂ）の配列３０３，３０４に示すように、一部、もしくは全ての開口は導体上に凹構造を有する非貫通穴でも構わない。
　図３の（Ｃ）および（Ｄ）は、貫通開口３０５と非貫通開口３０９が周期的に配置した場合の実施例である。
　また、ホール開口の形状は加工上、円形が好ましいが楕円形状や多角形形状、星型、十字型、リング型、卍形などであっても構わない。
　図４の（Ａ）および（Ｂ）は、ホールアレイ構造とネガポジ反転したアイランド構造のプラズモン共鳴体構造体を示す図である。
　アイランド配置４００は、図４の（Ａ）に示すようなハニカム配列４０１、図４の（Ｂ）に示すような直交行列配列４０２が好適である。
　各アイランド４０３は２０‐２００［ｎｍ］のサイズを有し、アイランド間部４０４はシリコン酸化膜などの誘電体素材で充填される。
　隣接アイランド間の基本間隔４０５，４０６は、媒質中での実行的な電磁波波長の半波長が好適であり、設計自由度を加味すると１/４波長～１波長の範囲が好適である。またアイランド構造の形状は、加工上は円形が好ましいが楕円形状や多角形形状、星型、十字型、リング型、卍形などであっても構わない。
＜４．金属薄膜フィルタを配置した固体撮像素子の構造例＞
　図５は、裏面照射型（ＢＳＩ）ＣＭＯＳ型固体撮像素子について本金属薄膜フィルタを配置した第１の構造例を示す図である。
　図５は、２次元固体撮像素子アレイを構成する画素群のうち、隣接する６画素分を抜き出して断面模式図として記載している。当然ながら実際にはこれらの画素が２次元平面に画素数分だけ展開される。
　図５の固体撮像素子５００において、５０１はオンチップマイクロレンズを、５０２Ａ，５０２Ｂは金属薄膜フィルタを、５０３は平滑化層を、５０４はフォトダイオードを、５０５は信号配線層を、５０６Ａ，５０６Ｂは隣接画素を、それぞれ示している。
　オンチップマイクロレンズ５０１は、フォトダイオード５０４に効率よく光を導くための光学素子である。
　フォトダイオード５０４は、Ｐ型領域に囲まれたＮ型領域、もしくはＮ型領域に囲まれたＰ型領域であり、周囲よりも電位の深い領域に光電変換により生じた電子・ホールを信号電荷として蓄積する機能を有する。
　金属薄膜フィルタ５０２Ａ，５０２Ｂは、たとえばＡｌやＡｇにより形成される金属薄膜フィルタにサブ波長間隔で周期的な構造をパターニングした構造体である（図３、図４）。
　金属薄膜フィルタ５０２Ａ，５０２Ｂは、フォトダイオード５０４上方にシリコン酸化膜・窒化膜などからなる平滑化層５０３を形成し、その上に実装されるのが好ましい。　また、金属薄膜フィルタ５０２Ａ，５０２Ｂを保護する層間絶縁膜・保護膜（平滑化層）５０７はシリコン酸化膜（ＳｉＯ２）およびＳｉＯ２を主成分とする複合素材が好適である。そのほかにフッ化マグネシウム（ＭｇＦ２）や中空構造（Ａｉｒ Ｇａｐ）などを低屈折率の媒質として用いることもできる。
　ここで導体薄膜フィルタ５０２Ａ，５０２Ｂは、隣接する画素間で共通のパターン構造であることが好ましい。たとえば、図５では隣接３画素５０６Ａが金属薄膜フィルタ５０２Ａを実装し、他の３画素５０６Ｂが金属薄膜フィルタ５０２Ｂを実装している。
　当然ながら、フィルタの種類は２種類に限定されず、かつ同一フィルタを共有する画素数も３画素には限定されず、任意の整数（たとえば隣接８画素共有、６４画素共有、１２８画素共有など）で共有することができる。
　信号配線層５０５は、光電変換によってフォトダイオード５０４に蓄積された信号電荷を外部に読みだすための信号配線層として形成されている。
　フォトダイオード５０４は、隣接するフォトダイオードと電気的に分離するために、ＳＴＩなどの酸化膜分離により素子分離される他、不純物のインプランテイションによるＥＤＩ構造やＣＩＯＮ構造などによって電気的に分離されている。
　図６は、裏面照射型（ＢＳＩ）ＣＭＯＳ型固体撮像素子について本金属薄膜フィルタを配置した第２の構造例を示す図である。
　図６において、図５と同一構成部分は、理解を容易にするために同一符号をもって表している。
　図６のＣＭＯＳ型固体撮像素子５００Ａが図５のＣＭＯＳ型固体撮像素子５００と異なる点は、以下の通りである。
　このＣＭＯＳ型固体撮像素子５００Ａは、オンチップマイクロレンズ５０１の上層にはＳｉＯ２やフッ化マグネシウム(ＭｇＦ２)などから形成される低屈折率素材からなる低屈折率平滑化層５０７Ａを有する。ここでオンチップマイクロレンズ５０１の屈折率は平滑化層５０７Ａの屈折率より高い必要がある。
　上述したように、金属薄膜フィルタ５０２Ａ，５０２Ｂは、フォトダイオード５０４上方にシリコン酸化膜・窒化膜などからなる平滑化層５０３を形成し、その上に実装されるのが好ましい。
　図６の例では、低屈折率平滑化層５０７Ａの上層に平滑化層５０３が形成され、平滑化層５０３上に金属薄膜フィルタ５０２Ａ，５０２Ｂが形成されている。
　上述したように、フィルタ５０２Ａ，５０２Ｂは、導体薄膜フィルタ（プラズモン共鳴体）５０２により形成され、たとえばＡｌやＡｇにより形成される金属薄膜フィルタ（図３、図４）にサブ波長間隔で周期的な構造をパターニングした構造体である。
　なお一般的な固体撮像素子では、オンチップマイクロレンズ５０１の下流（下層）にＲＧＢなどのカラーフィルタが実装されている場合が多く、図６の例においても、有機顔料・染料からなる一般的なカラーフィルタ５０８を配置することもできる。
　それにより、既存のフィルタ５０８と金属薄膜フィルタ６０２Ａ，６０２Ｂとの組み合わせの自由度が高まり、より高い波長分解能で波長スペクトルを得ることが可能になる。
　図７は、裏面照射型（ＢＳＩ）ＣＭＯＳ型固体撮像素子について本金属薄膜フィルタを配置した第３の構造例を示す図である。
　図７において、図５および図６と同一構成部分は、理解を容易にするために同一符号をもって表している。
　図７のＣＭＯＳ型固体撮像素子５００Ｂが図６のＣＭＯＳ型固体撮像素子５００Ａと異なる点は、以下の通りである。
　このＣＭＯＳ型固体撮像素子５００Ｂでは、２画素５０６Ａが金属薄膜フィルタ５０２Ａを実装し、別の２画素５０６Ｃが金属薄膜フィルタ５０２Ｃを実装した例になっている。
　２画素５０６Ａと２画素５０６Ｃの間の画素５０６Ｂには画素全面を遮光する金属薄膜フィルタ５０２Ｂが実装されている。
　本構成により金属薄膜フィルタ５０２Ａを透過した光が別の金属薄膜フィルタ５０２Ｃを備えた画素５０６Ｃに混入する混色成分は大幅に低減が可能であり、混色による画質劣化や波長スペクトルの劣化の問題を軽減することができる。
　上述したように、フィルタ５０２Ａ，５０２Ｂ、５０２Ｃは、導体薄膜フィルタ（プラズモン共鳴体）５０２により形成され、たとえばＡｌやＡｇにより形成される金属薄膜フィルタ（図３、図４）にサブ波長間隔で周期的な構造をパターニングした構造体である。
　なお、図７の例においても、有機顔料・染料からなる一般的なカラーフィルタ５０８を配置することもできる。
　図８は、裏面照射型（ＢＳＩ）ＣＭＯＳ型固体撮像素子について本金属薄膜フィルタを配置した第４の構造例を示す図である。
　図８において、図５～図７と同一構成部分は、理解を容易にするために同一符号をもって表している。
　図８のＣＭＯＳ型固体撮像素子５００Ｃが図６のＣＭＯＳ型固体撮像素子５００Ａと異なる点は、以下の通りである。
　このＣＭＯＳ型固体撮像素子５００Ｃでは、金属薄膜フィルタ５０２Ａ，５０２ＢはＳｉＯ，ＳｉＮなどの誘電体により形成される保護膜としての平滑化層５０３よって周囲を充填された構造になっている。
　図８の固体撮像素子５００Ｃは、３画素５０６Ａが金属薄膜フィルタ５０２Ａを実装し、別の３画素５０６Ｂが金属薄膜フィルタ５０２Ｂを実装した例である。
　当然ながら、金属薄膜フィルタの種類は２種類に限定されず、かつ同一フィルタを共有する画素数も任意の整数で共有することができる。
　上述したように、フィルタ５０２Ａ，５０２Ｂは、導体薄膜フィルタ（プラズモン共鳴体）５０２により形成され、たとえばＡｌやＡｇにより形成される金属薄膜フィルタ（図３、図４）にサブ波長間隔で周期的な構造をパターニングした構造体である。
　なお、図８の例においても、有機顔料・染料からなる一般的なカラーフィルタ５０８を配置することもできる。
　図９は、裏面照射型（ＢＳＩ）ＣＭＯＳ型固体撮像素子について本金属薄膜フィルタを配置した第５の構造例を示す図である。
　図９において、図５～図８と同一構成部分は、理解を容易にするために同一符号をもって表している。
　図９のＣＭＯＳ型固体撮像素子５００Ｄが図８のＣＭＯＳ型固体撮像素子５００Ｃと異なる点は、以下の通りである。
　導体薄膜フィルタは隣接画素間で共通の構造であることが好ましく、このＣＭＯＳ型固体撮像素子５００Ｄでは、２画素５０６Ａ，５０６Ｂ，５０６Ｃの６画素ともに同じ金属薄膜フィルタを実装している。
　ただし、充填される誘電体により形成される平滑化層５０３Ａ，５０３Ｂ，５０３Ｃは画素グループごとに異なっており、図９の例では、隣接２画素５０６Ａ，６０６Ｂ，５０６Ｃで異なる屈折率を有する。
　本金属薄膜フィルタを保護する層間絶縁膜（保護膜）は、たとえばシリコン酸化膜からなり、シリコン酸化膜はプラズマＣＶＤ法などにより成膜されるが、その屈折率は成膜条件（たとえばＣＦ４の流量）によりコントロールすることが可能である。
　当然ながら屈折率は１画素ごと調整する必要はなく、たとえばフィルタバンクごとや領域ごとに異なる屈折率を実現すること構わない。たとえば図２で、Ｉ列では屈折率＝１．４４、ＩＩ列では１．４２，ＩＩＩ列では１．４０、ＩＶ列では１．３８などに設定される。
　上述したように、フィルタ５０２Ａ，５０２Ｂ、５０２Ｃは、導体薄膜フィルタ（プラズモン共鳴体）５０２により形成され、たとえばＡｌやＡｇにより形成される金属薄膜フィルタ（図３、図４）にサブ波長間隔で周期的な構造をパターニングした構造体である。
　なお、図９の例においても、有機顔料・染料からなる一般的なカラーフィルタ５０８を配置することもできる。
　図１０は、裏面照射型（ＢＳＩ）ＣＭＯＳ型固体撮像素子について本金属薄膜フィルタを配置した第６の構造例を示す図である。
　図１０において、図５～図９と同一構成部分は、理解を容易にするために同一符号をもって表している。
　図１０のＣＭＯＳ型固体撮像素子５００Ｅは、金属薄膜フィルタを配置した図５～図９のＣＭＯＳ型固体撮像素子５００～５００Ｄと異なり、フォトニックフィルタを配置した構成を有する。
　フォトニックフィルタ５１２Ａ，５１２Ｂは、透過させたい電磁波波長の１/４波長間隔で、高屈折率の媒質と低屈折率の媒質を積層した光学フィルタである。
　フォトニックフィルタ５１２Ａ，５１２Ｂは、フィルタ中間の低屈折率層の膜厚を調整することで特定の電磁波波長のみを透過させる狭帯域フィルタの実現が可能である。
　図１０はそのフォトニックフィルタ５１２を金属薄膜フィルタのかわりに実装した構造例を示している。
　フォトニックフィルタ５１２は、低屈折率層としては、シリコン酸化膜（ＳＩＯ２)やフッ化マグネシウム（ＭｇＦ２）を用いることができる。
　他方、高屈折率の媒質としては、窒化シリコン（Ｓｉ３Ｎ４）、酸化チタン（ＴｉＯ２）、酸化タンタル（Ｔａ２Ｏ５）、酸化ジルコニウム（ＺｒＯ２）、酸化ニオブ(Ｎｂ２Ｏ５)、酸化ハフニウム（ＨｆＯ２）などの酸化物、窒化物が好ましい。
　ここで隣接３画素５０６Ａに対してフォトニックフィルタ５１２Ａが実装され、他３画素５０６Ｂに対してフォトニックフィルタ５１２Ｂが実装されるが、当然ながらフィルタは３画素のみならず、任意の数の隣接画素に対して共有が可能である。
　なお、図１０の例においても、有機顔料・染料からなる一般的なカラーフィルタ５０８を配置することもできる。
＜５．被写体の電磁波スペクトル波形を類推する手法＞
　次に、本実施形態の分光固体撮像素子を含む分光撮像システムで被写体の電磁波スペクトル波形を類推する手法について概説する。
　図１１は、本実施形態の分光固体撮像素子を含む分光撮像システムで被写体の電磁波スペクトル波形を類推する手法を概説するための図である。
　被写体のスペクトル（Ｉ_λ０，Ｉ_λ１，，，，Ｉ_λＮ）は未知である。
　ここでは簡単のため２次元画像ではなく、空間解像度がない波長方向の強度分布のみで考える。被写体の分光プロファイルをＮ点の波長における強度情報プロファイルとして習得したい場合を考える。知りたい波長スペクトルを次のようにＮ点の波長で記述する。
［数１］
　　λ_０，λ_１，，，，，λ_Ｎ　　　　　　　　　　　　　（１）
　それぞれの波長はλ_０、λ_１，，，，，λ_Ｎとする。
　ここで、本実施形態の固体撮像素子はＮ種類のフィルタをフィルタバンクとして保持しており、各々のフィルタの透過率は次のような透過特性を持つ。
［数２］
　　Ｆ_０_λ０，Ｆ_０_λ１，，，，Ｆ_０_λＮ　　　　　　（２－１）
　　Ｆ_１_λ０，Ｆ_１_λ１，，，，Ｆ_１_λＮ　　　　　　（２－２）
　　　　・
　　　　・
　　Ｆ_Ｎ_λ０，Ｆ_Ｎ_λ１，，，，Ｆ_Ｎ_λＮ　　　　　　（２－３）
　透過特性は金属薄膜フィルタの構造とその周囲を充填する媒質の屈折率とで決まるため、予め設計・測定しておきデータベースとして撮像デバイス内のメモリに格納しておくことが可能である。
　すると固体撮像素子の各々の画素が検出する信号量を、式（３）とすると、推定される被写体の電磁波スペクトルは（２）と（３）から図１１に示すように逆行列の計算から直接求めることができる。
［数３］
　　Ｓ_０，Ｓ_１，，，，，Ｓ_Ｎ　　　　　　　　　　　　　（３）
　そしてこのことから、信号のＳＮ比（Signal to Noise Ratio)が十分に高く、フィルタの透過率が正確に測定できていれば、Ｎ種類のフィルタから、Ｎ種類の電磁波波長での電磁波強度が得られ、それから波長スペクトルを計算により算出することが可能になる。
　さらに本実施形態では、これらのフィルタバンクの透過特性データを書換え可能なデータベースとしてシステム中の記録部分に保持することができる。
　ここで、入力スペクトルの波長分解能はΔλ/λ＝Ｎと書くことができる。Δλは波長分解能、λは撮像素子で取りたい帯域幅を示している。フィルタの種類がＮ種類あるとする。
　本撮像システムでは、フィルタ特性の行列因子もしくは逆行列因子をデータベースとして保持している。本撮像システムは、各フィルタに対応する画素値との積和演算により入力スペクトルの各波長での強度情報を算出することができ、それらを波長方向に並べることで、入力スペクトルを再現することができる。
　図１２は、縦４ユニット、横５ユニットの合計２０ユニットのフィルタバンクで構成される分光デバイスで得られる２次元分光マップの概略図である。
　図１２において、６０１がユニットを、６０２がフィルタバンクアレイを、６０３は撮像イメージを、それぞれ示している。
　各ユニット６０１は、Ｋ＊Ｌ種類（ここでＫ，Ｌは１以上の整数）のフィルタからなるフィルタバンクで構成されており、図１１で示したように、それぞれは空間解像度を持たない分光スペクトルの再現機能を有する。
　さらに、そのフィルタバンクがアレイ状に配置されてフィルタバンクアレイが形成されている。つまり、図１２では、４ｘ５＝２０画素相当の２次元分光撮像イメージ６０３ができることになる。
　次に、固体撮像素子をフィルタバンクの１ユニットの半分の間隔でシフトさせながら各々の場所で色スペクトルを撮影することで空間解像度を上げる手法について概説する。
　図１３は、本実施形態に係る固体撮像素子をフィルタバンクの１ユニットの半分の間隔でシフトさせながら各々の場所で色スペクトルを撮影することで空間解像度を上げる手法について概説するための図である。
　まず、最初のステップＳＴ１では、センサは位置Ａにある（１．Ａ)。位置Ａでの撮影を終えると次のステップでは位置Ｂにシフトする（２．Ｂ）。
　その次のステップＳＴ２では、位置Ｃにシフト（３．Ｃ）する。
　その次のステップＳＴ３では、位置Ｄにシフトする（４．Ｄ）。
　そして、ステップＳＴ４で位置Ｄから位置Ａにシフトすることで、最初の位置に戻ってくる(５．Ａ)。これらそれぞれの位置（Ａ，Ｂ，Ｃ，Ｄ)で撮影を行い、それぞれの波長データを合成することで、より解像度の高い２次元分光イメージングが可能になる。
　このように、本実施形態の固体撮像素子は、撮像素子を２次元画素が展開される平面と水平な面内に微小距離だけシフトする機能を有する。その撮像素子をシフトさせるタイミングは画素出力の読出しフレーム時間などのセンサの読出しタイミングに同期する基準時間に対応する。
　また、上述にように、固体撮像素子は、撮像素子を２次元画素平面に水平な面内に微小距離だけシフトする機能を有し、そのシフト量はフィルタバンク１ユニットのＸ軸Ｙ軸方向のサイズの半分、もしくはその整数分の１に相当するシフト量である。
　２次元撮像素子は微小距離だけセンサをシフトさせる都度、各画素からの分光データを取得することができる。さらに、シフト量の組合せパターンの種類分だけ取得した荒い空間分解能での分光データセットを合成することで、より細かい空間分解能を有する２次元マップを合成することができる。
　次に、本実施形態の分光撮像システムが保持するフィルタ透過率のデータベースの構成方法について説明する。
　図１４は、本実施形態の分光撮像システムが保持するフィルタ透過率のデータベースの校正方法について示すフローチャートである。
　この方法では、校正モードになると（ＳＴ１１）、データベースの校正を行うか否かの判別を行う（ＳＴ１２）。
　校正を行う場合には、データベースは標準光源を撮影することで（ＳＴ１３）、新たに上書き更新することができる（ＳＴ１４）。これにより、フィルタ特性やセンサ特性、システムの長年の経時劣化があった場合でも、高い再現性を維持することができる。
　なお、データベースの校正を行わない場合には、データベースの更新は行われない（ＳＴ１５）。
＜６．分光撮像システムの構成例＞
　図１５は、本実施形態の分光撮像システムの構成例を示すブロック図である。
　図１５の分光撮像システム７００は、センサモジュール７０１、光学系７０２、モジュール制御部７０３、光学系制御部７０４、光源制御部７０５、ＤＳＰ（信号処理部）７０６、および撮像素子制御部７０７を有する。
　さらに分光撮像システム７００は、画像・スペクトル信号処理部７０８、データベース７０９、記録部７１０、マイクロプロセッサ７１１、およびユーザーインターフェース７１２を有する。
　分光撮像システム７００において、モジュール制御部７０３、光学系制御部７０４、光源制御部７０５、撮像素子制御部７０７、画像・スペクトル信号処理部７０８、データベース７０９、記録部７１０、マイクロプロセッサ７１１はバスＢＳにより接続されている。
　ユーザーインターフェース７１２を介して入力されるユーザーによる撮像処理等を受けて、マイクロプロセッサ７１１が全体的な制御を行う。
　センサモジュール７０１は、上述した本実施形態に係る固体撮像素子７０１１（図１の固体撮像素子１００等）、およびアクチュエータ７０１２が実装されている。
　固体撮像素子７０１１をシフトさせる機構であるアクチュエータ７０１２は、静電アクチュエータ、ポリマーアクチュエーター、形状記憶合金などに形成される。
　モジュール制御部７０３は、センサモジュール７０１のモジュール光学系を制御する制御部７０３１、アクチュエータ７０１２を制御する制御部７０３２を含み、センサモジュール７０１の駆動系の制御を行う。
　光学系７０２は、対物レンズ７０２１や固体撮像素子７０１１の受光面の被写体象を結像する結像レンズ７０２２等を含んで構成され、光学系制御部７０４により制御される。
　光源制御部７０５は、ＬＥＤ光源７０５１やレーザー光源７０５２の制御を行う。
　このように、本システムはレーザーやＬＥＤ光源など可視波長および近赤外線の特定波長で高輝度の光源出力を備えている。
　センサモジュール７０１で得られる撮像データは、ＤＳＰ７０６、撮像素子制御部７０７を通して所定の処理を受けた後、画像・スペクトル信号処理部７０８等に転送される。
　画像・スペクトル信号処理部７０８において、上述したようなスペクトル波の類推等の信号処理が行われる。このとき、データベース７０９が上述したように適宜アクセスされ、必要に応じて更新処理等が行われる。
　画像・スペクトル信号処理部７０８は、たとえば記憶部が保持するデータベース７０９の各フィルタの透過率情報と各画素出力との積和演算により入力スペクトルを推定する信号復元機能を有する。
＜７．金属薄膜フィルタの製造方法＞
　以下では、本分光撮像デバイスにおける金属薄膜フィルタの製造方法について概略を述べる。
　ただし、本金属薄膜フィルタの構造を高精度で実現できるのであれば、下記に記述の製造方法に限定しない。また、ここでは一般的なＣＭＯＳ型固体撮像素子の製造プロセスで広く用いられているアルミニウムを用いて、本構造体を実装する手法について説明しているが、当然、それ以外の導体、たとえばＡｇ，Ａｕなどでも構わない。
　本構造は固体撮像素子の光検出素子上面にシリコン酸化膜などの平滑化層を形成し、その上層に導体薄膜を配置する構造を基本とする。
　当然ながら、本構造以下の光検出部は一般的なＣＭＯＳ型固体撮像素子で良く、更にはＣＭＯＳ型固体撮像素子に限らずＣＣＤ型固体撮像素子でも構わない。したがって、光電変換素子の構造および製造方法については周知の方法を適用可能であり、ここではその説明は省略する。
　まず、金属薄膜フィルタを実装するベースとなる平滑化層をプラズマＣＶＤ法などによりシリコン酸化膜を積層させることにより実現する。
　その上に、金属薄膜フィルタのベースとなる金属薄膜をスパッタリングなどで積層する。金属薄膜にフィルタ機能を作り込む微細構造は、電子ビームリソグラフィ、フォトリソグラフィ、干渉露光法、エッチングなどの技術により作製する。
　エッチングは異方性ドライエッチングが好ましく、エッチングに用いるガスは四フッ化メタン(ＣＦ４)系のエッチングガスが好適である。
　その他、六フッ化硫黄、トリフルオロメタン、二フッ化キセノンなども好適である。その他、電子ビームリソグラフィにより基本構造のナノスタンパを作製し、ナノインプリント技術により構造を転写しても構わない。
　次に、金属薄膜フィルタの空隙部を充填する層間絶縁膜をプラズマＣＶＤ法などにより積層する。ここでプラズマＣＶＤ法を用いるのは、減圧ＣＶＤ法に比べて相対的に低い温度（２５０℃～４００℃)での成膜が可能であるため、Ａｌなどの金属でできた金属薄膜フィルタを実装した後に保護膜を形成するのに有利であるためである。
　当然ながら、その他の手法によっても金属薄膜成膜後に用いることが可能な手法であれば、上記手法には限定されない。
　なお、可視波長帯域で用いる絶縁層の媒質としては、酸化シリコン（ＳｉＯ２）およびＳｉＯ２を主成分とする複合素材が好適である。その他にフッ化マグネシウム（ＭｇＦ２）などを用いることができる。
　その他、屈折率が大きくなるが、窒化シリコン（Ｓｉ３Ｎ４）、酸化チタン（ＴｉＯ２）、酸化タンタル（Ｔａ２Ｏ５）、酸化ジルコニウム（ＺｒＯ２）、酸化ニオブ(Ｎｂ２Ｏ５)、酸化ハフニウム（ＨｆＯ２）などの酸化物、窒化物を用いることもできる。
　図１６は、金属薄膜フィルタの製造装置の概略構成を示す図である。
　図１６の製造装置８００は、高周波電源８０１，８０３、インピーダンス整合器８０２，８０４、基板８０５、ターゲット８０６、真空デュワー８０７等を含んで構成されている。
　基板８０５は、インピーダンス整合器８０２を介して高周波電源８０１に接続される。
　また、ターゲット８０６も同様にインピーダンス整合器８０４を介して高周波電源８０３に接続される。
　ここで高周波電源は、一般に周波数が１３．５６ＭＨｚであることが多い。
　真空デュワー８０７中には、不活性ガス（たとえばＡｒガス）を主成分とする混合ガスを充填し、典型的には０．１～１０ｍＴｏｒｒ程度のガス圧力が好適である。
　ターゲット８０６および基板８０５に高周波電源８０３，８０１による電力を供給することでプラズマを生成させる。ターゲット８０６に交流電圧を印加することで、探針特性の非線形性による直流バイアス（自己バイアス効果）がかかりターゲット８０６は時間平均で負電位になる。
　したがって、正電荷を持つ気体イオンは電位差による運動エネルギーを獲得してターゲット８０６に衝突する。この反応によりターゲット物質の表面の原子・分子が飛散し、その物質粒子が基板８０５に付着して基板８０５上に薄膜が積層される。
　一方で、基板８０５にも高周波電源８０１とインピーダンス整合器８０２が接続されている。そのため、基板８０５に供給する電力、ガスの種類、圧力を調整することで、衝突するイオンの種類、運動エネルギーの大小、スパッタリングの効果を制御することができる。
　スパッタリングによる成膜効果を伴わない、単独のスパッタエッチングを行う場合には、基板８０５のみに高周波電源を供給すれば良い。
　また成膜する際に、ＣＦ４などのガス流量を調整しながら成膜を行うことで、ＳｉＯ２の屈折率は狭い範囲でコントロールすることができる。
　そのため、画素領域を複数に分割して、領域ごとに異なる屈折率を有する誘電体膜を実装することが可能になる。それにより、金属薄膜フィルタの加工パターンが共通であっても、プラズモン共鳴波長が微妙に変化し、その結果、より多数種類のフィルタの実装が可能になり、より高い波長分解能（高分散）での分光データの取得が可能になる。
　以上説明したように、本実施形態によれば、以下の効果を得ることができる。
　単一のチップで高感度な分光スペクトルが可能になる。金属薄膜フィルタの単独フィルタサイズと固体撮像素子の単画素のサイズが異なっていても、撮像画素の隣接画素間でフィルタを共有することで次の利点を供する。
　すなわち、専用の固体撮像素子ではなくても、フィルタを実装するだけで分光・撮像機能が実現でき、より安価で高性能な分光・撮像デバイスが実現できる。
　同一パターンの金属薄膜フィルタでも屈折率をＸ種類に増やすことで、実効的にフィルタの種類をＸ倍することが可能になり、その結果、より高い波長分解能で分光・撮像することが可能になる。
　空間解像度の高い２次元分光マッピングが可能になる。８ｘ８画素や１６ｘ１６画素といった比較的規模の大きい範囲での隣接画素間で金属薄膜フィルタを共有するため、既存の手法では２次元分光マッピングを行う際に、空間解像度が大きく低下する問題があった。本技術による画素シフト法を組み合わせることで、より高い２次元分光撮像の安価な実現が可能になる。
　Ｎ種類のフィルタの透過特性データベースを保持、更にその更新が可能な機能を有することで、そのデータと出力画素値との積和演算により入力スペクトルを高精度で復元することが可能になる。
　回折格子などの狭帯域フィルタと違って、各々のフィルタは狭帯域ではないため、光を効率よく使用し、計算により入力スペクトルを推定する手法であるため、高波長分解能と高感度の両立が可能になる。
　なお、本技術は以下のような構成もとることができる。
（１）光電変換素子を含む画素がアレイ状に配列された２次元画素アレイと、
　上記２次元画素アレイの画素領域に対向するように配置され、検出すべき波長よりも短い周期的な微細パターンを有する分光機能を備えた複数種類のフィルタと、を有し、
　上記各フィルタは、
　　上記２次元画素アレイの各画素の光電変換素子よりも大きく、隣接する複数の光電変換素子群に対して１種類のフィルタが配置された一つのユニットを形成し、
　上記複数種類のフィルタは、
　　隣接するユニット群に対して配置されてフィルタバンクを形成し、
　上記フィルタバンクが上記２次元画素アレイの画素領域に対向するように、ＮｘＭユニット（但し、Ｎ，Ｍは１以上の整数）配置されている
　固体撮像素子。
（２）上記フィルタは、
　　検出すべき波長よりも短い周期的な微細加工パターンを有する金属薄膜フィルタを含み、
　　上記金属薄膜フィルタは、
　　　プラズマ周波数が紫外線域・可視波長域にある金属により形成され、
　　　サブミクロンスケールの間隔で凹凸部、または孔構造が周期的に配置された１次元格子または２次元格子である
　上記（１）記載の固体撮像素子。
（３）上記金属薄膜フィルタは、
　　検出すべき所望の電磁波波長帯域内の特定の電磁波を選択的に吸収・透過させるフィルタリング機能を有し、当該フィルタが有する凹凸部または孔構造の周期パターンの間の空隙は、中空構造または誘電体で充填されている
　上記（２）記載の固体撮像素子。
（４）上記金属薄膜フィルタは、
　　検出すべき所望の電磁波波長帯域内の特定の電磁波を選択的に吸収・透過させるフィルタリング機能を有し、当該フィルタが有する凹凸部または孔構造の周期パターンの間の空隙は誘電体で充填されており、かつ複数あるフィルタバンクのうち少なくとも１つのフィルタバンクは他のフィルタバンクとは異なる屈折率を有する誘電体でその空隙部が充填されている
　上記（２）記載の固体撮像素子
（５）上記金属薄膜フィルタは、
　　誘電体からなる平滑化層の上層に配置されている
　上記（２）から（４）のいずれか一に記載の固体撮像素子。
（６）上記金属薄膜フィルタは、
　　誘電体により形成される平滑化層の上層に配置され、当該誘電体の平滑化層の屈折率は上記画素領域の複数領域でそれぞれが異なる屈折率を有する
　上記（２）から（４）のいずれか一に記載の固体撮像素子。
（７）上記画素領域に対向して配置される上記金属薄膜フィルタの各フィルタは、
　　２次元画素アレイを形成する各画素と同等もしくはそれよりも広い面積を有し、隣接する横（Ｘ軸方向）Ｕ画素、縦（Ｙ軸方向）Ｖ画素で形成される画素群に対して１種類のフィルタが配置される
　上記（２）から（６）のいずれか一に記載の固体撮像素子。
　ここで、Ｕ，Ｖは１以上の整数である。
（８）上記フィルタは、
　　Ｘ軸方向にＫ種類、Ｙ軸方向にＬ種類あり、
　　それぞれのフィルタ群はＫ＊Ｌ種類のフィルタで１つのフィルタバンクユニットを形成し、当該フィルタバンクを１ユニット以上有する
　上記（１）から（７）のいずれか一に記載の固体撮像素子。
　ここで、Ｋ，Ｌはそれぞれ１以上の整数である。
（９）配置される上記フィルタバンクは、
　　Ｘ軸方向にＮ種類、Ｙ軸方向にＭ種類ある
　上記（８）記載の固体撮像素子。
　ここで、Ｎ,Ｍはそれぞれ１以上の整数である。
（１０）上記フィルタバンクの各フィルタの電磁波波長ごとの透過率情報をデータベースとして保持する記憶部を有する
　上記（１）から（９）のいずれか一に記載の固体撮像素子。
（１１）上記フィルタバンクの各フィルタの波長ごとの透過率情報をデータベースとして保持する記憶部を有し、
　上記データベースは、
　　基準光源を撮影することで再校正および更新が可能である
　上記（１）から（９）のいずれか一に記載の固体撮像素子。
（１２）上記記憶部が保持するデータベースの各フィルタの透過率情報と各画素出力との積和演算により入力スペクトルを推定する信号処理部を有する
　上記（１０）または（１１）記載の固体撮像素子。
（１３）上記２次元画素アレイにより形成される撮像素子は、画素が２次元に展開される平面と水平な面内に微小距離だけシフトする機構を有し、
　上記撮像素子をシフトさせるタイミングは画素出力の読出しフレーム時間などのセンサの読出しタイミングに同期する基準時間に対応する
　上記（１）から（１２）のいずれか一に記載の固体撮像素子。
（１４）上記２次元画素アレイにより形成される撮像素子は、画素が２次元に展開される平面と水平な面内に微小距離だけシフトする機構を有し、
　そのシフト量はフィルタバンク１ユニットのＸ軸Ｙ軸方向のサイズの半分、もしくはその整数分の１に相当するシフト量であり、
　上記撮像素子を微小距離だけセンサをシフトさせる都度、各画素からの分光データを取得し、更にシフト量の組合せパターンの種類分だけ取得した荒い空間分解能での分光データセットを合成することで、より細かい空間分解能を有する２次元マップを合成する処理部を有する
　上記（１）から（１３）のいずれか一に記載の固体撮像素子。
（１５）ＣＭＯＳ型固体撮像素子であり、
　上記各画素は画素ごとにオンチップ集光素子を備え、上記集光素子よりも屈折率が小さい素材をオンチップ集光素子の上層に積層することで、集光機能を維持したまま平滑化層が配置され、当該平滑化層上に上記フィルタが配置されている
　上記（１）から（１４）のいずれか一に記載の固体撮像素子。
（１６）
　上記フィルタは、
　　高屈折率の媒質と低屈折率の媒質を積層した電磁波波長を透過させる光学フィルタを含む
　上記（１）、（８）から（１５）のいずれか一に記載の固体撮像素子。
（１７）固体撮像素子と、
　上記固体撮像素子の２次元画素アレイ部に被写体象を結像する光学系と、を有し、
　上記固体撮像素子は、
　　光電変換素子を含む画素がアレイ状に配列された２次元画素アレイと、
　　上記２次元画素アレイの画素領域に対向するように配置され、検出すべき波長よりも短い周期的な微細パターンを有する分光機能を備えた複数種類のフィルタと、を有し、
　　上記各フィルタは、
　　　上記２次元画素アレイの各画素の光電変換素子よりも大きく、隣接する複数の光電変換素子群に対して１種類のフィルタが配置された一つのユニットを形成し、
　　上記複数種類のフィルタは、
　　　隣接するユニット群に対して配置されてフィルタバンクを形成し、
　　上記フィルタバンクが上記２次元画素アレイの画素領域に対向するように、ＮｘＭユニット（但し、Ｎ，Ｍは１以上の整数）配置されている
　撮像システム。
　１００・・・固体撮像素子、１１０・・・画素アレイ部、１１０Ａ・・・画素、１１１・・・フォトダイオード（光電変換素子）、１１２・・・転送トランジスタ、１１３・・・ＦＤ、１１４・・・増幅トランジスタ、１１５・・・選択トランジスタ、１１６・・・リセットトランジスタ、１２０・・・垂直走査回路、１３０・・・水平転送走査回路、１４０・・・カラムＡＤＣ回路、１５０・・・ＰＬＬ回路、１５０・・・ＤＡＣ（デジタル－アナログコンバータ）、１７０・・・センスアンプ回路（Ｓ／Ａ）、２０１・・・２次元画素群（画素アレイ部）、２０２・・・金属薄膜フィルタ群（フィルタバンク、ユニット）、２０３・・・フィルタバンクアレイ、３００・・・金属薄膜フィルタ、５００，５００Ａ～５００Ｅ・・・固体撮像素子、５０１・・・オンチップマイクロレンズ、、５０２Ａ，５０２Ｂ，５０２Ｃ・・・金属薄膜フィルタ、５０３・・・平滑化層、５０４・・・フォトダイオード、５０５・・・信号配線層、５０６Ａ，５０６Ｂ，５０６Ｃ・・・隣接画素、５０７，５０７Ａ・・・平滑化層，５１２Ａ，５１２Ｂ・・・フォトニックフィルタ、７００・・・分光撮像システム、７０１・・・センサモジュール、７０２・・・光学系、７０３・・・モジュール制御部、７０４・・・光学系制御部、７０５・・・光源制御部、７０６・・・ＤＳＰ（信号処理部）、７０７・・・撮像素子制御部、７０８・・・画像・スペクトル信号処理部、７０９・・・データベース、７１０・・・記録部、７１１・・・マイクロプロセッサ、７１２・・・ユーザーインターフェース。

Claims (17)

  1. 　光電変換素子を含む画素がアレイ状に配列された２次元画素アレイと、
    　上記２次元画素アレイの画素領域に対向するように配置され、検出すべき波長よりも短い周期的な微細パターンを有する分光機能を備えた複数種類のフィルタと、を有し、
    　上記各フィルタは、
    　　上記２次元画素アレイの各画素の光電変換素子よりも大きく、隣接する複数の光電変換素子群に対して１種類のフィルタが配置された一つのユニットを形成し、
    　上記複数種類のフィルタは、
    　　隣接するユニット群に対して配置されてフィルタバンクを形成し、
    　上記フィルタバンクが上記２次元画素アレイの画素領域に対向するように、ＮｘＭユニット（但し、Ｎ，Ｍは１以上の整数）配置されている
    　固体撮像素子。
  2. 　上記フィルタは、
    　　検出すべき波長よりも短い周期的な微細加工パターンを有する金属薄膜フィルタを含み、
    　　上記金属薄膜フィルタは、
    　　　プラズマ周波数が紫外線域・可視波長域にある金属により形成され、
    　　　サブミクロンスケールの間隔で凹凸部、または孔構造が周期的に配置された１次元格子または２次元格子である
    　請求項１記載の固体撮像素子。
  3. 　上記金属薄膜フィルタは、
    　　検出すべき所望の電磁波波長帯域内の特定の電磁波を選択的に吸収・透過させるフィルタリング機能を有し、当該フィルタが有する凹凸部または孔構造の周期パターンの間の空隙は、中空構造または誘電体で充填されている
    　請求項２記載の固体撮像素子。
  4. 　上記金属薄膜フィルタは、
    　　検出すべき所望の電磁波波長帯域内の特定の電磁波を選択的に吸収・透過させるフィルタリング機能を有し、当該フィルタが有する凹凸部または孔構造の周期パターンの間の空隙は誘電体で充填されており、かつ複数あるフィルタバンクのうち少なくとも１つのフィルタバンクは他のフィルタバンクとは異なる屈折率を有する誘電体でその空隙部が充填されている
    　請求項２記載の固体撮像素子
  5. 　上記金属薄膜フィルタは、
    　　誘電体からなる平滑化層の上層に配置されている
    　請求項２記載の固体撮像素子。
  6. 　上記金属薄膜フィルタは、
    　　誘電体により形成される平滑化層の上層に配置され、当該誘電体の平滑化層の屈折率は上記画素領域の複数領域でそれぞれが異なる屈折率を有する
    　請求項２記載の固体撮像素子。
  7. 　上記画素領域に対向して配置される上記金属薄膜フィルタの各フィルタは、
    　　２次元画素アレイを形成する各画素と同等もしくはそれよりも広い面積を有し、隣接する横（Ｘ軸方向）Ｕ画素、縦（Ｙ軸方向）Ｖ画素で形成される画素群に対して１種類のフィルタが配置される
    　請求項２記載の固体撮像素子。
    　ここで、Ｕ，Ｖは１以上の整数である。
  8. 　上記フィルタは、
    　　Ｘ軸方向にＫ種類、Ｙ軸方向にＬ種類あり、
    　　それぞれのフィルタ群はＫ＊Ｌ種類のフィルタで１つのフィルタバンクユニットを形成し、当該フィルタバンクを１ユニット以上有する
    　請求項１記載の固体撮像素子。
    　ここで、Ｋ，Ｌはそれぞれ１以上の整数である。
  9. 　配置される上記フィルタバンクは、
    　　Ｘ軸方向にＮ種類、Ｙ軸方向にＭ種類ある
    　請求項８記載の固体撮像素子。
    　ここで、Ｎ,Ｍはそれぞれ１以上の整数である。
  10. 　上記フィルタバンクの各フィルタの電磁波波長ごとの透過率情報をデータベースとして保持する記憶部を有する
    　請求項１記載の固体撮像素子。
  11. 　上記フィルタバンクの各フィルタの波長ごとの透過率情報をデータベースとして保持する記憶部を有し、
    　上記データベースは、
    　　基準光源を撮影することで再校正および更新が可能である
    　請求項１記載の固体撮像素子。
  12. 　上記記憶部が保持するデータベースの各フィルタの透過率情報と各画素出力との積和演算により入力スペクトルを推定する信号処理部を有する
    　請求項１０記載の固体撮像素子。
  13. 　上記２次元画素アレイにより形成される撮像素子は、画素が２次元に展開される平面と水平な面内に微小距離だけシフトする機構を有し、
    　上記撮像素子をシフトさせるタイミングは画素出力の読出しフレーム時間などのセンサの読出しタイミングに同期する基準時間に対応する
    　請求項１記載の固体撮像素子。
  14. 　上記２次元画素アレイにより形成される撮像素子は、画素が２次元に展開される平面と水平な面内に微小距離だけシフトする機構を有し、
    　そのシフト量はフィルタバンク１ユニットのＸ軸Ｙ軸方向のサイズの半分、もしくはその整数分の１に相当するシフト量であり、
    　上記撮像素子を微小距離だけセンサをシフトさせる都度、各画素からの分光データを取得し、更にシフト量の組合せパターンの種類分だけ取得した荒い空間分解能での分光データセットを合成することで、より細かい空間分解能を有する２次元マップを合成する処理部を有する
    　請求項１記載の固体撮像素子。
  15. 　ＣＭＯＳ型固体撮像素子であり、
    　上記各画素は画素ごとにオンチップ集光素子を備え、上記集光素子よりも屈折率が小さい素材をオンチップ集光素子の上層に積層することで、集光機能を維持したまま平滑化層が配置され、当該平滑化層上に上記フィルタが配置されている
    　請求項１記載の固体撮像素子。
  16. 　上記フィルタは、
    　　高屈折率の媒質と低屈折率の媒質を積層した電磁波波長を透過させる光学フィルタを含む
    　請求項１記載の固体撮像素子。
  17. 　固体撮像素子と、
    　上記固体撮像素子の２次元画素アレイ部に被写体象を結像する光学系と、を有し、
    　上記固体撮像素子は、
    　　光電変換素子を含む画素がアレイ状に配列された２次元画素アレイと、
    　　上記２次元画素アレイの画素領域に対向するように配置され、検出すべき波長よりも短い周期的な微細パターンを有する分光機能を備えた複数種類のフィルタと、を有し、
    　　上記各フィルタは、
    　　　上記２次元画素アレイの各画素の光電変換素子よりも大きく、隣接する複数の光電変換素子群に対して１種類のフィルタが配置された一つのユニットを形成し、
    　　上記複数種類のフィルタは、
    　　　隣接するユニット群に対して配置されてフィルタバンクを形成し、
    　　上記フィルタバンクが上記２次元画素アレイの画素領域に対向するように、ＮｘＭユニット（但し、Ｎ，Ｍは１以上の整数）配置されている
    　撮像システム。
PCT/JP2012/067717 2011-07-28 2012-07-11 固体撮像素子および撮像システム WO2013015117A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
RU2014101709/28A RU2014101709A (ru) 2011-07-28 2012-07-11 Твердотельный датчик изображения и система формирования изображения
BR112014001426A BR112014001426A2 (pt) 2011-07-28 2012-07-11 sensor de imagem em estado sólido, e, sistema de formação de imagem
CN201280036132.9A CN103733340B (zh) 2011-07-28 2012-07-11 固体摄像元件和摄像系统
KR1020197029347A KR102153846B1 (ko) 2011-07-28 2012-07-11 고체 촬상 소자 및 촬상 시스템
US14/233,220 US9960198B2 (en) 2011-07-28 2012-07-11 Solid-state image sensor, and imaging system
EP12817111.3A EP2738810B1 (en) 2011-07-28 2012-07-11 Solid-state imaging element and imaging system
KR1020147000593A KR102031384B1 (ko) 2011-07-28 2012-07-11 고체 촬상 소자 및 촬상 시스템
IN482CHN2014 IN2014CN00482A (ja) 2011-07-28 2014-01-21
US15/823,842 US10103189B2 (en) 2011-07-28 2017-11-28 Solid-state image sensor, and imaging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-165786 2011-07-28
JP2011165786A JP5760811B2 (ja) 2011-07-28 2011-07-28 固体撮像素子および撮像システム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/233,220 A-371-Of-International US9960198B2 (en) 2011-07-28 2012-07-11 Solid-state image sensor, and imaging system
US15/823,842 Division US10103189B2 (en) 2011-07-28 2017-11-28 Solid-state image sensor, and imaging system

Publications (1)

Publication Number Publication Date
WO2013015117A1 true WO2013015117A1 (ja) 2013-01-31

Family

ID=47600969

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/067717 WO2013015117A1 (ja) 2011-07-28 2012-07-11 固体撮像素子および撮像システム

Country Status (10)

Country Link
US (2) US9960198B2 (ja)
EP (1) EP2738810B1 (ja)
JP (1) JP5760811B2 (ja)
KR (2) KR102031384B1 (ja)
CN (1) CN103733340B (ja)
BR (1) BR112014001426A2 (ja)
IN (1) IN2014CN00482A (ja)
RU (1) RU2014101709A (ja)
TW (1) TWI595635B (ja)
WO (1) WO2013015117A1 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014038206A1 (ja) * 2012-09-07 2014-03-13 株式会社デンソー 光センサ
WO2014199720A1 (ja) * 2013-06-14 2014-12-18 シャープ株式会社 固体撮像装置
CN104251818A (zh) * 2013-06-28 2014-12-31 索尼公司 图像捕获装置和电子设备
JP2018098345A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び電子機器
US10319764B2 (en) 2015-06-18 2019-06-11 Sony Corporation Image sensor and electronic device
US10728506B2 (en) 2014-06-09 2020-07-28 Sony Semiconductor Solutions Corporation Optical filter, solid state imaging device, and electronic apparatus
CN111811651A (zh) * 2020-07-23 2020-10-23 清华大学 光谱芯片、光谱仪及光谱芯片制备方法
EP3800218A1 (en) 2019-10-04 2021-04-07 Nabtesco Corporation Transparent resin composition for molding and 3d molded article
CN113227729A (zh) * 2019-03-06 2021-08-06 松下知识产权经营株式会社 光检测装置、光检测系统及滤波器阵列
JP2022503280A (ja) * 2019-07-31 2022-01-12 清華大学 画像取得チップ、物体イメージング認識設備、及び物体イメージング認識方法
JP2022503296A (ja) * 2019-07-31 2022-01-12 清華大学 光変調マイクロナノ構造、マイクロ統合分光計及びスペクトル変調方法
US11231534B2 (en) 2017-03-16 2022-01-25 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic apparatus
RU2778496C1 (ru) * 2021-10-04 2022-08-22 Самсунг Электроникс Ко., Лтд. Коррекция многолучевой интерференции и распознавание материалов на основе структурированной подсветки без уменьшения частоты кадров
US11563045B2 (en) 2017-12-21 2023-01-24 Sony Semiconductor Solutions Corporation Electromagnetic wave processing device
JP2023081271A (ja) * 2021-11-30 2023-06-09 采▲ぎょく▼科技股▲ふん▼有限公司 光学装置
US11776976B2 (en) 2017-12-21 2023-10-03 Sony Semiconductor Solutions Corporation Electromagnetic wave processing device
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9397129B2 (en) * 2013-03-15 2016-07-19 Taiwan Semiconductor Manufacturing Company Limited Dielectric film for image sensor
US20160064436A1 (en) * 2013-04-23 2016-03-03 Sharp Kabushiki Kaisha Circuit-integrated photoelectric converter and method for manufacturing the same
US9876125B2 (en) * 2013-08-23 2018-01-23 Sharp Kabushiki Kaisha Photoelectric conversion device and method for manufacturing same
JP6214285B2 (ja) * 2013-09-04 2017-10-18 シャープ株式会社 カラーセンサ
CN105518870B (zh) * 2013-10-03 2017-05-17 夏普株式会社 光电转换装置
JP2015087526A (ja) * 2013-10-30 2015-05-07 旭化成株式会社 赤外線用バンドパスフィルタ
JP2015118081A (ja) * 2013-11-12 2015-06-25 キヤノン株式会社 放射線検出システムおよび放射線撮像装置
FR3014243B1 (fr) * 2013-12-04 2017-05-26 St Microelectronics Sa Procede de realisation d'un dispositif imageur integre a illumination face avant comportant au moins un filtre optique metallique, et dispositif correspondant
FR3025361B1 (fr) * 2014-08-29 2017-12-08 Commissariat Energie Atomique Capteur photosensible
CN107078138B (zh) * 2014-10-06 2020-12-18 索尼公司 固态摄像装置和电子设备
JP2016114627A (ja) * 2014-12-11 2016-06-23 シャープ株式会社 光学フィルタ
JP6072100B2 (ja) 2015-01-30 2017-02-01 キヤノン株式会社 放射線撮影システム、制御方法、制御方法、及びプログラム
JPWO2016158128A1 (ja) * 2015-03-31 2017-12-07 国立研究開発法人産業技術総合研究所 光検出装置および撮像装置
US9628735B2 (en) * 2015-06-22 2017-04-18 Omnivision Technologies, Inc. Imaging systems with single-photon-avalanche-diodes and sensor translation, and associated methods
US9698191B2 (en) * 2015-08-21 2017-07-04 Qualcomm Incorporated System and method to extend near infrared spectral response for imaging systems
US9876995B2 (en) * 2015-12-04 2018-01-23 Visera Technologies Company Limited Image sensor
WO2017109175A1 (en) * 2015-12-23 2017-06-29 Koninklijke Philips N.V. Calibration slide for digital pathology
US10535701B2 (en) * 2016-01-12 2020-01-14 Omnivision Technologies, Inc. Plasmonic-nanostructure sensor pixel
CN107154428B (zh) * 2016-03-03 2019-12-24 上海新昇半导体科技有限公司 互补纳米线半导体器件及其制备方法
CN109716176B (zh) * 2016-06-07 2021-09-17 艾瑞3D 有限公司 用于深度采集和三维成像的光场成像装置和方法
US10310144B2 (en) * 2016-06-09 2019-06-04 Intel Corporation Image sensor having photodetectors with reduced reflections
KR102294845B1 (ko) 2016-08-02 2021-08-30 삼성전자주식회사 광학필터, 광학 디바이스, 및 광학필터의 제조방법
JPWO2018030213A1 (ja) * 2016-08-09 2019-06-13 ソニー株式会社 固体撮像素子、固体撮像素子の瞳補正方法、撮像装置及び情報処理装置
KR102320479B1 (ko) * 2016-08-22 2021-11-03 삼성전자주식회사 분광기 및 이를 이용한 스펙트럼 측정방법
KR102255789B1 (ko) 2016-08-30 2021-05-26 삼성전자주식회사 광학모듈 및 이를 이용한 광학디바이스
CN106324739A (zh) * 2016-11-25 2017-01-11 湖南宏动光电有限公司 一种基于表面等离激元的光谱成像微滤光片及其制备方法
CN108615737A (zh) * 2016-12-11 2018-10-02 南京理工大学 制作在透明基材上的可提高光传感器灵敏度的结构及应用
JP2018098641A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、プログラム、および電子機器
JP6910792B2 (ja) 2016-12-13 2021-07-28 ソニーセミコンダクタソリューションズ株式会社 データ処理装置、データ処理方法、プログラム、および電子機器
JP6789792B2 (ja) * 2016-12-13 2020-11-25 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
JP7154736B2 (ja) * 2016-12-13 2022-10-18 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
JP6725060B2 (ja) * 2017-03-31 2020-07-15 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP6987529B2 (ja) 2017-05-15 2022-01-05 ソニーセミコンダクタソリューションズ株式会社 撮像素子、撮像素子の製造方法、電子機器、及び、撮像モジュール
US11424279B2 (en) * 2017-05-16 2022-08-23 Sony Semiconductor Solutions Corporation Imaging element and electronic device including imaging device
AU2018297291B2 (en) * 2017-07-05 2024-03-07 Ouster, Inc. Light ranging device with electronically scanned emitter array and synchronized sensor array
WO2019087691A1 (ja) 2017-10-31 2019-05-09 パナソニックＩｐマネジメント株式会社 構造体およびその製造方法
DE102018124442A1 (de) 2017-11-15 2019-05-16 Taiwan Semiconductor Manufacturing Co. Ltd. Polarisatoren für Bildsensorvorrichtungen
US10367020B2 (en) * 2017-11-15 2019-07-30 Taiwan Semiconductor Manufacturing Co., Ltd. Polarizers for image sensor devices
JP2019114576A (ja) * 2017-12-20 2019-07-11 ソニーセミコンダクタソリューションズ株式会社 光電変換素子および固体撮像装置
CN111357112B (zh) * 2017-12-22 2024-06-18 索尼半导体解决方案公司 固态成像装置和电子装置
JP2019129178A (ja) * 2018-01-22 2019-08-01 ソニーセミコンダクタソリューションズ株式会社 半導体素子及び電子機器
JP2019140230A (ja) * 2018-02-09 2019-08-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、電子装置、および、電子装置の製造方法
CN108844630A (zh) * 2018-04-16 2018-11-20 Oppo广东移动通信有限公司 成像装置、控制方法、电子装置、存储介质和计算机设备
CN108878585A (zh) * 2018-06-25 2018-11-23 中国科学院半导体研究所 多波段可见光至近红外焦平面探测器的制备方法
US11233081B2 (en) * 2018-09-26 2022-01-25 Taiwan Semiconductor Manufacturing Company, Ltd. Wave guide filter for semiconductor imaging devices
JP2020113630A (ja) 2019-01-10 2020-07-27 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
KR20200108133A (ko) * 2019-03-06 2020-09-17 삼성전자주식회사 이미지 센서 및 이미징 장치
CN110058341A (zh) * 2019-04-23 2019-07-26 Oppo广东移动通信有限公司 一种彩色滤波片和cis制备方法
KR20200127715A (ko) 2019-05-03 2020-11-11 삼성전자주식회사 반도체 장치 및 이의 제조 방법
US11054310B2 (en) * 2019-09-05 2021-07-06 Coherent AI LLC Spectral sensor system employing a deep learning model for sensing light from arbitrary angles of incidence, and related hyperspectral imaging sensor
WO2021059409A1 (ja) * 2019-09-25 2021-04-01 日本電信電話株式会社 撮像素子および撮像装置
CN113497065B (zh) * 2020-03-18 2024-03-26 吉林求是光谱数据科技有限公司 兼具光谱和成像功能的成像光谱芯片及其制备方法
JP2021150615A (ja) * 2020-03-23 2021-09-27 ソニーセミコンダクタソリューションズ株式会社 センサ装置およびその製造方法
EP3933461A3 (en) * 2020-07-02 2022-03-16 Samsung Electronics Co., Ltd. Spectral filter, and image sensor and electronic device including the spectral filter
WO2022085406A1 (ja) * 2020-10-19 2022-04-28 ソニーセミコンダクタソリューションズ株式会社 撮像素子、及び電子機器
CN114447006A (zh) 2020-10-30 2022-05-06 三星电子株式会社 包括分色透镜阵列的图像传感器和包括图像传感器的电子设备
JPWO2023032146A1 (ja) * 2021-09-03 2023-03-09
US20230093853A1 (en) * 2021-09-30 2023-03-30 Samsung Electronics Co., Ltd. Spectral filter, and image sensor and electronic device including the spectral filter
WO2024003159A1 (en) * 2022-07-01 2024-01-04 Admesy B.V. Luminance calibration device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008082569A1 (en) 2006-12-29 2008-07-10 Nanolambda, Inc. Wavelength selective metallic embossing nanostructure
JP2008177191A (ja) 2007-01-16 2008-07-31 Matsushita Electric Ind Co Ltd 固体撮像装置およびそれを用いたカメラ
JP2008177362A (ja) * 2007-01-18 2008-07-31 Matsushita Electric Ind Co Ltd 固体撮像装置およびカメラ
JP2009238942A (ja) * 2008-03-26 2009-10-15 Sony Corp 固体撮像素子及びその製造方法
JP2010165718A (ja) 2009-01-13 2010-07-29 Sony Corp 光学素子および固体撮像素子
JP2012059865A (ja) * 2010-09-08 2012-03-22 Sony Corp 撮像素子および撮像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2821421B2 (ja) * 1996-05-21 1998-11-05 日本電気株式会社 固体撮像装置
JP4076248B2 (ja) * 1997-09-09 2008-04-16 オリンパス株式会社 色再現装置
US6649901B2 (en) * 2002-03-14 2003-11-18 Nec Laboratories America, Inc. Enhanced optical transmission apparatus with improved aperture geometry
WO2005017570A2 (en) * 2003-08-06 2005-02-24 University Of Pittsburgh Surface plasmon-enhanced nano-optic devices and methods of making same
US7223960B2 (en) * 2003-12-03 2007-05-29 Micron Technology, Inc. Image sensor, an image sensor pixel, and methods of forming the same
US7329871B2 (en) * 2005-02-04 2008-02-12 Stc.Unm Plasmonic enhanced infrared detector element
KR100821346B1 (ko) * 2006-08-02 2008-04-10 삼성전자주식회사 화질이 향상되는 이미지 센서 및 이를 이용한 이미지 감지방법
US8054371B2 (en) * 2007-02-19 2011-11-08 Taiwan Semiconductor Manufacturing Company, Ltd. Color filter for image sensor
JP5076679B2 (ja) * 2007-06-28 2012-11-21 ソニー株式会社 固体撮像装置及びカメラモジュール
US9395473B2 (en) * 2009-03-20 2016-07-19 Nanolambda, Inc. Nano-optic filter array based sensor
JP5121764B2 (ja) * 2009-03-24 2013-01-16 株式会社東芝 固体撮像装置
JP5428509B2 (ja) * 2009-05-11 2014-02-26 ソニー株式会社 ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
US8198578B2 (en) 2009-06-23 2012-06-12 Nokia Corporation Color filters for sub-diffraction limit-sized light sensors
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
JP2011165786A (ja) 2010-02-08 2011-08-25 Seiko Epson Corp 光源装置、画像表示装置及びモニター装置
US9040913B2 (en) * 2011-12-19 2015-05-26 Nanohmics, Inc. Wavelength-selective, integrated resonance detector for electromagnetic radiation
JP6595157B2 (ja) 2014-03-04 2019-10-23 富士フイルム株式会社 細胞撮像制御装置および方法並びにプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008082569A1 (en) 2006-12-29 2008-07-10 Nanolambda, Inc. Wavelength selective metallic embossing nanostructure
JP2008177191A (ja) 2007-01-16 2008-07-31 Matsushita Electric Ind Co Ltd 固体撮像装置およびそれを用いたカメラ
JP2008177362A (ja) * 2007-01-18 2008-07-31 Matsushita Electric Ind Co Ltd 固体撮像装置およびカメラ
JP2009238942A (ja) * 2008-03-26 2009-10-15 Sony Corp 固体撮像素子及びその製造方法
JP2010165718A (ja) 2009-01-13 2010-07-29 Sony Corp 光学素子および固体撮像素子
JP2012059865A (ja) * 2010-09-08 2012-03-22 Sony Corp 撮像素子および撮像装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
EBBESEN, T.W. ET AL., NATURE, vol. 391, no. 6668, 1998, pages 667 - 669
P. B. CATRYSSE; B. A. WANDELL, J. OPT. SOC. AM. A, vol. 20, no. 12, 2003, pages 2293 - 2306
See also references of EP2738810A4

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9166081B2 (en) 2012-09-07 2015-10-20 Denso Corporation Optical sensor
WO2014038206A1 (ja) * 2012-09-07 2014-03-13 株式会社デンソー 光センサ
WO2014199720A1 (ja) * 2013-06-14 2014-12-18 シャープ株式会社 固体撮像装置
JPWO2014199720A1 (ja) * 2013-06-14 2017-02-23 シャープ株式会社 固体撮像装置
CN104251818A (zh) * 2013-06-28 2014-12-31 索尼公司 图像捕获装置和电子设备
US10728506B2 (en) 2014-06-09 2020-07-28 Sony Semiconductor Solutions Corporation Optical filter, solid state imaging device, and electronic apparatus
US10319764B2 (en) 2015-06-18 2019-06-11 Sony Corporation Image sensor and electronic device
US11181672B2 (en) 2016-12-13 2021-11-23 Sony Semiconductor Solutions Corporation Imaging device and electronic apparatus
JP7066316B2 (ja) 2016-12-13 2022-05-13 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び電子機器
WO2018110573A1 (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び電子機器
JP2018098345A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び電子機器
US11231534B2 (en) 2017-03-16 2022-01-25 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic apparatus
US11563045B2 (en) 2017-12-21 2023-01-24 Sony Semiconductor Solutions Corporation Electromagnetic wave processing device
US11776976B2 (en) 2017-12-21 2023-10-03 Sony Semiconductor Solutions Corporation Electromagnetic wave processing device
CN113227729B (zh) * 2019-03-06 2024-04-26 松下知识产权经营株式会社 光检测装置、光检测系统及滤波器阵列
CN113227729A (zh) * 2019-03-06 2021-08-06 松下知识产权经营株式会社 光检测装置、光检测系统及滤波器阵列
JP7232534B2 (ja) 2019-07-31 2023-03-03 清華大学 画像取得チップ、物体イメージング認識設備、及び物体イメージング認識方法
JP2022503296A (ja) * 2019-07-31 2022-01-12 清華大学 光変調マイクロナノ構造、マイクロ統合分光計及びスペクトル変調方法
JP2022503280A (ja) * 2019-07-31 2022-01-12 清華大学 画像取得チップ、物体イメージング認識設備、及び物体イメージング認識方法
US11881896B2 (en) 2019-07-31 2024-01-23 Tsinghua University Image collection chip, object imaging recognition device and object imaging recognition method
JP7498111B2 (ja) 2019-07-31 2024-06-11 清華大学 光変調マイクロナノ構造、マイクロ統合分光計及びスペクトル変調方法
EP3800218A1 (en) 2019-10-04 2021-04-07 Nabtesco Corporation Transparent resin composition for molding and 3d molded article
CN111811651A (zh) * 2020-07-23 2020-10-23 清华大学 光谱芯片、光谱仪及光谱芯片制备方法
RU2778496C1 (ru) * 2021-10-04 2022-08-22 Самсунг Электроникс Ко., Лтд. Коррекция многолучевой интерференции и распознавание материалов на основе структурированной подсветки без уменьшения частоты кадров
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
JP2023081271A (ja) * 2021-11-30 2023-06-09 采▲ぎょく▼科技股▲ふん▼有限公司 光学装置
JP7434427B2 (ja) 2021-11-30 2024-02-20 采▲ぎょく▼科技股▲ふん▼有限公司 光学装置

Also Published As

Publication number Publication date
BR112014001426A2 (pt) 2017-02-21
EP2738810A4 (en) 2015-07-01
TW201308585A (zh) 2013-02-16
US9960198B2 (en) 2018-05-01
RU2014101709A (ru) 2015-07-27
TWI595635B (zh) 2017-08-11
US20180090531A1 (en) 2018-03-29
KR102031384B1 (ko) 2019-11-08
KR102153846B1 (ko) 2020-09-08
EP2738810A1 (en) 2014-06-04
US20140146207A1 (en) 2014-05-29
IN2014CN00482A (ja) 2015-04-03
JP2013030626A (ja) 2013-02-07
CN103733340B (zh) 2017-02-15
JP5760811B2 (ja) 2015-08-12
CN103733340A (zh) 2014-04-16
KR20190116583A (ko) 2019-10-14
KR20140053948A (ko) 2014-05-08
EP2738810B1 (en) 2020-02-12
US10103189B2 (en) 2018-10-16

Similar Documents

Publication Publication Date Title
JP5760811B2 (ja) 固体撮像素子および撮像システム
KR101890940B1 (ko) 촬상 소자 및 촬상 장치
TWI472023B (zh) 成像器件及成像裝置
Chen et al. Nanophotonic image sensors
US7858921B2 (en) Guided-mode-resonance transmission color filters for color generation in CMOS image sensors
JP6725526B2 (ja) 分散して空間的符号化画像を作成する画像を伴う撮像素子
JP6105728B2 (ja) 固体撮像装置
WO2022161428A1 (zh) 光谱芯片及其制备方法、光谱分析装置
JP2015232599A (ja) 光学フィルタ、固体撮像装置、および電子機器
WO2014033976A1 (ja) 固体撮像素子、撮像装置および信号処理方法
WO2020122038A1 (ja) 固体撮像素子、固体撮像素子の製造方法、及び電子機器
TW202119094A (zh) 攝像元件及攝像裝置
Yokogawa Nanophotonics contributions to state-of-the-art CMOS Image Sensors
JP7364066B2 (ja) 撮像素子及び撮像装置
Wen et al. On-chip Real-time Hyperspectral Imager with Full CMOS Resolution Enabled by Massively Parallel Neural Network
JP2014086743A (ja) 固体撮像素子、撮像装置、および信号処理方法
Weber et al. Nanostructured optical filters in CMOS for multispectral polarization and image sensors
Hubold et al. Ultra-compact snapshot multispectral camera based on micro-optics and mono-lithically fabricated filter array
JP2014086742A (ja) 固体撮像素子、撮像装置、および信号処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12817111

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20147000593

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14233220

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2014101709

Country of ref document: RU

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014001426

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112014001426

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140121