WO2021145054A1 - 光学フィルタアレイ、光検出装置、および光検出システム - Google Patents

光学フィルタアレイ、光検出装置、および光検出システム Download PDF

Info

Publication number
WO2021145054A1
WO2021145054A1 PCT/JP2020/041439 JP2020041439W WO2021145054A1 WO 2021145054 A1 WO2021145054 A1 WO 2021145054A1 JP 2020041439 W JP2020041439 W JP 2020041439W WO 2021145054 A1 WO2021145054 A1 WO 2021145054A1
Authority
WO
WIPO (PCT)
Prior art keywords
wavelength
filter array
transmittance
optical
light
Prior art date
Application number
PCT/JP2020/041439
Other languages
English (en)
French (fr)
Inventor
石川　篤
安寿 稲田
久田　和也
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN202080007402.8A priority Critical patent/CN113439203A/zh
Priority to JP2021523316A priority patent/JP6952283B1/ja
Priority to EP20914325.4A priority patent/EP4092397A4/en
Publication of WO2021145054A1 publication Critical patent/WO2021145054A1/ja
Priority to US17/395,927 priority patent/US11843876B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/26—Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/28—Interference filters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2806—Array and filter array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2813—2D-array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block

Definitions

  • the present disclosure relates to an optical filter array, a photodetector, and a photodetector.
  • Hyperspectral cameras are used in various fields such as food inspection, biopsy, drug development, and mineral component analysis.
  • Patent Documents 1 and 2 disclose an example of a hyperspectral camera using compressed sensing.
  • Patent Document 1 discloses an imaging device including a coding element which is an array of a plurality of optical filters having different wavelength dependences of light transmittance and an image sensor for detecting light transmitted through the coding element. There is. The image sensor acquires one wavelength-multiplexed image by simultaneously detecting light in a plurality of wavelength bands for each pixel. By applying compressed sensing to the acquired wavelength division multiplexing image, an image for each of the plurality of wavelength bands is reconstructed.
  • the present disclosure provides a technique for reducing an error associated with the reconstruction of images in a plurality of wavelength bands.
  • the optical filter array according to one aspect of the present disclosure is used in a photodetector that generates image data for each of N wavelength bands (N is an integer of 4 or more).
  • the optical filter array includes a plurality of optical filters.
  • the plurality of optical filters include a plurality of types of optical filters having different transmittances in each of the N wavelength bands.
  • the average value of the transmittances of the plurality of optical filters for light in the i-th wavelength band (i is an integer of 1 or more and N or less) among the N wavelength bands is ⁇ i
  • the N wavelengths The standard deviation ⁇ ⁇ of the mean value ⁇ i of the transmittance for the band is The standard deviation ⁇ ⁇ of the average value ⁇ i of the transmittance is 0.13 or less.
  • the optical filter array according to another aspect of the present disclosure is used in a photodetector that generates image data for each of N wavelength bands (N is an integer of 4 or more).
  • the optical filter array includes a plurality of optical filters.
  • the plurality of optical filters include a plurality of types of optical filters having different transmittances in each of the N wavelength bands. Assuming that the standard deviation of the transmittance of the plurality of optical filters for light in the i-th wavelength band (i is an integer of 1 or more and N or less) among the N wavelength bands is ⁇ i , the N wavelengths The average value of the standard deviation ⁇ i of the transmittance for the band is 0.07 or more.
  • the optical filter array according to still another aspect of the present disclosure is used in a photodetector that generates image data for each of N wavelength bands (N is an integer of 4 or more).
  • the optical filter array includes a plurality of optical filters.
  • the plurality of optical filters include a plurality of types of optical filters having different transmittances in each of the N wavelength bands.
  • the average value of is 2.0 or more.
  • FIG. 1A is a diagram for explaining the optical characteristics of the optical filter array.
  • FIG. 1B is a diagram showing an example of a histogram of transmittance.
  • FIG. 2 is a diagram showing an example of the transmission spectrum of the Fabry-Perot filter.
  • FIG. 3A is a first diagram for explaining that the average transmittance for each wavelength band of the filter array changes according to the magnitude relationship between the peak line width and the bandwidth.
  • FIG. 3B is a second diagram for explaining that the average transmittance for each wavelength band of the filter array changes according to the magnitude relationship between the peak line width and the bandwidth.
  • FIG. 4A is a first diagram for explaining that the standard deviation of the transmittance for each wavelength band of the filter array changes according to the magnitude relationship between the peak line width and the bandwidth.
  • FIG. 4B is a second diagram for explaining that the standard deviation of the transmittance for each wavelength band of the filter array changes according to the magnitude relationship between the peak line width and the bandwidth.
  • FIG. 5A is a diagram schematically showing a photodetection system according to an exemplary embodiment of the present disclosure.
  • FIG. 5B is a diagram schematically showing a modified example of the photodetection system according to the exemplary embodiment of the present disclosure.
  • FIG. 5C is a diagram schematically showing another modification of the photodetection system according to the exemplary embodiment of the present disclosure.
  • FIG. 6A is a diagram schematically showing an example of a filter array.
  • FIG. 6B is a diagram showing an example of the spatial distribution of the light transmittance of the filter array.
  • FIG. 6C is a diagram showing an example of the transmission spectrum of the filter.
  • FIG. 6D is a diagram showing another example of the transmission spectrum of the filter.
  • FIG. 7A is a diagram for explaining the relationship between the target wavelength region W and the plurality of wavelength bands W 1 , W 2 , ..., W N included therein.
  • FIG. 7B is a diagram for explaining the relationship between the target wavelength region W and the plurality of wavelength bands W 1 , W 2 , ..., W N included in the target wavelength region W.
  • FIG. 8A is a diagram for explaining the characteristics of the transmission spectrum in a certain region of the filter array.
  • FIG. 8B is a diagram showing the results of averaging the transmission spectra shown in FIG.
  • FIG. 9 is a diagram schematically showing a part of a cross section of the photodetector in the exemplary embodiment.
  • FIG. 10 is a diagram for explaining an example of the transmission spectrum of the filter.
  • FIG. 11 is a diagram schematically showing an example of a Fabry-Perrot filter.
  • FIG. 12 is a diagram schematically showing another example of the Fabry-Perot filter.
  • FIG. 13 is a diagram for explaining the restoration characteristics when an ideal filter array having the same transmission characteristics for all wavelength bands is used.
  • FIG. 14 is a diagram showing a histogram of the transmittance distribution of the filter array for each wavelength band in the example of FIG. FIG.
  • FIG. 15 is a diagram showing an error between the correct image and the restored image for each band in the example of FIG.
  • FIG. 16 is a diagram for explaining the restoration characteristics when the average transmittance of some bands of the filter array is low.
  • FIG. 17 is a diagram showing a histogram of the transmittance of the filter array for bands 4, 5 and 6 in the example of FIG.
  • FIG. 18 is a diagram showing an error between the correct image and the restored image for each band in the example of FIG.
  • FIG. 19 is a diagram for explaining that the restoration deteriorates as the standard deviation of the average transmittance of the filter array increases.
  • FIG. 20 is a diagram for explaining the restoration characteristics when the standard deviation of the transmittance for a part of the bands of the filter array is small.
  • FIG. 21 is a diagram showing a histogram of the transmittance of the filter array for bands 4, 5 and 6 in the example of FIG.
  • FIG. 22 is a diagram showing an error between the correct image and the restored image for each band in the example of FIG. 20.
  • FIG. 23 is a diagram for explaining that the restoration deteriorates as the average value of the standard deviations of the transmittance of the filter array becomes smaller.
  • FIG. 24 is a graph showing the relationship between the average value of the index value Ri for all bands and the amount of increase in MSE.
  • the optical properties of the coding element that is, the optical filter array
  • the optical filter array affect the quality of the reconstructed image. If the characteristics of the optical filter array are not appropriate, the error of the restored image will be large, and it will not be possible to obtain a high-quality reconstructed image.
  • an ideal optical filter array with spatial and frequency (ie, wavelength) random sampling is desirable.
  • it is difficult to actually fabricate such an ideally random optical filter array that is, there is room for improvement in the specific configuration of the optical filter array that can reduce the error associated with the reconstruction of images in a plurality of wavelength bands.
  • FIG. 1A is a diagram for explaining the optical characteristics of the filter array 10 according to the embodiment of the present disclosure.
  • the filter array 10 shown in FIG. 1A includes a plurality of optical filters.
  • the plurality of optical filters are arranged two-dimensionally.
  • the plurality of optical filters include a plurality of types of optical filters having different light transmission characteristics.
  • the filter array 10 is used in a photodetector that generates image data for each of a plurality of wavelength bands. Let the number of wavelength bands be N (N is an integer of 4 or more).
  • the distribution of the light transmittance of the filter array 10 is different for each wavelength band.
  • a spatial pattern of light transmittance for each wavelength band is represented as a mosaic pattern.
  • FIG. 1B shows an example of a histogram of the transmittance of the filter array 10 according to the embodiment of the present disclosure.
  • This histogram represents a distribution in which the horizontal axis is the transmittance and the vertical axis is the number of filters having the transmittance. From this histogram, the average transmittance ⁇ i and the standard deviation ⁇ i for the light in the i-th wavelength band can be obtained.
  • the transmittance histogram of the filter array 10 in the embodiment of the present disclosure has a finite standard deviation ⁇ i .
  • the histogram can be obtained by measuring the transmittance of each optical filter in the filter array 10 by using a photodetector that detects the light intensity at a predetermined number of gradations.
  • a histogram can be obtained using a photodetector such as an image sensor that can detect a two-dimensional distribution of light intensity with a predetermined number of gradations such as 8 bits or 16 bits.
  • a photodetector such as an image sensor that can detect a two-dimensional distribution of light intensity with a predetermined number of gradations such as 8 bits or 16 bits.
  • FIG. 1B exemplifies a histogram close to a normal distribution for the sake of simplicity.
  • FIG. 1B exemplifies a histogram close to a normal distribution for the sake of simplicity.
  • a histogram having a shape different from that shown in FIG. 1B can be obtained. Since the wavelength dependence of the transmittance differs depending on the filter, the shape of the histogram differs for each wavelength band. Therefore, the average value and standard deviation of the transmittances of the plurality of filters also differ for each wavelength band.
  • each filter in the filter array 10 can be configured by using a multilayer film, an organic material, a diffraction grating structure, or a fine structure containing a metal.
  • each filter of the filter array 10 is configured by a Fabry-Perot filter (hereinafter, FP filter)
  • the FP filter includes a first reflective layer, a second reflective layer, and an intermediate layer between the first reflective layer and the second reflective layer.
  • Each reflective layer can be formed from either a dielectric multilayer film or a metal thin film.
  • the intermediate layer has a thickness and index of refraction in which a resonant structure with at least one resonant mode is formed. In the resonance structure, the transmittance of light having a wavelength corresponding to the resonance mode is high, and the transmittance of light having other wavelengths is low.
  • FIG. 2 is a diagram showing an example of the transmission spectrum of the FP filter.
  • the wavelength range to be detected is referred to as "target wavelength range W".
  • the first to Nth wavelength bands described above are included in the target wavelength range W.
  • the target wavelength region W is a wavelength region of 400 nm or more and 700 nm or less, but the target wavelength region W may be another wavelength region.
  • the peak line width becomes thicker (that is, broader) on the long wavelength side, and the interval between peaks (Free Spectral Range: FSR) also becomes wider. Therefore, the transmission characteristics of the filter array 10 differ greatly between the short wavelength side and the long wavelength side. It was found that due to this difference in transmission characteristics, the error of the image for each generated wavelength band becomes large.
  • 3A and 3B are diagrams for explaining that the average transmittance for each wavelength band of the filter array 10 changes according to the magnitude relationship between the peak line width and the bandwidth.
  • the peak line width is smaller than the bandwidth, the area of the peak occupied in the band is small, so that the average transmittance of the band is small.
  • the peak line width is thick, the average transmittance of the band becomes large. Due to the nature of the FP filter, the average transmittance is large on the long wavelength side because the peak line width is wide, and the average transmittance is small on the short wavelength side because the peak line width is narrow.
  • FIG. 4A and 4B are diagrams for explaining that the standard deviation of the transmittance for each wavelength band of the filter array 10 changes according to the magnitude relationship between the peak line width and the bandwidth.
  • FIG. 4A when the peak line width is sufficiently smaller than the bandwidth, for the light of the band of different types of filters (A, B and C in the example of FIG. 4A) included in the filter array 10.
  • the transmittance of each is about the same. Therefore, the standard deviation of the transmittance of the filter array 10 for the band becomes small.
  • the peak line width is larger than the bandwidth as shown in FIG. 4B, the transmittance is close to 1, and the transmittance of a plurality of different types of filters for the band is about the same.
  • the standard deviation of the transmittance of the filter array 10 for the band becomes small. Therefore, due to the nature of the FP filter, the standard deviation of the transmittance of the filter array 10 becomes smaller on the long wavelength side and the short wavelength side. Therefore, it is difficult to make the standard deviation of the transmittance uniform over the entire target wavelength region W, and the standard deviation of the transmittance tends to vary from band to band. From this point as well, it is difficult to realize an ideal filter array 10 that is spatially and frequency-wise (that is, wavelength-wise) random.
  • the filter array is designed so that the standard deviation (or variance) of the average transmittance of all bands is less than or equal to a certain value.
  • the filter array is designed so that the average value of the standard deviations of the transmittance for each band is equal to or more than a specific value. With such a design, it is possible to reduce the image restoration error for each band.
  • the optical filter array according to an embodiment of the present disclosure is used in a photodetector that generates image data for each of N wavelength bands (N is an integer of 4 or more).
  • the optical filter array includes a plurality of optical filters.
  • the plurality of optical filters include a plurality of types of optical filters having different transmittances in each of the N wavelength bands.
  • the average value of the transmittances of the plurality of optical filters for light in the i-th wavelength band (i is an integer of 1 or more and N or less) among the N wavelength bands is ⁇ i
  • the N wavelengths The standard deviation ⁇ ⁇ of the mean value ⁇ i of the transmittance for the band is The standard deviation ⁇ ⁇ of the average value ⁇ i of the transmittance is 0.13 or less.
  • each optical filter is designed so that the standard deviation ⁇ ⁇ of the average value ⁇ i of the transmittance for the N wavelength bands is a relatively small value of 0.13 or less. This makes it possible to increase the uniformity of the average transmittance of the optical filter array for each wavelength band. As a result, for example, it is possible to reduce the error of the image of each wavelength band generated by the processing using compressed sensing.
  • the optical filter array according to another embodiment of the present disclosure is used in a photodetector that generates image data of each of N wavelength bands (N is an integer of 4 or more).
  • the optical filter array includes a plurality of optical filters.
  • the plurality of optical filters include a plurality of types of optical filters having different transmittances in each of the N wavelength bands. Assuming that the standard deviation of the transmittance of the plurality of optical filters for light in the i-th wavelength band (i is an integer of 1 or more and N or less) among the N wavelength bands is ⁇ i , the N wavelengths The average value of the standard deviation ⁇ i of the transmittance for the band is 0.07 or more.
  • each optical filter is designed so that the average value of the standard deviation ⁇ i of the transmittance for the N wavelength bands is a relatively large value of 0.07 or more. This makes it possible to improve the dispersibility of the transmittance of the optical filter array for each wavelength band. As a result, for example, it is possible to reduce the error of the image of each wavelength band generated by the processing using compressed sensing.
  • the optical filter array according to still another aspect of the present disclosure is used in a photodetector that generates image data for each of N wavelength bands (N is an integer of 4 or more).
  • the optical filter array includes a plurality of optical filters.
  • the plurality of optical filters include a plurality of types of optical filters having different transmittances in each of the N wavelength bands.
  • the average value of is 2.0 or more.
  • the optical filter so that the average value of R i is relatively large value of 2.0 or more is designed. This makes it possible to improve the dispersibility of the transmittance of the optical filter array for each wavelength band. As a result, for example, it is possible to reduce the error of the image of each wavelength band generated by the processing using compressed sensing.
  • transmittance of each of the plurality of optical filters for light in the i-th wavelength band using a light detector that detects light intensity at a predetermined number of gradations.
  • transmittance of peaks in the histogram of the transmittance may be less than the average value mu i of the transmittance of said plurality of optical filters for light having a wavelength band of the first i.
  • At least one of the plurality of optical filters may be a Fabry-Perot filter.
  • Fabry-Perot filters can be made more easily than, for example, other types of filters made from organic materials.
  • At least one of the plurality of filters includes a first reflective layer, a second reflective layer, and an intermediate layer between the first reflective layer and the second reflective layer, and a plurality of resonance modes having different orders from each other. It may include a resonance structure having. According to such a structure, a filter having high transmittance for a plurality of wavelengths can be realized.
  • the central wavelength ⁇ i of the i-th wavelength band and the average value ⁇ i of the transmittances of the plurality of optical filters for the light of the i-th wavelength band may have a positive correlation. Such characteristics are typically obtained when each optical filter is the Fabry-Perot filter described above.
  • the photodetector according to still another aspect of the present disclosure includes the optical filter array according to any one of the above, and an image sensor that detects light transmitted through the optical filter array.
  • the photodetector system is a signal process that generates image data for each of the N wavelength bands based on the photodetector and the signal output from the image sensor. It has a circuit.
  • all or part of a circuit, unit, device, member or part, or all or part of a functional block in a block diagram is, for example, a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (range scale integration). ) Can be performed by one or more electronic circuits.
  • the LSI or IC may be integrated on one chip, or may be configured by combining a plurality of chips.
  • functional blocks other than the storage element may be integrated on one chip.
  • it is called LSI or IC, but the name changes depending on the degree of integration, and it may be called system LSI, VLSI (very large scale integration), or ULSI (ultra large scale integration).
  • Field Programmable Gate Array (FPGA) which is programmed after the LSI is manufactured, or reconfigurable logistic device, which can reconfigure the junction relationship inside the LSI or set up the circuit partition inside the LSI, can also be used for the same purpose.
  • FPGA Field Programmable Gate Array
  • circuits, units, devices, members or parts can be executed by software processing.
  • the software is recorded on a non-temporary recording medium such as one or more ROMs, optical discs, hard disk drives, etc., and when the software is executed by a processor, the functions identified by the software It is performed by a processor and peripherals.
  • the system or device may include one or more non-temporary recording media on which the software is recorded, a processor, and the required hardware devices, such as an interface.
  • FIG. 5A is a diagram schematically showing a photodetection system 400 according to an exemplary embodiment of the present disclosure.
  • the photodetection system 400 includes an optical system 40, a filter array 10, an image sensor 60, and a signal processing circuit 200.
  • the filter array 10 has the same function as the "coding element" disclosed in Patent Document 1. Therefore, the filter array 10 can also be referred to as a "coding element”.
  • the optical system 40 and the filter array 10 are arranged on the optical path of the light incident from the object 70.
  • the filter array 10 includes a plurality of translucent regions arranged in rows and columns.
  • the filter array 10 is an optical element in which the light transmission spectrum, that is, the wavelength dependence of the light transmittance differs depending on the region.
  • the filter array 10 modulates the intensity of the incident light and passes it through. Details of the configuration of the filter array 10 will be described later.
  • the filter array 10 may be arranged near or directly above the image sensor 60.
  • the “neighborhood” means that the image of the light from the optical system 40 is close enough to be formed on the surface of the filter array 10 in a state of being clear to some extent. "Directly above” means that they are so close to each other that there is almost no gap.
  • the filter array 10 and the image sensor 60 may be integrated.
  • a device including the filter array 10 and the image sensor 60 is referred to as a "photodetector 300".
  • the filter array 10 may be arranged away from the image sensor 60.
  • 5B and 5C show an example of a configuration in which the filter array 10 is arranged away from the image sensor 60.
  • the filter array 10 is arranged between the optical system 40 and the image sensor 60.
  • the filter array 10 is arranged between the object 70 and the optical system 40.
  • the image encoded by the filter array 10 is acquired in a blurred state on the imaging surface of the image sensor 60. Therefore, the separated image 220 can be reconstructed by holding this blur information in advance and reflecting the blur information in the system matrix H used in the arithmetic processing described later.
  • the blur information is represented by a point spread function (Point Spread Function: PSF).
  • PSF is a function that defines the degree of spread of the point image to the peripheral pixels. For example, when a point image corresponding to one pixel on an image spreads over an area of k ⁇ k pixels around the pixel due to blurring, PSF is a coefficient group indicating the influence on the brightness of each pixel in the area. That is, it can be defined as a matrix. The spectroscopically separated image can be reconstructed by reflecting the influence of the blurring of the coding pattern by the PSF in the system matrix H described later.
  • the position where the filter array 10 is arranged is arbitrary, but a position where the coding pattern of the filter array 10 is too diffused and does not disappear can be selected.
  • the optical system 40 includes at least one lens. Although shown as one lens in FIG. 5A, the optical system 40 may be a combination of a plurality of lenses. The optical system 40 forms an image on the image pickup surface of the image sensor 60 via the filter array 10.
  • the image sensor 60 is a monochrome type photodetector having a plurality of two-dimensionally arranged photodetectors (also referred to as "pixels" in the present specification).
  • the image sensor 60 may be, for example, a CCD (Charge-Coupled Device) or CMOS (Complementary Metal Oxide Sensor) sensor, an infrared array sensor, a terahertz array sensor, or a millimeter wave array sensor.
  • the photodetector includes, for example, a photodiode.
  • the image sensor 60 does not necessarily have to be a monochrome type sensor.
  • a color type sensor having an R / G / B, R / G / B / IR, or R / G / B / W filter may be used.
  • a color type sensor By using a color type sensor, the amount of information regarding wavelength can be increased, and the accuracy of reconstruction of the spectroscopically separated image can be improved.
  • the amount of information in the spatial direction (x, y direction) decreases, so that the amount of information regarding wavelength and the resolution are in a trade-off relationship.
  • the wavelength range to be acquired may be arbitrarily determined, and is not limited to the visible wavelength range, but may be the wavelength range of ultraviolet, near infrared, mid-infrared, far infrared, microwave / radio waves.
  • the signal processing circuit 200 reconstructs a plurality of separated images 220W 1 , 220W 2 , 220W 3 , ..., 220W N including multi-wavelength information based on the image 120 acquired by the image sensor 60. Details of the plurality of separated images 220W 1 , 220W 2 , 220W 3 , ..., 220W N , and the image signal processing method of the signal processing circuit 200 will be described later.
  • the signal processing circuit 200 may be incorporated in the photodetector 300, or may be a component of the signal processing device electrically connected to the photodetector 300 by wire or wirelessly.
  • the filter array 10 in this embodiment will be described below.
  • the filter array 10 is arranged on the optical path of the light incident from the object 70, and the intensity of the incident light is modulated for each wavelength and output. This process with a filter array is referred to herein as "encoding".
  • FIG. 6A is a diagram schematically showing an example of the filter array 10.
  • the filter array 10 has a plurality of regions arranged two-dimensionally. In the present specification, the area may be referred to as a "cell".
  • An optical filter having an individually set transmission spectrum is arranged in each region.
  • the transmitted spectrum is represented by a function T ( ⁇ ), where ⁇ is the wavelength of the incident light.
  • the transmission spectrum T ( ⁇ ) can take a value of 0 or more and 1 or less.
  • the filter array 10 has 48 rectangular regions arranged in 6 rows and 8 columns. This is just an example, and in actual use, more areas may be provided.
  • the number can be about the same as the number of pixels of a general photodetector such as an image sensor.
  • the number of pixels can be, for example, hundreds of thousands to tens of millions.
  • the filter array 10 is arranged directly above the image sensor 60, and each region is arranged so as to correspond to one pixel of the photodetector. Each region faces, for example, one pixel of the image sensor 60.
  • FIG. 6B is a diagram showing an example of the spatial distribution of the light transmittance of each of the plurality of wavelength bands W 1 , W 2 , ..., W N included in the target wavelength region.
  • the difference in shade of each region represents the difference in transmittance. The lighter the region, the higher the transmittance, and the darker the region, the lower the transmittance.
  • the spatial distribution of light transmittance differs depending on the wavelength band.
  • FIG. 6C and 6D are diagrams showing examples of transmission spectra of regions A1 and A2 included in a plurality of regions of the filter array 10 shown in FIG. 6A, respectively.
  • the transmission spectrum of the region A1 and the transmission spectrum of the region A2 are different from each other.
  • the transmission spectrum of the filter array 10 differs depending on the region. However, the transmission spectra of all regions do not necessarily have to be different.
  • the transmission spectra of at least a part of the plurality of regions are different from each other.
  • the filter array 10 includes two or more filters having different transmission spectra.
  • the number of transmission spectrum patterns in the plurality of regions included in the filter array 10 may be equal to or greater than the number N of wavelength bands included in the target wavelength region.
  • the filter array 10 may be designed so that the transmission spectra of more than half of the regions are different.
  • the target wavelength range W can be set in various ranges depending on the application.
  • the target wavelength range W is, for example, a visible light wavelength range of about 400 nm to about 700 nm, a near-infrared wavelength range of about 700 nm to about 2500 nm, a near-ultraviolet wavelength range of about 10 nm to about 400 nm, and other mid-infrared rays. It can be in the radio range such as far infrared, terahertz wave, or millimeter wave. As described above, the wavelength range used is not always the visible light range. In the present specification, not only visible light but also invisible light such as near-ultraviolet rays, near-infrared rays, and radio waves are referred to as "light" for convenience.
  • N is an arbitrary integer of 4 or more, and each wavelength range obtained by dividing the target wavelength range W into N equal parts is the wavelength bands W 1 , W 2 , ..., W N.
  • a plurality of wavelength bands included in the target wavelength region W may be arbitrarily set.
  • the bandwidth may be non-uniform depending on the wavelength band.
  • the bandwidth differs depending on the wavelength band, and there is a gap between two adjacent wavelength bands.
  • the plurality of wavelength bands need only be different from each other, and the method of determining the wavelength bands is arbitrary.
  • the number of wavelength divisions N may be 3 or less.
  • FIG. 8A is a diagram for explaining the characteristics of the transmission spectrum in a certain region of the filter array 10.
  • the transmission spectrum has a plurality of maximum values P1 to P5 and a plurality of minimum values with respect to wavelengths in the target wavelength region W.
  • the maximum value and the minimum value of the light transmittance in the target wavelength region W are normalized to be 1.
  • the transmission spectrum has a maximum value in a wavelength region such as the wavelength band W 2 and the wavelength band W N-1.
  • the maximum value P1, the maximum value P3, the maximum value P4, and the maximum value P5 are 0.5 or more.
  • the filter array 10 transmits a large amount of components in a certain wavelength range from the incident light, and does not transmit so much components in another wavelength range.
  • the transmittance of light in k wavelength bands out of N wavelength bands is larger than 0.5
  • the transmittance of light in the remaining NK wavelength ranges is 0.5.
  • k is an integer that satisfies 2 ⁇ k ⁇ N. If the incident light is white light that evenly contains the wavelength components of all visible light, the filter array 10 is a light having a plurality of intensity peaks discrete with respect to the wavelength of the incident light for each region. It is modulated to and these multi-wavelength light is superimposed and output.
  • FIG. 8B is a diagram showing the results of averaging the transmission spectra shown in FIG. 8A for each of the wavelength regions W 1 , W 2 , ..., W N.
  • the averaged transmittance is obtained by integrating the transmission spectrum T ( ⁇ ) for each wavelength band and dividing by the bandwidth of that wavelength band.
  • the value of the transmittance averaged for each wavelength band as described above is defined as the transmittance in that wavelength band.
  • the transmittance is remarkably high in the three wavelength regions having maximum values P1, P3 and P5. In particular, the transmittance exceeds 0.8 in the two wavelength regions having maximum values P3 and P5.
  • the cell pitch which is the mutual spacing between the plurality of regions in the filter array 10
  • the cell pitch may be substantially the same as the pixel pitch of the photodetector.
  • the resolution of the coded light image emitted from the filter array 10 substantially matches the resolution of the pixels.
  • each region transmits any value of 0 or more and 1 or less.
  • a binary-scale transmittance distribution may be adopted in which the transmittance of each region can take a value of either about 0 or about 1.
  • each region transmits most of the light in at least two wavelength regions of the plurality of wavelength regions included in the target wavelength region, and transmits most of the light in the remaining wavelength regions. Do not make it transparent.
  • "most" refers to approximately 80% or more.
  • a part of all cells may be replaced with a transparent area.
  • Such transparent regions are high transmission of comparable light of all wavelength regions W 1 from W N included in the target wavelength region, and transmits, for example, 80% or more transmittance.
  • the plurality of transparent areas may be arranged, for example, in a checkered pattern. That is, in the two arrangement directions of the plurality of regions in the filter array 10, regions having different light transmittances depending on the wavelength and transparent regions can be arranged alternately.
  • the signal processing circuit 200 reconstructs the multi-wavelength separated image 220 based on the image 120 output from the image sensor 60 and the spatial distribution characteristic of the transmittance for each wavelength of the filter array 10.
  • the term "multi-wavelength" means, for example, a wavelength range larger than the three-color wavelength range of RGB acquired by a normal color camera.
  • the number of this wavelength range can be, for example, about 4 to 100.
  • the number of wavelength regions is referred to as the number of bands. Depending on the application, the number of bands may exceed 100.
  • the data to be obtained is the separated image 220, and that data is f.
  • f is data in which image data f 1 , f 2 , ..., And f N of each band are integrated.
  • each of the image data f 1 , f 2 , ..., F N is two-dimensional data of n ⁇ m pixels. It is a gathering of. Therefore, the data f is three-dimensional data having the number of elements n ⁇ m ⁇ N.
  • the number of elements of the data g of the image 120 obtained by coding and multiplexing by the filter array 10 is n ⁇ m.
  • the data g in this embodiment can be represented by the following equation (1).
  • f 1 , f 2 , ..., F N are data having n ⁇ m elements. Therefore, the vector on the right side is strictly a one-dimensional vector of n ⁇ m ⁇ N rows and 1 column.
  • the vector g is converted into a one-dimensional vector having n ⁇ m rows and one column, and is represented and calculated.
  • the matrix H represents a transformation in which each component f 1 , f 2 , ..., F N of the vector f is coded and intensity-modulated with different coding information for each wavelength band, and these are added. Therefore, H is a matrix of n ⁇ m rows and n ⁇ m ⁇ N columns. In the present specification, the matrix H may be referred to as a "system matrix".
  • the signal processing circuit 200 of the present embodiment utilizes the redundancy of the image included in the data f to obtain a solution by using a compressed sensing method. Specifically, the data f to be obtained is estimated by solving the following equation (2).
  • f' represents the estimated data of f.
  • the first term in parentheses in the above equation represents the amount of deviation between the estimation result Hf and the acquired data g, the so-called residual term.
  • the sum of squares is used as the residual term, but the absolute value, the square root of the sum of squares, or the like may be used as the residual term.
  • the second term in parentheses is a regularization term or a stabilization term, which will be described later.
  • Equation (2) means finding f that minimizes the sum of the first term and the second term.
  • the signal processing circuit 200 can converge the solution by a recursive iterative operation and calculate the final solution f'.
  • the first term in parentheses in the equation (2) means an operation for finding the sum of squares of the difference between the acquired data g and Hf in which the estimation process f is system-transformed by the matrix H.
  • the second term ⁇ (f) is a constraint condition in the regularization of f, and is a function that reflects the sparse information of the estimated data. As a function, it has the effect of smoothing or stabilizing the estimated data.
  • the regularization term can be represented, for example, by the discrete cosine transform (DCT), wavelet transform, Fourier transform, or total variation (TV) of f. For example, when the total variation is used, stable guess data that suppresses the influence of noise in the observation data g can be obtained.
  • DCT discrete cosine transform
  • TV total variation
  • the sparsity of the object 70 in the space of each regularization term depends on the texture of the object 70. You may choose a regularization term that makes the texture of the object 70 more sparse in the space of the regularization term. Alternatively, a plurality of regularization terms may be included in the operation.
  • ⁇ is a weighting factor. The larger the weighting coefficient ⁇ , the larger the amount of redundant data to be reduced, and the higher the compression rate. The smaller the weighting coefficient ⁇ , the weaker the convergence to the solution.
  • the weighting coefficient ⁇ is set to an appropriate value at which f converges to some extent and does not cause overcompression.
  • each filter in the filter array 10 is a Fabry-Perot (FP) filter.
  • the FP filter includes a first reflective layer, a second reflective layer, and an intermediate layer between the first reflective layer and the second reflective layer.
  • Each reflective layer can be formed from either a dielectric multilayer film or a metal thin film.
  • the intermediate layer has a thickness and index of refraction in which a resonant structure with at least one resonant mode is formed.
  • the transmittance of light having a wavelength corresponding to the resonance mode is high, and the transmittance of light having other wavelengths is low.
  • FIG. 9 is a diagram schematically showing a part of a cross section of the photodetector 300 according to the present embodiment.
  • the photodetector 300 includes a filter array 10 and an image sensor 60.
  • the filter array 10 includes a plurality of filters 100 arranged in two dimensions.
  • the plurality of filters 100 are arranged in rows and columns.
  • FIG. 9 schematically shows the cross-sectional structure of one row.
  • Each of the plurality of filters 100 has a resonance structure.
  • the resonance structure means a structure in which light of a certain wavelength forms a standing wave inside and exists stably. The state of light is referred to as "resonance mode".
  • first reflective layer 28a includes a first reflective layer 28a, a second reflective layer 28b, and an intermediate layer 26 between the first reflective layer a and the second reflective layer 28b.
  • first reflective layer 28a and the second reflective layer 28b can be formed from a dielectric multilayer film or a metal thin film.
  • the intermediate layer 26 may be formed of a transparent dielectric or semiconductor in a particular wavelength range.
  • the intermediate layer 26 can be formed from, for example, at least one selected from the group consisting of Si, Si 3 N 4 , TIO 2 , Nb 2 O 5 , and Ta 2 O 5. At least one of the refractive index and the thickness of the intermediate layer 26 of the plurality of filters 100 depends on the filter.
  • the filter array 10 may include a filter that does not have the above-mentioned resonance structure.
  • a filter having no wavelength dependence of light transmittance such as a transparent filter or a Neutral Density Filter, may be included in the filter array 10.
  • the image sensor 60 includes a plurality of photodetector elements 60a.
  • Each of the plurality of photodetector elements 60a is arranged so as to face one of the plurality of filters 100.
  • Each of the plurality of photodetector elements 60a is sensitive to light in a specific wavelength range. This specific wavelength range corresponds to the above-mentioned target wavelength range W.
  • "having sensitivity to light in a certain wavelength range” means having substantial sensitivity necessary for detecting light in the wavelength range.
  • the external quantum efficiency in the wavelength range is 1% or more.
  • the external quantum efficiency of the photodetector 60a may be 10% or more.
  • the external quantum efficiency of the photodetector 60a may be 20% or more.
  • a plurality of wavelengths at which the light transmittance of each filter 100 has a maximum value are all included in the target wavelength region W.
  • the filter 100 having the above resonance structure is referred to as a "Fabry-Perot filter".
  • the portion of the transmission spectrum having the maximum value is referred to as “peak”, and the wavelength at which the transmission spectrum has the maximum value is referred to as "peak wavelength”.
  • the thickness of the intermediate layer 26 is L
  • the refractive index is n
  • the incident angle of the light incident on the filter 100 is ⁇ i
  • the mode order of the resonance mode is m.
  • m is an integer of 1 or more.
  • ⁇ i be the shortest wavelength and ⁇ e be the longest wavelength in the target wavelength range W.
  • the filter 100 in which one m satisfying ⁇ i ⁇ ⁇ m ⁇ ⁇ e exists is referred to as a “single mode filter”.
  • a filter 100 in which two or more m satisfying ⁇ i ⁇ ⁇ m ⁇ ⁇ e exists is referred to as a “multimode filter”.
  • the peak wavelength of is ⁇ m ⁇ 2 ⁇ 300 nm. Therefore, the filter 100 is a single-mode filter in which the target wavelength region W includes one peak wavelength.
  • the filter 100 when the thickness L is made larger than 300 nm, a plurality of peak wavelengths are included in the target wavelength region W.
  • the peak wavelength when 1 ⁇ m ⁇ 8 is ⁇ 1 ⁇ m ⁇ 8 ⁇ 750 nm, and 9 ⁇
  • the peak wavelength when m ⁇ 15 is 400 nm ⁇ ⁇ 9 ⁇ m ⁇ 15 ⁇ 700 nm, and the peak wavelength when m ⁇ 16 is ⁇ m ⁇ 16 ⁇ 375 nm. Therefore, the filter 100 is a multi-mode filter in which the target wavelength region W includes seven peak wavelengths.
  • a multi-mode filter can be realized by appropriately designing the thickness of the intermediate layer 26 of the filter 100.
  • the refractive index of the intermediate layer 26 of the filter 100 may be appropriately designed.
  • both the thickness and refractive index of the intermediate layer 26 of the filter 100 may be appropriately designed.
  • FIG. 10 is a diagram schematically showing an example of a transmission spectrum in each pixel when a plurality of multimode filters having different transmission spectra are arranged on a plurality of photodetector elements 60a, each of which is a pixel.
  • FIG. 10 illustrates transmission spectra at pixels A, B, and C.
  • the plurality of multimode filters are designed so that the peak wavelength is slightly different for each pixel.
  • Such a design can be realized by slightly changing the thickness L and / or the refractive index n in the formula (3).
  • a plurality of peaks appear in the target wavelength region W.
  • the mode order of each of the plurality of peaks is the same for each pixel.
  • the mode orders of the plurality of peaks shown in FIG. 10 are m, m + 1, and m + 2.
  • the photodetector 300 in the present embodiment can simultaneously detect light having a plurality of peak wavelengths, which is different for each photodetector 60a as a pixel.
  • each of the first reflective layer 28a and the second reflective layer 28b is formed of a dielectric multilayer film.
  • FIG. 11 is a diagram schematically showing an example of a filter 100 in which each reflective layer is formed of a dielectric multilayer film.
  • the filter 100 is provided on the substrate 80.
  • Each of the first reflective layer 28a and the second reflective layer 28b is formed of a dielectric multilayer film. That is, each of the first reflective layer 28a and the second reflective layer 28b has a structure in which a plurality of low refractive index layers 27l and a plurality of high refractive index layers 27h are alternately located.
  • Each of the plurality of low refractive index layers 27 l has a refractive index n l
  • each of the plurality of high refractive index layers 27 h has a refractive index n h higher than the refractive index n l.
  • the low refractive index layer 27l in the first reflective layer 28a and the low refractive index layer 27l in the second reflective layer 28b may have the same refractive index or may have different refractive indexes. good.
  • the high refractive index layer 27h in the first reflective layer 28a and the high refractive index layer 27h in the second reflective layer 28b may have the same refractive index or may have different refractive indexes. good.
  • the dielectric multilayer film includes a plurality of pair layers.
  • One pair layer includes one low refractive index layer 27l and one high refractive index layer 27h.
  • each of the first reflective layer 28a and the second reflective layer 28b includes five pair layers including ten refractive index layers.
  • the optical length of the thickness t h of the high refractive index layer 27h, and the optical length of the thickness t l of the low-refractive index layer 27l is ⁇ 0/4.
  • the optical length means a value obtained by multiplying the thickness by the refractive index.
  • the specific wavelength ⁇ 0 can be set to, for example, the center wavelength ( ⁇ i + ⁇ e ) / 2 of the target wavelength region W.
  • FIG. 12 is a diagram schematically showing another example of the filter 100 in which each reflective layer is formed of a dielectric multilayer film.
  • the thickness of the plurality of high refractive index layers 27h and the plurality of low refractive index layers 27l The thickness of is not uniform.
  • at least two of the low refractive index layers 27l have different thicknesses from each other, and at least two of the high refractive index layers 27h have different thicknesses from each other. Have.
  • the optical length of each of the plurality of low refractive index layers 27l is equal to the optical length of the high refractive index layer 27h adjacent to the low refractive index layer 27l.
  • the dielectric multilayer film shown in FIG. 12 can be designed to reflect light in the wavelength range from ⁇ s to ⁇ l, for example.
  • the wavelength ⁇ s may be the same as or different from the wavelength ⁇ i described above.
  • the wavelength ⁇ l may be the same as or different from the wavelength ⁇ e described above.
  • Is t h (n) [ ⁇ s + n ( ⁇ l ⁇ s ) / 3] / (4 n h )
  • both the thickness t h of the high refractive index layer 27h (n), and the low refractive index layer 27l thickness t l (n) ⁇ s / 4 to ⁇ l / 4.
  • the first loop 29a of the thin line and the second loop 29b of the thick line represent light having a wavelength of ⁇ s and a wavelength of ⁇ l, which are confined in the filter 100, respectively.
  • Light having a wavelength of ⁇ s is reflected by the pair layer on the incident surface side of the first reflection layer 28a and the pair layer on the substrate 80 side of the second reflection layer 28b.
  • Light having a wavelength of ⁇ l is reflected by the pair layer on the intermediate layer 26 side of the first reflection layer 28a and the pair layer on the intermediate layer 26 side of the second reflection layer 28b.
  • the incident light is reflected by the pair layers corresponding to that wavelength.
  • the non-uniformity of the reflectance in the target wavelength region W in the dielectric multilayer film is suppressed.
  • a transmission spectrum as shown in FIG. 2 can be realized.
  • FIG. 13 is a diagram for explaining the restoration characteristics when the ideal filter array 10 in which the transmission characteristics of the filter array 10 are the same for all wavelength bands, which will be compared in the following discussions, is used. be.
  • 10 wavelength bands 1 to 10 are assumed.
  • the transmittance distribution of each band is given by a random number in the range of 0.0 to 1.0 according to a normal distribution having an average transmittance of 0.5 and a standard deviation of 0.1.
  • FIG. 14 shows a histogram of the transmittance distribution of the filter array 10 for each of the wavelength bands 1 to 10.
  • the subject is a color chart including 24 color samples arranged in a matrix.
  • FIG. 13 An example of an image for each wavelength band restored by performing the compressed sensing process described above on the image acquired by the hyperspectral camera is shown in the lower part of FIG.
  • the middle part of FIG. 13 shows the correct image.
  • a 640 x 480 two-dimensional filter array 10 is used.
  • an image sensor 60 that expresses a pixel value with an 8-bit (that is, 0 to 256) gradations is used.
  • the transmittance histogram is obtained from the transmittance value converted from the pixel value of each pixel of the image sensor 60.
  • FIG. 15 is a diagram showing an error between the correct image and the restored image for each band.
  • a mean square error (Mean Squared Error: MSE) is used as the error.
  • MSE is calculated by the following formula (4).
  • n and m represent the number of pixels in the vertical direction and the horizontal direction, respectively.
  • I i and j represent the pixel value of the correct image in the pixel at the position (i, j).
  • I'i, j represent the pixel value of the image of each reconstructed wavelength band in the pixel at the position (i, j).
  • FIG. 16 is a diagram for explaining the restoration characteristics when the average transmittance of a part of the bands of the filter array 10 is low.
  • FIG. 17 shows a histogram of the transmittance of the filter array 10 for bands 4, 5 and 6.
  • the other bands are the same as the histogram shown in FIG.
  • FIG. 18 is a diagram showing an error between the correct image and the restored image for each band.
  • the average value of all bands of MSE was 132. This value is approximately 11.5 when converted to the pixel value of the image sensor 60, which corresponds to an error of approximately 4.5% with respect to the maximum value of the pixel value of 255.
  • the average transmittance is lowered for bands 4 to 6, but the same tendency can be observed in any other band. From this result, it can be seen that the restoration error increases due to the variation in the average transmittance.
  • FIG. 19 is a diagram for explaining that MSE increases (that is, restoration deteriorates) as the standard deviation (or variance) of the average transmittance of the filter array 10 increases.
  • the vertical axis in FIG. 19 shows the amount of increase from MSE in the example shown in FIG. As shown in FIG. 19, it can be seen that MSE increases exponentially as the standard deviation of the average transmittance increases.
  • the average value of the transmittances of the plurality of optical filters included in the filter array 10 is defined as ⁇ i . do.
  • the filter array 10 contains M filters (M is an integer of 4 or more), and the jth filter (j is an integer of 1 or more and M or less) of the M filters is for light in the i-th wavelength band.
  • the average value ⁇ i of the transmittance is expressed by the following equation (5).
  • the standard deviation ⁇ ⁇ of the average transmittance should be set to a certain value or less.
  • the amount of increase in MSE can be suppressed to about 100 or less.
  • the standard deviation ⁇ ⁇ of the average transmittance is suppressed to 0.1 or less, the amount of increase in MSE can be suppressed to about 60 or less.
  • the standard deviation ⁇ ⁇ of the average transmittance is suppressed to 0.05 or less, the amount of increase in MSE can be suppressed to about 10 or less.
  • FIG. 20 is a diagram for explaining the restoration characteristics when the standard deviation of the transmittance for a part of the bands of the filter array 10 is small.
  • FIG. 21 shows a histogram of the transmittance of the filter array 10 for bands 4, 5 and 6.
  • the other bands are the same as the histogram shown in FIG.
  • FIG. 22 is a diagram showing an error between the correct image and the restored image for each band.
  • the average value of all bands of MSE was 63.2. This value is about 7.95 when converted to the pixel value of the image sensor 60, which corresponds to an error of about 3.1% with respect to the maximum value of 255 of the pixel value.
  • the standard deviation of the transmittance is reduced for bands 4 to 6, but the same tendency can be observed in any other band. From this result, it can be seen that the restoration error increases due to a decrease or variation in the standard deviation of the transmittance.
  • FIG. 23 is a diagram for explaining that the MSE increases (that is, the restoration deteriorates) as the average value of the standard deviations of the transmittance of the filter array 10 decreases.
  • the vertical axis in FIG. 23 shows the amount of increase from MSE in the example shown in FIG. It can be seen that the MSE increases exponentially as the mean value of the standard deviation of the transmittance decreases.
  • the standard deviation of the transmittances of the plurality of optical filters included in the filter array 10 is defined as ⁇ i . do. ⁇ i is expressed by the following equation (7).
  • the average value ⁇ ⁇ of the standard deviation ⁇ i of the transmittance for N wavelength bands is expressed by the following equation (8).
  • the average value ⁇ ⁇ of the standard deviation ⁇ i of the transmittance should be set to a certain value or more.
  • the average value ⁇ ⁇ of the standard deviation ⁇ i is 0.05 or more, the amount of increase in MSE can be suppressed to about 200 or less.
  • the average value ⁇ ⁇ of the standard deviation ⁇ i is 0.07 or more, the amount of increase in MSE can be suppressed to about 100 or less.
  • the average value ⁇ ⁇ of the standard deviation ⁇ i is 0.08 or more, the amount of increase in MSE can be suppressed to about 50 or less.
  • evaluation may be performed using another index value indicating the difference in brightness (that is, dynamic range) for each band of the filter array 10.
  • an index value R i ( ⁇ i + 3 ⁇ i ) / ( ⁇ i ⁇ 3 ⁇ i ) in consideration of the average transmittance can also be used.
  • FIG. 24 is a graph plotting the relationship between the average value of the index value Ri for all bands and the amount of increase in MSE. The tendency of this graph is the same as that of FIG. 23.
  • the optical properties of the filter array 10 in the above discussion that is, the average transmittance and the standard deviation of the transmittance for each wavelength band, measure and analyze a histogram in an arbitrary region including approximately 6 vertical pixels ⁇ 6 horizontal pixels. It can be clarified by that.
  • the histogram can be similarly measured and analyzed by measuring the reflection spectrum for each wavelength band.
  • a histogram including the sensitivity characteristics of the image sensor 60 itself can be measured and analyzed.
  • each filter constituting the filter array 10 is an FP filter, it is generally between the first reflective layer, the second reflective layer, and the first reflective layer and the second reflective layer.
  • each filter constituting the filter array 10 is an FP filter, as described with reference to FIG. 2, the transmittance tends to be higher in the wavelength band on the longer wavelength side. Therefore, in the filter array 10 using the FP filter, the central wavelength ⁇ i of the i-th wavelength band and the average value ⁇ i of the transmittances of the plurality of optical filters for the light of the i-th wavelength band are positively correlated. Often have.
  • the filter array 10 in which a plurality of filters are arranged two-dimensionally has been mainly described, but the plurality of filters may be arranged one-dimensionally. In that case, a one-dimensional image sensor may be used as the photodetector. If the measurement target is a one-dimensional area, such a configuration can also be adopted.
  • the technique of the present disclosure is useful, for example, in cameras and measuring devices that acquire multi-wavelength images.
  • the technology of the present disclosure can be applied to, for example, sensing for living organisms / medical / beauty, foreign matter / residual pesticide inspection system for foods, remote sensing system and in-vehicle sensing system.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本開示の一態様に係る光学フィルタアレイは、Ｎ個（Ｎは４以上の整数）の波長バンドのそれぞれの画像データを生成する光検出装置において用いられる。前記光学フィルタアレイは、複数の光学フィルタを備える。前記複数の光学フィルタは、前記Ｎ個の波長バンドの各々における透過率が互いに異なる複数種類の光学フィルタを含む。前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）の光についての前記複数の光学フィルタの透過率の平均値をμｉとすると、前記Ｎ個の波長バンドについての前記透過率の平均値μｉの標準偏差は０．１３以下である。

Description

光学フィルタアレイ、光検出装置、および光検出システム
　本開示は、光学フィルタアレイ、光検出装置、および光検出システムに関する。
　各々が狭帯域である多数のバンド、例えば数十バンドのスペクトル情報を活用することにより、従来のＲＧＢ画像では不可能であった対象物の詳細な物性を把握することができる。このような多波長の情報を取得するカメラは、「ハイパースペクトルカメラ」と呼ばれる。ハイパースペクトルカメラは、食品検査、生体検査、医薬品開発、および鉱物の成分分析などの様々な分野で利用されている。
　特許文献１および２は、圧縮センシングを利用したハイパースペクトルカメラの例を開示している。例えば特許文献１は、光透過率の波長依存性が互いに異なる複数の光学フィルタのアレイである符号化素子と、符号化素子を透過した光を検出するイメージセンサとを備える撮像装置を開示している。イメージセンサは、画素ごとに、複数の波長バンドの光を同時に検出することにより、１つの波長多重画像を取得する。取得された波長多重画像に圧縮センシングを適用することにより、複数の波長バンドのそれぞれについての画像が再構成される。
米国特許出願公開第２０１６／１３８９７５号明細書 特開２０１６－１００７０３号公報
　本開示は、複数の波長バンドの画像の再構成に伴う誤差を低減させるための技術を提供する。
　本開示の一態様に係る光学フィルタアレイは、Ｎ個（Ｎは４以上の整数）の波長バンドのそれぞれの画像データを生成する光検出装置において用いられる。前記光学フィルタアレイは、複数の光学フィルタを備える。前記複数の光学フィルタは、前記Ｎ個の波長バンドの各々における透過率が互いに異なる複数種類の光学フィルタを含む。前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）の光についての前記複数の光学フィルタの透過率の平均値をμｉとすると、前記Ｎ個の波長バンドについての前記透過率の平均値μｉの標準偏差σμは、
Figure JPOXMLDOC01-appb-M000002
 で表され、前記透過率の平均値μｉの標準偏差σμは０．１３以下である。
　本開示の他の態様に係る光学フィルタアレイは、Ｎ個（Ｎは４以上の整数）の波長バンドのそれぞれの画像データを生成する光検出装置において用いられる。前記光学フィルタアレイは、複数の光学フィルタを備える。前記複数の光学フィルタは、前記Ｎ個の波長バンドの各々における透過率が互いに異なる複数種類の光学フィルタを含む。前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）の光についての前記複数の光学フィルタの透過率の標準偏差をσｉとすると、前記Ｎ個の波長バンドについての前記透過率の標準偏差σｉの平均値は０．０７以上である。
　本開示のさらに他の態様に係る光学フィルタアレイは、Ｎ個（Ｎは４以上の整数）の波長バンドのそれぞれの画像データを生成する光検出装置において用いられる。前記光学フィルタアレイは、複数の光学フィルタを備える。前記複数の光学フィルタは、前記Ｎ個の波長バンドの各々における透過率が互いに異なる複数種類の光学フィルタを含む。前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）の光についての前記複数の光学フィルタの透過率の平均値をμｉとし、前記第ｉの波長バンドの光についての前記複数の光学フィルタの透過率の標準偏差をσｉとし、Ｒi＝（μi＋３σi）/（μi―３σi）とすると、前記Ｎ個の波長バンドについてのＲｉの平均値は２．０以上である。
　本開示の一態様によれば、複数の波長バンドの画像の再構成に伴う誤差を低減させることができる。
図１Ａは、光学フィルタアレイの光学的特性を説明するための図である。 図１Ｂは、透過率のヒストグラムの一例を示す図である。 図２は、ファブリペローフィルタの透過スペクトルの一例を示す図である。 図３Ａは、ピーク線幅とバンド幅との大小関係に応じて、フィルタアレイの波長バンド毎の平均透過率が変化することを説明するための第１の図である。 図３Ｂは、ピーク線幅とバンド幅との大小関係に応じて、フィルタアレイの波長バンド毎の平均透過率が変化することを説明するための第２の図である。 図４Ａは、ピーク線幅とバンド幅との大小関係に応じて、フィルタアレイの波長バンド毎の透過率の標準偏差が変化することを説明するための第１の図である。 図４Ｂは、ピーク線幅とバンド幅との大小関係に応じて、フィルタアレイの波長バンド毎の透過率の標準偏差が変化することを説明するための第２の図である。 図５Ａは、本開示の例示的な実施形態における光検出システムを模式的に示す図である。 図５Ｂは、本開示の例示的な実施形態における光検出システムの変形例を模式的に示す図である。 図５Ｃは、本開示の例示的な実施形態における光検出システムの他の変形例を模式的に示す図である。 図６Ａは、フィルタアレイの例を模式的に示す図である。 図６Ｂは、フィルタアレイの光透過率の空間分布の一例を示す図である。 図６Ｃは、フィルタの透過スペクトルの例を示す図である。 図６Ｄは、フィルタの透過スペクトルの他の例を示す図である。 図７Ａは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係を説明するための図である。 図７Ｂは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係を説明するための図である。 図８Ａは、フィルタアレイのある領域における透過スペクトルの特性を説明するための図である。 図８Ｂは、図８Ａに示す透過スペクトルを、波長域Ｗ１、Ｗ２、・・・、ＷＮごとに平均化した結果を示す図である。 図９は、例示的な実施形態における光検出装置の断面の一部を模式的に示す図である。 図１０は、フィルタの透過スペクトルの例を説明するための図である。 図１１は、ファブリペローフィルタの例を模式的に示す図である。 図１２は、ファブリペローフィルタの他の例を模式的に示す図である。 図１３は、透過特性がいずれの波長バンドについても同程度である理想的なフィルタアレイを用いた場合の復元特性を説明するための図である。 図１４は、図１３の例における各波長バンドについてのフィルタアレイの透過率分布のヒストグラムを示す図である。 図１５は、図１３の例におけるバンド毎の、正解画像と復元画像との誤差を示す図である。 図１６は、フィルタアレイの一部のバンドの平均透過率が低い場合の復元特性を説明するための図である。 図１７は、図１６の例におけるバンド４、５、６についてのフィルタアレイの透過率のヒストグラムを示す図である。 図１８は、図１６の例におけるバンド毎の、正解画像と復元画像との誤差を示す図である。 図１９は、フィルタアレイの平均透過率の標準偏差が大きくなると復元が悪化することを説明するための図である。 図２０は、フィルタアレイの一部のバンドについての透過率の標準偏差が小さい場合の復元特性を説明するための図である。 図２１は、図２０の例におけるバンド４、５、６についてのフィルタアレイの透過率のヒストグラムを示す図である。 図２２は、図２０の例におけるバンド毎の、正解画像と復元画像との誤差を示す図である。 図２３は、フィルタアレイの透過率の標準偏差の平均値が小さくなると、復元が悪化することを説明するための図である。 図２４は、指標値Ｒｉの全バンドについての平均値と、ＭＳＥの増加量との関係を示すグラフである。
　本開示の実施形態を説明する前に、本発明者らによって見出された知見を説明する。
　圧縮センシングを利用したハイパースペクトルカメラでは、符号化素子すなわち光学フィルタアレイの光学的性質が再構成される画像の品質を左右する。光学フィルタアレイの特性が適切でない場合、復元される画像の誤差が大きくなるため、高品質の再構成画像を得ることができない。数学的には、空間的および周波数的（すなわち波長的）にランダムなサンプリングを行う理想的な光学フィルタアレイが望ましい。しかし、そのような理想的にランダムな光学フィルタアレイを現実に作製することは難しい。すなわち、複数の波長バンドの画像の再構成に伴う誤差を低減できる光学フィルタアレイの具体的な構成については、改善の余地があった。
　以下、本開示の実施形態の概要を説明する。
　図１Ａは、本開示の実施形態におけるフィルタアレイ１０の光学的特性を説明するための図である。図１Ａに示すフィルタアレイ１０は、複数の光学フィルタを含む。複数の光学フィルタは、２次元的に配列されている。複数の光学フィルタは、光透過特性の異なる複数種類の光学フィルタを含む。フィルタアレイ１０は、複数の波長バンドのそれぞれの画像データを生成する光検出装置において用いられる。波長バンドの数をＮ（Ｎは４以上の整数）とする。波長バンド毎にフィルタアレイ１０の光透過率の分布が異なる。図１には、各波長バンドについての光透過率の空間パターンが、モザイクパターンとして表現されている。
　ここで、第ｉ（ｉは１以上Ｎ以下の整数）の波長バンドについて、フィルタアレイ１０における複数の光学フィルタの透過率のヒストグラムを考える。図１Ｂは、本開示の実施形態におけるフィルタアレイ１０の透過率のヒストグラムの一例を示している。このヒストグラムは、横軸を透過率、縦軸をその透過率を有するフィルタの数とする分布を表す。このヒストグラムから、第ｉの波長バンドの光についての平均透過率μｉと標準偏差σｉが得られる。本開示の実施形態におけるフィルタアレイ１０の透過率のヒストグラムは有限の標準偏差σｉをもつ。
　ヒストグラムは、フィルタアレイ１０における各光学フィルタの透過率を、所定の階調数で光強度を検出する光検出器を用いて計測することによって得ることができる。例えば、８ビットまたは１６ビットなどの所定の階調数で光強度の２次元分布を検出できるイメージセンサなどの光検出器を用いてヒストグラムを得ることができる。具体的には、フィルタアレイ１０が配置された状態で検出された第ｉの波長バンドの光の強度と、フィルタアレイ１０が配置されていない状態で検出された第ｉの波長バンドの光の強度との比から、フィルタアレイ１０における各フィルタの第ｉの波長バンドの光の透過率を求めることができる。上記の方法で取得された各フィルタの透過率のデータから、図１Ｂに例示されるようなヒストグラムを得ることができる。なお、図１Ｂでは、簡単のため、正規分布に近いヒストグラムが例示されている。実際のフィルタアレイ１０では、図１Ｂとは異なる形状のヒストグラムが取得され得る。透過率の波長依存性がフィルタによって異なることから、ヒストグラムの形状は波長バンド毎に異なる。したがって、複数のフィルタの透過率の平均値および標準偏差も、波長バンド毎に異なる。
　例えば、多層膜、有機材料、回折格子構造、または金属を含む微細構造を用いて、フィルタアレイ１０における各フィルタを構成することができる。
　ここでは、一例として、フィルタアレイ１０の各フィルタをファブリペローフィルタ（以下、ＦＰフィルタ）により構成した場合について説明する。ＦＰフィルタは、第１の反射層、第２の反射層、および第１の反射層と第２の反射層との間の中間層を備える。各反射層は、誘電体多層膜または金属薄膜のいずれかから形成され得る。中間層は、少なくとも１つの共振モードを有する共振構造が形成される厚さおよび屈折率を有する。共振構造においては、共振モードに対応する波長の光の透過率が高くなり、他の波長の光の透過率は低くなる。中間層の屈折率または厚さをフィルタごとに変えることにより、フィルタごとに異なる透過スペクトルを実現できる。
　図２は、ＦＰフィルタの透過スペクトルの一例を示す図である。ここで、検出対象の波長域を「対象波長域Ｗ」と称する。対象波長域Ｗ内に、前述の第１から第Ｎの波長バンドが含まれる。図２の例では対象波長域Ｗは４００ｎｍ以上７００ｎｍ以下の波長域であるが、対象波長域Ｗは他の波長域であってもよい。図２に示すように、ＦＰフィルタでは、その原理上、長波長側においてピーク線幅が太く（すなわちブロードに）なり、ピーク同士の間隔（Ｆｒｅｅ　Ｓｐｅｃｔｒａｌ　Ｒａｎｇｅ：ＦＳＲ）も広くなる。そのため、短波長側と長波長側とで、フィルタアレイ１０の透過特性が大きく異なる。この透過特性の差に起因して、生成される波長バンド毎の画像の誤差が大きくなることがわかった。
　図３Ａおよび図３Ｂは、ピーク線幅とバンド幅との大小関係に応じて、フィルタアレイ１０の波長バンド毎の平均透過率が変化することを説明する図である。ここでは、複数の透過ピークのうち、ある特定のピークに着目する。図３Ａに示すように、ピーク線幅がバンド幅よりも小さい場合、バンド内に占めるピークの面積が小さいため、そのバンドの平均透過率は小さくなる。一方、図３Ｂに示すように、ピーク線幅が太い場合、そのバンドの平均透過率は大きくなる。ＦＰフィルタの性質上、長波長側ではピーク線幅が太いために平均透過率が大きくなり、短波長側ではピーク線幅が細いために平均透過率が小さくなる。このため、対象波長域Ｗの全域にわたって平均透過率を均一にすることは難しく、バンド毎に平均透過率にバラつきが生じやすい。このため、空間的および周波数的（すなわち波長的）にランダムな理想的なフィルタアレイ１０を実現することは困難である。
　図４Ａおよび図４Ｂは、ピーク線幅とバンド幅との大小関係に応じて、フィルタアレイ１０の波長バンド毎の透過率の標準偏差が変化することを説明するための図である。図４Ａに示すように、ピーク線幅がバンド幅よりも十分に小さい場合、フィルタアレイ１０に含まれる異なる複数の種類のフィルタ（図４Ａの例ではＡ、ＢおよびＣ）の当該バンドの光についての透過率がいずれも同程度になる。このため、当該バンドについてのフィルタアレイ１０の透過率の標準偏差は小さくなる。一方、図４Ｂに示すようにピーク線幅がバンド幅よりも大きい場合、透過率が１に近くなり、異なる複数の種類のフィルタの当該バンドについての透過率が同程度になる。この場合もフィルタアレイ１０の当該バンドについての透過率の標準偏差は小さくなる。したがって、ＦＰフィルタの性質上、長波長側と短波長側では、フィルタアレイ１０の透過率の標準偏差が小さくなる。このため、対象波長域Ｗの全域にわたって透過率の標準偏差を均一にすることは難しく、バンド毎に透過率の標準偏差にバラつきが生じやすい。この点からも、空間的および周波数的（すなわち波長的）にランダムな理想的なフィルタアレイ１０を実現することは困難である。
　本発明者らの検討によれば、フィルタアレイの透過率の平均値および標準偏差のバンド毎のバラつきが大きいと、画像の再現性が低下し、復元演算の収束性が悪化する。また、バンド毎の透過率の標準偏差の平均値が小さすぎる場合も画像の再現性が低下することがわかった。
　本発明者らは、上記の課題を見出し、これらの課題を解決するためのフィルタアレイの構成を検討した。本開示のある実施形態によれば、全バンドの平均透過率の標準偏差（または分散）が特定の値以下になるようにフィルタアレイが設計される。他の実施形態によれば、バンド毎の透過率の標準偏差の平均値が特定の値以上になるようにフィルタアレイが設計される。そのような設計により、バンド毎の画像の復元誤差を低減できる。
　本開示のある実施形態に係る光学フィルタアレイは、Ｎ個（Ｎは４以上の整数）の波長バンドのそれぞれの画像データを生成する光検出装置において用いられる。前記光学フィルタアレイは、複数の光学フィルタを備える。前記複数の光学フィルタは、前記Ｎ個の波長バンドの各々における透過率が互いに異なる複数種類の光学フィルタを含む。前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）の光についての前記複数の光学フィルタの透過率の平均値をμｉとすると、前記Ｎ個の波長バンドについての前記透過率の平均値μｉの標準偏差σμは、
Figure JPOXMLDOC01-appb-M000003
 で表され、前記透過率の平均値μｉの標準偏差σμは、０．１３以下である。
　上記の構成によれば、前記Ｎ個の波長バンドについての前記透過率の平均値μｉの標準偏差σμが０．１３以下という比較的小さい値になるように各光学フィルタが設計される。これにより、各波長バンドについての光学フィルタアレイの平均透過率の均一性を高めることができる。その結果、例えば圧縮センシングを用いた処理によって生成される各波長バンドの画像の誤差を低減できる。
　本開示の他の実施形態に係る光学フィルタアレイは、Ｎ個（Ｎは４以上の整数）の波長バンドのそれぞれの画像データを生成する光検出装置において用いられる。前記光学フィルタアレイは、複数の光学フィルタを備える。前記複数の光学フィルタは、前記Ｎ個の波長バンドの各々における透過率が互いに異なる複数種類の光学フィルタを含む。前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）の光についての前記複数の光学フィルタの透過率の標準偏差をσｉとすると、前記Ｎ個の波長バンドについての前記透過率の標準偏差σｉの平均値は０．０７以上である。
　上記の構成によれば、前記Ｎ個の波長バンドについての前記透過率の標準偏差σｉの平均値が０．０７以上という比較的大きい値になるように各光学フィルタが設計される。これにより、各波長バンドについての光学フィルタアレイの透過率の分散性を向上させることができる。その結果、例えば圧縮センシングを用いた処理によって生成される各波長バンドの画像の誤差を低減できる。
　本開示のさらに他の態様に係る光学フィルタアレイは、Ｎ個（Ｎは４以上の整数）の波長バンドのそれぞれの画像データを生成する光検出装置において用いられる。前記光学フィルタアレイは、複数の光学フィルタを備える。前記複数の光学フィルタは、前記Ｎ個の波長バンドの各々における透過率が互いに異なる複数種類の光学フィルタを含む。前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）の光についての前記複数の光学フィルタの透過率の平均値をμｉとし、前記第ｉの波長バンドの光についての前記複数の光学フィルタの透過率の標準偏差をσｉとし、Ｒi＝（μi＋３σi）/（μi－３σi）とすると、前記Ｎ個の波長バンドについてのＲｉの平均値は２．０以上である。
　上記の構成によれば、Ｒｉの平均値が２．０以上という比較的大きい値になるように各光学フィルタが設計される。これにより、各波長バンドについての光学フィルタアレイの透過率の分散性を向上させることができる。その結果、例えば圧縮センシングを用いた処理によって生成される各波長バンドの画像の誤差を低減できる。
　ある実施形態において、前記第ｉの波長バンドの光についての前記複数の光学フィルタの各々の透過率を、所定の階調数で光強度を検出する光検出器を用いて計測することによって得られる前記透過率のヒストグラムにおけるピークの透過率は、前記第ｉの波長バンドの光についての前記複数の光学フィルタの透過率の平均値μｉよりも小さくてもよい。
　前記複数の光学フィルタの少なくとも１つは、ファブリペローフィルタであってもよい。ファブリペローフィルタは、例えば有機材料から形成された他の種類のフィルタよりも容易に作製することができる。
　前記複数のフィルタの少なくとも１つは、第１反射層、第２反射層、および前記第１反射層と前記第２反射層との間の中間層を含み、かつ互いに次数の異なる複数の共振モードを有する共振構造を含んでいてもよい。このような構造によれば、複数の波長について透過率の高いフィルタを実現できる。
　前記第ｉの波長バンドの中心波長λｉと、前記第ｉの波長バンドの光についての前記複数の光学フィルタの透過率の平均値μｉとは、正の相関を有していてもよい。各光学フィルタが前述のファブリペローフィルタである場合、このような特性が典型的に得られる。
　本開示のさらに他の態様に係る光検出装置は、上記のいずれかに記載の光学フィルタアレイと、前記光学フィルタアレイを透過した光を検出するイメージセンサと、を備える。
　本開示のさらに他の態様に係る光検出システムは、上記の光検出装置と、前記イメージセンサから出力された信号に基づいて、前記Ｎ個の波長バンドのそれぞれについての画像データを生成する信号処理回路とを備える。
　本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅも同じ目的で使うことができる。
　さらに、回路、ユニット、装置、部材または部の全部または一部の機能または動作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
　以下、本開示のより具体的な実施形態を説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複する説明を省略することがある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似する構成要素については、同じ参照符号を付している。本明細書において、画像を示す信号（すなわち、各画素の画素値を表す信号の集合）を、単に「画像」と称することがある。以下の説明において、図中に示されたｘｙｚ座標を用いる。
　（実施形態）
　＜光検出システム＞
　図５Ａは、本開示の例示的な実施形態における光検出システム４００を模式的に示す図である。光検出システム４００は、光学系４０と、フィルタアレイ１０と、イメージセンサ６０と、信号処理回路２００とを備える。フィルタアレイ１０は、特許文献１に開示されている「符号化素子」と同様の機能を有する。このため、フィルタアレイ１０を、「符号化素子」と称することもできる。光学系４０およびフィルタアレイ１０は、対象物７０から入射する光の光路上に配置されている。
　フィルタアレイ１０は、行および列状に配列された透光性の複数の領域を備える。フィルタアレイ１０は、光の透過スペクトル、すなわち光透過率の波長依存性が領域によって異なる光学素子である。フィルタアレイ１０は、入射した光の強度を変調させて通過させる。フィルタアレイ１０の構成の詳細については後述する。
　フィルタアレイ１０は、イメージセンサ６０の近傍または直上に配置され得る。ここで「近傍」とは、光学系４０からの光の像がある程度鮮明な状態でフィルタアレイ１０の面上に形成される程度に近接していることを意味する。「直上」とは、ほとんど隙間が生じない程両者が近接していることを意味する。フィルタアレイ１０およびイメージセンサ６０は一体化されていてもよい。フィルタアレイ１０およびイメージセンサ６０を備える装置を、「光検出装置３００」と称する。
　フィルタアレイ１０は、イメージセンサ６０から離れて配置されていてもよい。図５Ｂおよび図５Ｃは、フィルタアレイ１０がイメージセンサ６０から離れて配置される構成の例を示している。図５Ｂの例では、フィルタアレイ１０が光学系４０とイメージセンサ６０との間に配置されている。図５Ｃの例では、フィルタアレイ１０が対象物７０と光学系４０との間に配置されている。これらの例では、フィルタアレイ１０によって符号化された像は、イメージセンサ６０の撮像面上でボケた状態で取得される。したがって、予めこのボケ情報を保有しておき、そのボケ情報を後述する演算処理において用いられるシステム行列Ｈに反映させることにより、分離画像２２０を再構成することができる。ここで、ボケ情報は、点拡がり関数（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ：ＰＳＦ）によって表される。ＰＳＦは、点像の周辺画素への拡がりの程度を規定する関数である。例えば、画像上で１画素に相当する点像が、ボケによってその画素の周囲のｋ×ｋ画素の領域に広がる場合、ＰＳＦは、その領域内の各画素の輝度への影響を示す係数群、すなわち行列として規定され得る。ＰＳＦによる符号化パターンのボケの影響を後述するシステム行列Ｈに反映させることにより、分光分離画像を再構成することができる。フィルタアレイ１０が配置される位置は任意であるが、フィルタアレイ１０の符号化パターンが拡散しすぎて消失しない位置が選択され得る。
　光学系４０は、少なくとも１つのレンズを含む。図５Ａでは、１つのレンズとして示されているが、光学系４０は複数のレンズの組み合わせであってもよい。光学系４０は、フィルタアレイ１０を介して、イメージセンサ６０の撮像面上に像を形成する。
　イメージセンサ６０は、２次元的に配列された複数の光検出素子（本明細書において、「画素」とも呼ぶ。）を有するモノクロタイプの光検出器である。イメージセンサ６０は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、赤外線アレイセンサ、テラヘルツアレイセンサ、ミリ波アレイセンサであり得る。光検出素子は、例えばフォトダイオードを含む。イメージセンサ６０は、必ずしもモノクロタイプのセンサである必要はない。例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプのセンサを用いてもよい。カラータイプのセンサを使用することで、波長に関する情報量を増やすことができ、分光分離画像の再構成の精度を向上させることができる。ただし、カラータイプのセンサを使用した場合、空間方向（ｘ、ｙ方向）の情報量が低下するため、波長に関する情報量と解像度とはトレードオフの関係にある。取得対象の波長範囲は任意に決定してよく、可視の波長範囲に限らず、紫外、近赤外、中赤外、遠赤外、マイクロ波・電波の波長範囲であってもよい。
　信号処理回路２００は、イメージセンサ６０によって取得された画像１２０に基づいて、多波長の情報を含む複数の分離画像２２０Ｗ１、２２０Ｗ２、２２０Ｗ３、・・・、２２０ＷＮを再構成する。複数の分離画像２２０Ｗ１、２２０Ｗ２、２２０Ｗ３、・・・、２２０ＷＮ、および信号処理回路２００の画像信号の処理方法の詳細については、後述する。なお、信号処理回路２００は、光検出装置３００に組み込まれていてもよいし、光検出装置３００に有線または無線によって電気的に接続された信号処理装置の構成要素であってもよい。
　以下に、本実施形態におけるフィルタアレイ１０を説明する。フィルタアレイ１０は、対象物７０から入射する光の光路上に配置され、入射光の強度を波長ごとに変調して出力する。フィルタアレイによるこの過程を、本明細書では「符号化」と称する。
　図６Ａは、フィルタアレイ１０の例を模式的に示す図である。フィルタアレイ１０は、２次元的に配列された複数の領域を有する。本明細書では、当該領域を、「セル」と称することがある。各領域には、個別に設定された透過スペクトルを有する光学フィルタが配置されている。透過スペクトルは、入射光の波長をλとして、関数Ｔ（λ）で表される。透過スペクトルＴ（λ）は、０以上１以下の値を取り得る。
　図６Ａに示す例では、フィルタアレイ１０は、６行８列に配列された４８個の矩形領域を有している。これはあくまで例示であり、実際の用途では、これよりも多くの領域が設けられ得る。その数は、例えばイメージセンサなどの一般的な光検出器の画素数と同程度であり得る。当該画素数は、例えば数十万から数千万であり得る。図５Ａの例では、フィルタアレイ１０は、イメージセンサ６０の直上に配置され、各領域が光検出器の１つの画素に対応するように配置される。各領域は、例えば、イメージセンサ６０の１つの画素に対向する。
　図６Ｂは、対象波長域に含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮのそれぞれの光の透過率の空間分布の一例を示す図である。図６Ｂに示す例では、各領域の濃淡の違いは、透過率の違いを表している。淡い領域ほど透過率が高く、濃い領域ほど透過率が低い。図６Ｂに示すように、波長バンドによって光透過率の空間分布が異なっている。
　図６Ｃおよび図６Ｄは、それぞれ、図６Ａに示すフィルタアレイ１０の複数の領域に含まれる領域Ａ１および領域Ａ２の透過スペクトルの例を示す図である。領域Ａ１の透過スペクトルと領域Ａ２の透過スペクトルとは、互いに異なる。このように、フィルタアレイ１０の透過スペクトルは、領域によって異なる。ただし、必ずしもすべての領域の透過スペクトルが異なっている必要はない。フィルタアレイ１０では、複数の領域の少なくとも一部の領域の透過スペクトルが互いに異なっている。フィルタアレイ１０は、透過スペクトルが互いに異なる２つ以上のフィルタを含む。ある例では、フィルタアレイ１０に含まれる複数の領域の透過スペクトルのパターンの数は、対象波長域に含まれる波長バンドの数Ｎと同じか、それ以上であり得る。フィルタアレイ１０は、半数以上の領域の透過スペクトルが異なるように設計されていてもよい。
　図７Ａおよび図７Ｂは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係を説明するための図である。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば、約４００ｎｍから約７００ｎｍの可視光の波長域、約７００ｎｍから約２５００ｎｍの近赤外線の波長域、約１０ｎｍから約４００ｎｍの近紫外線の波長域、その他、中赤外、遠赤外、テラヘルツ波、またはミリ波などの電波域であり得る。このように、使用される波長域は可視光域とは限らない。本明細書では、可視光に限らず、近紫外線、近赤外線、および電波などの非可視光も便宜上「光」と称する。
　図７Ａに示す例では、Ｎを４以上の任意の整数として、対象波長域ＷをＮ等分したそれぞれの波長域を波長バンドＷ１、Ｗ２、・・・、ＷＮとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数の波長バンドは任意に設定してもよい。例えば、波長バンドによって帯域幅を不均一にしてもよい。隣接する波長バンドの間にギャップまたは重なりがあってもよい。図７Ｂに示す例では、波長バンドによって帯域幅が異なり、かつ、隣接する２つの波長バンドの間にギャップがある。このように、複数の波長バンドは、互いに異なっていればよく、その決め方は任意である。波長の分割数Ｎは３以下でもよい。
　図８Ａは、フィルタアレイ１０のある領域における透過スペクトルの特性を説明するための図である。図８Ａに示す例では、透過スペクトルは、対象波長域Ｗ内の波長に関して、複数の極大値Ｐ１からＰ５、および複数の極小値を有する。図８Ａに示す例では、対象波長域Ｗ内での光透過率の最大値が１、最小値が０となるように正規化されている。図８Ａに示す例では、波長バンドＷ２、および波長バンドＷＮ－１などの波長域において、透過スペクトルが極大値を有している。このように、本実施形態では、各領域の透過スペクトルは、複数の波長バンドＷ１からＷＮのうち、少なくとも２つの複数の波長域において極大値を有する。図８Ａからわかるように、極大値Ｐ１、極大値Ｐ３、極大値Ｐ４、および極大値Ｐ５は０．５以上である。
　以上のように、各領域の光透過率は、波長によって異なる。したがって、フィルタアレイ１０は、入射する光のうち、ある波長域の成分を多く透過させ、他の波長域の成分をそれほど透過させない。例えば、Ｎ個の波長バンドのうちのｋ個の波長バンドの光については、透過率が０．５よりも大きく、残りのＮ－ｋ個の波長域の光については、透過率が０．５未満であり得る。ｋは、２≦ｋ＜Ｎを満たす整数である。仮に入射光が、すべての可視光の波長成分を均等に含む白色光であった場合には、フィルタアレイ１０は、入射光を領域ごとに、波長に関して離散的な複数の強度のピークを有する光に変調し、これらの多波長の光を重畳して出力する。
　図８Ｂは、一例として、図８Ａに示す透過スペクトルを、波長域Ｗ１、Ｗ２、・・・、ＷＮごとに平均化した結果を示す図である。平均化された透過率は、透過スペクトルＴ（λ）を波長バンドごとに積分してその波長バンドの帯域幅で除算することによって得られる。本明細書では、このように波長バンドごとに平均化した透過率の値を、その波長バンドにおける透過率とする。この例では、極大値Ｐ１、Ｐ３およびＰ５をとる３つの波長域において、透過率が突出して高くなっている。特に、極大値Ｐ３およびＰ５をとる２つの波長域において、透過率が０．８を超えている。
　フィルタアレイ１０を光検出器の近傍あるいは直上に配置する場合、フィルタアレイ１０における複数の領域の相互の間隔であるセルピッチは、光検出器の画素ピッチと略一致させてもよい。このようにすれば、フィルタアレイ１０から出射した符号化された光の像の解像度が画素の解像度と略一致する。各セルを透過した光が対応する１つの画素にのみ入射するようにすることにより、後述する演算を容易にすることができる。フィルタアレイ１０を光検出器から離して配置する場合には、その距離に応じてセルピッチを細かくしてもよい。
　図６Ａから図６Ｄに示す例では、各領域の透過率が０以上１以下の任意の値をとり得るグレースケールの透過率分布を想定した。しかし、必ずしもグレースケールの透過率分布にする必要はない。例えば、各領域の透過率が略０または略１のいずれかの値を取り得るバイナリ－スケールの透過率分布を採用してもよい。バイナリ－スケールの透過率分布では、各領域は、対象波長域に含まれる複数の波長域のうちの少なくとも２つの波長域の光の大部分を透過させ、残りの波長域の光の大部分を透過させない。ここで「大部分」とは、概ね８０％以上を指す。
　全セルのうちの一部、例えば半分のセルを、透明領域に置き換えてもよい。そのような透明領域は、対象波長域に含まれるすべての波長域Ｗ１からＷＮの光を同程度の高い透過率、例えば８０％以上の透過率で透過させる。そのような構成では、複数の透明領域は、例えば市松状に配置され得る。すなわち、フィルタアレイ１０における複数の領域の２つの配列方向において、光透過率が波長によって異なる領域と、透明領域とが交互に配列され得る。
　＜信号処理の例＞
　次に、信号処理回路２００の処理の例を説明する。信号処理回路２００は、イメージセンサ６０から出力された画像１２０、およびフィルタアレイ１０の波長ごとの透過率の空間分布特性に基づいて、多波長の分離画像２２０を再構成する。ここで多波長とは、例えば通常のカラーカメラで取得されるＲＧＢの３色の波長域よりも多くの波長域を意味する。この波長域の数は、例えば４から１００程度の数であり得る。この波長域の数を、バンド数と称する。用途によっては、バンド数は１００を超えていてもよい。
　求めたいデータは分離画像２２０であり、そのデータをｆとする。分光帯域数をＮとすると、ｆは、各帯域の画像データｆ１、ｆ２、・・・、ｆＮを統合したデータである。求めるべき画像データのｘ方向の画素数をｎとし、ｙ方向の画素数をｍとすると、画像データｆ１、ｆ２、・・・、ｆＮの各々は、ｎ×ｍ画素の２次元データの集まりである。したがって、データｆは要素数ｎ×ｍ×Ｎの３次元データである。一方、フィルタアレイ１０によって符号化および多重化されて取得される画像１２０のデータｇの要素数はｎ×ｍである。本実施の形態におけるデータｇは、以下の式（１）によって表すことができる。
Figure JPOXMLDOC01-appb-M000004
　ここで、ｆ１、ｆ２、・・・、ｆＮは、ｎ×ｍ個の要素を有するデータである。したがって、右辺のベクトルは、厳密にはｎ×ｍ×Ｎ行１列の１次元ベクトルである。ベクトルｇは、ｎ×ｍ行１列の１次元ベクトルに変換して表され、計算される。行列Ｈは、ベクトルｆの各成分ｆ１、ｆ２、・・・、ｆＮを波長バンドごとに異なる符号化情報で符号化および強度変調し、それらを加算する変換を表す。したがって、Ｈは、ｎ×ｍ行ｎ×ｍ×Ｎ列の行列である。本明細書において、行列Ｈを「システム行列」と称することがある。
　さて、ベクトルｇと行列Ｈが与えられれば、式（１）の逆問題を解くことにより、ｆを算出することができそうである。しかし、求めるデータｆの要素数ｎ×ｍ×Ｎが取得データｇの要素数ｎ×ｍよりも多いため、この問題は不良設定問題となり、このままでは解くことができない。そこで、本実施の形態の信号処理回路２００は、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の式（２）を解くことにより、求めるデータｆが推定される。
Figure JPOXMLDOC01-appb-M000005
　ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値または二乗和平方根等を残差項としてもよい。括弧内の第２項は、後述する正則化項または安定化項である。式（２）は、第１項と第２項との和を最小化するｆを求めることを意味する。信号処理回路２００は、再帰的な反復演算によって解を収束させ、最終的な解ｆ’を算出することができる。
　式（２）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによってシステム変換したＨｆとの差分の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。働きとしては、推定データを滑らかまたは安定にする効果がある。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）などによって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象物７０のスパース性は、対象物７０のテキスチャによって異なる。対象物７０のテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数である。重み係数τが大きいほど冗長的なデータの削減量が多くなり、圧縮する割合が高まる。重み係数τが小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。
　なお、ここでは式（２）に示す圧縮センシングを用いた演算例を示したが、その他の方法を用いて解いてもよい。例えば、最尤推定法またはベイズ推定法などの他の統計的方法を用いることができる。また、分離画像２２０の数は任意であり、各波長バンドも任意に設定してよい。再構成の方法の詳細は、特許文献１に開示されている。特許文献１の開示内容全体を本明細書に援用する。
　＜光学フィルタアレイの詳細構成＞
　次に、再構成される画像の誤差を低減させるフィルタアレイ１０の具体的な構成例を説明する。
　以下の説明では、フィルタアレイ１０における各フィルタがファブリペロー（ＦＰ）フィルタであるものとする。ＦＰフィルタは、第１の反射層、第２の反射層、および第１の反射層と第２の反射層との間の中間層を備える。各反射層は、誘電体多層膜または金属薄膜のいずれかから形成され得る。中間層は、少なくとも１つの共振モードを有する共振構造が形成される厚さおよび屈折率を有する。共振モードに対応する波長の光の透過率が高くなり、他の波長の光の透過率は低くなる。中間層の屈折率または厚さをフィルタごとに変えることにより、フィルタごとに異なる透過スペクトルを実現できる。
　図９は、本実施形態における光検出装置３００の断面の一部を模式的に示す図である。この光検出装置３００は、フィルタアレイ１０と、イメージセンサ６０とを備える。フィルタアレイ１０は、２次元に配列された複数のフィルタ１００を備える。複数のフィルタ１００は、行および列状に配列されている。図９は、１つの行の断面構造を模式的に示している。複数のフィルタ１００の各々は、共振構造を備える。共振構造とは、ある波長の光が、内部で定在波を形成して安定に存在する構造を意味する。当該光の状態を、「共振モード」と称する。図９に示す共振構造は、第１反射層２８ａ、第２反射層２８ｂ、および第１反射層ａと第２反射層２８ｂとの間の中間層２６を含む。第１反射層２８ａおよび第２反射層２８ｂの各々は、誘電体多層膜または金属薄膜から形成され得る。中間層２６は、特定の波長域において透明な誘電体または半導体から形成され得る。中間層２６は、例えば、Ｓｉ、Ｓｉ３Ｎ４、ＴｉＯ２、Ｎｂ２Ｏ５、Ｔａ２Ｏ５からなる群から選択される少なくとも１つから形成され得る。複数のフィルタ１００の中間層２６の屈折率および厚さの少なくとも一方は、フィルタによって異なる。図９に示す例における複数のフィルタ１００の各々の透過スペクトルは、複数の波長で透過率の極大値を有する。当該複数の波長は、上記の共振構造における次数の異なる複数の共振モードにそれぞれ対応する。本実施形態では、フィルタアレイ１０における全てのフィルタ１００が上記の共振構造を備える。フィルタアレイ１０は、上記の共振構造を有しないフィルタを含んでいてもよい。例えば、透明フィルタまたはＮＤフィルタ（Ｎｅｕｔｒａｌ　Ｄｅｎｓｉｔｙ　Ｆｉｌｔｅｒ）などの、光透過率の波長依存性を有しないフィルタがフィルタアレイ１０に含まれていてもよい。
　イメージセンサ６０は、複数の光検出素子６０ａを備える。複数の光検出素子６０ａの各々は、複数のフィルタ１００の１つに対向して配置されている。複数の光検出素子６０ａの各々は、特定の波長域の光に感度を有する。この特定の波長域は、前述の対象波長域Ｗに相当する。なお、本開示において「ある波長域の光に感度を有する」とは、当該波長域の光を検出するのに必要な実質的な感度を有することを指す。例えば、当該波長域における外部量子効率が１％以上であることを指す。光検出素子６０ａの外部量子効率は１０％以上であってもよい。光検出素子６０ａの外部量子効率は２０％以上であってもよい。各フィルタ１００の光透過率が極大値をとる複数の波長は、いずれも対象波長域Ｗに含まれる。
　本明細書では、上記の共振構造を備えるフィルタ１００を、「ファブリペローフィルタ」と称する。本明細書では、極大値を有する透過スペクトルの部分を、「ピーク」と称し、透過スペクトルが極大値を有する波長を、「ピーク波長」と称する。
　フィルタ１００において、中間層２６の厚さをＬ、屈折率をｎ、フィルタ１００に入射する光の入射角をθｉ、共振モードのモード次数をｍとする。ｍは１以上の整数である。このとき、フィルタ１００の透過スペクトルのピーク波長λｍは、以下の式（３）によって表される。
Figure JPOXMLDOC01-appb-M000006
　対象波長域Ｗのうちの最短波長をλｉ、最長波長をλｅとする。本明細書では、λｉ≦λｍ≦λｅを満たすｍが１つ存在するフィルタ１００を、「単一モードフィルタ」と称する。λｉ≦λｍ≦λｅを満たすｍが２つ以上存在するフィルタ１００を、「多モードフィルタ」と称する。以下、対象波長域Ｗの最短波長がλｉ＝４００ｎｍであり、最長波長がλｅ＝７００ｎｍである場合の例を説明する。
　例えば、厚さＬ＝３００ｎｍ、屈折率ｎ＝１．０、垂直入射θｉ＝０°のフィルタ１００では、ｍ＝１のときのピーク波長は、λ１＝６００ｎｍであり、ｍ≧２のときのピーク波長は、λｍ≧２≦３００ｎｍである。したがって、このフィルタ１００は、対象波長域Ｗに１つのピーク波長が含まれる単一モードフィルタである。
　一方、厚さＬを３００ｎｍよりも大きくすると、対象波長域Ｗに、複数のピーク波長が含まれる。例えば、厚さＬ＝３０００ｎｍ、ｎ＝１．０、垂直入射θｉ＝０のフィルタ１００では、１≦ｍ≦８のときのピーク波長は、λ１≦ｍ≦８≧７５０ｎｍであり、９≦ｍ≦１５のときのピーク波長は、４００ｎｍ≦λ９≦ｍ≦１５≦７００ｎｍであり、ｍ≧１６のときのピーク波長は、λｍ≧１６≦３７５ｎｍである。したがって、このフィルタ１００は、対象波長域Ｗに７つのピーク波長が含まれる多モードフィルタである。
　以上のように、フィルタ１００の中間層２６の厚さを適切に設計することにより、多モードフィルタを実現することができる。中間層２６の厚さの代わりに、フィルタ１００の中間層２６の屈折率を適切に設計してもよい。あるいは、フィルタ１００の中間層２６の厚さおよび屈折率の両方を適切に設計してもよい。
　図１０は、互いに透過スペクトルが異なる複数の多モードフィルタが、各々が画素である複数の光検出素子６０ａ上にそれぞれ配置された場合における、各画素での透過スペクトルの例を模式的に示す図である。図１０には、画素Ａ、画素Ｂ、および画素Ｃでの透過スペクトルが例示されている。複数の多モードフィルタは、画素ごとにピーク波長がわずかに異なるように設計されている。このような設計は、式（３）における厚さＬおよび／または屈折率ｎをわずかに変化させることによって実現することができる。この場合、各画素では、対象波長域Ｗにおいて複数のピークが現れる。当該複数のピークのそれぞれのモード次数は、各画素において同じである。図１０に示されている複数のピークのモード次数は、ｍ、ｍ＋１、およびｍ＋２である。本実施形態における光検出装置３００は、画素である光検出素子６０ａごとに異なる、複数のピーク波長の光を同時に検出することができる。
　次に、第１反射層２８ａおよび第２反射層２８ｂの各々が誘電体多層膜から形成される場合の構成例を説明する。
　図１１は、各反射層が誘電体多層膜から形成されるフィルタ１００の例を模式的に示す図である。フィルタ１００は、基板８０上に設けられている。第１反射層２８ａおよび第２反射層２８ｂの各々は、誘電体多層膜から形成されている。すなわち、第１反射層２８ａおよび第２反射層２８ｂの各々は、複数の低屈折率層２７ｌと、複数の高屈折率層２７ｈとが交互に位置する構造を備える。複数の低屈折率層２７ｌの各々は、屈折率ｎｌを有し、複数の高屈折率層２７ｈの各々は、屈折率ｎｌよりも高い屈折率ｎｈを有する。第１反射層２８ａでの低屈折率層２７ｌと、第２反射層２８ｂでの低屈折率層２７ｌとは、同じ屈折率を有していてもよいし、異なる屈折率を有していてもよい。第１反射層２８ａでの高屈折率層２７ｈと、第２反射層２８ｂでの高屈折率層２７ｈとは、同じ屈折率を有していてもよいし、異なる屈折率を有していてもよい。
　誘電体多層膜は、複数のペア層を備える。１つのペア層は、１つの低屈折率層２７ｌおよび１つの高屈折率層２７ｈを含む。図１１に示す例では、第１反射層２８ａおよび第２反射層２８ｂの各々は、１０層の屈折率層を含む５つのペア層を備える。図１１に示す例では、対象波長域Ｗ内の特定の波長λ０において高い反射率を得るために、高屈折率層２７ｈの厚さは、ｔｈ＝λ０／（４ｎｈ）に設定され、低屈折率層２７ｌの厚さは、ｔｌ＝λ０／（４ｎｌ）に設定される。言い換えれば、高屈折率層２７ｈの厚さｔｈの光学長、および低屈折率層２７ｌの厚さｔｌの光学長は、λ０／４である。ここで、光学長とは、厚さに屈折率を掛けた値を意味する。特定の波長λ０は、例えば、対象波長域Ｗの中心波長（λｉ＋λｅ）／２に設定され得る。
　図１２は、各反射層が誘電体多層膜から形成されるフィルタ１００の他の例を模式的に示す図である。図１２に示す例では、図１１に示す例とは異なり、第１反射層２８ａおよび第２反射層２８ｂの各々において、複数の高屈折率層２７ｈの厚さ、および複数の低屈折率層２７ｌの厚さは、均一ではない。第１反射層２８ａおよび第２反射層２８ｂの各々において、低屈折率層２７ｌの少なくとも２つは、互いに異なる厚さを有し、高屈折率層２７ｈの少なくとも２つは、互いに異なる厚さを有する。第１反射層２８ａおよび第２反射層２８ｂの各々において、複数の低屈折率層２７ｌの各々の光学長は、低屈折率層２７ｌに隣り合う高屈折率層２７ｈの光学長に等しい。図１２に示す誘電体多層膜は、例えば、波長λｓからλｌまでの波長域の光を反射するように設計され得る。波長λｓは、前述の波長λｉと同一でもよいし、異なっていてもよい。同様に、波長λｌは、前述の波長λｅと同一でもよいし、異なっていてもよい。第１反射層２８ａおよび第２反射層２８ｂの各々において、複数のペア層を、中間層２６から遠い順に、ｎ＝０からｎ＝３のように番号付けすると、高屈折率層２７ｈの厚さは、ｔｈ（ｎ）＝［λｓ＋ｎ（λｌ－λｓ）／３］／（４ｎｈ）であり、低屈折率層２７ｌの厚さは、ｔｌ（ｎ）＝［λｓ＋ｎ（λｌ－λｓ）／３］／（４ｎｌ）である。このように、第１反射層２８ａおよび第２反射層２８ｂの各々において、高屈折率層２７ｈの厚さｔｈ（ｎ）、および低屈折率層２７ｌの厚さｔｌ（ｎ）の両方とも、λｓ／４からλｌ／４まで線形に変調されている。例えば、波長λｓ＝３５０ｎｍおよび波長λｌ＝７００ｎｍとすると、ペア層の各厚さの光学長は、λｓ／４＝８７．５ｎｍからλｌ／４＝１７５ｎｍまで線形に変化する。
　図１２に示す例において、細い線の第１ループ２９ａおよび太い線の第２ループ２９ｂは、それぞれ、フィルタ１００内に閉じ込められる波長λｓおよび波長λｌの光を表している。波長λｓの光は、第１反射層２８ａでの入射面側のペア層と、第２反射層２８ｂでの基板８０側のペア層によって反射される。波長λｌの光は、第１反射層２８ａでの中間層２６側のペア層と、第２反射層２８ｂでの中間層２６側のペア層によって反射される。このように、入射光は、その波長に対応するペア層によって反射される。これにより、誘電体多層膜における対象波長域Ｗでの反射率の不均一さが抑制される。図１２に示す構造によれば、例えば図２に示すような透過スペクトルを実現することができる。
　＜復元誤差を低減する光学フィルタアレイの構成例＞
　次に、復元誤差を低減するためのフィルタアレイ１０の構成例を説明する。
　まず、複数のＦＰフィルタから構成されるフィルタアレイ１０を、圧縮センシングによる復元処理を行うハイパースペクトルカメラに用いた場合の影響を説明する。
　図１３は、以降の議論で比較対象となる、フィルタアレイ１０の透過特性がいずれの波長バンドについても同程度である理想的なフィルタアレイ１０を用いた場合の復元特性を説明するための図である。図１３の例では、１０の波長バンド１から１０が仮定されている。各バンドの透過率分布は、平均透過率０．５、標準偏差０．１となる正規分布に従う０．０から１．０の範囲の乱数で与えられている。図１４は、波長バンド１から１０のそれぞれについてのフィルタアレイ１０の透過率分布のヒストグラムを示している。この例では、マトリクス状に並んだ２４個の色見本を含むカラーチャートを被写体としている。ハイパースペクトルカメラによって取得された画像に前述の圧縮センシング処理を行うことによって復元された波長バンドごとの画像の例が図１３の下段に示されている。図１３の中段は、正解画像を示している。この例では、６４０×４８０の２次元のフィルタアレイ１０が用いられている。また、８ビット（すなわち、０から２５６）の階調数で画素値を表現するイメージセンサ６０が用いられている。透過率のヒストグラムは、イメージセンサ６０の各画素の画素値から換算された透過率の値から得られる。
　図１５は、バンド毎の、正解画像と復元画像との誤差を示す図である。この例では、誤差として、平均二乗誤差（Ｍｅａｎ　Ｓｑｕａｒｅ　Ｅｒｒｏｒ：ＭＳＥ）が用いられている。ＭＳＥは、以下の式（４）で計算される。
Figure JPOXMLDOC01-appb-M000007
　ここで、ｎおよびｍは、それぞれ縦方向および横方向の画素数を表す。Ｉｉ、ｊは、位置（ｉ、ｊ）の画素における正解画像の画素値を表す。Ｉ’ｉ、ｊは、位置（ｉ、ｊ）の画素における再構成された各波長バンドの画像の画素値を表す。
　この例では、フィルタアレイ１０の透過特性が全バンドで均一なので、図１５に示すように、ＭＳＥはいずれのバンドについても低く抑えられる。ＭＳＥの全バンドの平均値は３５．６であった。この値は、イメージセンサ６０の画素値に換算すると、およそ５．９７であり、画素値の最大値２５５に対しておよそ２．３％の誤差に相当する。このように、フィルタアレイ１０の透過率のバンド毎の平均値および標準偏差が均一である場合は、高い精度で各波長バンドの画像を復元できる。
　図１６は、フィルタアレイ１０の一部のバンドの平均透過率が低い場合の復元特性を説明するための図である。この例では、バンド４、５、６の平均透過率を０．５から０．２５に低くした場合を仮定している。図１７は、バンド４、５、６についてのフィルタアレイ１０の透過率のヒストグラムを示している。その他のバンドについては、図１４に示すヒストグラムと同様である。図１８は、バンド毎の、正解画像と復元画像との誤差を示す図である。フィルタアレイ１０の特性（この例では平均透過率）が不均一になると、図１８に示すように、バンド４、５、６のＭＳＥが著しく悪化し、さらに他のバンドの復元特性もこの影響を受けて悪化する。ＭＳＥの全バンドの平均値は１３２であった。この値は、イメージセンサ６０の画素値に換算すると、およそ１１．５であり、画素値の最大値２５５に対しておよそ４．５％の誤差に相当する。この例では、バンド４から６を対象に平均透過率を低下させているが、他の任意のバンドでも同じ傾向が観測できる。この結果から、平均透過率のバラつきによって復元誤差が増加することがわかる。
　図１９は、フィルタアレイ１０の平均透過率の標準偏差（または分散）が大きくなると、ＭＳＥが増加する（すなわち復元が悪化する）ことを説明するための図である。図１９における縦軸は、図１３に示す例におけるＭＳＥからの増加量を示す。図１９に示すように、平均透過率の標準偏差の増加に伴い、ＭＳＥが指数関数的に増加することがわかる。
　ここで、Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）の光について、フィルタアレイ１０に含まれる複数の光学フィルタの透過率の平均値をμｉとする。フィルタアレイ１０がＭ個（Ｍは４以上の整数）のフィルタを含み、Ｍ個のフィルタのうちのｊ番目（ｊは１以上Ｍ以下の整数）のフィルタの第ｉの波長バンドの光についての透過率をＴｉｊとする。すると、透過率の平均値μｉは、以下の式（５）で表される。
Figure JPOXMLDOC01-appb-M000008
　Ｎ個の波長バンドについての透過率の平均値μｉの標準偏差をσμとすると、σμは、以下の式（６）で表される。
Figure JPOXMLDOC01-appb-M000009
　図１９に示すグラフから、再現性の良いフィルタアレイ１０を構成するためには、平均透過率の標準偏差σμをある値以下にすればよいことがわかる。例えば、平均透過率の標準偏差σμを０．１３以下に抑えることにより、ＭＳＥの増加量をおよそ１００以下に抑えることができる。平均透過率の標準偏差σμを０．１以下に抑えた場合には、ＭＳＥの増加量をおよそ６０以下に抑えることができる。平均透過率の標準偏差σμを０．０５以下に抑えた場合には、ＭＳＥの増加量をおよそ１０以下に抑えることができる。
　図２０は、フィルタアレイ１０の一部のバンドについての透過率の標準偏差が小さい場合の復元特性を説明するための図である。この例では、バンド４、５、６の標準偏差を０．１から０．０４に小さくした場合を仮定している。図２１は、バンド４、５、６についてのフィルタアレイ１０の透過率のヒストグラムを示している。その他のバンドについては、図１４に示すヒストグラムと同様である。図２２は、バンド毎の、正解画像と復元画像との誤差を示す図である。フィルタアレイ１０の透過特性（この例では透過率の標準偏差）が不均一になると、図２２に示すように、バンド４、５、６に加え、他のバンドの復元特性もこの影響を受けて悪化する。この例では、ＭＳＥの全バンドの平均値は６３．２であった。この値は、イメージセンサ６０の画素値に換算すると、およそ７．９５であり、画素値の最大値２５５に対しておよそ３．１％の誤差に相当する。この例では、バンド４から６を対象に透過率の標準偏差を低下させているが、他の任意のバンドでも同じ傾向が観測できる。この結果から、透過率の標準偏差の低下またはバラつきによって復元誤差が増加することがわかる。
　図２３は、フィルタアレイ１０の透過率の標準偏差の平均値が小さくなると、ＭＳＥが増加する（すなわち復元が悪化する）ことを説明するための図である。図２３における縦軸は、図１３に示す例におけるＭＳＥからの増加量を示す。透過率の標準偏差の平均値が小さくなると、ＭＳＥが指数関数的に増加することがわかる。
　ここで、Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）の光について、フィルタアレイ１０に含まれる複数の光学フィルタの透過率の標準偏差をσｉとする。σｉは、以下の式（７）で表される。
Figure JPOXMLDOC01-appb-M000010
　Ｎ個の波長バンドについての透過率の標準偏差σｉの平均値μσは、以下の式（８）で表される。
Figure JPOXMLDOC01-appb-M000011
　図２３に示すグラフから、再現性の良いフィルタアレイ１０を構成するためには、透過率の標準偏差σｉの平均値μσをある値以上にすればよいことがわかる。例えば、標準偏差σｉの平均値μσを０．０５以上にした場合には、ＭＳＥの増加量をおよそ２００以下に抑えることができる。標準偏差σｉの平均値μσを０．０７以上にした場合には、ＭＳＥの増加量をおよそ１００以下に抑えることができる。標準偏差σｉの平均値μσを０．０８以上にした場合には、ＭＳＥの増加量をおよそ５０以下に抑えることができる。
　前述の標準偏差σｉの平均値μσで評価する代わりに、フィルタアレイ１０のバンド毎の明暗差（すなわちダイナミックレンジ）を示す他の指標値を用いて評価してもよい。例えば、平均透過率を考慮した指標値Ｒi＝（μi＋３σi）/（μi―３σi）を用いることもできる。
　図２４は、この指標値Ｒｉの全バンドについての平均値と、ＭＳＥの増加量との関係をプロットしたグラフである。このグラフの傾向は図２３と同様である。
　指標値Ｒｉの全バンドについての平均値μＲは、以下の式（９）で表される
Figure JPOXMLDOC01-appb-M000012
　図２４に示すグラフから、再現性の良いフィルタアレイ１０を構成するためには、Ｒｉの平均値μＲをある値以上にすればよいことがわかる。例えば、Ｒｉの平均値μＲを２．０以上にした場合には、ＭＳＥの増加量をおよそ２００以下に抑えることができる。Ｒｉの平均値μＲを２．５以上にした場合には、ＭＳＥの増加量をおよそ１００以下に抑えることができる。Ｒｉの平均値μＲを３．０以上にした場合には、ＭＳＥの増加量をおよそ５０以下に抑えることができる。
　以上の議論におけるフィルタアレイ１０の光学的な性質、すなわち各波長バンドについての平均透過率および透過率の標準偏差は、おおむね縦６画素×横６画素を含む任意の領域におけるヒストグラムを計測および解析することで明らかにできる。このようなフィルタアレイ１０の透過スペクトルの測定が技術的に困難な場合は、各波長バンドについての反射スペクトルを測定することでも同様にヒストグラムを計測および解析できる。また、フィルタアレイ１０がイメージセンサ６０上に集積されているような場合には、イメージセンサ６０自身の感度特性を含めたヒストグラムを計測および解析することもできる。さらに、フィルタアレイ１０を構成する各フィルタがＦＰフィルタの場合には、一般的に、第１の反射層、第２の反射層、および第１の反射層と第２の反射層との間に配置された中間層からなるフィルタの厚さとヒストグラムとの間に相関がある。このことから、おおむね縦６画素×横６画素を含む任意領域における厚さの分布を測定することでも同様の情報を取得できる。
　フィルタアレイ１０を構成する各フィルタがＦＰフィルタの場合、図２を参照して説明したように、長波長側の波長バンドほど、透過率が高くなる傾向がある。したがって、ＦＰフィルタによるフィルタアレイ１０においては、第ｉの波長バンドの中心波長λｉと、第ｉの波長バンドの光についての複数の光学フィルタの透過率の平均値μｉとが、正の相関を有することが多い。なお、上記の実施形態では、複数のフィルタが２次元的に配列されたフィルタアレイ１０について主に説明したが、複数のフィルタは１次元的に配列されていてもよい。その場合、光検出器として、１次元のイメージセンサが用いられてもよい。測定対象が一次元的な領域である場合、そのような構成も採用され得る。
　本開示の技術は、例えば、多波長の画像を取得するカメラおよび測定機器に有用である。本開示の技術は、例えば、生体・医療・美容向けセンシング、食品の異物・残留農薬検査システム、リモートセンシングシステムおよび車載センシングシステムにも応用できる。
　　１０　　フィルタアレイ
　　４０　　光学系
　　６０　　イメージセンサ
　　７０　　対象物
　　８０　　基板
　　１００　フィルタ
　　１２０　画像
　　２００　信号処理回路
　　２２０　分離画像
　　３００　光検出装置

Claims (9)

  1. 　Ｎ個（Ｎは４以上の整数）の波長バンドのそれぞれの画像データを生成する光検出装置において用いられる光学フィルタアレイであって、
    　複数の光学フィルタを備え、
    　前記複数の光学フィルタは、前記Ｎ個の波長バンドの各々における透過率が互いに異なる複数種類の光学フィルタを含み、
    　前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）の光についての前記複数の光学フィルタの透過率の平均値をμｉとすると、
    　前記Ｎ個の波長バンドについての前記透過率の平均値μｉの標準偏差σμは、
    Figure JPOXMLDOC01-appb-M000001
     で表され、
    　前記透過率の平均値μｉの標準偏差σμは０．１３以下である、
    光学フィルタアレイ。
  2. 　Ｎ個（Ｎは４以上の整数）の波長バンドのそれぞれの画像データを生成する光検出装置において用いられる光学フィルタアレイであって、
    　複数の光学フィルタを備え、
    　前記複数の光学フィルタは、前記Ｎ個の波長バンドの各々における透過率が互いに異なる複数種類の光学フィルタを含み、
    　前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）の光についての前記複数の光学フィルタの透過率の標準偏差をσｉとすると、
    　前記Ｎ個の波長バンドについての前記透過率の標準偏差σｉの平均値は０．０７以上である、
    光学フィルタアレイ。
  3. 　Ｎ個（Ｎは４以上の整数）の波長バンドのそれぞれの画像データを生成する光検出装置において用いられる光学フィルタアレイであって、
    　複数の光学フィルタを備え、
    　前記複数の光学フィルタは、前記Ｎ個の波長バンドの各々における透過率が互いに異なる複数種類の光学フィルタを含み、
    　前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）の光についての前記複数の光学フィルタの透過率の平均値をμｉとし、
    　前記第ｉの波長バンドの光についての前記複数の光学フィルタの透過率の標準偏差をσｉとし、
    　Ｒi＝（μi＋３σi）/（μi―３σi）とすると、
    　前記Ｎ個の波長バンドについてのＲｉの平均値は２．０以上である、
    光学フィルタアレイ。
  4. 　前記第ｉの波長バンドの光についての前記複数の光学フィルタの各々の透過率を、所定の階調数で光強度を検出する光検出器を用いて計測することによって得られる前記透過率のヒストグラムにおけるピークの透過率は、前記第ｉの波長バンドの光についての前記複数の光学フィルタの透過率の平均値μｉよりも小さい、
    　請求項１から３のいずれかに記載の光学フィルタアレイ。
  5. 　前記複数の光学フィルタの少なくとも１つは、ファブリペローフィルタである、
    　請求項１から４のいずれかに記載の光学フィルタアレイ。
  6. 　前記複数のフィルタの少なくとも１つは、第１反射層、第２反射層、および前記第１反射層と前記第２反射層との間の中間層を含み、かつ互いに次数の異なる複数の共振モードを有する共振構造を含む、
    　請求項１から４のいずれかに記載の光学フィルタアレイ。
  7. 　前記第ｉの波長バンドの中心波長λｉと、前記第ｉの波長バンドの光についての前記複数の光学フィルタの透過率の平均値μｉとは、正の相関を有する、
    　請求項１から６のいずれかに記載の光学フィルタアレイ。
  8. 　請求項１から７のいずれかに記載の光学フィルタアレイと、
    　前記光学フィルタアレイを透過した光を検出するイメージセンサと、
    を備える光検出装置。
  9. 　請求項８に記載の光検出装置と、
    　前記イメージセンサから出力された信号に基づいて、前記Ｎ個の波長バンドのそれぞれについての画像データを生成する信号処理回路と、
    を備える光検出システム。
PCT/JP2020/041439 2020-01-16 2020-11-06 光学フィルタアレイ、光検出装置、および光検出システム WO2021145054A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080007402.8A CN113439203A (zh) 2020-01-16 2020-11-06 光学滤波器阵列、光检测装置及光检测系统
JP2021523316A JP6952283B1 (ja) 2020-01-16 2020-11-06 光学フィルタアレイ、光検出装置、および光検出システム
EP20914325.4A EP4092397A4 (en) 2020-01-16 2020-11-06 OPTICAL FILTER NETWORK, OPTICAL DETECTION DEVICE AND OPTICAL DETECTION SYSTEM
US17/395,927 US11843876B2 (en) 2020-01-16 2021-08-06 Optical filter array, photodetection device, and photodetection system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020005094 2020-01-16
JP2020-005094 2020-01-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/395,927 Continuation US11843876B2 (en) 2020-01-16 2021-08-06 Optical filter array, photodetection device, and photodetection system

Publications (1)

Publication Number Publication Date
WO2021145054A1 true WO2021145054A1 (ja) 2021-07-22

Family

ID=76864154

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/041439 WO2021145054A1 (ja) 2020-01-16 2020-11-06 光学フィルタアレイ、光検出装置、および光検出システム

Country Status (5)

Country Link
US (1) US11843876B2 (ja)
EP (1) EP4092397A4 (ja)
JP (1) JP6952283B1 (ja)
CN (1) CN113439203A (ja)
WO (1) WO2021145054A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106142A1 (ja) * 2021-12-08 2023-06-15 パナソニックＩｐマネジメント株式会社 信号処理方法、プログラム、およびシステム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7209273B2 (ja) * 2020-05-29 2023-01-20 パナソニックＩｐマネジメント株式会社 フィルタアレイおよび光検出システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160138975A1 (en) 2014-11-19 2016-05-19 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus comprising coding element and spectroscopic system comprising the imaging apparatus
JP2016100703A (ja) 2014-11-20 2016-05-30 キヤノン株式会社 撮像ユニット、撮像装置、及び画像処理システム
JP2018164153A (ja) * 2017-03-24 2018-10-18 株式会社リコー 画像処理システム、マルチバンドフィルタ、及び撮像装置
WO2018213923A1 (en) * 2017-05-25 2018-11-29 10103560 Canada Ltd. High efficiency multiplexing
JP2019114602A (ja) * 2017-12-21 2019-07-11 ソニーセミコンダクタソリューションズ株式会社 電磁波処理装置
JP2019220176A (ja) * 2018-06-15 2019-12-26 大学共同利用機関法人情報・システム研究機構 画像処理装置及び方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1306288C (zh) * 2005-04-27 2007-03-21 中国科学院上海技术物理研究所 具有平整谐振腔层的滤光片列阵
WO2013116253A1 (en) * 2012-01-30 2013-08-08 Scanadu Incorporated Spatial resolution enhancement in hyperspectral imaging
WO2016057125A1 (en) * 2014-08-25 2016-04-14 Montana State University Microcavity array for spectral imaging
US10066990B2 (en) * 2015-07-09 2018-09-04 Verifood, Ltd. Spatially variable filter systems and methods
FR3050526B1 (fr) * 2016-04-25 2018-05-25 Commissariat A L'energie Atomique Et Aux Energies Alternatives Dispositif de detection de rayonnement electromagnetique a structure d’encapsulation comportant au moins un filtre interferentiel
WO2017199988A1 (ja) * 2016-05-18 2017-11-23 旭硝子株式会社 エレクトロクロミック素子

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160138975A1 (en) 2014-11-19 2016-05-19 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus comprising coding element and spectroscopic system comprising the imaging apparatus
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
JP2016100703A (ja) 2014-11-20 2016-05-30 キヤノン株式会社 撮像ユニット、撮像装置、及び画像処理システム
JP2018164153A (ja) * 2017-03-24 2018-10-18 株式会社リコー 画像処理システム、マルチバンドフィルタ、及び撮像装置
WO2018213923A1 (en) * 2017-05-25 2018-11-29 10103560 Canada Ltd. High efficiency multiplexing
JP2019114602A (ja) * 2017-12-21 2019-07-11 ソニーセミコンダクタソリューションズ株式会社 電磁波処理装置
JP2019220176A (ja) * 2018-06-15 2019-12-26 大学共同利用機関法人情報・システム研究機構 画像処理装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4092397A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106142A1 (ja) * 2021-12-08 2023-06-15 パナソニックＩｐマネジメント株式会社 信号処理方法、プログラム、およびシステム

Also Published As

Publication number Publication date
US20210377498A1 (en) 2021-12-02
JP6952283B1 (ja) 2021-10-20
US11843876B2 (en) 2023-12-12
JPWO2021145054A1 (ja) 2021-07-22
EP4092397A1 (en) 2022-11-23
CN113439203A (zh) 2021-09-24
EP4092397A4 (en) 2023-06-07

Similar Documents

Publication Publication Date Title
JP6945195B2 (ja) 光学フィルタ、光検出装置、および光検出システム
WO2021085014A1 (ja) フィルタアレイおよび光検出システム
JP6952294B2 (ja) 光検出装置、光検出システム、およびフィルタアレイ
US20210341657A1 (en) Photodetection device, photodetection system, and filter array
JP6952283B1 (ja) 光学フィルタアレイ、光検出装置、および光検出システム
US20230073201A1 (en) Filter array and light detection system
US20230168126A1 (en) Filter array and imaging system
WO2023286613A1 (ja) フィルタアレイ、光検出装置、および光検出システム
WO2021235151A1 (ja) フィルタアレイおよび光検出システム
WO2023106143A1 (ja) 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
WO2021241122A1 (ja) フィルタアレイおよび光検出システム
JP2021110869A (ja) 光学フィルタ、および光検出装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021523316

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20914325

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020914325

Country of ref document: EP

Effective date: 20220816