WO2023286613A1 - フィルタアレイ、光検出装置、および光検出システム - Google Patents

フィルタアレイ、光検出装置、および光検出システム Download PDF

Info

Publication number
WO2023286613A1
WO2023286613A1 PCT/JP2022/026078 JP2022026078W WO2023286613A1 WO 2023286613 A1 WO2023286613 A1 WO 2023286613A1 JP 2022026078 W JP2022026078 W JP 2022026078W WO 2023286613 A1 WO2023286613 A1 WO 2023286613A1
Authority
WO
WIPO (PCT)
Prior art keywords
wavelength
light
filter array
photodetector
image sensor
Prior art date
Application number
PCT/JP2022/026078
Other languages
English (en)
French (fr)
Inventor
篤 石川
基樹 八子
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2023535231A priority Critical patent/JPWO2023286613A1/ja
Priority to EP22841957.8A priority patent/EP4372430A1/en
Priority to CN202280044198.6A priority patent/CN117546061A/zh
Publication of WO2023286613A1 publication Critical patent/WO2023286613A1/ja
Priority to US18/393,705 priority patent/US20240171870A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/26—Reflecting filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/28—Interference filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/28—Interference filters
    • G02B5/285—Interference filters comprising deposited thin solid films
    • G02B5/288—Interference filters comprising deposited thin solid films comprising at least one thin film resonant cavity, e.g. in bandpass filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4228—Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2806—Array and filter array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Definitions

  • the present disclosure relates to filter arrays, photodetection devices, and photodetection systems.
  • Hyperspectral cameras are used in various fields such as food inspection, biopsy, pharmaceutical development, and mineral composition analysis.
  • Patent Documents 1 and 2 disclose examples of hyperspectral cameras using compressed sensing.
  • Patent Literature 1 discloses an imaging device that includes an encoding element that is an array of a plurality of optical filters having different wavelength dependencies of light transmittance, and an image sensor that detects light transmitted through the encoding element. there is An image sensor obtains one wavelength-multiplexed image by simultaneously detecting light in a plurality of wavelength bands for each pixel. An image for each of the multiple wavelength bands is reconstructed by applying compressed sensing to the acquired wavelength-multiplexed image.
  • the present disclosure provides techniques for reducing errors associated with reconstruction of images of multiple wavelength bands.
  • a filter array is a filter array used in a photodetection system that generates image data for each of N (N is an integer of 4 or more) wavelength bands, wherein the N wavelength bands and a plurality of optical filters for light in an i-th wavelength band (i is an integer of 1 or more and N or less) among the N wavelength bands.
  • N is an integer of 4 or more
  • i is an integer of 1 or more and N or less
  • the average value of the plurality of transmittances in one-to-one correspondence is ⁇ i
  • the standard deviation of the plurality of transmittances in one-to-one correspondence with the plurality of optical filters for the light in the i -th wavelength band is ⁇ i , ( ⁇ 1 / ⁇ 1 ) ⁇ 0.1, . . . , ( ⁇ N / ⁇ N ) ⁇ 0.1.
  • Computer-readable recording media include non-volatile recording media such as CD-ROMs (Compact Disc-Read Only Memory).
  • a device may consist of one or more devices. When the device is composed of two or more devices, the two or more devices may be arranged in one device, or may be divided and arranged in two or more separate devices. As used herein and in the claims, a "device” can mean not only one device, but also a system of multiple devices. A plurality of devices included in the "system” may include devices installed in remote locations separated from other devices and connected via a communication network.
  • FIG. 4 is a diagram for explaining optical characteristics of a filter array;
  • FIG. 4 is a diagram showing an example of a histogram of transmittance;
  • FIG. 2 schematically illustrates a light detection system in an exemplary embodiment of the present disclosure;
  • FIG. FIG. 2 schematically illustrates a variation of the photodetection system in an exemplary embodiment of the present disclosure;
  • FIG. FIG. 10 schematically illustrates another variation of the photodetection system in an exemplary embodiment of the present disclosure;
  • FIG. 4 is a diagram schematically showing an example of a filter array;
  • FIG. 4 is a diagram showing an example of spatial distribution of light transmittance of a filter array;
  • FIG. 4 is a diagram showing an example of a transmission spectrum of a filter;
  • FIG. 4 is a diagram showing an example of a transmission spectrum of a filter;
  • FIG. 10 is a diagram showing another example of a transmission spectrum of a filter
  • 2 is a diagram for explaining the relationship between a target wavelength range W and a plurality of wavelength bands W1, W2, . . . , WN included therein.
  • FIG. 2 is a diagram for explaining the relationship between a target wavelength range W and a plurality of wavelength bands W1, W2, . . . , WN included therein.
  • FIG. FIG. 4 is a diagram for explaining transmission spectrum characteristics in a region of a filter array; It is a figure which shows the result of having averaged the transmission spectrum shown to FIG . 5A for every wavelength range W1, W2 ,..., WN.
  • FIG. 5A shows the result of having averaged the transmission spectrum shown to FIG . 5A for every wavelength range W1, W2 ,..., WN.
  • FIG. 4 is a diagram schematically showing a portion of a cross section of a photodetector in an exemplary embodiment
  • FIG. 4 is a diagram schematically showing an example of a Fabry-Perot filter
  • 7 is a diagram schematically showing a transmission spectrum of a filter array included in the photodetector shown in FIG. 6
  • FIG. 7 is a diagram schematically showing the sensitivity spectrum of an image sensor included in the photodetector shown in FIG. 6
  • FIG. 7 is a diagram schematically showing an output spectrum of the photodetector shown in FIG. 6;
  • FIG. 4 is a diagram schematically showing histograms of pixel values for a certain band, with and without considering the wavelength dependence of the sensitivity of the image sensor; 2 is a graph showing the relationship between ⁇ / ⁇ for all bands and the average value of MSE for all bands.
  • FIG. 10 is a diagram for explaining restoration characteristics when using an ideal filter array having approximately the same transmission characteristics for any wavelength band;
  • all or part of a circuit, unit, device, member or section, or all or part of a functional block in a block diagram is, for example, a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (large scale integration). ) may be performed by one or more electronic circuits.
  • An LSI or IC may be integrated on one chip, or may be configured by combining a plurality of chips.
  • functional blocks other than memory elements may be integrated into one chip.
  • LSIs or ICs may be called system LSIs, VLSIs (very large scale integration), or ULSIs (ultra large scale integration) depending on the degree of integration.
  • a Field Programmable Gate Array (FPGA), which is programmed after the LSI is manufactured, or a reconfigurable logic device that can reconfigure the connection relationships inside the LSI or set up the circuit partitions inside the LSI can also be used for the same purpose.
  • FPGA Field Programmable Gate Array
  • circuits, units, devices, members or parts can be executed by software processing.
  • the software is recorded on one or more non-transitory storage media, such as ROMs, optical discs, hard disk drives, etc., such that when the software is executed by a processor, the functions specified in the software are performed. It is executed by processors and peripherals.
  • a system or apparatus may include one or more non-transitory storage media on which software is recorded, a processor, and required hardware devices such as interfaces.
  • the optical properties of the coding element determine the quality of the reconstructed image.
  • the optical filter array is simply referred to herein as the "filter array". If the characteristics of the filter array are not appropriate, the reconstructed image will have large errors, and a high-quality reconstructed image cannot be obtained. Mathematically, it may be an ideal filter array with spatial and frequency (or wavelength) random sampling. However, it is not easy to actually produce such an ideally random filter array. In addition, as will be described later, it is required to design a filter array that takes into account the sensitivity characteristics of the image sensor 60. Therefore, the specific configuration of the filter array that can reduce the error associated with the reconstruction of images of multiple wavelength bands had room for improvement.
  • FIG. 1A is a diagram for explaining optical characteristics of the filter array 10 according to the embodiment of the present disclosure.
  • Filter array 10 shown in FIG. 1A includes a plurality of optical filters.
  • the multiple optical filters are two-dimensionally arranged.
  • the multiple optical filters include multiple types of optical filters with different light transmission characteristics.
  • the plurality of optical filters can be constructed using microstructures including, for example, multilayer films, organic materials, diffraction grating structures, or metals.
  • Filter array 10 is used in a photodetector that generates image data for each of a plurality of wavelength bands. Assume that the number of wavelength bands is N (N is an integer of 4 or more).
  • the distribution of light transmittance of the filter array 10 differs for each wavelength band.
  • the spatial pattern of light transmittance for each wavelength band is expressed as a mosaic pattern.
  • FIG. 1B shows an example of a histogram of transmittance of filter array 10 in an embodiment of the present disclosure.
  • This histogram represents a distribution in which the horizontal axis is the transmittance and the vertical axis is the number of filters having that transmittance. From this histogram, the mean transmission ⁇ i and standard deviation ⁇ i for light in the i-th wavelength band are obtained.
  • the transmittance histogram of filter array 10 in embodiments of the present disclosure has a finite standard deviation ⁇ i .
  • the average transmittance ⁇ i and standard deviation ⁇ i can be derived as follows.
  • ⁇ i be the average transmittance of the plurality of optical filters included in the filter array 10 for the light in the i-th wavelength band (i is an integer of 1 or more and N or less) among the N wavelength bands.
  • the filter array 10 includes M (M is an integer of 4 or more) filters, and the light of the i-th wavelength band of the j-th (j is an integer of 1 or more and M or less) filter among the M filters Let the transmittance be Tij . Then, the average transmittance ⁇ i is expressed by the following equation (1).
  • ⁇ ⁇ be the standard deviation of the average value ⁇ i of the transmittance for N wavelength bands, ⁇ ⁇ is expressed by the following equation (2).
  • a histogram of the number of filters included in the filter array 10 with respect to the transmittance of light in the i-th wavelength band shows the transmittance of each optical filter in the filter array 10 by using a photodetector that detects light intensity with a predetermined number of gradations. It can be obtained by measuring using For example, a histogram can be obtained using a photodetector such as an image sensor capable of detecting a two-dimensional distribution of light intensity with a predetermined number of gradations such as 8 bits or 16 bits.
  • the intensity of the light in the i-th wavelength band detected with the filter array 10 arranged and the intensity of the light in the i-th wavelength band detected with the filter array 10 not arranged From the ratio of , the transmittance of light in the i-th wavelength band of each filter in the filter array 10 can be obtained. From the transmittance data of each filter obtained by the above method, a histogram such as that illustrated in FIG. 1B can be obtained. If it is difficult to obtain filter transmittance data, the wavelength dependence of the sensitivity of the image sensor can be calculated based on the pixel values output from the image sensor that detects light passing through the filter array 10.
  • a histogram can be obtained that considers The histogram obtained based on the pixels output from the image sensor reflects the transmittance characteristics of the filter.
  • FIG. 1B illustrates a histogram close to a normal distribution for the sake of simplicity.
  • a histogram with a shape different from that in FIG. 1B can be obtained. Since the wavelength dependence of transmittance differs depending on the filter, the shape of the histogram differs for each wavelength band. Therefore, the average value and standard deviation of the transmittance of multiple filters also differ for each wavelength band.
  • a hyperspectral camera using compressed sensing images of multiple wavelength bands are estimated and acquired by solving an ill-posed problem with the optical properties of the filter array 10 as parameters using the compressed sensing method.
  • the average value of the transmittance for each wavelength band of the plurality of filters of the filter array 10 is uniform, and the larger the standard deviation of the transmittance, the better the solution. The inventors have found that the convergence of is good and the error in the reconstructed image is also reduced.
  • the present inventors have found that the average transmittance for each wavelength band of the filter array 10 is uniform, and the standard deviation of the transmittance is constant.
  • the value it is preferable to design the value to be greater than or equal to
  • the photodetector equipped with the filter array 10 and the image sensor has the average value and the standard deviation of the output pixel values are different from the mean and standard deviation of the transmittance of the filter array 10, respectively. Therefore, in practice, it is necessary to design the filter array 10 in consideration of the wavelength dependence of the sensitivity of the image sensor.
  • filter array 10 is designed such that the standard deviation of transmittance divided by the average transmittance for all bands is greater than or equal to a certain value. With such a design, the image restoration error for each band can be reduced regardless of the wavelength dependence of the sensitivity of the image sensor. Filter arrays, photodetector devices, and photodetection systems according to embodiments of the present disclosure are described below.
  • the filter array according to the first item is a filter array used in a photodetection system that generates image data for each of N (N is an integer of 4 or more) wavelength bands, a plurality of optical filters each having a different light transmittance, and a pair of the plurality of optical filters for light of an i-th wavelength band (i is an integer of 1 or more and N or less) of the N wavelength bands;
  • ⁇ i be the average value of a plurality of corresponding transmittances
  • ⁇ i be a standard deviation of the plurality of transmittances corresponding one-to-one to the plurality of optical filters for light in the i-th wavelength band, ( ⁇ 1 / ⁇ 1 ) ⁇ 0.1, . . . ( ⁇ N / ⁇ N ) ⁇ 0.1.
  • This filter array can reduce errors associated with reconstructing images of multiple wavelength bands.
  • the filter array according to the second item is the filter array according to the first item, wherein at least one of the plurality of optical filters is a Fabry-Perot filter.
  • a Fabry-Perot filter can be used to achieve ⁇ i / ⁇ i of 0.1 or more.
  • the filter array according to the third item is the filter array according to the first or second item, wherein at least one of the plurality of optical filters includes a first reflective layer, a second reflective layer, and the first reflective layer.
  • a resonant structure including an intermediate layer between the second reflective layer and having a plurality of resonant modes of different orders is provided.
  • a photodetector is a photodetector used in a photodetection system that generates image data for each of N (N is an integer equal to or greater than 4) wavelength bands.
  • the photodetector includes a plurality of optical filters having different light transmittances in each of the N wavelength bands, and an image sensor that detects light passing through the plurality of optical filters.
  • the image sensor detects only light corresponding to an i-th wavelength band (i is an integer of 1 or more and N or less) of the N wavelength bands, so that a pixel corresponding to the i-th wavelength band Output data showing value distribution.
  • ⁇ i is the average value of the pixel values in the pixel value distribution corresponding to the i-th wavelength band
  • ⁇ i is the standard deviation of the pixel values in the pixel value distribution corresponding to the i-th wavelength band
  • the photodetector according to the fifth item is the photodetector according to the fourth item, wherein at least one of the plurality of optical filters is a Fabry-Perot filter.
  • ⁇ i / ⁇ i of 0.1 or more can be realized by using a Fabry-Perot filter.
  • the photodetector according to the sixth item is the photodetector according to the fourth or fifth item, wherein at least one of the plurality of optical filters comprises a first reflective layer, a second reflective layer, and the first reflective layer.
  • a resonant structure including an intermediate layer between the layer and the second reflective layer and having a plurality of resonant modes of different orders from each other.
  • a photodetector according to a seventh item is the photodetector according to any one of the fourth to sixth items, wherein each of the plurality of optical filters has a transmission spectrum of a plurality of wavelengths included in a target wavelength range. Each has a maximum value of transmittance.
  • the image sensor includes a plurality of photodetectors. Each of the plurality of photodetecting elements is arranged at a position to receive the transmitted light that has passed through at least one of the plurality of optical filters, and detects light of the plurality of wavelengths contained in the transmitted light.
  • This photodetector can reconstruct images of a plurality of wavelength bands by processing the signals output by the image sensor that has detected the light.
  • the photodetection system includes the photodetector according to any one of the fourth to seventh items, and the above-mentioned for each of the N wavelength bands based on the signal output from the image sensor. and a signal processing circuit that generates image data.
  • This photodetection system can reduce errors associated with reconstructing images of multiple wavelength bands.
  • the photodetection system according to the ninth item is the photodetection system according to the eighth item, wherein the signal processing circuit generates the image data by performing an operation using compression sensing.
  • This photodetection system can accurately generate image data for each of the N wavelength bands.
  • a signal representing an image (that is, a set of signals representing pixel values of pixels) may be simply referred to as an "image".
  • image a signal representing an image
  • the xyz coordinates shown in the drawing are used.
  • FIG. 2A is a schematic diagram of an optical detection system 400 in an exemplary embodiment of the present disclosure.
  • the photodetection system 400 includes an optical system 40 , a filter array 10 , an image sensor 60 and a signal processing circuit 200 .
  • the filter array 10 has the same function as the "encoding element" disclosed in Patent Document 1. For this reason, the filter array 10 can also be referred to as an "encoding element”.
  • the optical system 40 and the filter array 10 are arranged on the optical path of light incident from the object 70 .
  • the filter array 10 has a plurality of translucent regions arranged in rows and columns.
  • the filter array 10 is an optical element in which the light transmission spectrum, that is, the wavelength dependence of the light transmittance, differs depending on the region.
  • the filter array 10 modulates the intensity of incident light and passes it. The details of the configuration of the filter array 10 will be described later.
  • the filter array 10 can be arranged near or directly above the image sensor 60 .
  • “near” means that the image of the light from the optical system 40 is close enough to be formed on the surface of the filter array 10 in a somewhat clear state.
  • “Directly above” means that they are so close to each other that there is almost no gap.
  • Filter array 10 and image sensor 60 may be integrated.
  • a device comprising filter array 10 and image sensor 60 is referred to as "photodetector 300".
  • the filter array 10 may be arranged away from the image sensor 60 .
  • 2B and 2C show examples of configurations in which the filter array 10 is located away from the image sensor 60.
  • FIG. In the example of FIG. 2B, filter array 10 is placed between optical system 40 and image sensor 60 .
  • filter array 10 is positioned between object 70 and optics 40 .
  • the image encoded by the filter array 10 is obtained in a blurred state on the imaging surface of the image sensor 60.
  • FIG. Therefore, the separated image 220 can be reconstructed by storing the blur information in advance and reflecting the blur information in the system matrix H used in the arithmetic processing described later.
  • blur information is represented by a point spread function (PSF).
  • PSF point spread function
  • PSF is a function that defines the degree of spread of a point image to peripheral pixels. For example, when a point image corresponding to one pixel in an image spreads over a region of k ⁇ k pixels around that pixel due to blurring, the PSF is a coefficient group that indicates the effect on the pixel value of each pixel in that region. , i.e., a matrix.
  • the separated image 220 can be reconstructed by reflecting the influence of the blurring of the encoding pattern by the PSF on the system matrix H described later.
  • the position where the filter array 10 is placed is arbitrary, but a position where the coding pattern of the filter array 10 is not too diffused and lost can be selected.
  • the optical system 40 includes at least one lens. Although shown as a single lens in FIG. 1, optical system 40 may be a combination of multiple lenses.
  • the optical system 40 forms an image on the imaging surface of the image sensor 60 via the filter array 10 .
  • the image sensor 60 is a monochrome photodetector having a plurality of two-dimensionally arranged photodetection elements (also referred to as "pixels" in this specification).
  • the image sensor 60 can be, for example, a CCD (Charge-Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) sensor, an infrared array sensor, a terahertz array sensor, or a millimeter wave array sensor.
  • the photodetector includes, for example, a photodiode.
  • Image sensor 60 does not necessarily have to be a monochrome type sensor.
  • the image sensor 60 may use a color type sensor.
  • the color type sensor has a filter that transmits red light, a filter that transmits green light, a sensor that transmits blue light, a filter that transmits red light, a filter that transmits green light, and a filter that transmits blue light.
  • the wavelength range to be acquired may be arbitrarily determined, and is not limited to the visible wavelength range, and may be ultraviolet, near-infrared, mid-infrared, far-infrared, and microwave/radio wavelength ranges.
  • the signal processing circuit 200 reconstructs a plurality of separated images 220 containing multi-wavelength information based on the image 120 acquired by the image sensor 60 .
  • the details of the plurality of separated images 220 and the image signal processing method of the signal processing circuit 200 will be described later.
  • the signal processing circuit 200 may be incorporated in the photodetector 300, or may be a component of the signal processor electrically connected to the photodetector 300 by wire or wirelessly.
  • the filter array 10 in this embodiment will be described below.
  • the filter array 10 is arranged on the optical path of light incident from the object 70, modulates the intensity of the incident light for each wavelength, and outputs the modulated light. This process through the filter array is referred to herein as "encoding.”
  • FIG. 3A is a diagram schematically showing an example of the filter array 10.
  • the filter array 10 has a plurality of areas arranged two-dimensionally. In this specification, each of the plurality of regions may be referred to as a "cell".
  • An optical filter having an individually set transmission spectrum is placed in each region.
  • the transmission spectrum is represented by a function T( ⁇ ), where ⁇ is the wavelength of incident light.
  • the transmission spectrum T( ⁇ ) can take a value of 0 or more and 1 or less.
  • the filter array 10 has 48 rectangular areas arranged in 6 rows and 8 columns. This is only an example and in actual applications more areas may be provided.
  • the number can be comparable to the number of pixels in a typical photodetector, eg an image sensor.
  • the number of pixels can be, for example, hundreds of thousands to tens of millions.
  • the filter array 10 is placed directly above the image sensor 60 and arranged so that each area corresponds to one pixel of the photodetector. Each region faces, for example, one pixel of the image sensor 60 .
  • FIG. 3B is a diagram showing an example of the spatial distribution of the light transmittance of each of the wavelength bands W 1 , W 2 , . . . , and W N included in the target wavelength range.
  • the difference in shading in each region represents the difference in transmittance.
  • a lighter area has a higher transmittance, and a darker area has a lower transmittance.
  • the spatial distribution of light transmittance differs depending on the wavelength band.
  • FIGS. 3C and 3D are diagrams showing examples of transmission spectra of areas A1 and A2 included in the multiple areas of the filter array 10 shown in FIG. 3A, respectively.
  • the transmission spectrum of the area A1 and the transmission spectrum of the area A2 are different from each other.
  • the transmission spectrum of the filter array 10 differs from region to region. However, it is not necessary that all regions have different transmission spectra.
  • transmission spectra of at least some of the plurality of regions are different from each other.
  • Filter array 10 includes two or more filters having different transmission spectra.
  • the number of transmission spectral patterns in the plurality of regions included in the filter array 10 can be equal to or greater than the number N of wavelength bands included in the wavelength range of interest.
  • the filter array 10 may be designed such that more than half of the regions have different transmission spectra.
  • each filter may be designed to transmit light at wavelengths corresponding to multiple peaks in the wavelength range of interest.
  • the target wavelength band W can be set in various ranges depending on the application.
  • the target wavelength range W is, for example, a visible light wavelength range from about 400 nm to about 700 nm, a near infrared wavelength range from about 700 nm to about 2500 nm, a near ultraviolet wavelength range from about 10 nm to about 400 nm, and others, mid-infrared, It may be in the radio range such as far infrared, terahertz waves, or millimeter waves.
  • the wavelength range used is not limited to the visible light range. In this specification, not only visible light but also non-visible light such as near-ultraviolet light, near-infrared light, and radio waves are referred to as "light" for the sake of convenience.
  • N is an arbitrary integer of 4 or more, and each wavelength band obtained by equally dividing the target wavelength band W into N is defined as a wavelength band W 1 , a wavelength band W 2 , .
  • a plurality of wavelength bands included in the target wavelength band W may be set arbitrarily. For example, different wavelength bands may have different bandwidths. There may be gaps or overlaps between adjacent wavelength bands. In the example shown in FIG. 4B, the wavelength bands have different bandwidths and there is a gap between two adjacent wavelength bands. In this way, the plurality of wavelength bands may be different from each other, and the method of determination is arbitrary.
  • the wavelength division number N may be 3 or less.
  • FIG. 5A is a diagram for explaining transmission spectrum characteristics in a certain area of the filter array 10.
  • the transmission spectrum has multiple maxima (ie, maxima P1, . . . , maxima P5) and multiple minima for wavelengths within the wavelength range W of interest.
  • maxima P1 maxima P5
  • maxima P5 normalization is performed so that the maximum value of the light transmittance within the target wavelength range W is 1 and the minimum value thereof is 0.
  • the transmission spectrum has maxima in wavelength bands such as the wavelength band W 2 and the wavelength band W N ⁇ 1 .
  • the transmission spectrum of each region has maxima in at least two of the plurality of wavelength bands W1 to WN.
  • the transmission spectrum of each region has a maximum value of transmittance at each of the plurality of wavelengths included in the target wavelength region W.
  • FIG. 5A local maximum P1, local maximum P3, local maximum P4, and local maximum P5 are greater than or equal to 0.5.
  • the filter array 10 transmits a large amount of components in a certain wavelength range among the incident light, and transmits less components in other wavelength ranges. For example, for light in k wavelength bands out of N wavelength bands, the transmittance is greater than 0.5, and for light in the remaining Nk wavelength bands, the transmittance is 0.5. can be less than k is an integer that satisfies 2 ⁇ k ⁇ N. If the incident light is white light that evenly includes all wavelength components of visible light, the filter array 10 converts the incident light into light having a plurality of discrete intensity peaks with respect to wavelength for each region. , and superimposes and outputs these multi-wavelength lights.
  • FIG. 5B is a diagram showing, as an example, the result of averaging the transmission spectrum shown in FIG. 5A for each wavelength region W 1 , wavelength region W 2 , .
  • the averaged transmission is obtained by integrating the transmission spectrum T( ⁇ ) for each wavelength band and dividing by the bandwidth of that wavelength band.
  • the transmittance value averaged for each wavelength band is defined as the transmittance in that wavelength band.
  • the transmittance is remarkably high in three wavelength regions having the maximum value P1, the maximum value P3, and the maximum value P5.
  • the transmittance exceeds 0.8 in the two wavelength regions having the maximum value P3 and the maximum value P5.
  • the cell pitch which is the mutual interval between the multiple regions in the filter array 10
  • the resolution of the encoded light image emitted from the filter array 10 substantially matches the resolution of the pixels.
  • the filter array 10 is arranged apart from the photodetector, the cell pitch may be reduced according to the distance.
  • a grayscale transmittance distribution is assumed in which the transmittance of each region can take any value from 0 to 1.
  • a binary-scale transmittance distribution may be employed in which the transmittance of each region can be either approximately zero or approximately one.
  • each region transmits a majority of light in at least two wavelength bands of the plurality of wavelength bands included in the wavelength band of interest, and transmits a majority of light in the remaining wavelength bands. Don't let it pass through.
  • “most” refers to approximately 80% or more.
  • Part of the total cells may be replaced with transparent areas.
  • Such a transparent region transmits light in all wavelength ranges W1 to WN included in the target wavelength range with a similarly high transmittance, for example, a transmittance of 80% or more.
  • the plurality of transparent regions may be arranged in a checkerboard pattern, for example. That is, in the two directions in which the plurality of regions in the filter array 10 are arranged, the regions having different light transmittances depending on the wavelength and the transparent regions can be alternately arranged.
  • the signal processing circuit 200 reconstructs a multi-wavelength separation image 220 based on the image 120 output from the image sensor 60 and the spatial distribution characteristics of transmittance for each wavelength of the filter array 10 .
  • multiple wavelengths means a wavelength range greater than the three color wavelength ranges of RGB acquired by a normal color camera, for example.
  • the number of wavelength bands may be on the order of 4 to 100, for example.
  • the number of wavelength regions is called the number of bands. Depending on the application, the number of bands may exceed 100.
  • Data to be obtained is the separated image 220, and the data is assumed to be f. If the number of spectral bands is N, f is image data f 1 corresponding to wavelength band W 1 , image data f 2 corresponding to wavelength band W 2 , . . . , image data f N corresponding to wavelength band W N is data containing If the number of pixels in the x direction of the image data to be obtained is n and the number of pixels in the y direction is m, each of image data f 1 , image data f 2 , . is two-dimensional data. Therefore, the data f is three-dimensional data having n ⁇ m ⁇ N elements. On the other hand, the number of elements of the data g of the image 120 encoded and multiplexed by the filter array 10 is n ⁇ m.
  • the data g of the image 120 in this embodiment can be represented by the following equation (3).
  • each of f 1 , f 2 , . . . , f N is data having n ⁇ m elements. Therefore, the vector on the right side is a one-dimensional vector of n ⁇ m ⁇ N rows and 1 column.
  • the data g of the image 120 in Equation (3) is a one-dimensional vector of n ⁇ m rows and 1 column.
  • Matrix H represents a transform that encodes and intensity - modulates each component f 1 , f 2 , . Therefore, H is a matrix with n ⁇ m rows and n ⁇ m ⁇ N columns. In this specification, matrix H may be referred to as a "system matrix".
  • the action of the system matrix H in equation (3) corresponds to acquiring an image encoded and intensity modulated through the filter array 10 by the image sensor 60 .
  • the elements of matrix H are determined according to the transmittance of each optical filter in filter array 10 and the wavelength dependence of the sensitivity of image sensor 60 .
  • the signal processing circuit Pr of the present embodiment utilizes the redundancy of the image included in the data f and obtains the solution using the compressed sensing technique.
  • the desired data f is estimated by solving the following equation (4).
  • f' represents the estimated data of f.
  • the first term in parentheses in the above formula represents the amount of deviation between the estimation result Hf and the acquired data g, ie, the so-called residual term.
  • the sum of squares is used as the residual term here, the absolute value or the square root of the sum of squares may be used as the residual term.
  • the second term in parentheses is a regularization term or a stabilization term, which will be described later.
  • Equation (4) means finding f that minimizes the sum of the first and second terms.
  • the signal processing circuit 200 can converge the solution by recursive iterative calculation and calculate the final solution f'.
  • the first term in the parenthesis of formula (4) means an operation for obtaining the sum of squares of differences between the obtained data g and Hf obtained by system-transforming f in the estimation process using the matrix H.
  • the second term, ⁇ (f), is a constraint on the regularization of f, and is a function that reflects the sparse information of the estimated data. As a function, it has the effect of smoothing or stabilizing the estimated data.
  • the regularization term may be represented by, for example, the Discrete Cosine Transform (DCT), Wavelet Transform, Fourier Transform, or Total Variation (TV) of f. For example, when the total variation is used, it is possible to acquire stable estimated data that suppresses the influence of noise in the observed data g.
  • DCT Discrete Cosine Transform
  • TV Total Variation
  • the sparsity of the object 70 in the space of each regularization term depends on the texture of the object 70 .
  • a regularization term may be chosen that makes the texture of the object 70 more spars in the space of regularization terms.
  • multiple regularization terms may be included in the operation.
  • ⁇ is a weighting factor. The larger the weighting factor ⁇ , the larger the reduction amount of redundant data and the higher the compression rate. The smaller the weighting factor ⁇ , the weaker the convergence to the solution.
  • the weighting factor ⁇ is set to an appropriate value with which f converges to some extent and does not become over-compressed.
  • the standard deviation of transmittance for each wavelength band of a plurality of filters corresponds to randomness in encoding for each wavelength band. Therefore, it is considered that by increasing the standard deviation, the encoding performance can be improved and the convergence of the solution can be improved.
  • the average value of the transmittance of a plurality of filters is not uniform for each wavelength band, the data f in the estimation process will not be uniform for each wavelength band due to the effect of conversion by the system matrix H. As a result, the smoothing or stabilizing effect of the regularization term in Eq.
  • the convergence of the solution can be improved by making the average value of the transmittance of a plurality of filters uniform for each wavelength band.
  • the present inventors have found that the average transmittance for each wavelength band of the filter array 10 should be uniform and the transmittance standard It was found that it is preferable to design the deviation to be a certain value or more.
  • Equation (4) Although an example of calculation using compressed sensing shown in Equation (4) is shown here, other methods may be used for solving. For example, other statistical methods such as maximum likelihood or Bayesian estimation can be used. Moreover, the number of separated images 220 is arbitrary, and each wavelength band may also be set arbitrarily. Details of the reconstruction method are disclosed in Patent Document 1. The entire disclosure of Patent Document 1 is incorporated herein by reference.
  • each filter in the filter array 10 is a Fabry-Perot (FP) filter.
  • the FP filter comprises a first reflective layer, a second reflective layer, and an intermediate layer between the first and second reflective layers.
  • Each reflective layer can be formed from either a dielectric multilayer film or a metal thin film.
  • the intermediate layer has a thickness and refractive index such that a resonant structure having at least one resonant mode is formed.
  • a resonant structure means a structure in which light of a certain wavelength forms a standing wave inside and exists stably. This state of light is called a "resonant mode.”
  • the transmittance of light with a wavelength corresponding to the resonance mode is high, and the transmittance of light with other wavelengths is low.
  • FIG. 6 is a diagram schematically showing a part of the cross section of the photodetector 300 in this embodiment.
  • This photodetector 300 comprises a filter array 10 and an image sensor 60 .
  • the filter array 10 includes a plurality of filters 100 arranged two-dimensionally. A plurality of filters 100 are arranged in rows and columns.
  • FIG. 6 schematically shows the cross-sectional structure of one row.
  • Each of the plurality of filters 100 comprises a resonant structure.
  • the resonant structure shown in FIG. 6 includes a first reflective layer 28a, a second reflective layer 28b, and an intermediate layer 26 between the first reflective layer a and the second reflective layer 28b.
  • Each of the first reflective layer 28a and the second reflective layer 28b can be formed from a dielectric multilayer film or a metal thin film.
  • Intermediate layer 26 may be formed from a dielectric or semiconductor that is transparent in a particular wavelength range.
  • the intermediate layer 26 can be formed from at least one selected from the group consisting of Si , Si3N4 , TiO2 , Nb2O5 , Ta2O5 , for example.
  • At least one of the refractive index and thickness of the intermediate layer 26 of the plurality of filters 100 varies from filter to filter.
  • the transmission spectrum of each of the plurality of filters 100 in the example shown in FIG. 6 has a maximum value of transmittance at each of the plurality of wavelengths.
  • the plurality of wavelengths respectively correspond to a plurality of resonance modes of different orders in the resonance structure.
  • all filters 100 in the filter array 10 have the resonant structure described above.
  • Filter array 10 may include filters other than FP filters as long as it includes at least one FP filter.
  • the filter array 10 may include a filter such as a transparent filter or an ND filter (Neutral Density Filter) whose light transmittance does not depend on the wavelength.
  • the image sensor 60 includes a plurality of photodetection elements 60a.
  • Each of the plurality of photodetecting elements 60a can be arranged at a position that receives transmitted light that has passed through at least one of the plurality of filters 100, for example.
  • Each photodetector 60a detects light of a plurality of wavelengths at which the transmission spectrum of each filter 100 exhibits a maximum value.
  • each of the plurality of photodetecting elements 60a is arranged facing one of the plurality of filters.
  • Each of the plurality of photodetecting elements 60a is sensitive to light in a specific wavelength range.
  • This specific wavelength range corresponds to the target wavelength range W described above.
  • “having sensitivity to light in a certain wavelength range” means having substantial sensitivity necessary to detect light in that wavelength range.
  • the external quantum efficiency in the wavelength range is 1% or more.
  • the external quantum efficiency of the photodetector 60a may be 10% or more.
  • the external quantum efficiency of the photodetector 60a may be 20% or more.
  • a plurality of wavelengths at which the light transmittance of each filter 100 takes a maximum value are all included in the target wavelength range W.
  • FIG. the photodetector 300 according to the present embodiment can simultaneously detect light having a plurality of wavelengths that have passed through at least one filter that is different for each pixel 60a.
  • each of the first reflective layer 28a and the second reflective layer 28b is formed from a dielectric multilayer film.
  • FIG. 7 is a diagram schematically showing an example of a filter 100 in which each reflective layer is formed from a dielectric multilayer film.
  • Filter 100 is provided on substrate 80 .
  • Each of the first reflective layer 28a and the second reflective layer 28b is formed of a dielectric multilayer film. That is, each of the first reflective layer 28a and the second reflective layer 28b has a structure in which a plurality of low refractive index layers 27l and a plurality of high refractive index layers 27h are alternately arranged.
  • Each of the plurality of low refractive index layers 27l has a refractive index nl
  • each of the plurality of high refractive index layers 27h has a refractive index nh higher than the refractive index nl.
  • the low refractive index layer 27l in the first reflective layer 28a and the low refractive index layer 27l in the second reflective layer 28b may have the same refractive index, or may have different refractive indexes. good.
  • the high refractive index layer 27h in the first reflective layer 28a and the high refractive index layer 27h in the second reflective layer 28b may have the same refractive index, or may have different refractive indexes. good.
  • a dielectric multilayer film comprises a plurality of pair layers.
  • One pair layer includes one low refractive index layer 27l and one high refractive index layer 27h.
  • each of the first reflective layer 28a and the second reflective layer 28b comprises four pair layers including eight refractive index layers.
  • the optical length of the thickness t h of the high refractive index layer 27h and the optical length of the thickness t 1 of the low refractive index layer 27l are ⁇ 0 /4.
  • the optical length means a value obtained by multiplying the thickness by the refractive index.
  • the specific wavelength ⁇ 0 can be set to the center wavelength ( ⁇ i + ⁇ e )/2 of the target wavelength band W, for example.
  • the filter array 10 composed of a plurality of FP filters in a hyperspectral camera that performs restoration processing by compression sensing.
  • the average transmittance for each wavelength band of the filter array 10 can be made uniform, and the standard deviation of the transmittance can be increased to a certain value or more. can be designed to be As a result, the convergence of the solution to the ill-posed problem of compressed sensing can be improved, and the error associated with the reconstruction of images in multiple wavelength bands is likely to be reduced.
  • the sensitivity of the image sensor 60 has wavelength dependence.
  • the image sensor 60 detects light passing through the filter array 10, and a multi-wavelength separated image 220 is reconstructed based on the pixel value signals output from the image sensor 60. be. Therefore, in reconstructing the multi-wavelength separated image 220 , it is necessary to consider the sensitivity characteristics of the image sensor 60 in addition to the transmission characteristics of the filter array 10 .
  • the average value of the transmittance of the filter array 10 is not equalized in all bands, but the output from the image sensor is It is required to equalize the average value of pixel values for each band in all bands.
  • the standard deviation of pixel values for each band output from the image sensor is set to a certain value or more in all bands. is required.
  • a pixel value for a certain band can mean a signal value output by detecting only light corresponding to that band via the filter array 10 .
  • a method for causing the photodetector 300 to detect only light corresponding to a certain band for example, a method using a wavelength tunable laser and an integrating sphere can be mentioned. Specifically, the light corresponding to a certain wavelength band emitted by the wavelength tunable laser is made incident on the integrating sphere, and the light spatially uniformized by the integrating sphere is detected by the photodetector 300 .
  • light having a wavelength shifted by several nanometers from the wavelength band corresponding to the certain wavelength band may be incident. That is, light with a wavelength that is several nm smaller than the lower limit of the wavelength band corresponding to a certain wavelength band or light with a wavelength that is several nm larger than the upper limit of the wavelength band corresponding to the certain wavelength band is incident on the photodetector 300. good too.
  • FIG. 8A is a diagram schematically showing the transmission spectrum of the filter array 10 included in the photodetector 300 shown in FIG.
  • FIG. 8B is a diagram schematically showing the sensitivity spectrum of the image sensor 60 included in the photodetector 300 shown in FIG.
  • FIG. 8C is a diagram schematically showing the output spectrum of the photodetector 300 shown in FIG.
  • the output signal of the photodetector 300 includes pixel value information.
  • the transmission spectrum of the filter array 10 has a plurality of maxima of transmittance in the target wavelength band W.
  • the sensitivity of the image sensor 60 is maximized at a wavelength in the wavelength range W of interest and decreases on the long and short wavelength sides of the wavelength range W of interest.
  • a silicon sensor used for photodetection in the visible light region has the highest sensitivity near a wavelength of 500 nm, and the sensitivity decreases on the short wavelength side and the long wavelength side of the visible light region.
  • the sensitivity of any image sensor, not just silicon sensors exhibits some wavelength dependence due to the photoelectric conversion material and/or the sensor structure. As shown in FIG.
  • the output spectrum of photodetector 300 has a different shape from the transmission spectrum of filter array 10 by the amount multiplied by the sensitivity spectrum of image sensor 60 shown in FIG. 8B.
  • the dashed line shown in FIG. 8C represents the sensitivity spectrum shown in FIG. 8B.
  • the filter array 10 having an ideal transmittance distribution that is spatially and wavelength-random can be produced by improving the design and processing technology of the FP filter. Even in such a case, since the sensitivity of the image sensor 60 has wavelength dependence, in the photodetector 300 integrally forming the filter array 10 and the image sensor 60, the pixel value distribution obtained from the output signal is It may not be wavelength random. In order to obtain an ideal pixel value distribution that is spatially and wavelength-random, it is also conceivable to design the filter array 10 in consideration of the sensitivity spectrum of the image sensor 60 . However, if the sensitivity spectrum of the image sensor 60 changes over time, such a filter array 10 design is not effective.
  • FIG. 9 is a diagram schematically showing histograms of pixel values before and after gain adjustment for a certain band.
  • the filter array 10 must be designed in consideration of the wavelength dependence of the sensitivity of the image sensor and the gain adjustment for canceling the wavelength dependence of the sensitivity of the image sensor. .
  • the present inventors have investigated the wavelength dependence of the sensitivity of the image sensor 60 by using a filter array 10 in which the value ⁇ / ⁇ obtained by dividing the standard deviation ⁇ of the transmittance by the average transmittance ⁇ for all bands is equal to or greater than a certain value. It was conceived that the error between the correct image and the restored image for each band can be reduced regardless of the
  • ⁇ / ⁇ can be a physical quantity obtained by normalizing the standard deviation ⁇ by the mean value ⁇ .
  • the standard deviation of the pixel values for all bands is a certain value or more. can mean something.
  • the standard deviation of the pixel values output by the image sensor can be specified, and the wavelength dependence of the sensitivity of the image sensor and the value that does not depend on signal processing such as gain adjustment ⁇ / ⁇ is used as an index to filter By designing the array 10, it is possible to reduce the recovery error.
  • MSE mean square error
  • FIG. 10 is a graph showing the relationship between ⁇ / ⁇ for all bands and the average value of MSE for all bands.
  • the mean and standard deviation of pixel values in all bands are uniform.
  • the mean value of all bands of MSE decreases exponentially with increasing ⁇ / ⁇ for all bands.
  • ⁇ / ⁇ for all bands is greater than or equal to 0.1, the average value of MSE for all bands is less than 30.
  • the average value of MSE for all bands is less than 10 when ⁇ / ⁇ for all bands is greater than or equal to 0.2.
  • the average value of MSE for all bands is less than 6.
  • ⁇ i / ⁇ i of an arbitrary i-th band among the N bands can be set to be, for example, 0.1 or more, 0.2 or more, or 0.3 or more.
  • the filter array 10 that satisfies such conditions can be realized by appropriately designing the filters 100 included in the filter array 10. Specifically, of the filter 100 shown in FIG. , and the refractive index and thickness of the intermediate layer 26 are appropriately designed.
  • the filter array 10 can be integrally formed on the image sensor 60 by known semiconductor processes.
  • FIG. 11 is a diagram for explaining the restoration characteristics when using the filter array 10 with ⁇ / ⁇ of 0.2 in each wavelength band.
  • ten bands 1-10 are assumed.
  • the transmittance distribution of each band is given by a random number within the range of 0.0 to 1.0 following a normal distribution with an average transmittance of 0.5 and a standard deviation of 0.1.
  • the subject is a color chart including 24 color samples arranged in a matrix.
  • An example of band-by-band images restored by performing the compressed sensing process described above on the image acquired by the hyperspectral camera is shown in the lower part of FIG. 11 .
  • the middle part of FIG. 11 shows the correct image.
  • a 640 ⁇ 480 two-dimensional filter array 10 is used.
  • an image sensor 60 is used that expresses pixel values with 8-bit (ie, 0 to 255) gradation numbers.
  • the transmittance average ⁇ is need not be uniform in .
  • the average value ⁇ and the standard deviation ⁇ of pixel values in all bands in the pixel value distribution satisfy ⁇ / ⁇ 0.1, the average value of pixel values ⁇ need not be uniform over the entire band.
  • the signal processing circuit 200 multiplies the average value ⁇ of pixel values by a constant to make it uniform in all bands. can be corrected as Even after such correction, ⁇ / ⁇ in all bands remains unchanged before and after correction, and ⁇ / ⁇ 0.1 is satisfied. Therefore, in the present embodiment, it is possible to reduce errors associated with reconstructing images of a plurality of wavelength bands.
  • the optical properties of the filter array 10 in the above discussion are obtained by measuring and analyzing a histogram in an arbitrary region containing approximately 8 pixels vertically by 8 pixels horizontally. can be clarified by If it is technically difficult to measure the transmission spectrum of the filter array 10, the histogram can be similarly measured and analyzed by measuring the reflection spectrum for each wavelength band. Moreover, when the filter array 10 is integrated on the image sensor 60, a histogram including the sensitivity characteristics of the image sensor 60 itself can be measured and analyzed.
  • each filter constituting the filter array 10 is an FP filter
  • the filter array 10 in which a plurality of filters are arranged two-dimensionally has been mainly described in the above embodiment, the plurality of filters may be arranged one-dimensionally.
  • a one-dimensional image sensor may be used as the photodetector.
  • Such a configuration can also be adopted when the measurement target is a one-dimensional area.
  • a photodetector using an encoding element different from the filter array may be used.
  • the photodetector 300 may be configured to detect light through an optical element such as a metalens. Such an optical element may be introduced into at least part of the optical system 40 .
  • the photodetector 300 may have optical elements instead of the filter array 10 .
  • the optical element spatially and wavelength-wise changes the incident light incident on the light incident surface of the optical element, and outputs the light from the light exit surface of the optical element.
  • the image sensor 60 detects light emitted from the light emitting surface of the optical element.
  • a photodetector used in a photodetector system that generates image data for each of N (N is an integer of 4 or more) wavelength bands, an encoding element with different optical transmittances in each of the N wavelength bands depending on the position; an image sensor that detects light through the encoding element; with The image sensor detects only light corresponding to an i-th wavelength band (i is an integer of 1 or more and N or less) of the N wavelength bands, so that a pixel corresponding to the i-th wavelength band Output data showing the value distribution, Let ⁇ i be the average value of the pixel values in the pixel value distribution corresponding to the i-th wavelength band, When the standard deviation of the pixel values in the pixel value distribution corresponding to the i-th wavelength band is ⁇ i , ( ⁇ 1 / ⁇ 1 ) ⁇ 0.1, . . . , ( ⁇ N / ⁇ N ) ⁇ It may be a photodetector, which is 0.1.
  • the technology of the present disclosure is useful, for example, for cameras and measurement equipment that acquire multi-wavelength images.
  • the technology of the present disclosure can also be applied to, for example, biometric/medical/cosmetics sensing, food foreign matter/residual pesticide inspection systems, remote sensing systems, and in-vehicle sensing systems.
  • REFERENCE SIGNS LIST 10 filter array 40 optical system 60 image sensor 70 object 80 substrate 100 filter 120 image 200 signal processing circuit 220 reconstructed image 300 photodetector

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

Ｎ個（Ｎは４以上の整数）の波長バンドのそれぞれの画像データを生成する光検出システムにおいて用いられるフィルタアレイ（１０）であって、前記Ｎ個の波長バンドの各々における光透過率が互いに異なる複数の光学フィルタを含み、前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）の光についての前記複数の光学フィルタに一対一対応する複数の透過率の平均値をμｉとし、前記第ｉの波長バンドの光についての前記複数の光学フィルタに一対一対応する前記複数の透過率の標準偏差をσｉとした場合、（σ1／μ1）≧０．１、・・・、（σＮ／μＮ）≧０．１である、フィルタアレイ。

Description

フィルタアレイ、光検出装置、および光検出システム
　本開示は、フィルタアレイ、光検出装置、および光検出システムに関する。
　各々が狭帯域である多数のバンド、例えば数十バンドのスペクトル情報を活用することにより、従来のＲＧＢ画像では不可能であった対象物の詳細な物性を把握することができる。このような多波長の情報を取得するカメラは、「ハイパースペクトルカメラ」と呼ばれる。ハイパースペクトルカメラは、食品検査、生体検査、医薬品開発、および鉱物の成分分析などの様々な分野で利用されている。
　特許文献１および２は、圧縮センシングを利用したハイパースペクトルカメラの例を開示している。例えば特許文献１は、光透過率の波長依存性が互いに異なる複数の光学フィルタのアレイである符号化素子と、符号化素子を透過した光を検出するイメージセンサとを備える撮像装置を開示している。イメージセンサは、画素ごとに、複数の波長バンドの光を同時に検出することにより、１つの波長多重画像を取得する。取得された波長多重画像に圧縮センシングを適用することにより、複数の波長バンドのそれぞれについての画像が再構成される。
米国特許出願公開第２０１６／１３８９７５号明細書 特開２０１６－１００７０３号公報
　本開示は、複数の波長バンドの画像の再構成(reconstruction)に伴う誤差を低減させるための技術を提供する。
　本開示の一態様に係るフィルタアレイは、Ｎ個（Ｎは４以上の整数）の波長バンドのそれぞれの画像データを生成する光検出システムにおいて用いられるフィルタアレイであって、前記Ｎ個の波長バンドの各々における光透過率が互いに異なる複数の光学フィルタを含み、前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）の光についての前記複数の光学フィルタに一対一対応する複数の透過率の平均値をμｉとし、前記第ｉの波長バンドの光についての前記複数の光学フィルタに一対一対応する前記複数の透過率の標準偏差をσｉとした場合、（σ1／μ1）≧０．１、・・・、（σＮ／μＮ）≧０．１である。
　本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意の組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ‐Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含む。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。「システム」に含まれる複数の装置の中には、他の装置とは離れた遠隔地に設置され、通信ネットワークを介して接続される装置も含み得る。
　本開示の一態様によれば、複数の波長バンドの画像の再構成に伴う誤差を低減させることができる。
フィルタアレイの光学的特性を説明するための図である。 透過率のヒストグラムの一例を示す図である。 本開示の例示的な実施形態における光検出システムを模式的に示す図である。 本開示の例示的な実施形態における光検出システムの変形例を模式的に示す図である。 本開示の例示的な実施形態における光検出システムの他の変形例を模式的に示す図である。 フィルタアレイの例を模式的に示す図である。 フィルタアレイの光透過率の空間分布の一例を示す図である。 フィルタの透過スペクトルの例を示す図である。 フィルタの透過スペクトルの他の例を示す図である。 対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係を説明するための図である。 対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係を説明するための図である。 フィルタアレイのある領域における透過スペクトルの特性を説明するための図である。 図５Ａに示す透過スペクトルを、波長域Ｗ１、Ｗ２、・・・、ＷＮごとに平均化した結果を示す図である。 例示的な実施形態における光検出装置の断面の一部を模式的に示す図である。 ファブリペローフィルタの例を模式的に示す図である。 図６に示す光検出装置に含まれるフィルタアレイの透過スペクトルを模式的に示す図である。 図６に示す光検出装置に含まれるイメージセンサの感度スペクトルを模式的に示す図である。 図６に示す光検出装置の出力スペクトルを模式的に示す図である。 イメージセンサの感度の波長依存性を考慮する場合と考慮しない場合とにおける、あるバンドについての画素値のヒストグラムを模式的に示す図である。 全バンドについてのσ／μとＭＳＥの全バンドの平均値との関係を示すグラフである。 透過特性がいずれの波長バンドについても同程度である理想的なフィルタアレイを用いた場合の復元特性を説明するための図である。
　本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅも同じ目的で使うことができる。
　さらに、回路、ユニット、装置、部材または部の全部または一部の機能または操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
　以下、本開示の例示的な実施形態を説明する。なお、以下で説明する実施形態は、いずれも包括的又は具体的な例を示すものである。以下の実施形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
　本開示の実施形態を説明する前に、本発明者らによって見出された知見を説明する。
　圧縮センシングを利用したハイパースペクトルカメラでは、符号化素子すなわち光学フィルタアレイの光学的性質が再構成される画像の品質を左右する。本明細書では、光学フィルタアレイを単に「フィルタアレイ」と称する。フィルタアレイの特性が適切でない場合、復元される画像の誤差が大きくなるため、高品質の再構成画像を得ることができない。数学的には、空間的および周波数的（すなわち波長的）にランダムなサンプリングを行う理想的なフィルタアレイであってもよい。しかし、そのような理想的にランダムなフィルタアレイを現実に作製することは容易ではない。また、後述のように、イメージセンサ６０の感度特性も考慮したフィルタアレイを設計することが求められるため、複数の波長バンドの画像の再構成に伴う誤差を低減できるフィルタアレイの具体的な構成については、改善の余地があった。
　以下、本開示の実施形態の概要を説明する。
　図１Ａは、本開示の実施形態におけるフィルタアレイ１０の光学的特性を説明するための図である。図１Ａに示すフィルタアレイ１０は、複数の光学フィルタを含む。複数の光学フィルタは、２次元的に配列されている。複数の光学フィルタは、光透過特性の異なる複数種類の光学フィルタを含む。複数の光学フィルタは、例えば、多層膜、有機材料、回折格子構造、または金属を含む微細構造を用いて構成することができる。フィルタアレイ１０は、複数の波長バンドのそれぞれの画像データを生成する光検出装置において用いられる。波長バンドの数をＮ（Ｎは４以上の整数）とする。波長バンド毎にフィルタアレイ１０の光透過率の分布が異なる。図１には、各波長バンドについての光透過率の空間パターンが、モザイクパターンとして表現されている。
　ここで、第ｉ（ｉは１以上Ｎ以下の整数）の波長バンドについて、フィルタアレイ１０における複数の光学フィルタの透過率のヒストグラムを考える。図１Ｂは、本開示の実施形態におけるフィルタアレイ１０の透過率のヒストグラムの一例を示している。このヒストグラムは、横軸を透過率、縦軸をその透過率を有するフィルタの数とする分布を表す。このヒストグラムから、第ｉの波長バンドの光についての平均透過率μｉと標準偏差σｉが得られる。本開示の実施形態におけるフィルタアレイ１０の透過率のヒストグラムは有限の標準偏差σｉを有する。平均透過率μｉおよび標準偏差σｉは、以下のようにして導出することができる。
　Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）の光について、フィルタアレイ１０に含まれる複数の光学フィルタの透過率の平均値をμｉとする。フィルタアレイ１０がＭ個（Ｍは４以上の整数）のフィルタを含み、Ｍ個のフィルタのうちのｊ番目（ｊは１以上Ｍ以下の整数）のフィルタの第ｉの波長バンドの光についての透過率をＴｉｊとする。すると、透過率の平均値μｉは、以下の式（１）によって表される。
Figure JPOXMLDOC01-appb-M000001
　Ｎ個の波長バンドについての透過率の平均値μｉの標準偏差をσμとすると、σμは、以下の式（２）で表される。
Figure JPOXMLDOC01-appb-M000002
　第ｉの波長バンドの光の透過率に対するフィルタアレイ１０に含まれるフィルタ数のヒストグラムは、フィルタアレイ１０における各光学フィルタの透過率を、所定の階調数で光強度を検出する光検出器を用いて計測することによって得ることができる。例えば、８ビットまたは１６ビットなどの所定の階調数で光強度の２次元分布を検出できるイメージセンサなどの光検出器を用いてヒストグラムを得ることができる。具体的には、フィルタアレイ１０が配置された状態で検出された第ｉの波長バンドの光の強度と、フィルタアレイ１０が配置されていない状態で検出された第ｉの波長バンドの光の強度との比から、フィルタアレイ１０における各フィルタの第ｉの波長バンドの光の透過率を求めることができる。上記の方法で取得された各フィルタの透過率のデータから、図１Ｂに例示されるようなヒストグラムを得ることができる。また、フィルタの透過率のデータを取得することが困難である場合は、フィルタアレイ１０を介した光を検出するイメージセンサから出力される画素値に基づいて、イメージセンサの感度の波長依存性を考慮したヒストグラムを得ることができる。イメージセンサから出力される画素に基づき取得された当該ヒストグラムは、フィルタの透過率の特性が反映されている。なお、図１Ｂでは、簡単のため、正規分布に近いヒストグラムが例示されている。実際のフィルタアレイ１０では、図１Ｂとは異なる形状のヒストグラムが取得され得る。透過率の波長依存性がフィルタによって異なることから、ヒストグラムの形状は波長バンド毎に異なる。したがって、複数のフィルタの透過率の平均値および標準偏差も、波長バンド毎に異なる。
　圧縮センシングを利用したハイパースペクトルカメラでは、フィルタアレイ１０の光学的性質をパラメータとする不良設定問題を、圧縮センシングの手法を用いて解くことで、複数の波長バンドの画像が推定・取得される。詳細は後述するが、圧縮センシングで用いられる再帰的な反復演算の場合、フィルタアレイ１０の複数のフィルタの波長バンド毎の透過率の平均値が均一であり、透過率の標準偏差が大きいほど解の収束性がよく、再構成される画像の誤差も低減されることを本発明者らは見出した。
　すなわち、本発明者らは、複数の波長バンドの画像の再構成に伴う誤差を低減するためには、フィルタアレイ１０の波長バンド毎の平均透過率を均一に、また透過率の標準偏差を一定値以上になるように設計することが好ましいことに想到した。しかし、フィルタアレイ１０を通過した光は、感度が波長依存性を有するイメージセンサによって検出されるため、フィルタアレイ１０およびイメージセンサを備える光検出装置では、出力される画素値の平均値および標準偏差が、フィルタアレイ１０の透過率の平均値および標準偏差とはそれぞれ異なる。したがって、実際には、イメージセンサの感度の波長依存性を考慮して、フィルタアレイ１０を設計する必要がある。
　本発明者らは、上記の課題を見出し、これらの課題を解決するためのフィルタアレイ１０の構成を検討した。本開示のある実施形態によれば、全バンドについて、透過率の標準偏差を平均透過率によって割った値が一定値以上になるようにフィルタアレイ１０が設計される。そのような設計により、イメージセンサの感度の波長依存性に関係なく、バンド毎の画像の復元誤差を低減できる。以下に、本開示の実施形態によるフィルタアレイ、光検出装置、および光検出システムを説明する。
　第１の項目に係るフィルタアレイは、Ｎ個（Ｎは４以上の整数）の波長バンドのそれぞれの画像データを生成する光検出システムにおいて用いられるフィルタアレイであって、前記Ｎ個の波長バンドの各々における光透過率が互いに異なる複数の光学フィルタを含み、前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）の光についての前記複数の光学フィルタに一対一対応する複数の透過率の平均値をμｉとし、前記第ｉの波長バンドの光についての前記複数の光学フィルタに一対一対応する前記複数の透過率の標準偏差をσｉとした場合、（σ1／μ1）≧０．１、・・・、（σＮ／μＮ）≧０．１である。
　このフィルタアレイでは、複数の波長バンドの画像の再構成に伴う誤差を低減させることができる。
　第２の項目に係るフィルタアレイは、第１の項目に係るフィルタアレイにおいて、前記複数の光学フィルタの少なくとも１つが、ファブリペローフィルタである。
　このフィルタアレイでは、ファブリペローフィルタを用いることにより、σｉ／μｉが０．１以上であることを実現できる。
　第３の項目に係るフィルタアレイは、第１または第２の項目に係るフィルタアレイにおいて、前記複数の光学フィルタの少なくとも１つが、第１反射層、第２反射層、および前記第１反射層と前記第２反射層との間の中間層を含み、かつ互いに次数の異なる複数の共振モードを有する共振構造を備える。
　このフィルタアレイでは、中間層の屈折率または厚さをフィルタごとに変えることにより、フィルタごとに異なる透過スペクトルを実現できる。
　第４の項目に係る光検出装置は、Ｎ個（Ｎは４以上の整数）の波長バンドのそれぞれの画像データを生成する光検出システムにおいて用いられる光検出装置である。前記光検出装置は、前記Ｎ個の波長バンドの各々における光透過率が互いに異なる複数の光学フィルタと、前記複数の光学フィルタを介した光を検出するイメージセンサと、を備える。前記イメージセンサは、前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）に対応する光のみを検出することにより、前記第ｉの波長バンドに対応する画素値分布を示すデータを出力する。前記第ｉの波長バンドに対応する前記画素値分布の画素値の平均値をμｉとし、前記第ｉの波長バンドに対応する前記画素値分布の画素値の標準偏差をσｉとした場合、（σ1／μ1）≧０．１、・・・、（σＮ／μＮ）≧０．１である。
　この光検出装置では、複数の波長バンドの画像の再構成に伴う誤差を低減させることができる。
　第５の項目に係る光検出装置は、第４の項目に係る光検出装置において、前記複数の光学フィルタの少なくとも１つが、ファブリペローフィルタである。
　この光検出装置では、ファブリペローフィルタを用いることにより、σｉ／μｉが０．１以上であることを実現できる。
　第６の項目に係る光検出装置は、第４または第５の項目に係る光検出装置において、前記複数の光学フィルタの少なくとも１つが、第１反射層、第２反射層、および前記第１反射層と前記第２反射層との間の中間層を含み、かつ互いに次数の異なる複数の共振モードを有する共振構造を備える。
　このフィルタアレイでは、中間層の屈折率または厚さをフィルタごとに変えることにより、フィルタごとに異なる透過スペクトルを実現できる。
　第７の項目に係る光検出装置は、第４から第６の項目のいずれかに係る光検出装置において、前記複数の光学フィルタの各々の透過スペクトルが、対象波長域に含まれる複数の波長の各々において透過率の極大値を有する。前記イメージセンサは、複数の光検出素子を含む。記複数の光検出素子の各々は、前記複数の光学フィルタの少なくとも１つを透過した透過光を受ける位置に配置され、かつ前記透過光に含まれる前記複数の波長の光を検出する。
　この光検出装置では、上記の光を検出したイメージセンサによって出力される信号を処理することにより、複数の波長バンドの画像を再構成することができる。
　第８の項目に係る光検出システムは、第４から７の項目のいずれかに係る光検出装置と、前記イメージセンサから出力された信号に基づいて、前記Ｎ個の波長バンドのそれぞれについての前記画像データを生成する信号処理回路と、を備える。
　この光検出システムでは、複数の波長バンドの画像の再構成に伴う誤差を低減させることができる。
　第９の項目に係る光検出システムは、第８の項目に係る光検出システムにおいて、前記信号処理回路は、圧縮センシングを利用した演算を行うことにより、前記画像データを生成する。
　この光検出システムでは、Ｎ個の波長バンドのそれぞれについての画像データを精度よく生成することができる。
　本明細書において、画像を示す信号（すなわち、各画素の画素値を表す信号の集合）を、単に「画像」と称することがある。以下の説明において、図中に示されたｘｙｚ座標を用いる。
　（実施形態）
　＜光検出システム＞
　図２Ａは、本開示の例示的な実施形態における光検出システム４００を模式的に示す図である。光検出システム４００は、光学系４０と、フィルタアレイ１０と、イメージセンサ６０と、信号処理回路２００とを備える。フィルタアレイ１０は、特許文献１に開示されている「符号化素子」と同様の機能を有する。このため、フィルタアレイ１０を、「符号化素子」と称することもできる。光学系４０およびフィルタアレイ１０は、対象物７０から入射する光の光路上に配置されている。
　フィルタアレイ１０は、行および列状に配列された透光性の複数の領域を備える。フィルタアレイ１０は、光の透過スペクトル、すなわち光透過率の波長依存性が領域によって異なる光学素子である。フィルタアレイ１０は、入射した光の強度を変調させて通過させる。フィルタアレイ１０の構成の詳細については後述する。
　フィルタアレイ１０は、イメージセンサ６０の近傍または直上に配置され得る。ここで「近傍」とは、光学系４０からの光の像がある程度鮮明な状態でフィルタアレイ１０の面上に形成される程度に近接していることを意味する。「直上」とは、ほとんど隙間が生じない程両者が近接していることを意味する。フィルタアレイ１０およびイメージセンサ６０は一体化されていてもよい。フィルタアレイ１０およびイメージセンサ６０を備える装置を、「光検出装置３００」と称する。
　フィルタアレイ１０は、イメージセンサ６０から離れて配置されていてもよい。図２Ｂおよび図２Ｃは、フィルタアレイ１０がイメージセンサ６０から離れて配置される構成の例を示している。図２Ｂの例では、フィルタアレイ１０が光学系４０とイメージセンサ６０との間に配置されている。図２Ｃの例では、フィルタアレイ１０が対象物７０と光学系４０との間に配置されている。これらの例では、フィルタアレイ１０によって符号化された像が、イメージセンサ６０の撮像面上でボケた状態で取得される。したがって、予めこのボケ情報を保有しておき、そのボケ情報を後述する演算処理において用いられるシステム行列Ｈに反映させることにより、分離画像２２０を再構成することができる。ここで、ボケ情報は、点拡がり関数（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ：ＰＳＦ）によって表される。ＰＳＦは、点像の周辺画素への拡がりの程度を規定する関数である。例えば、画像上で１画素に相当する点像が、ボケによってその画素の周囲のｋ×ｋ画素の領域に広がる場合、ＰＳＦは、その領域内の各画素の画素値への影響を示す係数群、すなわち行列として規定され得る。ＰＳＦによる符号化パターンのボケの影響を後述するシステム行列Ｈに反映させることにより、分離画像２２０を再構成することができる。フィルタアレイ１０が配置される位置は任意であるが、フィルタアレイ１０の符号化パターンが拡散しすぎて消失しない位置が選択され得る。
　光学系４０は、少なくとも１つのレンズを含む。図１では、１つのレンズとして示されているが、光学系４０は複数のレンズの組み合わせであってもよい。光学系４０は、フィルタアレイ１０を介して、イメージセンサ６０の撮像面上に像を形成する。
　イメージセンサ６０は、２次元的に配列された複数の光検出素子（本明細書において、「画素」とも呼ぶ。）を有するモノクロタイプの光検出器である。イメージセンサ６０は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、赤外線アレイセンサ、テラヘルツアレイセンサ、ミリ波アレイセンサであり得る。光検出素子は、例えばフォトダイオードを含む。イメージセンサ６０は、必ずしもモノクロタイプのセンサである必要はない。例えば、イメージセンサ６０はカラータイプのセンサを用いてもよい。カラータイプのセンサは、赤色の光を透過するフィルタ、緑色の光を透過するフィルタ、青色の光を透過するフィルタを有するセンサ、赤色の光を透過するフィルタ、緑色の光を透過するフィルタ、青色の光を透過するフィルタ、赤外線を透過するフィルタを有するセンサ、または、赤色の光を透過するフィルタ、緑色の光を透過するフィルタ、青色の光を透過するフィルタ、白色の光を透過するフィルタを有するセンサを含む。カラータイプのセンサを使用することで、波長に関する情報量を増やすことができ、分離画像２２０の再構成の精度を向上させることができる。ただし、カラータイプのセンサを使用した場合、空間方向（ｘ、ｙ方向）の情報量が低下するため、波長に関する情報量と解像度とはトレードオフの関係にある。取得対象の波長範囲は任意に決定してよく、可視の波長範囲に限らず、紫外、近赤外、中赤外、遠赤外、マイクロ波・電波の波長範囲であってもよい。
　信号処理回路２００は、イメージセンサ６０によって取得された画像１２０に基づいて、多波長の情報を含む複数の分離画像２２０を再構成する。複数の分離画像２２０、および信号処理回路２００の画像信号の処理方法の詳細については、後述する。なお、信号処理回路２００は、光検出装置３００に組み込まれていてもよいし、光検出装置３００に有線または無線によって電気的に接続された信号処理装置の構成要素であってもよい。
　以下に、本実施形態におけるフィルタアレイ１０を説明する。フィルタアレイ１０は、対象物７０から入射する光の光路上に配置され、入射光の強度を波長ごとに変調して出力する。フィルタアレイによるこの過程を、本明細書では「符号化」と称する。
　図３Ａは、フィルタアレイ１０の例を模式的に示す図である。フィルタアレイ１０は、２次元的に配列された複数の領域を有する。本明細書では、当該複数の領域のそれぞれを、「セル」と称することがある。各領域には、個別に設定された透過スペクトルを有する光学フィルタが配置されている。透過スペクトルは、入射光の波長をλとして、関数Ｔ（λ）で表される。透過スペクトルＴ（λ）は、０以上１以下の値を取り得る。
　図３Ａの例では、フィルタアレイ１０は、６行８列に配列された４８個の矩形領域を有している。これはあくまで例示であり、実際の用途では、これよりも多くの領域が設けられ得る。その数は、例えばイメージセンサなどの一般的な光検出器の画素数と同程度であり得る。当該画素数は、例えば数十万から数千万であり得る。図２Ａの例では、フィルタアレイ１０は、イメージセンサ６０の直上に配置され、各領域が光検出器の１つの画素に対応するように配置される。各領域は、例えば、イメージセンサ６０の１つの画素に対向する。
　図３Ｂは、対象波長域に含まれる波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷＮのそれぞれの光の透過率の空間分布の一例を示す図である。図３Ｂの例では、各領域の濃淡の違いは、透過率の違いを表している。淡い領域ほど透過率が高く、濃い領域ほど透過率が低い。図３Ｂに示すように、波長バンドによって光透過率の空間分布が異なっている。
　図３Ｃおよび図３Ｄは、それぞれ、図３Ａに示すフィルタアレイ１０の複数の領域に含まれる領域Ａ１および領域Ａ２の透過スペクトルの例を示す図である。領域Ａ１の透過スペクトルと領域Ａ２の透過スペクトルとは、互いに異なる。このように、フィルタアレイ１０の透過スペクトルは、領域によって異なる。ただし、必ずしもすべての領域の透過スペクトルが異なっている必要はない。フィルタアレイ１０では、複数の領域の少なくとも一部の領域の透過スペクトルが互いに異なっている。フィルタアレイ１０は、透過スペクトルが互いに異なる２つ以上のフィルタを含む。ある例では、フィルタアレイ１０に含まれる複数の領域の透過スペクトルのパターンの数は、対象波長域に含まれる波長バンドの数Ｎと同じか、それ以上であり得る。フィルタアレイ１０は、半数以上の領域の透過スペクトルが異なるように設計されていてもよい。また、図３Ｃおよび図３Ｄに示すように、各々のフィルタは、対象波長域において、複数のピークに対応する波長の光を透過させるように設計されてもよい。
　図４Ａおよび図４Ｂは、対象波長域Ｗと、それに含まれる波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷＮとの関係を説明するための図である。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば、約４００ｎｍから約７００ｎｍの可視光の波長域、約７００ｎｍから約２５００ｎｍの近赤外線の波長域、約１０ｎｍから約４００ｎｍの近紫外線の波長域、その他、中赤外、遠赤外、テラヘルツ波、またはミリ波などの電波域であり得る。このように、使用される波長域は可視光域とは限らない。本明細書では、可視光に限らず、近紫外線、近赤外線、および電波などの非可視光も便宜上「光」と称する。
　図４Ａに示す例では、Ｎを４以上の任意の整数として、対象波長域ＷをＮ等分したそれぞれの波長域を波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷＮとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数の波長バンドは任意に設定してもよい。例えば、波長バンドによって帯域幅を不均一にしてもよい。隣接する波長バンドの間にギャップまたは重なりがあってもよい。図４Ｂに示す例では、波長バンドによって帯域幅が異なり、かつ、隣接する２つの波長バンドの間にギャップがある。このように、複数の波長バンドは、互いに異なっていればよく、その決め方は任意である。波長の分割数Ｎは３以下でもよい。
　図５Ａは、フィルタアレイ１０のある領域における透過スペクトルの特性を説明するための図である。図５Ａに示す例では、透過スペクトルは、対象波長域Ｗ内の波長に関して、複数の極大値（つまり、極大値Ｐ１、～、極大値Ｐ５）、および複数の極小値を有する。図５Ａに示す例では、対象波長域Ｗ内での光透過率の最大値が１、最小値が０となるように正規化されている。図５Ａに示す例では、波長バンドＷ２、および波長バンドＷＮ－１などの波長域において、透過スペクトルが極大値を有している。このように、本実施形態では、各領域の透過スペクトルは、複数の波長バンドＷ１からＷＮのうち、少なくとも２つの波長バンドにおいて極大値を有する。その結果、各領域の透過スペクトルは、対象波長域Ｗに含まれる複数の波長の各々において透過率の極大値を有する。図５Ａからわかるように、極大値Ｐ１、極大値Ｐ３、極大値Ｐ４、および極大値Ｐ５は０．５以上である。
　以上のように、各領域の光透過率は、波長によって異なる。したがって、フィルタアレイ１０は、入射する光のうち、ある波長域の成分を多く透過させ、他の波長域の成分をそれほど透過させない。例えば、Ｎ個の波長バンドのうちのｋ個の波長バンドの光については、透過率が０．５よりも大きく、残りのＮ－ｋ個の波長域の光については、透過率が０．５未満であり得る。ｋは、２≦ｋ＜Ｎを満たす整数である。仮に入射光が、すべての可視光の波長成分を均等に含む白色光であった場合には、フィルタアレイ１０は、入射光を領域ごとに、波長に関して離散的な複数の強度のピークを有する光に変調し、これらの多波長の光を重畳して出力する。
　図５Ｂは、一例として、図５Ａに示す透過スペクトルを、波長域Ｗ１、波長域Ｗ２、・・・、波長域ＷＮごとに平均化した結果を示す図である。平均化された透過率は、透過スペクトルＴ（λ）を波長バンドごとに積分してその波長バンドの帯域幅で除算することによって得られる。本明細書では、このように波長バンドごとに平均化した透過率の値を、その波長バンドにおける透過率とする。この例では、極大値Ｐ１、極大値Ｐ３および極大値Ｐ５をとる３つの波長域において、透過率が突出して高くなっている。特に、極大値Ｐ３および極大値Ｐ５をとる２つの波長域において、透過率が０．８を超えている。
　フィルタアレイ１０を光検出器の近傍あるいは直上に配置する場合、フィルタアレイ１０における複数の領域の相互の間隔であるセルピッチは、光検出器の画素ピッチと略一致させてもよい。このようにすれば、フィルタアレイ１０から出射した符号化された光の像の解像度が画素の解像度と略一致する。各セルを透過した光が対応する１つの画素にのみ入射するようにすることにより、後述する演算を容易にすることができる。フィルタアレイ１０を光検出器から離して配置する場合には、その距離に応じてセルピッチを細かくしてもよい。
　図３Ａから図３Ｄに示す例では、各領域の透過率が０以上１以下の任意の値をとり得るグレースケールの透過率分布を想定した。しかし、必ずしもグレースケールの透過率分布にする必要はない。例えば、各領域の透過率が略０または略１のいずれかの値を取り得るバイナリ－スケールの透過率分布を採用してもよい。バイナリ－スケールの透過率分布では、各領域は、対象波長域に含まれる複数の波長域のうちの少なくとも２つの波長域の光の大部分を透過させ、残りの波長域の光の大部分を透過させない。ここで「大部分」とは、概ね８０％以上を指す。
　全セルのうちの一部、例えば半分のセルを、透明領域に置き換えてもよい。そのような透明領域は、対象波長域に含まれるすべての波長域Ｗ１からＷＮの光を同程度の高い透過率、例えば８０％以上の透過率で透過させる。そのような構成では、複数の透明領域は、例えば市松状に配置され得る。すなわち、フィルタアレイ１０における複数の領域の２つの配列方向において、光透過率が波長によって異なる領域と、透明領域とが交互に配列され得る。
　＜信号処理の例＞
　次に、信号処理回路２００の処理の例を説明する。信号処理回路２００は、イメージセンサ６０から出力された画像１２０、およびフィルタアレイ１０の波長ごとの透過率の空間分布特性に基づいて、多波長の分離画像２２０を再構成する。ここで多波長とは、例えば通常のカラーカメラで取得されるＲＧＢの３色の波長域よりも多くの波長域を意味する。この波長域の数は、例えば４から１００程度の数であり得る。この波長域の数を、バンド数と称する。用途によっては、バンド数は１００を超えていてもよい。
　求めたいデータは分離画像２２０であり、そのデータをｆとする。分光帯域数をＮとすると、ｆは、波長バンドＷ１に対応する画像データｆ１、波長バンドＷ２に対応する画像データｆ２、・・・、波長バンドＷＮに対応する画像データｆＮを含むデータである。求めるべき画像データのｘ方向の画素数をｎとし、ｙ方向の画素数をｍとすると、画像データｆ１、画像データｆ２、・・・、画像データｆＮの各々は、ｎ×ｍ画素の２次元データである。したがって、データｆは要素数ｎ×ｍ×Ｎの３次元データである。一方、フィルタアレイ１０によって符号化および多重化されて取得される画像１２０のデータｇの要素数はｎ×ｍである。本実施の形態における画像１２０のデータｇは、以下の式（３）によって表すことができる。
Figure JPOXMLDOC01-appb-M000003
　ここで、ｆ１、ｆ２、・・・、ｆＮの各々は、ｎ×ｍ個の要素を有するデータである。したがって、右辺のベクトルは、ｎ×ｍ×Ｎ行１列の１次元ベクトルである。式（３）における画像１２０のデータｇは、ｎ×ｍ行１列の１次元ベクトルである。行列Ｈは、ベクトルｆの各成分ｆ１、ｆ２、・・・、ｆＮを波長バンドごとに異なる符号化情報で符号化および強度変調し、それらを加算する変換を表す。したがって、Ｈは、ｎ×ｍ行ｎ×ｍ×Ｎ列の行列である。本明細書において、行列Ｈを「システム行列」と称することがある。式（３）におけるシステム行列Ｈの作用は、フィルタアレイ１０を通して符号化および強度変調された画像をイメージセンサ６０で取得することに相当する。行列Ｈの要素は、フィルタアレイ１０における各光学フィルタの透過率と、イメージセンサ６０の感度の波長依存性に応じて決まる。
　さて、ベクトルｇと行列Ｈが与えられれば、式（３）の逆問題を解くことにより、ｆを算出することができそうである。しかし、求めるデータｆの要素数ｎ×ｍ×Ｎが取得データｇの要素数ｎ×ｍよりも多いため、この問題は不良設定問題となり、このままでは解くことができない。そこで、本実施の形態の信号処理回路Ｐｒは、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の式（４）を解くことにより、求めるデータｆが推定される。
Figure JPOXMLDOC01-appb-M000004
　ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値または二乗和平方根等を残差項としてもよい。括弧内の第２項は、後述する正則化項または安定化項である。式（４）は、第１項と第２項との和を最小化するｆを求めることを意味する。信号処理回路２００は、再帰的な反復演算によって解を収束させ、最終的な解ｆ’を算出することができる。
　式（４）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによってシステム変換したＨｆとの差分の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。働きとしては、推定データを滑らかまたは安定にする効果がある。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）などによって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象物７０のスパース性は、対象物７０のテキスチャによって異なる。対象物７０のテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数である。重み係数τが大きいほど冗長的なデータの削減量が多くなり、圧縮する割合が高まる。重み係数τが小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。
　式（３）、式（４）に含まれる
Figure JPOXMLDOC01-appb-M000005
は、式（３）、式（４）に関連する記載において、ｇと標記されることがある。
　ここで、フィルタアレイ１０の光学的性質が式（４）の解の収束性に与える影響について本発明者らが検討した結果を定性的に説明する。まず、複数のフィルタの波長バンド毎の透過率の標準偏差は、波長バンド毎の符号化におけるランダム性に相当する。したがって、標準偏差を大きくすることにより、符号化性能を高くすることができ、解の収束性を向上させることができると考えられる。次に、複数のフィルタの透過率の平均値が波長バンド毎に均一でない場合、システム行列Ｈによる変換の作用により、推定過程のデータｆも波長バンド毎に均一にならない。その結果、式（４）の正則化項の推定データを滑らかまたは安定にする効果が波長バンド毎に異なり、解の収束性を低下させる可能性がある。見方を変えれば、複数のフィルタの透過率の平均値を波長バンド毎に均一にすることにより、解の収束性を向上させることができると考えられる。
　以上をまとめると、本発明者らは、複数の波長バンドの画像の再構成に伴う誤差を低減するためには、フィルタアレイ１０の波長バンド毎の平均透過率を均一に、また透過率の標準偏差を一定値以上になるように設計することが好ましいことを見出した。
　なお、ここでは式（４）に示す圧縮センシングを用いた演算例を示したが、その他の方法を用いて解いてもよい。例えば、最尤推定法またはベイズ推定法などの他の統計的方法を用いることができる。また、分離画像２２０の数は任意であり、各波長バンドも任意に設定してよい。再構成の方法の詳細は、特許文献１に開示されている。特許文献１の開示内容全体を本明細書に援用する。
　＜フィルタアレイの詳細構成＞
　次に、再構成される画像の誤差を低減させるフィルタアレイ１０の具体的な構成例を説明する。
　以下の説明では、フィルタアレイ１０における各フィルタがファブリペロー（ＦＰ）フィルタであるものとする。ＦＰフィルタは、第１の反射層、第２の反射層、および第１の反射層と第２の反射層との間の中間層を備える。各反射層は、誘電体多層膜または金属薄膜のいずれかから形成され得る。中間層は、少なくとも１つの共振モードを有する共振構造が形成される厚さおよび屈折率を有する。共振構造とは、ある波長の光が、内部で定在波を形成して安定に存在する構造を意味する。当該光の状態を、「共振モード」と称する。共振モードに対応する波長の光の透過率が高くなり、他の波長の光の透過率は低くなる。中間層の屈折率または厚さをフィルタごとに変えることにより、フィルタごとに異なる透過スペクトルを実現できる。
　図６は、本実施形態における光検出装置３００の断面の一部を模式的に示す図である。この光検出装置３００は、フィルタアレイ１０と、イメージセンサ６０とを備える。フィルタアレイ１０は、２次元に配列された複数のフィルタ１００を備える。複数のフィルタ１００は、行および列状に配列されている。図６は、１つの行の断面構造を模式的に示している。複数のフィルタ１００の各々は、共振構造を備える。図６に示す共振構造は、第１反射層２８ａ、第２反射層２８ｂ、および第１反射層ａと第２反射層２８ｂとの間の中間層２６を含む。第１反射層２８ａおよび第２反射層２８ｂの各々は、誘電体多層膜または金属薄膜から形成され得る。中間層２６は、特定の波長域において透明な誘電体または半導体から形成され得る。中間層２６は、例えば、Ｓｉ、Ｓｉ３Ｎ４、ＴｉＯ２、Ｎｂ２Ｏ５、Ｔａ２Ｏ５からなる群から選択される少なくとも１つから形成され得る。複数のフィルタ１００の中間層２６の屈折率および厚さの少なくとも一方は、フィルタによって異なる。図６に示す例における複数のフィルタ１００の各々の透過スペクトルは、複数の波長の各々において透過率の極大値を有する。当該複数の波長は、上記の共振構造における次数の異なる複数の共振モードにそれぞれ対応する。本実施形態では、フィルタアレイ１０における全てのフィルタ１００が上記の共振構造を備える。フィルタアレイ１０は、少なくとも１つのＦＰフィルタを含んでいれば、ＦＰフィルタ以外のフィルタを含んでいてもよい。例えば、フィルタアレイ１０は、透明フィルタまたはＮＤフィルタ（Ｎｅｕｔｒａｌ　Ｄｅｎｓｉｔｙ　Ｆｉｌｔｅｒ）などの、光透過率の波長依存性を有しないフィルタを含んでいてもよい。
　イメージセンサ６０は、複数の光検出素子６０ａを備える。複数の光検出素子６０ａの各々は、例えば、複数のフィルタ１００の少なくとも１つを透過した透過光を受ける位置に配置され得る。各光検出素子６０ａは、各フィルタ１００の透過スペクトルが極大値を示す複数の波長の光を検出する。図６の例では、複数の光検出素子６０ａの各々が、複数のフィルタの１つに対向して配置されている。
　複数の光検出素子６０ａの各々は、特定の波長域の光に感度を有する。この特定の波長域は、前述の対象波長域Ｗに相当する。なお、本開示において「ある波長域の光に感度を有する」とは、当該波長域の光を検出するのに必要な実質的な感度を有することを指す。例えば、当該波長域における外部量子効率が１％以上であることを指す。光検出素子６０ａの外部量子効率は１０％以上であってもよい。光検出素子６０ａの外部量子効率は２０％以上であってもよい。各フィルタ１００の光透過率が極大値をとる複数の波長は、いずれも対象波長域Ｗに含まれる。すなわち、本実施形態における光検出装置３００は、画素６０ａごとに異なる、少なくとも１つのフィルタを透過した複数の波長の光を同時に検出することができる。
　次に、第１反射層２８ａおよび第２反射層２８ｂの各々が誘電体多層膜から形成される場合の構成例を説明する。
　図７は、各反射層が誘電体多層膜から形成されるフィルタ１００の例を模式的に示す図である。フィルタ１００は、基板８０上に設けられている。第１反射層２８ａおよび第２反射層２８ｂの各々は、誘電体多層膜から形成されている。すなわち、第１反射層２８ａおよび第２反射層２８ｂの各々は、複数の低屈折率層２７ｌと、複数の高屈折率層２７ｈとが交互に位置する構造を備える。複数の低屈折率層２７ｌの各々は、屈折率ｎｌを有し、複数の高屈折率層２７ｈの各々は、屈折率ｎｌよりも高い屈折率ｎｈを有する。第１反射層２８ａでの低屈折率層２７ｌと、第２反射層２８ｂでの低屈折率層２７ｌとは、同じ屈折率を有していてもよいし、異なる屈折率を有していてもよい。第１反射層２８ａでの高屈折率層２７ｈと、第２反射層２８ｂでの高屈折率層２７ｈとは、同じ屈折率を有していてもよいし、異なる屈折率を有していてもよい。
　誘電体多層膜は、複数のペア層を備える。１つのペア層は、１つの低屈折率層２７ｌおよび１つの高屈折率層２７ｈを含む。図７の例では、第１反射層２８ａおよび第２反射層２８ｂの各々は、８層の屈折率層を含む４つのペア層を備える。図７の例では、対象波長域Ｗ内の特定の波長λ０において高い反射率を得るために、高屈折率層２７ｈの厚さは、ｔｈ＝λ０／（４ｎｈ）に設定され、低屈折率層２７ｌの厚さは、ｔｌ＝λ０／（４ｎｌ）に設定される。言い換えれば、高屈折率層２７ｈの厚さｔｈの光学長、および低屈折率層２７ｌの厚さｔｌの光学長は、λ０／４である。ここで、光学長とは、厚さに屈折率を掛けた値を意味する。特定の波長λ０は、例えば、対象波長域Ｗの中心波長（λｉ＋λｅ）／２に設定され得る。
　＜復元誤差を低減するフィルタアレイの構成例＞
　次に、復元誤差を低減するためのフィルタアレイ１０の構成例を説明する。
　まず、複数のＦＰフィルタから構成されるフィルタアレイ１０を、圧縮センシングによる復元処理を行うハイパースペクトルカメラに用いた場合の影響を説明する。上述の議論によれば、ＦＰフィルタの各反射層と中間層とを適切に設計することで、フィルタアレイ１０の波長バンド毎の平均透過率を均一に、また透過率の標準偏差を一定値以上になるように設計できる。その結果、圧縮センシングの不良設定問題における解の収束性を向上でき、複数の波長バンドの画像の再構成に伴う誤差を低減できそうである。
　しかし、一般に、イメージセンサ６０の感度は波長依存性を有する。圧縮センシングを用いたハイパースペクトルカメラでは、イメージセンサ６０がフィルタアレイ１０を通過する光を検出し、そのイメージセンサ６０から出力される画素値の信号に基づいて多波長の分離画像２２０が再構成される。したがって、多波長の分離画像２２０の再構成では、フィルタアレイ１０の透過特性に加えて、イメージセンサ６０の感度特性も考慮する必要がある。
　よって、イメージセンサの感度の波長依存性を考慮した場合、復元誤差を低減するためには、フィルタアレイ１０の透過率の平均値を全バンドにおいて均一化するのではなく、イメージセンサから出力されるバンド毎の画素値の平均値を全バンドにおいて均一化することが求められる。同様に、フィルタアレイ１０の透過率の標準偏差を全バンドにおいて一定値以上にするのではなく、イメージセンサから出力されるバンド毎の画素値の標準偏差を、全バンドにおいて一定値以上にすることが求められる。
　なお、本明細書において、あるバンドについての画素値とは、当該バンドに対応する光のみをフィルタアレイ１０を介して検出することにより出力される信号値を意味し得る。光検出装置３００に、あるバンドに対応する光のみ検出させる方法としては、例えば波長可変レーザと積分球を用いた方法が挙げられる。具体的には、波長可変レーザによって出射された、ある波長バンドに対応する光を積分球に入射させ、積分球によって空間的に均一化された光を光検出装置３００に検出させる。また、ある波長バンドに対応する光のみを光検出装置３００に検出させる場合、ある波長バンドに対応する波長域から数ｎｍだけずれた波長の光が入射していてもよい。すなわち、ある波長バンドに対応する波長域の下限から数ｎｍだけ小さい波長の光、または当該ある波長バンドに対応する波長域の上限から数ｎｍだけ大きい波長の光が光検出装置３００に入射してもよい。
　次に、図８Ａから図８Ｃを参照して、図６に示す光検出装置３００から出力される信号の波長依存性を説明する。図８Ａは、図６に示す光検出装置３００に含まれるフィルタアレイ１０の透過スペクトルを模式的に示す図である。図８Ｂは、図６に示す光検出装置３００に含まれるイメージセンサ６０の感度スペクトルを模式的に示す図である。図８Ｃは、図６に示す光検出装置３００の出力スペクトルを模式的に示す図である。光検出装置３００の出力信号は、画素値の情報を含む。
　図８Ａに示すように、フィルタアレイ１０の透過スペクトルは、対象波長域Ｗにおいて複数の透過率の極大値を有する。図８Ｂに示すように、イメージセンサ６０の感度は、対象波長域Ｗのある波長で最大になり、対象波長域Ｗの長波長側および短波長側では低下する。例えば、可視光領域の光検出に用いられるシリコンセンサでは、波長５００ｎｍ付近で感度が最も高く、可視光領域の短波長側および長波長側では感度が低下する。シリコンセンサに限らず、どのようなイメージセンサであっても、感度は、光電変換材料および／またはセンサ構造に起因する何らかの波長依存性を示す。図８Ｃに示すように、光検出装置３００の出力スペクトルは、図８Ｂに示すイメージセンサ６０の感度スペクトルが乗算される分だけ、フィルタアレイ１０の透過スペクトルとは異なる形状を有する。図８Ｃに示す破線は、図８Ｂに示す感度スペクトルを表す。
　ＦＰフィルタの設計および加工技術の向上により、空間的および波長的にランダムである理想的な透過率分布を有するフィルタアレイ１０を作製できたとする。そのような場合でも、イメージセンサ６０の感度が波長依存性を有するので、フィルタアレイ１０およびイメージセンサ６０を一体的に形成した光検出装置３００では、出力信号から得られる画素値分布が空間的および波長的にランダムではない可能性がある。空間的および波長的にランダムである理想的な画素値分布を得るために、イメージセンサ６０の感度スペクトルを考慮してフィルタアレイ１０を設計することも考えられる。しかし、イメージセンサ６０の感度スペクトルが経年変化する場合には、そのようなフィルタアレイ１０の設計は有効ではない。
　ここで、イメージセンサから出力される信号に適切な信号処理を施すことにより、イメージセンサの感度の波長依存性を打ち消す形でセンサ出力を行うことを考える。すなわち、イメージセンサの感度が低下している波長域に含まれる、ある波長バンドについての画素値に対し、ゲイン調整を行うことにより、イメージセンサから出力されるバンド毎の画素値の平均値を全バンドで均一にすることを考える。ゲイン調整を行う前の画素値の平均値をμとし、ゲイン調整を行った後における画素値の平均値をμ’とする。同様に、ゲイン調整を行う前の画素値の標準偏差をσとし、ゲイン調整を行った後の画素値の標準偏差をσ’とする。図９は、あるバンドについて、ゲイン調整を行う前後の画素値のヒストグラムを模式的に示す図である。図９に示すように、ある波長バンドについて、例えば、画素値の平均値がμ＝４０からμ’＝８０になるようにゲイン調整を行ったとする。この場合、画素値の標準偏差は、σ＝５０－３０＝２０から、σ’＝１００－６０＝４０となり、ゲイン調整により、画素値の平均値とともに標準偏差も変動することがわかる。
　ゲイン調整などにより、イメージセンサから出力される画素値の平均値を均一に設定することは可能であるが、ゲイン調整の結果、画素値の標準偏差が復元誤差を低減させられる程度の値を全バンドにおいて有しているとは限らない。よって、本発明者らは、イメージセンサの感度の波長依存性、およびイメージセンサの感度の波長依存性を打ち消すためのゲイン調整を加味した、フィルタアレイ１０を設計しなければならないという課題を見出した。本発明者らは、全バンドについて透過率の標準偏差σを平均透過率μによって割った値σ/μが一定値以上であるフィルタアレイ１０を用いることにより、イメージセンサ６０の感度の波長依存性に関係なく、バンド毎の正解画像と復元画像との誤差を低減できることに想到した。
　上述のとおり、バンド毎の画素値に対してゲイン調整を行うことにより、画素値の平均値を全バンドにおいて均一にすることが可能である。σ/μとは、標準偏差σを平均値μで規格化した物理量であり得る。すなわち、σ/μが一定値以上であるということは、ゲイン調整などにより、全バンドの画素値の平均値を均一にした際に、全バンドについての画素値の標準偏差が、一定値以上であることを意味し得る。
　また、σ/μはイメージセンサの感度の波長依存性、およびゲイン調整などの信号処理に依存しない。すなわち、あるバンドにおいて、フィルタアレイ１０の平均透過率を透過率の標準偏差によって割った値をσ１/μ１、イメージセンサによって出力された画素値の平均値を画素値の標準偏差によって割った値をσ２/μ２とすると、σ１/μ１＝σ２/μ２が成立する。また、図９を参照して説明した通り、σ／μの指標は各バンドについて全画素の画素値を定数倍しても変化しない。
　総じて、イメージセンサによって出力された画素値の標準偏差を規定することができ、かつイメージセンサの感度の波長依存性、ゲイン調整などの信号処理に依存しない値であるσ/μを指標として、フィルタアレイ１０を設計することにより、復元誤差を低減することが可能となる。
　次に、図１０を参照して、復元特性が全バンドについてのσ／μにどのように依存するかを説明する。以下の例では、誤差として、平均二乗誤差（Ｍｅａｎ　Ｓｑｕａｒｅ　Ｅｒｒｏｒ：ＭＳＥ）を用いる。ＭＳＥは、以下の式（５）で計算される。
Figure JPOXMLDOC01-appb-M000006
　ここで、ｎおよびｍは、それぞれ縦方向および横方向の画素数を表す。Ｉｉ、ｊは、位置（ｉ、ｊ）の画素における正解画像の画素値を表す。Ｉ’ｉ、ｊは、位置（ｉ、ｊ）の画素における再構成された各バンドの画像の画素値を表す。図１０は、全バンドについてのσ／μとＭＳＥの全バンドの平均値との関係を示すグラフである。図１０に示す例において、全バンドにおける画素値の平均値および標準偏差は均一である。図１０に示すように、ＭＳＥの全バンドの平均値は、全バンドについてのσ／μの増加に伴って指数関数的に減少する。全バンドについてのσ／μが０．１以上である場合、ＭＳＥの全バンドの平均値は３０よりも小さくなる。全バンドについてのσ／μが０．２以上である場合、ＭＳＥの全バンドの平均値は１０よりも小さくなる。全バンドについてのσ／μが０．３以上である場合、ＭＳＥの全バンドの平均値は６よりも小さくなる。本実施形態では、Ｎ個のバンドのうち、任意の第ｉのバンドのσｉ／μｉが、例えば０．１以上、０．２以上、または０．３以上になるように設定され得る。
　そのような条件を満たすフィルタアレイ１０は、フィルタアレイ１０に含まれるフィルタ１００を適切に設計することによって実現できる。具体的には、図７に示すフィルタ１００のうち、第１反射層２８ａおよび第２反射層２８ｂの各々に含まれる高屈折率層２７ｈおよび低屈折率層２７ｌの層数、屈折率および厚さ、ならびに中間層２６の屈折率および厚さが適切に設計される。フィルタアレイ１０は、公知の半導体プロセスによってイメージセンサ６０の上に一体的に形成することができる。
　図１１は、各々の波長バンドにおけるσ/μが０．２であるフィルタアレイ１０を用いた場合の復元特性を説明するための図である。図１１の例では、１０個のバンド１～１０が仮定されている。各バンドの透過率分布は、平均透過率０．５、標準偏差０．１となる正規分布に従う０．０から１．０の範囲の乱数で与えられている。この例では、マトリクス状に並んだ２４個の色見本を含むカラーチャートを被写体としている。ハイパースペクトルカメラによって取得された画像に前述の圧縮センシング処理を行うことによって復元されたバンドごとの画像の例が図１１の下段に示されている。図１１の中段は、正解画像を示している。この例では、６４０×４８０の２次元のフィルタアレイ１０が用いられている。また、８ビット（すなわち、０～２５５）の階調数で画素値を表現するイメージセンサ６０が用いられている。
　この例では、１０個のバンド１～１０においてσ/μ＞０．１を満たしているため、ＭＳＥはいずれのバンドについても低く抑えられており、ＭＳＥの全バンドの平均値は８．８８であった。この値は、イメージセンサ６０の画素値に換算すると、およそ３であり、画素値の最大値２５５に対しておよそ１％の誤差に相当する。このように、フィルタアレイ１０の透過率のバンド毎のσ/μが０．１を超える場合は、高い精度で各バンドの画像を復元できる。
　本実施形態によるフィルタアレイ１０では、透過率分布について、全バンドにおける透過率の平均値μおよび標準偏差σがσ／μ≧０．１を満たしていれば、透過率の平均値μは全バンドにおいて均一である必要はない。同様に、本実施形態による光検出装置３００では、画素値分布について、全バンドにおける画素値の平均値μおよび標準偏差σがσ／μ≧０．１を満たしていれば、画素値の平均値μは全バンドにおいて均一である必要はない。透過率の平均値μまたは画素値の平均値μが全バンドにおいて均一でなくても、信号処理回路２００は、信号処理により、画素値の平均値μを定数倍して全バンドにおいて均一になるように補正することができる。このように補正しても補正の前後において全バンドにおけるσ／μは不変であり、σ／μ≧０．１は満たされる。したがって、本実施形態では、複数の波長バンドの画像の再構成に伴う誤差を低減させることができる。
　以上の議論におけるフィルタアレイ１０の光学的な性質、すなわち各波長バンドについての平均透過率および透過率の標準偏差は、おおむね縦８画素×横８画素を含む任意の領域におけるヒストグラムを計測および解析することで明らかにできる。このようなフィルタアレイ１０の透過スペクトルの測定が技術的に困難な場合は、各波長バンドについての反射スペクトルを測定することでも同様にヒストグラムを計測および解析できる。また、フィルタアレイ１０がイメージセンサ６０上に集積されているような場合には、イメージセンサ６０自身の感度特性を含めたヒストグラムを計測および解析することもできる。さらに、フィルタアレイ１０を構成する各フィルタがＦＰフィルタの場合には、一般的に、第１の反射層、第２の反射層、および第１の反射層と第２の反射層との間に配置された中間層からなるフィルタの厚さとヒストグラムとの間に相関がある。このことから、おおむね縦８画素×横８画素を含む任意領域における厚さの分布を測定することでも同様の情報を取得できる。
　なお、上記の実施形態では、複数のフィルタが２次元的に配列されたフィルタアレイ１０について主に説明したが、複数のフィルタは１次元的に配列されていてもよい。その場合、光検出器として、１次元のイメージセンサが用いられてもよい。測定対象が一次元的な領域である場合、そのような構成も採用され得る。
　なお、以下のような場合も本開示に含まれる。
　フィルタアレイとは異なる符号化素子を用いた光検出装置であってもよい。例えば、光検出装置３００は、メタレンズ等の光学素子を介した光を検出する構成であってもよい。そのような光学素子は、光学系４０の少なくとも１部に導入されていてもよい。または、光検出装置３００が、フィルタアレイ１０の代わりに光学素子を備えていてもよい。当該光学素子は、光学素子の光入射面に入射した入射光を空間的かつ波長的に変化させ、光学素子の光出射面から出射させる。イメージセンサ６０は光学素子の光出射面から出射された光を検出する。
　すなわち、
　Ｎ個（Ｎは４以上の整数）の波長バンドのそれぞれの画像データを生成する光検出システムにおいて用いられる光検出装置であって、
　前記Ｎ個の波長バンドの各々における光透過率が、位置によって異なる符号化素子と、
　　前記符号化素子を介した光を検出するイメージセンサと、
を備え、
　前記イメージセンサは、前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）に対応する光のみを検出することにより、前記第ｉの波長バンドに対応する画素値分布を示すデータを出力し、
　前記第ｉの波長バンドに対応する前記画素値分布の画素値の平均値をμｉとし、
　前記第ｉの波長バンドに対応する前記画素値分布の画素値の標準偏差をσｉとした場合、（σ1／μ1）≧０．１、・・・、（σＮ／μＮ）≧０．１である、光検出装置であってもよい。
　本開示の技術は、例えば、多波長の画像を取得するカメラおよび測定機器に有用である。本開示の技術は、例えば、生体・医療・美容向けセンシング、食品の異物・残留農薬検査システム、リモートセンシングシステムおよび車載センシングシステムにも応用できる。
　　１０　　フィルタアレイ
　　４０　　光学系
　　６０　　イメージセンサ
　　７０　　対象物
　　８０　　基板
　　１００　フィルタ
　　１２０　画像
　　２００　信号処理回路
　　２２０　再構成画像
　　３００　光検出装置

Claims (10)

  1. 　Ｎ個（Ｎは４以上の整数）の波長バンドのそれぞれの画像データを生成する光検出システムにおいて用いられるフィルタアレイであって、
    　前記Ｎ個の波長バンドの各々における光透過率が互いに異なる複数の光学フィルタを含み、
    　前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）の光についての前記複数の光学フィルタに一対一対応する複数の透過率の平均値をμｉとし、
    　前記第ｉの波長バンドの光についての前記複数の光学フィルタに一対一対応する前記複数の透過率の標準偏差をσｉとした場合、（σ1／μ1）≧０．１、・・・、（σＮ／μＮ）≧０．１である、
    　フィルタアレイ。
  2. 　前記複数の光学フィルタの少なくとも１つは、ファブリペローフィルタである、
    　請求項１に記載のフィルタアレイ。
  3. 　前記複数の光学フィルタの少なくとも１つは、第１反射層、第２反射層、および前記第１反射層と前記第２反射層との間の中間層を含み、かつ互いに次数の異なる複数の共振モードを有する共振構造を備える、
    　請求項１または２に記載のフィルタアレイ。
  4. 　Ｎ個（Ｎは４以上の整数）の波長バンドのそれぞれの画像データを生成する光検出システムにおいて用いられる光検出装置であって、
    　前記Ｎ個の波長バンドの各々における光透過率が互いに異なる複数の光学フィルタと、
    　前記複数の光学フィルタを介した光を検出するイメージセンサと、
    を備え、
    　前記イメージセンサは、前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）に対応する光のみを検出することにより、前記第ｉの波長バンドに対応する画素値分布を示すデータを出力し、
    　前記第ｉの波長バンドに対応する前記画素値分布の画素値の平均値をμｉとし、
    前記第ｉの波長バンドに対応する前記画素値分布の画素値の標準偏差をσｉとした場合、（σ1／μ1）≧０．１、・・・、（σＮ／μＮ）≧０．１である、
    　光検出装置。
  5. 　前記複数の光学フィルタの少なくとも１つは、ファブリペローフィルタである、
    　請求項４に記載の光検出装置。
  6. 　前記複数の光学フィルタの少なくとも１つは、第１反射層、第２反射層、および前記第１反射層と前記第２反射層との間の中間層を含み、かつ互いに次数の異なる複数の共振モードを有する共振構造を備える、
    　請求項４または５に記載の光検出装置。
  7. 　前記複数の光学フィルタの各々の透過スペクトルは、対象波長域に含まれる複数の波長の各々において透過率の極大値を有し、
    　前記イメージセンサは、複数の光検出素子を含み、
    　記複数の光検出素子の各々は、前記複数の光学フィルタの少なくとも１つを透過した透過光を受ける位置に配置され、かつ前記透過光に含まれる前記複数の波長の光を検出する、
    　請求項４から６のいずれかに記載の光検出装置。
  8. 　請求項４から７のいずれかに記載の光検出装置と、
    　前記イメージセンサから出力された信号に基づいて、前記Ｎ個の波長バンドのそれぞれについての前記画像データを生成する信号処理回路と、
    を備える、
    　光検出システム。
  9. 　前記信号処理回路は、圧縮センシングを利用した演算を行うことにより、前記画像データを生成する、
    　請求項８に記載の光検出システム。
  10. 　Ｎ個（Ｎは４以上の整数）の波長バンドのそれぞれの画像データを生成する光検出システムにおいて用いられる光検出装置であって、
    　前記Ｎ個の波長バンドの各々における光透過率が、位置によって異なる符号化素子と、
    　　前記符号化素子を介した光を検出するイメージセンサと、
    を備え、
    　　前記イメージセンサは、前記Ｎ個の波長バンドのうちの第ｉの波長バンド（ｉは１以上Ｎ以下の整数）に対応する光のみを検出することにより、前記第ｉの波長バンドに対応する画素値分布を示すデータを出力し、
    　　前記第ｉの波長バンドに対応する前記画素値分布の画素値の平均値をμｉとし、
    　　前記第ｉの波長バンドに対応する前記画素値分布の画素値の標準偏差をσｉとした場合、（σ1／μ1）≧０．１、・・・、（σＮ／μＮ）≧０．１である、
    　光検出装置。
PCT/JP2022/026078 2021-07-12 2022-06-29 フィルタアレイ、光検出装置、および光検出システム WO2023286613A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2023535231A JPWO2023286613A1 (ja) 2021-07-12 2022-06-29
EP22841957.8A EP4372430A1 (en) 2021-07-12 2022-06-29 Filter array, light detection device, and light detection system
CN202280044198.6A CN117546061A (zh) 2021-07-12 2022-06-29 滤波器阵列、光检测装置及光检测系统
US18/393,705 US20240171870A1 (en) 2021-07-12 2023-12-22 Filter array, photodetector, and photodetection system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-115073 2021-07-12
JP2021115073 2021-07-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/393,705 Continuation US20240171870A1 (en) 2021-07-12 2023-12-22 Filter array, photodetector, and photodetection system

Publications (1)

Publication Number Publication Date
WO2023286613A1 true WO2023286613A1 (ja) 2023-01-19

Family

ID=84920065

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/026078 WO2023286613A1 (ja) 2021-07-12 2022-06-29 フィルタアレイ、光検出装置、および光検出システム

Country Status (5)

Country Link
US (1) US20240171870A1 (ja)
EP (1) EP4372430A1 (ja)
JP (1) JPWO2023286613A1 (ja)
CN (1) CN117546061A (ja)
WO (1) WO2023286613A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007278950A (ja) * 2006-04-10 2007-10-25 Canon Inc マルチバンド撮像装置およびカラーフィルタの特性設定方法
JP2010021791A (ja) * 2008-07-10 2010-01-28 Canon Inc 撮像装置、その画像処理方法及びプログラム
US20160138975A1 (en) 2014-11-19 2016-05-19 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus comprising coding element and spectroscopic system comprising the imaging apparatus
JP2016100703A (ja) 2014-11-20 2016-05-30 キヤノン株式会社 撮像ユニット、撮像装置、及び画像処理システム
JP2018098341A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007278950A (ja) * 2006-04-10 2007-10-25 Canon Inc マルチバンド撮像装置およびカラーフィルタの特性設定方法
JP2010021791A (ja) * 2008-07-10 2010-01-28 Canon Inc 撮像装置、その画像処理方法及びプログラム
US20160138975A1 (en) 2014-11-19 2016-05-19 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus comprising coding element and spectroscopic system comprising the imaging apparatus
JP2016100703A (ja) 2014-11-20 2016-05-30 キヤノン株式会社 撮像ユニット、撮像装置、及び画像処理システム
JP2018098341A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器

Also Published As

Publication number Publication date
EP4372430A1 (en) 2024-05-22
US20240171870A1 (en) 2024-05-23
JPWO2023286613A1 (ja) 2023-01-19
CN117546061A (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
US11843876B2 (en) Optical filter array, photodetection device, and photodetection system
JP6945195B2 (ja) 光学フィルタ、光検出装置、および光検出システム
JP7457952B2 (ja) 光検出装置、光検出システム、およびフィルタアレイ
WO2021085014A1 (ja) フィルタアレイおよび光検出システム
JP6952294B2 (ja) 光検出装置、光検出システム、およびフィルタアレイ
JP2016130727A (ja) 撮像装置
WO2022230640A1 (ja) 画像処理装置、撮像システム、および復元画像の誤差を推定する方法
JP7142251B2 (ja) フィルタアレイおよび光検出システム
WO2023286613A1 (ja) フィルタアレイ、光検出装置、および光検出システム
JP7122636B2 (ja) フィルタアレイおよび光検出システム
WO2023106143A1 (ja) 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
JP7209273B2 (ja) フィルタアレイおよび光検出システム
WO2023106142A1 (ja) 信号処理方法、プログラム、およびシステム
JP2024020922A (ja) 復元画像の評価方法および撮像システム、
CN118251898A (zh) 在生成分光图像的系统中使用的装置及滤光器阵列、生成分光图像的系统以及滤光器阵列的制造方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22841957

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280044198.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2023535231

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2022841957

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022841957

Country of ref document: EP

Effective date: 20240212