WO2021085014A1 - フィルタアレイおよび光検出システム - Google Patents

フィルタアレイおよび光検出システム Download PDF

Info

Publication number
WO2021085014A1
WO2021085014A1 PCT/JP2020/037040 JP2020037040W WO2021085014A1 WO 2021085014 A1 WO2021085014 A1 WO 2021085014A1 JP 2020037040 W JP2020037040 W JP 2020037040W WO 2021085014 A1 WO2021085014 A1 WO 2021085014A1
Authority
WO
WIPO (PCT)
Prior art keywords
filters
filter
types
filter array
image data
Prior art date
Application number
PCT/JP2020/037040
Other languages
English (en)
French (fr)
Inventor
安寿 稲田
石川　篤
基樹 八子
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2021554212A priority Critical patent/JPWO2021085014A1/ja
Priority to EP20882949.9A priority patent/EP4053521A4/en
Publication of WO2021085014A1 publication Critical patent/WO2021085014A1/ja
Priority to US17/718,428 priority patent/US20220239870A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/26—Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1213—Filters in general, e.g. dichroic, band
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2806—Array and filter array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J2003/467—Colour computing

Definitions

  • the present disclosure relates to a filter array and a photodetection system.
  • Hyperspectral cameras are used in various fields such as food inspection, biopsy, drug development, and mineral component analysis. Such techniques are disclosed in, for example, Patent Document 1 and Patent Document 2.
  • the present disclosure provides a novel filter array capable of generating a hyperspectral image having high wavelength resolution and a color image.
  • the filter array includes a plurality of filters arranged two-dimensionally.
  • the plurality of filters are a plurality of types of first filters having different transmission spectra from each other, and each transmission spectrum has a plurality of types of first filters including a plurality of first peaks and a transmission spectrum different from each other.
  • a plurality of types of second filters each of which contains a plurality of types of second filters, each of which has a transmission spectrum containing one or more second peaks.
  • the number of the plurality of first peaks in each transmission spectrum of the plurality of types of first filters is larger than the number of the one or more second peaks in each transmission spectrum of the plurality of types of second filters.
  • the plurality of types of the first filter and the plurality of types of the second filter are arranged in a mixed manner.
  • FIG. 1 is a diagram schematically showing a photodetection system according to an exemplary embodiment of the present disclosure.
  • FIG. 2A is a diagram schematically showing an example of a filter array according to the present embodiment.
  • Figure 2B is a diagram showing an example of a transmission spectrum of an H 1 filter in the filter array of FIG. 2A schematically.
  • Figure 2C is a diagram showing an example of a transmission spectrum of H 2 filters in the filter array of FIG. 2A schematically.
  • FIG. 2D is a diagram schematically showing an example of transmission spectra of an R filter, a G filter, and a B filter in the filter array of FIG. 2A.
  • FIG. 3A is a target wavelength region W, a plurality of wavelength regions W 1, W 2 contained therein, is a diagram for explaining ..., an example of the relationship between W i.
  • 3B is a target wavelength region W, a plurality of wavelength regions W 1, W 2 contained therein, is a diagram for explaining ..., another example of the relationship between the W i.
  • FIG. 4A is a diagram for explaining the characteristics of the transmission spectrum of the hyperspectral filter in the filter array.
  • Figure 4B is a diagram showing the transmission spectrum of Fig. 4A, a wavelength band W 1, wavelength range W 2, ⁇ ⁇ ⁇ , an example of averaged for each wavelength band W i.
  • FIG. 4A is a target wavelength region W, a plurality of wavelength regions W 1, W 2 contained therein, is a diagram for explaining ..., another example of the relationship between the W i.
  • FIG. 4A is a diagram for explaining the characteristics of the transmission spectrum of the hyperspectral filter in the filter array.
  • FIG. 5A is a diagram schematically showing an example of transmission spectra of a hyperspectral filter and a color filter.
  • FIG. 5B is a diagram schematically showing another example of the transmission spectrum of the hyperspectral filter and the color filter.
  • FIG. 6 is a flowchart of an operation for generating image data.
  • FIG. 7 is a flowchart of the operation of step S103 shown in FIG.
  • FIG. 8 is a diagram for explaining the operation of step S201 shown in FIG. 7.
  • FIG. 9 is another flowchart of the operation of generating image data.
  • FIG. 10 is still another flowchart of the operation of generating image data.
  • FIG. 11A is a flowchart of the operation of step S402 shown in FIG. FIG.
  • FIG. 11B is another flowchart of the operation of step S402 shown in FIG.
  • FIG. 12A is a cross-sectional view schematically showing an example of the structure of the hyperspectral filter.
  • FIG. 13A is a diagram schematically showing a filter array according to a first modification of the present embodiment.
  • FIG. 13B is a diagram schematically showing a filter array in the second modification of the present embodiment.
  • the imaging apparatus disclosed in Patent Document 1 will be briefly described.
  • an image of light from an object is encoded and imaged by an optical element called a "coding element".
  • a high-resolution multi-wavelength image can be acquired.
  • the coding element includes a plurality of filters arranged two-dimensionally, the coding element is referred to as a "filter array" in the present specification.
  • At least two of the filters in the filter array have different transmission spectra from each other.
  • the transmission spectrum of each of the two filters has a maximum transmittance at a plurality of peak wavelengths included in a specific wavelength region. In the present specification, such a filter is referred to as a "hyperspectral filter”.
  • the plurality of filters included in the filter array are arranged corresponding to, for example, a plurality of pixels of the image sensor.
  • the data of each pixel includes information in a plurality of wavelength regions. That is, the generated image data is data in which wavelength information is compressed. Therefore, it is only necessary to hold the two-dimensional data, and the amount of data can be suppressed. For example, even when the capacity of the recording medium is limited, it is possible to acquire moving image data for a long time.
  • a plurality of filters arranged in two dimensions include a plurality of types of hyperspectral filters and a plurality of types of color filters such as RGB color filters.
  • a hyperspectral image having high wavelength resolution and a color image can be generated at the same time.
  • the filter array according to the first item includes a plurality of filters arranged two-dimensionally.
  • the plurality of filters are a plurality of types of first filters having different transmission spectra from each other, and each transmission spectrum has a plurality of types of first filters including a plurality of first peaks and a transmission spectrum different from each other.
  • a plurality of types of second filters each of which contains a plurality of types of second filters, each of which has a transmission spectrum containing one or more second peaks.
  • the number of the plurality of first peaks in each transmission spectrum of the plurality of types of first filters is larger than the number of the one or more second peaks in each transmission spectrum of the plurality of types of second filters.
  • the plurality of types of the first filter and the plurality of types of the second filter are arranged in a mixed manner.
  • a hyperspectral image having high wavelength resolution can be generated from a plurality of types of first filters, and a color image can be generated from a plurality of types of second filters.
  • the filter array according to the second item has the plurality of types of the filter array according to the first item, wherein the number of the plurality of first peaks in each transmission spectrum of the plurality of types of first filters is 3 or more.
  • the number of the 1 or more second peaks in each transmission spectrum of the second filter of the above may be 1 or 2.
  • this filter array it is possible to acquire more wavelength information from a plurality of types of first filters than with a plurality of types of second filters such as RGB filters.
  • the plurality of types of second filters may be periodically arranged in the filter array according to the first or second item.
  • the plurality of types of first filters may be arranged aperiodically in the filter array according to any one of the first to third items.
  • hyperspectral images can be accurately generated from a plurality of types of first filters.
  • the filter array according to the fifth item is the filter array according to any one of the first to fourth items, in which the full width at half maximum of each of the plurality of first peaks is the half width of each of the first or more second peaks. It may be narrower than the full width.
  • this filter array it is possible to acquire more detailed wavelength information from a plurality of types of first filters than with a plurality of circumferences of a second filter.
  • the filter array according to the sixth item has at least two wavelength ranges of the plurality of first peaks in the transmission spectra of the plurality of types of first filters. It may overlap with the wavelength range of the first or more second peaks in the transmission spectrum of each of the two types of filters among the plurality of types of second filters.
  • the chromaticity data generated from the hyperspectral images obtained by the plurality of types of first filters is close to the chromaticity data generated from the color image data obtained by the plurality of types of second filters. ..
  • the filter array according to the seventh item is the filter array according to any one of the first to sixth items, wherein the transmission spectrum of at least one of the plurality of types of first filters is 700 nm or more and 2500 nm or less. It may include a maximum value of transmittance in the wavelength range.
  • the filter array according to the eighth item may be the filter array according to any one of the first to seventh items, in which the plurality of types of second filters may be three types of second filters.
  • RGB color filters three types of second filters such as RGB color filters can be used.
  • the three types of second filters may be a red filter, a green filter, and a blue filter.
  • each transmission spectrum of the plurality of types of first filters has a maximum value of a plurality of transmittances in the near infrared region of 700 nm or more and 2500 nm or less
  • each transmission spectrum of the plurality of types of second filters has a maximum value. It may have a maximum value of transmittance in the visible region of 400 nm or more and 700 nm or less.
  • the transmission spectra of the first filters of the plurality of types have a maximum value of a plurality of transmittances in the visible region of 400 nm or more and 700 nm or less
  • the transmission spectra of each of the second filters of the plurality of types have a maximum value. It may have a maximum value of transmittance in the near infrared region of 700 nm or more and 2500 nm or less.
  • the filter array according to the tenth item may be, in the filter array according to any one of the first to ninth items, the first filter of a plurality of types may be a first filter of 10 types or more and 50 types or less. ..
  • This filter array can generate a valid hyperspectral image.
  • the filter array according to the eleventh item is the filter array according to any one of the first to tenth items, wherein each of the plurality of types of the first filters is a first reflective layer, a second reflective layer, and the first reflective layer. It may include a resonance structure including an intermediate layer between the first reflective layer and the second reflective layer.
  • each transmission spectrum of a plurality of types of first filters has a plurality of peaks included in a specific wavelength range.
  • the photodetection system includes a filter array according to any one of the first to eleventh items, an image sensor including a plurality of photodetector elements, and a signal processing circuit.
  • Each of the plurality of photodetecting elements is arranged at a position where the light transmitted through the corresponding filter among the plurality of filters is received.
  • the signal processing circuit generates first image data based on a first detection signal from a photodetector that receives light transmitted through the plurality of types of first filters among the plurality of photodetectors, and the plurality of light detection elements.
  • the second image data is generated based on the second detection signal from the photodetector element that receives the light transmitted through the plurality of types of second filters among the photodetector elements of the above.
  • This photodetection system can generate a hyperspectral image with high wavelength resolution and a color image.
  • the signal processing circuit in the photodetection system according to the thirteenth item, the signal processing circuit generates first chromaticity data based on the first image data, and the second image.
  • the second chromaticity data may be generated based on the data, and the first chromaticity data and the second chromaticity data may substantially match in each of the plurality of photodetecting elements.
  • This light detection system can generate a high-resolution hyperspectral image and a high-resolution color image.
  • all or part of a circuit, unit, device, member or part, or all or part of a functional block in a block diagram is, for example, a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (range scale integration). ) Can be performed by one or more electronic circuits.
  • the LSI or IC may be integrated on one chip, or may be configured by combining a plurality of chips.
  • functional blocks other than the storage element may be integrated on one chip.
  • it is called LSI or IC, but the name changes depending on the degree of integration, and it may be called system LSI, VLSI (very large scale integration), or ULSI (ultra large scale integration).
  • a Field Programmable Gate Array (FPGA) programmed after the LSI is manufactured, or a reconfigurable logistic device capable of reconfiguring the junction relationship inside the LSI or setting up the circuit partition inside the LSI can also be used for the same purpose.
  • FPGA Field Programmable Gate Array
  • circuits, units, devices, members or parts can be performed by software processing.
  • the software is recorded on a non-temporary recording medium such as one or more ROMs, optical disks, hard disk drives, etc., and when the software is executed by a processor, the functions identified by the software It is performed by a processor and peripherals.
  • the system or device may include one or more non-temporary recording media on which the software is recorded, a processor, and the required hardware devices, such as an interface.
  • FIG. 1 is a diagram schematically showing a photodetection system 300 according to an exemplary embodiment of the present disclosure.
  • the photodetection system 300 includes an optical system 40, a filter array 100, an image sensor 60, and a signal processing circuit 200.
  • the optical system 40, the filter array 100, and the image sensor 60 are arranged in the optical path of light incident from the object 80.
  • the filter array 100 includes a plurality of translucent filters arranged in rows and columns.
  • the filter array 100 is an optical element in which the light transmission spectrum, that is, the wavelength dependence of the light transmittance differs depending on the filter.
  • the filter array 100 modulates the intensity of the incident light and passes it through. Details of the filter array 100 will be described later.
  • the filter array 100 may be located near or directly above the image sensor 60.
  • the “neighborhood” means that the image of the light from the optical system 40 is close enough to be formed on the surface of the filter array 100 in a state of being clear to some extent. "Directly above” means that they are so close to each other that there is almost no gap.
  • the filter array 100 and the image sensor 60 may be integrated.
  • the optical system 40 includes at least one lens. Although shown as one lens in FIG. 1, the optical system 40 may be composed of a combination of a plurality of lenses. The optical system 40 forms an image on the image pickup surface of the image sensor 60 via the filter array 100.
  • the image sensor 60 includes a plurality of photodetecting elements. Each of the plurality of photodetectors is arranged to face one of the plurality of filters. Each of the plurality of photodetectors is sensitive to light in a specific wavelength range. This specific wavelength range is a wavelength range determined according to the application. In the present disclosure, “having sensitivity to light in a certain wavelength range” means having substantial sensitivity necessary for detecting light in the wavelength range. For example, it means that the external quantum efficiency in the wavelength range is 1% or more. The external quantum efficiency of the photodetector may be 10% or more. The external quantum efficiency of the photodetector may be 20% or more. In the following description, the photodetector will also be referred to as a "pixel".
  • the filter array 100 and the image sensor 60 may be separated. Even in that case, each of the plurality of photodetecting elements is arranged at a position where the light transmitted through one of the plurality of filters is received. Each component may be arranged so that the light transmitted through the plurality of filters is incident on the plurality of photodetectors through the mirror. In that case, each of the plurality of photodetectors is not arranged directly under one of the plurality of filters.
  • the signal processing circuit 200 generates a plurality of separated image data 220 including multi-wavelength information and a plurality of color image data 240 including RGB information based on the image data 120 acquired by the image sensor 60. Details of the image signal processing method of the signal processing circuit 200 will be described later.
  • the signal processing circuit 200 may be incorporated in the image sensor 60, or may be a component of a signal processing device electrically connected to the image sensor 60 by wire or wirelessly.
  • the filter array 100 is used in a spectroscopic system that generates images for each of a plurality of wavelength regions included in a specific wavelength region.
  • the specific wavelength range is also referred to as a “target wavelength range”.
  • the filter array 100 is arranged in the optical path of the light incident from the object 80, and the intensity of the incident light is modulated for each wavelength and output. This process with a filter array is referred to herein as "encoding".
  • FIG. 2A is a diagram schematically showing an example of the filter array 100 in the present embodiment.
  • the filter array 100 includes a plurality of filters arranged two-dimensionally.
  • the filter is also referred to as a "cell".
  • Each filter has an individually set transmission spectrum.
  • the transmitted spectrum is represented by a function T ( ⁇ ), where ⁇ is the wavelength of the incident light.
  • the transmission spectrum T ( ⁇ ) can take a value of 0 or more and 1 or less. The details of the filter configuration will be described later.
  • the filter array 100 has 48 rectangular filters arranged in 6 rows and 8 columns. This is just an example, and in actual use, more filters may be provided.
  • the number can be about the same as the number of pixels of a general photodetector such as an image sensor.
  • the number of pixels is, for example, hundreds of thousands to tens of millions.
  • the filter array 100 may be located directly above the photodetector, with each filter corresponding to one pixel of the photodetector. Each filter faces, for example, one pixel of the photodetector.
  • the plurality of filters in the filter array 100 include five types of hyperspectral filters 10 having different transmission spectra and three types of color filters 20 having different transmission spectra.
  • the five types of hyperspectral filters 10 correspond to the plurality of types of first filters in the present disclosure
  • the three types of color filters 20 correspond to the plurality of types of second filters in the present disclosure.
  • the three types of color filters 20 are a red filter that transmits red light, a green filter that transmits green light, and a blue filter that transmits blue light.
  • the red filter, the green filter, and the blue filter are referred to as "R filter", "G filter", and "B filter", respectively.
  • FIG. 2B and 2C are diagrams schematically showing an example of transmission spectra of the H 1 filter and the H 2 filter in the filter array 100 of FIG. 2A.
  • the transmission spectrum of the H 1 filter and the transmission spectrum of the H 2 filter are different from each other. Further, each transmission spectrum of the H 1 filter and the H 2 filter has a maximum value of transmittance at a plurality of peak wavelengths included in the target wavelength region. The same applies to H 5 filter from the rest of the H 3 filter.
  • FIG. 2D is a diagram schematically showing an example of transmission spectra of the R filter, the G filter, and the B filter in the filter array 100 of FIG. 2A.
  • the dashed line, dotted line, and alternate long and short dash line represent a single peak in the transmission spectra of the R, G, and B filters, respectively.
  • the R filter mainly transmits light in the red wavelength region (for example, 600 nm or more and 700 nm or less).
  • the G filter mainly transmits light in the green wavelength region (for example, 500 nm or more and 600 nm or less).
  • the B filter mainly transmits light in the blue wavelength region (for example, 400 nm or more and 500 nm or less).
  • the three types of color filters 20 may have different transmission characteristics from the R, G, and B filters.
  • the three types of color filters 20 include a C filter that mainly transmits cyan light that is a mixture of green and blue, and an M filter that mainly transmits magenta light that is a mixture of red and blue. It may be a Y filter that mainly transmits yellow light, which is a mixture of red and green.
  • each transmission spectrum of the three types of color filters 20 has a maximum value of transmittance at one or more peak wavelengths included in the target wavelength region.
  • Each transmission spectrum of the R, G, and B filters has a maximum transmittance at one peak wavelength included in the target wavelength region.
  • Each transmission spectrum of the C, M, and Y filters has a maximum transmittance at two peak wavelengths included in the target wavelength region.
  • unit blocks including four filters surrounded by thick broken lines are arranged two-dimensionally.
  • Each unit block includes R filters, G filters, and the B filter, the door any of H 1 filter H 5 filter.
  • one G filter in the so-called Bayer array composed of an R filter, two G filters, and a B filter is replaced with one of the H 1 filter and the H 5 filter.
  • the hyperspectral filter 10 and the color filter 20 are mixed in a ratio of 1: 3.
  • "mixed" means a state in which one or more hyperspectral filters 10 are sandwiched by two color filters 20 in a row direction or a column direction, or two or more color filters 20.
  • hyperspectral filter 10 It means a state of being sandwiched in the row direction or the column direction by the hyperspectral filter 10.
  • five types of hyperspectral filters 10 are arranged aperiodically, while three types of color filters 20 are regularly arranged.
  • the filter array 100 in the present embodiment includes a plurality of types of hyperspectral filters 10 and a plurality of types of color filters 20.
  • the plurality of types of hyperspectral filters 10 may be composed of, for example, 10 or more and 50 or less types of hyperspectral filters 10 depending on the intended use. The larger the number of types of hyperspectral filters 10, the more multi-wavelength information can be acquired. For example, 16 types of hyperspectral filters 10 can be used to acquire useful multi-wavelength information. 32 types of hyperspectral filters 10 may be used.
  • the plurality of types of color filters 20 may be, for example, the R, G, and B filters as described above, or the three types of color filters 20 such as the C, M, and Y filters, or the color filters.
  • the number of peak wavelengths in each transmission spectrum of the plurality of types of hyperspectral filters 10 is larger than the number of peak wavelengths in each transmission spectrum of the plurality of types of color filters 20.
  • the filter array 100 in the present embodiment may partially include a filter having no wavelength dependence of light transmittance, such as a transparent filter or an ND filter (Neutral Density Filter), depending on the application.
  • a filter having no wavelength dependence of light transmittance such as a transparent filter or an ND filter (Neutral Density Filter), depending on the application.
  • the target wavelength region W is a diagram for explaining ..., an example of the relationship between W i.
  • the target wavelength range W can be set in various ranges depending on the application.
  • the target wavelength range W is, for example, a wavelength range of visible light of about 400 nm or more and about 700 nm or less, a wavelength range of near infrared rays of about 700 nm or more and about 2500 nm or less, a wavelength range of near ultraviolet rays of about 10 nm or more and about 400 nm or less, and others. It can be in the radio range such as infrared, far infrared, terahertz wave, or millimeter wave. Alternatively, the target wavelength region W may be a wavelength region including visible light and near infrared rays of about 400 nm or more and about 900 nm or less. As described above, the wavelength range used is not always the visible light range. In the present specification, not only visible light but also invisible light such as near-ultraviolet rays, near-infrared rays, and radio waves are referred to as "light" for convenience.
  • the wavelength range W 1 each of the target wavelength region W and i aliquoted wavelength range W 2, ⁇ ⁇ ⁇ , are the wavelength band W i.
  • a plurality of wavelength ranges included in the target wavelength range W may be arbitrarily set.
  • the bandwidth may be non-uniform depending on the wavelength range.
  • the bandwidth differs depending on the wavelength range, and there is a gap between two adjacent wavelength ranges.
  • the plurality of wavelength ranges need only be different from each other, and the method of determining the wavelength ranges is arbitrary.
  • the number of wavelength divisions i may be 3 or less.
  • FIG. 4A is a diagram for explaining the characteristics of the transmission spectrum of the hyperspectral filter 10 in the filter array 100.
  • the transmission spectrum has a plurality of transmittance maximum values P 1 to maximum values P 5 and a plurality of minimum values with respect to wavelengths in the target wavelength region W.
  • the maximum value of the light transmittance in the target wavelength region W is 1 and the minimum value is 0.
  • the transmission spectrum in the wavelength range W 2, and wavelength ranges, such as wavelength band W i-1, the transmission spectrum has a maximum value.
  • the maximum value P 1 , the maximum value P 3 , the maximum value P 4 , and the maximum value P 5 are 0.5 or more.
  • the light transmittance of each hyperspectral filter 10 differs depending on the wavelength. Therefore, the filter array 100 transmits a large amount of components in a certain wavelength range from the incident light, and does not transmit so much components in another wavelength range. For example, for light in k wavelengths out of i wavelengths, the normalized transmittance is greater than 0.5, and for light in the remaining ik wavelengths, it is normalized. The transmitted transmittance can be 0.5 or less. k is an integer that satisfies 2 ⁇ k ⁇ i. If the incident light is white light that evenly contains the wavelength components of all visible light, the hyperspectral filter 10 in the filter array 100 filters the incident light for each filter, and the intensity is discrete with respect to the wavelength. It is modulated into light having a peak of, and these multi-wavelength lights are superimposed and output.
  • Figure 4B is a diagram showing the transmission spectrum of Fig. 4A, a wavelength band W 1, wavelength range W 2, ⁇ ⁇ ⁇ , an example of averaged for each wavelength band W i.
  • the averaged transmittance is obtained by integrating the transmission spectrum T ( ⁇ ) for each wavelength region and dividing by the bandwidth of that wavelength region.
  • the value of the transmittance averaged for each wavelength region in this way is referred to as the transmittance in that wavelength region.
  • the transmittance is remarkably high in three wavelength regions having a maximum value P 1 , a maximum value P 3 , and a maximum value P 5.
  • the normalized transmittance exceeds 0.8 in the two wavelength regions having the maximum value P 3 and the maximum value P 5.
  • the convex shape in the transmission spectrum is referred to as a "peak”.
  • the wavelength in which the transmittance shows the maximum value in the convex shape is referred to as "peak wavelength”.
  • the transmittance at the peak wavelength and the transmittance around it have a difference to the extent that each filter substantially functions as a transmission type spectroscopic filter. For example, if the difference between the normalized transmittance of the maximum value and the normalized transmittance of each of the two minimum values located on both sides of the maximum value is greater than 0.5, then the maximum value
  • the wavelength can be referred to as the "peak wavelength".
  • FIGS. 5A and 5B are diagrams schematically showing an example of transmission spectra of the hyperspectral filter 10 and the color filter 20.
  • the solid lines in FIGS. 5A and 5B represent a plurality of peaks in the transmission spectrum of the hyperspectral filter 10.
  • the full width at half maximum of each of the plurality of peaks in the transmission spectrum of the hyperspectral filter 10 is narrower than the full width at half maximum of the peaks in the transmittance of the color filter 20. From such a hyperspectral filter 10, more detailed wavelength information than that of the color filter 20 can be obtained.
  • the chromaticity data is the chromaticity generated from the color image data 240. Get closer to the data.
  • the chromaticity data is, for example, chromaticity data based on the CIE color system.
  • the transmission spectrum of the hyperspectral filter 10 may have a maximum transmittance at a peak wavelength in a near-infrared wavelength region of, for example, 700 nm or more and 900 nm or less. Separated image data including near-infrared wavelength information can be acquired from such a hyperspectral filter 10.
  • the number of types of the hyperspectral filter 10 can be about the same as the number of a plurality of wavelength regions in the target wavelength region. If the number of types of the hyperspectral filter 10 is smaller than the number of a plurality of wavelength regions in the target wavelength region, the accuracy of the generated separated image data may decrease.
  • FIG. 6 is a flowchart of an operation for generating image data.
  • the signal processing circuit 200 acquires the image data 120 of the object 80 from the image sensor 60.
  • the signal processing circuit 200 extracts the image data acquired through the hyperspectral filter 10 from the image data 120.
  • the image data is simply referred to as "image data of the hyperspectral filter 10.”
  • the signal processing circuit 200 generates the separated image data 220. The method of generating the separated image data 220 will be described later.
  • step S104 the signal processing circuit 200 extracts the image data acquired through the color filter 20 from the image data 120.
  • the image data is simply referred to as "image data of the color filter 20".
  • step S105 the signal processing circuit 200 generates color image data 240.
  • steps S102 and S103 and steps S104 and S105 may be performed simultaneously in parallel or in series.
  • the signal processing circuit 200 may execute steps S104 and S105 after executing steps S102 and S103, or may execute steps S102 and S103 after executing steps S104 and S105. ..
  • the signal processing circuit 200 separates image data 220 based on the detection signal from the photodetector that receives the light transmitted through the plurality of types of hyperspectral filters among the plurality of photodetectors in the image sensor. Is generated, and color image data 240 is generated based on a detection signal from a photodetector that receives light transmitted through a plurality of types of color filters 20.
  • step S106 the signal processing circuit 200 generates high-resolution separated image data 220 and / or high-resolution color image data 240.
  • the method of generating high-resolution image data will be described later.
  • the number of peak wavelengths in the separated image data 220 can be, for example, 3 or more and 100 or less. In the present specification, the number of this wavelength region is also referred to as "the number of spectral bands". Depending on the application, the number of spectral bands may exceed 100.
  • the separated image data 220 which is the data to be obtained
  • f is the data in which the image data f 1 , f 2 , ..., F w of each band are integrated.
  • the data f 1 , f 2 , ..., F w is a collection of two-dimensional data of n ⁇ m pixels. is there. Therefore, the data f is three-dimensional data having the number of elements n ⁇ m ⁇ w.
  • the number of elements of the data g is n ⁇ m.
  • the data g in this embodiment can be represented by the following equation (1).
  • f 1 , f 2 , ..., F w are data having n ⁇ m elements. Therefore, strictly speaking, the vector on the right side is a one-dimensional vector having n ⁇ m ⁇ w rows and 1 column.
  • the vector g is converted into a one-dimensional vector having n ⁇ m rows and one column, and is represented and calculated.
  • the matrix H represents a transformation in which each component f 1 , f 2 , ..., F w of the vector f is coded / intensity-modulated with different coding information for each wavelength region, and these are added. Therefore, H is a matrix of n ⁇ m rows and n ⁇ m ⁇ w columns.
  • the signal processing circuit 200 of the present embodiment utilizes the redundancy of the image included in the separated image data f and obtains a solution by using a compressed sensing method. Specifically, the separated image data f to be obtained is estimated by solving the following equation (2).
  • f' represents the estimated data of f.
  • the first term in parentheses in the above equation represents the amount of deviation between the estimation result Hf and the acquired data g, the so-called residual term.
  • the sum of squares is used as the residual term, but the absolute value, the square root of the sum of squares, or the like may be used as the residual term.
  • the second term in parentheses is a regularization term or a stabilization term, which will be described later.
  • Equation (2) means finding f that minimizes the sum of the first term and the second term.
  • the signal processing circuit 200 can converge the solution by a recursive iterative operation and calculate the final solution f'.
  • the first term in parentheses in the equation (2) means an operation for finding the sum of squares of the difference between the acquired data g and Hf in which the estimation process f is system-transformed by the matrix H.
  • the second term ⁇ (f) is a constraint condition in the regularization of f, and is a function that reflects the sparse information of the estimated data. As a function, it has the effect of smoothing or stabilizing the estimated data.
  • the regularization term can be represented, for example, by the discrete cosine transform (DCT), wavelet transform, Fourier transform, or total variation (TV) of f. For example, when the total variation is used, stable guess data that suppresses the influence of noise in the observation data g can be obtained.
  • DCT discrete cosine transform
  • TV total variation
  • the sparsity of the object 80 in the space of each regularization term depends on the texture of the object 80. You may choose a regularization term that makes the texture of the object 80 more sparse in the space of the regularization term. Alternatively, a plurality of regularization terms may be included in the operation.
  • ⁇ is a weighting factor. The larger the weighting coefficient ⁇ , the larger the amount of redundant data to be reduced, and the higher the compression rate. The smaller the weighting coefficient ⁇ , the weaker the convergence to the solution.
  • the weighting coefficient ⁇ is set to an appropriate value at which f converges to some extent and does not cause overcompression.
  • the difference is the mean square error (MSE) between the estimation result Hf and the acquired data g, and is represented by the following equation (3).
  • MSE mean square error
  • N and M are the number of pixels in the vertical direction and the horizontal direction, respectively.
  • I i and j are pixel values of the image data g in the pixel at the position (i, j).
  • I'i, j are pixel values of the estimated image data Hf at the pixel at the position (i, j).
  • FIG. 7 is a flowchart of the operation of step S103 shown in FIG.
  • the signal processing circuit 200 determines the initial value of the separated image data f from the image data of the color filter 20. The method of determining this initial value will be described later.
  • the signal processing circuit 200 determines the estimated value of the separated image data f. In the first calculation, the estimated value of the separated image data f is the initial value determined in step S201.
  • the signal processing circuit 200 estimates the image data of the object 80 from Hf.
  • the signal processing circuit 200 compares the image data Hf of the object 80 estimated in step S203 with the image data g of the actually acquired object 80 based on the equation (3).
  • step S205 the signal processing circuit 200 determines whether the difference in the equation (3) is equal to or less than the threshold value. If the determination in step S205 is yes, the signal processing circuit 200 ends the calculation. When the determination in step S205 is no, in step S206, the signal processing circuit 200 determines whether the number of operations is equal to or less than the specified value. If the determination in step S206 is yes, the signal processing circuit 200 executes the operation of step S202 again. In the second and subsequent calculations, in step S202, the signal processing circuit 200 estimates the separated image data f using the equation (2). When the determination in step S206 is no, in step S207, the signal processing circuit 200 outputs information indicating reimaging of imaging to a display or the like.
  • FIG. 8 is a diagram for explaining the operation of step S201 shown in FIG. 7.
  • the upper figure of FIG. 8 is a diagram schematically showing the transmission spectra of the R filter, the G filter, and the B filter.
  • the transmission spectrum of each filter shows a wide single peak at the peak wavelength. It is assumed that the signal intensities of the light transmitted through the R filter, the G filter, and the B filter in a unit block are 0.3, 1.0, and 0.5, respectively.
  • the lower figure of FIG. 8 is a diagram schematically showing an example in which transmission spectra multiplied by signal strength are superimposed. In the example shown in the lower diagram of FIG.
  • the transmittance is respectively averaging a plurality of wavelength bands W 1 in the wavelength range W i, may be the initial value of the estimated values of the separation image data f in a certain pixel .. In this way, the initial values of f 1 , f 2 , ..., F w of the separated image data in all the pixels can be determined.
  • averaged transmittance for example, it may be used maximum or minimum transmittance, respectively, in the wavelength range W i from a plurality of wavelength regions W 1.
  • the convergence speed of recursive iterative operations and the accuracy of the solution depend on the initial values. Choosing an inappropriate initial value slows the convergence of recursive iterations and reduces the accuracy of the solution. On the other hand, when the initial value of the separated image data is determined as described above, the convergence speed of the recursive iterative operation becomes faster and the accuracy of the solution becomes higher.
  • the signal processing circuit 200 generates chromaticity data from the separated image data 220 in step S103 and the color image data 240 in step S105, respectively.
  • the signal processing circuit 200 allocates these chromaticity data to the hyperspectral filter 10 and the color filter 20 in each unit block.
  • the signal processing circuit 200 compares the chromaticity data of the color filter 20 with the chromaticity data of the hyperspectral filter 10 around it. When these chromaticity data are substantially the same, the signal processing circuit 200 complements the separated image data 220 averaged by the peripheral hyperspectral filter 10 as the separated image data 220 by the color filter 20. When the chromaticity data of the color filter 20 is close to the chromaticity data of some of the hyperspectral filters 10 around it, but is significantly different from the chromaticity data of the other hyperspectral filters 10, the signal processing circuit 200 Complements the separated image data 220 of the hyperspectral filter 10 having close chromaticity data as the separated image data 220 of the color filter 20. In this way, the high resolution separated image data 220 is generated.
  • the signal processing circuit 200 generates color image data 240 from the chromaticity data of the hyperspectral filter 10 and the color filter 20 in each unit block. In this way, high-resolution color image data 240 is generated.
  • the boundary line of the object 80 can be clearly reproduced.
  • FIG. 9 is another flowchart of the operation of generating image data. Steps S301 to S305 and steps S308 shown in FIG. 9 are the same as steps S101 to S106 shown in FIG. 6, respectively. Therefore, the operations of steps S306 and S307 will be described.
  • step S306 the signal processing circuit 200 compares the chromaticity data generated from the separated image data 220 in step S303 with the chromaticity data generated from the color image data 240 in step S305 for each pixel.
  • step S307 the signal processing circuit 200 determines whether the difference between the two chromaticity data in each pixel is equal to or less than the threshold value, that is, whether the two chromaticity data substantially match for each pixel. If the determination in step S307 is yes, the signal processing circuit 200 executes the operation of step S308. When the determination in step S307 is no, the signal processing circuit 200 executes the operation of step S302 again. By repeating the operation until the difference between the two chromaticity data becomes equal to or less than the threshold value in this way, the separated image data 220 with high accuracy can be acquired.
  • FIG. 10 is still another flowchart of the operation of generating image data.
  • Step S401 shown in FIG. 10 is the same as step S101 shown in FIG.
  • step S402 the signal processing circuit 200 generates the separated image data 220 from both the image data of the hyperspectral filter 10 and the image data of the color filter 20 acquired from the image sensor 60.
  • FIG. 11A is a flowchart of the operation of step S402 shown in FIG.
  • Steps S501 to S503 and steps S505 to S507 shown in FIG. 11A are the same as steps S201 to S203 and steps S205 to S207 shown in FIG. 7, respectively.
  • the signal processing circuit 200 considers the chromaticity data generated from the estimated value of the separated image data f and the chromaticity data generated from the color image data 240, and considers the estimated image of the object 80.
  • the data Hf is compared with the image data g of the actually acquired object 80. Specifically, the square of the difference between the two digitized chromaticity data is used as the regularization term ⁇ (f) in the equation (2).
  • the separated image data 220 and the color image data 240 can be generated in a state where the two chromaticity data are matched in the entire image.
  • FIG. 11B is another flowchart of the operation of step S402 shown in FIG. Step S601 shown in FIG. 11B and steps S603 to S607 are the same as steps S501 and S503 to S507 shown in FIG. 11A, respectively.
  • mixed image data f including both separated image data f 1 , f 2 , ..., F w and color image data f R , f G , f B is used. ..
  • the signal processing circuit 200 determines the estimated value of the mixed image data f.
  • the R filter can acquire red image data but cannot acquire green and blue image data
  • the G filter can acquire green image data but red and blue images. Data cannot be acquired
  • the B filter can acquire blue image data, but cannot acquire red and green image data.
  • the signal processing circuit 200 determines the estimated value of the separated image data, and also determines the estimated value of the image data of the color that cannot be acquired by each color filter 20. For estimating the color image data that cannot be acquired from each color filter 20, the color image data acquired from the surrounding color filters 20 may be used. In this way, the separated image data 220 and the color image data 240 may be generated by using the mixed image data f.
  • FIG. 12A is a cross-sectional view schematically showing an example of the structure of the hyperspectral filter 10.
  • the hyperspectral filter 10 has a resonance structure.
  • the resonance structure means a structure in which light of a certain wavelength forms a standing wave inside and exists stably.
  • the state of light is also referred to as "resonance mode".
  • the resonant structure shown in FIG. 12A includes a first reflective layer 12a, a second reflective layer 12b, and an intermediate layer 14 between the first reflective layer 12a and the second reflective layer 12b.
  • the first reflective layer 12a and / or the second reflective layer 12b can be formed from a dielectric multilayer film or a metal thin film.
  • the dielectric multilayer film for example, comprises a multilayer structure TiO 2 layer and the SiO 2 layer are alternately laminated.
  • the intermediate layer 14 may be formed of a transparent dielectric or semiconductor in a particular wavelength range.
  • the intermediate layer 14 can be formed from, for example, at least one selected from the group consisting of Si, Si 3 N 4 , TIO 2 , Nb 2 O 5 , and Ta 2 O 5.
  • the refractive index and / or thickness of the intermediate layer 14 in the plurality of types of hyperspectral filters 10 varies depending on the filter.
  • Each transmission spectrum of the plurality of types of hyperspectral filters 10 has a maximum transmittance at a plurality of peak wavelengths.
  • the plurality of wavelengths correspond to a plurality of resonance modes having different orders in the above-mentioned resonance structure.
  • the hyperspectral filter 10 having the above resonance structure is also referred to as a “Fabry-Perot filter”.
  • the transmission spectrum of the hyperspectral filter 10 which is a Fabry-Perot filter will be described.
  • the thickness of the intermediate layer 14 is L
  • the refractive index is n
  • the incident angle of the light incident on the Hyperspectral filter 10 which is a Fabry-Perot filter is ⁇ i
  • the resonance mode Let m be the mode order. m is an integer of 1 or more.
  • the peak wavelength ⁇ m of the transmission spectrum of the hyperspectral filter 10 which is a Fabry-Perot filter is expressed by the following equation (4).
  • ⁇ i be the shortest wavelength and ⁇ e be the longest wavelength in the target wavelength range W.
  • the number of m satisfying ⁇ i ⁇ ⁇ m ⁇ ⁇ e corresponds to the number of peak wavelengths of the transmission spectrum of the Fabry-Perot filter 10. The number of peak wavelengths depends on the index of refraction n and / or the thickness L of the intermediate layer 14.
  • FIG. 13A is a diagram schematically showing the filter array 100A in the first modification of the present embodiment.
  • the Bayer array color filters 20 are two-dimensionally arranged every two rows and two columns.
  • Five types of hyperspectral filters 10 are arranged aperiodically between the color filters 20.
  • the unit block surrounded by the thick dashed line contains eight hyperspectral filters 10 and eight color filters 20.
  • the hyperspectral filter 10 and the color filter 20 are mixed on a one-to-one basis.
  • the proportion of the hyperspectral filter 10 is higher than that in the filter array 100 in the present embodiment. Therefore, multi-wavelength information can be obtained efficiently.
  • FIG. 13B is a diagram schematically showing the filter array 100B in the second modification of the present embodiment.
  • every other color filter 20 is two-dimensionally arranged to form a Bayer array.
  • Five types of hyperspectral filters 10 are arranged aperiodically between the color filters 20.
  • the unit block surrounded by the thick dashed line contains 12 hyperspectral filters 10 and 4 color filters 20.
  • the hyperspectral filter 10 and the color filter 20 are mixed in a ratio of 3: 1.
  • the proportion of the hyperspectral filter 10 is further higher than that in the filter array 100 in the present embodiment. Therefore, multi-wavelength information can be obtained more efficiently.
  • the filter array and photodetector system in the present disclosure are useful, for example, in cameras and measuring devices that acquire multi-wavelength two-dimensional images.
  • the filter array and photodetection system in the present disclosure can also be applied to sensing for living organisms / medical / beauty, foreign matter / residual pesticide inspection system for foods, remote sensing system, in-vehicle sensing system and the like.
  • Hyperspectral filter 12a 1st reflective layer 12b 2nd reflective layer 14 Intermediate layer 40
  • Optical system 60 Image sensor 80
  • Image data 200 Signal processing circuit 220
  • Separated image data 240
  • Color image data 300

Abstract

本開示の一態様に係るフィルタアレイは、２次元的に配列された複数のフィルタを備える。前記複数のフィルタは、互いに異なる透過スペクトルを有する複数種類の第１フィルタであって、各々の透過スペクトルが、複数の第1ピークを含む、複数種類の第１フィルタと、互いに異なる透過スペクトルを有する複数種類の第２フィルタであって、各々の透過スペクトルが、１以上の第２ピークを含む、複数種類の第２フィルタと、を含む。前記複数種類の第１フィルタの各々の透過スペクトルにおける前記複数の第１ピークの数は、前記複数種類の第２フィルタの各々の透過スペクトルにおける前記１以上の第２ピークの数よりも多く、前記複数種類の第１フィルタと前記複数種類の第２フィルタとは混在して配列されている。

Description

フィルタアレイおよび光検出システム
　本開示は、フィルタアレイおよび光検出システムに関する。
　各々が狭帯域である多数のバンド、例えば数十バンドのスペクトル情報を活用することにより、従来のＲＧＢ画像では不可能であった対象物の詳細な物性を把握することができる。このような多波長の情報を取得するカメラは、「ハイパースペクトルカメラ」と呼ばれる。ハイパースペクトルカメラは、食品検査、生体検査、医薬品開発、および鉱物の成分分析などの様々な分野で利用されている。このような技術は、例えば、特許文献１および特許文献２に開示されている。
米国特許出願公開第２０１６／１３８９７５号明細書 特開２０１２‐０４４５１９号公報
　本開示は、波長分解能の高いハイパースペクトル画像と、カラー画像とを生成することができる新規なフィルタアレイを提供する。
　本開示の一態様に係るフィルタアレイは、２次元的に配列された複数のフィルタを備える。前記複数のフィルタは、互いに異なる透過スペクトルを有する複数種類の第１フィルタであって、各々の透過スペクトルが、複数の第1ピークを含む、複数種類の第１フィルタと、互いに異なる透過スペクトルを有する複数種類の第２フィルタであって、各々の透過スペクトルが、１以上の第２ピークを含む、複数種類の第２フィルタと、を含む。前記複数種類の第１フィルタの各々の透過スペクトルにおける前記複数の第１ピークの数は、前記複数種類の第２フィルタの各々の透過スペクトルにおける前記１以上の第２ピークの数よりも多く、前記複数種類の第１フィルタと前記複数種類の第２フィルタとは混在して配列されている。
　本開示の技術によれば、波長分解能の高いハイパースペクトル画像と、カラー画像とを生成することができる。
図１は、本開示の例示的な実施形態における光検出システムを模式的に示す図である。 図２Ａは、本実施形態におけるフィルタアレイの例を模式的に示す図である。 図２Ｂは、図２ＡのフィルタアレイにおけるＨ１フィルタの透過スペクトルの例を模式的に示す図である。 図２Ｃは、図２ＡのフィルタアレイにおけるＨ２フィルタの透過スペクトルの例を模式的に示す図である。 図２Ｄは、図２ＡのフィルタアレイにおけるＲフィルタ、Ｇフィルタ、およびＢフィルタの透過スペクトルの例を模式的に示す図である。 図３Ａは、対象波長域Ｗと、それに含まれる複数の波長域Ｗ１、Ｗ２、・・・、Ｗｉとの関係の例を説明するための図である。 図３Ｂは、対象波長域Ｗと、それに含まれる複数の波長域Ｗ１、Ｗ２、・・・、Ｗｉとの関係の他の例を説明するための図である。 図４Ａは、フィルタアレイにおけるハイパースペクトルフィルタの透過スペクトルの特性を説明するための図である。 図４Ｂは、図４Ａの透過スペクトルを、波長域Ｗ１、波長域Ｗ２、・・・、波長域Ｗｉごとに平均化した例を示す図である。 図５Ａは、ハイパースペクトルフィルタおよびカラーフィルタの透過スペクトルの例を模式的に示す図である。 図５Ｂは、ハイパースペクトルフィルタおよびカラーフィルタの透過スペクトルの他の例を模式的に示す図である。 図６は、画像データを生成する動作のフローチャートである。 図７は、図６に示すステップＳ１０３の動作のフローチャートである。 図８は、図７に示すステップＳ２０１の動作を説明するための図である。 図９は、画像データを生成する動作の他のフローチャートである。 図１０は、画像データを生成する動作のさらに他のフローチャートである。 図１１Ａは、図１０に示すステップＳ４０２の動作のフローチャートである。 図１１Ｂは、図１０に示すステップＳ４０２の動作の他のフローチャートである。 図１２Ａは、ハイパースペクトルフィルタの構造の例を模式的に示す断面図である。 図１２Ｂは、入射角度θ＝０°でのファブリ・ペローフィルタの透過スペクトルの例を示す図である。 図１３Ａは、本実施形態の第１変形例におけるフィルタアレイを模式的に示す図である。 図１３Ｂは、本実施形態の第２変形例におけるフィルタアレイを模式的に示す図である。
　まず、本開示の実施形態を説明する前に、特許文献１に開示されている撮像装置を簡単に説明する。当該装置では、対象物からの光の像が、「符号化素子」と称される光学素子によって符号化されて撮像される。この撮像では、高い解像度の多波長画像を取得することができる。符号化素子は２次元的に配列された複数のフィルタを含むので、本明細書では、当該符号化素子を「フィルタアレイ」と称する。フィルタアレイにおける複数のフィルタのうちの少なくとも２つのフィルタは、互いに異なる透過スペクトルを有する。当該２つのフィルタの各々の透過スペクトルは、特定の波長域に含まれる複数のピーク波長で透過率の極大値を有する。本明細書では、そのようなフィルタを、「ハイパースペクトルフィルタ」と称する。フィルタアレイに含まれる複数のフィルタは、例えばイメージセンサの複数の画素にそれぞれ対応して配置される。当該フィルタアレイを用いた撮像において、各画素のデータは、複数の波長域の情報を含む。すなわち、生成される画像データは、波長情報が圧縮されたデータである。したがって、２次元データを保有するだけで済み、データ量を抑えることができる。例えば、記録媒体の容量に制約がある場合であっても、長時間の動画像のデータを取得することが可能になる。
　本開示におけるフィルタアレイでは、２次元に配列された複数のフィルタが、複数種類のハイパースペクトルフィルタと、ＲＧＢのカラーフィルタのような複数種類のカラーフィルタとを含む。本開示におけるフィルタアレイを用いて撮像することにより、波長分解能の高いハイパースペクトル画像と、カラー画像とを同時に生成することができる。
　第１の項目に係るフィルタアレイは、２次元的に配列された複数のフィルタを備える。前記複数のフィルタは、互いに異なる透過スペクトルを有する複数種類の第１フィルタであって、各々の透過スペクトルが、複数の第1ピークを含む、複数種類の第１フィルタと、互いに異なる透過スペクトルを有する複数種類の第２フィルタであって、各々の透過スペクトルが、１以上の第２ピークを含む、複数種類の第２フィルタと、を含む。前記複数種類の第１フィルタの各々の透過スペクトルにおける前記複数の第１ピークの数は、前記複数種類の第２フィルタの各々の透過スペクトルにおける前記１以上の第２ピークの数よりも多く、前記複数種類の第１フィルタと前記複数種類の第２フィルタとは混在して配列されている。
　このフィルタアレイでは、複数種類の第１フィルタから波長分解能の高いハイパースペクトル画像を生成し、複数種類の第２フィルタからカラー画像を生成することができる。
　第２の項目に係るフィルタアレイは、第１の項目に係るフィルタアレイにおいて、前記複数種類の第１フィルタの各々の透過スペクトルにおける前記複数の第１ピークの数が３以上であり、前記複数種類の第２フィルタの各々の透過スペクトルにおける前記１以上の第２ピークの数が１または２であってもよい。
　このフィルタアレイでは、複数種類の第１フィルタから、ＲＧＢフィルタのような複数種類の第２フィルタよりも多くの波長情報を取得することができる。
　第３の項目に係るフィルタアレイは、第１または第２の項目に係るフィルタアレイにおいて、前記複数種類の第２フィルタが周期的に配列されていてもよい。
　このフィルタアレイでは、複数種類の第２フィルタからカラー画像を効率的に生成することができる。
　第４の項目に係るフィルタアレイは、第１から第３の項目のいずれかに係るフィルタアレイにおいて、前記複数種類の第１フィルタが非周期的に配列されていてもよい。
　このフィルタアレイでは、複数種類の第１フィルタからハイパースペクトル画像を精度がよく生成することができる。
　第５の項目に係るフィルタアレイは、第１から第４の項目のいずれかに係るフィルタアレイにおいて、前記複数の第１ピークの各々の半値全幅は、前記１以上の第２ピークの各々の半値全幅よりも狭くてもよい。
　このフィルタアレイでは、複数種類の第１フィルタから、複数周類の第２フィルタよりも詳細な波長情報を取得することができる。
　第６の項目に係るフィルタアレイは、第５の項目に係るフィルタアレイにおいて、前記複数種類の第１フィルタの各々の透過スペクトルにおける前記複数の第１ピークのうちの少なくとも２つの波長範囲が、前記複数種類の第２フィルタのうちの２種類のフィルタの各々の透過スペクトルにおける前記１以上の第２ピークの波長範囲と重なってもよい。
　このフィルタアレイでは、複数種類の第１フィルタによって得られたハイパースペクトル画像から生成された色度データは、複数種類の第２フィルタによって得られたカラー画像データから生成された色度データに近くなる。
　第７の項目に係るフィルタアレイは、第１から第６の項目のいずれかに係るフィルタアレイにおいて、前記複数種類の第１フィルタのうちの少なくとも１つのフィルタの透過スペクトルが、７００ｎｍ以上２５００ｎｍ以下の波長域において透過率の極大値を含んでもよい。
　このフィルタアレイでは、近赤外線を含む波長域における多波長情報を取得することができる。
　第８の項目に係るフィルタアレイは、第１から第７の項目のいずれかに係るフィルタアレイにおいて、前記複数種類の第２フィルタが、３種類の第２フィルタであってもよい。
　このフィルタアレイでは、ＲＧＢのカラーフィルタのような３種類の第２フィルタを用いることができる。
　第９の項目に係るフィルタアレイは、第８の項目に係るフィルタアレイにおいて、前記３種類の第２フィルタが、赤フィルタ、緑フィルタ、および青フィルタであってもよい。
　このフィルタアレイでは、ＲＧＢのカラー画像を生成することができる。
　また、前記複数種類の第１フィルタの各々の透過スペクトルが、７００ｎｍ以上２５００ｎｍ以下の近赤外域において、複数の透過率の極大値を有し、前記複数種類の第２フィルタの各々の透過スペクトルが、４００ｎｍ以上７００ｎｍ以下の可視域において、透過率の極大値を有していてもよい。
　また、前記複数種類の第１フィルタの各々の透過スペクトルが、４００ｎｍ以上７００ｎｍ以下の可視域において、複数の透過率の極大値を有し、前記複数種類の第２フィルタの各々の透過スペクトルが、７００ｎｍ以上２５００ｎｍ以下の近赤外域において、透過率の極大値を有していてもよい。
　第１０の項目に係るフィルタアレイは、第１から第９の項目のいずれかに係るフィルタアレイにおいて、前記複数種類の第１フィルタが、１０種類以上５０種類以下の第１フィルタであってもよい。
　このフィルタアレイでは、有効なハイパースペクトル画像を生成することができる。
　第１１の項目に係るフィルタアレイは、第１から第１０の項目のいずれかに係るフィルタアレイにおいて、前記複数種類の第１フィルタの各々が、第１反射層、第２反射層、および前記第１反射層と前記第２反射層との間の中間層を含む共振構造を含んでいてもよい。
　このフィルタアレイでは、複数種類の第１フィルタの各々の透過スペクトルが、特定の波長域に含まれる複数のピークを有する。
　第１２の項目に係る光検出システムは、第１から第１１の項目のいずれかに係るフィルタアレイと、複数の光検出素子を含むイメージセンサと、信号処理回路と、を備える。前記複数の光検出素子の各々は、前記複数のフィルタのうち対応するフィルタを透過した光を受ける位置に配置されている。前記信号処理回路は、前記複数の光検出素子のうち、前記複数種類の第１フィルタを透過した光を受ける光検出素子からの第１検出信号に基づいて第１画像データを生成し、前記複数の光検出素子のうち、前記複数種類の第２フィルタを透過した光を受ける光検出素子からの第２検出信号に基づいて第２画像データを生成する。
　この光検出システムでは、波長分解能の高いハイパースペクトル画像と、カラー画像とを生成することができる。
　第１３の項目に係る光検出システムは、第１２の項目に係る光検出システムにおいて、前記信号処理回路が、前記第１画像データに基づいて、第１色度データを生成し、前記第２画像データに基づいて、第２色度データを生成し、前記第１色度データおよび前記第２色度データは、前記複数の光検出素子の各々において実質的に一致してもよい。
　この光検出システムでは、高解像度のハイパースペクトル画像と、高解像度のカラー画像とを生成することができる。
　本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅも同じ目的で使うことができる。
　さらに、回路、ユニット、装置、部材または部の全部または一部の機能または操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
　以下、図面を参照しながら、本開示のより具体的な実施形態を説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複する説明を省略することがある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似する構成要素については、同じ参照符号を付している。
　（実施形態）
　＜光検出システム＞
　最初に、本開示の実施形態における光検出システムを説明する。
　図１は、本開示の例示的な実施形態における光検出システム３００を模式的に示す図である。光検出システム３００は、光学系４０と、フィルタアレイ１００と、イメージセンサ６０と、信号処理回路２００とを備える。光学系４０、フィルタアレイ１００、およびイメージセンサ６０は、対象物８０から入射する光の光路に配置されている。
　フィルタアレイ１００は、行および列状に配列された透光性の複数のフィルタを含む。フィルタアレイ１００は、光の透過スペクトル、すなわち光透過率の波長依存性がフィルタによって異なる光学素子である。フィルタアレイ１００は、入射した光の強度を変調させて通過させる。フィルタアレイ１００の詳細については後述する。フィルタアレイ１００は、イメージセンサ６０の近傍または直上に配置され得る。ここで「近傍」とは、光学系４０からの光の像がある程度鮮明な状態でフィルタアレイ１００の面上に形成される程度に近接していることを意味する。「直上」とは、ほとんど隙間が生じない程両者が近接していることを意味する。フィルタアレイ１００およびイメージセンサ６０は一体化されていてもよい。
　光学系４０は、少なくとも１つのレンズを含む。図１では、１つのレンズとして示されているが、光学系４０は複数のレンズの組み合わせによって構成されていてもよい。光学系４０は、フィルタアレイ１００を介して、イメージセンサ６０の撮像面上に像を形成する。
　イメージセンサ６０は、複数の光検出素子を備える。複数の光検出素子の各々は、複数のフィルタの１つに対向して配置されている。複数の光検出素子の各々は、特定の波長域の光に感度を有する。この特定の波長域は、用途に応じて決定される波長域である。なお、本開示において「ある波長域の光に感度を有する」とは、当該波長域の光を検出するのに必要な実質的な感度を有することを指す。例えば、当該波長域における外部量子効率が１％以上であることを指す。光検出素子の外部量子効率は１０％以上であってもよい。光検出素子の外部量子効率は２０％以上であってもよい。以下の説明において、光検出素子を「画素」とも称する。
　フィルタアレイ１００とイメージセンサ６０とが分離していてもよい。その場合であっても、複数の光検出素子の各々は、複数のフィルタの１つを透過した光を受ける位置に配置される。複数のフィルタを透過した光が、ミラーを介して複数の光検出素子にそれぞれ入射するように、各構成要素が配置されていてもよい。その場合、複数の光検出素子の各々は、複数のフィルタの１つの直下には配置されない。
　信号処理回路２００は、イメージセンサ６０によって取得された画像データ１２０に基づいて、多波長の情報を含む複数の分離画像データ２２０と、ＲＧＢの情報を含む複数のカラー画像データ２４０とを生成する。信号処理回路２００の画像信号の処理方法の詳細については後述する。なお、信号処理回路２００は、イメージセンサ６０に組み込まれていてもよいし、イメージセンサ６０に有線または無線によって電気的に接続された信号処理装置の構成要素であってもよい。
　＜フィルタアレイ＞
　以下に、図２Ａから図２Ｄを参照して、本実施形態におけるフィルタアレイ１００を説明する。フィルタアレイ１００は、特定の波長域に含まれる複数の波長域ごとの画像を生成する分光システムにおいて用いられる。本明細書において、上記特定の波長域を、「対象波長域」とも称する。フィルタアレイ１００は、対象物８０から入射する光の光路に配置され、入射光の強度を波長ごとに変調して出力する。フィルタアレイによるこの過程を、本明細書では「符号化」と称する。
　図２Ａは、本実施形態におけるフィルタアレイ１００の例を模式的に示す図である。フィルタアレイ１００は、２次元的に配列された複数のフィルタを含む。本明細書では、当該フィルタを、「セル」とも称する。各フィルタは、個別に設定された透過スペクトルを有する。透過スペクトルは、入射光の波長をλとして、関数Ｔ（λ）で表される。透過スペクトルＴ（λ）は、０以上１以下の値を取り得る。フィルタの構成の詳細については後述する。
　図２Ａに示す例において、フィルタアレイ１００は、６行８列に配列された４８個の矩形フィルタを有している。これはあくまで例示であり、実際の用途では、これよりも多くのフィルタが設けられ得る。その数は、例えばイメージセンサなどの一般的な光検出器の画素数と同程度であり得る。当該画素数は、例えば数十万から数千万である。ある例では、フィルタアレイ１００は、光検出器の直上に配置され、各フィルタが光検出器の１つの画素に対応するように配置され得る。各フィルタは、例えば、光検出器の１つの画素に対向する。
　図２Ａに示す例において、フィルタアレイ１００における複数のフィルタは、互いに異なる透過スペクトルを有する５種類のハイパースペクトルフィルタ１０と、互いに異なる透過スペクトルを有する３種類のカラーフィルタ２０とを含む。５種類のハイパースペクトルフィルタ１０は、本開示における複数種類の第１フィルタに相当し、３種類のカラーフィルタ２０は、本開示における複数種類の第２フィルタに相当する。５種類のハイパースペクトルフィルタ１０を、Ｈ１フィルタ、Ｈ２フィルタ、Ｈ３フィルタ、Ｈ４フィルタ、およびＨ５フィルタと称する。３種類のカラーフィルタ２０は、赤色の光を透過させる赤フィルタ、緑色の光を透過させる緑フィルタ、および青色の光を透過させる青フィルタである。本明細書では、赤フィルタ、緑フィルタ、および青フィルタを、それぞれ「Ｒフィルタ」、「Ｇフィルタ」、および「Ｂフィルタ」と称する。
　図２Ｂおよび図２Ｃは、図２Ａのフィルタアレイ１００におけるＨ１フィルタおよびＨ２フィルタの透過スペクトルの例を模式的に示す図である。Ｈ１フィルタの透過スペクトルとＨ２フィルタの透過スペクトルとは互いに異なっている。さらに、Ｈ１フィルタおよびＨ２フィルタの各々の透過スペクトルは、対象波長域に含まれる複数のピーク波長で透過率の極大値を有する。残りのＨ３フィルタからＨ５フィルタについても同様である。
　図２Ｄは、図２Ａのフィルタアレイ１００におけるＲフィルタ、Ｇフィルタ、およびＢフィルタの透過スペクトルの例を模式的に示す図である。図２Ｄに示す例において、破線、点線、および一点鎖線は、それぞれ、Ｒフィルタ、Ｇフィルタ、およびＢフィルタの透過スペクトルにおける単一ピークを表す。Ｒフィルタは、主に赤の波長域（例えば、６００ｎｍ以上７００ｎｍ以下）の光を透過させる。Ｇフィルタは、主に緑の波長域（例えば、５００ｎｍ以上６００ｎｍ以下）の光を透過させる。Ｂフィルタは、主に青の波長域（例えば、４００ｎｍ以上５００ｎｍ以下）の光を透過させる。３種類のカラーフィルタ２０は、Ｒ、Ｇ、およびＢフィルタとは異なる透過特性を有していてもよい。例えば、３種類のカラーフィルタ２０は、緑色および青色の混色であるシアン色の光を主に透過させるＣフィルタと、赤色および青色の混色であるマゼンタ色の光を主に透過させるＭフィルタと、赤色および緑色の混色である黄色の光を主に透過させるＹフィルタであってもよい。このように、３種類のカラーフィルタ２０の各々の透過スペクトルは、対象波長域に含まれる１つ以上のピーク波長で透過率の極大値を有する。Ｒ、Ｇ、およびＢフィルタの各々の透過スペクトルは、対象波長域に含まれる１つのピーク波長で透過率の極大値を有する。Ｃ、Ｍ、およびＹフィルタの各々の透過スペクトルは、対象波長域に含まれる２つのピーク波長で透過率の極大値を有する。
　再び図２Ａを参照する。図２Ａに示す例において、太い破線によって囲まれた４つのフィルタを含む単位ブロックが、２次元的に配列されている。各単位ブロックは、Ｒフィルタ、Ｇフィルタ、およびＢフィルタと、Ｈ１フィルタからＨ５フィルタのいずれかとを含む。各単位ブロックでは、Ｒフィルタ、２つのＧフィルタ、およびＢフィルタから構成されたいわゆるベイヤー配列のうち、１つのＧフィルタが、Ｈ１フィルタからＨ５フィルタのいずれかに入れ替わっている。各単位ブロックにおいて、ハイパースペクトルフィルタ１０およびカラーフィルタ２０は、１対３で混在している。本明細書において、「混在」とは、１以上のハイパースペクトルフィルタ１０が、２つのカラーフィルタ２０によって行方向または列方向に挟まれている状態、または、１以上のカラーフィルタ２０が、２つのハイパースペクトルフィルタ１０によって行方向または列方向に挟まれている状態を意味する。本実施形態におけるフィルタアレイ１００では、５種類のハイパースペクトルフィルタ１０が非周期的に配列されている一方、３種類のカラーフィルタ２０が規則的に配列されている。
　上記のように、本実施形態におけるフィルタアレイ１００は、複数種類のハイパースペクトルフィルタ１０と、複数種類のカラーフィルタ２０とを含む。複数種類のハイパースペクトルフィルタ１０は、用途に応じて、例えば、１０種類以上５０種類以下のハイパースペクトルフィルタ１０から構成され得る。ハイパースペクトルフィルタ１０の種類の数が多ければ、より多くの多波長情報を取得することができる。例えば、１６種類のハイパースペクトルフィルタ１０により、有益な多波長情報を取得することができる。３２種類のハイパースペクトルフィルタ１０を用いてもよい。複数種類のカラーフィルタ２０は、例えば、上記のようなＲ、Ｇ、およびＢフィルタ、またはＣ、Ｍ、およびＹフィルタのような３種類のカラーフィルタ２０であってもよいし、もしくはカラーフィルタのない透明（ホワイト）領域であってもよい。また、これらとは異なる透過特性を有するカラーフィルタであってもよい。複数種類のハイパースペクトルフィルタ１０の各々の透過スペクトルにおけるピーク波長の数は、複数種類のカラーフィルタ２０の各々の透過スペクトルにおけるピーク波長の数よりも多い。
　なお、本実施形態におけるフィルタアレイ１００は、用途によっては、一部に透明フィルタまたはＮＤフィルタ（Ｎｅｕｔｒａｌ　Ｄｅｎｓｉｔｙ　Ｆｉｌｔｅｒ）などの、光透過率の波長依存性を有しないフィルタを含んでいてもよい。
　次に、図３Ａから図４Ｂを参照して、ハイパースペクトルフィルタ１０の対象波長域および透過スペクトルの詳細を説明する。図３Ａおよび図３Ｂは、対象波長域Ｗと、それに含まれる複数の波長域Ｗ１、Ｗ２、・・・、Ｗｉとの関係の例を説明するための図である。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば、約４００ｎｍ以上約７００ｎｍ以下の可視光の波長域、約７００ｎｍ以上約２５００ｎｍ以下の近赤外線の波長域、約１０ｎｍ以上約４００ｎｍ以下の近紫外線の波長域、その他、中赤外、遠赤外、テラヘルツ波、またはミリ波などの電波域であり得る。あるいは、対象波長域Ｗは、約４００ｎｍ以上約９００ｎｍ以下の可視光および近赤外線を含む波長域であり得る。このように、使用される波長域は可視光域とは限らない。本明細書では、可視光に限らず、近紫外線、近赤外線、および電波などの非可視光も便宜上「光」と称する。
　図３Ａに示す例では、ｉを４以上の任意の整数として、対象波長域Ｗをｉ等分したそれぞれを波長域Ｗ１、波長域Ｗ２、・・・、波長域Ｗｉとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数の波長域は任意に設定してもよい。例えば、波長域によって帯域幅を不均一にしてもよい。隣接する波長域の間にギャップがあってもよい。図３Ｂに示す例では、波長域によって帯域幅が異なり、かつ、隣接する２つの波長域の間にギャップがある。このように、複数の波長域は、互いに異なっていればよく、その決め方は任意である。波長の分割数ｉは３以下でもよい。
　図４Ａは、フィルタアレイ１００におけるハイパースペクトルフィルタ１０の透過スペクトルの特性を説明するための図である。図４Ａに示す例では、透過スペクトルは、対象波長域Ｗ内の波長に関して、複数の透過率の極大値Ｐ１から極大値Ｐ５、および複数の極小値を有する。図４Ａに示す例では、対象波長域Ｗ内での光透過率の最大値が１、最小値が０となるように正規化されている。図４Ａに示す例では、波長域Ｗ２、および波長域Ｗｉ－１などの波長域において、透過スペクトルが極大値を有している。このように、本実施形態では、各ハイパースペクトルフィルタ１０の透過スペクトルは、複数の波長域Ｗ１から波長域Ｗｉのうち、少なくとも２つの複数の波長域において、透過率の極大値を有する。図４Ａからわかるように、極大値Ｐ１、極大値Ｐ３、極大値Ｐ４、および極大値Ｐ５は０．５以上である。
　以上のように、各ハイパースペクトルフィルタ１０の光透過率は、波長によって異なる。したがって、フィルタアレイ１００は、入射する光のうち、ある波長域の成分を多く透過させ、他の波長域の成分をそれほど透過させない。例えば、ｉ個の波長域のうちのｋ個の波長域の光については、正規化された透過率が０．５よりも大きく、残りのｉ－ｋ個の波長域の光については、正規化された透過率が０．５以下であり得る。ｋは、２≦ｋ＜ｉを満たす整数である。仮に入射光が、すべての可視光の波長成分を均等に含む白色光であった場合には、フィルタアレイ１００におけるハイパースペクトルフィルタ１０は、入射光をフィルタごとに、波長に関して離散的な複数の強度のピークを有する光に変調し、これらの多波長の光を重畳して出力する。
　図４Ｂは、図４Ａの透過スペクトルを、波長域Ｗ１、波長域Ｗ２、・・・、波長域Ｗｉごとに平均化した例を示す図である。平均化された透過率は、透過スペクトルＴ（λ）を波長域ごとに積分してその波長域の帯域幅で除算することによって得られる。本明細書では、このように波長域ごとに平均化した透過率の値を、その波長域における透過率と称する。この例では、極大値Ｐ１、極大値Ｐ３、および極大値Ｐ５をとる３つの波長域において、透過率が突出して高くなっている。特に、極大値Ｐ３、および極大値Ｐ５をとる２つの波長域において、正規化された透過率が０．８を超えている。
　本明細書では、透過スペクトルにおける凸形状を「ピーク」と称する。また、凸形状の中で透過率が極大値を示す波長を「ピーク波長」と称する。ピーク波長における透過率と、その周辺の透過率とは、各フィルタが透過型の分光フィルタとして実質的に機能する程度の差異を有する。例えば、極大値の正規化された透過率と、当該極大値の両側に位置する２つの極小値の各々の正規化された透過率との差が０．５よりも大きい場合、当該極大値の波長を「ピーク波長」と言うことができる。
　ハイパースペクトルフィルタ１０の詳細は、特許文献１に開示されている。特許文献１の開示内容全体を本明細書に援用する。
　次に、図５Ａおよび図５Ｂを参照して、ハイパースペクトルフィルタ１０の透過スペクトルとカラーフィルタ２０の透過スペクトルとの関係を説明する。図５Ａおよび図５Ｂは、ハイパースペクトルフィルタ１０およびカラーフィルタ２０の透過スペクトルの例を模式的に示す図である。図５Ａおよび図５Ｂにおける実線は、ハイパースペクトルフィルタ１０の透過スペクトルにおける複数のピークを表す。ハイパースペクトルフィルタ１０の透過スペクトルにおける複数のピークの各々の半値全幅は、カラーフィルタ２０の透過率におけるピークの半値全幅よりも狭い。このようなハイパースペクトルフィルタ１０から、カラーフィルタ２０よりも詳細な波長情報を得ることができる。
　図５Ａに示す例では、ハイパースペクトルフィルタ１０の透過スペクトルにおける複数のピークのうちの２つが、３種類のカラーフィルタ２０のうちの２種類のフィルタの各々の透過スペクトルにおける単一ピークに重なっている。このような透過スペクトルを有するハイパースペクトルフィルタ１０から分離画像データ２２０を取得し、当該分離画像データ２２０から色度データを生成した場合、当該色度データは、カラー画像データ２４０から生成された色度データに近くなる。色度データは、例えばＣＩＥ表色系による色度データである。２つの色度データが近いとは、２つの色度データの相対誤差が３０％以内であることを意味する。
　図５Ｂに示す例では、ハイパースペクトルフィルタ１０の透過スペクトルにおける複数のピークのすべてが、３種類のカラーフィルタ２０のすべての透過スペクトルにおける単一ピークに重なっている。このような透過スペクトルを有するハイパースペクトルフィルタ１０から分離画像データ２２０を取得し、当該分離画像データ２２０から色度データを生成した場合、当該色度データは、カラー画像データ２４０から生成された色度データに実質的に一致する。２つの色度データが実質的に一致するとは、２つの色度データの相対誤差が１０％以内であることを意味する。
　再び図５Ａを参照する。図５Ａに示すように、ハイパースペクトルフィルタ１０の透過スペクトルにおける複数のピークのうちの少なくとも１つが、３種類のカラーフィルタ２０のいずれのピークにも重ならない場合もあり得る。複数種類のハイパースペクトルフィルタ１０のうちの少なくとも１つのフィルタの透過スペクトルは、例えば７００ｎｍ以上９００ｎｍ以下の近赤外線の波長域におけるピーク波長で透過率の極大値を有し得る。このようなハイパースペクトルフィルタ１０からは、近赤外線の波長情報を含む分離画像データを取得することができる。
　本実施形態におけるフィルタアレイ１００において、ハイパースペクトルフィルタ１０の種類の数は、対象波長域における複数の波長域の数と同程度であり得る。ハイパースペクトルフィルタ１０の種類の数が対象波長域における複数の波長域の数よりも少ない場合、生成された分離画像データの精度が低下し得る。
　＜信号処理回路＞
　[画像データの生成方法１]
　次に、図６から図８を参照して、信号処理回路２００が画像データを生成する方法を説明する。図６は、画像データを生成する動作のフローチャートである。ステップＳ１０１において、信号処理回路２００は、イメージセンサ６０から、対象物８０の画像データ１２０を取得する。ステップＳ１０２において、信号処理回路２００は、画像データ１２０から、ハイパースペクトルフィルタ１０を介して取得された画像データを抽出する。本明細書では、当該画像データを、単に「ハイパースペクトルフィルタ１０の画像データ」と称する。ステップＳ１０３において、信号処理回路２００は、分離画像データ２２０を生成する。分離画像データ２２０の生成方法については後述する。同様に、ステップＳ１０４において、信号処理回路２００は、画像データ１２０から、カラーフィルタ２０を介して取得された画像データを抽出する。本明細書では、当該画像データを、単に「カラーフィルタ２０の画像データ」と称する。ステップＳ１０５において、信号処理回路２００は、カラー画像データ２４０を生成する。
　信号処理回路２００は、ステップＳ１０２およびＳ１０３と、ステップＳ１０４およびＳ１０５とを、並列的に同時に行ってもよいし、直列的に行ってもよい。信号処理回路２００は、ステップＳ１０２およびステップＳ１０３を実行した後、ステップＳ１０４およびステップＳ１０５を実行してもよいし、ステップＳ１０４およびステップＳ１０５を実行した後、ステップＳ１０２およびステップＳ１０３を実行してもよい。ステップＳ１０２からステップＳ１０５において、信号処理回路２００は、イメージセンサにおける複数の光検出素子のうち、複数種類のハイパースペクトルフィルタを透過した光を受ける光検出素子からの検出信号に基づいて分離画像データ２２０を生成し、複数種類のカラーフィルタ２０を透過した光を受ける光検出素子からの検出信号に基づいてカラー画像データ２４０を生成する。
　ステップＳ１０６において、信号処理回路２００は、高解像度の分離画像データ２２０および／または高解像度のカラー画像データ２４０を生成する。高解像度の画像データの生成方法については後述する。
　次に、図６に示すステップＳ１０３における分離画像データ２２０の生成方法を説明する。分離画像データ２２０におけるピーク波長の数は、例えば３以上１００以下の数であり得る。本明細書では、この波長域の数を、「分光帯域数」とも称する。用途によっては、分光帯域数は１００を超えていてもよい。
　求めたいデータである分離画像データ２２０をｆ、分光帯域数をｗとして表すと、ｆは各帯域の画像データｆ１、ｆ２、・・・、ｆｗを統合したデータである。求めるべきデータのｘ方向の画素数をｎ、ｙ方向の画素数をｍとすると、データｆ１、ｆ２、・・・、ｆｗの各々は、ｎ×ｍ画素の２次元データの集まりである。したがって、データｆは要素数ｎ×ｍ×ｗの３次元データである。一方、フィルタアレイ１００によって符号化および多重化されて取得される対象物８０の画像データ１２０をｇとして表すと、データｇの要素数はｎ×ｍである。本実施形態におけるデータｇは、以下の式（１）によって表すことができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｆ１、ｆ２、・・・、ｆｗは、ｎ×ｍ個の要素を有するデータである。したがって、右辺のベクトルは、厳密にはｎ×ｍ×ｗ行１列の１次元ベクトルである。ベクトルｇは、ｎ×ｍ行１列の１次元ベクトルに変換して表され、計算される。行列Ｈは、ベクトルｆの各成分ｆ１、ｆ２、・・・、ｆｗを波長域ごとに異なる符号化情報で符号化・強度変調し、それらを加算する変換を表す。したがって、Ｈは、ｎ×ｍ行ｎ×ｍ×ｗ列の行列である。
　さて、ベクトルｇと行列Ｈが与えられれば、式（１）の逆問題を解くことにより、ｆを算出することができそうである。しかし、求めるデータｆの要素数ｎ×ｍ×ｗが取得データｇの要素数ｎ×ｍよりも多いため、この問題は不良設定問題となり、このままでは解くことができない。そこで、本実施形態の信号処理回路２００は、分離画像データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の式（２）を解くことにより、求める分離画像データｆが推定される。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値あるいは二乗和平方根等を残差項としてもよい。括弧内の第２項は、後述する正則化項または安定化項である。式（２）は、第１項と第２項との和を最小化するｆを求めることを意味する。信号処理回路２００は、再帰的な反復演算によって解を収束させ、最終的な解ｆ’を算出することができる。
　式（２）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによってシステム変換したＨｆとの差分の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。働きとしては、推定データを滑らかまたは安定にする効果がある。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）などによって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象物８０のスパース性は、対象物８０のテキスチャによって異なる。対象物８０のテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数である。重み係数τが大きいほど冗長的なデータの削減量が多くなり、圧縮する割合が高まる。重み係数τが小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。
　式（２）において解が収束したかどうかを判定するために、推定結果Ｈｆと取得データｇとの差分が閾値以下であるかどうかを判定してもよい。当該差分は、推定結果Ｈｆと取得データｇとの平均２乗誤差（ＭＳＥ）であり、以下の式（３）によって表される。
Figure JPOXMLDOC01-appb-M000003
　ここで、ＮおよびＭは、それぞれ縦方向および横方向の画素数である。Ｉｉ、ｊは、位置（ｉ、ｊ）の画素における画像データｇの画素値である。Ｉ’ｉ、ｊは、位置（ｉ、ｊ）の画素における推定した画像データＨｆの画素値である。推定結果Ｈｆと取得データｇとの差分が閾値以下であるとき、分離画像データｆが精度よく生成されたと判定することができる。
　なお、ここでは式（２）に示す圧縮センシングを用いた演算例を示したが、その他の方法を用いて解いてもよい。例えば、最尤推定法またはベイズ推定法などの他の統計的方法を用いることができる。また、分離画像データ２２０の数は任意であり、各波長域も任意に設定してよい。再構成の方法の詳細は、特許文献１に開示されている。
　図７は、図６に示すステップＳ１０３の動作のフローチャートである。ステップＳ２０１において、信号処理回路２００は、カラーフィルタ２０の画像データから分離画像データｆの初期値を決定する。この初期値の決定方法については後述する。ステップＳ２０２において、信号処理回路２００は、分離画像データｆの推定値を決定する。１回目の演算では、分離画像データｆの推定値は、ステップＳ２０１において決定された初期値である。ステップＳ２０３において、信号処理回路２００は、Ｈｆから対象物８０の画像データを推定する。ステップＳ２０４において、信号処理回路２００は、式（３）に基づいて、ステップＳ２０３において推定した対象物８０の画像データＨｆと、実際に取得した対象物８０の画像データｇとを比較する。ステップＳ２０５において、信号処理回路２００は、式（３）の差分が閾値以下であるかを判定する。ステップＳ２０５における判定がｙｅｓの場合、信号処理回路２００は、演算を終了する。ステップＳ２０５における判定がｎｏの場合、ステップＳ２０６において、信号処理回路２００は、演算回数が規定値以下であるかを判定する。ステップＳ２０６における判定がｙｅｓの場合、信号処理回路２００は、再びステップＳ２０２の動作を実行する。２回目以降の演算では、ステップＳ２０２において、信号処理回路２００は、式（２）を用いて分離画像データｆを推定する。ステップＳ２０６における判定がｎｏの場合、ステップＳ２０７において、信号処理回路２００は、撮像のやり直しを示す情報をディスプレイなどに出力する。
　図８は、図７に示すステップＳ２０１の動作を説明するための図である。図８の上の図は、Ｒフィルタ、Ｇフィルタ、およびＢフィルタの透過スペクトルを模式的に示す図である。各フィルタの透過スペクトルは、ピーク波長で幅の広い単一ピークを示す。ある単位ブロックにおけるＲフィルタ、Ｇフィルタ、およびＢフィルタを透過した光の信号強度が、それぞれ０．３、１．０、および０．５であるとする。図８の下の図は、信号強度を掛けた透過スペクトルを重ね合わせた例を模式的に示す図である。図８の下の図に示す例において、複数の波長域Ｗ１から波長域Ｗｉにおけるそれぞれ平均化された透過率を、ある画素における分離画像データｆの推定値の初期値とすることができる。このようにして、すべての画素における分離画像データのｆ１、ｆ２、・・・、ｆｗの初期値を決定することができる。なお、平均化された透過率の代わりに、例えば、複数の波長域Ｗ１から波長域Ｗｉにおけるそれぞれ最大または最小の透過率を用いてもよい。
　再帰的な反復演算の収束速度および解の精度は、初期値に依存する。不適切な初期値を選択すると、再帰的な反復演算の収束速度が遅くなり、解の精度も低くなる。これに対して、上記のように分離画像データの初期値を決定すると、再帰的な反復演算の収束速度が速くなり、解の精度も高くなる。
　次に、図６に示すステップＳ１０６における高解像度の分離画像データ２２０および／または高解像度のカラー画像データ２４０を生成する動作を説明する。信号処理回路２００は、ステップＳ１０３における分離画像データ２２０と、ステップＳ１０５におけるカラー画像データ２４０とから、それぞれ色度データを生成する。信号処理回路２００は、これらの色度データを、各単位ブロックにおけるハイパースペクトルフィルタ１０およびカラーフィルタ２０に割り当てる。
　（高解像度の分離画像データ２２０の生成）
　信号処理回路２００は、カラーフィルタ２０での色度データと、その周辺のハイパースペクトルフィルタ１０での色度データとを比較する。これらの色度データがほぼ同じ場合、信号処理回路２００は、周辺のハイパースペクトルフィルタ１０での平均化された分離画像データ２２０を、カラーフィルタ２０での分離画像データ２２０として補完する。カラーフィルタ２０での色度データが、その周辺の一部のハイパースペクトルフィルタ１０での色度データに近いが、他のハイパースペクトルフィルタ１０での色度データとは大きく異なる場合、信号処理回路２００は、近い色度データを有するハイパースペクトルフィルタ１０での分離画像データ２２０を、カラーフィルタ２０での分離画像データ２２０として補完する。このようにして、高解像度の分離画像データ２２０が生成される。
　（高解像度のカラー画像データ２４０の生成）
　信号処理回路２００は、各単位ブロックにおけるハイパースペクトルフィルタ１０およびカラーフィルタ２０での色度データから、カラー画像データ２４０を生成する。このようにして、高解像度のカラー画像データ２４０が生成される。
　上記の高解像度の分離画像データ２２０および高解像度のカラー画像データ２４０から生成された画像では、対象物８０の境界線を明瞭に再現することができる。
　[画像データの生成方法２]
　次に、図９を参照して、信号処理回路２００が画像データを生成する他の方法を説明する。図９は、画像データを生成する動作の他のフローチャートである。図９に示すステップＳ３０１からステップＳ３０５、およびステップＳ３０８は、それぞれ、図６に示すステップＳ１０１からステップＳ１０６と同じである。したがって、ステップＳ３０６およびステップＳ３０７の動作を説明する。
　ステップＳ３０６において、信号処理回路２００は、ステップＳ３０３における分離画像データ２２０から生成された色度データと、ステップＳ３０５におけるカラー画像データ２４０から生成された色度データとを画素ごとに比較する。ステップＳ３０７において、信号処理回路２００は、各画素での２つの色度データの差分が閾値以下であるか、すなわち、２つの色度データが画素ごとに実質的に一致するかを判定する。ステップＳ３０７における判定がｙｅｓの場合、信号処理回路２００は、ステップＳ３０８の動作を実行する。ステップＳ３０７における判定がｎｏの場合、信号処理回路２００は、再びステップＳ３０２の動作を実行する。このように２つの色度データの差分が閾値以下になるまで動作を繰り返すことにより、高精度の分離画像データ２２０を取得することができる。
　[画像データの生成方法３]
　次に、図１０から図１１Ｂを参照して、信号処理回路２００が画像データを生成するさらに他の方法を説明する。図１０は、画像データを生成する動作のさらに他のフローチャートである。図１０に示すステップＳ４０１は、図６に示すステップＳ１０１と同じである。ステップＳ４０２において、信号処理回路２００は、イメージセンサ６０から取得した、ハイパースペクトルフィルタ１０の画像データおよびカラーフィルタ２０の画像データの両方から、分離画像データ２２０を生成する。
　図１１Ａは、図１０に示すステップＳ４０２の動作のフローチャートである。図１１Ａに示すステップＳ５０１からステップＳ５０３、およびステップＳ５０５からステップＳ５０７は、それぞれ、図７に示すステップＳ２０１からステップＳ２０３、およびステップＳ２０５からステップＳ２０７と同じである。ステップＳ５０４において、信号処理回路２００は、分離画像データｆの推定値から生成された色度データと、カラー画像データ２４０から生成された色度データとを考慮して、推定した対象物８０の画像データＨｆと、実際に取得した対象物８０の画像データｇとを比較する。具体的には、数値化された上記の２つの色度データの差分の２乗が、式（２）における正則化項Φ（ｆ）として用いられる。ステップＳ５０４およびステップＳ５０５の動作により、２つの色度データが画像全体で整合した状態で、分離画像データ２２０およびカラー画像データ２４０を生成することができる。
　図１１Ｂは、図１０に示すステップＳ４０２の動作の他のフローチャートである。図１１Ｂに示すステップＳ６０１、およびステップＳ６０３からステップＳ６０７は、それぞれ、図１１Ａに示すステップＳ５０１、およびステップＳ５０３からステップＳ５０７と同じである。ただし、前述した分離画像データｆの代わりに、分離画像データｆ１、ｆ２、・・・、ｆｗおよびカラー画像データｆＲ、ｆＧ、ｆＢの両方を含む混合画像データｆが用いられる。
　ステップＳ６０２において、信号処理回路２００は、混合画像データｆの推定値を決定する。３種類のカラーフィルタ２０において、Ｒフィルタでは、赤色の画像データは取得できるが、緑色および青色の画像データは取得できず、Ｇフィルタでは、緑色の画像データは取得できるが、赤色および青色の画像データは取得できず、Ｂフィルタでは、青色の画像データは取得できるが、赤色および緑色の画像データは取得できない。信号処理回路２００は、分離画像データの推定値を決定し、かつ、各カラーフィルタ２０における取得できない色の画像データの推定値を決定する。各カラーフィルタ２０から取得できない色の画像データの推定には、周辺のカラーフィルタ２０から取得された色の画像データを用いてもよい。このように、混合画像データｆを用いて、分離画像データ２２０およびカラー画像データ２４０を生成してもよい。
　＜ハイパースペクトルフィルタ１０の構造＞
　次に、図１２Ａおよび図１２Ｂを参照して、ハイパースペクトルフィルタ１０の例を説明する。図１２Ａは、ハイパースペクトルフィルタ１０の構造の例を模式的に示す断面図である。ハイパースペクトルフィルタ１０は共振構造を備える。共振構造とは、ある波長の光が、内部で定在波を形成して安定に存在する構造を意味する。当該光の状態を、「共振モード」とも称する。図１２Ａに示す共振構造は、第１反射層１２ａ、第２反射層１２ｂ、および第１反射層１２ａと第２反射層１２ｂとの間の中間層１４を含む。第１反射層１２ａおよび／または第２反射層１２ｂは、誘電体多層膜または金属薄膜から形成され得る。誘電体多層膜は、例えばＴｉＯ２層およびＳｉＯ２層が交互に積層された積層構造を含む。中間層１４は、特定の波長域において透明な誘電体または半導体から形成され得る。中間層１４は、例えば、Ｓｉ、Ｓｉ３Ｎ４、ＴｉＯ２、Ｎｂ２Ｏ５、Ｔａ２Ｏ５からなる群から選択される少なくとも１つから形成され得る。複数種類のハイパースペクトルフィルタ１０における中間層１４の屈折率および／または厚さは、フィルタによって異なる。複数種類のハイパースペクトルフィルタ１０の各々の透過スペクトルは、複数のピーク波長で透過率の極大値を有する。当該複数の波長は、上記の共振構造における次数の異なる複数の共振モードにそれぞれ対応する。本明細書では、上記の共振構造を備えるハイパースペクトルフィルタ１０を、「ファブリ・ペローフィルタ」とも称する。
　次に、ファブリ・ペローフィルタであるハイパースペクトルフィルタ１０の透過スペクトルを説明する。ファブリ・ペローフィルタであるハイパースペクトルフィルタ１０において、中間層１４の厚さをＬ、屈折率をｎ、ファブリ・ペローフィルタであるハイパースペクトルフィルタ１０に入射する光の入射角度をθｉ、共振モードのモード次数をｍとする。ｍは１以上の整数である。このとき、ファブリ・ペローフィルタであるハイパースペクトルフィルタ１０の透過スペクトルのピーク波長λｍは、以下の式（４）によって表される。
Figure JPOXMLDOC01-appb-M000004
　対象波長域Ｗのうちの最短波長をλｉ、最長波長をλｅとする。λｉ≦λｍ≦λｅを満たすｍの数が、ファブリ・ペローフィルタ１０の透過スペクトルが有するピーク波長の数に相当する。ピーク波長の数は、中間層１４の屈折率ｎおよび／または厚さＬに依存する。
　図１２Ｂは、入射角度θ＝０°でのファブリ・ペローフィルタ１０の透過スペクトルの例を示す図である。最短波長をλｉ＝４００ｎｍ、最長波長をλｅ＝７００ｎｍとすると、図１２Ｂに示す例において、透過スペクトルは、対象波長域Ｗにおいて９個のピークを示す。
　（フィルタアレイ１００の変形例）
　次に、図１３Ａおよび図１３Ｂを参照して、本実施形態におけるフィルタアレイ１００の第１変形例および第２変形例を説明する。図１３Ａは、本実施形態の第１変形例におけるフィルタアレイ１００Ａを模式的に示す図である。図１３Ａに示す例では、ベイヤー配列のカラーフィルタ２０が、２行２列おきに２次元的に配列されている。そのカラーフィルタ２０の間に、５種類のハイパースペクトルフィルタ１０が非周期的に配列されている。太い破線によって囲まれた単位ブロックは、８個のハイパースペクトルフィルタ１０、および８個のカラーフィルタ２０を含む。ハイパースペクトルフィルタ１０およびカラーフィルタ２０は、１対１で混在している。本実施形態の第１変形例におけるフィルタアレイ１００Ａでは、本実施形態におけるフィルタアレイ１００よりも、ハイパースペクトルフィルタ１０が占める割合が高い。したがって、多波長情報を効率的に得ることができる。
　図１３Ｂは、本実施形態の第２変形例におけるフィルタアレイ１００Ｂを模式的に示す図である。図１３Ｂに示す例では、カラーフィルタ２０が、１つおきに２次元的に配列されてベイヤー配列を形成している。そのカラーフィルタ２０の間に、５種類のハイパースペクトルフィルタ１０が非周期的に配列されている。太い破線によって囲まれた単位ブロックは、１２個のハイパースペクトルフィルタ１０、および４個のカラーフィルタ２０を含む。ハイパースペクトルフィルタ１０およびカラーフィルタ２０は、３対１で混在している。本実施形態の第２変形例におけるフィルタアレイ１００Ｂでは、本実施形態におけるフィルタアレイ１００よりも、ハイパースペクトルフィルタ１０が占める割合がさらに高い。したがって、多波長情報をさらに効率的に得ることができる。
　本開示におけるフィルタアレイおよび光検出システムは、例えば、多波長の２次元画像を取得するカメラおよび測定機器に有用である。本開示におけるフィルタアレイおよび光検出システムは、生体・医療・美容向けセンシング、食品の異物・残留農薬検査システム、リモートセンシングシステムおよび車載センシングシステム等にも応用できる。
　　１０　　　ハイパースペクトルフィルタ
　　１２ａ　　第１反射層
　　１２ｂ　　第２反射層
　　１４　　　中間層
　　４０　　　光学系
　　６０　　　イメージセンサ
　　８０　　　対象物
　　１００、１００Ａ、１００Ｂ　　フィルタアレイ
　　１２０　　画像データ
　　２００　　信号処理回路
　　２２０　　分離画像データ
　　２４０　　カラー画像データ
　　３００　　光検出システム

Claims (13)

  1. 　２次元的に配列された複数のフィルタを備えるフィルタアレイであって、
    　前記複数のフィルタは、
    　　互いに異なる透過スペクトルを有する複数種類の第１フィルタであって、各々の透過スペクトルが、複数の第1ピークを含む、複数種類の第１フィルタと、
    　　互いに異なる透過スペクトルを有する複数種類の第２フィルタであって、各々の透過スペクトルが、１以上の第２ピークを含む、複数種類の第２フィルタと、
    を含み、
    　前記複数種類の第１フィルタの各々の透過スペクトルにおける前記複数の第１ピークの数は、前記複数種類の第２フィルタの各々の透過スペクトルにおける前記１以上の第２ピークの数よりも多く、
    　前記複数種類の第１フィルタと前記複数種類の第２フィルタとは混在して配列されている、
    フィルタアレイ。
  2. 　前記複数種類の第１フィルタの各々の透過スペクトルにおける前記複数の第１ピークの数は３以上であり、
    　前記複数種類の第２フィルタの各々の透過スペクトルにおける前記１以上の第２ピークの数は１または２である、
    請求項１に記載のフィルタアレイ。
  3. 　前記複数種類の第２フィルタは周期的に配列されている、
    請求項１または２に記載のフィルタアレイ。
  4. 　前記複数種類の第１フィルタは非周期的に配列されている、
    請求項１から３のいずれかに記載のフィルタアレイ。
  5. 　前記複数の第１ピークの各々の半値全幅は、前記１以上の第２ピークの各々の半値全幅よりも狭い、
    請求項１から４のいずれかに記載のフィルタアレイ。
  6. 　前記複数種類の第１フィルタの各々の透過スペクトルにおける前記複数の第１ピークのうちの少なくとも２つの波長範囲は、前記複数種類の第２フィルタのうちの２種類のフィルタの各々の透過スペクトルにおける前記１以上の第２ピークの波長範囲と重なる、
    請求項５に記載のフィルタアレイ。
  7. 　前記複数種類の第１フィルタのうちの少なくとも１つのフィルタの透過スペクトルは、７００ｎｍ以上２５００ｎｍ以下の波長域において透過率の極大値を含む、
    請求項１から６のいずれかに記載のフィルタアレイ。
  8. 　前記複数種類の第２フィルタは、３種類の第２フィルタである、
    請求項１から７のいずれかに記載のフィルタアレイ。
  9. 　前記３種類の第２フィルタは、赤フィルタ、緑フィルタ、および青フィルタである、
    請求項８に記載のフィルタアレイ。
  10. 　前記複数種類の第１フィルタは、１０種類以上５０種類以下の第１フィルタである、
    請求項１から９のいずれかに記載のフィルタアレイ。
  11. 　前記複数種類の第１フィルタの各々は、第１反射層、第２反射層、および前記第１反射層と前記第２反射層との間の中間層を含む共振構造を含む、
    請求項１から１０のいずれかに記載のフィルタアレイ。
  12. 　請求項１から１１のいずれかに記載のフィルタアレイと、
    　複数の光検出素子を含むイメージセンサと、
    　信号処理回路と、
    を備え、
    　前記複数の光検出素子の各々は、前記複数のフィルタのうち対応するフィルタを透過した光を受ける位置に配置されており、
    　前記信号処理回路は、
    　　前記複数の光検出素子のうち、前記複数種類の第１フィルタを透過した光を受ける光検出素子からの第１検出信号に基づいて第１画像データを生成し、
    　　前記複数の光検出素子のうち、前記複数種類の第２フィルタを透過した光を受ける光検出素子からの第２検出信号に基づいて第２画像データを生成する、
    光検出システム。
  13. 　前記信号処理回路は、
    　　前記第１画像データに基づいて、第１色度データを生成し、
    　　前記第２画像データに基づいて、第２色度データを生成し、
    　前記第１色度データおよび前記第２色度データは、前記複数の光検出素子の各々において実質的に一致する、
    請求項１２に記載の光検出システム。
PCT/JP2020/037040 2019-10-28 2020-09-29 フィルタアレイおよび光検出システム WO2021085014A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021554212A JPWO2021085014A1 (ja) 2019-10-28 2020-09-29
EP20882949.9A EP4053521A4 (en) 2019-10-28 2020-09-29 FILTER ARRANGEMENT AND OPTICAL DETECTION SYSTEM
US17/718,428 US20220239870A1 (en) 2019-10-28 2022-04-12 Filter array and light detection system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019195668 2019-10-28
JP2019-195668 2019-10-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/718,428 Continuation US20220239870A1 (en) 2019-10-28 2022-04-12 Filter array and light detection system

Publications (1)

Publication Number Publication Date
WO2021085014A1 true WO2021085014A1 (ja) 2021-05-06

Family

ID=75716220

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/037040 WO2021085014A1 (ja) 2019-10-28 2020-09-29 フィルタアレイおよび光検出システム

Country Status (4)

Country Link
US (1) US20220239870A1 (ja)
EP (1) EP4053521A4 (ja)
JP (1) JPWO2021085014A1 (ja)
WO (1) WO2021085014A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022270355A1 (ja) * 2021-06-24 2022-12-29 パナソニックＩｐマネジメント株式会社 撮像システム、撮像システムに用いられる方法、および撮像システムに用いられるコンピュータプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11209311B2 (en) * 2020-03-18 2021-12-28 Viavi Solutions Inc. Multispectral filter
WO2021241122A1 (ja) * 2020-05-29 2021-12-02 パナソニックＩｐマネジメント株式会社 フィルタアレイおよび光検出システム
US11698478B2 (en) * 2021-03-10 2023-07-11 Viavi Solutions Inc. Optical device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012044519A (ja) 2010-08-20 2012-03-01 Olympus Corp デジタルカメラ
JP2015531493A (ja) * 2012-10-10 2015-11-02 クヮンジュ・インスティテュート・オブ・サイエンス・アンド・テクノロジー 分光装置及び分光方法
US20160138975A1 (en) 2014-11-19 2016-05-19 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus comprising coding element and spectroscopic system comprising the imaging apparatus
US20170005132A1 (en) * 2015-06-30 2017-01-05 Imec Vzw Integrated circuit and method for manufacturing integrated circuit

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1875638A (zh) * 2003-11-11 2006-12-06 奥林巴斯株式会社 多谱图像捕捉装置
JP6789792B2 (ja) * 2016-12-13 2020-11-25 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012044519A (ja) 2010-08-20 2012-03-01 Olympus Corp デジタルカメラ
JP2015531493A (ja) * 2012-10-10 2015-11-02 クヮンジュ・インスティテュート・オブ・サイエンス・アンド・テクノロジー 分光装置及び分光方法
US20160138975A1 (en) 2014-11-19 2016-05-19 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus comprising coding element and spectroscopic system comprising the imaging apparatus
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
US20170005132A1 (en) * 2015-06-30 2017-01-05 Imec Vzw Integrated circuit and method for manufacturing integrated circuit

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022270355A1 (ja) * 2021-06-24 2022-12-29 パナソニックＩｐマネジメント株式会社 撮像システム、撮像システムに用いられる方法、および撮像システムに用いられるコンピュータプログラム

Also Published As

Publication number Publication date
JPWO2021085014A1 (ja) 2021-05-06
EP4053521A4 (en) 2022-12-28
EP4053521A1 (en) 2022-09-07
US20220239870A1 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
WO2021085014A1 (ja) フィルタアレイおよび光検出システム
JP6945195B2 (ja) 光学フィルタ、光検出装置、および光検出システム
JP6952294B2 (ja) 光検出装置、光検出システム、およびフィルタアレイ
US20210341657A1 (en) Photodetection device, photodetection system, and filter array
JP7142251B2 (ja) フィルタアレイおよび光検出システム
US11843876B2 (en) Optical filter array, photodetection device, and photodetection system
US20230168126A1 (en) Filter array and imaging system
CN113167650B (zh) 光学滤光器、光检测装置及光检测系统
JP7122636B2 (ja) フィルタアレイおよび光検出システム
WO2023106143A1 (ja) 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
WO2023286613A1 (ja) フィルタアレイ、光検出装置、および光検出システム
WO2021241122A1 (ja) フィルタアレイおよび光検出システム
JP2021110869A (ja) 光学フィルタ、および光検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20882949

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021554212

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020882949

Country of ref document: EP

Effective date: 20220530