WO2023171470A1 - 光検出装置、光検出システム、およびフィルタアレイ - Google Patents

光検出装置、光検出システム、およびフィルタアレイ Download PDF

Info

Publication number
WO2023171470A1
WO2023171470A1 PCT/JP2023/007415 JP2023007415W WO2023171470A1 WO 2023171470 A1 WO2023171470 A1 WO 2023171470A1 JP 2023007415 W JP2023007415 W JP 2023007415W WO 2023171470 A1 WO2023171470 A1 WO 2023171470A1
Authority
WO
WIPO (PCT)
Prior art keywords
filters
filter
filter array
image sensor
pitch
Prior art date
Application number
PCT/JP2023/007415
Other languages
English (en)
French (fr)
Inventor
慶明 金馬
基樹 八子
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to CN202380023677.4A priority Critical patent/CN118765378A/zh
Publication of WO2023171470A1 publication Critical patent/WO2023171470A1/ja

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J3/26Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36Investigating two or more bands of a spectrum by separate detectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/26Reflecting filters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/28Interference filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals

Definitions

  • the present disclosure relates to a photodetection device, a photodetection system, and a filter array.
  • Hyperspectral cameras are used in various fields such as food testing, biological testing, drug development, and mineral component analysis.
  • Patent Document 1 discloses an example of a hyperspectral imaging device that uses compressed sensing.
  • the imaging device includes an encoding element that is an array of a plurality of optical filters with different wavelength dependencies of light transmittance, an imaging element that detects light transmitted through the encoding element, a so-called image sensor, and a signal processing circuit. Equipped with An encoding element is placed on the optical path connecting the subject and the image sensor.
  • the image sensor has a plurality of pixels, and each pixel acquires one wavelength-multiplexed image by simultaneously detecting light in which components in a plurality of wavelength ranges are superimposed.
  • the signal processing circuit generates image data for each of a plurality of wavelength ranges by applying compressed sensing to the acquired wavelength multiplexed image using spatial distribution information of spectral transmittance of the encoding element. generate.
  • an optical filter array having two or more transmittance peaks (that is, maximum values) within a target wavelength range is used as an encoding element.
  • Patent Document 2 discloses an example of a filter array including a Fabry-Perot resonator using a dielectric multilayer film as a reflective layer.
  • Patent Documents 3 to 5 disclose examples of arrangement of a filter array and an image sensor.
  • Patent Documents 6 to 9 disclose examples of filter arrays and image sensors in conventional electronic cameras that capture RGB images.
  • the present disclosure provides a photodetection device, a photodetection system, and a filter array that is a component thereof, with high productivity and good imaging characteristics.
  • a photodetection device includes a filter array including a plurality of filters, and an image sensor having a plurality of pixels and detecting light passing through the filter array, wherein the plurality of filters are , a first transmission spectrum of the first filter is different from a second transmission spectrum of the second filter, the first transmission spectrum has a plurality of maximum values, and the first transmission spectrum of the first filter is different from the second transmission spectrum of the second filter;
  • the second transmission spectrum has a plurality of maximum values, the plurality of filters are arranged in a matrix along a first direction and a second direction that intersect with each other, and the plurality of pixels have a plurality of pixels that intersect with each other.
  • Rp1 is the quotient obtained by dividing the pitch of the plurality of filters in the first direction by the pitch of the plurality of pixels in the third direction
  • Rp2 is the quotient obtained by dividing the pitch of the plurality of filters in the second direction by the pitch of the plurality of pixels in the fourth direction
  • the general or specific aspects of the present disclosure may be implemented in any combination of systems, devices, methods, integrated circuits, computer programs, and storage media.
  • the computer-readable recording medium includes, for example, a non-volatile recording medium such as a CD-ROM (Compact Disc-Read Only Memory).
  • a device may be composed of one or more devices. When the device is composed of two or more devices, the two or more devices may be placed within one device, or may be separately placed within two or more separate devices.
  • “device” may refer not only to a device, but also to a system of devices.
  • FIG. 1 is a diagram schematically illustrating an example of a photodetection system according to an embodiment of the present disclosure.
  • FIG. 2A is a diagram schematically illustrating an example of a filter array according to an embodiment of the present disclosure.
  • FIG. 2B is a diagram illustrating an example of the spatial distribution of the transmittance of light in each of a plurality of wavelength ranges included in the target wavelength range.
  • FIG. 2C is a diagram showing an example of a transmission spectrum of a certain filter included in the filter array shown in FIG. 2A.
  • FIG. 2D is a diagram showing examples of transmission spectra of other filters included in the filter array shown in FIG. 2A.
  • FIG. 1 is a diagram schematically illustrating an example of a photodetection system according to an embodiment of the present disclosure.
  • FIG. 2A is a diagram schematically illustrating an example of a filter array according to an embodiment of the present disclosure.
  • FIG. 2B is a diagram illustrating an example of the spatial distribution of the
  • FIG. 3A is a diagram for explaining an example of the relationship between a target wavelength range and a plurality of wavelength ranges included therein.
  • FIG. 3B is a diagram for explaining another example of the relationship between a target wavelength range and a plurality of wavelength ranges included therein.
  • FIG. 4A is a diagram for explaining the characteristics of the transmission spectrum of a certain filter included in the filter array.
  • FIG. 4B is a diagram showing the results of averaging the transmission spectra shown in FIG. 4A for each wavelength range.
  • FIG. 5 is a cross-sectional view schematically showing an example of the structure of a filter array according to an embodiment of the present disclosure.
  • FIG. 6 is a cross-sectional view schematically showing an example of a photodetection device according to an embodiment of the present disclosure.
  • FIG. 7 is a graph showing a transmission spectrum in a configuration including two media having the same refractive index and an air gap layer located between them.
  • FIG. 8 is a cross-sectional view schematically showing another example of the photodetector.
  • FIG. 9 is a plan view schematically showing a photodetection device in a comparative example.
  • FIG. 10 is a diagram for explaining the relationship between the displacement in the arrangement of the filter array and the image sensor and the restoration error of the separated image in a comparative example.
  • FIG. 11 is a plan view schematically showing an example of a photodetection device according to this embodiment.
  • FIG. 12 is a diagram for explaining the relationship between the displacement in the arrangement of the filter array and the image sensor and the restoration error of the separated image in this embodiment.
  • FIG. 13 is a diagram for explaining the relationship between the ratio of the filter pitch to the pixel pitch and the restoration error of the separated image when the placement deviation is 0.5 in this embodiment.
  • FIG. 14 is a diagram for explaining the relationship between the ratio of the filter pitch to the pixel pitch, the displacement, and the restoration error of the separated image 220 in this embodiment.
  • FIG. 15 is a diagram for explaining the relationship between the ratio of the filter pitch to the pixel pitch and the maximum value of the restoration error of the separated image in this embodiment.
  • FIG. 16A is a cross-sectional view schematically showing still another example of a photodetecting device.
  • FIG. 16B is a plan view showing the photodetecting device shown in FIG. 16A with the filter array and substrate removed.
  • FIG. 16C is a plan view schematically showing another example of the arrangement of the double-sided tape shown in FIG. 16B.
  • FIG. 16D is a plan view schematically showing an example in which a plurality of spacers and a plurality of adhesives are arranged instead of the double-sided tape 30 shown in FIG. 16B.
  • FIG. 17 is a diagram for explaining an example of the first filter distance in the first direction of the filter array 10 and an example of the second filter distance in the second direction of the filter array 10.
  • FIG. 18 is a diagram for explaining an example of the first pixel distance in the third direction of the image sensor 50 and an example of the second pixel distance in the fourth direction of the image sensor 50.
  • all or part of a circuit, unit, device, or member, or all or part of a functional block in a block diagram is, for example, a semiconductor device, a semiconductor integrated circuit (IC), or a large scale integration (LSI).
  • LSI large scale integration
  • An LSI or IC may be integrated into one chip, or may be configured by combining a plurality of chips.
  • functional blocks other than the memory element may be integrated into one chip.
  • it is called LSI or IC, but the name changes depending on the degree of integration, and may be called system LSI, VLSI (very large scale integration), or ULSI (ultra large scale integration).
  • a field programmable gate array (FPGA), which is programmed after the LSI is manufactured, or a reconfigurable logic device that can reconfigure the connections inside the LSI or set up circuit sections inside the LSI can also be used for the same purpose.
  • FPGA field programmable gate array
  • the functions or operations of all or part of the circuits, units, devices, and members can be performed by software processing.
  • the software is recorded on one or more non-transitory storage media such as ROM, optical disk, hard disk drive, etc., and when the software is executed by a processor, the functions specified by the software are executed. It is executed by a processor and peripheral devices.
  • a system or apparatus may include one or more non-transitory storage media on which software is recorded, a processor, and required hardware devices, such as interfaces.
  • Patent Document 1 discloses an imaging device capable of generating high resolution images for each of a plurality of wavelength ranges included in a target wavelength range.
  • an image of light from an object is encoded by an optical element called an "encoding element" and then captured.
  • the encoding element has, for example, a plurality of regions arranged in a two-dimensional plane.
  • the transmission spectrum of each of at least two of the plurality of regions has a maximum value of transmittance in each of at least two wavelength ranges among the plurality of wavelength ranges included in the wavelength range of the imaging target.
  • the encoding element may be placed directly above an image sensor having multiple pixels.
  • each of the plurality of regions included in the encoding element corresponds to or faces one of the plurality of pixels included in the image sensor. That is, the plurality of regions included in the encoding element correspond to or face the plurality of pixels included in the image sensor on a one-to-one basis.
  • Pixel data acquired by imaging using an encoding element includes information in multiple wavelength ranges. That is, the image data is compressed image data in which wavelength information is compressed. Therefore, the amount of data held can be reduced. For example, even if the capacity of a recording medium is limited, it is possible to acquire moving image data over a long period of time.
  • a multi-wavelength image is generated by reconstructing a plurality of images corresponding to a plurality of wavelength ranges from a compressed image obtained by imaging.
  • the encoding element can be realized, for example, by a filter array including a plurality of filters arranged two-dimensionally.
  • Each of the plurality of filters may, for example, comprise a so-called Fabry-Perot resonator structure including an interference layer.
  • the structure disclosed in Patent Document 2 can be adopted as the Fabry-Perot resonator.
  • Multiple filters may be designed as follows. That is, the transmission spectrum of each filter has a maximum value in each of at least two wavelength ranges among the plurality of wavelength ranges included in the wavelength range of the imaging target.
  • a plurality of filters with different interference layer thicknesses have different transmission spectra.
  • the light transmitted through the filter array is detected by an image sensor.
  • a filter array is integrated on an image sensor. In such a configuration, changing the configuration of the filter array requires changing the manufacturing process, resulting in increased costs.
  • the present inventors discovered the problem that misalignment of the filter array and image sensor degrades the accuracy of multi-wavelength images, and came up with a photodetection device that can solve such a problem.
  • the arrangement period, that is, the pitch, of the plurality of filters included in the filter array is different from the pitch of the plurality of pixels included in the image sensor.
  • the photodetection device includes a filter array that includes a plurality of filters, and an image sensor that has a plurality of pixels and detects light that passes through the filter array.
  • the plurality of filters include a first filter and a second filter.
  • the first transmission spectrum of the first filter is different from the second transmission spectrum of the second filter.
  • the first transmission spectrum has a plurality of maximum values
  • the second transmission spectrum has a plurality of maximum values.
  • the plurality of filters are arranged in a matrix along first and second directions that intersect with each other.
  • the plurality of pixels are arranged in a matrix along a third direction and a fourth direction that intersect with each other.
  • the pitch of the plurality of filters in the first direction divided by the pitch of the plurality of pixels in the third direction is Rp1
  • the pitch of the plurality of filters in the second direction is divided by the pitch of the plurality of pixels in the fourth direction.
  • Rp2 be the quotient divided by the pitch of the plurality of pixels. At least one of Rp1 and Rp2 is different from 1.
  • both the Rp1 and the Rp2 are different from 1 in the photodetection device according to the first item.
  • the Rp1 and the Rp2 are equal to each other in the photodetecting device according to the second item.
  • the photodetecting device is the photodetecting device according to any one of the first to third items, in which the effective area of the filter array overlaps the entire effective area of the image sensor in plan view. It has a first portion and a second portion that does not overlap the effective area of the image sensor.
  • the image sensor can detect the light that has passed through the filter array in its entire effective area.
  • the size of the effective area of the filter array in the first direction is the size of the effective area of the image sensor in the third direction. It is larger by more than 10 ⁇ m. Furthermore, the size of the effective area of the filter array in the second direction is larger than the size of the effective area of the image sensor in the fourth direction by 10 ⁇ m or more.
  • the effective area of the filter array is the first portion that overlaps the entire effective area of the image sensor in plan view.
  • the photodetecting device is the photodetecting device according to the fourth or fifth item, wherein the size of the effective area of the filter array in the first direction is the same as the effective area of the image sensor in the third direction. is larger than the size of the plurality of filters by more than twice the pitch of the plurality of filters in the first direction. Furthermore, the size of the effective area of the filter array in the second direction is more than twice the pitch of the plurality of filters in the second direction than the size of the effective area of the image sensor in the fourth direction. Only bigger.
  • the effective area of the filter array overlaps the entire effective area of the image sensor in plan view.
  • the first portion may have a first portion.
  • At least one of the Rp1 and the Rp2 is 0.998 or less, or 1.002 or more.
  • At least one of the Rp1 and the Rp2 is 0.99 or less, or 1.01 or more.
  • At least one of the Rp1 and the Rp2 is 1.5 or less.
  • the photodetection device according to the tenth item is the photodetection device according to the ninth item, in which at least one of the Rp1 and the Rp2 is smaller than 1.
  • At least one of the Rp1 and the Rp2 is 0.55 or more.
  • the photodetecting device is the photodetecting device according to any one of the first to eleventh items, wherein the filter array has a light incidence surface and an uneven surface located on the opposite side of the light incidence surface. and has.
  • the light detection surface of the image sensor faces the uneven surface.
  • the photodetection device according to the thirteenth item is the photodetection device according to the twelfth item, when the target wavelength range for imaging is ⁇ 1 or more and ⁇ 2 or less, the minimum distance between the uneven surface and the photodetection surface is greater than ⁇ 2/4.
  • the imaging characteristics in the target wavelength range can be improved.
  • the photodetecting device according to the fourteenth item is the photodetecting device according to the twelfth or thirteenth item, further comprising a plurality of spacers sandwiched between a peripheral area of the filter array and a peripheral area of the image sensor. At least a portion of the peripheral region of the filter array and at least a portion of the peripheral region of the image sensor are adhesively fixed to each other by a plurality of adhesives.
  • the filter array and the image sensor can be bonded together in a state closer to parallel to each other.
  • the photodetection system according to the fifteenth item includes the photodetection device according to any one of the first to fourteenth items and a processing circuit.
  • the processing circuit restores spectral images corresponding to each of the four or more wavelength ranges from the image acquired by the image sensor.
  • the filter array according to the 16th item is a filter array used in an image sensor having a plurality of pixels.
  • the filter array includes a plurality of filters.
  • the plurality of filters include a first filter and a second filter.
  • the first transmission spectrum of the first filter is different from the second transmission spectrum of the second filter.
  • the first transmission spectrum has a plurality of maximum values
  • the second transmission spectrum has a plurality of maximum values.
  • the plurality of filters are arranged in a matrix along first and second directions that intersect with each other.
  • the plurality of pixels are arranged in a matrix along a third direction and a fourth direction that intersect with each other.
  • the pitch of the plurality of filters in the first direction divided by the pitch of the plurality of pixels in the third direction is Rp1
  • the pitch of the plurality of filters in the second direction is divided by the pitch of the plurality of pixels in the fourth direction.
  • Rp2 be the quotient divided by the pitch of the plurality of pixels. At least one of Rp1 and Rp2 is different from 1.
  • the photodetection device includes a filter array including a plurality of filters, and an image sensor having a plurality of pixels and detecting light transmitted through the filter array.
  • the plurality of filters include a plurality of first filters and a plurality of second filters. Each of the plurality of first filters exhibits a first transmission spectrum. Each of the plurality of second filters exhibits a second transmission spectrum. The first transmission spectrum is different from the second transmission spectrum.
  • the plurality of first filters are irregularly arranged in the filter array.
  • the plurality of second filters are irregularly arranged in the filter array.
  • the plurality of filters are arranged in a matrix along first and second directions that intersect with each other.
  • the plurality of pixels are arranged in a matrix along a third direction and a fourth direction that intersect with each other.
  • the pitch of the plurality of filters in the first direction divided by the pitch of the plurality of pixels in the third direction is Rp1
  • the pitch of the plurality of filters in the second direction is divided by the pitch of the plurality of pixels in the fourth direction.
  • Rp2 be the quotient divided by the pitch of the plurality of pixels. At least one of Rp1 and Rp2 is different from 1.
  • the photodetection device is the photodetection device according to any one of the first to fourteenth items, in which the image sensor generates an image signal based on light that has passed through the filter array, and compresses the image signal.
  • the image signal is transmitted to a processing device that restores a spectral image corresponding to each of four or more wavelength regions through sensing.
  • the image sensor can generate and output an image signal for restoring a spectral image.
  • the photodetecting device is a filter array having a plurality of filters, the plurality of filters having a filter array including a plurality of types of filters having mutually different transmission spectra, and a plurality of pixels. , and an image sensor that detects light transmitted through the filter array.
  • the plurality of filters are arranged in a matrix along first and second directions that intersect with each other.
  • the plurality of pixels are arranged in a matrix along a third direction and a fourth direction that intersect with each other.
  • the angle between the third direction and the first direction is 0° or more and 45° or less
  • the angle between the fourth direction and the second direction is 0° or more and 45° or less.
  • the pitch of the plurality of filters in the first direction divided by the pitch of the plurality of pixels in the third direction is Rp1
  • the pitch of the plurality of filters in the second direction is divided by the pitch of the plurality of pixels in the fourth direction.
  • Rp2 be the quotient divided by the pitch of the plurality of pixels. At least one of Rp1 and Rp2 is different from 1.
  • the photodetecting device is the photodetecting device according to the first item, wherein the angle between the third direction and the first direction is 0° or more and 45° or less, and the angle between the fourth direction and the fourth direction is 0° or more and 45° or less.
  • the angle formed by the second direction is 0° or more and 45° or less.
  • the angle between the third direction and the first direction is 0° or more and 45° or less
  • the angle between the fourth direction and the The angle between the two directions is 0° or more and 45° or less.
  • the angle between the third direction and the first direction is 0° or more and 45° or less, and the angle between the 4th direction and the 45°
  • the angle formed by the second direction is 0° or more and 45° or less.
  • the photodetection system according to this embodiment includes a filter array, an image sensor, and a signal processing circuit.
  • a comparative example the influence of the misalignment of the filter array and the image sensor on a multi-wavelength image will be explained, and how to suppress this influence in the present embodiment will be explained.
  • a method for fixing the arrangement of the filter array and image sensor will be explained.
  • FIG. 1 is a diagram schematically illustrating an example of a photodetection system according to an embodiment of the present disclosure.
  • a photodetection system 400 shown in FIG. 1 includes an optical system 40, a filter array 10, an image sensor 50, and a signal processing circuit 200.
  • the filter array 10 has the same function as the "encoding element" disclosed in Patent Document 1. For this reason, the filter array 10 can also be referred to as an "encoding element.”
  • the optical system 40 and the filter array 10 are arranged in the optical path of the light incident from the object 60. In the example shown in FIG. 1, the filter array 10 is arranged between the optical system 40 and the image sensor 50 and near the image sensor 50. Specific distances in the vicinity will be described later.
  • a device including the filter array 10 and the image sensor 50 is referred to as a "photodetection device 300.”
  • an apple is illustrated as an example of the target object 60.
  • the target object 60 is not limited to an apple, but may be any object.
  • the signal processing circuit 200 generates image data for each of a plurality of wavelength ranges included in a specific wavelength range (hereinafter also referred to as "target wavelength range") based on the image data generated by the image sensor 50.
  • This image data is referred to as "spectral image data" in this specification.
  • the number of wavelength ranges included in the target wavelength range is assumed to be N (N is an integer of 4 or more).
  • the generated spectral image data in a plurality of wavelength ranges are referred to as a separated image 220W1, a separated image 220W2, . . .
  • the target wavelength range may include a wavelength range W1, a wavelength range W2, . . . , a wavelength range WN.
  • the separated image 220W1 may correspond to the wavelength range W1
  • the separated image 220W2 may correspond to the wavelength range W2, . . .
  • the separated image 220WN may correspond to the wavelength range WN.
  • a signal representing an image that is, a set of signals representing the pixel values of a plurality of pixels constituting the image, is also simply referred to as an "image.”
  • the target wavelength range for imaging may be arbitrarily determined.
  • the target wavelength range is not limited to the visible wavelength range, but may be an ultraviolet, near-infrared, mid-infrared, far-infrared, or microwave wavelength range.
  • the filter array 10 includes a plurality of translucent filters arranged in a two-dimensional plane. More specifically, the plurality of filters are arranged in a matrix.
  • the filter array 10 is an optical element in which the wavelength dependence of the light transmission spectrum, that is, the light transmittance, differs depending on the filter.
  • the filter array 10 modulates the intensity of the incident light for each wavelength range and passes the modulated light.
  • the optical system 40 includes at least one lens.
  • the optical system 40 is composed of one lens, but the optical system 40 may be composed of a combination of a plurality of lenses.
  • the optical system 40 forms an image on the light detection surface of the image sensor 50 via the filter array 10 .
  • the image sensor 50 includes a plurality of two-dimensionally arranged photodetecting elements, and detects the light transmitted through the filter array 10.
  • the plurality of photodetecting elements may be arranged, for example, in a matrix.
  • the image sensor 50 may be, for example, a CCD (Charge-Coupled Device) sensor, a CMOS (Complementary Metal Oxide Semiconductor) sensor, or an infrared array sensor.
  • the photodetecting element may include, for example, a photodiode.
  • Each of the plurality of photodetecting elements has sensitivity to at least light in the target wavelength range. Specifically, each of the plurality of photodetecting elements has substantial sensitivity necessary to detect light in the target wavelength range.
  • the external quantum efficiency of the photodetector in the wavelength range can be 1% or more.
  • the external quantum efficiency of the photodetecting element may be 10% or more.
  • the external quantum efficiency of the photodetecting element may be 20% or more.
  • the photodetecting element is also referred to as a pixel.
  • the signal processing circuit 200 may be, for example, an integrated circuit including a processor and a storage medium such as a memory.
  • the signal processing circuit 200 generates data of a plurality of separated images 220, each corresponding to a plurality of wavelength ranges, based on the image 120, which is a compressed image acquired by the image sensor 50. Details of the plurality of separated images 220 and the image signal processing method of the signal processing circuit 200 will be described later.
  • the signal processing circuit 200 may be built into the photodetection device 300, or may be a component of a signal processing device electrically connected to the photodetection device 300 by wire or wirelessly.
  • the filter array 10 is placed in the optical path of light incident from an object, modulates the intensity of the incident light for each wavelength, and outputs the modulated intensity. This process by the filter array or encoding element is referred to herein as "encoding.”
  • FIG. 2A is a diagram schematically showing an example of the filter array 10 according to the present embodiment.
  • Filter array 10 shown in FIG. 2A includes a plurality of filters arranged two-dimensionally. Each filter has an individually set transmission spectrum.
  • the transmission spectrum is expressed by a function T( ⁇ ), where ⁇ is the wavelength of the incident light.
  • the transmission spectrum T( ⁇ ) can take a value of 0 or more and 1 or less.
  • the filter array 10 has 48 rectangular filters arranged in 6 rows and 8 columns. This is just an example; in actual applications, more filters may be provided.
  • the number is preferably greater than the number of pixels of the image sensor 50, as will be described later.
  • the number of filters included in the filter array 10 can be determined, for example, in the range of tens to tens of millions depending on the application.
  • FIG. 2B is a diagram showing an example of the spatial distribution of the transmittance of light in each of a plurality of wavelength ranges W1, W2, . . . , WN included in the target wavelength range.
  • the difference in shading of each filter represents the difference in transmittance. The lighter the filter, the higher the transmittance, and the darker the filter, the lower the transmittance.
  • the spatial distribution of light transmittance differs depending on the wavelength range.
  • FIGS. 2C and 2D are diagrams showing examples of transmission spectra of filter A1 and filter A2 included in the plurality of filters of filter array 10 of FIG. 2A, respectively.
  • the transmission spectrum of filter A1 and the transmission spectrum of filter A2 are different from each other. In this way, the transmission spectrum of the filter array 10 differs depending on the filter. However, it is not necessary that all filters have different transmission spectra.
  • the filter array 10 at least two of the plurality of filters have different transmission spectra. That is, the filter array 10 includes two or more filters with mutually different transmission spectra.
  • the number of transmission spectrum patterns of the plurality of filters included in the filter array 10 may be equal to or greater than the number N of wavelength ranges included in the target wavelength range.
  • the filter array 10 may be designed such that half or more of the filters have different transmission spectra.
  • the target wavelength range W can be set to various ranges depending on the application.
  • the target wavelength range W may be, for example, a visible light wavelength range from about 400 nm to about 700 nm, a near-infrared wavelength range from about 700 nm to about 2500 nm, or a near-ultraviolet wavelength range from about 10 nm to about 400 nm.
  • the target wavelength range W may be a radio wave range such as mid-infrared, far-infrared, terahertz waves, or millimeter waves. In this way, the wavelength range used is not limited to the visible light range. In this specification, not only visible light but also non-visible light such as near ultraviolet rays, near infrared rays, and radio waves will be referred to as "light" for convenience.
  • N is an arbitrary integer greater than or equal to 4, and the target wavelength range W is divided into N equal parts, each of which is defined as a wavelength range W1, a wavelength range W2, . . . , a wavelength range WN.
  • the plurality of wavelength ranges included in the target wavelength range W may be set arbitrarily.
  • the bandwidth may be made non-uniform depending on the wavelength range. There may be gaps between adjacent wavelength ranges.
  • the bandwidth differs depending on the wavelength range, and there is a gap between two adjacent wavelength ranges. In this way, it is sufficient that the plurality of wavelength ranges are different from each other, and the method of determining them is arbitrary.
  • the number of wavelength divisions N may be 3 or less.
  • FIG. 4A is a diagram for explaining the transmission spectrum characteristics of a certain filter included in the filter array 10.
  • the transmission spectrum has a plurality of maximum values P1 to P5 and a plurality of minimum values with respect to wavelengths within the target wavelength range W.
  • the light transmittance within the target wavelength range W is normalized so that the maximum value is 1 and the minimum value is 0.
  • the transmission spectrum has maximum values in wavelength ranges such as wavelength range W2 and wavelength range WN.
  • the transmission spectrum of each filter has maximum values in at least two wavelength ranges from the plurality of wavelength ranges W1 to WN.
  • local maximum value P1, local maximum value P3, local maximum value P4, and local maximum value P5 are 0.5 or more.
  • the filter array 10 transmits a large amount of components in a certain wavelength range of the incident light, and does not transmit as much components in other wavelength ranges. For example, for light in k wavelength ranges out of N wavelength ranges, the transmittance is greater than 0.5, and for light in the remaining N ⁇ k wavelength ranges, the transmittance is 0.5. It can be less than k is an integer satisfying 2 ⁇ k ⁇ N. If the incident light is white light that evenly contains wavelength components of all visible light, the filter array 10 converts the incident light into light having a plurality of discrete intensity peaks with respect to wavelength for each filter. The multi-wavelength light is then superimposed and output.
  • FIG. 4B is a diagram showing, as an example, the results of averaging the transmission spectra shown in FIG. 4A for each wavelength range W1, wavelength range W2, . . . , wavelength range WN.
  • the averaged transmittance is obtained by integrating the transmission spectrum T( ⁇ ) for each wavelength range and dividing it by the bandwidth of that wavelength range.
  • the transmittance value averaged for each wavelength range is referred to as the transmittance in that wavelength range.
  • the transmittance is significantly high in the wavelength ranges having the local maximum value P1, local maximum value P3, and local maximum value P5.
  • the transmittance exceeds 0.8 in the wavelength range where the maximum value is P3 and the wavelength range where the maximum value is P5.
  • the resolution in the wavelength direction of the transmission spectrum of each filter can be set to approximately the bandwidth of a desired wavelength range.
  • the width of the range that takes a value greater than or equal to the average value of the local minimum value closest to the local maximum value and the local maximum value is It can be set to about the bandwidth.
  • the transmission spectrum is decomposed into frequency components by, for example, Fourier transform, the value of the frequency component corresponding to that wavelength range becomes relatively large.
  • the filter array 10 typically has a plurality of filters divided into a grid, as shown in FIG. 2A. Some or all of these filters have different transmission spectra.
  • the wavelength distribution and spatial distribution of the light transmittance of the plurality of filters included in the filter array 10 may be, for example, a random distribution or a quasi-random distribution.
  • each filter in the filter array 10 can be thought of as a vector element having a value between 0 and 1, for example, depending on the light transmittance.
  • the value of the vector element is 0, and when the transmittance is 1, the value of the vector element is 1.
  • a set of filters lined up in a row or column can be considered a multidimensional vector having values from 0 to 1. Therefore, it can be said that the filter array 10 includes a plurality of multidimensional vectors in the column direction or the row direction.
  • random distribution means that any two multidimensional vectors are independent, that is, they are not parallel.
  • quasi-random distribution means that some multidimensional vectors include non-independent configurations. Therefore, in random distribution and quasi-random distribution, the transmittance value of light in the first wavelength range of each filter belonging to a set of filters arranged in one row or column included in a plurality of filters is used as an element.
  • the vector and a vector whose elements are values of transmittance of light in the first wavelength range in each filter belonging to a set of filters arranged in other rows or columns are independent from each other.
  • the transmittance of light in the second wavelength range in each filter belonging to a set of filters arranged in one row or column included in the plurality of filters is calculated.
  • a vector whose elements are the values of , and a vector whose elements are the values of the transmittance of light in the second wavelength range in each filter belonging to the set of filters arranged in other rows or columns are independent of each other.
  • the filter array 10 has a gray scale transmittance distribution in which the transmittance of each filter can take any value between 0 and 1.
  • a binary scale transmittance distribution may be adopted in which the transmittance of each filter can take either a value of approximately 0 or approximately 1.
  • each filter transmits most of the light in at least two of the multiple wavelength ranges included in the target wavelength range, and transmits most of the light in the remaining wavelength ranges. I won't let you.
  • "most" refers to approximately 80% or more.
  • a part of all the filters may be replaced with transparent filters.
  • Such a transparent filter transmits light in all the wavelength ranges W1 to WN included in the target wavelength range with high transmittance.
  • the high transmittance is, for example, 0.8 or more.
  • the plurality of transparent filters may be arranged in a checkerboard pattern, for example. That is, in the two arrangement directions of the plurality of filters in the filter array 10, filters whose light transmittances differ depending on the wavelength and transparent filters may be arranged alternately. In the example shown in FIG. 2A, the two alignment directions are the horizontal direction and the vertical direction.
  • Such data indicating the spatial distribution of spectral transmittance of the filter array 10 is obtained in advance based on design data or actual measurement calibration, and is stored in a storage medium included in the signal processing circuit 200. This data is used for calculation processing described later.
  • the filter array 10 may be configured using, for example, a multilayer film, an organic material, a diffraction grating structure, or a fine structure containing metal.
  • a multilayer film for example, a dielectric multilayer film or a multilayer film including a metal layer may be used.
  • at least one of the thickness, material, and lamination order of each multilayer film may be formed to be different for each filter. This allows different spectral characteristics to be achieved depending on the filter.
  • By using a multilayer film sharp rises and falls in spectral transmittance can be realized.
  • a structure using organic materials can be realized by containing different pigments or dyes depending on the cell, or by stacking different types of materials.
  • a configuration using a diffraction grating structure can be realized by providing diffraction structures with different diffraction pitches or depths for each filter.
  • a fine structure containing metal it can be manufactured using spectroscopy based on the plasmon effect.
  • multi-wavelength means, for example, more wavelength ranges than the three color wavelength ranges of RGB acquired by a normal color camera, that is, four or more wavelength ranges.
  • the number of wavelength ranges can be, for example, about 4 to 100.
  • the number of wavelength ranges is also referred to as the "number of spectral bands.” Depending on the application, the number of spectral bands may exceed 100.
  • the image sensor 50 generates an image signal based on the light that has passed through the filter array 10 and transmits the image signal to the signal processing circuit 200.
  • the signal processing circuit 200 reconstructs separated images 220 corresponding to each of four or more wavelength ranges from the compressed image indicated by the image signal acquired by the image sensor 50 by compressed sensing. Reconfiguration may also be referred to as restoration.
  • the data to be obtained is the separated image 220, and that data is expressed as f.
  • f is data that integrates image data f1, f2, . . . , fN of each band.
  • the horizontal direction of the image is the x direction
  • the vertical direction of the image is the y direction.
  • each of the image data f1, f2, . . . , fN is two-dimensional data of n ⁇ m pixels. Therefore, the data f is three-dimensional data with the number of elements n ⁇ m ⁇ N.
  • the number of elements of the data g of the image 120 encoded and multiplexed and acquired by the filter array 10 is n ⁇ m.
  • Data g can be expressed by the following equation (1).
  • f1, f2, . . . , fN is data having n ⁇ m elements. Therefore, the vector on the right side is a one-dimensional vector of n ⁇ m ⁇ N rows and 1 column.
  • the vector g is calculated by converting it into a one-dimensional vector of n ⁇ m rows and one column.
  • the matrix H represents a transformation that encodes and intensity modulates each component f1, f2, . Therefore, H is a matrix with n ⁇ m rows and n ⁇ m ⁇ N columns.
  • the signal processing circuit 200 uses the redundancy of the image included in the data f to find a solution using a compressed sensing technique. Specifically, the desired data f is estimated by solving Equation (2) below.
  • f' represents the estimated data of f.
  • the first term in parentheses in the above equation represents the amount of deviation between the estimation result Hf and the acquired data g, a so-called residual term.
  • the second term in parentheses is a regularization term or stabilization term, which will be described later.
  • Equation (2) means finding f that minimizes the sum of the first term and the second term.
  • the signal processing circuit 200 can converge the solution through recursive iterative operations and calculate the final solution f'.
  • the first term in parentheses in Equation (2) means the calculation of the sum of squares of the differences between the acquired data g and Hf obtained by system-transforming f in the estimation process using matrix H.
  • the second term ⁇ (f) is a constraint in the regularization of f, and is a function reflecting the sparse information of the estimated data. Its function is to smooth or stabilize the estimated data.
  • the regularization term may be represented by, for example, a discrete cosine transform (DCT), a wavelet transform, a Fourier transform, or a total variation (TV) of f. For example, when total variation is used, stable estimated data can be obtained that suppresses the influence of noise on the observed data g.
  • DCT discrete cosine transform
  • TV total variation
  • the sparsity of the object 60 in the space of each regularization term differs depending on the texture of the object 60.
  • a regularization term may be selected that makes the texture of the object 60 sparser in the space of regularization terms.
  • multiple regularization terms may be included in the calculation.
  • is a weighting coefficient. The larger the weighting coefficient ⁇ , the greater the amount of redundant data to be reduced, and the higher the compression ratio. The smaller the weighting coefficient ⁇ , the weaker the convergence to a solution.
  • the weighting coefficient ⁇ is set to an appropriate value that allows f to converge to some extent and not cause overcompression.
  • FIG. 5 is a cross-sectional view schematically showing an example of the structure of the filter array 10 according to the embodiment of the present disclosure. In these cross-sectional views, six filters 100 are shown in one row for simplicity.
  • the filter array 10 shown in FIG. 5 is supported by a substrate 20 and includes a plurality of filters 100 two-dimensionally arranged in a square lattice shape.
  • all filters 100 included in the filter array 10 have a resonant structure.
  • a resonant structure means a structure in which light of a certain wavelength forms a standing wave internally and exists stably.
  • each resonance structure shown in FIG. 5 includes an interference layer 12 having a first surface 12s1 and a second surface 12s2 located on opposite sides, a first reflective layer 14a provided on the first surface 12s1, and a second surface 12s2. and a second reflective layer 14b provided on the second reflective layer 14b.
  • the reflectance of each of the first surface 12s1 and the second surface 12s2 may be, for example, 80% or more.
  • the reflectance may be lower than 80%, but may be designed to be 40% or higher.
  • the thickness of the first reflective layer 14a and the thickness of the second reflective layer 14b may be designed to be equal to each other.
  • the plurality of filters 100 whose interference layers 12 have different thicknesses have different transmission spectra within the target wavelength range W.
  • the transmission spectrum of each resonant structure shown in FIG. 5 has two or more sharp peaks within the target wavelength range W.
  • a filter having such a transmission spectrum is referred to as a "multimode filter.”
  • each of the first reflective layer 14a and the second reflective layer 14b is a distributed Bragg reflector in which a plurality of high refractive index layers and a plurality of low refractive index layers are alternately laminated. DBR). At least one of the first reflective layer 14a and the second reflective layer 14b may be formed from a metal thin film.
  • At least one of the first reflective layer 14a and the second reflective layer 14b is formed from a metal thin film means "(a) the first reflective layer 14a is formed from a metal thin film, (b) the second reflective layer 14b is formed from a metal thin film” The layer 14b is formed from a metal thin film, or (c) the first reflective layer 14a is formed from a metal thin film, and the second reflective layer 14b is formed from a metal thin film.'' Good too.
  • the DBR includes one or more paired layers of a high refractive index layer and a low refractive index layer having different refractive indexes.
  • the refractive index of the high refractive index layer is higher than the refractive index of the low refractive index layer.
  • DBR has a wavelength range called a stop band where the reflectance is high due to Bragg reflection caused by the periodic layered structure. As the number of paired layers described above increases, the reflectance of the stopband approaches 100%.
  • the wavelength within the target wavelength range W is ⁇
  • the refractive index of the high refractive index layer is nH
  • the refractive index of the low refractive index layer is nL.
  • a DBR that includes one or more paired layers of a high refractive index layer with a thickness of ⁇ /(4nH) and a low refractive index layer with a thickness of ⁇ /(4nL) efficiently reflects light with a wavelength of ⁇ .
  • the target wavelength range W is a range from the wavelength ⁇ i to the wavelength ⁇ f
  • the DBR corresponds to the wavelength ⁇ i by changing the thickness of the plurality of high refractive index layers and the plurality of low refractive index layers in steps.
  • a pair layer corresponding to the wavelength ⁇ f from the pair layer can be included. As a result, the DBR can efficiently reflect all light within the target wavelength range W.
  • the high refractive index layer and the low refractive index layer included in each of the first reflective layer 14a and the second reflective layer 14b, as well as the interference layer 12, are made of, for example, a material that has a low absorption rate for light within the target wavelength range W. obtain.
  • a material that has a low absorption rate for light within the target wavelength range W include, for example, the group consisting of SiO 2 , Al 2 O 3 , SiO x N y , Si 3 N 4 , Ta 2 O 5 , and TiO 2 . It may be at least one selected from.
  • the target wavelength range W When the target wavelength range W is in the infrared region, such materials include, for example, the above-mentioned SiO 2 , Al 2 O 3 , SiO x N y , Si 3 N 4 , Ta 2 O 5 , and TiO 2 . In addition, it may be at least one selected from the group consisting of single crystal Si, polycrystalline Si, and amorphous Si. Similarly, the substrate 20 may be formed of a material that has a low absorption rate for light within the target wavelength range W, for example. If the target wavelength range W is in the visible light range, such material is selected from the group consisting of SiO2 , ITO , Al2O3 , GaN, Nb2O5 , Ta2O5 , and SiC .
  • the target wavelength range W is in the infrared region
  • such materials include, for example, in addition to the above-mentioned SiO 2 , ITO, Al 2 O 3 , GaN, Nb 2 O 5 , Ta 2 O 5 , and SiC. , single crystal Si, polycrystalline Si, amorphous Si, and InP.
  • the thickness of each of the first reflective layer 14a and the second reflective layer 14b may be, for example, 100 nm or more and 900 nm or less.
  • the thickness of the interference layer 12 may be, for example, 10 nm or more and 500 nm or less.
  • the thickness of the substrate 20 may be, for example, 0.1 mm or more and 1 mm or less.
  • the light within the interference layer 12 is reflected by the first surface 12s1 and the second surface 12s2, unless the exact position of the surface that reflects the light is a problem.
  • a part of the light that enters the first reflective layer 14a or the second reflective layer 14b from the interference layer 12 actually enters the first reflective layer 14a or the second reflective layer 14b, and is reflected at the interface between the high refractive index layer and the multiple low refractive index layers.
  • the interface at which light is reflected differs depending on the wavelength. However, for convenience of explanation, these lights are treated as being reflected by the first surface 12s1 and the second surface 12s2.
  • multiple types of multimode filters having mutually different transmission spectra within the target wavelength range W may be arranged irregularly.
  • An irregular arrangement is an arrangement that does not exhibit clear regularity or periodicity, and is also an aperiodic arrangement.
  • the irregular arrangement may be, for example, an arrangement according to the concept of random distribution or quasi-random distribution described above.
  • filter array 10 includes millions of filters 100 arranged two-dimensionally, and the millions of filters 100 include nine types of randomly arranged multimode filters.
  • the nine types of multimode filters can be arranged in a random or quasi-random distribution.
  • the filter array 10 having such high randomness allows the separated image 220 to be restored more accurately.
  • the plurality of types of multimode filters having different transmission spectra may be a plurality of first filters to a plurality of n-th filters.
  • Each of the plurality of first filters exhibits a first transmission spectrum within the target wavelength range W, and each of the plurality of n-th filters exhibits an n-th transmission spectrum within the target wavelength range W.
  • the first transmission spectrum to the nth transmission spectrum are different from each other.
  • the first transmission spectrum has a plurality of maximum values, and the ⁇ , nth transmission spectrum has a plurality of maximum values.
  • the plurality of first filters are arranged irregularly in the filter array 10, and the plurality of nth filters are arranged irregularly in the filter array 10.
  • the filter array 10 may include a filter that does not have the above-mentioned resonance structure.
  • the filter array 10 according to the present embodiment may include a filter whose light transmittance does not depend on wavelength, such as a transparent filter or an ND filter (Neutral Density Filter).
  • the filter 100 including the DBR is also referred to as a "Fabry-Perot filter.”
  • a Fabry-Perot filter is a type of interference filter.
  • other types of interference filters can be used, such as color separation filters made of diffraction gratings or the like.
  • each of the filter array 10 and the image sensor 50 will be described as including several dozen unit cells arranged two-dimensionally.
  • each of filter array 10 and image sensor 50 may include, for example, millions of unit cells arranged two-dimensionally.
  • the illustrated structure is merely an example, and the number and arrangement of unit cells can be determined arbitrarily.
  • FIG. 6 is a cross-sectional view schematically showing an example of a photodetection device 300 according to an embodiment of the present disclosure.
  • the cross-sectional view is a cross-sectional view of the filter array 10 and the image sensor 50 for one row.
  • the structure shown in FIG. 6 is a partial structure of the photodetecting device 300.
  • FIG. 6 shows an X-axis, a Y-axis, and a Z-axis that are orthogonal to each other.
  • the direction of the arrow on the X-axis is called the +X direction, and the opposite direction is called the -X direction.
  • a photodetection device 300 includes a filter array 10, a substrate 20 that supports the filter array 10, and an image sensor 50.
  • the configurations of the filter array 10 and substrate 20 shown in FIG. 6 are the same as the configurations of the filter array 10 and substrate 20 shown in FIG. 5, except that they are upside down.
  • the substrate 20 is used in the process of manufacturing the photodetector 300. Although the substrate 20 is not necessarily required, if the substrate 20 is not removed in manufacturing the photodetector 300, the substrate 20 is included in the photodetector 300.
  • the filter array 10 includes a plurality of filters 100 two-dimensionally arranged in a square lattice along the XY plane.
  • the plurality of filters 100 include a plurality of types of multimode filters having different transmission spectra within the target wavelength range W.
  • the plurality of types of multimode filters are arranged irregularly, for example, according to the above-mentioned idea of random distribution or quasi-random distribution.
  • the thickness of the interference layer 12 varies depending on the transmission spectrum of the multimode filter.
  • the pitches of the plurality of filters 100 in each of the X direction and the Y direction may be uniform, for example.
  • the pitch in the X direction and the pitch in the Y direction can be equal to each other, for example.
  • the pitch in each of the X direction and the Y direction may be, for example, 1 ⁇ m or more and 10 ⁇ m or less.
  • the filter array 10 has a light entrance surface 10s1 and a light exit surface 10s2 located on the opposite side.
  • the light entrance surface 10s1 is formed by a collection of light entrance surfaces of the plurality of filters 100.
  • the light exit surface 10s2 is formed by a collection of light exit surfaces of the plurality of filters 100.
  • the light entrance surface 10s1 is flat.
  • the light incident surfaces of the plurality of filters 100 form flat surfaces without steps.
  • the light exit surface 10s2 has unevenness, that is, a step.
  • the light exit surfaces of the plurality of filters 100 form uneven surfaces. This unevenness is caused by the fact that the filter 100 has a different thickness.
  • the difference in thickness between filters 100 is caused by the difference in the thickness of the interference layer.
  • the substrate 20 is provided on the light entrance surface 10s1 of the filter array 10.
  • the image sensor 50 has a light detection surface 50s facing the light output surface 10s2, and includes a plurality of pixels 50a two-dimensionally arranged in a square lattice along the light detection surface 50s.
  • the photodetection surface 50s is flat.
  • the plurality of pixels 50a have sensitivity to the target wavelength range W.
  • the pitches of the plurality of pixels 50a in each of the X direction and the Y direction may be uniform, for example.
  • the pitch in the X direction and the pitch in the Y direction can be equal to each other, for example.
  • the pitch in each of the X direction and the Y direction may be, for example, 1 ⁇ m or more and 10 ⁇ m or less.
  • Each of the plurality of pixels 50a may be provided with a plurality of microlenses 40a directly above it.
  • the microlens 40a can more efficiently guide the light that has passed through the filter 100 to the photoelectric conversion section of the pixel 50a.
  • the light incidence surface 10s1 and the light detection surface 50s are parallel to each other. "The light incidence surface 10s1 and the light detection surface 50s are parallel to each other" does not mean that they are strictly parallel, but rather that the normal direction of the light incidence surface 10s1 and the normal direction of the light detection surface 50s are parallel to each other. This means that the angle formed by the two is 10 degrees or less.
  • the normal direction of the light entrance surface 10s1 is perpendicular to the light entrance surface 10s1 and is a direction moving away from the filter array 10.
  • the normal direction of the light detection surface 50s is perpendicular to the light detection surface 50s and is a direction moving away from the image sensor 50.
  • the pitch of the plurality of filters 100 included in the filter array 10 is different from the pitch of the pixels 50a included in the image sensor 50. That is, the plurality of filters 100 do not correspond one-to-one to the plurality of pixels 50a. The reason will be explained later.
  • the pitch of the plurality of filters 100 is simply referred to as a "filter pitch”
  • the pitch of the plurality of pixels 50a is simply referred to as a "pixel pitch.”
  • the light reflected by the target object 60 mainly enters the light incidence surface 10s1 of the filter array 10 through the substrate 20 along the ⁇ Z direction, passes through the filter array 10, and exits from the light exit surface 10s2 of the filter array 10. Emits light.
  • the light emitted from the light output surface 10s2 of the filter array 10 enters the light detection surface 50s of the image sensor 50.
  • the distance between the light output surface 10s2 and the light detection surface 50s differs for each multimode filter.
  • the photodetection device 300 of this embodiment is manufactured by fixing the filter array 10 and the image sensor 50 so that the uneven surface of the filter array 10 faces the photodetection surface 50s. Since the distance between the light output surface 10s2 and the light detection surface 50s becomes uneven, even if multiple reflections of light occur between the light output surface 10s2 and the light detection surface 50s, interference fringes due to light interference will not appear in the captured image. can be suppressed from appearing. As a result, it becomes possible to improve the imaging characteristics of the photodetecting device 300. By irregularly arranging multiple types of multimode filters, not only can the multiple separated images 220 be restored more accurately, but also the appearance of interference fringes in the captured image can be further suppressed.
  • the second reflective layer 14b instead of the substrate 20 is arranged to face the photodetection surface 50s of the image sensor 50, so the filter array 10 and the image sensor 50 can be brought close to each other.
  • the distance between the part of the light output surface 10s2 that is closest to the light detection surface 50s and the light detection surface 50s (hereinafter sometimes referred to as "minimum distance dm") may be, for example, 0.1 ⁇ m or more and 200 ⁇ m or less.
  • the F value of the optical system 40 shown in FIG. 1 may be 16 or less, and the pixel pitch may be about 6 ⁇ m.
  • the depth of focus is about 200 ⁇ m, so if the minimum distance between the light exit surface 10s2 and the light detection surface 50s is within the above range, most of the light that has passed through each filter 100 will be transferred to the light detection surface.
  • the light can be made incident on a region located directly under each filter 100 within 50 seconds.
  • the spectrum of light detected by the pixel 50a and the transmission spectrum of the multimode filter may deviate.
  • the interference that may occur here depends on the distance d between the light exit surface 10s2 and the light detection surface 50s.
  • m1 is an integer of 1 or more.
  • m2 is an integer greater than or equal to 0.
  • FIG. 7 is a graph showing a transmission spectrum in a configuration including two media having the same refractive index and an air gap layer located between them.
  • the solid line, dotted line, and broken line shown in FIG. 7 represent cases where the thickness d of the gap layer is 100 nm, 125 nm, and 150 nm, respectively.
  • the transmittance increases gradually, and when the wavelength becomes shorter than the wavelength at which fundamental mode interference occurs, the transmittance tends toward a maximum value. It increases rapidly.
  • the photodetection element of each pixel detects light in which the influence of the above interference is added to the transmission spectrum of the multimode filter. That is, the spectrum of light detected in each pixel and the transmission spectrum of the multimode filter will differ greatly, which may lead to deterioration of imaging characteristics such as an increase in restoration error of the separated image 220.
  • the target wavelength range is the wavelength range of visible light, that is, about 400 nm or more and about 700 m or less. If the minimum distance dm is 0.1 ⁇ m or less, the transmittance may be lowered over the entire target wavelength range due to the influence of interference. If the minimum distance dm is larger than 0.1 ⁇ m, that is, if there is no pixel for which the distance dm is 0.1 ⁇ m or less, it is possible to reduce the influence of interference near a wavelength of 400 nm in the target wavelength range. . Therefore, the imaging characteristics can be improved more than when the minimum distance dm is 0.1 ⁇ m or less.
  • the minimum distance dm is larger than 0.125 ⁇ m, it is possible to reduce the influence of interference in the wavelength range of 400 nm or more and 500 nm or less among the target wavelength ranges, making it possible to further improve the imaging characteristics. .
  • the minimum distance dm is larger than 0.150 ⁇ m, it is possible to reduce the influence of interference in the wavelength range of 400 nm or more and 600 nm or less among the target wavelength ranges, making it possible to further improve the imaging characteristics. .
  • the imaging characteristics can be improved by making the minimum distance dm larger than ⁇ 1/4.
  • the imaging characteristics can be further improved.
  • the transmittance shown in FIG. 7 oscillates at a shorter period as the wavelength changes in the target wavelength range due to the influence of interference. For example, if this vibration width is sufficiently smaller than the width of each wavelength range W1, wavelength range W2, ..., wavelength range WN included in the target wavelength range W shown in FIG. W1, wavelength range W2, . . . , wavelength range WN, and are averaged and canceled. As a result, the plurality of separated images 220 are hardly affected by interference, and the imaging characteristics can be further improved.
  • the lower limit wavelength ⁇ 1 and upper limit wavelength ⁇ 2 of the target wavelength range may be the lower limit wavelength and upper limit wavelength of the wavelength components included in the separated image 220, respectively.
  • the lower limit wavelength ⁇ 1 and upper limit wavelength ⁇ 2 of the target wavelength range may be the lower limit wavelength and upper limit wavelength of light that can be detected by the image sensor 50, respectively.
  • the lower limit wavelength ⁇ 1 and upper limit wavelength ⁇ 2 of the target wavelength range may be the lower limit wavelength and upper limit wavelength of the light incident on the image sensor 50, respectively.
  • FIG. 8 is a cross-sectional view schematically showing another example of the photodetecting device 300.
  • the structure shown in FIG. 8 differs from the structure shown in FIG. 6 in that the substrate 20 is provided with an antireflection film 22 on the surface opposite to the surface supporting the filter array 10.
  • the antireflection film 22 can suppress reflection of light generated at the interface between the substrate 20 and air shown in FIG. 6. Therefore, the light detection efficiency of the light detection device 300 can be improved.
  • the anti-reflection film 22 allows the filter array 10 and the substrate 20 to be warped more slowly or to reverse the direction of the warp. By adjusting the warpage of the filter array 10 and the substrate 20 with the antireflection film 22, it is possible to further suppress the appearance of interference fringes in the captured image.
  • the filter array 10 and the image sensor 50 are bonded and fixed, it is inevitable that a deviation on the order of ⁇ m occurs in the arrangement of the two due to tolerances during bonding. Since each filter pitch is also on the ⁇ m order, the plurality of filters 100 included in the filter array 10 do not face the plurality of pixels 50a included in the image sensor 50 on a one-to-one basis when positional deviations are considered.
  • FIG. 9 is a plan view schematically showing a photodetection device 310 in a comparative example.
  • the plan view is a view of the photodetector 310 viewed from the light incident surface side of the filter array 10.
  • illustration of the substrate 20 is omitted.
  • the thick lines represent the filter array 10 including the filters 100 arranged in a matrix
  • the thin lines represent the image sensor 50 including the pixels 50a arranged in the matrix.
  • Filter 100 and pixel 50a have a square shape, and both sizes are equal to each other.
  • the plurality of filters 100 included in the filter array 10 are arranged shifted by half the pitch in each of the X direction and the Y direction with respect to the plurality of pixels 50a included in the image sensor 50. There is.
  • the white arrows shown in FIG. 9 represent the displacement of the filter array 10 with respect to the image sensor 50. Due to the misalignment, the light that has passed through one filter 100 will be incident on the four pixels 50a, reducing the independence of the pixels 50a. As a result, the accuracy of restoring the separated image 220 decreases.
  • FIG. 10 is a diagram for explaining the relationship between the displacement of the filter array 10 and the image sensor 50 and the restoration error of the separated image 220 in a comparative example.
  • the horizontal axis shown in FIG. 10 represents the displacement of the filter array 10 and the image sensor 50.
  • Filter array 10 is offset by the same distance in each of the X and Y directions. 0 and 1 on the horizontal axis mean that the filter 100 completely matches the pixel 50a, and 0.5 on the horizontal axis means that the filter 100 is shifted by half with respect to the pixel 50a, as shown in FIG. means if there is.
  • the vertical axis shown in FIG. 10 is the calculation result of the restoration error of the separated image 220.
  • the restoration error is the degree of deviation between the restored separated image 220 and the correct image, and can be expressed using various indicators such as MSE (Mean Squared Error) and PSNR (Peak Signal-to-Noise Ratio). .
  • MSE is used herein. Note that in reality, it may not be easy to define the correct image. In such cases, the correct answer can be determined by, for example, observing using a bandpass filter that transmits light of a specific wavelength, a subject with a known transmission spectrum and/or reflection spectrum, or a laser with a known emission wavelength. An image may also be defined.
  • the effective area of the filter array 10 means such that the transmission spectrum of the filter array 10 has a maximum value in at least two of the wavelength ranges W1 to WN. means a configured area.
  • Effective area of the image sensor 50 means an area of the image sensor 50 from which a signal for obtaining the separated image 220 is extracted. When the image sensor 50 extracts signals for obtaining the separated image 220 from some pixels 50a among the plurality of pixels 50a, the area where the some pixels 50a are arranged is the effective area of the image sensor 50. .
  • the condition is that the effective area of the image sensor 50 falls within the outer edge of the effective area of the filter array 10 in plan view. That is, the effective area of the filter array 10 has a first part that overlaps the entire effective area of the image sensor 50 and a second part that does not overlap the effective area of the image sensor 50 in plan view.
  • the first portion can be a central region and the second portion can be a peripheral region surrounding the central region.
  • the restoration error when the placement deviation is 0 or 1, the restoration error is minimum, and when the placement deviation is 0.5, the restoration error is maximum.
  • the maximum reconstruction error is about 2.5 times the minimum reconstruction error.
  • placement deviation is considered as a factor that increases the restoration error, but in reality, for example, fluctuations in the dark current in the pixel 50a also become a factor that increases the restoration error. Therefore, if the placement deviation is 0.5, the MSE may exceed 100 in actual use, and the separated image 220 may deteriorate.
  • the pixel pitch may be, for example, 1 ⁇ m or more and 10 ⁇ m or less. Even if the pixel pitch is set to 10 ⁇ m in order to suppress the influence of placement deviation, half of the pixel pitch is 5 ⁇ m. Industrially and realistically, the intersection when fixing the filter array 10 and the image sensor 50 with adhesive is about 5 ⁇ m. That is, in reality, a displacement of about 5 ⁇ m may occur.
  • the filter pitch is equal to the pixel pitch
  • the restoration error can be minimized, and the separated image 220 can be restored more accurately.
  • the positional deviation occurs even by a few ⁇ m, a large restoration error will occur, which may cause deterioration of the separated images.
  • the present inventor discovered such a problem and came up with a photodetection device that can solve the problem.
  • FIG. 11 is a plan view schematically showing an example of the photodetection device 300 according to this embodiment.
  • the effective area of the filter array 10 is wider than the effective area of the image sensor 50, and the effective area of the filter array 10 has a first portion that overlaps the entire effective area of the image sensor 50 in plan view. and a second portion that does not overlap the effective area of the image sensor 50.
  • the size of the effective area of the filter array 10 is larger than the size of the effective area of the image sensor 50.
  • the size of the effective area of the filter array 10 in each of the X direction and the Y direction is, for example, larger than the size of the effective area of the image sensor 50. It may be larger by 10 ⁇ m or more.
  • the size of the effective area of the filter array 10 may be larger than the size of the effective area of the image sensor 50 by, for example, twice or more the filter pitch.
  • the filter array 10 and the image sensor 50 are adhesively fixed to each other so that the center of the effective area of the filter array 10 coincides with the center of the effective area of the image sensor 50, even if a displacement occurs in the arrangement. no problem. Even if there is a displacement of 5 ⁇ m or less or less than the filter pitch in the ⁇ X direction and/or ⁇ Y direction, the effective area of the filter array 10 remains the first portion that overlaps the entire effective area of the image sensor 50 in plan view. This is because it is possible to have As a result, the image sensor 50 can detect the light transmitted through the filter array 10 in its entire effective area. Although not shown in FIG. 11, a photodetection element for quality confirmation may be provided outside the effective area of the image sensor 50.
  • the filter 100 and the pixel 50a have a square shape.
  • the size of filter 100 is smaller than the size of pixel 50a.
  • the filter pitch is shorter than the pixel pitch and is 0.9 times the pixel pitch.
  • FIG. 12 is a diagram for explaining the relationship between the displacement of the filter array 10 and the image sensor 50 and the restoration error of the separated image 220 in this embodiment.
  • the solid line represents this embodiment, and the broken line represents the aforementioned comparative example.
  • Filter array 10 is offset by the same distance in each of the X and Y directions.
  • the horizontal and vertical axes shown in FIG. 12 are the same as the horizontal and vertical axes shown in FIG. 10, respectively. However, 0 and 1 on the horizontal axis shown in FIG. 12 mean that the center of a certain filter 100 completely coincides with the center of a certain pixel 50a.
  • the restoration error is almost constant and is almost independent of the arrangement deviation.
  • the separated image 220 can be more accurately and stably restored. All industrial products manufactured and sold must meet the required performance. Products that cannot exhibit the required performance due to manufacturing variations cannot be shipped, which increases manufacturing costs. Naturally, the design may be designed so that such a thing does not occur.
  • the restoration error becomes maximum and the MSE exceeds 80.
  • the MSE exceeds 100, so the performance of the photodetector 310 as an industrial product cannot be said to be high.
  • the restoration error is almost constant, hardly depends on the displacement in the arrangement, and the MSE is about 50. Since the MSE does not exceed 100 in actual use, it can be said that the performance of the photodetector 300 as an industrial product is high.
  • the reason why the separated image 220 can be more accurately restored in a configuration where the filter pitch is shorter than the pixel pitch is considered to be as follows.
  • the center of the filter 100 will match or be close to the center of the pixel 50a at some point, so performance as designed or close to the design can be obtained, and an increase in restoration errors can be suppressed.
  • the center of the filter 100 is close to the center of the pixel 50a at the four corners, and most of the transmission spectrum of light detected by one pixel 50a is determined by one filter 100.
  • the high randomness of the filter array 10 can be sufficiently reflected, and the separated image 220 can be restored more accurately.
  • FIG. 13 is a diagram for explaining the relationship between the ratio of the filter pitch to the pixel pitch and the restoration error of the separated image 220 when the placement deviation is 0.5 in this embodiment.
  • the horizontal axis shown in FIG. 13 represents the ratio of filter pitch to pixel pitch.
  • the vertical axis shown in FIG. 13 represents the restoration error.
  • 0.5 which causes the maximum restoration error of the separated image 220 in a configuration in which the ratio of the filter pitch to the pixel pitch is 1, is taken as an example.
  • the ratio of the filter pitch to the pixel pitch is greater than 0.998 and less than 1.002, that is, when the ratio is within the range of 1 ⁇ 0.002
  • the separated image 220 Restoration error increases significantly.
  • the ratio of the filter pitch to the pixel pitch is greater than 0.99 and less than 1.01, that is, if the ratio is within the range of 1 ⁇ 0.01
  • the restoration error of the separated image 220 is It is unstable because it strongly depends on the deviation of the In that case, depending on the imaging situation, the restoration error may deteriorate unexpectedly due to aberrations of the optical system 40 shown in FIG.
  • the ratio of the filter pitch to the pixel pitch is preferably 0.998 or less or 1.002 or more. In addition to this point of view, from the viewpoint of stabilizing the restoration error of the separated image 220, it is more desirable that the ratio of the filter pitch to the pixel pitch is 0.99 or less or 1.01 or more.
  • FIG. 14 is a diagram for explaining the relationship between the ratio of the filter pitch to the pixel pitch, the displacement, and the restoration error of the separated image 220 in this embodiment.
  • the horizontal axis shown in FIG. 14 represents the ratio of filter pitch to pixel pitch.
  • the axis in the depth direction shown in FIG. 14 represents the displacement in the arrangement described above.
  • the vertical axis shown in FIG. 14 represents the difference in restoration errors. As the positional deviation, a range of 0.0 or more and 0.5 or less is considered, and a range of 0.5 or more and 1.0 or less is not considered.
  • the restoration error of the separated image 220 in the range where the placement deviation is 0.5 or more and 1.0 or less and the restoration error of the separated image 220 in the range where the placement deviation is 0.0 or more and 0.5 or less are both This is because the relationship is a combination of the two.
  • FIG. 15 is a diagram for explaining the relationship between the ratio of the filter pitch to the pixel pitch and the maximum value of the restoration error of the separated image 220 in this embodiment.
  • the maximum value of the restoration error of the separated image 220 is the value at which the restoration error of the separated image 220 shown in FIG. 14 becomes maximum at a certain positional shift when the ratio of the filter pitch to the pixel pitch is fixed.
  • the restoration error of the separated image 220 can be reduced.
  • the restoration error can be further reduced than when the ratio is larger than 1.
  • the ratio of the filter pitch to the pixel pitch is 1.5 or less, a significant increase in the restoration error of the separated image 220 can be suppressed.
  • the ratio of the filter pitch to the pixel pitch is 0.55 or more, a significant increase in the restoration error of the separated image 220 can be suppressed.
  • the ratio of the filter pitch to the pixel pitch is 0.85 or more and 0.95 or less, the restoration error of the separated image 220 is particularly low and stable.
  • the ratio of the filter pitch to the pixel pitch is preferably 0.998 or less or 1.002 or more, and more preferably 0.99 or less or 1.01 or more.
  • the ratio of filter pitch to pixel pitch is more preferably 1.5 or less, more preferably 0.55 or more, and 0.85 or more. It has been found that a value of .95 or less is even more desirable.
  • the filter pitch in the X direction and the filter pitch in the Y direction are equal to each other, and the pixel pitch in the X direction and the pixel pitch in the Y direction are equal to each other.
  • the filter pitch in the X direction and the filter pitch in the Y direction may be different from each other, and the pixel pitch in the X direction and the pixel pitch in the Y direction may be different from each other.
  • the ratio of the filter pitch to the pixel pitch within the above range in at least one of the X direction and the Y direction, the separated image 220 can be restored more accurately, and the photodetection device 300 can be used as an industrial product. It becomes possible to improve performance. By designing the ratio within the above range in both the X direction and the Y direction, it becomes possible to further improve the performance of the photodetecting device 300 as an industrial product.
  • Designed within the above range in at least one of the X direction and the Y direction means (a) designed within the above range in the X direction, (b) designed within the above range in the Y direction, or, (c) Design within the above range in the X direction, and design within the above range in the Y direction.”
  • the photodetecting device 300 even if a displacement occurs in the arrangement of the filter array 10 and the image sensor 50, the separated image 220 can be restored without a significant increase in the restoration error of the separated image 220. It can be restored more accurately. As a result, it becomes possible to realize a photodetecting device 300 with high productivity and good imaging characteristics.
  • the conditions satisfied by the photodetection device 300 can be generalized as follows.
  • the plurality of filters 100 included in the filter array 10 are arranged in a matrix along first and second directions that intersect with each other.
  • a plurality of pixels 50a included in the image sensor 50 are arranged in a matrix along a third direction and a fourth direction that intersect with each other.
  • the first direction and the second direction may or may not be orthogonal to each other.
  • the third direction and the fourth direction may or may not be orthogonal to each other.
  • the two arrangement directions are orthogonal to each other, and in a triangular lattice arrangement, the two arrangement directions intersect each other at 60°.
  • the plurality of filters 100 are arranged in a square lattice, and similarly, the plurality of pixels 50a may be arranged in a square lattice.
  • a triangular lattice may be used instead of a square lattice.
  • the plurality of filters 100 may be arranged in a square lattice shape, and the plurality of pixels 50a may be arranged in a triangular lattice shape. The relationship between the square lattice and the triangular lattice may be reversed.
  • the first direction and the third direction may be the same direction or may be different directions.
  • the second direction and the fourth direction may be the same direction or different directions.
  • the angle between the third direction and the first direction may be, for example, 0° or more and 45° or less, and the angle between the fourth direction and the second direction may be, for example, 0° or more and 45° or less.
  • the upper limit of the angle may not be 45° but half that, 22.5°.
  • the third direction may be a direction obtained by rotating the first direction clockwise or counterclockwise in plan view.
  • the fourth direction and the second direction are different from each other, the fourth direction may be a direction obtained by rotating the second direction clockwise or counterclockwise in plan view.
  • the angle between the third direction and the first direction is 0° or more and 10° or less, both directions may be treated as substantially the same direction.
  • the angle between the fourth direction and the second direction is 0° or more and 10° or less, both directions may be treated as substantially the same direction.
  • the filter pitch in the first direction may or may not be uniform.
  • the filter pitch in the first direction is the average value of the filter pitch in the first direction.
  • the average value of the filter pitches in the first direction may be calculated based on the pitches of all filters in the first direction. Alternatively, the average value of the filter pitches in the first direction may be calculated based on the pitches of some filters in the first direction.
  • the filter pitch in the second direction may or may not be uniform.
  • the filter pitch in the second direction is the average value of the filter pitch in the second direction.
  • the average value of the filter pitches in the second direction may be calculated based on the pitches of all filters in the second direction. Alternatively, the average value of the filter pitches in the second direction may be calculated based on the pitches of some filters in the second direction.
  • the pixel pitch in the third direction may or may not be uniform.
  • the pixel pitch in the third direction is the average value of the pixel pitch in the third direction.
  • the average value of pixel pitches in the third direction may be calculated based on the pitches of all pixels in the third direction. Alternatively, the average value of the pixel pitch in the third direction may be calculated based on the pitch of some pixels in the third direction.
  • the pixel pitch in the fourth direction may or may not be uniform.
  • the pixel pitch in the fourth direction is the average value of the pixel pitch in the fourth direction.
  • the average value of pixel pitches in the fourth direction may be calculated based on the pitches of all pixels in the fourth direction. Alternatively, the average value of the pixel pitch in the fourth direction may be calculated based on the pitch of some pixels in the fourth direction.
  • the first direction and the third direction are the same X direction
  • the second direction and the fourth direction are the same Y direction.
  • the first direction and the second direction are orthogonal to each other
  • the third direction and the fourth direction are orthogonal to each other.
  • the filter pitch in each of the first direction and the second direction is uniform
  • the pixel pitch in each of the third direction and the fourth direction is uniform.
  • the quotient obtained by dividing the filter pitch in the first direction by the pixel pitch in the third direction is set as Rp1
  • the quotient obtained by dividing the filter pitch in the second direction by the pixel pitch in the fourth direction is set as Rp2.
  • At least one of Rp1 and Rp2 is different from 1. Both Rp1 and Rp2 may be different from 1.
  • Rp1 and Rp2 may be equal to each other or may be different from each other. When Rp1 and Rp2 are equal to each other, the design of the filter array 10 is easy.
  • Rp1 and Rp2 are different from 1
  • Rp1 ⁇ 1, Rb) Rp2 ⁇ 1, or Rp1 ⁇ 1 and Rp2 ⁇ 1 good.
  • At least one of Rp1 and Rp2 is preferably 0.998 or less or 1.002 or more, more preferably 0.99 or less or 1.01 or more. In addition, at least one of Rp1 and Rp2 is more preferably 1.5 or less, more preferably 0.55 or more, and even more preferably 0.85 or more and 0.95 or less.
  • At least one of Rp1 and Rp2 is 0.998 or less or 1.002 or more means “(a) Rp1 ⁇ 0.998, or 1.002 ⁇ Rp1, (b) Rp2 ⁇ 0.998, or 1.002 ⁇ Rp2, or (c) “Rp1 ⁇ 0.998, or 1.002 ⁇ Rp1” and “Rp2 ⁇ 0.998, or 1.002 ⁇ Rp2” good.
  • At least one of Rp1 and Rp2 is 1.5 or less means “(a) Rp1 ⁇ 1.5, (b) Rp2 ⁇ 1.5, or (c) Rp1 ⁇ 1.5 and Rp2 ⁇ 1.5".
  • At least one of Rp1 and Rp2 is 0.55 or more means “(a) 0.55 ⁇ Rp1, (b) 0.55 ⁇ Rp2, or (c) 0.55 ⁇ Rp1 and 0. 55 ⁇ Rp2”.
  • At least one of Rp1 and Rp2 is 0.85 or more and 0.95 or less” means “(a) 0.85 ⁇ Rp1 ⁇ 0.95, (b) 0.85 ⁇ Rp2 ⁇ 0.95, or ( c) 0.85 ⁇ Rp1 ⁇ 0.95 and 0.85 ⁇ Rp2 ⁇ 0.95”.
  • the effective area of the filter array 10 has a first part that overlaps the entire effective area of the image sensor 50 and a second part that does not overlap the effective area of the image sensor 50 in plan view.
  • the size of the effective area of the filter array 10 in the first direction is larger than the size of the effective area of the image sensor 50 in the third direction.
  • the size of the effective area of the filter array 10 in the second direction is larger than the size of the effective area of the image sensor 50 in the fourth direction.
  • the size of the effective area of the filter array 10 in the first direction may be larger than the size of the effective area of the image sensor 50 in the third direction by, for example, 10 ⁇ m or more.
  • the size of the effective area of the filter array 10 in the second direction may be larger than the size of the effective area of the image sensor 50 in the fourth direction by, for example, 10 ⁇ m or more.
  • the size of the effective area of the filter array 10 in the first direction may be larger than the size of the effective area of the image sensor 50 in the third direction by, for example, twice or more the filter pitch in the first direction.
  • the size of the effective area of the filter array 10 in the second direction may be larger than the size of the effective area of the image sensor 50 in the fourth direction by twice or more the filter pitch in the second direction, for example.
  • FIG. 16A is a cross-sectional view schematically showing still another example of the photodetecting device 300.
  • FIG. 16B is a plan view showing a state in which the filter array 10 and the substrate 20 are removed from the photodetecting device 300 shown in FIG. 16A.
  • the filter array 10 has a peripheral region 10p located around the light exit surface 10s2
  • the image sensor 50 has a peripheral region 50p located around the light detection surface 50s.
  • the photodetecting device 300 includes a double-sided tape 30 that bonds together the peripheral region 10p of the filter array 10 and the peripheral region 50p of the image sensor 50.
  • the double-sided tape 30 has a shape extending along a direction perpendicular to the light detection surface 50s, and as shown in FIG. 16B, the double-sided tape 30 has a light emitting surface 10s2 and a light detection surface 50s. It has a shape that surrounds the space between.
  • the double-sided tape 30 defines the distance between the light output surface and the light detection surface 50s of each filter 100.
  • the height of the double-sided tape 30 can be designed so that the distance between the light emitting surface 10s2 and the light detecting surface 50s satisfies the above-mentioned minimum distance.
  • FIG. 16C is a plan view schematically showing another example of the arrangement of the double-sided tape 30 shown in FIG. 16B.
  • the four corners of the peripheral region 10p of the filter array 10 and the four corners of the peripheral region 50p of the image sensor 50 are attached to each other with double-sided tape 30.
  • at least a portion of the peripheral region 10p of the filter array 10 and at least a portion of the peripheral region 50p of the image sensor 50 are attached to each other with double-sided tape 30.
  • the arrangement of filter array 10 and image sensor 50 can be fixed.
  • FIG. 16D is a plan view schematically showing an example in which a plurality of spacers 32 and a plurality of adhesives 35 are arranged instead of the double-sided tape 30 shown in FIG. 16B.
  • the photodetecting device 300 further includes a plurality of spacers 32 sandwiched between the peripheral region 10p of the filter array 10 and the peripheral region 50p of the image sensor 50. At least a portion of the peripheral region 10p of the filter array 10 and at least a portion of the peripheral region 50p of the image sensor 50 are adhesively fixed to each other by a plurality of adhesives 35.
  • the adhesive 35 disposed in the peripheral area 50p does not have to be transparent. This is because the peripheral region 50p does not contribute to light detection.
  • the adhesive 35 and the spacer 32 may be configured so as not to overlap with each other. In such a configuration, it is possible to accurately define the distance between the light output surface 10s2 of the filter array 10 and the light detection surface 50s of the image sensor 50, and the filter array 10 and the image sensor 50 can be placed in a more parallel state. It becomes possible to paste them together. Since the spacer 32 and the transparent adhesive 34 are not arranged on the light detection surface 50s, the light is not attenuated by the spacer 32 and the transparent adhesive 34.
  • a plurality of spacers 32 and a plurality of adhesives 35 are alternately arranged in the peripheral region 50p of the image sensor 50.
  • the plurality of spacers 32 and the plurality of adhesives 35 do not need to be arranged alternately; two or more spacers 32 may be arranged consecutively, or two or more adhesives 35 may be arranged consecutively. may have been done.
  • four spacers 32 may be arranged at each of the four corners of the peripheral region 50p of the image sensor 50, and a plurality of adhesives 35 may be arranged at other parts.
  • the spacer 32 has a rectangular cross-sectional shape, but may have a circular cross-sectional shape.
  • the adhesive 35 has a circular shape, it may also have an oval shape. If it is not necessary to accurately define the distance between the light exit surface 10s2 and the light detection surface 50s, the adhesive 35 and the spacer 32 may overlap each other when viewed from the normal direction of the light entrance surface 10s1.
  • the antireflection film 22 shown in FIG. 8 may be applied to the configuration shown in FIG. 16A.
  • At least one of A and B may mean “(A), (B), or (A and B).”
  • a filter array including a plurality of filters; an image sensor having a plurality of pixels and detecting light from the filter array; Equipped with The plurality of filters include a first filter and a second filter,
  • the transmission spectrum of the first filter has a plurality of first maximum values
  • the transmission spectrum of the second filter has a plurality of second maximum values
  • the plurality of wavelength values corresponding to the plurality of first maximum values are different from the plurality of wavelength values corresponding to the plurality of second maximum values
  • the plurality of filters are arranged in a matrix along a first direction and a second direction that intersect with each other
  • the plurality of pixels are arranged in a matrix along a third direction and a fourth direction that intersect with each other,
  • the angle between the third direction and the first direction is 0° or more and 45° or less
  • the angle between the fourth direction and the second direction is 0° or more and 45° or less, (a) Rp1 ⁇ 1, (b) Rp2 ⁇ 1, or (c) the Rp1 ⁇
  • Rp1 and Rp2 in the above embodiment may be as shown below.
  • Rp1 (first filter distance in the first direction of the filter array 10)/(first pixel distance in the third direction of the image sensor 50)
  • Rp2 (second filter distance in the second direction of the filter array 10)/(second pixel distance in the fourth direction of the image sensor 50)
  • FIG. 17 is a diagram for explaining an example of the first filter distance in the first direction of the filter array 10 and an example of the second filter distance in the second direction of the filter array 10.
  • the filter array 10 includes a plurality of filters: filters f(1,1), ⁇ , filters f(n,m).
  • the filter distance between filter f(1,1) and filter f(1,2) is shown as fp[f(1,1),f(1,2)].
  • fp[f(1,1),f(1,2)] is the distance between the center of filter f(1,1) and the center of filter f(1,2) on the XY plane.
  • the filter distance between filter f(1,1) and filter f(2,1) is shown as fp[f(1,1),f(2,1)].
  • fp[f(1,1),f(2,1)] is the distance between the center of filter f(1,1) and the center of filter f(2,1) on the XY plane.
  • the first filter distance in the first direction of the filter array 10 may be determined based on at least one of fp (first direction, 1), ..., fp (first direction, n-1). good.
  • the first filter distance in the first direction of the filter array 10 may be (fp(first direction, 1)+...+fp(first direction, n-1))/(n-1).
  • the second filter distance in the second direction of the filter array 10 may be determined based on at least one of fp (second direction, 1), ..., fp (second direction, m-1). good.
  • the second filter distance in the second direction of the filter array 10 may be (fp(second direction, 1)+...+fp(second direction, m-1))/(m-1).
  • FIG. 18 is a diagram for explaining an example of the first pixel distance in the third direction of the image sensor 50 and an example of the second pixel distance in the fourth direction of the image sensor 50.
  • the image sensor 50 includes a plurality of pixels p(1,1) to p(n,m).
  • pp[p(1,1),p(1,2)] is the distance between the center of pixel p(1,1) and the center of pixel p(1,2) on the X'Y' plane.
  • pp[p(1,1),p(2,1)] is the distance between the center of pixel p(1,1) and the center of pixel pp(2,1) on the X'Y' plane.
  • the first pixel distance in the third direction of the image sensor 50 may be determined based on at least one of pp (third direction, 1), ..., pp (third direction, n-1). good.
  • the first pixel distance in the third direction of the image sensor 50 may be (pp(third direction, 1)+...+pp(third direction, n-1))/(n-1).
  • the second pixel distance in the fourth direction of the image sensor 50 may be determined based on at least one of pp (fourth direction, 1), ..., pp (fourth direction, m-1). good.
  • the second pixel distance in the fourth direction of the image sensor 50 may be (pp(fourth direction, 1)+...+pp(fourth direction, m-1))/(m-1).
  • the number of filters is n ⁇ m and the number of pixels is n ⁇ m.
  • the number of filters and the number of elements in the matrix may be different or may be the same. Good too.
  • the photodetection device and filter array of the present disclosure are useful, for example, in cameras and measuring instruments that acquire two-dimensional images with multiple wavelengths.
  • the photodetection device and filter array according to the present disclosure can also be applied to biological, medical, and beauty sensing, food foreign matter/residual pesticide inspection systems, remote sensing systems, in-vehicle sensing systems, and the like.
  • Filter array 10s1 Light incident surface 10s2 Light exit surface 10p Peripheral area of filter array 12 Interference layer 14a First reflective layer 14b Second reflective layer 20 Substrate 22 Antireflection film 30 Double-sided tape 32 Spacer 35 Adhesive 40 Optical system 40a Microlens 50 Image sensor 50s Photodetection surface 50a Photodetection element 50p Peripheral area of image sensor 60 Object 100 Filter 120 Image 200 Signal processing circuit 220 Separated image 300, 310 Photodetection device 400 Photodetection system

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

第1フィルタと第2フィルタを含む複数のフィルタを含むフィルタアレイ(10)と、複数の画素を有し、前記フィルタアレイを介した光を検出するイメージセンサ(50)を含む光検出装置(300)。複数の極大値を有する前記第1フィルタの第1透過スペクトルは、複数の極大値を有し前記第2フィルタの第2透過スペクトルと異なる。前記複数のフィルタは互いに交差する第1方向および第2方向に沿って行列状に配列され、前記複数の画素は互いに交差する第3方向および第4方向に沿って行列状に配列される。Rp1およびRp2の少なくとも一方は1とは異なる。前記Rp1は前記第1方向における前記複数のフィルタのピッチを前記第3方向における前記複数の画素のピッチによって除算した商、前記Rp2は前記第2方向における前記複数のフィルタのピッチを、前記第4方向における前記複数の画素のピッチによって除算した商である。

Description

光検出装置、光検出システム、およびフィルタアレイ
 本開示は、光検出装置、光検出システム、およびフィルタアレイに関する。
 各々が狭帯域である多数のバンド、例えば数十バンドのスペクトル情報を活用することにより、従来のRGB画像では困難であった対象物の詳細な物性の把握ができる。このような多波長の情報を取得するカメラは、「ハイパースペクトルカメラ」と呼ばれている。ハイパースペクトルカメラは、食品検査、生体検査、医薬品開発、および鉱物の成分分析などの様々な分野で利用されている。
 特許文献1は、圧縮センシングを利用したハイパースペクトル撮像装置の例を開示している。当該撮像装置は、光透過率の波長依存性が互いに異なる複数の光学フィルタのアレイである符号化素子と、符号化素子を透過した光を検出する撮像素子、いわゆるイメージセンサと、信号処理回路とを備える。被写体とイメージセンサとを結ぶ光路上に、符号化素子が配置される。イメージセンサは複数の画素を有し、各画素において複数の波長域の成分が重畳された光を同時に検出することにより、1つの波長多重画像を取得する。信号処理回路は、符号化素子の分光透過率(spectral transmittance)の空間分布情報を利用して、取得された波長多重画像に圧縮センシングを適用することにより、複数の波長域の各々についての画像データを生成する。特許文献1に開示されている撮像装置では、符号化素子として、対象波長域内で2つ以上の透過率のピーク(すなわち極大値)を有する光学フィルタアレイが用いられている。
 特許文献2は、誘電体多層膜を反射層に用いたファブリ・ペロー共振器を備えるフィルタアレイの例を開示している。特許文献3から5は、フィルタアレイとイメージセンサとの配置の例を開示している。特許文献6から9は、RGB画像を取得する従来の電子式カメラにおけるフィルタアレイおよびイメージセンサの例を開示している。
特開2016-156801号公報 米国特許第9466628号明細書 特表2013-512445号公報 特開昭63-151076号公報 特開昭59-218770号公報 特表2018-529297号公報 特開昭56-123185号公報 実公昭55-165562号公報 国際公開第2010/079557号
 本開示は、生産性が高く、かつ撮像特性が良好な光検出装置、光検出システム、およびそれらの構成要素であるフィルタアレイを提供する。
 本開示の一態様に係る光検出装置は、複数のフィルタを含むフィルタアレイと、複数の画素を有し、前記フィルタアレイを介した光を検出するイメージセンサと、を備え、前記複数のフィルタは、第1フィルタと第2フィルタを含み、前記第1フィルタの第1透過スペクトルは、前記第2フィルタの第2透過スペクトルと異なり、前記第1透過スペクトルは、複数の極大値を有し、前記第2透過スペクトルは、複数の極大値を有し、前記複数のフィルタは、互いに交差する第1方向および第2方向に沿って行列状に配列されており、前記複数の画素は、互いに交差する第3方向および第4方向に沿って行列状に配列されており、前記第1方向における前記複数のフィルタのピッチを、前記第3方向における前記複数の画素のピッチによって除算した商をRp1とし、前記第2方向における前記複数のフィルタのピッチを、前記第4方向における前記複数の画素のピッチによって除算した商をRp2とすると、前記Rp1および前記Rp2の少なくとも一方は1とは異なる。
 本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意の組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばCD-ROM(Compact Disc‐Read Only Memory)等の不揮発性の記録媒体を含む。装置は、1つ以上の装置で構成されてもよい。装置が2つ以上の装置で構成される場合、当該2つ以上の装置は、1つの機器内に配置されてもよく、分離した2つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲では、「装置」とは、1つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
 本開示の技術によれば、生産性が高く、かつ撮像特性が良好な光検出装置、光検出システム、およびそれらの構成要素であるフィルタアレイを実現できる。
図1は、本開示の実施形態による光検出システムの例を模式的に示す図である。 図2Aは、本開示の実施形態によるフィルタアレイの例を模式的に示す図である。 図2Bは、対象波長域に含まれる複数の波長域のそれぞれの光の透過率の空間分布の一例を示す図である。 図2Cは、図2Aに示すフィルタアレイに含まれるあるフィルタの透過スペクトルの例を示す図である。 図2Dは、図2Aに示すフィルタアレイに含まれる他のフィルタの透過スペクトルの例を示す図である。 図3Aは、対象波長域と、それに含まれる複数の波長域との関係の例を説明するための図である。 図3Bは、対象波長域と、それに含まれる複数の波長域との関係の他の例を説明するための図である。 図4Aは、フィルタアレイに含まれるあるフィルタの透過スペクトルの特性を説明するための図である。 図4Bは、図4Aに示す透過スペクトルを、波長域ごとに平均化した結果を示す図である。 図5は、本開示の実施形態によるフィルタアレイの構造の例を模式的に示す断面図である。 図6は、本開示の実施形態による光検出装置の例を模式的に示す断面図である。 図7は、屈折率が等しい2つの媒質、およびその間に位置する空気のギャップ層を備える構成における透過スペクトルを示すグラフである。 図8は、光検出装置の他の例を模式的に示す断面図である。 図9は、比較例における光検出装置を模式的に示す平面図である。 図10は、比較例における、フィルタアレイおよびイメージセンサの配置のずれと、分離画像の復元誤差との関係を説明するための図である。 図11は、本実施形態による光検出装置の例を模式的に示す平面図である。 図12は、本実施形態における、フィルタアレイおよびイメージセンサの配置のずれと、分離画像の復元誤差との関係を説明するための図である。 図13は、本実施形態における、画素ピッチに対するフィルタピッチの比と、配置のずれが0.5である場合の分離画像の復元誤差との関係を説明するための図である。 図14は、本実施形態における、画素ピッチに対するフィルタピッチの比と、配置のずれと、分離画像220の復元誤差との関係を説明するための図である。 図15は、本実施形態における、画素ピッチに対するフィルタピッチの比と、分離画像の復元誤差の最大値との関係を説明するための図である。 図16Aは、光検出装置のさらに他の例を模式的に示す断面図である。 図16Bは、図16Aに示す光検出装置からフィルタアレイおよび基板を除いた状態を示す平面図である。 図16Cは、図16Bに示す両面テープの配置の他の例を模式的に示す平面図である。 図16Dは、図16Bに示す両面テープ30の代わりに複数のスペーサおよび複数の接着剤を配置した例を模式的に示す平面図である。 図17は、フィルタアレイ10の第1方向の第1フィルタ距離の例、フィルタアレイ10の第2方向の第2フィルタ距離の例を説明するための図である。 図18は、イメージセンサ50の第3方向の第1画素距離の例、イメージセンサ50の第4方向の第2画素距離の例を説明するための図である。
 本開示において、回路、ユニット、装置、部材の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路(IC)、またはLSI(large scale integration)を含む1つまたは複数の電子回路によって実行され得る。LSIまたはICは、1つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、1つのチップに集積されてもよい。ここでは、LSIまたはICと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(very large scale integration)、もしくはULSI(ultra large scale integration)と呼ばれるものであってもよい。LSIの製造後にプログラムされる、Field Programmable Gate Array(FPGA)、またはLSI内部の接合関係の再構成またはLSI内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。
 さらに、回路、ユニット、装置、部材の全部または一部の機能または操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは1つまたは複数のROM、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置(processor)によって実行されたときに、そのソフトウェアで特定された機能が処理装置(processor)および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている1つまたは複数の非一時的記録媒体、処理装置(processor)、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
 以下、本開示の例示的な実施形態を説明する。なお、以下で説明する実施形態は、いずれも包括的又は具体的な例を示すものである。以下の実施形態で示される数値、形状、構成要素、構成要素の配置位置などは、一例であり、本開示を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
 本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。特許文献1は、対象波長域に含まれる複数の波長域の各々について高い解像度の画像を生成することが可能な撮像装置を開示している。当該撮像装置では、対象物からの光の像が、「符号化素子」と称される光学素子によって符号化されて撮像される。符号化素子は、例えば、2次元平面内に配置された複数の領域を有する。当該複数の領域のうちの少なくとも2つの領域の各々の透過スペクトルは、撮像対象の波長域に含まれる複数の波長域のうち、少なくとも2つの波長域の各々において透過率の極大値を有する。符号化素子は、複数の画素を有するイメージセンサの直上に配置され得る。特許文献1の段落[0073]に記載されているように、符号化素子に含まれる複数の領域の各々は、イメージセンサに含まれる複数の画素の1つに対応または対向する。すなわち、符号化素子に含まれる複数の領域は、イメージセンサに含まれる複数の画素に1対1で対応または対向する。
 符号化素子を用いた撮像によって取得される画素データは、複数の波長域の情報を含む。すなわち、当該画像データは、波長情報が圧縮された圧縮画像データである。したがって、保有するデータ量を抑えることができる。例えば、記録媒体の容量に制約がある場合であっても、長時間の動画像のデータを取得することが可能である。多波長画像は、撮像によって取得された圧縮画像から、複数の波長域にそれぞれ対応する複数の画像を再構成することによって生成される。
 符号化素子は、例えば、2次元的に配列された複数のフィルタを含むフィルタアレイによって実現され得る。複数のフィルタの各々は、例えば、干渉層を含むいわゆるファブリ・ペロー共振器の構造を備え得る。ファブリ・ペロー共振器として、例えば特許文献2に開示されている構造を採用することができる。複数のフィルタは以下のように設計され得る。すなわち、各フィルタの透過スペクトルは、撮像対象の波長域に含まれる複数の波長域のうち、少なくとも2つの波長域の各々において極大値を有する。干渉層の厚さが異なる複数のフィルタは、互いに異なる透過スペクトルを有する。
 フィルタアレイを透過した光はイメージセンサによって検出される。特許文献3に開示されている構成では、イメージセンサ上にフィルタアレイが集積されている。そのような構成では、フィルタアレイの構成を変更すると製造工程も変更する必要が生じ、結果的にコストが高くなってしまう。
 特許文献4および5に開示されている構成では、個別に作製されたフィルタアレイおよびイメージセンサが互いに接着固定されている。このような構成にすれば、フィルタアレイの構成を独立して変更することが可能である。フィルタアレイの構成を変更しても製造工程を変更する必要がなく、製造コストを低く抑えることができる。
 しかしながら、実際には、フィルタアレイおよびイメージセンサを互いに接着固定する構成において、両者の配置にμmオーダのずれが生じることは避けられない。イメージセンサ上にフィルタアレイを集積する構成においても、接着固定する構成よりは小さく抑えられるものの、両者の配置のずれが生じ得る。しかしながら、特許文献1から5のいずれにも、両者の配置のずれに関する記載はない。
 本発明者らは、フィルタアレイおよびイメージセンサの配置のずれが多波長画像の精度を低下させるという課題を見出し、そのような課題を解決することが可能な光検出装置に想到した。後で詳しく説明するが、本開示のある実施形態による光検出装置において、フィルタアレイに含まれる複数のフィルタの配列周期、すなわちピッチは、イメージセンサに含まれる複数の画素のピッチとは異なる。そのような構成により、フィルタアレイおよびイメージセンサの配置のずれが生じても、多波長画像の精度が低下することを抑制できる。以下に、本開示の実施形態による光検出装置、光検出システム、およびフィルタアレイを説明する。
 第1の項目に係る光検出装置は、複数のフィルタを含むフィルタアレイと、複数の画素を有し、前記フィルタアレイを介した光を検出するイメージセンサと、を備える。前記複数のフィルタは、第1フィルタと第2フィルタを含む。前記第1フィルタの第1透過スペクトルは、前記第2フィルタの第2透過スペクトルと異なる。前記第1透過スペクトルは、複数の極大値を有し、前記第2透過スペクトルは、複数の極大値を有する。前記複数のフィルタは、互いに交差する第1方向および第2方向に沿って行列状に配列されている。前記複数の画素は、互いに交差する第3方向および第4方向に沿って行列状に配列されている。前記第1方向における前記複数のフィルタのピッチを、前記第3方向における前記複数の画素のピッチによって除算した商をRp1とし、前記第2方向における前記複数のフィルタのピッチを、前記第4方向における前記複数の画素のピッチによって除算した商をRp2とする。前記Rp1および前記Rp2の少なくとも一方は1とは異なる。
 この光検出装置では、高い生産性および良好な撮像特性を実現できる。
 第2の項目に係る光検出装置は、第1の項目に係る光検出装置において、前記Rp1および前記Rp2の両方が1とは異なる。
 この光検出装置では、より高い生産性およびより良好な撮像特性を実現できる。
 第3の項目に係る光検出装置は、第2の項目に係る光検出装置において、前記Rp1および前記Rp2が互いに等しい。
 この光検出装置では、フィルタアレイの設計が容易である。
 第4の項目に係る光検出装置は、第1から第3の項目のいずれかに係る光検出装置において、前記フィルタアレイの有効領域が、平面視で、前記イメージセンサの有効領域の全体に重なる第1部分と、前記イメージセンサの有効領域に重ならない第2部分とを有する。
 この光検出装置では、イメージセンサが、その有効領域の全体においてフィルタアレイを透過した光を検出することができる。
 第5の項目に係る光検出装置は、第4の項目に係る光検出装置において、前記第1方向における前記フィルタアレイの有効領域のサイズが、前記第3方向における前記イメージセンサの有効領域のサイズよりも10μm以上だけ大きい。さらに、前記第2方向における前記フィルタアレイの前記有効領域のサイズが、前記第4方向における前記イメージセンサの前記有効領域のサイズよりも10μm以上だけ大きい。
 この光検出装置では、第1方向および/または第2方向に5μm以下の配置のずれが生じても、フィルタアレイの有効領域は、平面視でイメージセンサの有効領域の全体に重なる第1部分を有することができる。
 第6の項目に係る光検出装置は、第4または5の項目に係る光検出装置において、前記第1方向における前記フィルタアレイの有効領域のサイズが、前記第3方向における前記イメージセンサの有効領域のサイズよりも、前記第1方向における前記複数のフィルタのピッチの2倍以上だけ大きい。さらに、前記第2方向における前記フィルタアレイの前記有効領域のサイズは、前記第4方向における前記イメージセンサの前記有効領域のサイズよりも、前記第2方向における前記複数のフィルタのピッチの2倍以上だけ大きい。
 この光検出装置では、第1方向および/または第2方向に複数のフィルタのピッチ以下の配置のずれが生じても、フィルタアレイの有効領域は、平面視でイメージセンサの有効領域の全体に重なる第1部分を有することができる。
 第7の項目に係る光検出装置は、第1から6の項目のいずれかに係る光検出装置において、前記Rp1および前記Rp2の少なくとも一方が0.998以下、または1.002以上である。
 この光検出装置では、多波長画像の精度が低下することを抑制できる。
 第8の項目に係る光検出装置は、第7の項目に係る光検出装置において、前記Rp1および前記Rp2の少なくとも一方が0.99以下、または1.01以上である。
 この光検出装置では、多波長画像の精度が低下することを抑制し、かつ多波長画像の精度を安定させることができる。
 第9の項目に係る光検出装置は、第7または8の項目に係る光検出装置において、前記Rp1および前記Rp2の少なくとも一方が1.5以下である。
 この光検出装置では、多波長画像の精度が顕著に低下することを抑制できる。
 第10の項目に係る光検出装置は、第9の項目に係る光検出装置において、前記Rp1および前記Rp2の少なくとも一方が1よりも小さい。
 この光検出装置では、Rp1およびRp2の少なくとも一方が1よりも大きい場合と比較して、多波長画像の精度が低下することをさらに抑制できる。
 第11の項目に係る光検出装置は、第7から第10の項目のいずれかに係る光検出装置において、前記Rp1および前記Rp2の少なくとも一方が0.55以上である。
 この光検出装置では、多波長画像の精度が顕著に低下することを抑制できる。
 第12の項目に係る光検出装置は、第1から第11の項目のいずれかに係る光検出装置において、前記フィルタアレイが、光入射面と、前記光入射面の反対側に位置する凹凸面とを有する。前記凹凸面は、前記イメージセンサの光検出面が対向している。
 この光検出装置では、イメージセンサによって取得された画像に光の干渉による干渉縞が現れることを抑制できる。
 第13の項目に係る光検出装置は、第12の項目に係る光検出装置において、撮像の対象波長域がλ1以上λ2以下であるとき、前記凹凸面と前記光検出面との最小距離が、λ2/4よりも大きい。
 この光検出装置では、対象波長域における撮像特性を向上させることができる。
 第14の項目に係る光検出装置は、第12または13の項目に係る光検出装置において、前記フィルタアレイの周縁領域と、前記イメージセンサの周縁領域とによって挟まれた複数のスペーサをさらに備える。前記フィルタアレイの前記周縁領域の少なくとも一部と、前記イメージセンサの前記周縁領域の少なくとも一部とは、複数の接着剤によって互いに接着固定されている。
 この光検出装置では、フィルタアレイおよびイメージセンサを互いにより平行に近い状態で貼り合わせることができる。
 第15の項目に係る光検出システムは、第1から第14の項目のいずれかに係る光検出装置と、処理回路と、を備える。前記処理回路は、前記イメージセンサによって取得された画像から、4つ以上の波長域の各々に対応する分光画像を復元する。
 この光検出システムでは、分光画像を復元することができる。
 第16の項目に係るフィルタアレイは、複数の画素を有するイメージセンサに用いられるフィルタアレイである。前記フィルタアレイは、複数のフィルタを備える。前記複数のフィルタは、第1フィルタと第2フィルタを含む。前記第1フィルタの第1透過スペクトルは、前記第2フィルタの第2透過スペクトルと異なる。前記第1透過スペクトルは、複数の極大値を有し、前記第2透過スペクトルは、複数の極大値を有する。前記複数のフィルタは、互いに交差する第1方向および第2方向に沿って行列状に配列されている。前記複数の画素は、互いに交差する第3方向および第4方向に沿って行列状に配列されている。前記第1方向における前記複数のフィルタのピッチを、前記第3方向における前記複数の画素のピッチによって除算した商をRp1とし、前記第2方向における前記複数のフィルタのピッチを、前記第4方向における前記複数の画素のピッチによって除算した商をRp2とする。前記Rp1および前記Rp2の少なくとも一方は1とは異なる。
 このフィルタアレイにより、生産性が高く、かつ撮像特性が良好な光検出装置を実現できる。
 第17の項目に係る光検出装置は、複数のフィルタを含むフィルタアレイと、複数の画素を有し、前記フィルタアレイを透過した光を検出するイメージセンサと、を備える。前記複数のフィルタは、複数の第1フィルタと複数の第2フィルタを含む。前記複数の第1フィルタのそれぞれは、第1透過スペクトルを示す。前記複数の第2フィルタのそれぞれは、第2透過スペクトルを示す。前記第1透過スペクトルは、前記第2透過スペクトルと異なる。前記複数の第1フィルタは、前記フィルタアレイにおいて、不規則に配置される。前記複数の第2フィルタは、前記フィルタアレイにおいて、不規則に配置される。前記複数のフィルタは、互いに交差する第1方向および第2方向に沿って行列状に配列されている。前記複数の画素は、互いに交差する第3方向および第4方向に沿って行列状に配列されている。前記第1方向における前記複数のフィルタのピッチを、前記第3方向における前記複数の画素のピッチによって除算した商をRp1とし、前記第2方向における前記複数のフィルタのピッチを、前記第4方向における前記複数の画素のピッチによって除算した商をRp2とする。前記Rp1および前記Rp2の少なくとも一方は1とは異なる。
 この光検出装置では、高い生産性および良好な撮像特性を実現できる。
 第18の項目に係る光検出装置は、第1から第14の項目のいずれかに係る光検出装置において、前記イメージセンサが、前記フィルタアレイを介した光に基づいて画像信号を生成し、圧縮センシングにより4つ以上の波長域の各々に対応する分光画像を復元する処理装置に前記画像信号を送信する。
 この光検出装置では、イメージセンサにより、分光画像の復元のための画像信号を生成および出力することができる。
 第19の項目に係る光検出装置は、複数のフィルタを有するフィルタアレイであって、前記複数のフィルタは、互いに透過スペクトルの異なる複数種類のフィルタを含む、フィルタアレイと、複数の画素を有し、前記フィルタアレイを透過した光を検出するイメージセンサと、を備える。前記複数のフィルタは、互いに交差する第1方向および第2方向に沿って行列状に配列されている。前記複数の画素は、互いに交差する第3方向および第4方向に沿って行列状に配列されている。前記第3方向と前記第1方向とがなす角度は0°以上45°以下であり、前記第4方向と前記第2方向とがなす角度は0°以上45°以下である。前記第1方向における前記複数のフィルタのピッチを、前記第3方向における前記複数の画素のピッチによって除算した商をRp1とし、前記第2方向における前記複数のフィルタのピッチを、前記第4方向における前記複数の画素のピッチによって除算した商をRp2とする。前記Rp1および前記Rp2の少なくとも一方は1とは異なる。
 この光検出装置では、高い生産性および良好な撮像特性を実現できる。
 第20の項目に係る光検出装置は、第1の項目に係る光検出装置において、前記第3方向と前記第1方向とがなす角度は0°以上45°以下であり、前記第4方向と前記第2方向とがなす角度は0°以上45°以下である。
 第21の項目に係るフィルタアレイは、第16の項目に係るフィルタアレイにおいて、前記第3方向と前記第1方向とがなす角度は0°以上45°以下であり、前記第4方向と前記第2方向とがなす角度は0°以上45°以下である。
 第22の項目に係る光検出装置は、第17の項目に係る光検出装置において、前記第3方向と前記第1方向とがなす角度は0°以上45°以下であり、前記第4方向と前記第2方向とがなす角度は0°以上45°以下である。
 (実施形態)
 以下では、最初に、本実施形態による光検出システム、その構成要素、および多波長画像の再構成の方法を説明する。本実施形態による光検出システムは、フィルタアレイ、イメージセンサ、および信号処理回路を備える。次に、比較例においてフィルタアレイおよびイメージセンサの配置のずれが多波長画像に及ぼす影響を説明し、本実施形態においてその影響をどのようにして抑制するかを説明する。最後に、フィルタアレイおよびイメージセンサの配置を固定する方法を説明する。
 <光検出システム>
 図1は、本開示の実施形態による光検出システムの例を模式的に示す図である。図1に示す光検出システム400は、光学系40と、フィルタアレイ10と、イメージセンサ50と、信号処理回路200とを備える。フィルタアレイ10は、特許文献1に開示されている「符号化素子」と同様の機能を有する。このため、フィルタアレイ10を、「符号化素子」と称することもできる。光学系40およびフィルタアレイ10は、対象物60から入射する光の光路に配置されている。図1に示す例において、フィルタアレイ10は、光学系40とイメージセンサ50との間であり、かつイメージセンサ50の近傍に配置されている。近傍の具体的な距離については後述する。本明細書において、フィルタアレイ10およびイメージセンサ50を備える装置を、「光検出装置300」と称する。
 図1には、対象物60の一例として、リンゴが例示されている。対象物60は、リンゴに限らず、任意の物体であり得る。信号処理回路200は、イメージセンサ50が生成した画像データに基づいて、特定の波長域(以下、「対象波長域」とも称する。)に含まれる複数の波長域の各々について画像データを生成する。この画像データを、本明細書において「分光画像データ」と称する。ここで、対象波長域に含まれる波長域の数をN(Nは4以上の整数)とする。以下の説明において、生成される複数の波長域の分光画像データを、分離画像220W1、分離画像220W2、・・・、分離画像220WNと称し、これらを分離画像220と総称する。対象波長域は、波長域W1、波長域W2、・・・、波長域WNを含んでもよい。分離画像220W1は波長域W1に対応し、分離画像220W2は波長域W2に対応し、・・・、分離画像220WNは波長域WNに対応してもよい。
 本明細書において、画像を示す信号、すなわち、画像を構成する複数の画素の画素値を表す信号の集合を、単に「画像」とも称する。撮像の対象波長域は任意に決定してよい。当該対象波長域は、可視の波長域に限らず、紫外、近赤外、中赤外、遠赤外、またはマイクロ波の波長範囲であってもよい。
 フィルタアレイ10は、2次元平面内に配置された透光性の複数のフィルタを備える。当該複数のフィルタは、より具体的には、行列状に配列されている。フィルタアレイ10は、光の透過スペクトル、すなわち光透過率の波長依存性がフィルタによって異なる光学素子である。フィルタアレイ10は、入射した光の強度を波長域ごとに変調させて通過させる。
 光学系40は、少なくとも1つのレンズを含む。図1に示す例において、光学系40は1つのレンズによって構成されているが、光学系40は複数のレンズの組み合わせによって構成されていてもよい。光学系40は、フィルタアレイ10を介して、イメージセンサ50の光検出面上に像を形成する。
 イメージセンサ50は、2次元的に配置された複数の光検出素子を備え、フィルタアレイ10を透過した光を検出する。当該複数の光検出素子は、例えば行列状に配列され得る。イメージセンサ50は、例えばCCD(Charge-Coupled Device)センサ、CMOS(Complementary Metal Oxide Semiconductor)センサ、または赤外線アレイセンサであり得る。光検出素子は、例えばフォトダイオードを含み得る。
 複数の光検出素子の各々は、少なくとも対象波長域の光に対して感度を有する。具体的には、複数の光検出素子の各々は、対象波長域の光を検出するのに必要な実質的な感度を有する。例えば、当該波長域における光検出素子の外部量子効率は1%以上であり得る。光検出素子の外部量子効率は10%以上であってもよい。光検出素子の外部量子効率は20%以上であってもよい。以下の説明において、光検出素子を画素とも称する。
 信号処理回路200は、例えばプロセッサとメモリ等の記憶媒体とを備える集積回路であり得る。信号処理回路200は、イメージセンサ50によって取得された圧縮画像である画像120に基づいて、複数の波長域にそれぞれ対応する複数の分離画像220のデータを生成する。複数の分離画像220、および信号処理回路200の画像信号の処理方法の詳細については、後述する。なお、信号処理回路200は、光検出装置300に組み込まれていてもよいし、光検出装置300に有線または無線によって電気的に接続された信号処理装置の構成要素であってもよい。
 <フィルタアレイ>
 以下に、本実施形態によるフィルタアレイ10を説明する。フィルタアレイ10は、対象物から入射する光の光路中に配置され、入射光の強度を波長ごとに変調して出力する。フィルタアレイすなわち符号化素子によるこの過程を、本明細書では「符号化」と称する。
 図2Aは、本実施形態によるフィルタアレイ10の例を模式的に示す図である。図2Aに示すフィルタアレイ10は、2次元的に配列された複数のフィルタを含む。各フィルタは、個別に設定された透過スペクトルを有する。透過スペクトルは、入射光の波長をλとして、関数T(λ)で表される。透過スペクトルT(λ)は、0以上1以下の値を取り得る。
 図2Aに示す例において、フィルタアレイ10は、6行8列に配列された48個の矩形状のフィルタを有している。これはあくまで例示であり、実際の用途では、これよりも多くのフィルタが設けられ得る。その数は、後で述べるようにイメージセンサ50の画素数より多いことが望ましい。フィルタアレイ10に含まれるフィルタの数は、例えば数十から数千万の範囲で用途に応じて決定され得る。
 図2Bは、対象波長域に含まれる複数の波長域W1、W2、・・・、WNのそれぞれの光の透過率の空間分布の一例を示す図である。図2Bに示す例において、各フィルタの濃淡の違いは、透過率の違いを表している。淡いフィルタほど透過率が高く、濃いフィルタほど透過率が低いことを表している。図2Bに示すように、波長域によって光透過率の空間分布が異なっている。
 図2Cおよび図2Dは、それぞれ、図2Aのフィルタアレイ10の複数のフィルタに含まれるフィルタA1およびフィルタA2の透過スペクトルの例を示す図である。フィルタA1の透過スペクトルとフィルタA2の透過スペクトルとは、互いに異なっている。このように、フィルタアレイ10の透過スペクトルは、フィルタによって異なる。ただし、必ずしもすべてのフィルタの透過スペクトルが異なっている必要はない。フィルタアレイ10において、複数のフィルタのうちの少なくとも2つ以上のフィルタの透過スペクトルが互いに異なっている。すなわち、フィルタアレイ10は、透過スペクトルが互いに異なる2つ以上のフィルタを含む。ある例では、フィルタアレイ10に含まれる複数のフィルタの透過スペクトルのパターンの数は、対象波長域に含まれる波長域の数Nと同じか、それ以上であり得る。フィルタアレイ10は、半数以上のフィルタの透過スペクトルが異なるように設計されていてもよい。
 図3Aおよび図3Bは、対象波長域Wと、それに含まれる複数の波長域W1、W2、・・・、WNとの関係を説明するための図である。対象波長域Wは、用途によって様々な範囲に設定され得る。対象波長域Wは、例えば、約400nmから約700nmの可視光の波長域、約700nmから約2500nmの近赤外線の波長域、または約10nmから約400nmの近紫外線の波長域であり得る。あるいは、対象波長域Wは、中赤外、遠赤外、テラヘルツ波、またはミリ波などの電波域であってもよい。このように、使用される波長域は可視光域とは限らない。本明細書において、可視光に限らず、近紫外線、近赤外線、および電波などの非可視光も便宜上「光」と称する。
 図3Aに示す例では、Nを4以上の任意の整数として、対象波長域WをN等分したそれぞれを波長域W1、波長域W2、・・・、波長域WNとしている。ただしこのような例に限定されない。対象波長域Wに含まれる複数の波長域は任意に設定してもよい。例えば、波長域によって帯域幅を不均一にしてもよい。隣接する波長域の間にギャップがあってもよい。図3Bに示す例では、波長域によって帯域幅が異なり、かつ、隣接する2つの波長域の間にギャップがある。このように、複数の波長域は、互いに異なっていればよく、その決め方は任意である。波長の分割数Nは3以下でもよい。
 図4Aは、フィルタアレイ10に含まれるあるフィルタの透過スペクトルの特性を説明するための図である。図4Aに示す例において、透過スペクトルは、対象波長域W内の波長に関して、複数の極大値P1から極大値P5、および複数の極小値を有する。図4Aに示す例では、対象波長域W内での光透過率の最大値が1、最小値が0となるように正規化されている。図4Aに示す例では、波長域W2、および波長域WNなどの波長域において、透過スペクトルが極大値を有している。このように、本実施形態では、各フィルタの透過スペクトルは、複数の波長域W1から波長域WNのうち、少なくとも2つの波長域において極大値を有する。図4Aからわかるように、極大値P1、極大値P3、極大値P4、および極大値P5は0.5以上である。
 以上のように、各フィルタの光透過率が波長によって異なるので、フィルタアレイ10は、入射する光のうち、ある波長域の成分を多く透過させ、他の波長域の成分をそれほど透過させない。例えば、N個の波長域のうちのk個の波長域の光については、透過率が0.5よりも大きく、残りのN-k個の波長域の光については、透過率が0.5未満であり得る。kは、2≦k<Nを満たす整数である。仮に入射光が、すべての可視光の波長成分を均等に含む白色光であった場合には、フィルタアレイ10は、入射光をフィルタごとに、波長に関して離散的な複数の強度のピークを有する光に変調し、これらの多波長の光を重畳して出力する。
 図4Bは、一例として、図4Aに示す透過スペクトルを、波長域W1、波長域W2、・・・、波長域WNごとに平均化した結果を示す図である。平均化された透過率は、透過スペクトルT(λ)を波長域ごとに積分してその波長域の帯域幅で除算することによって得られる。本明細書において、このように波長域ごとに平均化した透過率の値を、その波長域における透過率と称する。この例では、極大値P1、極大値P3、および極大値P5をとる波長域において、透過率が突出して高くなっている。特に、極大値P3をとる波長域、および極大値P5をとる波長域において、透過率が0.8を超えている。
 各フィルタの透過スペクトルの波長方向の分解能は、所望の波長域の帯域幅程度に設定され得る。言い換えれば、透過スペクトル曲線における1つの極大値を含む波長範囲のうち、当該極大値に最も近接する極小値と当該極大値との平均値以上の値をとる範囲の幅は、所望の波長域の帯域幅程度に設定され得る。この場合、透過スペクトルを例えばフーリエ変換によって周波数成分に分解すれば、その波長域に相当する周波数成分の値が相対的に大きくなる。
 フィルタアレイ10は、典型的には、図2Aに示すように、格子状に区分けされた複数のフィルタを有する。これらのフィルタの一部または全部が、互いに異なる透過スペクトルを有する。フィルタアレイ10に含まれる複数のフィルタの光透過率の波長分布および空間分布は、例えばランダム分布または準ランダム分布であり得る。
 ランダム分布および準ランダム分布の考え方は次の通りである。まず、フィルタアレイ10における各フィルタは、光透過率に応じて、例えば0から1の値を有するベクトル要素と考えることができる。ここで、透過率が0の場合、ベクトル要素の値は0であり、透過率が1の場合、ベクトル要素の値は1である。言い換えると、行方向または列方向に一列に並んだフィルタの集合を0から1の値を有する多次元のベクトルと考えることができる。したがって、フィルタアレイ10は、多次元ベクトルを列方向または行方向に複数備えていると言える。このとき、ランダム分布とは、任意の2つの多次元ベクトルが独立である、すなわち平行でないことを意味する。また、準ランダム分布とは、一部の多次元ベクトル間で独立でない構成が含まれることを意味する。したがって、ランダム分布および準ランダム分布においては、複数のフィルタに含まれる1つの行または列に並んだフィルタの集合に属する各フィルタでの第1の波長域の光の透過率の値を要素とするベクトルと、他の行または列に並んだフィルタの集合に属する各フィルタにおける第1の波長域の光の透過率の値を要素とするベクトルとは、互いに独立である。第1の波長域とは異なる第2の波長域についても同様に、複数のフィルタに含まれる1つの行または列に並んだフィルタの集合に属する各フィルタにおける第2の波長域の光の透過率の値を要素とするベクトルと、他の行または列に並んだフィルタの集合に属する各フィルタにおける第2の波長域の光の透過率の値を要素とするベクトルとは、互いに独立である。
 図2Aから図2Dに示す例において、フィルタアレイ10は、各フィルタの透過率が0以上1以下の任意の値をとり得るグレースケールの透過率分布を有する。しかし、必ずしもグレースケールの透過率分布にする必要はない。例えば、各フィルタの透過率がほぼ0またはほぼ1のいずれかの値を取り得るバイナリスケールの透過率分布を採用してもよい。バイナリスケールの透過率分布において、各フィルタは、対象波長域に含まれる複数の波長域のうちの少なくとも2つの波長域の光の大部分を透過させ、残りの波長域の光の大部分を透過させない。ここで「大部分」とは、概ね80%以上を指す。
 すべてのフィルタのうちの一部、例えば半分のフィルタを、透明フィルタに置き換えてもよい。そのような透明フィルタは、対象波長域に含まれるすべての波長域W1から波長域WNの光を高い透過率で透過させる。当該高い透過率は、例えば0.8以上である。そのような構成では、複数の透明フィルタは、例えば市松(checkerboard)状に配置され得る。すなわち、フィルタアレイ10における複数のフィルタの2つの配列方向において、光透過率が波長によって異なるフィルタと、透明フィルタとが交互に配列され得る。図2Aに示す例において、2つの配列方向は、横方向および縦方向である。
 このようなフィルタアレイ10の分光透過率の空間分布を示すデータは、設計データまたは実測キャリブレーションに基づいて事前に取得され、信号処理回路200が備える記憶媒体に格納される。このデータは、後述する演算処理に利用される。
 フィルタアレイ10は、例えば、多層膜、有機材料、回折格子構造、または金属を含む微細構造を用いて構成され得る。多層膜を用いて構成される場合、例えば、誘電体多層膜または金属層を含む多層膜が用いられ得る。この場合、フィルタごとに各多層膜の厚さ、材料、および積層順序の少なくとも1つが異なるように形成され得る。これにより、フィルタによって異なる分光特性を実現できる。多層膜を用いることにより、分光透過率におけるシャープな立ち上がりおよび立下りを実現できる。有機材料を用いた構成は、セルによって含有する顔料または染料が異なるようにしたり、異種の材料を積層させたりすることによって実現され得る。回折格子構造を用いた構成は、フィルタごとに異なる回折ピッチまたは深さの回折構造を設けることによって実現され得る。金属を含む微細構造を用いる場合は、プラズモン効果による分光を利用して作製され得る。
 <信号処理回路>
 次に、図1に示す信号処理回路200によって多波長の分離画像220を再構成する方法を説明する。ここで多波長とは、例えば通常のカラーカメラで取得されるRGBの3色の波長域よりも多くの波長域、すなわち4つ以上の波長域を意味する。この波長域の数は、例えば4から100程度の数であり得る。この波長域の数を、「分光帯域数」とも称する。用途によっては、分光帯域数は100を超えていてもよい。
 イメージセンサ50は、フィルタアレイ10を介した光に基づいて画像信号を生成し、信号処理回路200に当該画像信号を送信する。信号処理回路200は、イメージセンサ50によって取得された当該画像信号が示す圧縮画像から、圧縮センシングにより、4つ以上の波長域の各々に対応する分離画像220を再構成する。再構成を復元と言い換えてもよい。
 求めたいデータは分離画像220であり、そのデータは、fとして表される。分光帯域数をNとすると、fは、各帯域の画像データf1、f2、・・・、fNを統合したデータである。ここで、図1に示すように、画像の横方向をx方向、画像の縦方向をy方向とする。求めるべき画像データのx方向の画素数をnとし、y方向の画素数をmとすると、画像データf1、f2、・・・、fNの各々は、n×m画素の2次元データである。したがって、データfは要素数n×m×Nの3次元データである。一方、フィルタアレイ10によって符号化および多重化されて取得される画像120のデータgの要素数はn×mである。データgは、以下の式(1)によって表すことができる。
 ここで、f1、f2、・・・、fNは、n×m個の要素を有するデータである。したがって、右辺のベクトルは、n×m×N行1列の1次元ベクトルである。ベクトルgは、n×m行1列の1次元ベクトルに変換して表され、計算される。行列Hは、ベクトルfの各成分f1、f2、・・・、fNを波長域ごとに異なる符号化情報で符号化および強度変調し、それらを加算する変換を表す。したがって、Hは、n×m行n×m×N列の行列である。
 ベクトルgと行列Hが与えられれば、式(1)の逆問題を解くことにより、fを算出することができそうである。しかし、求めるデータfの要素数n×m×Nが取得データgの要素数n×mよりも多いため、この問題は不良設定問題であり、このままでは解くことができない。そこで、信号処理回路200は、データfに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の式(2)を解くことにより、求めるデータfが推定される。
 式(1)、式(2)に含まれる
は、式(1)、式(2)に関連する記載において、gと記載されることがある。
 ここで、f’は、推定されたfのデータを表す。上式の括弧内の第1項は、推定結果Hfと取得データgとのずれ量、いわゆる残差項を表す。ここでは2乗和を残差項としているが、絶対値あるいは二乗和平方根等を残差項としてもよい。括弧内の第2項は、後述する正則化項または安定化項である。式(2)は、第1項と第2項との和を最小化するfを求めることを意味する。信号処理回路200は、再帰的な反復演算によって解を収束させ、最終的な解f’を算出することができる。
 式(2)の括弧内の第1項は、取得データgと、推定過程のfを行列Hによってシステム変換したHfとの差分の二乗和を求める演算を意味する。第2項のΦ(f)は、fの正則化における制約条件であり、推定データのスパース情報を反映した関数である。働きとしては、推定データを滑らかまたは安定にする効果がある。正則化項は、例えば、fの離散的コサイン変換(DCT)、ウェーブレット変換、フーリエ変換、またはトータルバリエーション(TV)などによって表され得る。例えば、トータルバリエーションを使用した場合、観測データgのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象物60のスパース性は、対象物60のテキスチャによって異なる。対象物60のテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数である。重み係数τが大きいほど冗長的なデータの削減量が多くなり、圧縮する割合が高まる。重み係数τが小さいほど解への収束性が弱くなる。重み係数τは、fがある程度収束し、かつ、過圧縮にならない適度な値に設定される。
 なお、ここでは式(2)に示す圧縮センシングを用いた演算例を示したが、その他の方法を用いて解いてもよい。例えば、最尤推定法またはベイズ推定法などの他の統計的方法を用いることができる。また、分離画像220の数は任意であり、各波長域も任意に設定してよい。再構成の方法の詳細は、特許文献1に開示されている。特許文献1に対応する米国特許第9599511号明細書の開示内容の全体を本明細書に援用する。
 <ファブリ・ペローフィルタを含むフィルタアレイの構造>
 次に、図5を参照して、本開示の実施形態によるフィルタアレイ10の具体的な構造の例を説明する。図5は、本開示の実施形態によるフィルタアレイ10の構造の例を模式的に示す断面図である。これらの断面図では、簡単のために、1つの行に含まれる6つのフィルタ100が示されている。図5に示すフィルタアレイ10は、基板20によって支持されており、正方格子状に2次元的に配列された複数のフィルタ100を含む。図5に示す例において、フィルタアレイ10に含まれるすべてのフィルタ100は共振構造を備える。共振構造とは、ある波長の光が内部で定在波を形成して安定に存在する構造を意味する。
 図5に示す例において、基板20上に、第1反射層14a、干渉層12、および第2反射層14bがこの順に積層されている。図5に示す各共振構造は、互いに反対側に位置する第1表面12s1および第2表面12s2を有する干渉層12と、第1表面12s1に設けられた第1反射層14aと、第2表面12s2に設けられた第2反射層14bとを含む。第1表面12s1および第2表面12s2の各々の反射率は、例えば80%以上であり得る。当該反射率は、80%よりも低くてもよいが40%以上に設計され得る。第1反射層14aの厚さおよび第2反射層14bの厚さは互いに等しくなるように設計され得る。干渉層12の厚さが互いに異なる複数のフィルタ100は、対象波長域W内で互いに異なる透過スペクトルを有する。図5に示す各共振構造の透過スペクトルは、対象波長域W内に2つ以上の鋭いピークを有する。本明細書において、そのような透過スペクトルを有するフィルタを「多モードフィルタ」と称する。
 図5に示す例において、第1反射層14aおよび第2反射層14bの各々は、複数の高屈折率層および複数の低屈折率層が交互に積層された分布ブラッグ反射器(Distributed Bragg Reflector:DBR)から形成されている。第1反射層14aおよび第2反射層14bの少なくとも一方は金属薄膜から形成されていてもよい。
 「第1反射層14aおよび第2反射層14bの少なくとも一方は金属薄膜から形成されている」は、「(a)第1反射層14aは金属薄膜から形成されている、(b)第2反射層14bは金属薄膜から形成されている、または、(c)第1反射層14aは金属薄膜から形成されている、かつ、第2反射層14bは金属薄膜から形成されている」と解釈されてもよい。
 DBRは、屈折率が異なる高屈折率層および低屈折率層のペア層を1組以上含む。高屈折率層の屈折率は、低屈折率層の屈折率よりも高い。DBRは、周期的な積層構造に起因するブラッグ反射により、ストップバンドと呼ばれる反射率が高い波長域を有する。上記のペア層の数を増加させると、ストップバンドの反射率は100%に近づく。
 対象波長域W内の波長をλ、高屈折率層の屈折率をnH、低屈折率層の屈折率をnLとする。厚さがλ/(4nH)である高屈折率層、および厚さがλ/(4nL)である低屈折率層のペア層を1組以上含むDBRは、波長λの光を効率的に反射させる。対象波長域Wが波長λi以上波長λf以下の範囲である場合、複数の高屈折率層および複数の低屈折率層の厚さを段階的に変化させることにより、DBRは、波長λiに対応するペア層から波長λfに対応するペア層を含むことができる。その結果、当該DBRは、対象波長域W内のすべての光を効率的に反射させることができる。
 第1反射層14aおよび第2反射層14bの各々に含まれる高屈折率層および低屈折率層、ならびに干渉層12は、例えば、対象波長域W内の光について吸収率の低い材料から形成され得る。対象波長域Wが可視光領域内にある場合、そのような材料は、例えば、SiO、Al、SiO、Si、Ta、およびTiOからなる群から選択される少なくとも1つであり得る。対象波長域Wが赤外領域内にある場合、そのような材料は、例えば、上記のSiO、Al、SiO、Si、Ta、およびTiOに加えて、単結晶Si、多結晶Si、およびアモルファスSiからなる群から選択される少なくとも1つであり得る。同様に、基板20は、例えば、対象波長域W内の光について吸収率の低い材料から形成され得る。対象波長域Wが可視光領域内にある場合、そのような材料は、SiO、ITO、Al、GaN、Nb、Ta、およびSiCからなる群から選択される少なくとも1つであり得る。対象波長域Wが赤外領域内にある場合、そのような材料は、例えば、上記のSiO、ITO、Al、GaN、Nb、Ta、およびSiCに加えて、単結晶Si、多結晶Si、アモルファスSi、およびInPからなる群から選択される少なくとも1つであり得る。第1反射層14aおよび第2反射層14bの各々の厚さは、例えば100nm以上900nm以下であり得る。干渉層12の厚さは、例えば10nm以上500nm以下であり得る。基板20の厚さは、例えば0.1mm以上1mm以下であり得る。
 本明細書では、光を反射する面の正確な位置が問題にならない限り、干渉層12内の光は、第1表面12s1および第2表面12s2で反射されるものとする。本実施形態において、干渉層12から第1反射層14aまたは第2反射層14bに入射する光の一部は、実際には、第1反射層14aまたは第2反射層14b内に浸入し、複数の高屈折率層および複数の低屈折率層の界面で反射される。光が反射される界面は波長によって異なる。しかし、説明の便宜上、これらの光は、第1表面12s1および第2表面12s2で反射されるものとして取り扱う。
 本実施形態によるフィルタアレイ10では、対象波長域W内で互いに透過スペクトルが異なる複数種類の多モードフィルタが、不規則に配置され得る。不規則な配置とは、明確な規則性または周期性を示さない配置であり、非周期的な配置でもある。不規則な配置は、例えば前述のランダム分布または準ランダム分布の考え方に従った配置であり得る。ある例において、フィルタアレイ10は2次元的に配列された数百万個のフィルタ100を含み、当該数百万個のフィルタ100は不規則に配置された9種類の多モードフィルタを含む。当該9種類の多モードフィルタは、ランダム分布または準ランダム分布のように配列され得る。そのような高いランダム性を有するフィルタアレイ10により、分離画像220をより正確に復元することができる。
 透過スペクトルが異なる複数種類の多モードフィルタは、複数の第1フィルタ、~、複数の第nフィルタであってもよい。nは2以上の整数であり、n=9であってもよい。複数の第1フィルタのそれぞれは対象波長域W内で第1透過スペクトルを示し、~、複数の第nフィルタのそれぞれは対象波長域W内で第n透過スペクトルを示す。第1透過スペクトル、~、第n透過スペクトルは、互いに異なる。第1透過スペクトルは複数の極大値を有し、~、第n透過スペクトルは複数の極大値を有する。複数の第1フィルタはフィルタアレイ10において不規則に配置され、~、複数の第nフィルタはフィルタアレイ10において不規則に配置される。
 なお、本実施形態によるフィルタアレイ10は、上記の共振構造を有しないフィルタを含んでいてもよい。本実施形態によるフィルタアレイ10は、例えば、透明フィルタまたはNDフィルタ(Neutral Density Filter)などの、光透過率の波長依存性を有しないフィルタを含んでいてもよい。
 本明細書において、DBRを備えるフィルタ100を、「ファブリ・ペローフィルタ」とも称する。ファブリ・ペローフィルタは干渉フィルタの一種である。ファブリ・ペローフィルタに代えて、回折格子などから構成される色分離フィルタのように他の種類の干渉フィルタを用いることができる。
 <光検出装置>
 次に、図6から図8を参照して、本実施形態による光検出装置300の例を説明する。図6および以降の図に示す例において、簡単のために、フィルタアレイ10およびイメージセンサ50の各々は2次元的に配列された数十個のユニットセルを含むとして説明する。実際には、フィルタアレイ10およびイメージセンサ50の各々は、例えば2次元的に配列された数百万個のユニットセルを含み得る。図示されている構造は例示にすぎず、ユニットセルの数および配置は任意に決定され得る。
 図6は、本開示の実施形態による光検出装置300の例を模式的に示す断面図である。当該断面図は、ある1つの行についてのフィルタアレイ10およびイメージセンサ50の断面図である。図6に示す構造は、光検出装置300の部分構造である。説明の便宜上、図6には、互いに直交するX軸、Y軸、およびZ軸が示されている。X軸の矢印の方向を+X方向と称し、その反対の方向を-X方向と称する。Y軸およびZ軸の矢印の方向およびその反対の方向についても同様である。+Z方向側を「上」とも称し、-Z方向側を「下」とも称する。これらの軸は、光検出装置300の配置および姿勢を限定するものではなく、実際の光検出装置300の配置および姿勢は任意である。本実施形態による光検出装置300は、フィルタアレイ10と、フィルタアレイ10を支持する基板20と、イメージセンサ50とを備える。
 図6に示すフィルタアレイ10および基板20の構成は、上下を反転させた点を除き、図5に示すフィルタアレイ10および基板20の構成と同じである。基板20は、光検出装置300を製造する工程において用いられる。基板20は必ずしも必要ではないが、光検出装置300の製造において基板20を除去しない場合には、基板20が光検出装置300に含まれる。
 フィルタアレイ10は、XY平面に沿って正方格子状に2次元的に配列された複数のフィルタ100を含む。複数のフィルタ100は、対象波長域W内で透過スペクトルが互いに異なる複数種類の多モードフィルタを含む。複数種類の多モードフィルタは、例えば前述のランダム分布または準ランダム分布の考え方に従って不規則に配置されている。干渉層12の厚さは、多モードフィルタの透過スペクトルに応じて異なっている。X方向およびY方向の各々における複数のフィルタ100のピッチは例えば均一であり得る。X方向における当該ピッチおよびY方向における当該ピッチは、例えば互いに等しくあり得る。X方向およびY方向の各々における当該ピッチは、例えば1μm以上10μm以下であり得る。
 フィルタアレイ10は、光入射面10s1と、その反対側に位置する光出射面10s2とを有する。光入射面10s1は、複数のフィルタ100の光入射面の集まりによって形成される。光出射面10s2は、複数のフィルタ100の光出射面の集まりによって形成される。図6に示す例において、光入射面10s1は平坦である。言い換えれば、複数のフィルタ100における光入射面は段差のない平坦面を形成する。これに対して、光出射面10s2は凹凸すなわち段差を有する。言い換えれば、複数のフィルタ100における光出射面は凹凸面を形成する。この凹凸は、フィルタ100によって厚さが異なることに起因して生じる。フィルタ100ごとの厚さの違いは、干渉層の厚さが異なることに起因して生じる。基板20は、フィルタアレイ10の光入射面10s1に設けられている。
 イメージセンサ50は、光出射面10s2に対向する光検出面50sを有し、光検出面50sに沿って正方格子状に2次元的に配列された複数の画素50aを含む。光検出面50sは平坦である。複数の画素50aは対象波長域Wに感度を有する。X方向およびY方向の各々における複数の画素50aのピッチは、例えば均一であり得る。X方向における当該ピッチおよびY方向における当該ピッチは、例えば互いに等しくあり得る。X方向およびY方向の各々における当該ピッチは、例えば1μm以上10μm以下であり得る。
 複数の画素50aは、それぞれ、直上に複数のマイクロレンズ40aを備えてもよい。マイクロレンズ40aは、フィルタ100を透過した光を画素50aの光電変換部により効率的に導くことができる。光入射面10s1および光検出面50sは互いに平行である。「光入射面10s1および光検出面50sが互いに平行である」とは、厳密に平行であることを意味するのではなく、光入射面10s1の法線方向と光検出面50sの法線方向とがなす角度が10°以下であることを意味する。光入射面10s1の法線方向は、光入射面10s1に垂直であり、かつ、フィルタアレイ10から遠ざかる方向である。光検出面50sの法線方向は、光検出面50sに垂直であり、かつ、イメージセンサ50から遠ざかる方向である。
 本実施形態による光検出装置300において、フィルタアレイ10に含まれる複数のフィルタ100のピッチは、イメージセンサ50に含まれる画素50aのピッチとは異なっている。すなわち、複数のフィルタ100は、複数の画素50aに1対1で対応していない。その理由については後述する。本明細書において、複数のフィルタ100のピッチを単に「フィルタピッチ」と称し、複数の画素50aのピッチを単に「画素ピッチ」と称する。
 対象物60で反射された光は、主に-Z方向に沿って基板20を介してフィルタアレイ10の光入射面10s1に入射し、フィルタアレイ10を通り、フィルタアレイ10の光出射面10s2から出射する。フィルタアレイ10の光出射面10s2から出射した光は、イメージセンサ50の光検出面50sに入射する。
 光出射面10s2と光検出面50sとの距離は、多モードフィルタごとに異なっている。本実施形態の光検出装置300は、フィルタアレイ10およびイメージセンサ50を、フィルタアレイ10の凹凸面が光検出面50sに対向するように固定することによって製造される。光出射面10s2と光検出面50sとの距離が不均一になるので、光出射面10s2と光検出面50sとの間で光の多重反射が生じても、撮像画像に光の干渉による干渉縞が現れることを抑制できる。その結果、光検出装置300の撮像特性を向上させることが可能になる。複数種類の多モードフィルタの不規則な配置により、複数の分離画像220をより正確に復元できるだけでなく、撮像画像に干渉縞が現れることをさらに抑制できる。
 さらに、本実施形態では、基板20ではなく第2反射層14bがイメージセンサ50の光検出面50sに対向するように配置しているので、フィルタアレイ10とイメージセンサ50とを近づけることができる。光出射面10s2のうち、最も光検出面50sに近い部分と光検出面50sとの距離(以下、「最小距離dm」と称することがある。)は、例えば0.1μm以上200μm以下であり得る。本実施形態において、図1に示す光学系40のF値は16以下であり、画素ピッチは6μm程度であり得る。この場合、焦点深度が約200μm程度となるので、光出射面10s2と光検出面50sとの最小距離が上記の範囲内であれば、各フィルタ100を通過した光の大部分を、光検出面50s内の各フィルタ100の直下に位置する領域に入射させることができる。
 光出射面10s2と光検出面50sとの距離によっては、これら2つの面の間に光の干渉が発生し得る。この干渉の影響により、画素50aによって検出される光のスペクトルと、多モードフィルタの透過スペクトルとがずれる可能性がある。ここで発生し得る干渉は、光出射面10s2と光検出面50sとの間の距離dに依存する。光出射面10s2と光検出面50sと往復距離2dが波長λの整数倍である場合、すなわち距離d=m1λ/2の場合、光は干渉によって強め合い、その結果、波長λ=2d/m1で透過率が極大になる。m1は1以上の整数である。これに対して、光出射面10s2と光検出面50sと往復距離2dが波長λの半整数倍である場合、すなわち距離d=(m2+1/2)λ/2の場合、光は干渉によって弱め合い、その結果、波長λ=2d/(m2+1/2)で透過率が極小になる。m2は0以上の整数である。干渉によって透過率が極小になる最大波長はm2=0の場合、すなわちλ=4dである。本明細書では、距離d=λ/4で生じる干渉を「基本モードの干渉」と称する。
 図7は、屈折率が等しい2つの媒質、およびその間に位置する空気のギャップ層を備える構成における透過スペクトルを示すグラフである。図7に示す実線、点線、および破線は、それぞれ、ギャップ層の厚さdが100nm、125nm、および150nmである場合を表す。2つの媒質はSiOであり、各媒質の屈折率はn=1.5である。図7に示すように、距離d=100nmでは波長λ=400nmの光について基本モードの干渉が発生し、波長λ=400nm付近で透過率が極小になる。同様に、距離d=125nmでは波長λ=500nm付近で透過率が極小になり、距離d=150nmでは波長λ=600nm付近で透過率が極小になる。図7に示すように、基本モードの干渉が生じる波長よりも波長が長くなると、透過率は緩やかに増加し、基本モードの干渉が生じる波長よりも波長が短くなると、透過率は極大値に向けて急峻に増加する。
 各画素の光検出素子は、多モードフィルタの透過スペクトルに上記の干渉の影響が加味された光を検出することになる。すなわち、各画素において検出される光のスペクトルと、多モードフィルタの透過スペクトルとが大きく異なってしまい、分離画像220の復元誤差が増加するといった撮像特性の低下を招く可能性がある。
 対象波長域が可視光の波長域、すなわち約400nm以上約700m以下であるとする。最小距離dmが0.1μm以下である場合、対象波長域の全体にわたって、透過率は干渉の影響を受けて低くなる可能性がある。最小距離dmが0.1μmよりも大きい場合、すなわち距離dmが0.1μm以下になる画素が存在しない場合であれば、対象波長域において、波長400nm付近での干渉の影響を低減することができる。したがって、最小距離dmが0.1μm以下である場合よりも、撮像特性を向上させることができる。
 同様に、最小距離dmが0.125μmよりも大きい場合、対象波長域のうち、400nm以上500nm以下の波長域における干渉の影響を低減することができ、撮像特性をより向上させることが可能になる。同様に、最小距離dmが0.150μmよりも大きい場合、対象波長域のうち、400nm以上600nm以下の波長域における干渉の影響を低減することができ、撮像特性をさらに向上させることが可能になる。
 一般化すると、対象波長域がλ1≦λ≦λ2である場合、最小距離dmをλ1/4よりも大きくすることにより、撮像特性を向上させることができる。最小距離dmをλ2/4よりも大きくすることにより、撮像特性をさらに向上させることができる。
 最小距離dmを大きくするほど、干渉の影響により、図7に示す透過率は、対象波長域において波長の変化に伴ってより短い周期で振動する。この振動幅が、例えば図3Aに示す対象波長域Wに含まれる波長域W1、波長域W2、・・・、波長域WNの各々の幅よりも十分に小さい場合、短い周期の振動が波長域W1、波長域W2、・・・、波長域WNの各々において平均化されて打ち消される。その結果、複数の分離画像220は、干渉の影響をほとんど受けず、撮像特性をさらに向上させることができる。
 対象波長域の下限波長λ1および上限波長λ2は、それぞれ、分離画像220に含まれる波長成分の下限波長および上限波長としてもよい。あるいは、対象波長域の下限波長λ1および上限波長λ2は、それぞれ、イメージセンサ50が検出可能な光の下限波長および上限波長としてもよい。あるいは、対象波長域の下限波長λ1および上限波長λ2は、それぞれ、イメージセンサ50に入射する光の下限波長および上限波長としてもよい。
 図6に示す構造に、他の構成要素を追加してもよい。図8は、光検出装置300の他の例を模式的に示す断面図である。図8に示す構造が図6に示す構造とは異なる点は、基板20が、フィルタアレイ10を支持する面とは反対側の面に反射防止膜22を備えることである。反射防止膜22は、図6に示す基板20と空気との界面で生じる光の反射を抑制することができる。したがって、光検出装置300の光検出効率を向上させることができる。さらに、反射防止膜22により、フィルタアレイ10および基板20の反りを緩やかにしたり、その反りの方向を反転させたりすることができる。反射防止膜22によってフィルタアレイ10および基板20の反りを調整することにより、撮像画像に干渉縞が現れることをさらに抑制できる。
 <比較例におけるフィルタアレイおよびイメージセンサの構成および配置>
 通常、特許文献1の段落[0073]に記載されているように、フィルタアレイ10に含まれる複数のフィルタ100は、イメージセンサ50に含まれる複数の画素50aに1対1で対向するように配置される。したがって、フィルタピッチは画素ピッチに等しい方がよいと考えられる。そのような構成では、フィルタアレイ10を透過し、符号化された光の像の解像度が、画素60aの解像度とほぼ一致する。各フィルタ100を透過した光が、対向する1つの画素50aに入射するので、前述した演算による分離画像220の復元が容易になる。
 しかしながら、フィルタアレイ10とイメージセンサ50とを接着固定する構成において、接着時の公差により、両者の配置にμmオーダのずれが生じることは避けられない。各フィルタピッチもμmオーダであるので、配置のずれを考慮した場合、フィルタアレイ10に含まれる複数のフィルタ100は、イメージセンサ50に含まれる複数の画素50aに1対1で対向しない。
 以下に、図9および図10を参照して、フィルタピッチが画素ピッチに等しい比較例において、フィルタアレイ10およびイメージセンサ50の配置のずれが複数の分離画像220の復元にどのような影響を及ぼすかを説明する。図9は、比較例における光検出装置310を模式的に示す平面図である。当該平面図は、フィルタアレイ10の光入射面の側から光検出装置310を見た図である。当該平面図には、基板20の図示が省略されている。図9に示す例において、太い線は、行列状に配列されたフィルタ100を含むフィルタアレイ10を表し、細い線は行列状に配列された画素50aを含むイメージセンサ50を表す。フィルタ100および画素50aは正方形の形状を有し、両サイズは互いに等しい。
 図9に示す例において、フィルタアレイ10に含まれる複数のフィルタ100は、イメージセンサ50に含まれる複数の画素50aを基準として、X方向およびY方向の各々にピッチの半分だけずれて配置されている。図9に示す白抜きの矢印は、フィルタアレイ10のイメージセンサ50に対する配置のずれを表す。配置のずれにより、1つのフィルタ100を透過した光は4つの画素50aに入射してしまい、画素50a同士の独立性が低下する。その結果、分離画像220の復元精度が低下する。
 図10は、比較例における、フィルタアレイ10およびイメージセンサ50の配置のずれと、分離画像220の復元誤差との関係を説明するための図である。図10に示す横軸は、フィルタアレイ10およびイメージセンサ50の配置のずれを表す。フィルタアレイ10は、X方向およびY方向の各々において同じ距離だけずれている。横軸の0および1は、フィルタ100が画素50aと完全に一致する場合を意味し、横軸の0.5は、図9で示したようにフィルタ100が画素50aに対して半分だけずれている場合を意味する。図10に示す縦軸は、分離画像220の復元誤差の計算結果である。復元誤差は、復元された分離画像220と正解画像との乖離度合いであり、MSE(Mean Squared Error)およびPSNR(Peak Signal-to-Noise Ratio)などの種々の指標を用いて表現することができる。本明細書ではMSEを用いる。なお、実際には正解画像を定義することが容易ではない場合もある。そのような場合には、例えば、特定の波長の光を透過させるバンドパスフィルタ、透過スペクトルおよび/または反射スペクトルが既知の被写体、または発光波長が既知であるレーザーを用いて観測することにより、正解画像を定義してもよい。
 ここで、復元誤差の計算において、フィルタアレイ10の有効領域およびイメージセンサ50の有効領域が、X方向およびY方向において同一サイズを有する構成を例に挙げる。本明細書において、「フィルタアレイ10の有効領域」は、フィルタアレイ10のうち、透過スペクトルが複数の波長域W1から波長域WNのうち、少なくとも2つの複数の波長域において極大値を有するように構成された領域を意味する。「イメージセンサ50の有効領域」は、イメージセンサ50のうち、分離画像220を得るための信号を取り出す領域を意味する。イメージセンサ50が、複数の画素50aのうち、一部の画素50aから分離画像220を得るための信号を取り出す場合、当該一部の画素50aが配置された領域がイメージセンサ50の有効領域である。
 上記の構成では、フィルタアレイ10がイメージセンサ50からずれると、Z方向から見て、すなわち平面視で、イメージセンサ50の有効領域にフィルタアレイ10の有効領域が重ならない領域が現れる。イメージセンサ50は、そのような領域においてフィルタアレイ10を透過した光を検出することができない。
 そこで、復元誤差の計算では、図9に示す例とは異なり以下の条件が満たされているとする。当該条件は、イメージセンサ50の有効領域が、平面視で、フィルタアレイ10の有効領域の外縁の内側に収まることである。すなわち、フィルタアレイ10の有効領域は、平面視で、イメージセンサ50の有効領域の全体に重なる第1部分と、イメージセンサ50の有効領域に重ならない第2部分とを有する。ある例において、第1部分は中央領域であり、第2部分は当該中央領域を囲む周縁領域であり得る。上記の条件が満たされる場合、イメージセンサ50は、その有効領域の全体においてフィルタアレイ10を透過した光を検出することができる。
 図10に示すように、配置のずれが0または1である場合、復元誤差が最小になり、配置のずれが0.5である場合、復元誤差が最大になる。最大の復元誤差は、最小の復元誤差の2.5倍程度である。本発明者は、復元誤差が100を超える分離画像220を正解画像と比較すると、分離画像220の劣化が視認できることを確認した。復元誤差の計算では、復元誤差が増加する要因として配置のずれが考慮されているが、実際には、例えば画素50aにおける暗電流の揺らぎも復元誤差が増加する要因になる。したがって、配置のずれが0.5である場合、実際の使用においてMSEが100を超えてしまい、分離画像220の劣化が生じる可能性がある。画素ピッチは、前述したように、例えば1μm以上10μm以下であり得る。配置のずれによる影響を抑えようと画素ピッチを10μmにしても、その半分は5μmである。フィルタアレイ10およびイメージセンサ50を接着固定する際の交差は、工業的かつ現実的には5μm程度である。すなわち、実際には5μm程度の配置のずれは生じ得る。
 フィルタピッチが画素ピッチに等しい構成では、フィルタ100が設計通りに画素50aに完全に一致すれば復元誤差を最小にでき、分離画像220をより正確に復元することが可能になる。一方で、わずか数μmでも配置のずれが生じると、大きな復元誤差が生じてしまい、分離画像の劣化を引き起こす可能がある。本発明者は、そのような課題を見出し、当該課題を解決することが可能な光検出装置に想到した。
 <本実施形態におけるフィルタアレイおよびイメージセンサの構成および配置>
 次に、図11から図15を参照して、本実施形態による光検出装置300におけるフィルタアレイ10およびイメージセンサ50の構成および配置を説明する。本実施形態による光検出装置300によれば、フィルタアレイ10およびイメージセンサ50の配置のずれが生じても復元誤差を十分低く抑えることができ、分離画像220をより正確に復元することができる。その結果、生産性が高く、かつ撮像特性が良好な光検出装置300を実現することが可能になる。
 図11は、本実施形態による光検出装置300の例を模式的に示す平面図である。図11に示すように、フィルタアレイ10の有効領域は、イメージセンサ50の有効領域よりも広く、フィルタアレイ10の有効領域は、平面視で、イメージセンサ50の有効領域の全体に重なる第1部分と、イメージセンサ50の有効領域に重ならない第2部分とを有する。
 X方向およびY方向の各々において、フィルタアレイ10の有効領域のサイズは、イメージセンサ50の有効領域のサイズよりも大きい。フィルタアレイ10およびイメージセンサ50を接着固定する際の公差を考慮して、X方向およびY方向の各々において、フィルタアレイ10の有効領域のサイズは、例えば、イメージセンサ50の有効領域のサイズよりも10μm以上だけ大きくてもよい。あるいは、X方向およびY方向の各々において、フィルタアレイ10の有効領域のサイズは、例えばイメージセンサ50の有効領域のサイズよりもフィルタピッチの2倍以上だけ大きくてもよい。
 上記の構成では、フィルタアレイ10の有効領域の中心を、イメージセンサ50の有効領域の中心に一致させるようにフィルタアレイ10およびイメージセンサ50を互いに接着固定する際に、配置のずれが生じても問題ない。±X方向および/または±Y方向に5μm以下またはフィルタピッチ以下の配置のずれが生じても、フィルタアレイ10の有効領域は、平面視でイメージセンサ50の有効領域の全体に重なる第1部分を有することができるからである。その結果、イメージセンサ50は、その有効領域の全体においてフィルタアレイ10を透過した光を検出することができる。図11には示していないが、イメージセンサ50の有効領域の外側に、品質確認用の光検出素子を設けてもよい。
 図11に示す例において、フィルタ100および画素50aは正方形の形状を有する。フィルタ100のサイズは画素50aのサイズよりも小さい。X方向およびY方向の各々において、フィルタピッチは画素ピッチよりも短く、画素ピッチの0.9倍である。
 図12は、本実施形態における、フィルタアレイ10およびイメージセンサ50の配置のずれと、分離画像220の復元誤差との関係を説明するための図である。実線は本実施形態を表し、破線は前述した比較例を表す。フィルタアレイ10は、X方向およびY方向の各々に同じ距離だけずれている。図12に示す横軸および縦軸は、それぞれ、図10に示す横軸および縦軸と同じである。ただし、図12に示す横軸の0および1は、あるフィルタ100の中心が、ある画素50aの中心に完全に一致する場合を意味する。
 図12に示すように、本実施形態では、比較例とは異なり、フィルタアレイ10およびイメージセンサ50の配置のずれが生じても、復元誤差はほぼ一定であり、配置のずれにほとんど依存せず、分離画像220をより正確に安定して復元できることがわかる。製造販売するすべての工業製品は、必要な性能を満足しなければならない。製造ばらつきによって必要な性能を発揮できない製品は出荷できないため、製造コストを上昇させてしまう。当然、そのようなことが生じないように設計してもよい。比較例では、フィルタアレイ10およびイメージセンサ50の配置のずれが0.5である場合、復元誤差が最大になり、MSEは80を超える。実際の使用においてMSEは100を超えてしまうので、光検出装置310の工業製品としての性能は高いとは言えない。これに対して、本実施形態では、フィルタアレイ10およびイメージセンサ50の配置のずれが生じても、復元誤差はほぼ一定であり、配置のずれにほとんど依存せず、MSEは50程度である。実際の使用においてMSEは100を超えないので、光検出装置300の工業製品としての性能は高いと言える。
 製造した複数の製品のうち、実際の使用においてMSEが100を超えない製品を出荷する場合、比較例では出荷できない製品がある可能性が高い。これに対して、本実施形態では出荷できない製品が発生する可能性は低く抑えることができる。したがって、本実施形態では、比較例よりも歩留まりを高くすることができ、製造コストを低く抑えることが可能になる。さらに、本実施形態では、MSEが配置のずれにほとんど依存しないので、製品の信頼性を向上させることが可能になる。
 フィルタピッチが画素ピッチよりも短い構成において、分離画像220をより正確に復元できるのは、以下の理由によると考えられる。そのような構成では、配置のずれが生じてもどこかでフィルタ100の中心が画素50aの中心に一致または近接するので、設計通りまたは設計に近い性能を得られ、復元誤差の増加を抑えられる。図11に示す例では、4隅において、フィルタ100の中心が画素50aの中心に近接し、1つの画素50aが検出する光の透過スペクトルの大部分が、1つのフィルタ100によって決まる。その結果、フィルタアレイ10の高いランダム性を十分に反映でき、分離画像220をより正確に復元することが可能になる。
 上記の考察から、フィルタピッチが画素ピッチよりも長い構成でも、フィルタアレイ10の高いランダム性を十分に反映でき、分離画像220をより正確に復元できることが期待できる。次に、図13を参照して、画素ピッチに対するフィルタピッチの比と、復元誤差との関係を説明する。図13は、本実施形態における、画素ピッチに対するフィルタピッチの比と、配置のずれが0.5である場合の分離画像220の復元誤差との関係を説明するための図である。図13に示す横軸は、画素ピッチに対するフィルタピッチの比を表す。図13に示す縦軸は復元誤差を表す。配置のずれとして、画素ピッチに対するフィルタピッチの比が1である構成において分離画像220の復元誤差が最大になる0.5を例に挙げる。
 図13に示すように、画素ピッチに対するフィルタピッチの比が0.998よりも大きく1.002よりも小さい場合、すなわち、当該比が1±0.002の範囲内である場合、分離画像220の復元誤差が顕著に増加する。さらに、画素ピッチに対するフィルタピッチの比が0.99よりも大きく1.01よりも小さい場合、すなわち、当該比が1±0.01の範囲内である場合、分離画像220の復元誤差は、配置のずれに強く依存し、不安定である。その場合、撮像状況によっては、図1に示す光学系40の収差によって復元誤差が予想外に劣化する可能性がある。
 したがって、分離画像220の復元誤差を低く抑える観点から、画素ピッチに対するフィルタピッチの比は0.998以下または1.002以上が望ましい。その観点に加えて、分離画像220の復元誤差を安定させる観点から、画素ピッチに対するフィルタピッチの比は0.99以下または1.01以上がより望ましい。
 次に、図14および図15を参照して、画素ピッチに対するフィルタピッチの比と、配置のずれと、分離画像220の復元誤差との関係を説明する。図14は、本実施形態における、画素ピッチに対するフィルタピッチの比と、配置のずれと、分離画像220の復元誤差との関係を説明するための図である。図14に示す横軸は、画素ピッチに対するフィルタピッチの比を表す。図14に示す奥行き方向の軸は、前述した配置のずれを表す。図14に示す縦軸は、復元誤差の差を表す。配置のずれとして、0.0以上0.5以下の範囲が考慮されており、0.5以上1.0以下である範囲は考慮されていない。配置のずれが0.5以上1.0以下である範囲における分離画像220の復元誤差と、配置のずれが0.0以上0.5以下である範囲における分離画像220の復元誤差とは、両者を折り返した関係にあるからである。
 図15は、本実施形態における、画素ピッチに対するフィルタピッチの比と、分離画像220の復元誤差の最大値との関係を説明するための図である。分離画像220の復元誤差の最大値は、画素ピッチに対するフィルタピッチの比を固定した場合に、図14に示す分離画像220の復元誤差がある配置のずれにおいて最大になる値である。
 図15に示す結果を考察することにより、以下の(1)から(4)がわかった。
(1)画素ピッチに対するフィルタピッチの比が1よりも小さいまたは大きい場合、分離画像220の復元誤差を低減できる。当該比が1より小さい場合、当該比が1より大きい場合と比較して、復元誤差をより低減できる。
(2)画素ピッチに対するフィルタピッチの比が1.5以下である場合、分離画像220の復元誤差の顕著な増加を抑制できる。
(3)画素ピッチに対するフィルタピッチの比が0.55以上である場合、分離画像220の復元誤差の顕著な増加を抑制できる。
(4)画素ピッチに対するフィルタピッチの比が0.85以上0.95以下である場合、分離画像220の復元誤差が特に低く、かつ安定している。
 前述したように、画素ピッチに対するフィルタピッチの比は、0.998以下または1.002以上であることが望ましく、0.99以下または1.01以上であることがより望ましい。それに加えて、上記の(1)から(4)から、画素ピッチに対するフィルタピッチの比は1.5以下であることがより望ましく、0.55以上であることがより望ましく、0.85以上0.95以下であることがさらにより望ましいことがわかった。
 前述した例において、X方向におけるフィルタピッチおよびY方向におけるフィルタピッチは互いに等しく、かつX方向における画素ピッチおよびY方向における画素ピッチは互いに等しい。X方向におけるフィルタピッチおよびY方向におけるフィルタピッチは互いに異なっていてもよいし、X方向における画素ピッチおよびY方向における画素ピッチは互いに異なっていてもよい。
 画素ピッチに対するフィルタピッチの比を、X方向およびY方向の少なくとも一方において上記の範囲内に設計することにより、分離画像220をより正確に復元することができ、光検出装置300の工業製品としての性能を向上させることが可能になる。当該比をX方向およびY方向の両方において上記の範囲内に設計することにより、光検出装置300の工業製品としての性能をさらに向上させることが可能になる。
 「X方向およびY方向の少なくとも一方において上記の範囲内に設計する」は、(a)X方向において上記の範囲内に設計する、(b)Y方向において上記の範囲内に設計する、または、(c)X方向において上記の範囲内に設計する、かつ、Y方向において上記の範囲内に設計する」と解釈されてもよい。
 以上のことから、本実施形態による光検出装置300によれば、フィルタアレイ10およびイメージセンサ50の配置のずれが生じても、分離画像220の復元誤差が顕著に増加することなく分離画像220をより正確に復元することができる。その結果、生産性が高く、かつ撮像特性が良好な光検出装置300を実現することが可能になる。
 本実施形態による光検出装置300が満たす条件は、以下のように一般化することができる。フィルタアレイ10に含まれる複数のフィルタ100は、互いに交差する第1方向および第2方向に沿って行列状に配列されている。イメージセンサ50に含まれる複数の画素50aは、互いに交差する第3方向および第4方向に沿って行列状に配列されている。第1方向および第2方向は互いに直交していてもよいし、直交していなくてもよい。第3方向および第4方向は互いに直交していてもよいし、直交していなくてもよい。例えば、正方格子状の配列では2つの配列方向が互いに直交し、三角格子状の配列では2つの配列方向が互いに60°で交差する。複数のフィルタ100は正方格子状に配列されており、同様に、複数の画素50aは正方格子状に配列されていてもよい。正方格子の代わりに三角格子であってもよい。あるいは、複数のフィルタ100は正方格子状に配列されており、複数の画素50aは三角格子状に配列されていてもよい。正方格子および三角格子の関係は逆であってもよい。
 第1方向および第3方向は互いに同じ方向であってもよいし、互いに異なる方向であってもよい。第2方向および第4方向は互いに同じ方向であってもよいし、互いに異なる方向であってもよい。第3方向と第1方向とがなす角度は、例えば0°以上45°以下であり、第4方向と第2方向とがなす角度は、例えば0°以上45°以下であり得る。角度の上限は45°ではなく、その半分の22.5°であってもよい。
 第1方向および第3方向が互いに異なる場合、第3方向は、平面視で、第1方向を時計回りまたは反時計回りに回転した方向であってもよい。第4方向および第2方向が互いに異なる場合、第4方向は、平面視で、第2方向を時計回りまたは反時計回りに回転した方向であってもよい。第3方向と第1方向とがなす角度が0°以上10°以下である場合、両方向を実質的に同じ方向として扱ってもよい。同様に、第4方向と第2方向とがなす角度が0°以上10°以下である場合、両方向を実質的に同じ方向として扱ってもよい。
 第1方向におけるフィルタピッチは均一であってもよいし、均一でなくてもよい。第1方向におけるフィルタピッチが均一でない場合、図13から図15に示す例において、第1方向におけるフィルタピッチは、第1方向におけるフィルタピッチの平均値である。第1方向におけるフィルタピッチの平均値は、第1方向における全てのフィルタのピッチに基づいて算出されてもよい。あるいは、第1方向におけるフィルタピッチの平均値は、第1方向における一部のフィルタのピッチに基づいて算出されてもよい。
 第2方向におけるフィルタピッチは均一であってもよいし、均一でなくてもよい。第2方向におけるフィルタピッチが均一でない場合、図13から図15に示す例において、第2方向におけるフィルタピッチは、第2方向におけるフィルタピッチの平均値である。第2方向におけるフィルタピッチの平均値は、第2方向における全てのフィルタのピッチに基づいて算出されてもよい。あるいは、第2方向におけるフィルタピッチの平均値は、第2方向における一部のフィルタのピッチに基づいて算出されてもよい。
 第3方向における画素ピッチは均一であってもよいし、均一でなくてもよい。第3方向における画素ピッチが均一でない場合、図13から図15に示す例において、第3方向における画素ピッチは、第3方向における画素ピッチの平均値である。第3方向における画素ピッチの平均値は、第3方向における全ての画素のピッチに基づいて算出されてもよい。あるいは、第3方向における画素ピッチの平均値は、第3方向における一部の画素のピッチに基づいて算出されてもよい。
 第4方向における画素ピッチは均一であってもよいし、均一でなくてもよい。第4方向における画素ピッチが均一でない場合、図13から図15に示す例において、第4方向における画素ピッチは、第4方向における画素ピッチの平均値である。第4方向における画素ピッチの平均値は、第4方向における全ての画素のピッチに基づいて算出されてもよい。あるいは、第4方向における画素ピッチの平均値は、第4方向における一部の画素のピッチに基づいて算出されてもよい。
 図11から図15に示す例において、第1方向および第3方向は互いに同じX方向であり、第2方向および第4方向は互いの同じY方向である。第1方向および第2方向は互いに直交しており、第3方向および第4方向は互いに直交している。第1方向および第2方向の各々におけるフィルタピッチは均一であり、第3方向および第4方向の各々における画素ピッチは均一である。
 第1方向におけるフィルタピッチを、第3方向における画素ピッチによって除算した商をRp1とし、第2方向におけるフィルタピッチを、第4方向における画素ピッチによって除算した商をRp2とする。Rp1およびRp2の少なくとも一方は1とは異なる。Rp1およびRp2の両方が1とは異なっていてもよい。Rp1およびRp2は互いに等しくてもよいし、互いに異なっていてもよい。Rp1およびRp2が互いに等しい場合、フィルタアレイ10の設計が容易である。
 「Rp1およびRp2の少なくとも一方は1とは異なる」は、「(a)Rp1≠1、(b)Rp2≠1、または、(c)Rp1≠1、かつ、Rp2≠1」と解釈されてもよい。
 Rp1およびRp2の少なくとも一方は、0.998以下または1.002以上であることが望ましく、0.99以下または1.01以上であることがより望ましい。それに加えて、Rp1およびRp2の少なくとも一方は、1.5以下であることがより望ましく、0.55以上であることがより望ましく、0.85以上0.95以下であることがさらにより望ましい。
 「Rp1およびRp2の少なくとも一方は、0.998以下または1.002以上」は、「(a)Rp1≦0.998、または、1.002≦Rp1、(b)Rp2≦0.998、または、1.002≦Rp2、または、(c)「Rp1≦0.998、または、1.002≦Rp1」、かつ、「Rp2≦0.998、または、1.002≦Rp2」」と解釈されてもよい。
 「Rp1およびRp2の少なくとも一方は、0.99以下または1.01以上」は、「(a)Rp1≦0.99、または、1.01≦Rp1、(b)Rp2≦0.99、または、1.01≦Rp2、または、(c)「Rp1≦0.99、または、1.01≦Rp1」、かつ、「Rp2≦0.99、または、1.01≦Rp2」」と解釈されてもよい。
 「Rp1およびRp2の少なくとも一方は、1.5以下」は、「(a)Rp1≦1.5、(b)Rp2≦1.5、または、(c)Rp1≦1.5、かつ、Rp2≦1.5」と解釈されてもよい。
 「Rp1およびRp2の少なくとも一方は、0.55以上」は、「(a)0.55≦Rp1、(b)0.55≦Rp2、または、(c)0.55≦Rp1、かつ、0.55≦Rp2」と解釈されてもよい。
 「Rp1およびRp2の少なくとも一方は、0.85以上0.95以下」は、「(a)0.85≦Rp1≦0.95、(b)0.85≦Rp2≦0.95、または、(c)0.85≦Rp1≦0.95、かつ、0.85≦Rp2≦0.95」と解釈されてもよい。
 フィルタアレイ10の有効領域は、平面視で、イメージセンサ50の有効領域の全体に重なる第1部分と、イメージセンサ50の有効領域に重ならない第2部分とを有する。第1方向におけるフィルタアレイ10の有効領域のサイズは、第3方向におけるイメージセンサ50の有効領域のサイズよりも大きい。さらに、第2方向におけるフィルタアレイ10の有効領域のサイズは、第4方向におけるイメージセンサ50の有効領域のサイズよりも大きい。
 具体的には、第1方向におけるフィルタアレイ10の有効領域のサイズは、例えば、第3方向におけるイメージセンサ50の有効領域のサイズよりも10μm以上だけ大きくてもよい。さらに、第2方向におけるフィルタアレイ10の有効領域のサイズは、例えば、第4方向におけるイメージセンサ50の有効領域のサイズよりも10μm以上だけ大きくてもよい。
 あるいは、第1方におけるフィルタアレイ10の有効領域のサイズは、例えば、第3方向におけるイメージセンサ50の有効領域のサイズよりも、第1方向におけるフィルタピッチの2倍以上だけ大きくてもよい。さらに、第2方におけるフィルタアレイ10の有効領域のサイズは、例えば、第4方向におけるイメージセンサ50の有効領域のサイズよりも、第2方向におけるフィルタピッチの2倍以上だけ大きくてもよい。
 なお、圧縮センシングを利用する光検出装置300において、Rp1およびRp2の前述の範囲は、フィルタアレイ10およびイメージセンサ50の配置のずれについての製造上の公差に着目して初めて検討することができる。さらに、Rp1およびRp2の前述の範囲は、図12から図15に示す計算によって初めて見出すことができる。特許文献6から9は、波長フィルタのサイズおよび画素のサイズが互いに異なる構成を開示しているものの、当該構成では、圧縮センシングとは異なり、イメージセンサの各画素から1色の信号を取り出してRBG画像が生成される。当該構成において、フィルタアレイおよびイメージセンサの配置のずれは考慮されていない。
 <フィルタアレイおよびイメージセンサの配置の固定>
 次に、図16Aから図16Dを参照して、フィルタアレイ10およびイメージセンサ50を互いに接着固定する構造の例を説明する。図16Aは、光検出装置300のさらに他の例を模式的に示す断面図である。図16Bは、図16Aに示す光検出装置300からフィルタアレイ10および基板20を除いた状態を示す平面図である。図16Aに示す例において、フィルタアレイ10は、光出射面10s2の周囲に位置する周縁領域10pを有し、イメージセンサ50は、光検出面50sの周囲に位置する周縁領域50pを有する。フィルタアレイ10の周縁領域10pおよびイメージセンサ50の周縁領域50pは平坦である。図16Aに示す例において、光検出装置300は、フィルタアレイ10の周縁領域10pと、イメージセンサ50の周縁領域50pとを貼り合わせる両面テープ30を備える。両面テープ30は、図16Aに示すように、光検出面50sに対して垂直な方向に沿って延びる形状を有し、かつ、図16Bに示すように、光出射面10s2と光検出面50sとの間の空間を囲む形状を有する。両面テープ30は、各フィルタ100の光出射面と光検出面50sとの距離を規定する。両面テープ30の高さは、光出射面10s2と光検出面50sとの距離が前述した最小距離を満足するように設計され得る。両面テープ30によってフィルタアレイ10およびイメージセンサ50の配置を固定することにより、低コストで簡素な工程によって光検出装置300を製造することができる。
 図16Cは、図16Bに示す両面テープ30の配置の他の例を模式的に示す平面図である。図16Cに示す例では、フィルタアレイ10の周縁領域10pの四隅と、イメージセンサ50の周縁領域50pの四隅とが、両面テープ30で互いに貼り合わせられている。本実施形態では、フィルタアレイ10の周縁領域10pの少なくとも一部と、イメージセンサ50の周縁領域50pの少なくとも一部とが両面テープ30で互いに貼り合わせられる。その結果、フィルタアレイ10およびイメージセンサ50の配置を固定することができる。
 図16Dは、図16Bに示す両面テープ30の代わりに複数のスペーサ32および複数の接着剤35を配置した例を模式的に示す平面図である。光検出装置300は、フィルタアレイ10の周縁領域10pと、イメージセンサ50の周縁領域50pとによって挟まれた複数のスペーサ32をさらに備える。フィルタアレイ10の周縁領域10pの少なくとも一部と、イメージセンサ50の周縁領域50pの少なくとも一部とは、複数の接着剤35によって互いに接着固定されている。周縁領域50pに配置される接着剤35は透明でなくてもよい。周縁領域50pは光検出に寄与しないからである。光入射面10s1の法線方向から見たとき、接着剤35およびスペーサ32は、互いに重ならない様に構成してもよい。そのような構成では、フィルタアレイ10の光出射面10s2と、イメージセンサ50の光検出面50sとの距離を正確に規定することができ、フィルタアレイ10およびイメージセンサ50をより平行に近い状態で貼り合わせることが可能になる。光検出面50sにスペーサ32および透明接着剤34が配置されていないので、スペーサ32および透明接着剤34による光の減衰はない。
 図16Dに示す例では、複数のスペーサ32および複数の接着剤35が、イメージセンサ50の周縁領域50pに交互に配置されている。複数のスペーサ32および複数の接着剤35は交互に配置される必要はなく、2つ以上のスペーサ32が連続して配置されていてもよいし、2つ以上の接着剤35が連続して配置されていてもよい。あるいは、イメージセンサ50の周縁領域50pのうち、四隅に4つのスペーサ32がそれぞれ配置されており、それ以外の部分に、複数の接着剤35が配置されていてもよい。図16Dに示す例において、スペーサ32は、矩形の断面形状を有しているが、円形の断面形状を有していてもよい。接着剤35は、円形を有しているが、楕円形であってもよい。光出射面10s2と光検出面50sとの距離を正確に規定する必要がない場合、光入射面10s1の法線方向から見たとき、接着剤35およびスペーサ32は、互いに重なっていてもよい。
 なお、上記の光検出装置300の複数の例の一部または全部を、目的または用途に応じて任意に組み合わせてもよい。例えば、図8に示す反射防止膜22を、図16Aに示す構成に適用してもよい。
 (その他1)
 本開示において、「A及びBの少なくとも一方」は「(A)、(B)、又は、(A及びB)」を意味してもよい。
 (その他2)
 上記した実施形態の変形例は、下記に示すようなものであってもよい。
 複数のフィルタを含むフィルタアレイと、
 複数の画素を有し、前記フィルタアレイからの光を検出するイメージセンサと、
を備え、
 前記複数のフィルタは、第1フィルタと第2フィルタを含み、
 前記第1フィルタの透過スペクトルは、複数の第1極大値を有し、
 前記第2フィルタの透過スペクトルは、複数の第2極大値を有し、
 前記複数の第1極大値に対応する複数の波長値は前記複数の第2極大値に対応する複数の波長値は異なり、
 前記複数のフィルタは、互いに交差する第1方向および第2方向に沿って行列状に配列され、
 前記複数の画素は、互いに交差する第3方向および第4方向に沿って行列状に配列され、
 前記第3方向と前記第1方向とがなす角度は0°以上45°以下であり、
 前記第4方向と前記第2方向とがなす角度は0°以上45°以下であり、
 (a)Rp1≠1、(b)Rp2≠1、または、(c)前記Rp1≠1、かつ、前記Rp2≠1であり、
 前記Rp1=(前記フィルタアレイの前記第1方向の第1フィルタ距離)/(前記イメージセンサの前記第3方向の第1画素距離)、
 前記Rp2=(前記フィルタアレイの前記第2方向の第2フィルタ距離)/(前記イメージセンサの前記第4方向の第2画素距離)、
 前記第1方向の前記第1フィルタ距離は、前記複数のフィルタに含まれ、かつ、前記第1方向に配列された、2つの第1フィルタの中心間距離に基づいて決定され、前記2つの第1フィルタは隣接し、
 前記第2方向の前記第2フィルタ距離は、前記複数のフィルタに含まれ、かつ、前記第2方向に配列された、2つの第2フィルタの中心間距離に基づいて決定され、前記2つの第2フィルタは隣接し、
 前記第3方向の前記第1画素距離は、前記複数の画素に含まれ、かつ、前記第3方向に配列された、2つの第1画素の中心間距離に基づいて決定され、前記2つの第1画素は隣接し、
 前記第4方向の前記第2画素距離は、前記複数の画素に含まれ、かつ、前記第4方向に配列された、2つの第2画素の中心間距離に基づいて決定され、前記2つの第2画素は隣接する、
 光検出装置。
 上記した実施形態におけるRp1、Rp2は下記に示すようなものであってもよい。
 Rp1=(フィルタアレイ10の第1方向における第1フィルタ距離)/(イメージセンサ50の第3方向における第1画素距離)
 Rp2=(フィルタアレイ10の第2方向における第2フィルタ距離)/(イメージセンサ50の第4方向における第2画素距離)
 次に、フィルタアレイ10の第1方向の第1フィルタ距離の例、フィルタアレイ10の第2方向の第2フィルタ距離の例を説明する。
 図17は、フィルタアレイ10の第1方向の第1フィルタ距離の例、フィルタアレイ10の第2方向の第2フィルタ距離の例を説明するための図である。
 フィルタアレイ10は複数のフィルタであるフィルタf(1,1)、~、フィルタf(n,m)を含む。複数のフィルタは互いに交差する第1方向(=X方向)および第2方向(=Y方向)に沿って行列状に配置されている。
 図17において、フィルタf(1,1)とフィルタf(1,2)のフィルタ距離はfp[f(1,1),f(1,2)]で示されている。fp[f(1,1),f(1,2)]はフィルタf(1,1)の中心とフィルタf(1,2)の中心のXY平面上の距離である。
 図17において、フィルタf(1,1)とフィルタf(2,1)のフィルタ距離はfp[f(1,1),f(2,1)]で示されている。fp[f(1,1),f(2,1)]はフィルタf(1,1)の中心とフィルタf(2,1)の中心のXY平面上の距離である。
 複数のフィルタは互いに交差する第1方向(=X方向)および第2方向(=Y方向)に沿って行列状に配置されているので、
 fp[f(1,1),f(1,2)]=fp[f(2,1),f(2,2)]=・・・=fp[f(n,1),f(n,2)]≡fp(第2方向,1)、・・・、
 fp[f(1,m-1),f(1,m)]=fp[f(2,m-1),f(2,m)]=・・・=fp[f(n,m-1),f(n,m)]≡fp(第2方向,m-1)、
 fp[f(1,1),f(2,1)]=fp[f(1,2),f(2,2)]=・・・=fp[f(1,m),f(2,m)]≡fp(第1方向,1)、・・・、
 fp[f(n-1,1),f(n,1)]=fp[f(n-1,2),f(n,2)]=・・・=fp[f(n-1,m),f(n,m)]≡fp(第1方向,n-1)であってもよい。
 フィルタアレイ10の第1方向の第1フィルタ距離は、fp(第1方向,1)、・・・、fp(第1方向,n-1)に含まれる少なくとも1つに基づいて決定されてもよい。フィルタアレイ10の第1方向の第1フィルタ距離は、(fp(第1方向,1)+・・・+fp(第1方向,n-1))/(n-1)であってもよい。fp(第1方向,1)=・・・=fp(第1方向,n-1)であってもよい。
 フィルタアレイ10の第2方向の第2フィルタ距離は、fp(第2方向,1)、・・・、fp(第2方向,m-1)に含まれる少なくとも1つに基づいて決定されてもよい。フィルタアレイ10の第2方向の第2フィルタ距離は、(fp(第2方向,1)+・・・+fp(第2方向,m-1))/(m-1)であってもよい。fp(第2方向,1)=・・・=fp(第2方向,m-1)であってもよい。
 次に、イメージセンサ50の第3方向の第1画素距離の例、イメージセンサ50の第4方向の第2画素距離の例を説明する。
 図18は、イメージセンサ50の第3方向の第1画素距離の例、イメージセンサ50の第4方向の第2画素距離の例を説明するための図である。
 イメージセンサ50は複数の画素である画素p(1,1)、~、画素p(n,m)を含む。複数の画素は互いに交差する第3方向(=X’方向)および第4方向(=Y’方向)に沿って行列状に配置されている。
 図18において、画素p(1,1)と画素p(1,2)の画素距離はpp[p(1,1),p(1,2)]で示されている。pp[p(1,1),p(1,2)]は画素p(1,1)の中心と画素p(1,2)の中心のX’Y’平面上の距離である。
 図18において、画素p(1,1)と画素p(2,1)の画素距離はpp[p(1,1),p(2,1)]で示されている。pp[p(1,1),p(2,1)]は画素p(1,1)の中心と画素pp(2,1)の中心のX’Y’平面上の距離である。
 複数の画素は互いに交差する第3方向(=X’方向)および第4方向(=Y’方向)に沿って行列状に配置されているので、
 pp[p(1,1),p(1,2)]=pp[f(2,1),f(2,2)]=・・・=pp[p(n,1),p(n,2)]≡pp(第4方向,1)、・・・、
 pp[p(1,m-1),p(1,m)]=pp[f(2,m-1),p(2,m)]=・・・=pp[p(n,m-1),p(n,m)]≡pp(第4方向,m-1)、
 pp[p(1,1),p(2,1)]=pp[p(1,2),p(2,2)]=・・・=ppp[p(1,m),p(2,m)]≡pp(第3方向,1)、・・・、
 pp[p(n-1,1),p(n,1)]=pp[p(n-1,2),p(n,2)]=・・・=pp[p(n-1,m),p(n,m)]≡pp(第3方向,n-1)であってもよい。
 イメージセンサ50の第3方向の第1画素距離は、pp(第3方向,1)、・・・、pp(第3方向,n-1)に含まれる少なくとも1つに基づいて決定されてもよい。イメージセンサ50の第3方向の第1画素距離は、(pp(第3方向,1)+・・・+pp(第3方向,n-1))/(n-1)であってもよい。pp(第3方向,1)=・・・=pp(第3方向,n-1)であってもよい。
 イメージセンサ50の第4方向の第2画素距離は、pp(第4方向,1)、・・・、pp(第4方向,m-1)に含まれる少なくとも1つに基づいて決定されてもよい。イメージセンサ50の第4方向の第2画素距離は、(pp(第4方向,1)+・・・+pp(第4方向,m-1))/(m-1)であってもよい。pp(第4方向,1)=・・・=pp(第4方向,m-1)であってもよい。
 上記説明では、フィルタの数はn×m個、画素の数はn×m個として説明したが、フィルタの数と行列の数の要素数は、異なっていてもよい、または、同じであってもよい。
 本開示における光検出装置、およびフィルタアレイは、例えば、多波長の2次元画像を取得するカメラおよび測定機器に有用である。本開示における光検出装置、およびフィルタアレイは、生体・医療・美容向けセンシング、食品の異物・残留農薬検査システム、リモートセンシングシステムおよび車載センシングシステム等にも応用できる。
  10   フィルタアレイ
  10s1 光入射面
  10s2 光出射面
  10p  フィルタアレイの周縁領域
  12   干渉層
  14a  第1反射層
  14b  第2反射層
  20   基板
  22   反射防止膜
  30   両面テープ
  32   スペーサ
  35   接着剤
  40   光学系
  40a  マイクロレンズ
  50   イメージセンサ
  50s  光検出面
  50a  光検出素子
  50p  イメージセンサの周縁領域
  60   対象物
  100  フィルタ
  120  画像
  200  信号処理回路
  220  分離画像
  300、310  光検出装置
  400  光検出システム

Claims (20)

  1.  複数のフィルタを含むフィルタアレイと、
     複数の画素を有し、前記フィルタアレイを介した光を検出するイメージセンサと、
    を備え、
     前記複数のフィルタは、第1フィルタと第2フィルタを含み、
     前記第1フィルタの第1透過スペクトルは、前記第2フィルタの第2透過スペクトルと異なり、
     前記第1透過スペクトルは、複数の極大値を有し、
     前記第2透過スペクトルは、複数の極大値を有し、
     前記複数のフィルタは、互いに交差する第1方向および第2方向に沿って行列状に配列されており、
     前記複数の画素は、互いに交差する第3方向および第4方向に沿って行列状に配列されており、
     前記第1方向における前記複数のフィルタのピッチを、前記第3方向における前記複数の画素のピッチによって除算した商をRp1とし、
     前記第2方向における前記複数のフィルタのピッチを、前記第4方向における前記複数の画素のピッチによって除算した商をRp2とすると、
     前記Rp1および前記Rp2の少なくとも一方は1とは異なる、
     光検出装置。
  2.  前記Rp1および前記Rp2の両方は1とは異なる、
     請求項1に記載の光検出装置。
  3.  前記Rp1および前記Rp2は互いに等しい、
     請求項2に記載の光検出装置。
  4.  前記フィルタアレイの有効領域は、平面視で、前記イメージセンサの有効領域の全体に重なる第1部分と、前記イメージセンサの有効領域に重ならない第2部分とを有する、
     請求項1から3のいずれかに記載の光検出装置。
  5.  前記第1方向における前記フィルタアレイの有効領域のサイズは、前記第3方向における前記イメージセンサの有効領域のサイズよりも10μm以上だけ大きく、
     前記第2方向における前記フィルタアレイの前記有効領域のサイズは、前記第4方向における前記イメージセンサの前記有効領域のサイズよりも10μm以上だけ大きい、
     請求項4に記載の光検出装置。
  6.  前記第1方向における前記フィルタアレイの有効領域のサイズは、前記第3方向における前記イメージセンサの有効領域のサイズよりも、前記第1方向における前記複数のフィルタのピッチの2倍以上だけ大きく、
     前記第2方向における前記フィルタアレイの前記有効領域のサイズは、前記第4方向における前記イメージセンサの前記有効領域のサイズよりも、前記第2方向における前記複数のフィルタのピッチの2倍以上だけ大きい、
     請求項4または5に記載の光検出装置。
  7.  前記Rp1および前記Rp2の少なくとも一方は0.998以下、または1.002以上である、
     請求項1から6のいずれかに記載の光検出装置。
  8.  前記Rp1および前記Rp2の少なくとも一方は0.99以下、または1.01以上である、
     請求項7記載の光検出装置。
  9.  前記Rp1および前記Rp2の少なくとも一方は1.5以下である、
     請求項7または8に記載の光検出装置。
  10.  前記Rp1および前記Rp2の少なくとも一方は1よりも小さい、
     請求項9に記載の光検出装置。
  11.  前記Rp1および前記Rp2の少なくとも一方は0.55以上である、
     請求項7から10のいずれかに記載の光検出装置。
  12.  前記フィルタアレイは、光入射面と、前記光入射面の反対側に位置する凹凸面とを有し、
     前記凹凸面は、前記イメージセンサの光検出面が対向している、
     請求項1から11のいずれかに記載の光検出装置。
  13.  撮像の対象波長域がλ1以上λ2以下であるとき、
     前記凹凸面と前記光検出面との最小距離は、λ2/4よりも大きい、
     請求項12に記載の光検出装置。
  14.  前記フィルタアレイの周縁領域と、前記イメージセンサの周縁領域とによって挟まれた複数のスペーサをさらに備え、
     前記フィルタアレイの前記周縁領域の少なくとも一部と、前記イメージセンサの前記周縁領域の少なくとも一部とは、複数の接着剤によって互いに接着固定されている、
     請求項12または13に記載の光検出装置。
  15.  請求項1から14のいずれかに記載の光検出装置と、
     処理回路と、
    を備え、
     前記処理回路は、前記イメージセンサによって取得された画像から、4つ以上の波長域の各々に対応する分光画像を復元する、
     光検出システム。
  16.  複数の画素を有するイメージセンサに用いられるフィルタアレイであって、
     複数のフィルタを備え、
     前記複数のフィルタは、第1フィルタと第2フィルタを含み、
     前記第1フィルタの第1透過スペクトルは、前記第2フィルタの第2透過スペクトルと異なり、
     前記第1透過スペクトルは、複数の極大値を有し、
     前記第2透過スペクトルは、複数の極大値を有し、
     前記複数のフィルタは、互いに交差する第1方向および第2方向に沿って行列状に配列されており、
     前記複数の画素は、互いに交差する第3方向および第4方向に沿って行列状に配列されており、
     前記第1方向における前記複数のフィルタのピッチを、前記第3方向における前記複数の画素のピッチによって除算した商をRp1とし、
     前記第2方向における前記複数のフィルタのピッチを、前記第4方向における前記複数の画素のピッチによって除算した商をRp2とすると、
     前記Rp1および前記Rp2の少なくとも一方は1とは異なる、
    フィルタアレイ。
  17.  複数のフィルタを含むフィルタアレイと、
     複数の画素を有し、前記フィルタアレイを透過した光を検出するイメージセンサと、
    を備え、
     前記複数のフィルタは、複数の第1フィルタと複数の第2フィルタを含み、
     前記複数の第1フィルタのそれぞれは、第1透過スペクトルを示し、
     前記複数の第2フィルタのそれぞれは、第2透過スペクトルを示し、
     前記第1透過スペクトルは、前記第2透過スペクトルと異なり、
     前記複数の第1フィルタは、前記フィルタアレイにおいて、不規則に配置され、
     前記複数の第2フィルタは、前記フィルタアレイにおいて、不規則に配置され、
     前記複数のフィルタは、互いに交差する第1方向および第2方向に沿って行列状に配列されており、
     前記複数の画素は、互いに交差する第3方向および第4方向に沿って行列状に配列されており、
     前記第1方向における前記複数のフィルタのピッチを、前記第3方向における前記複数の画素のピッチによって除算した商をRp1とし、
     前記第2方向における前記複数のフィルタのピッチを、前記第4方向における前記複数の画素のピッチによって除算した商をRp2とすると、
     前記Rp1および前記Rp2の少なくとも一方は1とは異なる、
     光検出装置。
  18.  前記第3方向と前記第1方向とがなす角度は0°以上45°以下であり、前記第4方向と前記第2方向とがなす角度は0°以上45°以下である、
     請求項1に記載の光検出装置。
  19.  前記第3方向と前記第1方向とがなす角度は0°以上45°以下であり、前記第4方向と前記第2方向とがなす角度は0°以上45°以下であり、
     請求項16に記載のフィルタアレイ。
  20.  前記第3方向と前記第1方向とがなす角度は0°以上45°以下であり、前記第4方向と前記第2方向とがなす角度は0°以上45°以下である、
     請求項17に記載の光検出装置。
PCT/JP2023/007415 2022-03-11 2023-02-28 光検出装置、光検出システム、およびフィルタアレイ WO2023171470A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202380023677.4A CN118765378A (zh) 2022-03-11 2023-02-28 光检测装置、光检测系统及滤光器阵列

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022038388 2022-03-11
JP2022-038388 2022-03-11

Publications (1)

Publication Number Publication Date
WO2023171470A1 true WO2023171470A1 (ja) 2023-09-14

Family

ID=87935238

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/007415 WO2023171470A1 (ja) 2022-03-11 2023-02-28 光検出装置、光検出システム、およびフィルタアレイ

Country Status (2)

Country Link
CN (1) CN118765378A (ja)
WO (1) WO2023171470A1 (ja)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55165562A (en) 1979-06-11 1980-12-24 Toshiba Corp Metallic vapor discharge lamp
JPS56123185A (en) 1980-02-04 1981-09-28 Rca Corp Filter for image pickup device
JPS59218770A (ja) 1983-05-26 1984-12-10 Toppan Printing Co Ltd 色分解フイルタ−の貼り合わせ方法
JPS63151076A (ja) 1986-12-16 1988-06-23 Sony Corp 固体撮像装置
US20060054782A1 (en) * 2004-08-25 2006-03-16 Olsen Richard I Apparatus for multiple camera devices and method of operating same
WO2010079557A1 (ja) 2009-01-06 2010-07-15 パナソニック株式会社 撮像装置向き検出装置および当該装置を備える移動体
JP2016156801A (ja) 2014-11-19 2016-09-01 パナソニックIpマネジメント株式会社 撮像装置および分光システム
US9466628B2 (en) 2012-12-21 2016-10-11 Imec Spectral imaging device and method to calibrate the same
US20190019829A1 (en) * 2016-01-13 2019-01-17 National Ict Australia Limited Image sensor
JP2019080245A (ja) * 2017-10-26 2019-05-23 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び撮像装置
WO2020061104A1 (en) * 2018-09-18 2020-03-26 Intuitive Surgical Operations, Inc. Method and system for enhanced image sensor timing
JP2020182081A (ja) * 2019-04-24 2020-11-05 横河電機株式会社 撮像装置、分光フィルタ、及び撮像方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55165562A (en) 1979-06-11 1980-12-24 Toshiba Corp Metallic vapor discharge lamp
JPS56123185A (en) 1980-02-04 1981-09-28 Rca Corp Filter for image pickup device
JPS59218770A (ja) 1983-05-26 1984-12-10 Toppan Printing Co Ltd 色分解フイルタ−の貼り合わせ方法
JPS63151076A (ja) 1986-12-16 1988-06-23 Sony Corp 固体撮像装置
US20060054782A1 (en) * 2004-08-25 2006-03-16 Olsen Richard I Apparatus for multiple camera devices and method of operating same
WO2010079557A1 (ja) 2009-01-06 2010-07-15 パナソニック株式会社 撮像装置向き検出装置および当該装置を備える移動体
US9466628B2 (en) 2012-12-21 2016-10-11 Imec Spectral imaging device and method to calibrate the same
JP2016156801A (ja) 2014-11-19 2016-09-01 パナソニックIpマネジメント株式会社 撮像装置および分光システム
US9599511B2 (en) 2014-11-19 2017-03-21 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus comprising coding element and spectroscopic system comprising the imaging apparatus
US20190019829A1 (en) * 2016-01-13 2019-01-17 National Ict Australia Limited Image sensor
JP2019080245A (ja) * 2017-10-26 2019-05-23 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び撮像装置
WO2020061104A1 (en) * 2018-09-18 2020-03-26 Intuitive Surgical Operations, Inc. Method and system for enhanced image sensor timing
JP2020182081A (ja) * 2019-04-24 2020-11-05 横河電機株式会社 撮像装置、分光フィルタ、及び撮像方法

Also Published As

Publication number Publication date
CN118765378A (zh) 2024-10-11

Similar Documents

Publication Publication Date Title
JP6945195B2 (ja) 光学フィルタ、光検出装置、および光検出システム
WO2022091769A1 (ja) 光検出装置、構造体の製造方法、および光検出装置の製造方法
JP6952294B2 (ja) 光検出装置、光検出システム、およびフィルタアレイ
JP7457952B2 (ja) 光検出装置、光検出システム、およびフィルタアレイ
JP7142251B2 (ja) フィルタアレイおよび光検出システム
US20210377498A1 (en) Optical filter array, photodetection device, and photodetection system
US20230092032A1 (en) Filter array and light detection system
WO2023171470A1 (ja) 光検出装置、光検出システム、およびフィルタアレイ
WO2022044692A1 (ja) フィルタアレイおよび撮像システム
WO2021235151A1 (ja) フィルタアレイおよび光検出システム
JP2021110869A (ja) 光学フィルタ、および光検出装置
CN118836980A (en) Light detection device and light detection system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23766648

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024506093

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2023766648

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023766648

Country of ref document: EP

Effective date: 20241011