WO2023106143A1 - 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法 - Google Patents

分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法 Download PDF

Info

Publication number
WO2023106143A1
WO2023106143A1 PCT/JP2022/043657 JP2022043657W WO2023106143A1 WO 2023106143 A1 WO2023106143 A1 WO 2023106143A1 JP 2022043657 W JP2022043657 W JP 2022043657W WO 2023106143 A1 WO2023106143 A1 WO 2023106143A1
Authority
WO
WIPO (PCT)
Prior art keywords
wavelength
mask data
filter array
wavelength bands
image
Prior art date
Application number
PCT/JP2022/043657
Other languages
English (en)
French (fr)
Inventor
基樹 八子
篤 石川
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2023106143A1 publication Critical patent/WO2023106143A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/26—Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals

Definitions

  • an apparatus used in a system for generating spectral images corresponding to each of N (N is an integer equal to or greater than 4) wavelength bands includes a plurality of optical filters having different spectral transmittances; and an image sensor that detects light passing through the plurality of optical filters, wherein the image sensor corresponds to the i-th wavelength band (i is an integer of 1 or more and N or less) among the N wavelength bands.
  • the i-th mask data corresponding to the pixel value distribution corresponding to the i-th wavelength band is output, and out of the N wavelength bands, the j-th wavelength band (j is j-th mask data according to the pixel value distribution corresponding to the j-th wavelength band is output by detecting only light corresponding to the j-th wavelength band, and the i-th mask data and the Let the correlation coefficient r ij with the j-th mask data be
  • Computer-readable recording media include non-volatile recording media such as CD-ROMs (Compact Disc-Read Only Memory).
  • FIG. 1A is a diagram schematically illustrating the configuration of an imaging system according to an exemplary embodiment of the present disclosure
  • FIG. 1B schematically illustrates another configuration of an imaging system according to an exemplary embodiment of the present disclosure
  • FIG. 1C schematically illustrates yet another configuration of an imaging system according to an exemplary embodiment of the present disclosure
  • 1D schematically illustrates yet another configuration of an imaging system according to an exemplary embodiment of the present disclosure
  • FIG. 2A is a diagram schematically showing an example of a filter array.
  • FIG. 2B is a diagram showing an example of a spatial distribution of light transmittance in each of a plurality of wavelength bands included in the target wavelength band.
  • FIG. 1A is a diagram schematically illustrating the configuration of an imaging system according to an exemplary embodiment of the present disclosure
  • FIG. 1B schematically illustrates another configuration of an imaging system according to an exemplary embodiment of the present disclosure
  • FIG. 1C schematically illustrates yet another configuration of an imaging system according to an exemplary embodiment of the present disclosure
  • 1D
  • FIG. 2C is a diagram showing an example of spectral transmittance of area A1 included in the filter array shown in FIG. 2A.
  • FIG. 2D is a diagram showing an example of spectral transmittance of area A2 included in the filter array shown in FIG. 2A.
  • FIG. 3A is a diagram for explaining the relationship between the target wavelength band W and a plurality of wavelength bands included therein.
  • FIG. 3B is a diagram for explaining the relationship between the target wavelength band W and a plurality of wavelength bands included therein.
  • FIG. 4A is a diagram for explaining spectral transmittance characteristics in a certain region of the filter array.
  • FIG. 4B is a diagram showing the result of averaging the spectral transmittance shown in FIG. 4A for each wavelength band.
  • FIG. 8C is a diagram showing the reconstruction accuracy of the hyperspectral image of the object reconstructed using the mask data shown in FIGS. 8A and 8B.
  • FIG. 9A is a diagram showing the object shown in FIG. 7A and the correlation function of its spectral image.
  • FIG. 9B is a diagram showing the correlation function of the object shown in FIG. 7B and its spectral image.
  • FIG. 9C is a diagram showing the correlation function of the object shown in FIG. 7C and its spectral image.
  • FIG. 10 is a diagram explaining that the half width of the transmission peak of the optical filter is
  • FIG. 11 is a diagram explaining that the half width of the transmission peak of the optical filter is
  • all or part of a circuit, unit, device, member or section, or all or part of a functional block in a block diagram is, for example, a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (large scale integration). ) may be performed by one or more electronic circuits.
  • An LSI or IC may be integrated on one chip, or may be configured by combining a plurality of chips.
  • functional blocks other than memory elements may be integrated on one chip.
  • LSIs or ICs may be called system LSIs, VLSIs (very large scale integration), or ULSIs (ultra large scale integration) depending on the degree of integration.
  • a compressed image in which spectral information is compressed is obtained by imaging light reflected by an object through a filter array having a plurality of optical filters arranged in a two-dimensional plane. is obtained.
  • spectral images for each of N wavelength bands (N is an integer of 4 or more) within the target wavelength band are obtained from the photographed compressed image by calculation based on the mask data of the filter array. is reconfigured. As a result, a hyperspectral image of the object can be reconstructed. By appropriately designing the mask data of the filter array, the reconstruction accuracy of the hyperspectral image of the object can be improved.
  • the target wavelength range is a wavelength range determined based on the upper and lower limits of the wavelength of light incident on the image sensor used for imaging.
  • the target wavelength range may be, for example, any range from the upper limit to the lower limit of the wavelengths to which the image sensor is sensitive, ie, the sensitivity wavelength range.
  • the wavelength range of interest may be part of the wavelength range of sensitivity of the image sensor if an object that absorbs and/or reflects light in the wavelength range of sensitivity is placed on the optical axis of the image sensor.
  • the target wavelength range may correspond to the wavelength range of data output from the image sensor, ie, the output wavelength range.
  • the wavelength resolution is the width of a wavelength band when a spectral image is generated for each wavelength band by reconstruction. For example, when generating a spectral image corresponding to a wavelength band with a width of 5 nm, the wavelength resolution is 5 nm. Similarly, when generating a spectral image corresponding to a wavelength band with a width of 20 nm, the wavelength resolution is 20 nm.
  • the mask data is data indicating the arrangement based on the spatial distribution of the transmittance of the filter array.
  • Data representing the spatial distribution of the transmittance of the filter array itself may be used as the mask data, or data obtained by performing a reversible calculation on the transmittance of the filter array may be used as the mask data.
  • reversible calculations refer to addition, subtraction, multiplication and division of constant values, power calculations, exponential calculations, logarithmic calculations, and gamma correction, for example.
  • the reversible calculation may be performed uniformly within the target wavelength band, or may be performed for each wavelength band described later.
  • the wavelength range of 400 nm or more and 450 nm or less is defined as "a wavelength range having a certain finite width", but in terms of calculation, wavelengths are not distinguished within this wavelength range. That is, since only intensity information is recorded and used for calculation, only intensity is recorded and wavelength information is not saved when light of 420 nm or 430 nm is incident. For this reason, all wavelengths within this wavelength range are treated as the same wavelength for calculation purposes.
  • the spatial distribution of the transmittance of the filter array can be observed, for example, using a light source that outputs only specific wavelengths and an integrating sphere.
  • a light source that outputs only specific wavelengths and an integrating sphere.
  • only light with a wavelength of 400 nm or more and 450 nm or less is output from the light source, and the output light is detected through the filter array after being uniformly diffused by the integrating sphere.
  • an image is obtained in which, for example, the sensitivity of the image sensor and/or the aberration of the lens are superimposed on the spatial distribution of the transmittance of the filter array in the wavelength range of 400 nm or more and 450 nm or less.
  • the obtained image can be treated as a matrix.
  • the spatial distribution of the transmittance of the filter array can be obtained by applying corrections to the resulting image.
  • the resulting image can be interpreted as an image in which reversible calculations such as image sensor sensitivity and/or lens aberrations have been applied to the spatial distribution of transmittance of the filter array. Therefore, it is not necessary to correct the obtained image.
  • the transmittance cannot be changed discontinuously back and forth over a certain wavelength, and fluctuates with a finite rise and fall angle.
  • the upper and lower limits of the wavelength band can be defined by the wavelengths at which the transmittance is attenuated from its peak intensity.
  • a constant percentage can be, for example, 90%, 50%, or 10% of the peak intensity.
  • the mask data can be compressed in a lossless format such as PNG (Portable Network Graphics) or GIF (Graphics Interchange Format).
  • PNG Portable Network Graphics
  • GIF Graphics Interchange Format
  • the wavelength band is a partial wavelength range within the target wavelength range, and is a range of wavelengths treated as the same wavelength in the mask data.
  • a wavelength band can be a range of wavelengths having a certain width, called a "band".
  • a wavelength band can be, for example, a 50 nm wide wavelength band between 500 nm and 550 nm.
  • a collection of wavelength bands having a certain width is also referred to herein as a "waveband".
  • the wavelength band may be, for example, a 100 nm wide wavelength band obtained by summing a 50 nm wide wavelength band from 500 nm to 550 nm and a 50 nm wide wavelength band from 600 nm to 650 nm. Since the wavelength bands may be treated as the same wavelength in the mask data, it is not necessary to consider whether or not multiple wavelength bands are continuous.
  • a spectral image is a two-dimensional image output for each wavelength band as a result of restoration calculation. Since a spectral image is generated for each wavelength band, one corresponding spectral image is determined for a given wavelength band.
  • a spectral image may be output as a monochrome image.
  • a plurality of spectral images respectively corresponding to a plurality of wavelength bands may be output as three-dimensional array data in the spatial direction and wavelength direction.
  • the plurality of spectral images may be output as data in which a plurality of pixel values are arranged one-dimensionally. Each of the plurality of pixel values corresponds to a set of wavelength band and pixel.
  • header information including meta information such as spatial resolution and the number of wavelength bands may be attached to the plurality of spectral images and output.
  • a spectral image is also referred to as a restored image.
  • the restoration accuracy is the degree of divergence between the restored spectral image and the correct image.
  • Restoration accuracy can be expressed using various indices such as MSE (Mean Squared Error) or PSNR (Peak Signal-to-Noise Ratio).
  • MSE Mel Squared Error
  • PSNR Peak Signal-to-Noise Ratio
  • the method examines the wavelength dependence of a correct image using, for example, a bandpass filter that transmits only light of a specific wavelength, an object with a known transmission and/or reflection spectrum, and a laser with a known emission wavelength. That is.
  • Sparsity is the property that the elements that characterize the object are sparse in a certain direction, such as the spatial direction or the wavelength direction. Sparsity is ubiquitous in nature. By using sparsity, it is possible to efficiently acquire necessary information.
  • a technology that applies sparsity to the sensing field is called compressed sensing technology, and it is known that devices or systems can be efficiently constructed by compressed sensing technology. As disclosed in Patent Literature 1, applying the compressed sensing technology to a hyperspectral camera enables, for example, improved wavelength resolution, high resolution, multi-wavelength, and multi-wavelength video shooting.
  • An example of applying compressed sensing technology to a hyperspectral camera is as follows.
  • a filter array that transmits the reflected light and an image sensor that detects the light transmitted through the filter array are arranged on the optical path of the light reflected by the object.
  • the filter array has random transmission properties in spatial and/or wavelength directions.
  • a hyperspectral image can be restored by reconstructing a spectral image from a photographed compressed image based on the mask data of the filter array.
  • the restoration process is performed by an estimation operation assuming the sparsity of the object, that is, by sparse reconstruction.
  • the normalization term can be, for example, the Discrete Cosine Transform (DCT), Wavelet Transform, Fourier Transform, or Total Variation (TV).
  • DCT Discrete Cosine Transform
  • TV Total Variation
  • the present inventors have focused on the sparsity in the wavelength direction of substances that exist in the natural world, and have found that the restoration accuracy of hyperspectral images is improved by relaxing the randomness in the wavelength direction from complete randomness to some extent. .
  • a device includes a plurality of optical filters with different spectral transmittances and an image sensor that detects light passing through the plurality of optical filters.
  • the randomness in the wavelength direction of the transmittance of a plurality of optical filters is relaxed to some extent from complete randomness. As a result, it becomes possible to improve the restoration accuracy of the hyperspectral image.
  • the following describes an apparatus and filter array for use in a system for producing spectroscopic images, a system for producing spectroscopic images, and a method of manufacturing a filter array according to embodiments of the present disclosure.
  • a device is a device used in a system that generates spectral images corresponding to each of N (N is an integer equal to or greater than 4) wavelength bands.
  • the device includes a plurality of optical filters having different spectral transmittances, and an image sensor that detects light passing through the plurality of optical filters.
  • the image sensor detects only light corresponding to an i-th wavelength band (i is an integer of 1 or more and N or less) among the N wavelength bands, so that a pixel corresponding to the i-th wavelength band
  • i-th wavelength band i is an integer of 1 or more and N or less
  • j-th wavelength band j is an integer of 1 or more and N or less
  • the correlation coefficient r ij between the i-th mask data and the j-th mask data be
  • i mn and j mn are the pixel values of pixels of m rows and n columns in the i th and j th mask data, respectively, and i 0 and j 0 are the i th and j th mask data respectively. It is the average value of the pixel values of the mask data.
  • the i-th mask data and the j-th mask data in which
  • the correlation coefficient r ij satisfies r ij ⁇ 0.8
  • at least one said correlation coefficient r ij satisfies r ij ⁇ 0.8.
  • This device can improve the restoration accuracy of hyperspectral images.
  • the device according to the second item is the device according to the first item, wherein
  • the correlation coefficient r ij satisfies r ij ⁇ 0.8 and
  • the correlation coefficient r ij satisfies r ij ⁇ 0.8.
  • the restoration accuracy of the hyperspectral image can be improved in the case where the mask data for wavelength bands that are close to some extent are similar to each other and the mask data for other wavelength bands are not similar.
  • the filter array according to the fourth item is a filter array used in a system that generates spectral images corresponding to each of N (N is an integer equal to or greater than 4) wavelength bands.
  • the filter array includes a plurality of optical filters having different spectral transmittances.
  • the i-th transmittance distribution of the plurality of optical filters for light in the i-th wavelength band i is an integer of 1 or more and N or less
  • the j-th wavelength band j is The correlation coefficient r ij with the j-th transmittance distribution of the plurality of optical filters for the light of (integer of 1 or more and N or less) is
  • i mn and j mn are the transmittances of the optical filters of m rows and n columns among the transmittance distributions of the plurality of optical filters for the light of the i-th and j-th wavelength bands, respectively, and i 0 and j0 are the average values of the transmittance of the i-th and j-th transmittance distributions, respectively.
  • the N wavelength bands are the i-th transmittance distribution and the j-th transmittance distribution in which
  • at least one said correlation coefficient r ij is such that r ij ⁇ 0.8.
  • This filter array can improve the restoration accuracy of hyperspectral images.
  • the system according to the fifth item is a system that generates spectral images corresponding to each of N (N is an integer equal to or greater than 4) wavelength bands.
  • the system includes a device according to any one of the first to third items and a processing circuit.
  • the processing circuit causes the image sensor included in the device to detect light through the plurality of optical filters to generate and output an image signal, the image signal and the N wavelength bands.
  • the spectral image is generated and output based on N pieces of mask data respectively corresponding to .
  • This system can improve the restoration accuracy of hyperspectral images.
  • the method for manufacturing a filter array according to the sixth item is a method for manufacturing a filter array used in a system that generates spectral images corresponding to each of N (N is an integer equal to or greater than 4) wavelength bands.
  • the filter array includes a plurality of optical filters having different spectral transmittances.
  • the method for manufacturing the filter array includes: calculating correlation coefficients of the spectral images of the object for all combinations of two different wavelength bands among the N wavelength bands; and designing a transmittance distribution of the plurality of optical filters for each of the N wavelength bands based on.
  • FIG. 1A is a diagram schematically showing the configuration of an imaging system according to an exemplary embodiment of the present disclosure.
  • An imaging system 300 shown in FIG. 1A includes an imaging device 100 and a processing device 200 .
  • the imaging device 100 has a configuration similar to that of the imaging device disclosed in Japanese Unexamined Patent Application Publication No. 2002-200012.
  • the imaging device 100 includes an optical system 140 , a filter array 110 and an image sensor 160 .
  • the optical system 140 and the filter array 110 are arranged on the optical path of the light reflected by the object 70 that is the subject. Filter array 110 is placed between optical system 140 and image sensor 160 .
  • FIG. 1A illustrates an apple as an example of the object 70 .
  • Object 70 is not limited to an apple, and can be any object that can be inspected.
  • the image sensor 160 generates compressed image 120 data in which the information of multiple wavelength bands is compressed as a two-dimensional monochrome image.
  • the processing device 200 Based on the data of the compressed image 120 generated by the image sensor 160, the processing device 200 generates image data for each of the multiple wavelength bands included in the target wavelength range.
  • a plurality of image data corresponding to the plurality of wavelength bands thus generated are referred to herein as "hyperspectral image data".
  • the number of wavelength bands included in the target wavelength band be N (N is an integer equal to or greater than 4).
  • spectral image 220W 1 a plurality of image data corresponding to a plurality of wavelength bands to be generated are referred to as spectral image 220W 1 , spectral image 220W 2 , .
  • image 220 a signal representing an image, that is, a set of signals representing pixel values of pixels may be simply referred to as an "image".
  • the filter array 110 has a plurality of translucent optical filters arranged in rows and columns.
  • the multiple optical filters include multiple types of optical filters having different spectral transmittances, ie, wavelength dependences of transmittances.
  • the filter array 110 modulates the intensity of incident light for each wavelength and outputs the modulated light. This process by filter array 110 is referred to herein as "encoding.”
  • the filter array 110 is arranged near or directly above the image sensor 160 .
  • “near” means that the image of the light from the optical system 140 is close enough to be formed on the surface of the filter array 110 in a somewhat clear state.
  • “Directly above” means that they are so close to each other that there is almost no gap. Filter array 110 and image sensor 160 may be integrated.
  • the optical system 140 includes at least one lens. Although optical system 140 is shown as a single lens in FIG. 1A, optical system 140 may be a combination of multiple lenses. Optical system 140 forms an image on the imaging surface of image sensor 160 via filter array 110 .
  • the image sensor 160 is a monochrome photodetector having a plurality of two-dimensionally arranged photodetection elements (also referred to as "pixels" in this specification).
  • the image sensor 160 can be, for example, a CCD (Charge-Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor) sensor, or an infrared array sensor.
  • the photodetector includes, for example, a photodiode.
  • Image sensor 160 does not necessarily have to be a monochrome type sensor.
  • R/G/B optical filters an optical filter that transmits red light, an optical filter that transmits green light, and an optical filter that transmits blue light
  • R/G/B/IR optical filters Filter optical filter that transmits red light, optical filter that transmits green light, optical filter that transmits infrared light
  • optical filter of R/G/B/W optical filter that transmits red light, green light
  • a color type sensor having an optical filter that transmits white light and an optical filter that transmits white light may be used. By using a color-type sensor, the amount of information about wavelengths can be increased, and the reconstruction accuracy of the hyperspectral image 220 can be improved.
  • the target wavelength range may be arbitrarily determined, and is not limited to the visible wavelength range, and may be an ultraviolet, near-infrared, mid-infrared, or far-infrared wavelength range.
  • the processing device 200 is a computer that includes a processor and a storage medium such as memory. Based on the compressed image 120 acquired by the image sensor 160, the processing device 200 generates data of the spectral image 220W1 corresponding to the wavelength band W1 , data of the spectral image 220W2 corresponding to the wavelength band W2 , . , generate data for spectral images 220WN corresponding to wavelength bands WN .
  • FIGS. 1B-1D are diagrams schematically illustrating other configurations of imaging systems according to exemplary embodiments of the present disclosure.
  • the filter array 110 is located away from the image sensor 160 in the imaging device 100 .
  • the filter array 110 is positioned between the optical system 140 and the image sensor 160 and away from the image sensor 160 .
  • filter array 110 is positioned between object 70 and optics 140 .
  • imaging device 100 comprises optical systems 140A and 140B with filter array 110 disposed therebetween.
  • an optical system including one or more lenses may be arranged between filter array 110 and image sensor 160 .
  • FIG. 2A is a diagram schematically showing an example of the filter array 110.
  • FIG. Filter array 110 has a plurality of regions arranged in a two-dimensional plane. In this specification, each of the plurality of regions may be referred to as a "cell".
  • An optical filter having an individually set spectral transmittance is arranged in each region.
  • the spectral transmittance is represented by a function T( ⁇ ), where ⁇ is the wavelength of incident light.
  • the spectral transmittance T( ⁇ ) can take a value of 0 or more and 1 or less.
  • the filter array 110 has 48 rectangular regions arranged in 6 rows and 8 columns. This is only an example and in actual applications more areas may be provided. The number may be about the same as the number of pixels of the image sensor 160, for example. The number of optical filters included in the filter array 110 is determined depending on the application, for example, within the range of tens to tens of millions.
  • FIG. 2B is a diagram showing an example of the spatial distribution of the light transmittance of each of the wavelength band W 1 , the wavelength band W 2 , . . . , the wavelength band WN included in the target wavelength range.
  • the difference in shading of each region represents the difference in transmittance.
  • a lighter area has a higher transmittance, and a darker area has a lower transmittance.
  • the spatial distribution of transmittance differs depending on the wavelength band.
  • the mask data of the filter array 110 is data indicating the spatial distribution of the transmittance of the filter array 110 for each of the plurality of wavelength bands included in the target wavelength band.
  • FIG. 2C and 2D are diagrams respectively showing examples of spectral transmittance of area A1 and area A2 included in filter array 110 shown in FIG. 2A.
  • the spectral transmittance of the area A1 and the spectral transmittance of the area A2 are different from each other.
  • the spectral transmittance of filter array 110 differs depending on the region. However, it is not necessary that all regions have different spectral transmittances.
  • filter array 110 at least some of the plurality of regions have different spectral transmittances.
  • the filter array 110 has two or more optical filters with different spectral transmittances. That is, filter array 110 includes a plurality of types of optical filters having different transmission spectra.
  • the number of spectral transmittance patterns in the plurality of regions included in the filter array 110 can be equal to or greater than the number N of wavelength bands included in the wavelength range of interest.
  • the filter array 110 may be designed such that more than half of the regions have different spectral transmittances.
  • the filter array 110 has a plurality of optical filters on the order of 10 6 to 10 7 , wherein the plurality of optical filters is four or more randomly arranged optical filters. can include
  • the target wavelength band W can be set in various ranges depending on the application.
  • the target wavelength range W can be, for example, a visible light wavelength range of about 400 nm or more and about 700 nm or less, a near infrared wavelength range of about 700 nm or more and about 2500 nm or less, or a near ultraviolet wavelength range of about 10 nm or more and about 400 nm or less.
  • the target wavelength range W may be a radio wave range such as mid-infrared or far-infrared.
  • the wavelength range used is not limited to the visible light range.
  • light means not only visible light (wavelength of about 400 nm or more and about 700 nm or less), but also ultraviolet light (wavelength of about 10 nm or more and about 400 nm or less) and infrared light (wavelength of about 700 nm or more and about 1 mm or less).
  • light means not only visible light (wavelength of about 400 nm or more and about 700 nm or less), but also ultraviolet light (wavelength of about 10 nm or more and about 400 nm or less) and infrared light (wavelength of about 700 nm or more and about 1 mm or less).
  • N is an arbitrary integer of 4 or more, and the wavelength bands obtained by equally dividing the target wavelength band W into N are designated as wavelength band W 1 , wavelength band W 2 , . . . , and wavelength band W N.
  • a plurality of wavelength bands included in the target wavelength band W may be set arbitrarily. For example, different wavelength bands may have different bandwidths. There may be gaps or overlaps between adjacent wavelength bands. In the example shown in FIG. 3B, the wavelength bands have different bandwidths and there is a gap between two adjacent wavelength bands. In this way, the plurality of wavelength bands may be different from each other, and the method of determination is arbitrary.
  • FIG. 4A is a diagram for explaining spectral transmittance characteristics in a certain region of the filter array 110.
  • the spectral transmittance has multiple maxima (ie, maxima P1, . . . , maxima P5) and multiple minima for wavelengths within the wavelength range W of interest.
  • maxima P1, . . . , maxima P5 maxima P5
  • minima P5 multiple minima for wavelengths within the wavelength range W of interest.
  • normalization is performed so that the maximum value of the light transmittance within the target wavelength range W is 1 and the minimum value is 0.
  • the spectral transmittance has maximum values in wavelength bands such as the wavelength band W 2 and the wavelength band W N ⁇ 1 .
  • the spectral transmittance of each region has a maximum value in at least two of the wavelength bands W1 to WN .
  • maximum value P1, maximum value P3, maximum value P4, and maximum value P5 are greater than or equal to 0.5.
  • the filter array 110 transmits a large amount of components in a certain wavelength band and transmits less components in other wavelength bands among the incident light. For example, for light in k wavelength bands out of N wavelength bands, the transmittance is greater than 0.5, and for light in the remaining Nk wavelength bands, the transmittance is 0.5. can be less than k is an integer that satisfies 2 ⁇ k ⁇ N. If the incident light is white light that evenly includes all wavelength components of visible light, the filter array 110 converts the incident light into light having a plurality of discrete intensity peaks with respect to wavelength. , and superimposes and outputs these multi-wavelength lights.
  • FIG. 4B is a diagram showing, as an example, the result of averaging the spectral transmittance shown in FIG. 4A for each wavelength band W 1 , wavelength band W 2 , . . . , wavelength band WN .
  • the averaged transmittance is obtained by integrating the spectral transmittance T( ⁇ ) for each wavelength band and dividing by the bandwidth of that wavelength band.
  • the transmittance value averaged for each wavelength band is defined as the transmittance in that wavelength band.
  • the transmittance is remarkably high in the wavelength region having the maximum value P1, the wavelength region having the maximum value P3, and the wavelength region having the maximum value P5.
  • the transmittance exceeds 0.8 in the wavelength region with the maximum value P3 and the wavelength region with the maximum value P5.
  • a grayscale transmittance distribution is assumed in which the transmittance of each region can take any value between 0 and 1 inclusive.
  • a binary-scale transmittance distribution may be employed in which the transmittance of each region can take either a value of approximately 0 or approximately 1.
  • each region transmits a majority of light in at least two wavelength bands of the plurality of wavelength bands included in the wavelength band of interest and transmits a majority of light in the remaining wavelength bands. don't let Here, "most" refers to approximately 80% or more.
  • Part of the total cells may be replaced with transparent areas.
  • Such a transparent region transmits light in all wavelength bands W1 to WN included in the target wavelength range W with a similarly high transmittance, for example, a transmittance of 80% or more.
  • the plurality of transparent regions may be arranged in a checkerboard, for example. That is, in the two directions in which the plurality of regions in the filter array 110 are arranged, the regions having different transmittances depending on the wavelength and the transparent regions can be alternately arranged.
  • Such data indicating the spatial distribution of the spectral transmittance of the filter array 110 is obtained in advance based on design data or actual measurement calibration, and stored in a storage medium included in the processing device 200. This data is used for arithmetic processing to be described later.
  • the filter array 110 can be constructed using, for example, a multilayer film, an organic material, a diffraction grating structure, or a microstructure containing metal.
  • a multilayer film for example, a dielectric multilayer film or a multilayer film containing a metal layer can be used.
  • each cell is formed so that at least one of the thickness, material, and stacking order of each multilayer film is different. Thereby, different spectral characteristics can be realized depending on the cell.
  • a multilayer film a sharp rise and fall in spectral transmittance can be realized.
  • a structure using an organic material can be realized by differentiating the pigment or dye contained in each cell or by laminating different materials.
  • a configuration using a diffraction grating structure can be realized by providing diffraction structures with different diffraction pitches or depths for each cell.
  • a microstructure containing metal it can be produced using spectroscopy due to the plasmon effect.
  • the processing device 200 reconstructs a multi-wavelength hyperspectral image 220 based on the compressed image 120 output from the image sensor 160 and the spatial distribution characteristics of transmittance for each wavelength of the filter array 110 .
  • multiple wavelengths means a wavelength range greater than the three color wavelength ranges of RGB acquired by a normal color camera, for example.
  • the number of wavelength bands may be on the order of 4 to 100, for example.
  • the number of wavelength regions is called the number of bands. Depending on the application, the number of bands may exceed 100.
  • the data to be obtained is the data of the hyperspectral image 220, and the data is assumed to be f.
  • f is data obtained by integrating image data f 1 corresponding to wavelength band W 1 , f 2 corresponding to wavelength band W 2 , . . . , f N corresponding to wavelength band W N. be.
  • the horizontal direction of the image is the x direction
  • the vertical direction of the image is the y direction.
  • the number of pixels in the x direction of the image data to be obtained is v and the number of pixels in the y direction is u, each of image data f 1 , image data f 2 , .
  • the data f is three-dimensional data with the number of elements v ⁇ u ⁇ N.
  • This three-dimensional data is called "hyperspectral image data" or "hyperspectral datacube".
  • the data g of the compressed image 120 obtained by being encoded and multiplexed by the filter array 110 is two-dimensional data including vxu pixel values corresponding to vxu pixels.
  • Data g can be represented by the following equation (1).
  • Equation (1) each of f 1 , f 2 , . Therefore, the vector on the right side is a one-dimensional vector of v ⁇ u ⁇ N rows and 1 column.
  • the data g of the compressed image 120 is converted to a one-dimensional vector of v ⁇ u rows and 1 column.
  • Matrix H represents a transform that encodes and intensity -modulates each component f 1 , f 2 , . Therefore, H is a matrix with vxu rows and vxuxN columns.
  • the processing device 200 utilizes the redundancy of the images included in the data f and obtains the solution using the method of compressed sensing. Specifically, the desired data f is estimated by solving the following equation (2).
  • f' represents the estimated data of f.
  • the first term in parentheses in the above formula represents the amount of deviation between the estimation result Hf and the acquired data g, ie, the so-called residual term.
  • the sum of squares is used as the residual term here, the absolute value or the square root of the sum of squares may be used as the residual term.
  • the second term in parentheses is the regularization or stabilization term. Equation (2) means finding f that minimizes the sum of the first and second terms.
  • the processing unit 200 can converge the solution by recursive iterative computation and calculate the final solution f'.
  • the first term in parentheses in formula (2) means an operation for obtaining the sum of squares of the difference between the acquired data g and Hf obtained by transforming f in the estimation process using the matrix H.
  • the second term, ⁇ (f), is a constraint on the regularization of f, and is a function that reflects the sparse information of the estimated data. This function has the effect of smoothing or stabilizing the estimated data.
  • the regularization term can be represented by, for example, the Discrete Cosine Transform (DCT), Wavelet Transform, Fourier Transform, or Total Variation (TV) of f. For example, when the total variation is used, it is possible to acquire stable estimated data that suppresses the influence of noise in the observed data g.
  • the sparsity of the object 70 in the spatial direction of each regularization term depends on the texture of the object 70 .
  • a regularization term may be chosen such that the texture of the object 70 is sparser in the spatial direction of the regularization term.
  • multiple regularization terms may be included in the operation.
  • ⁇ is a weighting factor. The larger the weighting factor ⁇ , the larger the reduction amount of redundant data and the higher the compression ratio. The smaller the weighting factor ⁇ , the weaker the convergence to the solution.
  • the weighting factor ⁇ is set to an appropriate value with which f converges to some extent and does not become over-compressed.
  • the image encoded by the filter array 110 is obtained in a blurred state on the imaging surface of the image sensor 160 . Therefore, the hyperspectral image 220 can be reconstructed by storing the blur information in advance and reflecting the blur information on the matrix H described above.
  • blur information is represented by a point spread function (PSF).
  • PSF is a function that defines the degree of spread of a point image to peripheral pixels. For example, when a point image corresponding to one pixel in an image spreads over a region of k ⁇ k pixels around that pixel due to blurring, the PSF is a coefficient group that indicates the effect on the brightness of each pixel in that region. can be defined as a matrix.
  • the hyperspectral image 220 can be reconstructed by reflecting the blurring effect of the PSF-encoded pattern on the matrix H.
  • FIG. The position where the filter array 110 is placed is arbitrary, but a position can be selected where the coding pattern of the filter array 110 is not too diffuse and disappears.
  • the hyperspectral image 220 can be restored based on the compressed image 120 acquired by the image sensor 160 .
  • the processor 200 applies a compressed sensing algorithm for all bands contained in the wavelength range of interest to generate and output a hyperspectral image 220 .
  • the processing device 200 causes the image sensor 160 to detect light reflected by the object 70 via the filter array 110, thereby generating and outputting an image signal.
  • the processing device 200 further generates spectral images 220W1 to 200WN based on the image signal and N mask data corresponding to the N wavelength bands obtained from the filter array 110. Output.
  • the N mask data are first mask data H 1 , . . . , i-th mask data H i , . It may be N.
  • H (H 1 . . . H i . . . H j .
  • the i-th mask data H i and the j-th mask data H j are exemplified in Equation (7).
  • the wavelength range of interest includes N wavelength bands.
  • the N wavelength bands are assumed to be numbered in ascending order of center wavelength. The shorter the center wavelength, the smaller the number. Longest order may be used instead of shortest order. However, such wavelength band numbering is not required.
  • the randomness of the mask data in the wavelength direction is evaluated using the correlation coefficient r ij between the i-th mask data for the i-th wavelength band and the j-th mask data for the j-th wavelength band.
  • i and j are integers of 1 or more and N or less.
  • the image sensor 160 detects only light corresponding to a certain wavelength band among the N wavelength bands, and outputs mask data corresponding to the pixel value distribution corresponding to the wavelength band. When the image sensor 160 detects only light corresponding to a certain wavelength band, light having a wavelength shifted by several nanometers from the wavelength band corresponding to the certain wavelength band may be incident.
  • the correlation coefficient r ij is represented by the following equation (3) as a secondary correlation coefficient.
  • the correlation coefficient r ij shown in Equation (3) is an index indicating the degree of similarity between the mask data of wavelength band i and the mask data of wavelength band j.
  • the higher the similarity the closer the correlation coefficient r ij to 1, and 1 for a perfect match.
  • the lower the similarity the closer the correlation coefficient r ij is to 0, which is 0 for complete lack of correlation.
  • the correlation coefficient r ij shown in Equation (3) is the i-th mask data corresponding to the i-th wavelength band, that is, the v ⁇ u ⁇ v ⁇ u components contained in the matrix H i , the j-th wavelength It is calculated based on the v ⁇ u ⁇ v ⁇ u elements contained in the j-th mask data corresponding to the band, that is, the matrix H j .
  • i mn is the (m, n) component contained in the i-th mask data H i , that is, the matrix H i .
  • j mn is the (m, n)) component contained in the j-th mask data H j , ie, the matrix H j .
  • r ij (i ⁇ j) represents the similarity between the i-th mask data H j corresponding to the wavelength band i and the j-th mask data H j corresponding to the wavelength band j, and restores the wavelength resolution and hyperspectral image. Contributes to accuracy.
  • r ij r ji . If a plurality of wavelength bands are numbered in ascending order of central wavelength, then in matrix R the correlation coefficients r ij are arranged from left to right and top to bottom in ascending order of central wavelength of the wavelength bands.
  • the i-th mask data H i may be interpreted as indicating the transmittance distribution of the filter array 110 for light in the i-th wavelength band.
  • the j-th mask data Hj may be interpreted as indicating the transmittance distribution of the filter array 110 for light in the j-th wavelength band.
  • the i-th mask data H i that is, the matrix H i may be a diagonal matrix.
  • the (1, 1 ) component i11 included in the matrix Hi is the transmittance of the first optical filter included in the filter array 110 for light in the i-th wavelength band
  • the (2, 2 ) component i 22 included in the matrix Hi is the transmittance of the second optical filter included in the filter array 110 for light in the i-th wavelength band
  • the (v ⁇ u, v ⁇ u) component i (v ⁇ u)(v ⁇ u) included in the matrix Hi is the i-th optical filter of the (v ⁇ u)-th optical filter included in the filter array 110. It may be interpreted as indicating the transmittance for light in the wavelength band.
  • the j-th mask data H j that is, the matrix H j may be a diagonal matrix.
  • the (1, 1) component j 11 included in the matrix H j is the transmittance of the first optical filter included in the filter array 110 for light in the j-th wavelength band;
  • the (2, 2) component j22 included in the matrix Hj is the transmittance of the second optical filter included in the filter array 110 for light in the j-th wavelength band, .
  • the (v ⁇ u, v ⁇ u) component j (v ⁇ u)(v ⁇ u) included in the matrix H j is the j-th (v ⁇ u) optical filter included in the filter array 110 . It may be interpreted as indicating the transmittance for light in the wavelength band.
  • i 0 ( i 11 + . . . +i (v ⁇ u)(v ⁇ u) )/(v ⁇ u ⁇ v ⁇ u) may be interpreted as the average transmittance for light in the i-th wavelength bands corresponding to the optical filters included in the filter array 110 .
  • j 0 ( j 11 + . . . +j (v ⁇ u)(v ⁇ u) )/(v ⁇ u ⁇ v ⁇ u) may be interpreted as an average value of transmittances for light in a plurality of j-th wavelength bands corresponding to a plurality of optical filters included in filter array 110 .
  • Crosstalk between pixels (p, q) and pixels (r, s) of the image sensor 160 at the time of actual measurement calibration when acquiring information about the matrix H, and the image sensor 160 when the end user captures the subject 70 pixel (p, q) and pixel (r, s) are determined to be the same (1 ⁇ p, r ⁇ v, 1 ⁇ q, s ⁇ u, pixel ( p, q) ⁇ pixel (r, s)).
  • Whether or not the crosstalk conditions described above are satisfied may be determined in consideration of the imaging environment including the optical lens used for imaging, and the image quality of each restored image is determined by the end user. It may be determined by considering whether the purpose can be achieved.
  • FIG. 5 is a graph showing transmission spectra of optical filters included in a certain filter array 110.
  • the average transmittance of the optical filter for the wavelength band of 440 nm or more and 460 nm or less and the wavelength band of 460 nm or more and 480 nm or less Let ⁇ T 20 be the difference in average transmittance of the optical filter with respect to .
  • ⁇ T 20 be the difference in average transmittance of the optical filter with respect to .
  • the average transmittance of the optical filter for the wavelength band of 455 nm or more and 460 nm or less and the wavelength band of 460 nm or more and 465 nm or less ⁇ T 5 is the difference in the average transmittance of the optical filter with respect to .
  • the difference in average transmittance between two adjacent wavelength bands in an optical filter depends on the wavelength resolution. Although different depending on the transmission characteristics of the optical filter, the following can generally be said. Assuming that the transmission peak of the optical filter is approximately represented by the Lorentzian function, if the wavelength resolution is about twice the half width of the transmission peak of the optical filter, the average transmittance in two adjacent wavelength bands is difference is almost maximum. On the other hand, as the wavelength resolution becomes excessively wide, such as 3 times or more, or as excessively narrow as 0.5 times or less, compared with the half width of the transmission peak of the optical filter, The difference in average transmittance in the wavelength band becomes smaller.
  • the half width of the transmission peak of the optical filter may be
  • FIG. 10 is a diagram explaining that the half width of the transmission peak of the optical filter is
  • the vertical axis of the graph shown in FIG. 10 represents the transmittance of the optical filter, and the horizontal axis of the graph shown in FIG. 14 represents the wavelength.
  • ⁇ 1 is the wavelength corresponding to T/2
  • ⁇ 2 is the wavelength corresponding to T/2
  • T is the peak transmittance of the optical filter.
  • FIG. 11 is a diagram explaining that the half width of the transmission peak of the optical filter is
  • the vertical axis of the graph shown in FIG. 11 represents the transmittance of the optical filter, and the horizontal axis of the graph shown in FIG. 11 represents the wavelength.
  • ⁇ 3 is the wavelength corresponding to (T ⁇ T1)/2
  • ⁇ 4 is the wavelength corresponding to (T ⁇ T2)/2
  • T is the maximum transmittance of the optical filter
  • T1 is adjacent to the maximum T.
  • the first local minimum, T2, is the second local minimum adjacent to the local maximum T.
  • the filter array 110 may be designed according to the desired wavelength resolution, or the wavelength resolution may be determined according to the design of the filter array 110.
  • the filter array 110 is designed according to the desired wavelength resolution, as described below.
  • FIG. 6A is a graph showing the correlation coefficient, the spectrum of the correct image, and the spectrum of the restored image when a certain filter array 110 is used to restore hyperspectral images for 100 wavelength bands within the target wavelength band.
  • the spectrum of the true image shows an intensity of 1 in the 50th wavelength band and an intensity of zero in the remaining 99 wavelength bands.
  • FIG. 6B is a graph plotting the relationship between correlation coefficients and restoration errors for 99 wavelength bands other than the 50th wavelength band from the results shown in FIG. 6A.
  • the intensity of the restored image is the restoration error. That is, when the average pixel value of the 8-bit restored image is x, the restoration error is x/255 ⁇ 100(%). If the correlation coefficient is 0.8 or less, the reconstruction error is 3% or less. On the other hand, when the correlation coefficient is 0.8 or more, the restoration error increases rapidly as the correlation coefficient increases. For example, when the correlation coefficient is 0.9, the restoration error is about 7%.
  • the similarity of mask data in two wavelength bands can be calculated based on the correlation coefficient.
  • mask data having a correlation coefficient of 0.8 or more are similar to each other, and influence each other's calculation results.
  • the sparsity in the spatial direction and the wavelength direction are considered as the regularization term ⁇ (f) of the evaluation function.
  • the sparsity in the spatial direction is considered as the regularization term ⁇ (f) of the evaluation function
  • the sparsity in the wavelength direction is incorporated as mask data for the filter array 110 .
  • calculating the correlation coefficient r ij for all the above combinations means calculating the correlation coefficient for a combination that satisfies one of i>j and j>i when i ⁇ j, and It may involve substituting the calculated result for the correlation coefficient for the combination that satisfies the other.

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

４個以上の波長バンドの各々に対応する分光画像を生成するシステムに用いられる装置は、分光透過率が互いに異なる複数の光学フィルタと、前記複数の光学フィルタを介した光を検出するイメージセンサと、を備え、前記Ｎ個の波長バンドは、中心波長が短い順または長い順に番号付けされているとした場合、前記イメージセンサは、前記４個以上の波長バンドのうち、第ｉの波長バンドに対応する光のみを検出することにより、第ｉのマスクデータを出力し、第ｊの波長バンドに対応する光のみを検出することにより、第ｊのマスクデータを出力し、｜ｉ－ｊ｜が１になる場合、前記第ｉおよび第ｊのマスクデータの相関係数は０．８以上であり、｜ｉ－ｊ｜が２以上かつＮ－１以下である場合、少なくとも１つの前記相関係数は０．８以下である。

Description

分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
　本開示は、分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法に関する。
　波長について、各々が狭帯域である多数のバンド、例えば数十バンドのスペクトル情報を活用することにより、従来のＲＧＢ画像では不可能であった対象物の詳細な物性の把握が可能になる。そのような多波長の情報を取得するカメラは、「ハイパースペクトルカメラ」と呼ばれる。ハイパースペクトルカメラは、食品検査、生体検査、医薬品開発、および鉱物の成分分析などの様々な分野で利用されている。
　特許文献１および２は、圧縮センシング技術を利用したハイパースペクトルカメラの例を開示している。圧縮センシング技術では、対象物で反射される光を特殊なフィルタアレイを介して検出することにより、スペクトル情報が圧縮された圧縮画像が取得され、当該圧縮画像に基づいて、多波長情報を有するハイパースペクトル画像が復元される。
米国特許第９５９９５１１号明細書 国際公開第２０２１／１４５０５４号明細書
　本開示は、ハイパースペクトル画像の復元精度を向上させることが可能な装置を提供する。
　本開示の一態様に係る、Ｎ（Ｎは４以上の整数）個の波長バンドの各々に対応する分光画像を生成するシステムに用いられる装置は、分光透過率が互いに異なる複数の光学フィルタと、前記複数の光学フィルタを介した光を検出するイメージセンサと、を備え、前記イメージセンサは、前記Ｎ個の波長バンドのうち、第ｉの波長バンド（ｉは１以上Ｎ以下の整数）に対応する光のみを検出することにより、前記第ｉの波長バンドに対応する画素値分布に応じた第ｉのマスクデータを出力し、前記Ｎ個の波長バンドのうち、第ｊの波長バンド（ｊは１以上Ｎ以下の整数）に対応する光のみを検出することにより、前記第ｊの波長バンドに対応する画素値分布に応じた第ｊのマスクデータを出力し、前記第ｉのマスクデータと前記第ｊのマスクデータとの相関係数ｒｉｊを
Figure JPOXMLDOC01-appb-M000003
とし、ｉｍｎおよびｊｍｎを、それぞれ、前記第ｉおよび第ｊのマスクデータのうち、ｍ行ｎ列の画素における画素値とし、ｉ０およびｊ０を、それぞれ、前記第ｉおよび第ｊのマスクデータの画素値の平均値とし、前記Ｎ個の波長バンドは、中心波長が短い順または長い順に番号付けされているとした場合に、｜ｉ－ｊ｜が１になる前記第ｉのマスクデータと前記第ｊのマスクデータとの組み合わせにおいて、前記相関係数ｒｉｊは、ｒｉｊ≧０．８を満たし、｜ｉ－ｊ｜が２以上かつＮ－１以下になる前記第ｉのマスクデータと前記第ｊのマスクデータとの組み合わせにおいて、少なくとも１つの前記相関係数ｒｉｊは、ｒｉｊ≦０．８を満たす。尚、この包括的又は具体的な態様は、方法、システム、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含む。
　本開示の一態様によれば、ハイパースペクトル画像の復元精度を向上させることが可能な装置を実現できる。
図１Ａは、本開示の例示的な実施形態による撮像システムの構成を模式的に示す図である。 図１Ｂは、本開示の例示的な実施形態による撮像システムの他の構成を模式的に示す図である。 図１Ｃは、本開示の例示的な実施形態による撮像システムのさらに他の構成を模式的に示す図である。 図１Ｄは、本開示の例示的な実施形態による撮像システムのさらに他の構成を模式的に示す図である。 図２Ａは、フィルタアレイの例を模式的に示す図である。 図２Ｂは、対象波長域に含まれる複数の波長バンドの各々の光の透過率の空間分布の一例を示す図である。 図２Ｃは、図２Ａに示すフィルタアレイに含まれる領域Ａ１の分光透過率の例を示す図である。 図２Ｄは、図２Ａに示すフィルタアレイに含まれる領域Ａ２の分光透過率の例を示す図である。 図３Ａは、対象波長域Ｗと、それに含まれる複数の波長バンドとの関係を説明するための図である。 図３Ｂは、対象波長域Ｗと、それに含まれる複数の波長バンドとの関係を説明するための図である。 図４Ａは、フィルタアレイのある領域における分光透過率の特性を説明するための図である。 図４Ｂは、図４Ａに示す分光透過率を、波長バンドごとに平均化した結果を示す図である。 図５は、あるフィルタアレイに含まれる光学フィルタの透過スペクトルを示すグラフである。 図６Ａは、相関係数、正解画像のスペクトル、復元画像のスペクトルを示すグラフである。 図６Ｂは、相関係数と復元誤差との関係をプロットしたグラフである。 図７Ａは、対象物およびそのスペクトルの第１の例を示す図である。 図７Ｂは、対象物およびそのスペクトルの第２の例を示す図である。 図７Ｃは、対象物およびそのスペクトルの第３の例を示す図である。 図８Ａは、波長方向におけるスパース性が反映されたマスクデータの相関関数を示す図である。 図８Ｂは、波長方向におけるスパース性が反映されていないマスクデータの相関関数を示す図である。 図８Ｃは、図８Ａおよび図８Ｂに示すマスクデータを用いて復元された対象物のハイパースペクトル画像の復元精度を示す図である。 図９Ａは、図７Ａに示す対象物、およびその分光画像の相関関数を示す図である。 図９Ｂは、図７Ｂに示す対象物、およびその分光画像の相関関数を示す図である。 図９Ｃは、図７Ｃに示す対象物、およびその分光画像の相関関数を示す図である。 図１０は、光学フィルタの透過ピークの半値幅が|λ２－λ１|であることを説明する図である。 図１１は、光学フィルタの透過ピークの半値幅が|λ４－λ３|であることを説明する図である。
　以下で説明される実施形態は、いずれも包括的または具体的な例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、およびステップの順序は、一例であり、本開示の技術を限定する趣旨ではない。以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一または類似の構成要素には同一の符号が付されている。重複する説明は省略または簡略化されることがある。
　本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、ＦＩｐｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅも同じ目的で使うことができる。
　さらに、回路、ユニット、装置、部材または部の全部または一部の機能または操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
　（本明細書における用語の説明）
　本開示の実施の形態を説明するに前に、本明細書において用いられる用語を説明する。本実施形態による撮像装置では、対象物で反射された光を、２次元平面内に配置される複数の光学フィルタを有するフィルタアレイを介して撮像することにより、スペクトル情報が圧縮された圧縮画像が取得される。本実施形態による撮像装置では、さらに、フィルタアレイのマスクデータに基づく演算により、撮影された圧縮画像から、対象波長域内のＮ個の波長バンド（Ｎは４以上の整数）の各々についての分光画像が再構成される。その結果、対象物のハイパースペクトル画像を復元することができる。フィルタアレイのマスクデータを適切に設計することにより、対象物のハイパースペクトル画像の復元精度を向上させることができる。
　＜対象波長域＞
　対象波長域とは、撮影に用いられるイメージセンサに入射する光の波長の上限および下限に基づいて決定される波長域である。対象波長域は、例えば、イメージセンサが感度を有する波長の上限から下限の範囲、すなわち感度波長域のうち、任意の範囲であり得る。感度波長域において光を吸収および／または反射するような対象物がイメージセンサの光軸上に配置される場合、対象波長域は、イメージセンサの感度波長域の一部であってもよい。対象波長域は、イメージセンサから出力されるデータの波長域、すなわち出力波長域に対応していてもよい。
　＜波長分解能＞
　波長分解能とは、復元によって波長バンドごとに分光画像が生成される場合の波長バンドの幅である。例えば、幅５ｎｍの波長域に対応する分光画像を生成する場合、波長分解能は５ｎｍである。同様に、幅２０ｎｍの波長域に対応する分光画像を生成する場合、波長分解能は２０ｎｍである。
　＜マスクデータ＞
　マスクデータとは、フィルタアレイの透過率の空間分布に基づく配列を示すデータである。フィルタアレイの透過率の空間分布自体を示すデータをマスクデータとして用いてもよいし、フィルタアレイの透過率に可逆な計算を施したデータをマスクデータとして用いてもよい。ここで、可逆な計算は、例えば、一定値の加減乗除、累乗計算、指数計算、対数計算、およびガンマ補正を指す。可逆な計算は、対象波長域内に一律に行われてもよく、後述する波長バンドごとに行われてもよい。
　フィルタアレイの透過率の空間分布自体を示すデータをマスクデータとして用いる場合、対象波長域内のある有限の幅を有する波長域において、フィルタアレイを透過する光の強度が、２次元的に配列されたマトリクスとして観測される。対象波長域は、例えば４００ｎｍ以上７００ｎｍであり、有限の幅を有する波長域は、例えば４００ｎｍ以上４５０ｎｍ以下であり得る。対象波長内の全域をカバーするように上記の観測を行うことにより、複数のマトリクスが生成される。複数のマトリクスの各々は、空間方向の２次元に配列されたデータである。複数の波長域において取得される、空間方向の２次元的に配列されるデータの総称がマスクデータである。
　上記の例では４００ｎｍ以上４５０ｎｍ以下の波長域を「ある有限の幅を有する波長域」としたが、計算上この波長域内であれば波長の区別はされない。すなわち、強度情報のみが記録され、計算に用いられるため、４２０ｎｍの光が入射した場合も４３０ｎｍの光が入射した場合も強度のみが記録され、波長情報は保存されない。このことから、計算上この波長域内におけるすべての波長は同一の波長として扱われる。
　フィルタアレイの透過率の空間分布は、例えば特定の波長のみを出力する光源と積分球とを用いて観測することができる。上記の例では、光源から４００ｎｍ以上４５０ｎｍ以下の波長の光のみが出力され、当該出力光は、積分球で一様に拡散された後、フィルタアレイを介して検出される。その結果、４００ｎｍ以上４５０ｎｍ以下の波長域におけるフィルタアレイの透過率の空間分布に、例えばイメージセンサの感度および／またはレンズの収差が重畳された画像が得られる。得られた画像はマトリクスとして扱うことができる。イメージセンサの感度および／またはレンズの収差が既知であれば、得られた画像に補正を行うことによってフィルタアレイの透過率の空間分布を得ることができる。得られた画像は、フィルタアレイの透過率の空間分布に、イメージセンサの感度および／またはレンズの収差のような可逆な計算が施された画像であると解釈することができる。したがって、得られた画像に補正を行わなくてもよい。
　実際には、透過率は、ある波長を前後して非連続的に変化させることはできず、有限の立ち上がり角度および立ち下がり角度で変動する。このため、波長域の上限および下限は、透過率がそのピーク強度から一定の割合で減衰した波長によって定義され得る。一定の割合は、例えばピーク強度の９０％、５０％、または１０％であり得る。
　マスクデータが例えばメモリに保存される場合、当該マスクデータはＰＮＧ（Ｐｏｒｔａｂｌｅ　Ｎｅｔｗｏｒｋ　Ｇｒａｐｈｉｃｓ）またはＧＩＦ（Ｇｒａｐｈｉｃｓ　Ｉｎｔｅｒｃｈａｎｇｅ　Ｆｏｒｍａｔ）などの可逆な形式で圧縮され得る。
　＜波長バンド＞
　波長バンドは、対象波長域内の一部の波長域であり、マスクデータにおいて同一の波長として扱われる波長の範囲である。波長バンドは、「バンド」と呼ばれるように、ある幅を有する波長域であり得る。波長バンドは、例えば、５００ｎｍ以上５５０ｎｍ以下である幅５０ｎｍの波長域であり得る。本明細書において、ある幅を有する波長域の集合も同様に「波長バンド」と称する。波長バンドは、例えば、５００ｎｍ以上５５０ｎｍ以下である幅５０ｎｍの波長域と、６００ｎｍ以上６５０ｎｍ以下の幅５０ｎｍの波長域との合計によって得られる幅１００ｎｍの波長域であり得る。波長バンドはマスクデータにおいて同一の波長として扱われていてもよいため、複数の波長域が連続しているかどうかは考慮されなくともよい。
　＜分光画像＞
　分光画像とは、復元演算の結果、波長バンドごとに出力される２次元画像である。分光画像は波長バンドごとに生成されるため、ある波長バンドには対応する分光画像が１枚定められる。分光画像をモノクロ画像として出力してもよい。複数の波長バンドにそれぞれ対応する複数の分光画像を、空間方向および波長方向の３次元の配列データとして出力してもよい。あるいは、当該複数の分光画像を、複数の画素値を１次元に配列したデータとして出力してもよい。当該複数の画素値のそれぞれは、波長バンドと画素の組に対応する。あるいは、当該複数の分光画像に、空間解像度および波長バンド数などのメタ情報を含むヘッダ情報を付して出力してもよい。また、本明細書において、分光画像を復元画像とも称する。
　＜復元精度＞
　復元精度とは、復元された分光画像と正解画像との乖離度合いである。復元精度は、ＭＳＥ（Ｍｅａｎ　Ｓｑｕａｒｅｄ　Ｅｒｒｏｒ）またはＰＳＮＲ（Ｐｅａｋ　Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ　Ｒａｔｉｏ）などの種々の指標を用いて表現され得る。実際には、正解画像を定義することが容易ではない場合も少なくない。その場合、以下の方法により、正解画像を定義し、実際の復元精度を推定または定義してもよい。当該方法は、例えば、特定の波長の光のみを透過させるバンドパスフィルタ、透過および／または反射スペクトルが既知の対象物、発光波長が既知であるレーザーを用いて、正解画像の波長依存性を調べることである。
　（本開示の基礎となった知見）
　次に、本開示の実施の形態を説明するに前に、本開示が解決しようとする課題に関連して、スパース性に基づく画像復元処理、およびマスクデータのランダム性を評価する方法を説明する。
　スパース性とは、対象物を特徴づける要素が、空間方向または波長方向のようなある方向において疎ら、すなわちスパースに存在しているという性質である。スパース性は、自然界において広く見られる。スパース性を利用することにより、必要な情報を効率的に取得することが可能になる。スパース性をセンシング分野に応用した技術は圧縮センシング技術と呼ばれており、圧縮センシング技術によってデバイスまたはシステムを効率的に構築することが可能であることがわかっている。特許文献１に開示されているように、圧縮センシング技術をハイパースペクトルカメラに適用することにより、例えば、波長分解能の向上、高解像度、多波長、および多波長の動画撮影が可能になる。
　圧縮センシング技術をハイパースペクトルカメラに適用する例は以下の通りである。対象物で反射される光の光路上に、当該反射光を透過させるフィルタアレイと、フィルタアレイを透過する光を検出するイメージセンサとが配置される。フィルタアレイは、空間方向および／または波長方向においてランダムな透過特性を有する。対象物で反射される光がフィルタアレイを透過する結果、対象物の情報を符号化した状態で撮影することが可能になる。フィルタアレイのマスクデータに基づいて、撮影した圧縮画像から分光画像を再構成することにより、ハイパースペクトル画像の復元処理が可能になる。その際、対象物のスパース性を仮定した推定演算、すなわちスパース再構成によって復元処理が行われる。スパース再構成における演算の例としては、特許文献１に開示されているように、正規化項を取り入れた評価関数の最小化によって分光画像を推定する演算が挙げられる。正規化項は、例えば、離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）であり得る。
　スパース再構成によるハイパースペクトル画像の復元処理では、対象物の情報がランダムにサンプリングされていることが前提になっている。フィルタアレイの透過率の空間方向および波長方向におけるランダム性は、ハイパースペクトル画像の復元精度に影響を及ぼす。空間方向にランダムでないフィルタを用いる場合、空間的な情報量が足りず、空間情報が欠落した状態でハイパースペクトル画像が復元される。波長方向にランダムでないフィルタを用いる場合、波長情報が足りず、ハイパースペクトル画像の復元において波長分解能が低下する。空間方向におけるランダム性については、第１の波長バンドの光についてのフィルタアレイに含まれる複数のフィルタに対応する複数の透過率の平均値μ１、～、第Ｎの波長バンドの光についてのフィルタアレイに含まれる複数のフィルタに対応する複数の透過率の平均値μＮの標準偏差に基づいて評価する方法が開示されている（特許文献２）。波長方向におけるランダム性については、２つの波長バンドについての相関係数に基づいて評価する方法が開示されている（特許第６４７８５７９号）。
　本発明者らは、自然界に存在する物質の波長方向におけるスパース性に着目し、波長方向におけるランダム性を完全なランダムからある程度緩和する方が、ハイパースペクトル画像の復元精度が向上することを見出した。
　本開示の実施形態による装置は、分光透過率が互いに異なる複数の光学フィルタと、複数の光学フィルタを介した光を検出するイメージセンサとを備える。複数の光学フィルタの透過率の波長方向におけるランダム性は、完全なランダムからある程度緩和される。その結果、ハイパースペクトル画像の復元精度を向上させることが可能になる。以下に、本開示の実施形態による分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法を説明する。
　第１の項目に係る装置は、Ｎ（Ｎは４以上の整数）個の波長バンドの各々に対応する分光画像を生成するシステムに用いられる装置である。前記装置は、分光透過率が互いに異なる複数の光学フィルタと、前記複数の光学フィルタを介した光を検出するイメージセンサと、を備える。前記イメージセンサは、前記Ｎ個の波長バンドのうち、第ｉの波長バンド（ｉは１以上Ｎ以下の整数）に対応する光のみを検出することにより、前記第ｉの波長バンドに対応する画素値分布に応じた第ｉのマスクデータを出力し、前記Ｎ個の波長バンドのうち、第ｊの波長バンド（ｊは１以上Ｎ以下の整数）に対応する光のみを検出することにより、前記第ｊの波長バンドに対応する画素値分布に応じた第ｊのマスクデータを出力する。前記第ｉのマスクデータと前記第ｊのマスクデータとの相関係数ｒｉｊを
Figure JPOXMLDOC01-appb-M000004
とし、ｉｍｎおよびｊｍｎを、それぞれ、前記第ｉおよび第ｊのマスクデータのうち、ｍ行ｎ列の画素における画素値とし、ｉ０およびｊ０を、それぞれ、前記第ｉおよび第ｊのマスクデータの画素値の平均値とする。前記Ｎ個の波長バンドは、中心波長が短い順または長い順に番号付けされているとした場合に、｜ｉ－ｊ｜が１になる前記第ｉのマスクデータと前記第ｊのマスクデータとの組み合わせにおいて、前記相関係数ｒｉｊは、ｒｉｊ≧０．８を満たし、｜ｉ－ｊ｜が２以上かつＮ－１以下になる前記第ｉのマスクデータと前記第ｊのマスクデータとの組み合わせにおいて、少なくとも１つの前記相関係数ｒｉｊは、ｒｉｊ≦０．８を満たす。
　この装置では、ハイパースペクトル画像の復元精度を向上させることができる。
　第２の項目に係る装置は、第１の項目に係る装置において、１≦ｋ≦Ｎ－２を満たす整数をｋとするとき、｜ｉ－ｊ｜が１以上ｋ以下になる前記第ｉのマスクデータと前記第ｊのマスクデータとの組み合わせにおいて、前記相関係数ｒｉｊが、ｒｉｊ≧０．８を満たし、｜ｉ－ｊ｜がｋ＋１以上になる前記第ｉのマスクデータと前記第ｊのマスクデータとの組み合わせにおいて、前記相関係数ｒｉｊが、ｒｉｊ≦０．８を満たす。
　この装置では、ある程度近い波長バンド同士についてのマスクデータが互いに類似しており、それ以外の波長バンド同士についてのマスクデータが類似しない例において、ハイパースペクトル画像の復元精度を向上させることができる。
　第３の項目に係る装置は、第２の項目に係る装置において、ｋ＝１である。
　この装置では、多くの対象物が有する波長方向におけるスパース性を汎用的に反映させる例において、ハイパースペクトル画像の復元精度を向上させることができる。
　第４の項目に係るフィルタアレイは、Ｎ（Ｎは４以上の整数）個の波長バンドの各々に対応する分光画像を生成するシステムに用いられるフィルタアレイである。前記フィルタアレイは、分光透過率が互いに異なる複数の光学フィルタを備える。前記Ｎ個の波長バンドのうち、第ｉの波長バンド（ｉは１以上Ｎ以下の整数）の光についての前記複数の光学フィルタの第ｉの透過率分布と、第ｊの波長バンド（ｊは１以上Ｎ以下の整数）の光についての前記複数の光学フィルタの第ｊの透過率分布との相関係数ｒｉｊを
Figure JPOXMLDOC01-appb-M000005
とし、ｉｍｎおよびｊｍｎを、それぞれ、前記第ｉおよび第ｊの波長バンドの光についての前記複数の光学フィルタの透過率分布のうち、ｍ行ｎ列の光学フィルタの透過率とし、ｉ０およびｊ０を、それぞれ、前記第ｉおよび第ｊの透過率分布の透過率の平均値とする。前記Ｎ個の波長バンドは、中心波長が短い順または長い順に番号付けされているとした場合に、｜ｉ－ｊ｜が１になる前記第ｉの透過率分布と前記第ｊの透過率分布との組み合わせにおいて、前記相関係数ｒｉｊは、ｒｉｊ≧０．８を満たし、｜ｉ－ｊ｜が２以上かつＮ－１以下になる前記第ｉの透過率分布と前記第ｊの透過率分布との組み合わせにおいて、少なくとも１つの前記相関係数ｒｉｊは、ｒｉｊ≦０．８である。
　このフィルタアレイにより、ハイパースペクトル画像の復元精度を向上させることができる。
　第５の項目に係るシステムは、Ｎ（Ｎは４以上の整数）個の波長バンドの各々に対応する分光画像を生成するシステムである。前記システムは、第１から第３の項目のいずれかに係る装置と、処理回路と、を備える。前記処理回路は、前記装置に含まれる前記イメージセンサに、前記複数の光学フィルタを介して光を検出させることにより、画像信号を生成させて出力させ、前記画像信号と、前記Ｎ個の波長バンドにそれぞれ対応するＮ個のマスクデータとに基づいて、前記分光画像を生成して出力する。
　このシステムでは、ハイパースペクトル画像の復元精度を向上させることができる。
　第６の項目に係るフィルタアレイの製造方法は、Ｎ（Ｎは４以上の整数）個の波長バンドの各々に対応する分光画像を生成するシステムに用いられるフィルタアレイの製造方法である。前記フィルタアレイは、分光透過率が互いに異なる複数の光学フィルタを備える。前記フィルタアレイの前記製造方法は、前記Ｎ個の波長バンドのうち、互いに異なる２つの波長バンドのすべての組み合わせについて対象物の前記分光画像の相関係数を計算することと、前記相関係数に基づいて、前記Ｎ個の波長バンドの各々についての前記複数の光学フィルタの透過率分布を設計することと、を含む。
　このフィルタアレイの製造方法により、ハイパースペクトル画像の復元精度を向上させることが可能なフィルタアレイを製造することができる。
　以下、図面を参照しながら、本開示のより具体的な実施形態を説明する。
　（実施形態）
　［撮像システム］
　まず、図１Ａから図１Ｄを参照して、本開示の実施形態において用いられる撮像システムの構成例を説明する。
　図１Ａは、本開示の例示的な実施形態による撮像システムの構成を模式的に示す図である。図１Ａに示す撮像システム３００は、撮像装置１００と、処理装置２００とを備える。撮像装置１００は、特許文献１に開示されている撮像装置と同様の構成を備える。撮像装置１００は、光学系１４０と、フィルタアレイ１１０と、イメージセンサ１６０とを備える。光学系１４０およびフィルタアレイ１１０は、被写体である対象物７０で反射される光の光路上に配置されている。フィルタアレイ１１０は、光学系１４０とイメージセンサ１６０との間に配置される。
　図１Ａには、対象物７０の一例として、リンゴが例示されている。対象物７０は、リンゴに限らず、検査対象になり得る任意の物体であり得る。イメージセンサ１６０は、複数の波長バンドの情報が２次元のモノクロ画像として圧縮された圧縮画像１２０のデータを生成する。処理装置２００は、イメージセンサ１６０が生成した圧縮画像１２０のデータに基づいて、対象波長域に含まれる複数の波長バンドのそれぞれについての画像データを生成する。この生成される複数の波長バンドに1対１に対応する複数の画像データを、本明細書において「ハイパースペクトル画像データ」と称する。ここで、対象波長域に含まれる波長バンドの数をＮ（Ｎは４以上の整数）とする。以下の説明において、生成される複数の波長バンドに1対１に対応する複数の画像データを、分光画像２２０Ｗ１、分光画像２２０Ｗ２、・・・、分光画像２２０ＷＮと称し、これらをハイパースペクトル画像２２０と総称する。本明細書において、画像を示す信号、すなわち、各画素の画素値を表す信号の集合を、単に「画像」と称することがある。
　フィルタアレイ１１０は、行および列状に配列された透光性を有する複数の光学フィルタを有する。複数の光学フィルタは、分光透過率、すなわち透過率の波長依存性が互いに異なる複数種類の光学フィルタを含む。フィルタアレイ１１０は、入射光の強度を波長ごとに変調して出力する。フィルタアレイ１１０によるこの過程を、本明細書において「符号化」と称する。
　図１Ａに示す例において、フィルタアレイ１１０は、イメージセンサ１６０の近傍または直上に配置されている。ここで「近傍」とは、光学系１４０からの光の像がある程度鮮明な状態でフィルタアレイ１１０の面上に形成される程度に近接していることを意味する。「直上」とは、ほとんど隙間が生じない程両者が近接していることを意味する。フィルタアレイ１１０およびイメージセンサ１６０は一体化されていてもよい。
　光学系１４０は、少なくとも１つのレンズを含む。図１Ａでは、光学系１４０が１つのレンズとして示されているが、光学系１４０は複数のレンズの組み合わせであってもよい。光学系１４０は、フィルタアレイ１１０を介して、イメージセンサ１６０の撮像面上に像を形成する。
　イメージセンサ１６０は、２次元的に配列された複数の光検出素子（本明細書において、「画素」とも呼ぶ。）を有するモノクロタイプの光検出器である。イメージセンサ１６０は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、または赤外線アレイセンサであり得る。光検出素子は、例えばフォトダイオードを含む。イメージセンサ１６０は、必ずしもモノクロタイプのセンサである必要はない。例えば、Ｒ／Ｇ／Ｂの光学フィルタ（赤色の光を透過する光学フィルタ、緑色の光を透過する光学フィルタ、及び、青色の光を透過する光学フィルタ）、Ｒ／Ｇ／Ｂ／ＩＲの光学フィルタ（赤色の光を透過する光学フィルタ、緑色の光を透過する光学フィルタ、赤外線を透過する光学フィルタ）、またはＲ／Ｇ／Ｂ／Ｗの光学フィルタ（赤色の光を透過する光学フィルタ、緑色の光を透過する光学フィルタ、白色の光を透過する光学フィルタ）を有するカラータイプのセンサを用いてもよい。カラータイプのセンサを使用することにより、波長に関する情報量を増やすことができ、ハイパースペクトル画像２２０の復元精度を向上させることができる。対象波長域は任意に決定してよく、可視の波長域に限らず、紫外、近赤外、中赤外、または遠赤外の波長域であってもよい。
　処理装置２００は、プロセッサと、メモリ等の記憶媒体とを備えるコンピュータである。処理装置２００は、イメージセンサ１６０によって取得された圧縮画像１２０に基づいて、波長バンドＷ１に対応する分光画像２２０Ｗ１のデータ、波長バンドＷ２に対応する分光画像２２０Ｗ２のデータ、・・・、波長バンドＷＮに対応する分光画像２２０ＷＮのデータを生成する。
　図１Ｂから図１Ｄは、本開示の例示的な実施形態による撮像システムの他の構成を模式的に示す図である。図１Ｂから図１Ｄに示す撮像システム３００では、撮像装置１００において、フィルタアレイ１１０がイメージセンサ１６０から離れて配置されている。図１Ｂに示す例では、フィルタアレイ１１０が、光学系１４０とイメージセンサ１６０との間で且つイメージセンサ１６０から離れた位置に配置されている。図１Ｃに示す例では、フィルタアレイ１１０が対象物７０と光学系１４０との間に配置されている。図１Ｄに示す例では、撮像装置１００が光学系１４０Ａおよび１４０Ｂを備え、それらの間にフィルタアレイ１１０が配置されている。これらの例のように、フィルタアレイ１１０とイメージセンサ１６０との間に１つ以上のレンズを含む光学系が配置されていてもよい。
　［フィルタアレイの特性］
　次に、図２Ａから図４Ｂを参照して、フィルタアレイ１１０の特性を説明する。図２Ａは、フィルタアレイ１１０の例を模式的に示す図である。フィルタアレイ１１０は、２次元平面内に配置される複数の領域を有する。本明細書では、当該複数の領域のそれぞれを、「セル」と称することがある。各領域には、個別に設定された分光透過率を有する光学フィルタが配置されている。分光透過率は、入射光の波長をλとして、関数Ｔ（λ）で表される。分光透過率Ｔ（λ）は、０以上１以下の値を取り得る。
　図２Ａに示す例では、フィルタアレイ１１０は、６行８列に配列された４８個の矩形領域を有する。これはあくまで例示であり、実際の用途では、これよりも多くの領域が設けられ得る。その数は、例えばイメージセンサ１６０の画素数と同程度であってもよい。フィルタアレイ１１０に含まれる光学フィルタ数は、例えば数十から数千万の範囲で用途に応じて決定される。
　図２Ｂは、対象波長域に含まれる波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷＮの各々の光の透過率の空間分布の一例を示す図である。図２Ｂに示す例において、各領域の濃淡の違いは、透過率の違いを表している。淡い領域ほど透過率が高く、濃い領域ほど透過率が低い。図２Ｂに示すように、波長バンドによって透過率の空間分布が異なっている。対象波長域に含まれる複数の波長バンドの各々についてのフィルタアレイ１１０の透過率の空間分布を示すデータが、フィルタアレイ１１０のマスクデータである。
　図２Ｃおよび図２Ｄは、それぞれ、図２Ａに示すフィルタアレイ１１０に含まれる領域Ａ１および領域Ａ２の分光透過率の例を示す図である。領域Ａ１の分光透過率と領域Ａ２の分光透過率とは、互いに異なる。このように、フィルタアレイ１１０の分光透過率は、領域によって異なる。ただし、必ずしもすべての領域の分光透過率が異なっている必要はない。フィルタアレイ１１０では、複数の領域の少なくとも一部の領域の分光透過率が互いに異なっている。フィルタアレイ１１０は、分光透過率が互いに異なる２つ以上の光学フィルタを有する。すなわち、フィルタアレイ１１０は、透過スペクトルが互いに異なる複数種類の光学フィルタを含む。ある例では、フィルタアレイ１１０に含まれる複数の領域の分光透過率のパターンの数は、対象波長域に含まれる波長バンドの数Ｎと同じか、それ以上であり得る。フィルタアレイ１１０は、半数以上の領域の分光透過率が異なるように設計されていてもよい。他の例では、フィルタアレイ１１０は、１０６から１０７のオーダの数の複数の光学フィルタを有し、当該複数の光学フィルタは、不規則に配置された４種類以上の複数種類の光学フィルタを含み得る。
　図３Ａおよび図３Ｂは、対象波長域Ｗと、それに含まれる波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷＮとの関係を説明するための図である。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば、約４００ｎｍ以上約７００ｎｍ以下の可視光の波長域、約７００ｎｍ以上約２５００ｎｍ以下の近赤外線の波長域、または約１０ｎｍ以上約４００ｎｍ以下の近紫外線の波長域であり得る。あるいは、対象波長域Ｗは、中赤外または遠赤外などの電波域であってもよい。このように、使用される波長域は可視光域とは限らない。
　本明細書において、「光」とは、可視光（波長が約４００ｎｍ以上約７００ｎｍ以下）だけでなく、紫外線（波長が約１０ｎｍ以上約４００ｎｍ以下）および赤外線（波長が約７００ｎｍ以上約１ｍｍ以下）を含む電磁波を意味する。
　図３Ａに示す例では、Ｎを４以上の任意の整数として、対象波長域ＷをＮ等分したそれぞれの波長域を波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷＮとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数の波長バンドは任意に設定してもよい。例えば、波長バンドによって帯域幅を不均一にしてもよい。隣接する波長バンドの間にギャップまたは重なりがあってもよい。図３Ｂに示す例では、波長バンドによって帯域幅が異なり、且つ隣接する２つの波長バンドの間にギャップがある。このように、複数の波長バンドは、互いに異なっていればよく、その決め方は任意である。
　図４Ａは、フィルタアレイ１１０のある領域における分光透過率の特性を説明するための図である。図４Ａに示す例では、分光透過率は、対象波長域Ｗ内の波長に関して、複数の極大値（つまり、極大値Ｐ１、～、極大値Ｐ５）、および複数の極小値を有する。図４Ａに示す例では、対象波長域Ｗ内での光透過率の最大値が１、最小値が０となるように正規化されている。図４Ａに示す例では、波長バンドＷ２、および波長バンドＷＮ－１などの波長域において、分光透過率が極大値を有している。このように、各領域の分光透過率は、波長バンドＷ１から波長バンドＷＮのうち、少なくとも２つの複数の波長域において極大値を有する。図４Ａの例では、極大値Ｐ１、極大値Ｐ３、極大値Ｐ４および極大値Ｐ５は０．５以上である。
　以上のように、各領域の透過率は、波長によって異なる。したがって、フィルタアレイ１１０は、入射する光のうち、ある波長域の成分を多く透過させ、他の波長域の成分をそれほど透過させない。例えば、Ｎ個の波長バンドのうちのｋ個の波長バンドの光については、透過率が０．５よりも大きく、残りのＮ－ｋ個の波長域の光については、透過率が０．５未満であり得る。ｋは、２≦ｋ＜Ｎを満たす整数である。仮に入射光が、すべての可視光の波長成分を均等に含む白色光であった場合には、フィルタアレイ１１０は、入射光を領域ごとに、波長に関して離散的な複数の強度のピークを有する光に変調し、これらの多波長の光を重畳して出力する。
　図４Ｂは、一例として、図４Ａに示す分光透過率を、波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷＮごとに平均化した結果を示す図である。平均化された透過率は、分光透過率Ｔ（λ）を波長バンドごとに積分してその波長バンドの帯域幅で除算することによって得られる。本明細書では、このように波長バンドごとに平均化した透過率の値を、その波長バンドにおける透過率とする。この例では、極大値Ｐ１をとる波長域、極大値Ｐ３をとる波長域、および極大値Ｐ５をとる波長域において、透過率が突出して高くなっている。特に、極大値Ｐ３をとる波長域および極大値Ｐ５をとる波長域において、透過率が０．８を超えている。
　図２Ａから図２Ｄに示す例では、各領域の透過率が０以上１以下の任意の値をとり得るグレースケールの透過率分布が想定されている。しかし、必ずしもグレースケールの透過率分布にする必要はない。例えば、各領域の透過率がほぼ０またはほぼ１のいずれかの値を取り得るバイナリスケールの透過率分布を採用してもよい。バイナリスケールの透過率分布では、各領域は、対象波長域に含まれる複数の波長域のうちの少なくとも２つの波長域の光の大部分を透過させ、残りの波長域の光の大部分を透過させない。ここで「大部分」とは、概ね８０％以上を指す。
　全セルのうちの一部、例えば半分のセルを、透明領域に置き換えてもよい。そのような透明領域は、対象波長域Ｗに含まれるすべての波長バンドＷ１から波長バンドＷＮの光を同程度の高い透過率、例えば８０％以上の透過率で透過させる。そのような構成では、複数の透明領域は、例えば市松（ｃｈｅｃｋｅｒｂｏａｒｄ）状に配置され得る。すなわち、フィルタアレイ１１０における複数の領域の２つの配列方向において、透過率が波長によって異なる領域と、透明領域とが交互に配列され得る。
　このようなフィルタアレイ１１０の分光透過率の空間分布を示すデータは、設計データまたは実測キャリブレーションに基づいて事前に取得され、処理装置２００が備える記憶媒体に格納される。このデータは、後述する演算処理に利用される。
　フィルタアレイ１１０は、例えば、多層膜、有機材料、回折格子構造、または金属を含む微細構造を用いて構成され得る。多層膜を用いる場合、例えば、誘電体多層膜または金属層を含む多層膜が用いられ得る。この場合、セルごとに各多層膜の厚さ、材料、および積層順序の少なくとも１つが異なるように形成される。これにより、セルによって異なる分光特性を実現できる。多層膜を用いることにより、分光透過率におけるシャープな立ち上がりおよび立下りを実現できる。有機材料を用いた構成は、セルによって含有する顔料または染料が異なるようにしたり、異種の材料を積層させたりすることによって実現され得る。回折格子構造を用いた構成は、セルごとに異なる回折ピッチまたは深さの回折構造を設けることによって実現され得る。金属を含む微細構造を用いる場合は、プラズモン効果による分光を利用して作製され得る。
　［ハイパースペクトル画像の復元］
　次に、処理装置２００による信号処理の例を説明する。処理装置２００は、イメージセンサ１６０から出力された圧縮画像１２０、およびフィルタアレイ１１０の波長ごとの透過率の空間分布特性に基づいて、多波長のハイパースペクトル画像２２０を再構成する。ここで多波長とは、例えば通常のカラーカメラで取得されるＲＧＢの３色の波長域よりも多くの波長域を意味する。この波長域の数は、例えば４から１００程度の数であり得る。この波長域の数を、バンド数と称する。用途によっては、バンド数は１００を超えていてもよい。
　求めたいデータはハイパースペクトル画像２２０のデータであり、そのデータをｆとする。バンド数をＮとすると、ｆは、波長バンドＷ１に対応する画像データｆ１、波長バンドＷ２に対応するｆ２、・・・、波長バンドＷＮに対応するｆＮを統合したデータである。ここで、図１Ａに示すように、画像の横方向をｘ方向、画像の縦方向をｙ方向とする。求めるべき画像データのｘ方向の画素数をｖとし、ｙ方向の画素数をｕとすると、画像データｆ１、画像データｆ２、・・・、画像データｆＮの各々は、ｖ×ｕ画素に対応するｖ×ｕ画素値を含む２次元データである。したがって、データｆは要素数ｖ×ｕ×Ｎの３次元データである。この３次元データを、「ハイパースペクトル画像データ」または「ハイパースペクトルデータキューブ」と称する。一方、フィルタアレイ１１０によって符号化および多重化されて取得される圧縮画像１２０のデータｇは、ｖ×ｕ画素に対応するｖ×ｕ画素値を含む２次元データである。データｇは、以下の式（１）によって表すことができる。
Figure JPOXMLDOC01-appb-M000006
　式（１）、式（２）に含れる
Figure JPOXMLDOC01-appb-M000007
は、式（１）、式（２）に関連する記載において、ｇと標記されることがある。
　式（１）では、ｆ１、ｆ２、・・・、ｆＮの各々は、ｖ×ｕ行１列の１次元ベクトルに変換されて表されている。したがって、右辺のベクトルは、ｖ×ｕ×Ｎ行１列の１次元ベクトルである。式（１）では、圧縮画像１２０のデータｇは、ｖ×ｕ行１列の１次元ベクトルに変換されて表されている。行列Ｈは、ベクトルｆの各成分ｆ１、ｆ２、・・・、ｆＮを波長バンドごとに異なる符号化情報で符号化および強度変調し、それらを加算する変換を表す。したがって、Ｈは、ｖ×ｕ行ｖ×ｕ×Ｎ列の行列である。
　ベクトルｇと行列Ｈが与えられれば、式（１）の逆問題を解くことにより、ｆを算出することができそうである。しかし、求めるデータｆの要素数ｖ×ｕ×Ｎが取得データｇの要素数ｖ×ｕよりも多いため、この問題は不良設定問題であり、このままでは解くことができない。そこで、処理装置２００は、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の式（２）を解くことにより、求めるデータｆが推定される。
Figure JPOXMLDOC01-appb-M000008
　ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値または二乗和平方根等を残差項としてもよい。括弧内の第２項は、正則化項または安定化項である。式（２）は、第１項と第２項との和を最小化するｆを求めることを意味する。処理装置２００は、再帰的な反復演算によって解を収束させ、最終的な解ｆ’を算出することができる。
　式（２）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによって変換したＨｆとの差の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。この関数は、推定データを滑らかまたは安定にする効果をもたらす。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）によって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間方向における対象物７０のスパース性は、対象物７０のテキスチャによって異なる。対象物７０のテキスチャが正則化項の空間方向においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数である。重み係数τが大きいほど冗長的なデータの削減量が多くなり、圧縮する割合が高まる。重み係数τが小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。
　なお、図１Ｂおよび図１Ｃに示す例では、フィルタアレイ１１０によって符号化された像が、イメージセンサ１６０の撮像面上でボケた状態で取得される。したがって、予めこのボケ情報を保有しておき、そのボケ情報を前述の行列Ｈに反映させることにより、ハイパースペクトル画像２２０を再構成することができる。ここで、ボケ情報は、点拡がり関数（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ：ＰＳＦ）によって表される。ＰＳＦは、点像の周辺画素への拡がりの程度を規定する関数である。例えば、画像上で１画素に相当する点像が、ボケによってその画素の周囲のｋ×ｋ画素の領域に広がる場合、ＰＳＦは、その領域内の各画素の輝度への影響を示す係数群、すなわち行列として規定され得る。ＰＳＦによる符号化パターンのボケの影響を、行列Ｈに反映させることにより、ハイパースペクトル画像２２０を再構成することができる。フィルタアレイ１１０が配置される位置は任意であるが、フィルタアレイ１１０の符号化パターンが拡散しすぎて消失しない位置が選択され得る。
　以上の処理により、イメージセンサ１６０によって取得された圧縮画像１２０に基づいて、ハイパースペクトル画像２２０を復元することができる。処理装置２００は、対象波長域に含まれるすべてのバンドについて圧縮センシングアルゴリズムを適用してハイパースペクトル画像２２０を生成して出力する。具体的には、処理装置２００は、イメージセンサ１６０に、フィルタアレイ１１０を介して対象物７０で反射された光を検出させることにより、画像信号を生成させて出力させる。処理装置２００は、さらに、当該画像信号と、フィルタアレイ１１０から得られるＮ個の波長バンドにそれぞれ対応するＮ個のマスクデータとに基づいて、分光画像２２０Ｗ１から分光画像２００ＷＮを生成して出力する。
　当該Ｎ個のマスクデータは、第１のマスクデータＨ１、・・・、第ｉのマスクデータＨｉ、・・・、第ｊのマスクデータＨｊ、・・・、第ＮのマスクデータＨＮであってもよい。
　Ｈ＝（Ｈ１ ・・・ Ｈｉ ・・・ Ｈｊ ・・・ ＨＮ）であり、第１のマスクデータＨ１、・・・、第ｉのマスクデータＨｉ、・・・、第ｊのマスクデータＨｊ、・・・、第ＮのマスクデータＨＮのそれぞれは、ｖ×ｕ行ｖ×ｕ列の小行列であってもよい。第ｉのマスクデータＨｉ、第ｊのマスクデータＨｊを式（７）に例示する。
Figure JPOXMLDOC01-appb-M000009
　［マスクデータの波長方向におけるランダム性］
　次に、フィルタアレイ１１０のマスクデータの波長方向におけるランダム性を説明する。以下の説明において、対象波長域は、Ｎ個の波長バンドを含む。わかりやすさのために、Ｎ個の波長バンドは、中心波長が短い順に番号付けされていると仮定して説明する。中心波長が短いほど番号が小さい。短い順ではなく長い順でもよい。ただし、そのような波長バンドの番号付けは必須ではない。
　マスクデータの波長方向におけるランダム性は、第ｉの波長バンドについての第ｉのマスクデータと、第ｊの波長バンドについての第ｊのマスクデータとの相関係数ｒｉｊを用いて評価される。ｉおよびｊは、１以上Ｎ以下の整数である。イメージセンサ１６０は、Ｎ個の波長バンドのうち、ある波長バンドに対応する光のみを検出することにより、当該波長バンドに対応する画素値分布に応じたマスクデータを出力する。ある波長バンドに対応する光のみをイメージセンサ１６０に検出させる場合、ある波長バンドに対応する波長域から数ｎｍだけずれた波長の光が入射していてもよい。すなわち、ある波長バンドに対応する波長域の下限から数ｎｍだけ短い波長の光、または当該ある波長バンドに対応する波長域の上限から数ｎｍだけ長い波長の光がメージセンサ１６０に入射してもよい。
そのようにして、上記の第ｉおよびｊのマスクデータを取得することができる。
　相関係数ｒｉｊは、２次相関係数として以下の式（３）によって表される。
Figure JPOXMLDOC01-appb-M000010
　式（３）に示す相関係数ｒｉｊは、波長バンドｉのマスクデータと波長バンドｊのマスクデータがどの程度類似しているかという類似度を示す指標である。類似性が高いほど、相関係数ｒｉｊは１に近づき、完全に一致すると１になる。反対に、類似性が低いほど、相関係数ｒｉｊは０に近づき、完全に相関がない場合に０になる。
　式（３）に示す相関係数ｒｉｊは、第ｉの波長バンドに対応する第ｉのマスクデータ、すなわち行列Ｈｉ、に含まれるｖ×ｕ×ｖ×ｕ個の成分、第ｊの波長バンドに対応する第ｊのマスクデータ、すなわち行列Ｈｊ、に含まれるｖ×ｕ×ｖ×ｕ個の成分に基づいて算出される。式（３）において、ｉｍｎは第ｉのマスクデータＨｉ、すなわち行列Ｈｉ、に含まれる（ｍ，ｎ）成分である。式（３）において、ｊｍｎは第ｊのマスクデータＨｊ、すなわち行列Ｈｊ、に含まれる（ｍ，ｎ））成分である。ｉ０は、第ｉのマスクデータ、すなわち行列Ｈｉ、に含まれる全ての成分の平均値である。つまり、ｉ０＝（ｉ11＋・・・＋ｉ(v×u）(v×u)）／（ｖ×ｕ×ｖ×ｕ）である。ｊ０は、第ｊのマスクデータ、すなわち行列Ｈｊ、に含まれる全ての成分の平均値である。つまり、ｊ０＝（ｊ11＋・・・＋ｊ(v×u）(v×u)）／（ｖ×ｕ×ｖ×ｕ）である。
　相関係数ｒ１１、・・・、相関係数ｒｉｊ、・・・、相関係数ｒＮＮを式（８）に示す行列Ｒで表現してもよい。
Figure JPOXMLDOC01-appb-M000011
　ｒ１１＝１、ｒ２２＝１、・・・、ｒＮＮ＝１である。ｒｉｊ（ｉ≠ｊ）は、波長バンドｉに対応する第ｉのマスクデータＨｊと波長バンドｊに対応する第ｊのマスクデータＨｊの類似度を表し、波長分解能およびハイパースペクトル画像の復元精度に寄与する。ｒｉｊ＝ｒｊｉである。複数の波長バンドを中心波長が短い順に番号付ける場合、行列Ｒにおいて、相関係数ｒｉｊは、波長バンドの中心波長が短い順に左から右に、かつ上から下に並べられる。
　第ｉのマスクデータＨｉは、第ｉの波長バンドの光についてのフィルタアレイ１１０の透過率分布を示すと解釈されてもよい。第ｊのマスクデータＨｊは、第ｊの波長バンドの光についてのフィルタアレイ１１０の透過率分布を示すと解釈されてもよい。
　第ｉのマスクデータＨｉ、すなわち行列Ｈｉは、対角行列であってもよい。
　行列Ｈｉに含まれる（１，１）成分であるｉ１１は、フィルタアレイ１１０に含まれる第１の光学フィルタの第ｉの波長バンドの光についての透過率、
　行列Ｈｉに含まれる（２，２）成分であるｉ２２は、フィルタアレイ１１０に含まれる第２の光学フィルタの第ｉの波長バンドの光についての透過率、・・・、
　行列Ｈｉに含まれる（ｖ×ｕ，ｖ×ｕ）成分であるｉ(v×u）(v×u)は、フィルタアレイ１１０に含まれる第（ｖ×ｕ）の光学フィルタの第ｉの波長バンドの光についての透過率を示すと解釈されもよい。
　第ｊのマスクデータＨｊ、すなわち行列Ｈｊは、対角行列であってもよい。
　行列Ｈｊに含まれる（１，１）成分であるｊ１１は、フィルタアレイ１１０に含まれる第１の光学フィルタの第ｊの波長バンドの光についての透過率、
　行列Ｈｊに含まれる（２，２）成分であるｊ２２は、フィルタアレイ１１０に含まれる第２の光学フィルタの第ｊの波長バンドの光についての透過率、・・・、
　行列Ｈｊに含まれる（ｖ×ｕ，ｖ×ｕ）成分であるｊ(v×u）(v×u)は、フィルタアレイ１１０に含まれる第（ｖ×ｕ）の光学フィルタの第ｊの波長バンドの光についての透過率を示すと解釈されもよい。
　第ｉのマスクデータ、すなわち行列Ｈｉ、に含まれる全ての成分の平均値であるｉ０＝（ｉ11＋・・・＋ｉ(v×u）(v×u)）／（ｖ×ｕ×ｖ×ｕ）は、フィルタアレイ１１０に含まれる複数の光学フィルタに対応する複数の第ｉの波長バンドの光についての透過率の平均値であると解釈されてもよい。第ｊのマスクデータ、すなわち行列Ｈｊ、に含まれる全ての成分の平均値であるｊ０＝（ｊ11＋・・・＋ｊ(v×u）(v×u)）／（ｖ×ｕ×ｖ×ｕ）は、フィルタアレイ１１０に含まれる複数の光学フィルタに対応する複数の第ｊの波長バンドの光についての透過率の平均値であると解釈されてもよい。
　行列Ｈ１、・・・、行列Ｈｉ、・・・、行列Ｈｊ、・・・、行列ＨＮのそれぞれが、ｖ×ｕ行ｖ×ｕ列の対角行列である場合の例は、行列Ｈに関する情報を取得する際の実測キャリブレーション時におけるイメージセンサ１６０の画素（ｐ，ｑ）、画素（ｒ,ｓ）間のクロストークと、エンドユーザが被写体７０を撮像したときのイメージセンサ１６０の画素（ｐ，ｑ）、画素（ｒ,ｓ）間のクロストークが同じであると判定される場合を含んでもよい（１≦ｐ、ｒ≦ｖ、１≦ｑ、ｓ≦ｕ、画素（ｐ，ｑ）≠画素（ｒ,ｓ））。上述したクロストークに関する条件が満たされているか否かは、撮像の際に使用する光学レンズなどを加味した撮像環境を考慮して判断されてもよく、また、各復元画像の画質がエンドユーザの目的を達成できるか否かを考慮して判断されてもよい。
　次に、図５を参照して、互いに隣接する２つの波長バンドにおける平均透過率の差を説明する。図５は、あるフィルタアレイ１１０に含まれる光学フィルタの透過スペクトルを示すグラフである。図５に示す例において、４６０ｎｍを境界にする２つの波長バンドの各々が２０ｎｍの波長分解能を有する場合、４４０ｎｍ以上４６０ｎｍ以下の波長バンドに対する当該光学フィルタの平均透過率と４６０ｎｍ以上４８０ｎｍ以下の波長バンドに対する当該光学フィルタの平均透過率の差をΔＴ２０とする。図６に示す例において、４６０ｎｍを境界にする２つの波長バンドの各々が５ｎｍの波長分解能を有する場合、４５５ｎｍ以上４６０ｎｍ以下の波長バンドに対する当該光学フィルタの平均透過率と４６０ｎｍ以上４６５ｎｍ以下の波長バンドに対する当該光学フィルタ平均透過率の差をΔＴ５とする。図５に示す例において、ΔＴ２０＞ΔＴ５である。
　図５に示すように、光学フィルタにおける互いに隣接する２つの波長バンドにおける平均透過率の差は波長分解能に依存する。光学フィルタの透過特性により異なるが、概ね以下のことが言える。光学フィルタの透過ピークがローレンツ関数によって近似的に表されると仮定して、波長分解能が光学フィルタの透過ピークの半値幅と２倍程度である場合、互いに隣接する２つの波長バンドにおける平均透過率の差はほぼ最大になる。これに対して、波長分解能が光学フィルタの透過ピークの半値幅と比較して３倍以上のように過度に広くなるほど、または０．５倍以下のように過度に狭くなるほど、互いに隣接する２つの波長バンドにおける平均透過率の差は小さくなる。
　光学フィルタの透過ピークの半値幅は、|λ２－λ１|または|λ４－λ３|であってもよい。
　図１０は、光学フィルタの透過ピークの半値幅が|λ２－λ１|であることを説明する図である。図１０に示すグラフの縦軸は光学フィルタの透過率、図１４に示すグラフの横軸は波長を示す。図１０において、λ１はＴ／２に対応する波長、λ２はＴ／２に対応する波長、Ｔは光学フィルタの透過率のピーク値である。
　図１１は、光学フィルタの透過ピークの半値幅が|λ４－λ３|であることを説明する図である。図１１に示すグラフの縦軸は光学フィルタの透過率、図１１に示すグラフの横軸は波長を示す。図１１において、λ３は（Ｔ－Ｔ１）／２に対応する波長、λ４は（Ｔ－Ｔ２）／２に対応する波長、Ｔは光学フィルタの透過率の極大値、Ｔ１は極大値Ｔに隣接する第１の極小値、Ｔ２は極大値Ｔに隣接する第２の極小値である。
　互いに隣接する２つの波長バンドにおける平均透過率の差が大きいほど、当該２つの波長バンドについてのマスクデータが「類似していない」ことになり、行列Ｒのｒｉｊ（ｉ≠ｊ）が０に近づく。行列Ｒのｒｉｊ（ｉ≠ｊ）が十分小さい場合、第ｉの波長バンドと第ｊの波長バンドは分離できる、すなわち、「波長」は「分解」できると言うことができる。行列Ｒのｒｉｊ（ｉ≠ｊ）が十分小さいとは、例えば、当該ｒｉｊ（ｉ≠ｊ）が０．８以下である。
　以上のことから、所望の波長分解能に応じてフィルタアレイ１１０を設計してもよいし、フィルタアレイ１１０の設計に応じて波長分解能を決定してもよい。本実施形態では、以下に説明するように、所望の波長分解能に応じてフィルタアレイ１１０が設計される。
　次に、図６Ａおよび図６Ｂを参照して、行列Ｒのｒｉｊ（ｉ≠ｊ）に対応する第ｉの波長バンドと第ｊの波長バンドを分離できる条件を説明する。図６Ａは、あるフィルタアレイ１１０を用いて対象波長域内の１００個の波長バンドについてのハイパースペクトル画像を復元した場合の、相関係数、正解画像のスペクトル、復元画像のスペクトルを示すグラフである。相関係数は、５０番目の波長バンドに対するｒｉｊであり、ｉ＝５０および１≦ｊ≦１００である。正解画像のスペクトルは、５０番目の波長バンドにおいて１の強度を示し、残りの９９個の波長バンドにおいてゼロの強度を示す。正解画像の各波長バンドにおける強度は、正解画像に含まれる全画素の強度の平均値を、観測できる最大強度（８ビット画像においては強度２５５）で除した値である。１の強度は白色に相当し、ゼロの強度は黒色に相当する。図６Ａに示す実線は正解画像のスペクトルを表し、黒丸は復元画像のスペクトルを表し、白丸は相関係数を表す。
　図６Ａに示すように、正解画像のスペクトルは、５０番目の波長バンドにのみノンゼロの画素値を示す一方、復元画像のスペクトルは、５０番目の波長バンドだけでなく、その周囲のバンドにおいてもノンゼロの強度を示す。復元画像の各波長バンドにおける強度は、復元画像に含まれる全画素の強度の平均である。復元画像のスペクトルがそのような強度を示す原因は、図６Ａに示す相関関数から明らかなように、５０番目の波長バンドについてのマスクデータと、その周囲の波長バンドについてのマスクデータとが類似しているためである。その結果、本来５０番目の波長バンドに振られるべき強度が、その周囲の波長バンドにも誤って割り振られてしまう。
　図６Ｂは、図６Ａに示す結果から、５０番目の波長バンド以外の９９個の波長バンドについての相関係数と復元誤差との関係をプロットしたグラフである。５０番目の波長バンド以外の９９個の波長バンドについては、正解画像が強度＝０となるため、復元画像の強度が復元誤差となる。すなわち、８ビットの復元画像の平均画素値がｘであるとき、復元誤差はｘ／２５５×１００（％）となる。相関係数が０．８以下である場合、復元誤差は３％以下である。これに対して、相関係数が０．８以上である場合、相関係数が増加するほど、復元誤差も急激に増加する。例えば、相関係数が０．９である場合、復元誤差が７％程度になる。復元誤差の急激な増加は、相関係数が０．８以上のマスクデータ同士が、互いの計算結果に強く影響を及ぼすことを意味している。図６Ａに示す例において、正しい復元画像のスペクトルは、５０番目の波長バンド以外の波長バンドにおいてゼロの強度を示すはずである。実際には、５０番目の波長バンドとその周囲の波長バンドとのマスクデータ同士が互いに影響を及ぼす結果、復元画像のスペクトルは、その周囲の波長バンドにおいて０．０７程度の強度を示す。
　図６Ａに示すように、２つの波長バンドにおけるマスクデータの類似性は相関係数に基づいて計算することができる。図６Ｂに示すように、相関係数が０．８以上になるマスクデータ同士は互いに類似し、互いの計算結果に影響を及ぼす。
　以上のように、ハイパースペクトル画像の復元精度を向上させる観点から、フィルタアレイ１１０のマスクデータの相関関数は、｜ｉ－ｊ｜≧１の場合、ｒｉｊ≦０．８であることが望ましいように思える。言い換えれば、フィルタアレイ１１０のマスクデータの波長方向におけるランダム性が高いことが望ましいように思える。
　しかし、実際の対象物のスペクトルは、図６Ａに示す正解画像のスペクトルとは異なり、緩やかに変化する場合が多い。そのような緩やかな変化は、低周波成分を多く含み、高周波成分をほとんど含まない。このように、実際の対象物は、波長方向においてスパース性を有する場合が多い。本発明者は、フィルタアレイ１１０のマスクデータの波長方向におけるランダム性を完全なランダムからある程度緩和した方が、実際の対象物のハイパースペクトル画像を精度よく復元できることを見出した。
　次に、図７Ａから図７Ｃを参照して、実際の対象物の波長方向におけるスパース性を説明する。図７Ａから図７Ｃは、対象物およびそのスペクトルの例を示す図である。図７Ａから図７Ｃの上側の図は、対象物の写真であり、下側の図は、対象物の番号が付された観測点におけるスペクトルを示す。図７Ａから図７Ｃに示す対象物は、それぞれ、蝶、花、および建物である。いずれの対象物の観測点においても、スペクトルは緩やかに変化する。このように、実際の対象物は、波長方向においてスパース性を有する場合が多い。
　実際の対象物は、空間方向におけるスパース性も有する場合が多い。特許文献１および２は、空間方向におけるスパース性に基づいてハイパースペクトル画像を復元する方法を開示している。当該方法では、空間方向におけるスパース性が、式（２）によって表される評価関数のうち、正則化項Φ（ｆ）として考慮される。
　空間方向および波長方向におけるスパース性を、評価関数の正則化項Φ（ｆ）として考慮することも可能である。しかし、両方のスパース性を正則化項Φ（ｆ）として考慮する場合、計算時間が増加してしまう。そこで、本実施形態において、空間方向におけるスパース性は、評価関数の正則化項Φ（ｆ）として考慮され、波長方向におけるスパース性は、フィルタアレイ１１０のマスクデータとして取り入れられる。
　次に、図８Ａから図８Ｃを参照して、空間方向におけるスパース性を評価関数の正則化項Φ（ｆ）として考慮する復元処理において、マスクデータの波長方向におけるスパース性の有無が復元精度にどのように影響を及ぼすかを説明する。図８Ａおよび図８Ｂは、それぞれ、波長方向におけるスパース性が反映されたマスクデータの相関関数、および反映されていないマスクデータの相関関数を示す図である。相関関数はマトリクス状に表されている。図８Ａおよび図８Ｂに示す最も濃い色はｒｉｊ＝１を表し、２番目に濃い色は０．８＜ｒｉｊ＜１．０を表し、最も薄い色はｒｉｊ＜０．８を表す。
　図８Ａに示すマスクデータでは、｜ｉ－ｊ｜＝１の場合、０．８＜ｒｉｊ＜１．０であり、｜ｉ－ｊ｜≧２の場合、ｒｉｊ＜０．８である。図８Ａに示すマスクデータの相関関数は、｜ｉ－ｊ｜の増加に対して緩やかに減少する。したがって、図８Ａに示すマスクデータには、波長方向におけるスパース性が反映されている。
　これに対して、図８Ｂに示すマスクデータでは、｜ｉ－ｊ｜≧１の場合、ｒｉｊ＜０．８である。図８Ｂに示すマスクデータの相関関数は、｜ｉ－ｊ｜の増加に対して急峻に減少する。したがって、図８Ｂに示すマスクデータには、波長方向におけるスパース性が反映されていない。
　図８Ｃは、空間方向におけるスパース性を評価関数の正則化項Φ（ｆ）として考慮する復元処理における、図８Ａおよび図８Ｂに示すマスクデータに基づいて復元された対象物のハイパースペクトル画像の復元精度を示す図である。図８Ｃに示すマスク１および２は、それぞれ、図８Ａおよび図８Ｂに示すマスクデータを表す。ハイパースペクトル画像は、マスク１および２を用いて対象物の圧縮画像を再構成することによって復元された。対象物は、図７Ａから図７Ｃに示す蝶、花、および建物である。復元精度はＰＳＮＲによって表されており、ＰＳＮＲが高いほど復元精度は高い。
　図８Ｃに示すように、すべての対象物について、マスク２よりもマスク１を用いた方が、高い復元精度が得られた。マスク１を用いた場合に、マスク２を用いた場合と比較して復元精度がどの程度向上するかは、対象物によって異なる。これは、波長方向のスパース性がハイパースペクトル画像の復元にどの程度寄与するかが、対象物によって異なるためである。
　図７Ａから図７Ｃに示すように、少なくとも互いに隣接する２つの波長バンドについて、正解画像同士は類似する。対象波長域内のすべての波長バンドについてのマスクデータが互いに類似する場合、ハイパースペクトル画像を取得することは技術的に容易ではない。したがって、波長方向におけるスパース性をフィルタアレイ１１０のマスクデータに取り入れて復元精度を向上させる観点から相関関数が満たすべき要件は、以下の式（４）によって表される。
Figure JPOXMLDOC01-appb-M000012
　｜ｉ－ｊ｜が１になるマスクデータとの組み合わせにおいて、相関係数ｒｉｊは、ｒｉｊ≧０．８を満たす。さらに、｜ｉ－ｊ｜が２以上かつＮ－１以下になるマスクデータの組み合わせにおいて、少なくとも１つの相関係数ｒｉｊは、ｒｉｊ≦０．８を満たす。例えば、｜ｉ－ｊ｜が３になるマスクデータの組み合わせにおいて、ｒｉｊ≦０．８を満たす組み合わせが存在する必要はない。｜ｉ－ｊ｜が２になるマスクデータの組み合わせにおいて、ｒｉｊ≦０．８を満たす組み合わせが１つだけ存在していてもよい。
　より望ましい例では、ある程度近い波長バンド同士についてのマスクデータが互いに類似しており、それ以外の波長バンド同士についてのマスクデータは類似しない。これは、対象物の波長方向における類似性が、ある程度近い波長バンド同士については高い傾向にあり、それ以外の波長バンド同士については低い傾向にあるためである。そのような例において、ｒｉｊが満たすべきより望ましい要件は、以下の式（５）によって表される。
Figure JPOXMLDOC01-appb-M000013
　ただし、ｋは１≦ｋ≦Ｎ－２を満たす整数である。｜ｉ－ｊ｜が１以上ｋ以下になるマスクデータとの組み合わせにおいて、相関係数ｒｉｊは、ｒｉｊ≧０．８を満たす。さらに、｜ｉ－ｊ｜がｋ＋１以上になるマスクデータの組み合わせにおいて、相関係数ｒｉｊは、ｒｉｊ≦０．８を満たす。例えば、ｋ＝２のとき、｜ｉ－ｊ｜が２になるマスクデータのすべての組み合わせにおいて、相関係数ｒｉｊは、ｒｉｊ≧０．８を満たす。同様に、｜ｉ－ｊ｜が１になるマスクデータのすべての組み合わせにおいて、相関係数ｒｉｊは、ｒｉｊ≧０．８を満たす。これに対して、｜ｉ－ｊ｜が３以上になるマスクデータのすべての組み合わせにおいて、相関係数ｒｉｊは、ｒｉｊ≦０．８を満たす。
　多くの対象物が有する波長方向におけるスパース性を汎用的に反映させる例では、隣接する波長バンドについてのマスクデータのみが類似し、それ以外の波長バンド同士のマスクデータは類似しない。そのような例において、ｒｉｊが満たすべき要件は、以下の式（６）によって表される。
Figure JPOXMLDOC01-appb-M000014
　｜ｉ－ｊ｜が１になるマスクデータとの組み合わせにおいて、相関係数ｒｉｊは、ｒｉｊ≧０．８を満たす。さらに、｜ｉ－ｊ｜が２以上になるマスクデータのすべての組み合わせにおいて、相関係数ｒｉｊは、ｒｉｊ≦０．８を満たす。式（６）は、式（５）においてｋ＝１になる場合に相当する。
　上記の式（４）から式（６）のいずれか１つ以上の要件を満たすようフィルタアレイ１１０の透過特性および波長分解能を設定することにより、対象物のハイパースペクトル画像の復元精度を向上させることができる。
　次に、図９Ａから図９Ｃを参照して、前述したより望ましい例において、より効果を奏する要件を説明する。２つの波長バンドについてのフィルタアレイ１１０のマスクデータの相関係数を計算することができるように、２つの波長バンドについての分光画像の相関係数を計算することができる。
　図９Ａから図９Ｃは、それぞれ、図７Ａから図７Ｃに示す対象物、およびその分光画像の相関関数を示す図である。相関関数はマトリクス状に表されている。図９Ａから図９Ｃに示す色の濃淡については、図８Ａおよび図８Ｂを参照して説明した通りである。
　図９Ａから図９Ｃに示すように、マスクデータとは異なり、すべての波長バンドについて対象物の構造的な類似性があるため、多くの非対角成分は対角成分に類似する。したがって、ある程度近い波長バンド同士についての分光画像が類似する。ある２つの波長バンドについて、正解の分光画像同士が類似していない一方、マスクデータ同士が類似している場合、復元精度は低下する。したがって、ある２つの波長バンドについて、正解の分光画像の相関関数が０．８以下である場合、マスクデータの相関関数が０．８以下であれば、復元精度を向上させることができる。ただし、この逆は成り立たない。すなわち、ある２つの波長バンドについて、マスクデータの相関関数が０．８以上である場合でも、正解の分光画像の相関関数は０．８以上である必要はない。
　対象物のスペクトルが既知である場合、上記のように対象物の分光画像の相関係数を計算することにより、フィルタアレイ１１０のマスクデータおよび波長分解能を適切に設計することができる。フィルタアレイ１１０の設計において、マスクデータの相関関数は、対象物の分光画像の相関係数に基づいて決定される。例えば、マスクデータの相関関数を、対象物の分光画像の相関係数にほぼ一致させてもよい。
　以上のことから、本実施形態におけるフィルタアレイ１１０の製造方法は、Ｎ個の波長バンドのうち、互いに異なる２つの波長バンドのすべての組み合わせについて対象物の分光画像の相関係数を計算することと、当該相関係数に基づいて、Ｎ個の波長バンドの各々についてのフィルタアレイ１１０のマスクデータを設計することとを含む。フィルタアレイ１１０のマスクデータを、フィルタアレイ１１０の透過率分布に読み替えてもよい。
　前述したように、相関係数はｒｉｊ＝ｒｊｉの関係を満たす。したがって、上記のすべての組み合わせについて相関係数ｒｉｊを計算することは、ｉ≠ｊである場合において、ｉ＞ｊおよびｊ＞ｉのうち、一方を満たす組み合わせについて相関係数を計算し、その計算結果を、他方を満たす組み合わせについての相関係数に代用することを含んでいてもよい。
　本開示の技術は、例えば、多波長または高解像度の画像を取得するカメラおよび測定機器に有用である。本開示の技術は、例えば、生体・医療・美容向けセンシング、食品の異物・残留農薬検査システム、リモートセンシングシステムおよび車載センシングシステムにも応用できる。
　　７０　　　　対象物
　　１００　　　撮像装置
　　１１０　　　フィルタアレイ
　　１２０　　　圧縮画像
　　１４０、１４０Ａ　　　光学系
　　１６０　　　イメージセンサ
　　２００　　　処理装置
　　２２０　　　ハイパースペクトル画像
　　２２０Ｗ１～２２０ＷＮ　　分光画像
　　３００　　　撮像システム

Claims (6)

  1. 　Ｎ（Ｎは４以上の整数）個の波長バンドの各々に対応する分光画像を生成するシステムに用いられる装置であって、
    　分光透過率が互いに異なる複数の光学フィルタと、
    　前記複数の光学フィルタを介した光を検出するイメージセンサと、
    を備え、
    　前記イメージセンサは、
    　　前記Ｎ個の波長バンドのうち、第ｉの波長バンド（ｉは１以上Ｎ以下の整数）に対応する光のみを検出することにより、前記第ｉの波長バンドに対応する画素値分布に応じた第ｉのマスクデータを出力し、
    　　前記Ｎ個の波長バンドのうち、第ｊの波長バンド（ｊは１以上Ｎ以下の整数）に対応する光のみを検出することにより、前記第ｊの波長バンドに対応する画素値分布に応じた第ｊのマスクデータを出力し、
    　前記第ｉのマスクデータと前記第ｊのマスクデータとの相関係数ｒｉｊを
    Figure JPOXMLDOC01-appb-M000001
     とし、ｉｍｎおよびｊｍｎを、それぞれ、前記第ｉおよび第ｊのマスクデータのうち、ｍ行ｎ列の画素における画素値とし、ｉ０およびｊ０を、それぞれ、前記第ｉおよび第ｊのマスクデータの画素値の平均値とし、前記Ｎ個の波長バンドは、中心波長が短い順または長い順に番号付けされているとした場合に、
    　｜ｉ－ｊ｜が１になる前記第ｉのマスクデータと前記第ｊのマスクデータとの組み合わせにおいて、前記相関係数ｒｉｊは、ｒｉｊ≧０．８を満たし、
    　｜ｉ－ｊ｜が２以上かつＮ－１以下になる前記第ｉのマスクデータと前記第ｊのマスクデータとの組み合わせにおいて、少なくとも１つの前記相関係数ｒｉｊは、ｒｉｊ≦０．８を満たす、
    　装置。
  2. 　１≦ｋ≦Ｎ－２を満たす整数をｋとするとき、
    　｜ｉ－ｊ｜が１以上ｋ以下になる前記第ｉのマスクデータと前記第ｊのマスクデータとの組み合わせにおいて、前記相関係数ｒｉｊは、ｒｉｊ≧０．８を満たし、
    　｜ｉ－ｊ｜がｋ＋１以上になる前記第ｉのマスクデータと前記第ｊのマスクデータとの組み合わせにおいて、前記相関係数ｒｉｊは、ｒｉｊ≦０．８を満たす。
    　請求項１に記載の装置。
  3. 　ｋ＝１である、
    　請求項２に記載の装置。
  4. 　Ｎ（Ｎは４以上の整数）個の波長バンドの各々に対応する分光画像を生成するシステムに用いられるフィルタアレイであって、
    　分光透過率が互いに異なる複数の光学フィルタを備え、
    　前記Ｎ個の波長バンドのうち、第ｉの波長バンド（ｉは１以上Ｎ以下の整数）の光についての前記複数の光学フィルタの第ｉの透過率分布と、第ｊの波長バンド（ｊは１以上Ｎ以下の整数）の光についての前記複数の光学フィルタの第ｊの透過率分布との相関係数ｒｉｊを
    Figure JPOXMLDOC01-appb-M000002
     とし、ｉｍｎおよびｊｍｎを、それぞれ、前記第ｉおよび第ｊの波長バンドの光についての前記複数の光学フィルタの透過率分布のうち、ｍ行ｎ列の光学フィルタの透過率とし、ｉ０およびｊ０を、それぞれ、前記第ｉおよび第ｊの透過率分布の透過率の平均値とし、前記Ｎ個の波長バンドは、中心波長が短い順または長い順に番号付けされているとした場合に、
    　｜ｉ－ｊ｜が１になる前記第ｉの透過率分布と前記第ｊの透過率分布との組み合わせにおいて、前記相関係数ｒｉｊは、ｒｉｊ≧０．８を満たし、
    　｜ｉ－ｊ｜が２以上かつＮ－１以下になる前記第ｉの透過率分布と前記第ｊの透過率分布との組み合わせにおいて、少なくとも１つの前記相関係数ｒｉｊは、ｒｉｊ≦０．８である、
    　フィルタアレイ。
  5. 　Ｎ（Ｎは４以上の整数）個の波長バンドの各々に対応する分光画像を生成するシステムであって、
    　請求項１から３のいずれかに記載の装置と、
    　処理回路と、
    を備え、
    　前記処理回路は、
    　　前記装置に含まれる前記イメージセンサに、前記複数の光学フィルタを介して光を検出させることにより、画像信号を生成させて出力させ、
    　　前記画像信号と、前記Ｎ個の波長バンドにそれぞれ対応するＮ個のマスクデータとに基づいて、前記分光画像を生成して出力する、
    　システム。
  6. 　Ｎ（Ｎは４以上の整数）個の波長バンドの各々に対応する分光画像を生成するシステムに用いられるフィルタアレイの製造方法であって、
    　前記フィルタアレイは、分光透過率が互いに異なる複数の光学フィルタを備え、
    　前記Ｎ個の波長バンドのうち、互いに異なる２つの波長バンドのすべての組み合わせについて対象物の前記分光画像の相関係数を計算することと、
    　前記相関係数に基づいて、前記Ｎ個の波長バンドの各々についての前記複数の光学フィルタの透過率分布を設計することと、
    を含む、
    　フィルタアレイの製造方法。
PCT/JP2022/043657 2021-12-08 2022-11-28 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法 WO2023106143A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-199556 2021-12-08
JP2021199556 2021-12-08

Publications (1)

Publication Number Publication Date
WO2023106143A1 true WO2023106143A1 (ja) 2023-06-15

Family

ID=86730429

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/043657 WO2023106143A1 (ja) 2021-12-08 2022-11-28 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法

Country Status (1)

Country Link
WO (1) WO2023106143A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016090576A (ja) * 2014-10-29 2016-05-23 パナソニックＩｐマネジメント株式会社 撮像装置、分光システム、および分光方法
JP2016130727A (ja) * 2015-01-08 2016-07-21 パナソニックＩｐマネジメント株式会社 撮像装置
JP2017055386A (ja) * 2015-09-08 2017-03-16 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、画像生成装置およびカラーフィルタ
JP2020048199A (ja) * 2014-11-19 2020-03-26 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016090576A (ja) * 2014-10-29 2016-05-23 パナソニックＩｐマネジメント株式会社 撮像装置、分光システム、および分光方法
JP2020048199A (ja) * 2014-11-19 2020-03-26 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
JP2016130727A (ja) * 2015-01-08 2016-07-21 パナソニックＩｐマネジメント株式会社 撮像装置
JP2017055386A (ja) * 2015-09-08 2017-03-16 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、画像生成装置およびカラーフィルタ

Similar Documents

Publication Publication Date Title
JP6952277B2 (ja) 撮像装置および分光システム
US9823126B2 (en) Apparatus and method for snapshot spectral imaging
JP6064290B2 (ja) 撮像装置、分光システム、および分光方法
JP6945195B2 (ja) 光学フィルタ、光検出装置、および光検出システム
WO2021085014A1 (ja) フィルタアレイおよび光検出システム
JP6952294B2 (ja) 光検出装置、光検出システム、およびフィルタアレイ
JP2016130727A (ja) 撮像装置
JP7457952B2 (ja) 光検出装置、光検出システム、およびフィルタアレイ
WO2022163421A1 (ja) 検査対象に含まれる異物を検出する方法および装置
WO2021171905A1 (ja) 撮像装置
WO2022230640A1 (ja) 画像処理装置、撮像システム、および復元画像の誤差を推定する方法
US11843876B2 (en) Optical filter array, photodetection device, and photodetection system
JP7142251B2 (ja) フィルタアレイおよび光検出システム
WO2023282069A1 (ja) 信号処理装置および信号処理方法
WO2023106143A1 (ja) 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
WO2023106142A1 (ja) 信号処理方法、プログラム、およびシステム
WO2023286613A1 (ja) フィルタアレイ、光検出装置、および光検出システム
JP7122636B2 (ja) フィルタアレイおよび光検出システム
WO2024043009A1 (ja) 信号処理方法および信号処理装置
JP2024020922A (ja) 復元画像の評価方法および撮像システム、
WO2021241122A1 (ja) フィルタアレイおよび光検出システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22904074

Country of ref document: EP

Kind code of ref document: A1