WO2023106142A1 - 信号処理方法、プログラム、およびシステム - Google Patents

信号処理方法、プログラム、およびシステム Download PDF

Info

Publication number
WO2023106142A1
WO2023106142A1 PCT/JP2022/043656 JP2022043656W WO2023106142A1 WO 2023106142 A1 WO2023106142 A1 WO 2023106142A1 JP 2022043656 W JP2022043656 W JP 2022043656W WO 2023106142 A1 WO2023106142 A1 WO 2023106142A1
Authority
WO
WIPO (PCT)
Prior art keywords
wavelength
spectral
image
error
mask data
Prior art date
Application number
PCT/JP2022/043656
Other languages
English (en)
French (fr)
Inventor
基樹 八子
篤 石川
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2023106142A1 publication Critical patent/WO2023106142A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/40—Measuring the intensity of spectral lines by determining density of a photograph of the spectrum; Spectrography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters

Definitions

  • the present disclosure relates to signal processing methods, programs, and systems.
  • Hyperspectral cameras are used in various fields such as food inspection, biopsy, pharmaceutical development, and mineral composition analysis.
  • Patent Documents 1 and 2 disclose examples of hyperspectral cameras using compressed sensing technology.
  • Compressed sensing technology acquires a compressed image in which spectral information is compressed by detecting light reflected by an object through a special filter array. A spectral image is recovered.
  • the present disclosure provides a signal processing method capable of estimating the restoration error of a hyperspectral image.
  • a computer-implemented signal processing method includes N spectroscopic images (N is an integer of 4 or more) generated based on a compressed image in which spectral information is compressed. Acquiring designation information designating wavelength bands, estimating a restoration error of each of the N spectral images based on the designation information, and outputting a signal indicating the restoration error. ,including. It should be noted that this general or specific aspect may be implemented in an apparatus, system, integrated circuit, computer program or computer readable recording medium, and the apparatus, system, method, integrated circuit, computer program and computer readable medium may be implemented. Any combination of recording media may be used. Computer-readable recording media include non-volatile recording media such as CD-ROMs (Compact Disc-Read Only Memory).
  • the restoration error of the hyperspectral image can be estimated.
  • FIG. 1A is a diagram schematically illustrating the configuration of an imaging system according to an exemplary embodiment of the present disclosure
  • FIG. 1B schematically illustrates another configuration of an imaging system according to an exemplary embodiment of the present disclosure
  • FIG. 1C schematically illustrates yet another configuration of an imaging system according to an exemplary embodiment of the present disclosure
  • 1D schematically illustrates yet another configuration of an imaging system according to an exemplary embodiment of the present disclosure
  • FIG. 2A is a diagram schematically showing an example of a filter array.
  • FIG. 2B is a diagram showing an example of a spatial distribution of light transmittance in each of a plurality of wavelength bands included in the target wavelength band.
  • FIG. 1A is a diagram schematically illustrating the configuration of an imaging system according to an exemplary embodiment of the present disclosure
  • FIG. 1B schematically illustrates another configuration of an imaging system according to an exemplary embodiment of the present disclosure
  • FIG. 1C schematically illustrates yet another configuration of an imaging system according to an exemplary embodiment of the present disclosure
  • 1D
  • FIG. 2C is a diagram showing an example of spectral transmittance of area A1 included in the filter array shown in FIG. 2A.
  • FIG. 2D is a diagram showing an example of spectral transmittance of area A2 included in the filter array shown in FIG. 2A.
  • FIG. 3A is a diagram for explaining the relationship between the target wavelength band W and a plurality of wavelength bands included therein.
  • FIG. 3B is a diagram for explaining the relationship between the target wavelength band W and a plurality of wavelength bands included therein.
  • FIG. 4A is a diagram for explaining spectral transmittance characteristics in a certain region of the filter array.
  • FIG. 4B is a diagram showing the result of averaging the spectral transmittance shown in FIG. 4A for each wavelength band.
  • FIG. 5A is a graph showing transmission spectra of two optical filters included in a certain filter array.
  • FIG. 5B is a graph showing the relationship between randomness in the spatial direction of mask data of a certain filter array and wavelength resolution.
  • FIG. 6 is a graph showing transmission spectra of optical filters included in a certain filter array.
  • FIG. 7A is a graph showing the correlation coefficient, the spectrum of the correct image, and the spectrum of the restored image.
  • FIG. 7B is a graph plotting the relationship between correlation coefficients and restoration errors for 99 wavelength bands other than the 50th wavelength band from the results shown in FIG. 7A.
  • FIG. 8A is a block diagram schematically showing a first example of the system according to this embodiment.
  • FIG. 8A is a block diagram schematically showing a first example of the system according to this embodiment.
  • FIG. 8B is a flow chart schematically showing a first example of operations performed by the signal processing circuit in the system shown in FIG. 8A.
  • FIG. 9A is a block diagram schematically showing a second example of the system according to this embodiment.
  • 9B is a flow chart that schematically illustrates a second example of operations performed by the signal processing circuit in the system shown in FIG. 9A.
  • FIG. 9C is a table showing an example of a restoration error table.
  • FIG. 9D is a graph showing an example of reconstruction error as a function of wavelength resolution.
  • FIG. 10A is a block diagram schematically showing a third example of the system according to this embodiment.
  • FIG. 10B is a block diagram schematically showing a fourth example of the system according to this embodiment.
  • FIG. 11A is a block diagram schematically showing a fifth example of the system according to this embodiment.
  • FIG. 11B is a flow chart that schematically illustrates an example of operations performed by the signal processing circuit in the system shown in FIG. 11A.
  • FIG. 11C is a flowchart schematically showing another example of operations performed by the signal processing circuit in the system shown in FIG. 11A.
  • FIG. 12A is a diagram showing a first example of the display UI when the restoration error exceeds a predetermined threshold.
  • FIG. 12B is a diagram showing a second example of the display UI when the restoration error exceeds the predetermined threshold.
  • FIG. 12C is a diagram illustrating a third example of the display UI when the restoration error exceeds the predetermined threshold.
  • FIG. 12A is a diagram showing a first example of the display UI when the restoration error exceeds a predetermined threshold.
  • FIG. 12B is a diagram showing a second example of the display UI when the restoration error exceeds the predetermined threshold.
  • FIG. 12D is a diagram showing a fourth example of the display UI when the restoration error exceeds the predetermined threshold.
  • FIG. 13A is a diagram showing a first example of a display UI when recommending or performing some operation based on the estimated restoration error.
  • FIG. 13B is a diagram illustrating a second example of a display UI when recommending or performing some operation based on the estimated restoration error.
  • FIG. 13C is a diagram illustrating a third example of a display UI when recommending or performing some operation based on the estimated restoration error.
  • FIG. 13D is a diagram illustrating a fourth example of a display UI when recommending or performing some operation based on the estimated restoration error.
  • FIG. 13A is a diagram showing a first example of a display UI when recommending or performing some operation based on the estimated restoration error.
  • FIG. 13B is a diagram illustrating a second example of a display UI when recommending or performing some operation based on the estimated restoration error.
  • FIG. 13E is a diagram illustrating a fifth example of a display UI when recommending or performing some operation based on the estimated restoration error.
  • FIG. 14 is a diagram explaining that the half width of the transmission peak of the optical filter is
  • FIG. 15 is a diagram explaining that the half width of the transmission peak of the optical filter is
  • all or part of a circuit, unit, device, member or section, or all or part of a functional block in a block diagram is, for example, a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (large scale integration). ) may be performed by one or more electronic circuits.
  • An LSI or IC may be integrated on one chip, or may be configured by combining a plurality of chips.
  • functional blocks other than memory elements may be integrated on one chip.
  • LSIs or ICs may be called system LSIs, VLSIs (very large scale integration), or ULSIs (ultra large scale integration) depending on the degree of integration.
  • a FIpld Programmable Gate Array which is programmed after the LSI is manufactured, or a reconfigurable logic device that can reconfigure the connection relationships inside the LSI or set up the circuit partitions inside the LSI can also be used for the same purpose.
  • FPGA FIpld Programmable Gate Array
  • circuits, units, devices, members or parts can be executed by software processing.
  • the software is recorded on one or more non-transitory storage media, such as ROMs, optical discs, hard disk drives, etc., such that when the software is executed by a processor, the functions specified in the software are performed. It is executed by processors and peripherals.
  • a system or apparatus may include one or more non-transitory storage media on which software is recorded, a processor, and required hardware devices such as interfaces.
  • a compressed image in which spectral information is compressed is obtained by imaging light reflected by an object through a filter array having a plurality of optical filters arranged in a two-dimensional plane. is obtained.
  • spectral images for each of N wavelength bands (N is an integer of 4 or more) within the target wavelength band are obtained from the photographed compressed image by calculation based on the mask data of the filter array. is reconfigured. As a result, a hyperspectral image of the object can be reconstructed.
  • the target wavelength range is a wavelength range determined based on the upper and lower limits of the wavelength of light incident on the image sensor used for imaging.
  • the target wavelength range may be, for example, any range from the upper limit to the lower limit of the wavelengths to which the image sensor is sensitive, ie, the sensitivity wavelength range.
  • the wavelength range of interest may be part of the wavelength range of sensitivity of the image sensor if an object that absorbs and/or reflects light in the wavelength range of sensitivity is placed on the optical axis of the image sensor.
  • the target wavelength range may correspond to the wavelength range of data output from the image sensor, ie, the output wavelength range.
  • the wavelength resolution is the width of a wavelength band when a spectral image is generated for each wavelength band by reconstruction. For example, when generating a spectral image corresponding to a wavelength band with a width of 5 nm, the wavelength resolution is 5 nm. Similarly, when generating a spectral image corresponding to a wavelength band with a width of 20 nm, the wavelength resolution is 20 nm.
  • the mask data is data indicating the arrangement based on the spatial distribution of the transmittance of the filter array.
  • Data representing the spatial distribution of the transmittance of the filter array itself may be used as the mask data, or data obtained by performing a reversible calculation on the transmittance of the filter array may be used as the mask data.
  • reversible calculations refer to addition, subtraction, multiplication and division of constant values, power calculations, exponential calculations, logarithmic calculations, and gamma correction, for example.
  • the reversible calculation may be performed uniformly within the target wavelength band, or may be performed for each wavelength band described later.
  • the intensity of light transmitted through the filter array is two-dimensionally arranged in a wavelength band having a certain finite width within the target wavelength band. Observed as a matrix.
  • the wavelength range of interest may be, for example, 400 nm to 700 nm, and the wavelength range having a finite width may be, for example, 400 nm to 450 nm.
  • multiple matrices are generated.
  • Each of the plurality of matrices is data arranged two-dimensionally in the spatial direction.
  • Mask data is a general term for data that is obtained in a plurality of wavelength ranges and is two-dimensionally arranged in the spatial direction.
  • the wavelength range of 400 nm or more and 450 nm or less is defined as "a wavelength range having a certain finite width", but in terms of calculation, wavelengths are not distinguished within this wavelength range. That is, since only intensity information is recorded and used for calculation, only intensity is recorded and wavelength information is not saved when light of 420 nm or 430 nm is incident. For this reason, all wavelengths within this wavelength range are treated as the same wavelength for calculation purposes.
  • the spatial distribution of the transmittance of the filter array can be observed, for example, using a light source that outputs only specific wavelengths and an integrating sphere.
  • a light source that outputs only specific wavelengths and an integrating sphere.
  • only light with a wavelength of 400 nm or more and 450 nm or less is output from the light source, and the output light is detected through the filter array after being uniformly diffused by the integrating sphere.
  • an image is obtained in which, for example, the sensitivity of the image sensor and/or the aberration of the lens are superimposed on the spatial distribution of the transmittance of the filter array in the wavelength range of 400 nm or more and 450 nm or less.
  • the obtained image can be treated as a matrix.
  • the spatial distribution of the transmittance of the filter array can be obtained by applying corrections to the resulting image.
  • the resulting image can be interpreted as an image in which reversible calculations such as image sensor sensitivity and/or lens aberrations have been applied to the spatial distribution of transmittance of the filter array. Therefore, it is not necessary to correct the obtained image.
  • the transmittance cannot be changed discontinuously back and forth over a certain wavelength, and fluctuates with a finite rise and fall angle.
  • the upper and lower limits of the wavelength band can be defined by the wavelengths at which the transmittance is attenuated from its peak intensity.
  • a constant percentage can be, for example, 90%, 50%, or 10% of the peak intensity.
  • the mask data can be compressed in a lossless format such as PNG (Portable Network Graphics) or GIF (Graphics Interchange Format).
  • PNG Portable Network Graphics
  • GIF Graphics Interchange Format
  • the wavelength band is a partial wavelength range within the target wavelength range, and is a range of wavelengths treated as the same wavelength in the mask data.
  • a wavelength band can be a range of wavelengths having a certain width, called a "band".
  • a wavelength band can be, for example, a 50 nm wide wavelength band between 500 nm and 550 nm.
  • a collection of wavelength bands having a certain width is also referred to herein as a "waveband".
  • the wavelength band may be, for example, a 100 nm wide wavelength band obtained by summing a 50 nm wide wavelength band from 500 nm to 550 nm and a 50 nm wide wavelength band from 600 nm to 650 nm. Since the wavelength bands may be treated as the same wavelength in the mask data, it is not necessary to consider whether or not multiple wavelength bands are continuous.
  • a spectral image is a two-dimensional image output for each wavelength band as a result of restoration calculation. Since a spectral image is generated for each wavelength band, one corresponding spectral image is determined for a given wavelength band.
  • a spectral image may be output as a monochrome image.
  • a plurality of spectral images respectively corresponding to a plurality of wavelength bands may be output as three-dimensional array data in the spatial direction and wavelength direction.
  • the plurality of spectral images may be output as data in which a plurality of pixel values are arranged one-dimensionally. Each of the plurality of pixel values corresponds to a set of wavelength band and pixel.
  • header information including meta information such as spatial resolution and the number of wavelength bands may be attached to the plurality of spectral images and output.
  • a spectral image is also referred to herein as a restored image.
  • the restoration accuracy is the degree of divergence between the restored spectral image and the correct image.
  • Restoration accuracy can be expressed using various indices such as MSE (Mean Squared Error) or PSNR (Peak Signal-to-Noise Ratio).
  • MSE Mel Squared Error
  • PSNR Peak Signal-to-Noise Ratio
  • the method examines the wavelength dependence of a correct image using, for example, a bandpass filter that transmits only light of a specific wavelength, an object with a known transmission and/or reflection spectrum, and a laser with a known emission wavelength. That is.
  • Sparsity is the property that the elements that characterize the object are sparse in a certain direction, such as the spatial direction or the wavelength direction. Sparsity is ubiquitous in nature. By using sparsity, it is possible to efficiently acquire necessary information.
  • a technology that applies sparsity to the sensing field is called compressed sensing technology, and it is known that devices or systems can be efficiently constructed by compressed sensing technology. As disclosed in Patent Literature 1, applying the compressed sensing technology to a hyperspectral camera enables, for example, improved wavelength resolution, high resolution, multi-wavelength, and multi-wavelength video shooting.
  • An example of applying compressed sensing technology to a hyperspectral camera is as follows.
  • a filter array that transmits the reflected light and an image sensor that detects the light transmitted through the filter array are arranged on the optical path of the light reflected by the object.
  • the filter array has random transmission properties in spatial and/or wavelength directions.
  • the restoration processing of the hyperspectral image becomes possible.
  • the restoration process is performed by an estimation operation assuming the sparsity of the object, that is, by sparse reconstruction.
  • the normalization term can be, for example, the Discrete Cosine Transform (DCT), Wavelet Transform, Fourier Transform, or Total Variation (TV).
  • DCT Discrete Cosine Transform
  • TV Total Variation
  • the restoration of hyperspectral images by sparse reconstruction assumes that the information of the object is randomly sampled.
  • the spatial and wavelength randomness of the transmittance of the filter array affects the reconstruction accuracy of the hyperspectral image.
  • a filter that is not spatially random is used, the amount of spatial information is insufficient, and a hyperspectral image is restored with missing spatial information.
  • wavelength information is insufficient, and wavelength resolution is reduced in restoring a hyperspectral image.
  • the average value ⁇ 1 of the plurality of transmittances corresponding to the plurality of filters included in the filter array for the light of the first wavelength band, . . . , the filter array for the light of the Nth wavelength band Patent Document 2.
  • a method of evaluating randomness in the wavelength direction based on correlation coefficients for two wavelength bands is disclosed (Japanese Patent No. 6478579).
  • a signal processing method estimates the reconstruction error of a hyperspectral image based on wavelength resolution. Signal processing methods, programs, and systems according to embodiments of the present disclosure will be described below.
  • the method according to the first item is a signal processing method executed by a computer.
  • the method includes obtaining designation information that designates N wavelength bands respectively corresponding to N spectral images (N is an integer equal to or greater than 4) generated based on compressed images in which spectral information is compressed. , estimating a restoration error of each of the N spectral images based on the designation information, and outputting a signal indicating the restoration error.
  • the restoration error of the hyperspectral image can be estimated.
  • the method according to the second item is the method according to the first item, wherein the compressed image is generated by imaging using a filter array including a plurality of types of optical filters having different spectral transmittances and an image sensor. .
  • the method further includes obtaining mask data reflecting the spatial distribution of the spectral transmittance of the filter array for the N wavelength bands. Estimating the restoration error includes estimating the restoration error based on the designation information and the mask data.
  • the restoration error of the hyperspectral image can be estimated based on the specified information and the mask data.
  • the method according to the third item is the method according to the second item, wherein the N wavelength bands include an i-th wavelength band and a j-th wavelength band.
  • Estimating the restoration error reflects the spatial distribution of transmittance of the filter array corresponding to the i-th wavelength band among the N wavelength bands from the mask data based on the designation information. extracting the i-th mask data thus obtained and the j-th mask data reflecting the spatial distribution of transmittance of the filter array corresponding to the j-th wavelength band; and extracting the i-th mask data. estimating the reconstruction error based on a correlation coefficient with the j-th mask data.
  • the restoration error can be estimated based on the correlation coefficient of the mask data.
  • the method according to the fourth item in the method according to the second or third item, further includes displaying a GUI for allowing the user to input the specified information on a display connected to the computer.
  • the user can input the specified information via the GUI.
  • the method according to the fifth item further includes displaying a warning on the display when the restoration error exceeds a predetermined threshold in the method according to the fourth item.
  • the method according to the sixth item in the method according to the fifth item, further includes displaying on the display a GUI for causing the user to re-input the specified information.
  • the user can re-input the specified information via the GUI when the restoration error exceeds the predetermined threshold.
  • a method according to a seventh item is the method according to the fifth item, wherein the N wavelength bands are changed based on the mask data so that the restoration error is equal to or less than the predetermined threshold. and causing the display to display the modified N wavelength bands.
  • the user can know the N wavebands after the change.
  • the method according to the eighth item is the method according to the fourth item, comprising: generating the N spectral images based on the compressed image; and displaying the N spectral images on the display. and emphasizing and displaying at least one spectral image having a restoration error exceeding a predetermined threshold among the N spectral images.
  • This method allows the user to know at least one spectroscopic image that has a reconstruction error exceeding a predetermined threshold.
  • the method according to the ninth item in the method according to any one of the fourth to eighth items, further includes displaying the restoration error on the display.
  • the method according to the tenth item is the method according to any one of the first to ninth items, wherein the N wavelength bands include two discontinuous wavelength bands adjacent to each other.
  • the restoration error of the hyperspectral image can be estimated.
  • the method according to the eleventh item in the method according to the first item, further includes obtaining data indicating the relationship between the wavelength band and the restoration error. Estimating the reconstruction error includes estimating the reconstruction error for each of the N spectral images based on the data.
  • the restoration error of the hyperspectral image can be estimated based on the data showing the relationship between the wavelength band and the restoration error.
  • the program related to the twelfth item is a program executed by a computer.
  • the program provides, to the computer, designation information designating N wavelength bands respectively corresponding to N spectral images (N is an integer equal to or greater than 4) generated based on compressed images in which spectral information is compressed. obtaining, estimating a restoration error of each of the N spectral images based on the designation information, and outputting a signal indicating the restoration error.
  • This program makes it possible to estimate the restoration error of hyperspectral images.
  • the system according to the thirteenth item is a system including a signal processing circuit.
  • the signal processing circuit acquires designation information designating N wavelength bands respectively corresponding to N spectral images (N is an integer equal to or greater than 4) generated based on compressed images in which spectral information is compressed. , based on the specified information, estimate the restoration error of each of the N spectral images, and output a signal indicating the restoration error.
  • This system can estimate the reconstruction error of the hyperspectral image.
  • FIG. 1A is a diagram schematically showing the configuration of an imaging system according to an exemplary embodiment of the present disclosure.
  • the imaging system shown in FIG. 1A includes an imaging device 100 and a processing device 200 .
  • the imaging device 100 has a configuration similar to that of the imaging device disclosed in Japanese Unexamined Patent Application Publication No. 2002-200012.
  • the imaging device 100 includes an optical system 140 , a filter array 110 and an image sensor 160 .
  • the optical system 140 and the filter array 110 are arranged on the optical path of the light reflected by the object 70 which is the subject. Filter array 110 is placed between optical system 140 and image sensor 160 .
  • FIG. 1A illustrates an apple as an example of the object 70 .
  • Object 70 is not limited to an apple, and can be any object that can be inspected.
  • the image sensor 160 generates compressed image 120 data in which the information of multiple wavelength bands is compressed as a two-dimensional monochrome image.
  • the processing device 200 Based on the data of the compressed image 120 generated by the image sensor 160, the processing device 200 generates image data for each of the multiple wavelength bands included in the target wavelength range.
  • a plurality of image data corresponding to the plurality of wavelength bands thus generated are referred to herein as "hyperspectral image data".
  • the number of wavelength bands included in the target wavelength band be N (N is an integer equal to or greater than 4).
  • spectral image 220W 1 a plurality of image data corresponding to a plurality of wavelength bands to be generated are referred to as spectral image 220W 1 , spectral image 220W 2 , .
  • image 220 a signal representing an image, that is, a set of signals representing pixel values of pixels may be simply referred to as an "image".
  • the filter array 110 has a plurality of translucent optical filters arranged in rows and columns.
  • the multiple optical filters include multiple types of optical filters having different spectral transmittances, ie, wavelength dependences of transmittances.
  • the filter array 110 modulates the intensity of incident light for each wavelength and outputs the modulated light. This process by filter array 110 is referred to herein as "encoding.”
  • the filter array 110 is arranged near or directly above the image sensor 160 .
  • “near” means that the image of the light from the optical system 140 is close enough to be formed on the surface of the filter array 110 in a somewhat clear state.
  • “Directly above” means that they are so close to each other that there is almost no gap. Filter array 110 and image sensor 160 may be integrated.
  • the optical system 140 includes at least one lens. Although optical system 140 is shown as a single lens in FIG. 1A, optical system 140 may be a combination of multiple lenses. Optical system 140 forms an image on the imaging surface of image sensor 160 via filter array 110 .
  • the image sensor 160 is a monochrome photodetector having a plurality of two-dimensionally arranged photodetection elements (also referred to as "pixels" in this specification).
  • the image sensor 160 can be, for example, a CCD (Charge-Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor) sensor, or an infrared array sensor.
  • the photodetector includes, for example, a photodiode.
  • Image sensor 160 does not necessarily have to be a monochrome type sensor.
  • R/G/B optical filters an optical filter that transmits red light, an optical filter that transmits green light, and an optical filter that transmits blue light
  • R/G/B/IR optical filters Filter optical filter that transmits red light, optical filter that transmits green light, optical filter that transmits infrared light
  • optical filter of R/G/B/W optical filter that transmits red light, green light
  • a color type sensor having an optical filter that transmits white light and an optical filter that transmits white light may be used. By using a color-type sensor, the amount of information about wavelengths can be increased, and the reconstruction accuracy of the hyperspectral image 220 can be improved.
  • the target wavelength range may be arbitrarily determined, and is not limited to the visible wavelength range, and may be an ultraviolet, near-infrared, mid-infrared, or far-infrared wavelength range.
  • the processing device 200 is a computer that includes a processor and a storage medium such as memory. Based on the compressed image 120 acquired by the image sensor 160, the processing device 200 generates data of the spectral image 220W1 corresponding to the wavelength band W1 , data of the spectral image 220W2 corresponding to the wavelength band W2 , . , generate data for spectral images 220WN corresponding to wavelength bands WN .
  • FIGS. 1B to 1D are diagrams schematically illustrating other configurations of imaging systems according to exemplary embodiments of the present disclosure.
  • the filter array 110 is spaced apart from the image sensor 160 in the imaging device 100 .
  • the filter array 110 is positioned between the optical system 140 and the image sensor 160 and away from the image sensor 160 .
  • filter array 110 is positioned between object 70 and optics 140 .
  • imaging device 100 comprises optical systems 140A and 140B with filter array 110 disposed therebetween.
  • an optical system including one or more lenses may be arranged between filter array 110 and image sensor 160 .
  • FIG. 2A is a diagram schematically showing an example of the filter array 110.
  • FIG. Filter array 110 has a plurality of regions arranged in a two-dimensional plane. In this specification, each of the plurality of regions may be referred to as a "cell".
  • An optical filter having an individually set spectral transmittance is arranged in each region.
  • the spectral transmittance is represented by a function T( ⁇ ), where ⁇ is the wavelength of incident light.
  • the spectral transmittance T( ⁇ ) can take a value of 0 or more and 1 or less.
  • the filter array 110 has 48 rectangular regions arranged in 6 rows and 8 columns. This is only an example and in actual applications more areas may be provided. The number may be about the same as the number of pixels of the image sensor 160, for example. The number of optical filters included in the filter array 110 is determined depending on the application, for example, within the range of tens to tens of millions.
  • FIG. 2B is a diagram showing an example of the spatial distribution of the light transmittance of each of the wavelength band W 1 , the wavelength band W 2 , . . . , the wavelength band WN included in the target wavelength range.
  • the difference in shading of each region represents the difference in transmittance.
  • a lighter area has a higher transmittance, and a darker area has a lower transmittance.
  • the spatial distribution of transmittance differs depending on the wavelength band.
  • the mask data of the filter array 110 is data indicating the spatial distribution of the transmittance of the filter array 110 for each of the plurality of wavelength bands included in the target wavelength band.
  • FIG. 2C and 2D are diagrams respectively showing examples of spectral transmittance of area A1 and area A2 included in filter array 110 shown in FIG. 2A.
  • the spectral transmittance of the area A1 and the spectral transmittance of the area A2 are different from each other.
  • the spectral transmittance of filter array 110 differs depending on the region. However, it is not necessary that all regions have different spectral transmittances.
  • filter array 110 at least some of the plurality of regions have different spectral transmittances.
  • the filter array 110 has two or more optical filters with different spectral transmittances. That is, filter array 110 includes a plurality of types of optical filters having different transmission spectra.
  • the number of spectral transmittance patterns in the plurality of regions included in the filter array 110 can be equal to or greater than the number N of wavelength bands included in the wavelength range of interest.
  • the filter array 110 may be designed such that more than half of the regions have different spectral transmittances.
  • the filter array 110 has a plurality of optical filters on the order of 10 6 to 10 7 , wherein the plurality of optical filters is four or more randomly arranged optical filters. may contain
  • the target wavelength band W can be set in various ranges depending on the application.
  • the target wavelength range W can be, for example, a visible light wavelength range of about 400 nm or more and about 700 nm or less, a near infrared wavelength range of about 700 nm or more and about 2500 nm or less, or a near ultraviolet wavelength range of about 10 nm or more and about 400 nm or less.
  • the target wavelength range W may be a radio wave range such as mid-infrared or far-infrared.
  • the wavelength range used is not limited to the visible light range.
  • light means not only visible light (wavelength of about 400 nm or more and about 700 nm or less), but also ultraviolet light (wavelength of about 10 nm or more and about 400 nm or less) and infrared light (wavelength of about 700 nm or more and about 1 mm or less).
  • light means not only visible light (wavelength of about 400 nm or more and about 700 nm or less), but also ultraviolet light (wavelength of about 10 nm or more and about 400 nm or less) and infrared light (wavelength of about 700 nm or more and about 1 mm or less).
  • N is an arbitrary integer of 4 or more, and the wavelength bands obtained by equally dividing the target wavelength band W into N are designated as wavelength band W 1 , wavelength band W 2 , . . . , and wavelength band W N.
  • a plurality of wavelength bands included in the target wavelength band W may be set arbitrarily. For example, different wavelength bands may have different bandwidths. There may be gaps or overlaps between adjacent wavelength bands. In the example shown in FIG. 3B, the wavelength bands have different bandwidths and there is a gap between two adjacent wavelength bands. In this way, the plurality of wavelength bands may be different from each other, and the method of determination is arbitrary.
  • FIG. 4A is a diagram for explaining spectral transmittance characteristics in a certain region of the filter array 110.
  • the spectral transmittance has multiple maxima (ie, maxima P1, . . . , maxima P5) and multiple minima for wavelengths within the wavelength range W of interest.
  • maxima P1, . . . , maxima P5 maxima P5
  • minima P5 multiple minima for wavelengths within the wavelength range W of interest.
  • normalization is performed so that the maximum value of the light transmittance within the target wavelength range W is 1 and the minimum value is 0.
  • the spectral transmittance has maximum values in wavelength bands such as the wavelength band W 2 and the wavelength band W N ⁇ 1 .
  • the spectral transmittance of each region has a maximum value in at least two of the wavelength bands W1 to WN .
  • maximum value P1, maximum value P3, maximum value P4, and maximum value P5 are greater than or equal to 0.5.
  • the filter array 110 transmits a large amount of components in a certain wavelength band and transmits less components in other wavelength bands among the incident light. For example, for light in k wavelength bands out of N wavelength bands, the transmittance is greater than 0.5, and for light in the remaining Nk wavelength bands, the transmittance is 0.5. can be less than k is an integer that satisfies 2 ⁇ k ⁇ N. If the incident light is white light that evenly includes all wavelength components of visible light, the filter array 110 converts the incident light into light having a plurality of discrete intensity peaks with respect to wavelength. , and superimposes and outputs these multi-wavelength lights.
  • FIG. 4B is a diagram showing, as an example, the result of averaging the spectral transmittance shown in FIG. 4A for each wavelength band W 1 , wavelength band W 2 , . . . , wavelength band WN .
  • the averaged transmittance is obtained by integrating the spectral transmittance T( ⁇ ) for each wavelength band and dividing by the bandwidth of that wavelength band.
  • the transmittance value averaged for each wavelength band is defined as the transmittance in that wavelength band.
  • the transmittance is remarkably high in the wavelength region having the maximum value P1, the wavelength region having the maximum value P3, and the wavelength region having the maximum value P5.
  • the transmittance exceeds 0.8 in the wavelength region with the maximum value P3 and the wavelength region with the maximum value P5.
  • a grayscale transmittance distribution is assumed in which the transmittance of each region can take any value between 0 and 1 inclusive.
  • a binary-scale transmittance distribution may be employed in which the transmittance of each region can take either a value of approximately 0 or approximately 1.
  • each region transmits a majority of light in at least two wavelength bands of the plurality of wavelength bands included in the wavelength band of interest and transmits a majority of light in the remaining wavelength bands. don't let Here, "most" refers to approximately 80% or more.
  • Part of the total cells may be replaced with transparent areas.
  • Such a transparent region transmits light in all wavelength bands W1 to WN included in the target wavelength range W with a similarly high transmittance, for example, a transmittance of 80% or more.
  • the plurality of transparent regions may be arranged in a checkerboard, for example. That is, in the two directions in which the plurality of regions in the filter array 110 are arranged, the regions having different transmittances depending on the wavelength and the transparent regions can be alternately arranged.
  • Such data indicating the spatial distribution of the spectral transmittance of the filter array 110 is obtained in advance based on design data or actual measurement calibration, and stored in a storage medium included in the processing device 200. This data is used for arithmetic processing to be described later.
  • the filter array 110 can be constructed using, for example, a multilayer film, an organic material, a diffraction grating structure, or a microstructure containing metal.
  • a multilayer film for example, a dielectric multilayer film or a multilayer film containing a metal layer can be used.
  • each cell is formed so that at least one of the thickness, material, and stacking order of each multilayer film is different. Thereby, different spectral characteristics can be realized depending on the cell.
  • a multilayer film a sharp rise and fall in spectral transmittance can be realized.
  • a structure using an organic material can be realized by differentiating the pigment or dye contained in each cell or by laminating different materials.
  • a configuration using a diffraction grating structure can be realized by providing diffraction structures with different diffraction pitches or depths for each cell.
  • a microstructure containing metal it can be produced using spectroscopy due to the plasmon effect.
  • the processing device 200 reconstructs a multi-wavelength hyperspectral image 220 based on the compressed image 120 output from the image sensor 160 and the spatial distribution characteristics of transmittance for each wavelength of the filter array 110 .
  • multiple wavelengths means a wavelength range greater than the three color wavelength ranges of RGB acquired by a normal color camera, for example.
  • the number of wavelength bands may be on the order of 4 to 100, for example.
  • the number of wavelength regions is called the number of bands. Depending on the application, the number of bands may exceed 100.
  • the data to be obtained is the data of the hyperspectral image 220, and the data is assumed to be f.
  • f is data obtained by integrating image data f 1 corresponding to wavelength band W 1 , f 2 corresponding to wavelength band W 2 , . . . , f N corresponding to wavelength band W N. be.
  • the horizontal direction of the image is the x direction
  • the vertical direction of the image is the y direction.
  • the number of pixels in the x direction of the image data to be obtained is v and the number of pixels in the y direction is u, each of image data f 1 , image data f 2 , .
  • the data f is three-dimensional data with the number of elements v ⁇ u ⁇ N.
  • This three-dimensional data is called "hyperspectral image data" or "hyperspectral datacube".
  • the data g of the compressed image 120 obtained by being encoded and multiplexed by the filter array 110 is two-dimensional data including vxu pixel values corresponding to vxu pixels.
  • Data g can be represented by the following equation (1).
  • Equation (1) each of f 1 , f 2 , . Therefore, the vector on the right side is a one-dimensional vector of v ⁇ u ⁇ N rows and 1 column.
  • the data g of the compressed image 120 is converted to a one-dimensional vector of v ⁇ u rows and 1 column.
  • Matrix H represents a transform that encodes and intensity -modulates each component f 1 , f 2 , . Therefore, H is a matrix with vxu rows and vxuxN columns.
  • the processing device 200 utilizes the redundancy of the images included in the data f and obtains the solution using the method of compressed sensing. Specifically, the desired data f is estimated by solving the following equation (2).
  • f' represents the estimated data of f.
  • the first term in parentheses in the above formula represents the amount of deviation between the estimation result Hf and the acquired data g, ie, the so-called residual term.
  • the sum of squares is used as the residual term here, the absolute value or the square root of the sum of squares may be used as the residual term.
  • the second term in parentheses is the regularization or stabilization term. Equation (2) means finding f that minimizes the sum of the first and second terms.
  • the processing unit 200 can converge the solution by recursive iterative computation and calculate the final solution f'.
  • the first term in parentheses in formula (2) means an operation for obtaining the sum of squares of the difference between the acquired data g and Hf obtained by transforming f in the estimation process using the matrix H.
  • the second term, ⁇ (f), is a constraint on the regularization of f, and is a function that reflects the sparse information of the estimated data. This function has the effect of smoothing or stabilizing the estimated data.
  • the regularization term can be represented by, for example, the Discrete Cosine Transform (DCT), Wavelet Transform, Fourier Transform, or Total Variation (TV) of f. For example, when the total variation is used, it is possible to acquire stable estimated data that suppresses the influence of noise in the observed data g.
  • the sparsity of the object 70 in the spatial direction of each regularization term depends on the texture of the object 70 .
  • a regularization term may be chosen such that the texture of the object 70 is sparser in the spatial direction of the regularization term.
  • multiple regularization terms may be included in the operation.
  • ⁇ is a weighting factor. The larger the weighting factor ⁇ , the larger the reduction amount of redundant data and the higher the compression rate. The smaller the weighting factor ⁇ , the weaker the convergence to the solution.
  • the weighting factor ⁇ is set to an appropriate value with which f converges to some extent and does not become over-compressed.
  • the image encoded by the filter array 110 is obtained in a blurred state on the imaging surface of the image sensor 160 . Therefore, the hyperspectral image 220 can be reconstructed by storing the blur information in advance and reflecting the blur information on the matrix H described above.
  • blur information is represented by a point spread function (PSF).
  • PSF is a function that defines the degree of spread of a point image to peripheral pixels. For example, when a point image corresponding to one pixel in an image spreads over a region of k ⁇ k pixels around that pixel due to blurring, the PSF is a coefficient group that indicates the effect on the brightness of each pixel in that region. can be defined as a matrix.
  • the hyperspectral image 220 can be reconstructed by reflecting the blurring effect of the PSF-encoded pattern on the matrix H.
  • FIG. The position where the filter array 110 is placed is arbitrary, but a position can be selected where the coding pattern of the filter array 110 is not too diffuse and disappears.
  • the hyperspectral image 220 can be restored based on the compressed image 120 generated by imaging using the filter array 110 and image sensor 160 .
  • the processor 200 applies a compressed sensing algorithm for all bands contained in the wavelength range of interest to generate and output a hyperspectral image 220 .
  • the processing device 200 causes the image sensor 160 to detect the light reflected by the object 70 via the filter array 110, thereby generating and outputting an image signal.
  • the processing device 200 further generates spectral images 220W1 to 200WN based on the image signal and N mask data corresponding to the N wavelength bands obtained from the filter array 110. Output.
  • the N mask data are first mask data H 1 , . . . , i-th mask data H i , . It may be N.
  • H (H 1 . . . H i . . . H j .
  • the i-th mask data H i and the j-th mask data H j are exemplified in Equation (4).
  • FIG. 5A is a graph showing transmission spectra of two optical filters included in a certain filter array 110.
  • FIG. ⁇ T 5 shown in FIG. 5A represents the difference in average transmittance of the two optical filters in a 5 nm wide wavelength band between 450 nm and 455 nm.
  • ⁇ T 20 shown in FIG. 5A, represents the difference in average transmittance of the two optical filters in a 20 nm wide wavelength band between 450 nm and 470 nm.
  • FIG. 5A is a graph showing transmission spectra of two optical filters included in a certain filter array 110.
  • FIG. ⁇ T 5 shown in FIG. 5A represents the difference in average transmittance of the two optical filters in a 5 nm wide wavelength band between 450 nm and 455 nm.
  • ⁇ T 20 shown in FIG. 5A, represents the difference in average transmittance of the two optical filters in a 20 nm wide wavelength band between 450 nm and 470 nm.
  • ⁇ T 5 > ⁇ T 20 .
  • the transmittance of the optical filter is averaged in the wavelength direction as the width of the wavelength band, that is, the wavelength resolution increases.
  • the spatial distribution of the transmittance of the filter array 110 is uniform for a certain wavelength band. approach a similar distribution. As a result, the randomness in the spatial direction of the mask data of the filter array 110 is reduced.
  • FIG. 5B is a graph showing the relationship between the randomness in the spatial direction of the mask data of a certain filter array 110 and the wavelength resolution ⁇ .
  • an index of randomness in the spatial direction as disclosed in Patent Document 2, an average value ⁇ 1 of a plurality of transmittances corresponding to a plurality of optical filters included in the filter array 110 for light in the first wavelength band. , . . . , the standard deviation ⁇ of the average value ⁇ N of a plurality of transmittances corresponding to the plurality of optical filters included in the filter array 110 for the light of the Nth wavelength band is used.
  • the wavelength resolution ⁇ increases, the randomness of the mask data in the spatial direction decreases.
  • Patent Document 2 since a decrease in randomness in the spatial direction increases the restoration error of the hyperspectral image, an increase in the wavelength resolution ⁇ increases the restoration error of the hyperspectral image.
  • the entire disclosure of US Pat. A method for calculating the standard deviation ⁇ disclosed in Patent Document 2 is shown below.
  • ⁇ i be the average transmittance of the plurality of optical filters included in the filter array 110 for the light in the i-th wavelength band (i is an integer of 1 to N) included in the N wavelength bands.
  • the filter array 110 includes M (M is an integer of 4 or more) optical filters, and the i-th wavelength band of the j-th (j is an integer of 1 or more and M or less) optical filter included in the M optical filters
  • Tij be the transmittance for light.
  • the transmittance average value ⁇ i is represented by the following equation (5).
  • the wavelength range of interest includes N wavelength bands.
  • the N wavelength bands are assumed to be numbered in ascending order of center wavelength. The shorter the center wavelength, the smaller the number. Longest order may be used instead of shortest order. However, such wavelength band numbering is not required.
  • the randomness of the mask data in the wavelength direction is evaluated using the correlation coefficient r ij between the i-th mask data for the i-th wavelength band and the j-th mask data for the j-th wavelength band.
  • i and j are integers of 1 or more and N or less.
  • the image sensor 160 detects only light corresponding to a certain wavelength band among the N wavelength bands, and outputs mask data corresponding to the pixel value distribution corresponding to the wavelength band. In that way, the above i-th and j-th mask data can be obtained.
  • the image sensor 160 detects only light corresponding to a certain wavelength band, light having a wavelength shifted by several nanometers from the wavelength band corresponding to the certain wavelength band may be incident.
  • the correlation coefficient r ij is represented by the following equation (3) as a secondary correlation coefficient.
  • the correlation coefficient r ij shown in Equation (3) is an index indicating the degree of similarity between the mask data of wavelength band i and the mask data of wavelength band j.
  • the higher the similarity the closer the correlation coefficient r ij to 1, and 1 for a perfect match.
  • the lower the similarity the closer the correlation coefficient r ij is to 0, which is 0 for complete lack of correlation.
  • the correlation coefficient r ij shown in Equation (3) is the i-th mask data corresponding to the i-th wavelength band, that is, the v ⁇ u ⁇ v ⁇ u components contained in the matrix H i , the j-th wavelength It is calculated based on the v ⁇ u ⁇ v ⁇ u elements contained in the j-th mask data corresponding to the band, that is, the matrix H j .
  • i mn is the (m, n) component contained in the i-th mask data H i , that is, the matrix H i .
  • j mn is the (m, n) component contained in the j-th mask data H j , ie, the matrix H j .
  • r ij (i ⁇ j) represents the similarity between the i-th mask data H j corresponding to the wavelength band i and the j-th mask data H j corresponding to the wavelength band j, and restores the wavelength resolution and hyperspectral image. Contributes to accuracy.
  • r ij r ji . If a plurality of wavelength bands are numbered in ascending order of central wavelength, then in matrix R the correlation coefficients r ij are arranged from left to right and top to bottom in ascending order of central wavelength of the wavelength bands.
  • the i-th mask data H i may be interpreted as indicating the transmittance distribution of the filter array 110 for light in the i-th wavelength band.
  • the j-th mask data Hj may be interpreted as indicating the transmittance distribution of the filter array 110 for light in the j-th wavelength band.
  • the i-th mask data H i that is, the matrix H i may be a diagonal matrix.
  • the (1, 1 ) component i11 included in the matrix Hi is the transmittance of the first optical filter included in the filter array 110 for light in the i-th wavelength band
  • the (2, 2 ) component i 22 included in the matrix Hi is the transmittance of the second optical filter included in the filter array 110 for light in the i-th wavelength band
  • the (v ⁇ u, v ⁇ u) component i (v ⁇ u)(v ⁇ u) included in the matrix Hi is the i-th optical filter of the (v ⁇ u)-th optical filter included in the filter array 110. It may be interpreted as indicating the transmittance for light in the wavelength band.
  • the j-th mask data H j that is, the matrix H j may be a diagonal matrix.
  • the (1, 1) component j 11 included in the matrix H j is the transmittance of the first optical filter included in the filter array 110 for light in the j-th wavelength band;
  • the (2, 2) component j22 included in the matrix Hj is the transmittance of the second optical filter included in the filter array 110 for light in the j-th wavelength band, .
  • the (v ⁇ u, v ⁇ u) component j (v ⁇ u)(v ⁇ u) included in the matrix H j is the j-th (v ⁇ u) optical filter included in the filter array 110 . It may be interpreted as indicating the transmittance for light in the wavelength band.
  • i 0 ( i 11 + . . . +i (v ⁇ u)(v ⁇ u) )/(v ⁇ u ⁇ v ⁇ u) may be interpreted as the average transmittance for light in the i-th wavelength bands corresponding to the optical filters included in the filter array 110 .
  • Crosstalk between pixels (p, q) and pixels (r, s) of the image sensor 160 at the time of actual measurement calibration when acquiring information about the matrix H, and the image sensor 160 when the end user captures the subject 70 pixel (p, q) and pixel (r, s) are determined to be the same (1 ⁇ p, r ⁇ v, 1 ⁇ q, s ⁇ u, pixel ( p, q) ⁇ pixel (r, s)).
  • Whether or not the crosstalk conditions described above are satisfied may be determined in consideration of the imaging environment including the optical lens used for imaging, and the image quality of each restored image is determined by the end user. It may be determined by considering whether the purpose can be achieved.
  • FIG. 6 is a graph showing transmission spectra of optical filters included in a certain filter array 110.
  • the average transmittance of the optical filter for the wavelength band of 440 nm or more and 460 nm or less and the wavelength band of 460 nm or more and 480 nm or less Let ⁇ T 20 be the difference in average transmittance of the optical filter with respect to .
  • ⁇ T 20 be the difference in average transmittance of the optical filter with respect to .
  • the average transmittance of the optical filter for the wavelength band of 455 nm or more and 460 nm or less and the wavelength band of 460 nm or more and 465 nm or less ⁇ T 5 is the difference in the average transmittance of the optical filter with respect to .
  • the difference in average transmittance between two wavelength bands adjacent to each other in an optical filter depends on the wavelength resolution. Although different depending on the transmission characteristics of the optical filter, the following can generally be said. Assuming that the transmission peak of the optical filter is approximately represented by the Lorentzian function, if the wavelength resolution is about twice the half width of the transmission peak of the optical filter, the average transmittance in two adjacent wavelength bands is difference is almost maximum. On the other hand, as the wavelength resolution becomes excessively wide, such as 3 times or more, or as excessively narrow as 0.5 times or less, compared with the half width of the transmission peak of the optical filter, The difference in average transmittance in the wavelength band becomes smaller.
  • the half width of the transmission peak of the optical filter may be
  • FIG. 14 is a diagram explaining that the half width of the transmission peak of the optical filter is
  • the vertical axis of the graph shown in FIG. 14 represents the transmittance of the optical filter, and the horizontal axis of the graph shown in FIG. 14 represents the wavelength.
  • ⁇ 1 is the wavelength corresponding to T/2
  • ⁇ 2 is the wavelength corresponding to T/2
  • T is the peak transmittance of the optical filter.
  • FIG. 15 is a diagram explaining that the half width of the transmission peak of the optical filter is
  • the vertical axis of the graph shown in FIG. 15 represents the transmittance of the optical filter, and the horizontal axis of the graph shown in FIG. 15 represents the wavelength.
  • ⁇ 3 is the wavelength corresponding to (T ⁇ T1)/2
  • ⁇ 4 is the wavelength corresponding to (T ⁇ T2)/2
  • T is the maximum transmittance of the optical filter
  • T1 is adjacent to the maximum T.
  • the first local minimum, T2, is the second local minimum adjacent to the local maximum T.
  • a sufficiently small r ij (i ⁇ j) of the matrix R is, for example , 0.8 or less.
  • FIG. 7A is a graph showing the correlation coefficient, the spectrum of the correct image, and the spectrum of the restored image when a certain filter array 110 is used to restore hyperspectral images for 100 wavelength bands within the target wavelength band.
  • the spectrum of the true image shows an intensity of 1 in the 50th wavelength band and an intensity of zero in the remaining 99 wavelength bands.
  • the intensity in each wavelength band of the correct image is a value obtained by dividing the average value of the intensity of all pixels included in the correct image by the maximum observable intensity (intensity 255 in an 8-bit image).
  • An intensity of 1 corresponds to white and an intensity of zero corresponds to black.
  • the solid line shown in FIG. 7A represents the spectrum of the correct image, the black circles represent the spectrum of the restored image, and the white circles represent the correlation coefficients.
  • the spectrum of the correct image shows non-zero intensity only in the 50th wavelength band
  • the spectrum of the reconstructed image shows non-zero intensity not only in the 50th wavelength band, but also in its surrounding bands.
  • the intensity in each wavelength band of the restored image is the average of the intensities of all pixels included in the restored image.
  • the reason why the spectrum of the reconstructed image exhibits such intensity is that the mask data for the 50th wavelength band and the mask data for the surrounding wavelength bands are similar, as is apparent from the correlation function shown in FIG. 7A. This is because As a result, the intensity that should be assigned to the 50th wavelength band is erroneously assigned to the surrounding wavelength bands as well.
  • FIG. 7B is a graph plotting the relationship between correlation coefficients and restoration errors for 99 wavelength bands other than the 50th wavelength band from the results shown in FIG. 7A.
  • the intensity of the restored image is the restoration error. That is, when the average pixel value of the 8-bit restored image is x, the restoration error is x/255 ⁇ 100(%). If the correlation coefficient is 0.8 or less, the reconstruction error is 3% or less. On the other hand, when the correlation coefficient is 0.8 or more, the restoration error increases rapidly as the correlation coefficient increases. For example, when the correlation coefficient is 0.9, the restoration error is about 7%.
  • a sharp increase in restoration error means that mask data having correlation coefficients of 0.8 or more strongly influence each other's calculation results.
  • the spectrum of the correct reconstructed image should show zero intensity in wavelength bands other than the 50th wavelength band.
  • the mask data of the 50th wavelength band and the surrounding wavelength bands influence each other, so that the spectrum of the reconstructed image exhibits an intensity of about 0.07 in the surrounding wavelength bands.
  • the similarity of mask data in two wavelength bands can be calculated based on the correlation coefficient.
  • mask data having a correlation coefficient of 0.8 or more are similar to each other, and influence each other's calculation results.
  • changing the wavelength resolution may reduce the randomness in the spatial direction and wavelength direction of the mask data of the filter array 110, and as a result, the restoration error of the hyperspectral image may increase. Since the restoration error of the hyperspectral image depends on the wavelength resolution, it becomes possible to estimate the approximate restoration error for each wavelength band by determining the wavelength resolution.
  • FIG. 8A is a block diagram schematically showing a first example of the system according to this embodiment.
  • the system shown in FIG. 8A comprises a processing device 200 and a display 330 connected to the processing device 200.
  • FIG. 8A is a block diagram schematically showing a first example of the system according to this embodiment.
  • the system shown in FIG. 8A comprises a processing device 200 and a display 330 connected to the processing device 200.
  • FIG. 8A is a block diagram schematically showing a first example of the system according to this embodiment.
  • the system shown in FIG. 8A comprises a processing device 200 and a display 330 connected to the processing device 200.
  • the processing device 200 includes a signal processing circuit 250 and a memory 210 for recording mask data of the filter array 110 .
  • Mask data for filter array 110 may be distributed via a server.
  • Memory 210 also stores computer programs executed by processors included in signal processing circuit 250 .
  • Signal processing circuit 250 may be an integrated circuit comprising a processor such as a CPU or GPU, for example.
  • Memory 210 may be, for example, RAM and ROM.
  • the display 330 displays an input user interface (UI) 400 for allowing the user to input restoration conditions and imaging conditions.
  • Input UI 400 is displayed as a graphical user interface (GUI). It can also be said that the information shown on the input UI 400 is displayed on the display 330 .
  • GUI graphical user interface
  • the input UI 400 may include input devices such as a keyboard and mouse.
  • the input UI 400 may be realized by a device capable of both input and output, such as a touch screen. In that case, the touch screen may also function as the display 330 .
  • the restoration conditions are, for example, the wavelength resolution and restoration parameters used to estimate the restoration error.
  • the restoration parameter can be, for example, the weight ⁇ of the evaluation function represented by Equation (2) and the number of iterations when minimizing the evaluation function by iterative calculation.
  • the imaging conditions are, for example, the exposure time and frame rate at the time of imaging.
  • the restoration conditions may be set by the user along with the imaging conditions. Alternatively, some of the restoration conditions may be set in advance by the manufacturer, and the remaining restoration conditions may be set by the user.
  • the signal processing circuit 250 estimates the restoration error based on the set wavelength resolution and mask data.
  • FIG. 8B is a flow chart schematically showing an example of operations performed by the signal processing circuit 250 in the system shown in FIG. 8A.
  • the signal processing circuit 250 performs the operations of steps S101 to S105 shown in FIG. 8B.
  • the signal processing circuit 250 causes the display 330 to display the input UI 400 .
  • the user inputs specification information specifying N wavelength bands respectively corresponding to N spectroscopic images (N is an integer equal to or greater than 4) to the input UI 400 .
  • the designation information includes information indicating the wavelength resolution corresponding to each of the N spectral images.
  • the designation information may include a lower limit wavelength and an upper limit wavelength for each of the N wavelength bands.
  • Step S102> The signal processing circuit 250 acquires the designation information input to the input UI 400 .
  • the signal processing circuit 250 acquires mask data from the memory 210 .
  • the mask data reflects the spatial distribution of the spectral transmittance of the filter array 110 for N wavelength bands.
  • mask data corresponding to each of different designation information may be prepared in advance, and mask data corresponding to the designation information input to the input UI 400 may be obtained.
  • mask data corresponding to the specified information may be generated by converting the mask data based on the specified information.
  • a method of generating mask data corresponding to designated information is described in WO2021/192891, for example.
  • the signal processing circuit 250 estimates the restoration error of the hyperspectral image based on the designation information and the mask data. Specifically, the signal processing circuit 250 calculates a randomness index ⁇ in the spatial direction and a randomness index rij in the wavelength direction based on the designation information and the mask data, and calculates the calculated ⁇ and the calculated ⁇ Estimate the reconstruction error based on rij .
  • the restoration error for example, the restoration error (MSE space ) based on the randomness in the spatial direction is estimated from the calculated ⁇ using the method of Patent Document 2, and the relationship shown in FIG.
  • MSE total ⁇ ((MSE space ) 2 +(MSE spectral ) 2 ).
  • ⁇ an index representing randomness in the spatial direction
  • ⁇ / ⁇ obtained by dividing ⁇ by the average transmittance ⁇ of the filter array 110 may be used.
  • the index of randomness in the wavelength direction is not limited to r ij expressed by Equation (3), and another index indicating the similarity of mask data between two wavelength bands may be used.
  • the signal processing circuit 250 extracts the i-th and j-th mask data from the mask data based on the designation information, and based on the correlation coefficients of the i-th and j-th mask data , to estimate the reconstruction error.
  • the i-th and j-th mask data reflect the spatial distribution of transmittance of the filter array 110 corresponding to the i-th and j-th wavelength bands among the N wavelength bands, respectively.
  • the signal processing circuit 250 outputs a signal indicating the estimated restoration error.
  • the destination of the signal depends on the application and may be, for example, the display 330 or other signal processing circuitry.
  • the restoration error of the hyperspectral image can be estimated by acquiring data indicating the relationship between the wavelength resolution and the restoration error associated with the mask data instead of the mask data. Such data is referred to herein as a "restoration error table.”
  • FIG. 9A is a block diagram schematically showing a second example of the system according to this embodiment.
  • the system shown in FIG. 9A differs from the system shown in FIG. 8A in that memory 210 stores recovery error data.
  • the mask data is data with a large amount of information, that is, the number of pixels.times.the number of wavelengths.
  • the restoration error table instead of the mask data, it is possible to reduce the amount of data acquired from the memory 210 or the amount of data distributed from the server when estimating the restoration error.
  • FIG. 9B is a flow chart schematically showing an example of operations performed by the signal processing circuit 250 in the system shown in FIG. 9A.
  • the signal processing circuit 250 performs the operations of steps S201 to S205 shown in FIG. 9B.
  • Steps S201, S202, and S205 The operations of steps S201, S202, and S205 are the same as the operations of steps S101, S102, and S105 shown in FIG. 8B, respectively.
  • Step S203 The signal processing circuit 250 acquires restoration error data from the memory 210 .
  • the signal processing circuit 250 estimates the restoration error of the hyperspectral image based on the designation information and the restoration error table.
  • FIG. 9C is a table showing an example of a restoration error table.
  • the restoration error table shown in FIG. 9C includes information regarding the relationship between wavelength resolution and restoration error.
  • a restoration error can be obtained from the wavelength resolution using the restoration error table.
  • Wavelength resolution may also be expressed in terms of other uniquely convertible units, such as frequency Hz or wavenumber cm ⁇ 1 , rather than length nm.
  • Reconstruction error may be expressed in other units or indices that can be uniquely converted, such as MSE or PSNR, rather than percentages.
  • FIG. 9D is a graph showing an example of reconstruction error as a function of wavelength resolution.
  • the horizontal axis represents wavelength resolution, and the vertical axis represents restoration error.
  • the graph shown in Figure 9D can be obtained from the results shown in Figures 7A and 7B.
  • FIGS. 10A and 10B are block diagrams schematically showing third and fourth examples of the system according to the present embodiment, respectively.
  • the system shown in FIGS. 10A and 10B includes an imaging device 100, a processing device 200, a display device 300, and an input UI400.
  • the imaging device 100 , the display device 300 and the input UI 400 are connected to the processing device 200 .
  • the user inputs restoration conditions and imaging conditions to the input UI 400 .
  • the imaging device 100 includes a control circuit 150 and an image sensor 160 .
  • the control circuit 150 acquires imaging conditions and controls the imaging operation of the image sensor 160 based on the imaging conditions.
  • the processing device 200 includes a memory 210 and a signal processing circuit 250 .
  • the signal processing circuit 250 acquires the restoration conditions and converts the mask data based on the restoration conditions.
  • the signal processing circuit 250 generates a spectral image by restoration calculation based on the converted mask data and the compressed image output from the image sensor 160, and outputs the image signal.
  • Signal processing circuit 250 further estimates the reconstruction error.
  • the display device 300 includes a memory 310 , an image processing circuit 320 and a display 330 .
  • the memory 310 acquires restore conditions.
  • the image processing circuit 320 acquires the image signal output from the signal processing circuit 250 and processes the image signal based on the restoration conditions.
  • a display 330 displays the result of the image processing. Display 330 may display input UI 400 .
  • the signal processing circuit 250 acquires the wavelength resolution from the input UI 400, acquires the mask data or the restoration error table from the memory 210, and estimates the restoration error.
  • the signal processing circuit 250 further converts the mask data.
  • the order of estimating the restoration error and converting the mask data does not matter, but by estimating the restoration error before converting the mask data, if the restoration error is large, the mask data conversion process can be omitted. can be done. Furthermore, the user can be fed back through the display 330 that the reconstruction error is large.
  • the signal processing circuit 250 estimates the restoration error after converting the mask data. Since the converted mask data includes wavelength resolution information, acquisition of the wavelength resolution from the input UI 400 can be omitted.
  • FIG. 11A is a block diagram schematically showing a fifth example of the system according to this embodiment.
  • the system shown in FIG. 11A differs from the system shown in FIG. 8A in that the display 330 displays not only the input UI 400 but also the display UI 410 showing the restoration error.
  • the functions of the display UI 410 are the same as those of the input UI 400 .
  • the display UI 410 is displayed as a GUI.
  • the information shown on display UI 410 can also be said to be displayed on display 330 .
  • Display UI 410 may be displayed on another display instead of display 330 .
  • FIG. 11B is a flow chart schematically showing an example of operations performed by the signal processing circuit 250 in the system shown in FIG. 11A.
  • the signal processing circuit 250 performs the operations of steps S301 to S306 shown in FIG. 11B.
  • Steps S301 to S305 are the same as the operations from steps S101 to S105 shown in FIG. 8B.
  • the data acquired by the signal processing circuit 250 in step S303 may be the restoration error table instead of the mask data.
  • signal processing circuit 250 outputs a signal indicating the restoration error to display 330 .
  • the signal processing circuit 250 causes the display 330 to display a display UI 410 indicating the restoration error.
  • FIG. 11C is a flowchart schematically showing another example of operations performed by the signal processing circuit 250 in the system shown in FIG. 11A.
  • the signal processing circuit 250 performs the operation of step S307 shown in FIG. 11C between steps S304 and S305 of steps S301 to S306 shown in FIG. 11B.
  • Step S307 The signal processing circuit 250 determines whether or not the restoration error is equal to or less than a predetermined threshold.
  • the threshold may be preset by the manufacturer, or may be set by the user using the input UI 400 . If the determination is Yes, signal processing circuit 250 terminates its operation. If the determination is No, the signal processing circuit 250 performs the operation of step S305.
  • FIGS. 12A-12D illustrate first through fourth examples of display UI 410, respectively, when the recovery error exceeds a predetermined threshold.
  • the target wavelength range is a wavelength range of 420 nm or more and 480 nm or less and a wavelength range of 600 nm or more and 690 nm or less.
  • the wavelength range of 420 nm or more and 480 nm or less includes a wavelength band of 420 nm or more and 450 nm or less and a wavelength band of 450 nm or more and 480 nm or less.
  • the wavelength range of 600 nm or more and 690 nm or less includes a wavelength band of 600 nm or more and 630 nm or less, a wavelength band of 630 nm or more and 660 nm or less, and a wavelength band of 660 nm or more and 690 nm or less.
  • the adjacent wavelength bands of 450 nm or more and 480 nm or less and the wavelength bands of 600 nm or more and 630 nm or less are discontinuous.
  • the restoration errors of the five spectral images respectively corresponding to the five wavelength bands are displayed on the display UI 410 in percent notation.
  • Reconstruction error may be displayed using metrics such as MSE and PSNR. Since the restoration error is estimated for each wavelength band, a wavelength band with a large restoration error may be emphasized and displayed. In the example shown in FIG. 12A, a reconstruction error of over 2% is highlighted. Only wavelength bands with large restoration errors may be displayed.
  • the wavelength resolution to be set may differ depending on the wavelength range. For example, the wavelength resolution in one wavelength band may be set to 10 nm, and the wavelength resolution in another wavelength band may be set to 20 nm. Also in this case, the restoration error of each of the plurality of spectral images to be restored is estimated and displayed on the display UI 410 . As described above, the signal processing circuit 250 causes the display 330 to display the restoration error.
  • error information 412 is displayed on the display UI 410 when the estimated restoration error exceeds the threshold.
  • Error information 412 includes a representation telling the user that the estimated reconstruction error exceeds a threshold.
  • Error information 412 may be displayed when the restoration error of the spectral image for a certain wavelength band exceeds a threshold.
  • the error information 412 may be displayed when the average value of restoration errors of a plurality of spectral images for a plurality of wavelength bands exceeds a threshold.
  • Restoration errors of a plurality of spectral images may be weighted, and error information 412 may be displayed when the weighted average exceeds a threshold.
  • the signal processing circuit 250 displays a warning on the display 330 when the restoration error exceeds the predetermined threshold.
  • wavelength bands with large restoration errors are visually conspicuously displayed.
  • the user's attention can be urged by emphasizing and displaying a wavelength band with a large restoration error, instead of numerical display or error display.
  • the restoration error is emphasized by hatching surrounded by a thick frame. The darker the hatching, the larger the restoration error.
  • the highlighting can have various variations, such as a "! symbol or blinking.
  • the signal processing circuit 250 emphasizes and displays a wavelength band with a large restoration error.
  • the signal processing circuit 250 generates N spectral images based on the compressed image, displays the N spectral images on the display UI 440, and restores images exceeding a predetermined threshold among the N spectral images. At least one spectroscopic image having an error is highlighted and displayed.
  • FIGS. 13A to 13E examples of the display UI 410 when recommending or performing some operation based on the estimated restoration error will be described.
  • 13A-13E illustrate first through fifth examples of display UI 410 for recommending or performing some action based on the estimated reconstruction error.
  • error information 412 is displayed on the display UI 410 when the estimated restoration error exceeds the threshold.
  • the error information 412 includes an expression recommending that the wavelength resolution setting be corrected, and directs the user to the input UI 400 for re-entry of the wavelength resolution.
  • the signal processing circuit 250 causes the display 330 to display the input UI 400 for causing the user to re-input the specified information.
  • error information 412 is displayed as in the example shown in FIG. 13A.
  • the error information 412 includes an expression for automatically correcting the wavelength band setting so that the estimated restoration error is equal to or less than the threshold.
  • the signal processing circuit 250 causes the display 330 to display a message as to whether or not to automatically correct the wavelength band.
  • the display UI 410 displays the correction result of the wavelength band numerically and graphically.
  • the corrected portion may be highlighted.
  • the signal processing circuit 250 changes the N wavelength bands based on the mask data so that the restoration error is equal to or less than a predetermined threshold, and causes the display 330 to display the changed N wavelength bands.
  • confirmation information 414 is displayed on the display UI 410 .
  • Confirmation information 414 includes an expression of whether or not to accept the correction result.
  • the correction result may be reflected only when the user accepts the correction result.
  • the signal processing circuit 250 causes the display 330 to display a message as to whether or not the correction result is accepted.
  • the restoration error dependent on the randomness of the mask data in the wavelength direction was explained, but in reality there is also a restoration error dependent on the randomness of the mask data in the spatial direction.
  • the square root of the sum of the squares of these two restoration errors may be displayed on the display UI 410 as the restoration error.
  • these two reconstruction errors may be displayed separately on display UI 410 .
  • the technology of the present disclosure is useful, for example, for cameras and measuring instruments that acquire multi-wavelength or high-resolution images.
  • the technology of the present disclosure can also be applied to, for example, biometric/medical/cosmetics sensing, food foreign matter/residual pesticide inspection systems, remote sensing systems, and in-vehicle sensing systems.
  • Imaging Device 110 Filter Array 120 Compressed Image 140, 140A Optical System 150 Control Circuit 160 Image Sensor 200 Processing Device 210 Memory 220 Hyperspectral Image 220W 1 to 220W N Spectral Image 250 Signal Processing Circuit 300 Display Device 310 Memory 320 Image Processing circuit 330 Display 400 Input UI 410 Display UI 412 Error information 414 Confirmation information

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

コンピュータによって実行される信号処理方法は、スペクトル情報が圧縮された圧縮画像に基づいて生成されるＮ枚（Ｎは４以上の整数）の分光画像にそれぞれ対応するＮ個の波長バンドを指定する指定情報を取得する（Ｓ１０２）ことと、前記指定情報に基づいて、前記複数の分光画像の各々の復元誤差を推定する（Ｓ１０４）ことと、前記復元誤差を示す信号を出力する（Ｓ１０５）ことと、を含む。

Description

信号処理方法、プログラム、およびシステム
　本開示は、信号処理方法、プログラム、およびシステムに関する。
　波長について、各々が狭帯域である多数のバンド、例えば数十バンドのスペクトル情報を活用することにより、従来のＲＧＢ画像では不可能であった対象物の詳細な物性の把握が可能になる。そのような多波長の情報を取得するカメラは、「ハイパースペクトルカメラ」と呼ばれる。ハイパースペクトルカメラは、食品検査、生体検査、医薬品開発、および鉱物の成分分析などの様々な分野で利用されている。
　特許文献１および２は、圧縮センシング技術を利用したハイパースペクトルカメラの例を開示している。圧縮センシング技術では、対象物で反射される光を特殊なフィルタアレイを介して検出することにより、スペクトル情報が圧縮された圧縮画像が取得され、当該圧縮画像に基づいて、多波長情報を有するハイパースペクトル画像が復元される。
米国特許第９５９９５１１号明細書 国際公開第２０２１／１４５０５４号
　本開示は、ハイパースペクトル画像の復元誤差を推定することが可能な信号処理方法を提供する。
　本開示の一態様に係る、コンピュータによって実行される信号処理方法は、スペクトル情報が圧縮された圧縮画像に基づいて生成されるＮ枚（Ｎは４以上の整数）の分光画像にそれぞれ対応するＮ個の波長バンドを指定する指定情報を取得することと、前記指定情報に基づいて、前記Ｎ枚の分光画像の各々の復元誤差を推定することと、前記復元誤差を示す信号を出力することと、を含む。尚、この包括的又は具体的な態様は、装置、システム、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含む。
　本開示の一態様によれば、ハイパースペクトル画像の復元誤差を推定することができる。
図１Ａは、本開示の例示的な実施形態による撮像システムの構成を模式的に示す図である。 図１Ｂは、本開示の例示的な実施形態による撮像システムの他の構成を模式的に示す図である。 図１Ｃは、本開示の例示的な実施形態による撮像システムのさらに他の構成を模式的に示す図である。 図１Ｄは、本開示の例示的な実施形態による撮像システムのさらに他の構成を模式的に示す図である。 図２Ａは、フィルタアレイの例を模式的に示す図である。 図２Ｂは、対象波長域に含まれる複数の波長バンドの各々の光の透過率の空間分布の一例を示す図である。 図２Ｃは、図２Ａに示すフィルタアレイに含まれる領域Ａ１の分光透過率の例を示す図である。 図２Ｄは、図２Ａに示すフィルタアレイに含まれる領域Ａ２の分光透過率の例を示す図である。 図３Ａは、対象波長域Ｗと、それに含まれる複数の波長バンドとの関係を説明するための図である。 図３Ｂは、対象波長域Ｗと、それに含まれる複数の波長バンドとの関係を説明するための図である。 図４Ａは、フィルタアレイのある領域における分光透過率の特性を説明するための図である。 図４Ｂは、図４Ａに示す分光透過率を、波長バンドごとに平均化した結果を示す図である。 図５Ａは、あるフィルタアレイに含まれる２つの光学フィルタの透過スペクトルを示すグラフである。 図５Ｂは、あるフィルタアレイのマスクデータの空間方向におけるランダム性と波長分解能との関係を示すグラフである。 図６は、あるフィルタアレイに含まれる光学フィルタの透過スペクトルを示すグラフである。 図７Ａは、相関係数、正解画像のスペクトル、復元画像のスペクトルを示すグラフである。 図７Ｂは、図７Ａに示す結果から、５０番目の波長バンド以外の９９個の波長バンドについての相関係数と復元誤差との関係をプロットしたグラフである。 図８Ａは、本実施形態によるシステムの第１の例を模式的に示すブロック図である。 図８Ｂは、図８Ａに示すシステムにおける信号処理回路が実行する動作の第１の例を概略的に示すフローチャートである。 図９Ａは、本実施形態によるシステムの第２の例を模式的に示すブロック図である。 図９Ｂは、図９Ａに示すシステムにおける信号処理回路が実行する動作の第２の例を概略的に示すフローチャートである。 図９Ｃは、復元誤差テーブルの例を示す表である。 図９Ｄは、復元誤差が波長分解能の関数として表される例を示すグラフである。 図１０Ａは、本実施形態によるシステムの第３の例を模式的に示すブロック図である。 図１０Ｂは、本実施形態によるシステムの第４の例を模式的に示すブロック図である。 図１１Ａは、本実施形態によるシステムの第５の例を模式的に示すブロック図である。 図１１Ｂは、図１１Ａに示すシステムにおける信号処理回路が実行する動作の例を概略的に示すフローチャートである。 図１１Ｃは、図１１Ａに示すシステムにおける信号処理回路が実行する動作の他の例を概略的に示すフローチャートである。 図１２Ａは、復元誤差が所定の閾値を超える場合の、表示ＵＩの第１の例を示す図である。 図１２Ｂは、復元誤差が所定の閾値を超える場合の、表示ＵＩの第２の例を示す図である。 図１２Ｃは、復元誤差が所定の閾値を超える場合の、表示ＵＩの第３の例を示す図である。 図１２Ｄは、復元誤差が所定の閾値を超える場合の、表示ＵＩの第４の例を示す図である。 図１３Ａは、推定された復元誤差に基づいて何らかの操作を推奨したり実行したりする場合の、表示ＵＩの第１の例を示す図である。 図１３Ｂは、推定された復元誤差に基づいて何らかの操作を推奨したり実行したりする場合の、表示ＵＩの第２の例を示す図である。 図１３Ｃは、推定された復元誤差に基づいて何らかの操作を推奨したり実行したりする場合の、表示ＵＩの第３の例を示す図である。 図１３Ｄは、推定された復元誤差に基づいて何らかの操作を推奨したり実行したりする場合の、表示ＵＩの第４の例を示す図である。 図１３Ｅは、推定された復元誤差に基づいて何らかの操作を推奨したり実行したりする場合の、表示ＵＩの第５の例を示す図である。 図１４は、光学フィルタの透過ピークの半値幅が|λ２－λ１|であることを説明する図である。 図１５は、光学フィルタの透過ピークの半値幅が|λ４－λ３|であることを説明する図である。
　以下で説明される実施形態は、いずれも包括的または具体的な例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、およびステップの順序は、一例であり、本開示の技術を限定する趣旨ではない。以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一または類似の構成要素には同一の符号が付されている。重複する説明は省略または簡略化されることがある。
　本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、ＦＩｐｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅも同じ目的で使うことができる。
　さらに、回路、ユニット、装置、部材または部の全部または一部の機能または操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
　（本明細書における用語の説明）
　本開示の実施の形態を説明するに前に、本明細書において用いられる用語を説明する。本実施形態による撮像装置では、対象物で反射された光を、２次元平面内に配置される複数の光学フィルタを有するフィルタアレイを介して撮像することにより、スペクトル情報が圧縮された圧縮画像が取得される。本実施形態による撮像装置では、さらに、フィルタアレイのマスクデータに基づく演算により、撮影された圧縮画像から、対象波長域内のＮ個の波長バンド（Ｎは４以上の整数）の各々についての分光画像が再構成される。その結果、対象物のハイパースペクトル画像を復元することができる。
　＜対象波長域＞
　対象波長域とは、撮影に用いられるイメージセンサに入射する光の波長の上限および下限に基づいて決定される波長域である。対象波長域は、例えば、イメージセンサが感度を有する波長の上限から下限の範囲、すなわち感度波長域のうち、任意の範囲であり得る。感度波長域において光を吸収および／または反射するような対象物がイメージセンサの光軸上に配置される場合、対象波長域は、イメージセンサの感度波長域の一部であってもよい。対象波長域は、イメージセンサから出力されるデータの波長域、すなわち出力波長域に対応していてもよい。
　＜波長分解能＞
　波長分解能とは、復元によって波長バンドごとに分光画像が生成される場合の波長バンドの幅である。例えば、幅５ｎｍの波長域に対応する分光画像を生成する場合、波長分解能は５ｎｍである。同様に、幅２０ｎｍの波長域に対応する分光画像を生成する場合、波長分解能は２０ｎｍである。
　＜マスクデータ＞
　マスクデータとは、フィルタアレイの透過率の空間分布に基づく配列を示すデータである。フィルタアレイの透過率の空間分布自体を示すデータをマスクデータとして用いてもよいし、フィルタアレイの透過率に可逆な計算を施したデータをマスクデータとして用いてもよい。ここで、可逆な計算は、例えば、一定値の加減乗除、累乗計算、指数計算、対数計算、およびガンマ補正を指す。可逆な計算は、対象波長域内に一律に行われてもよく、後述する波長バンドごとに行われてもよい。
　フィルタアレイの透過率の空間分布自体を示すデータをマスクデータとして用いる場合、対象波長域内のある有限の幅を有する波長域において、フィルタアレイを透過する光の強度が、２次元的に配列されたマトリクスとして観測される。対象波長域は、例えば４００ｎｍ以上７００ｎｍであり、有限の幅を有する波長域は、例えば４００ｎｍ以上４５０ｎｍ以下であり得る。対象波長内の全域をカバーするように上記の観測を行うことにより、複数のマトリクスが生成される。複数のマトリクスの各々は、空間方向の２次元に配列されたデータである。複数の波長域において取得される、空間方向の２次元的に配列されるデータの総称がマスクデータである。
　上記の例では４００ｎｍ以上４５０ｎｍ以下の波長域を「ある有限の幅を有する波長域」としたが、計算上この波長域内であれば波長の区別はされない。すなわち、強度情報のみが記録され、計算に用いられるため、４２０ｎｍの光が入射した場合も４３０ｎｍの光が入射した場合も強度のみが記録され、波長情報は保存されない。このことから、計算上この波長域内におけるすべての波長は同一の波長として扱われる。
　フィルタアレイの透過率の空間分布は、例えば特定の波長のみを出力する光源と積分球とを用いて観測することができる。上記の例では、光源から４００ｎｍ以上４５０ｎｍ以下の波長の光のみが出力され、当該出力光は、積分球で一様に拡散された後、フィルタアレイを介して検出される。その結果、４００ｎｍ以上４５０ｎｍ以下の波長域におけるフィルタアレイの透過率の空間分布に、例えばイメージセンサの感度および／またはレンズの収差が重畳された画像が得られる。得られた画像はマトリクスとして扱うことができる。イメージセンサの感度および／またはレンズの収差が既知であれば、得られた画像に補正を行うことによってフィルタアレイの透過率の空間分布を得ることができる。得られた画像は、フィルタアレイの透過率の空間分布に、イメージセンサの感度および／またはレンズの収差のような可逆な計算が施された画像であると解釈することができる。したがって、得られた画像に補正を行わなくてもよい。
　実際には、透過率は、ある波長を前後して非連続的に変化させることはできず、有限の立ち上がり角度および立ち下がり角度で変動する。このため、波長域の上限および下限は、透過率がそのピーク強度から一定の割合で減衰した波長によって定義され得る。一定の割合は、例えばピーク強度の９０％、５０％、または１０％であり得る。
　マスクデータが例えばメモリに保存される場合、当該マスクデータはＰＮＧ（Ｐｏｒｔａｂｌｅ　Ｎｅｔｗｏｒｋ　Ｇｒａｐｈｉｃｓ）またはＧＩＦ（Ｇｒａｐｈｉｃｓ　Ｉｎｔｅｒｃｈａｎｇｅ　Ｆｏｒｍａｔ）などの可逆な形式で圧縮され得る。
　＜波長バンド＞
　波長バンドは、対象波長域内の一部の波長域であり、マスクデータにおいて同一の波長として扱われる波長の範囲である。波長バンドは、「バンド」と呼ばれるように、ある幅を有する波長域であり得る。波長バンドは、例えば、５００ｎｍ以上５５０ｎｍ以下である幅５０ｎｍの波長域であり得る。本明細書において、ある幅を有する波長域の集合も同様に「波長バンド」と称する。波長バンドは、例えば、５００ｎｍ以上５５０ｎｍ以下である幅５０ｎｍの波長域と、６００ｎｍ以上６５０ｎｍ以下の幅５０ｎｍの波長域との合計によって得られる幅１００ｎｍの波長域であり得る。波長バンドはマスクデータにおいて同一の波長として扱われていてもよいため、複数の波長域が連続しているかどうかは考慮されなくともよい。
　＜分光画像＞
　分光画像とは、復元演算の結果、波長バンドごとに出力される２次元画像である。分光画像は波長バンドごとに生成されるため、ある波長バンドには対応する分光画像が１枚定められる。分光画像をモノクロ画像として出力してもよい。複数の波長バンドにそれぞれ対応する複数の分光画像を、空間方向および波長方向の３次元の配列データとして出力してもよい。あるいは、当該複数の分光画像を、複数の画素値を１次元に配列したデータとして出力してもよい。当該複数の画素値のそれぞれは、波長バンドと画素の組に対応する。あるいは、当該複数の分光画像に、空間解像度および波長バンド数などのメタ情報を含むヘッダ情報を付して出力してもよい。本明細書において、分光画像を復元画像とも称する。
　＜復元精度＞
　復元精度とは、復元された分光画像と正解画像との乖離度合いである。復元精度は、ＭＳＥ（Ｍｅａｎ　Ｓｑｕａｒｅｄ　Ｅｒｒｏｒ）またはＰＳＮＲ（Ｐｅａｋ　Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ　Ｒａｔｉｏ）などの種々の指標を用いて表現され得る。実際には、正解画像を定義することが容易ではない場合も少なくない。その場合、以下の方法により、正解画像を定義し、実際の復元精度を推定または定義してもよい。当該方法は、例えば、特定の波長の光のみを透過させるバンドパスフィルタ、透過および／または反射スペクトルが既知の対象物、発光波長が既知であるレーザーを用いて、正解画像の波長依存性を調べることである。
　（本開示の基礎となった知見）
　次に、本開示の実施の形態を説明するに前に、本開示が解決しようとする課題に関連して、スパース性に基づく画像復元処理、およびマスクデータのランダム性を評価する方法を説明する。
　スパース性とは、対象物を特徴づける要素が、空間方向または波長方向のようなある方向において疎ら、すなわちスパースに存在しているという性質である。スパース性は、自然界において広く見られる。スパース性を利用することにより、必要な情報を効率的に取得することが可能になる。スパース性をセンシング分野に応用した技術は圧縮センシング技術と呼ばれており、圧縮センシング技術によってデバイスまたはシステムを効率的に構築することが可能であることがわかっている。特許文献１に開示されているように、圧縮センシング技術をハイパースペクトルカメラに適用することにより、例えば、波長分解能の向上、高解像度、多波長、および多波長の動画撮影が可能になる。
　圧縮センシング技術をハイパースペクトルカメラに適用する例は以下の通りである。対象物で反射される光の光路上に、当該反射光を透過させるフィルタアレイと、フィルタアレイを透過する光を検出するイメージセンサとが配置される。フィルタアレイは、空間方向および／または波長方向においてランダムな透過特性を有する。対象物で反射される光がフィルタアレイを透過する結果、対象物の情報を符号化した状態で撮影することが可能になる。撮影した圧縮画像から、フィルタアレイのマスクデータに基づいて分光画像を再構成することにより、ハイパースペクトル画像の復元処理が可能になる。この際、対象物のスパース性を仮定した推定演算、すなわちスパース再構成によって復元処理が行われる。スパース再構成における演算の例としては、特許文献１に開示されているように、正規化項を取り入れた評価関数の最小化によって分光画像を推定する演算が挙げられる。正規化項は、例えば、離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）であり得る。
　スパース再構成によるハイパースペクトル画像の復元では、対象物の情報がランダムにサンプリングされていることが前提になっている。フィルタアレイの透過率の空間方向および波長方向におけるランダム性は、ハイパースペクトル画像の復元精度に影響を及ぼす。空間方向にランダムでないフィルタを用いる場合、空間的な情報量が足りず、空間情報が欠落した状態でハイパースペクトル画像が復元される。波長方向にランダムでないフィルタを用いる場合、波長情報が足りず、ハイパースペクトル画像の復元において波長分解能が低下する。空間方向におけるランダム性については、第１の波長バンドの光についてのフィルタアレイに含まれる複数のフィルタに対応する複数の透過率の平均値μ１、～、第Ｎの波長バンドの光についてのフィルタアレイに含まれる複数のフィルタに対応する複数の透過率の平均値μＮの標準偏差に基づいて評価する方法が開示されている（特許文献２）。波長方向におけるランダム性については、２つの波長バンドについての相関係数に基づいて評価する方法が開示されている（特許第６４７８５７９号）。
　本発明者らは、後述するように、フィルタアレイのマスクデータの空間方向および波長方向におけるランダム性が波長分解能に応じて変化することから、波長分解能を決定することにより、ハイパースペクトル画像の復元誤差を推定できることを見出した。本開示の実施形態による信号処理方法は、波長分解能に基づいて、ハイパースペクトル画像の復元誤差を推定する。以下に、本開示の実施形態による信号処理方法、プログラム、およびシステムを説明する。
　第１の項目に係る方法は、コンピュータによって実行される信号処理方法である。前記方法は、スペクトル情報が圧縮された圧縮画像に基づいて生成されるＮ枚（Ｎは４以上の整数）の分光画像にそれぞれ対応するＮ個の波長バンドを指定する指定情報を取得することと、前記指定情報に基づいて、前記Ｎ枚の分光画像の各々の復元誤差を推定することと、前記復元誤差を示す信号を出力することと、を含む。
　この方法により、ハイパースペクトル画像の復元誤差を推定することができる。
　第２の項目に係る方法は、第１の項目に係る方法において、前記圧縮画像が、分光透過率が互いに異なる複数種類の光学フィルタを含むフィルタアレイ、およびイメージセンサを用いた撮像によって生成される。前記方法は、前記Ｎ個の波長バンドについての前記フィルタアレイの前記分光透過率の空間分布が反映されたマスクデータを取得することをさらに含む。前記復元誤差を推定することは、前記指定情報および前記マスクデータに基づいて前記復元誤差を推定することを含む。
　この方法により、指定情報およびマスクデータに基づいて、ハイパースペクトル画像の復元誤差を推定することができる。
　第３の項目に係る方法は、第２の項目に係る方法において、前記Ｎ個の波長バンドが、第ｉの波長バンド、および第ｊの波長バンドを含む。前記復元誤差を推定することは、前記指定情報に基づいて、前記マスクデータから、前記Ｎ個の波長バンドのうち、前記第ｉの波長バンドに対応する前記フィルタアレイの透過率の空間分布が反映された第ｉのマスクデータと、前記第ｊの波長バンドに対応する前記フィルタアレイの透過率の空間分布が反映された第ｊのマスクデータとを抽出することと、前記第ｉのマスクデータと前記第ｊのマスクデータとの相関係数に基づいて、前記復元誤差を推定することと、を含む。
　この方法により、マスクデータの相関係数に基づいて、復元誤差を推定することができる。
　第４の項目に係る方法は、第２または第３の項目に係る方法において、前記コンピュータに接続されるディスプレイに、前記指定情報をユーザに入力させるためのＧＵＩを表示させることをさらに含む。
　この方法により、ユーザは、ＧＵＩを介して指定情報を入力することができる。
　第５の項目に係る方法は、第４の項目に係る方法において、前記復元誤差が所定の閾値を超える場合、前記ディスプレイに警告を表示させることをさらに含む。
　この方法により、復元誤差が所定の閾値を超える場合、ユーザに注意を促すことができる。
　第６の項目に係る方法は、第５の項目に係る方法において、前記指定情報を前記ユーザに再入力させるためのＧＵＩを前記ディスプレイに表示させることをさらに含む。
　この方法により、復元誤差が所定の閾値を超える場合に、ユーザは、ＧＵＩを介して指定情報を再入力することができる。
　第７の項目に係る方法は、第５の項目に係る方法において、前記マスクデータに基づいて、前記復元誤差が前記所定の閾値以下になるように、前記Ｎ個の波長バンドを変更することと、変更した前記Ｎ個の波長バンドを前記ディスプレイに表示させることをさらに含む。
　この方法により、ユーザは、変更後のＮ個の波長バンドを知ることができる。
　第８の項目に係る方法は、第４の項目に係る方法において、前記圧縮画像に基づいて前記Ｎ枚の分光画像を生成することと、前記Ｎ枚の分光画像を前記ディスプレイに表示することと、前記Ｎ枚の分光画像のうち、所定の閾値を超える復元誤差を有する少なくとも１つの分光画像を強調して表示することと、をさらに含む。
　この方法により、ユーザは、所定の閾値を超える復元誤差を有する少なくとも１つの分光画像を知ることができる。
　第９の項目に係る方法は、第４から第８の項目のいずれかに係る方法において、前記復元誤差を前記ディスプレイに表示させることをさらに含む。
　この方法により、ユーザは、復元誤差を知ることができる。
　第１０の項目に係る方法は、第１から第９の項目のいずれかに係る方法において、前記Ｎ個の波長バンドが、互いに隣り合う不連続の２つの波長バンドを含む。
　この方法により、記Ｎ個の波長バンドが、互いに隣り合う不連続の２つの波長バンドを含んでいても、ハイパースペクトル画像の復元誤差を推定することができる。
　第１１の項目に係る方法は、第１の項目に係る方法において、前記波長バンドと前記復元誤差の関係を示すデータを取得することをさらに含む。前記復元誤差を推定することは、前記データに基づいて、前記Ｎ枚の分光画像の各々の前記復元誤差を推定することを含む。
　この方法により、波長バンドと復元誤差の関係を示すデータに基づいて、ハイパースペクトル画像の復元誤差を推定することができる。
　第１２の項目に係るプログラムは、コンピュータによって実行されるプログラムである。前記プログラムは、前記コンピュータに、スペクトル情報が圧縮された圧縮画像に基づいて生成されるＮ枚（Ｎは４以上の整数）の分光画像にそれぞれ対応するＮ個の波長バンドを指定する指定情報を取得することと、前記指定情報に基づいて、前記Ｎ枚の分光画像の各々の復元誤差を推定することと、前記復元誤差を示す信号を出力することと、を実行させる。
　このプログラムにより、ハイパースペクトル画像の復元誤差を推定することができる。
　第１３の項目に係るシステムは、信号処理回路を備えるシステムである。前記信号処理回路は、スペクトル情報が圧縮された圧縮画像に基づいて生成されるＮ枚（Ｎは４以上の整数）の分光画像にそれぞれ対応するＮ個の波長バンドを指定する指定情報を取得し、前記指定情報に基づいて、前記Ｎ個の分光画像の各々の復元誤差を推定して前記復元誤差を示す信号を出力する。
　このシステムでは、ハイパースペクトル画像の復元誤差を推定することができる。以下、図面を参照しながら、本開示のより具体的な実施形態を説明する。
　（実施形態）
　［撮像システム］
　まず、図１Ａから図１Ｄを参照して、本開示の実施形態において用いられる撮像システムの構成例を説明する。
　図１Ａは、本開示の例示的な実施形態による撮像システムの構成を模式的に示す図である。図１Ａに示す撮像システムは、撮像装置１００と、処理装置２００とを備える。撮像装置１００は、特許文献１に開示されている撮像装置と同様の構成を備える。撮像装置１００は、光学系１４０と、フィルタアレイ１１０と、イメージセンサ１６０とを備える。光学系１４０およびフィルタアレイ１１０は、被写体である対象物７０で反射された光の光路上に配置されている。フィルタアレイ１１０は、光学系１４０とイメージセンサ１６０との間に配置される。
　図１Ａには、対象物７０の一例として、リンゴが例示されている。対象物７０は、リンゴに限らず、検査対象になり得る任意の物体であり得る。イメージセンサ１６０は、複数の波長バンドの情報が２次元のモノクロ画像として圧縮された圧縮画像１２０のデータを生成する。処理装置２００は、イメージセンサ１６０が生成した圧縮画像１２０のデータに基づいて、対象波長域に含まれる複数の波長バンドのそれぞれについての画像データを生成する。この生成される複数の波長バンドに1対１に対応する複数の画像データを、本明細書において「ハイパースペクトル画像データ」と称する。ここで、対象波長域に含まれる波長バンドの数をＮ（Ｎは４以上の整数）とする。以下の説明において、生成される複数の波長バンドに1対１に対応する複数の画像データを、分光画像２２０Ｗ１、分光画像２２０Ｗ２、・・・、分光画像２２０ＷＮと称し、これらをハイパースペクトル画像２２０と総称する。本明細書において、画像を示す信号、すなわち、各画素の画素値を表す信号の集合を、単に「画像」と称することがある。
　フィルタアレイ１１０は、行および列状に配列された透光性を有する複数の光学フィルタを有する。複数の光学フィルタは、分光透過率、すなわち透過率の波長依存性が互いに異なる複数種類の光学フィルタを含む。フィルタアレイ１１０は、入射光の強度を波長ごとに変調して出力する。フィルタアレイ１１０によるこの過程を、本明細書において「符号化」と称する。
　図１Ａに示す例において、フィルタアレイ１１０は、イメージセンサ１６０の近傍または直上に配置されている。ここで「近傍」とは、光学系１４０からの光の像がある程度鮮明な状態でフィルタアレイ１１０の面上に形成される程度に近接していることを意味する。「直上」とは、ほとんど隙間が生じない程両者が近接していることを意味する。フィルタアレイ１１０およびイメージセンサ１６０は一体化されていてもよい。
　光学系１４０は、少なくとも１つのレンズを含む。図１Ａでは、光学系１４０が１つのレンズとして示されているが、光学系１４０は複数のレンズの組み合わせであってもよい。光学系１４０は、フィルタアレイ１１０を介して、イメージセンサ１６０の撮像面上に像を形成する。
　イメージセンサ１６０は、２次元的に配列された複数の光検出素子（本明細書において、「画素」とも呼ぶ。）を有するモノクロタイプの光検出器である。イメージセンサ１６０は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、または赤外線アレイセンサであり得る。光検出素子は、例えばフォトダイオードを含む。イメージセンサ１６０は、必ずしもモノクロタイプのセンサである必要はない。例えば、Ｒ／Ｇ／Ｂの光学フィルタ（赤色の光を透過する光学フィルタ、緑色の光を透過する光学フィルタ、及び、青色の光を透過する光学フィルタ）、Ｒ／Ｇ／Ｂ／ＩＲの光学フィルタ（赤色の光を透過する光学フィルタ、緑色の光を透過する光学フィルタ、赤外線を透過する光学フィルタ）、またはＲ／Ｇ／Ｂ／Ｗの光学フィルタ（赤色の光を透過する光学フィルタ、緑色の光を透過する光学フィルタ、白色の光を透過する光学フィルタ）を有するカラータイプのセンサを用いてもよい。カラータイプのセンサを使用することにより、波長に関する情報量を増やすことができ、ハイパースペクトル画像２２０の復元精度を向上させることができる。対象波長域は任意に決定してよく、可視の波長域に限らず、紫外、近赤外、中赤外、または遠赤外の波長域であってもよい。
　処理装置２００は、プロセッサと、メモリ等の記憶媒体とを備えるコンピュータである。処理装置２００は、イメージセンサ１６０によって取得された圧縮画像１２０に基づいて、波長バンドＷ１に対応する分光画像２２０Ｗ１のデータ、波長バンドＷ２に対応する分光画像２２０Ｗ２のデータ、・・・、波長バンドＷＮに対応する分光画像２２０ＷＮのデータを生成する。
　図１Ｂから図１Ｄは、本開示の例示的な実施形態による撮像システムの他の構成を模式的に示す図である。図１Ｂから図１Ｄに示す撮像システムでは、撮像装置１００において、フィルタアレイ１１０がイメージセンサ１６０から離れて配置されている。図１Ｂに示す例では、フィルタアレイ１１０が、光学系１４０とイメージセンサ１６０との間で且つイメージセンサ１６０から離れた位置に配置されている。図１Ｃに示す例では、フィルタアレイ１１０が対象物７０と光学系１４０との間に配置されている。図１Ｄに示す例では、撮像装置１００が光学系１４０Ａおよび１４０Ｂを備え、それらの間にフィルタアレイ１１０が配置されている。これらの例のように、フィルタアレイ１１０とイメージセンサ１６０との間に１つ以上のレンズを含む光学系が配置されていてもよい。
　［フィルタアレイの特性］
　次に、図２Ａから図４Ｂを参照して、フィルタアレイ１１０の特性を説明する。図２Ａは、フィルタアレイ１１０の例を模式的に示す図である。フィルタアレイ１１０は、２次元平面内に配置される複数の領域を有する。本明細書では、当該複数の領域のそれぞれを、「セル」と称することがある。各領域には、個別に設定された分光透過率を有する光学フィルタが配置されている。分光透過率は、入射光の波長をλとして、関数Ｔ（λ）で表される。分光透過率Ｔ（λ）は、０以上１以下の値を取り得る。
　図２Ａに示す例では、フィルタアレイ１１０は、６行８列に配列された４８個の矩形領域を有する。これはあくまで例示であり、実際の用途では、これよりも多くの領域が設けられ得る。その数は、例えばイメージセンサ１６０の画素数と同程度であってもよい。フィルタアレイ１１０に含まれる光学フィルタ数は、例えば数十から数千万の範囲で用途に応じて決定される。
　図２Ｂは、対象波長域に含まれる波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷＮの各々の光の透過率の空間分布の一例を示す図である。図２Ｂに示す例において、各領域の濃淡の違いは、透過率の違いを表している。淡い領域ほど透過率が高く、濃い領域ほど透過率が低い。図２Ｂに示すように、波長バンドによって透過率の空間分布が異なっている。対象波長域に含まれる複数の波長バンドの各々についてのフィルタアレイ１１０の透過率の空間分布を示すデータが、フィルタアレイ１１０のマスクデータである。
　図２Ｃおよび図２Ｄは、それぞれ、図２Ａに示すフィルタアレイ１１０に含まれる領域Ａ１および領域Ａ２の分光透過率の例を示す図である。領域Ａ１の分光透過率と領域Ａ２の分光透過率とは、互いに異なる。このように、フィルタアレイ１１０の分光透過率は、領域によって異なる。ただし、必ずしもすべての領域の分光透過率が異なっている必要はない。フィルタアレイ１１０では、複数の領域の少なくとも一部の領域の分光透過率が互いに異なっている。フィルタアレイ１１０は、分光透過率が互いに異なる２つ以上の光学フィルタを有する。すなわち、フィルタアレイ１１０は、透過スペクトルが互いに異なる複数種類の光学フィルタを含む。ある例では、フィルタアレイ１１０に含まれる複数の領域の分光透過率のパターンの数は、対象波長域に含まれる波長バンドの数Ｎと同じか、それ以上であり得る。フィルタアレイ１１０は、半数以上の領域の分光透過率が異なるように設計されていてもよい。他の例では、フィルタアレイ１１０は、１０６から１０７のオーダの数の複数の光学フィルタを有し、当該複数の光学フィルタは、不規則に配置された４種類以上の複数種類の光学フィルタを含んでいてもよい。
　図３Ａおよび図３Ｂは、対象波長域Ｗと、それに含まれる波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷＮとの関係を説明するための図である。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば、約４００ｎｍ以上約７００ｎｍ以下の可視光の波長域、約７００ｎｍ以上約２５００ｎｍ以下の近赤外線の波長域、または約１０ｎｍ以上約４００ｎｍ以下の近紫外線の波長域であり得る。あるいは、対象波長域Ｗは、中赤外または遠赤外などの電波域であってもよい。このように、使用される波長域は可視光域とは限らない。
　本明細書において、「光」とは、可視光（波長が約４００ｎｍ以上約７００ｎｍ以下）だけでなく、紫外線（波長が約１０ｎｍ以上約４００ｎｍ以下）および赤外線（波長が約７００ｎｍ以上約１ｍｍ以下）を含む電磁波を意味する。
　図３Ａに示す例では、Ｎを４以上の任意の整数として、対象波長域ＷをＮ等分したそれぞれの波長域を波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷＮとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数の波長バンドは任意に設定してもよい。例えば、波長バンドによって帯域幅を不均一にしてもよい。隣接する波長バンドの間にギャップまたは重なりがあってもよい。図３Ｂに示す例では、波長バンドによって帯域幅が異なり、且つ隣接する２つの波長バンドの間にギャップがある。このように、複数の波長バンドは、互いに異なっていればよく、その決め方は任意である。
　図４Ａは、フィルタアレイ１１０のある領域における分光透過率の特性を説明するための図である。図４Ａに示す例では、分光透過率は、対象波長域Ｗ内の波長に関して、複数の極大値（つまり、極大値Ｐ１、～、極大値Ｐ５）、および複数の極小値を有する。図４Ａに示す例では、対象波長域Ｗ内での光透過率の最大値が１、最小値が０となるように正規化されている。図４Ａに示す例では、波長バンドＷ２、および波長バンドＷＮ－１などの波長域において、分光透過率が極大値を有している。このように、各領域の分光透過率は、波長バンドＷ１から波長バンドＷＮのうち、少なくとも２つの複数の波長域において極大値を有する。図４Ａの例では、極大値Ｐ１、極大値Ｐ３、極大値Ｐ４および極大値Ｐ５は０．５以上である。
　以上のように、各領域の透過率は、波長によって異なる。したがって、フィルタアレイ１１０は、入射する光のうち、ある波長域の成分を多く透過させ、他の波長域の成分をそれほど透過させない。例えば、Ｎ個の波長バンドのうちのｋ個の波長バンドの光については、透過率が０．５よりも大きく、残りのＮ－ｋ個の波長域の光については、透過率が０．５未満であり得る。ｋは、２≦ｋ＜Ｎを満たす整数である。仮に入射光が、すべての可視光の波長成分を均等に含む白色光であった場合には、フィルタアレイ１１０は、入射光を領域ごとに、波長に関して離散的な複数の強度のピークを有する光に変調し、これらの多波長の光を重畳して出力する。
　図４Ｂは、一例として、図４Ａに示す分光透過率を、波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷＮごとに平均化した結果を示す図である。平均化された透過率は、分光透過率Ｔ（λ）を波長バンドごとに積分してその波長バンドの帯域幅で除算することによって得られる。本明細書では、このように波長バンドごとに平均化した透過率の値を、その波長バンドにおける透過率とする。この例では、極大値Ｐ１をとる波長域、極大値Ｐ３をとる波長域、および極大値Ｐ５をとる波長域において、透過率が突出して高くなっている。特に、極大値Ｐ３をとる波長域および極大値Ｐ５をとる波長域において、透過率が０．８を超えている。
　図２Ａから図２Ｄに示す例では、各領域の透過率が０以上１以下の任意の値をとり得るグレースケールの透過率分布が想定されている。しかし、必ずしもグレースケールの透過率分布にする必要はない。例えば、各領域の透過率がほぼ０またはほぼ１のいずれかの値を取り得るバイナリスケールの透過率分布を採用してもよい。バイナリスケールの透過率分布では、各領域は、対象波長域に含まれる複数の波長域のうちの少なくとも２つの波長域の光の大部分を透過させ、残りの波長域の光の大部分を透過させない。ここで「大部分」とは、概ね８０％以上を指す。
　全セルのうちの一部、例えば半分のセルを、透明領域に置き換えてもよい。そのような透明領域は、対象波長域Ｗに含まれるすべての波長バンドＷ１から波長バンドＷＮの光を同程度の高い透過率、例えば８０％以上の透過率で透過させる。そのような構成では、複数の透明領域は、例えば市松（ｃｈｅｃｋｅｒｂｏａｒｄ）状に配置され得る。すなわち、フィルタアレイ１１０における複数の領域の２つの配列方向において、透過率が波長によって異なる領域と、透明領域とが交互に配列され得る。
　このようなフィルタアレイ１１０の分光透過率の空間分布を示すデータは、設計データまたは実測キャリブレーションに基づいて事前に取得され、処理装置２００が備える記憶媒体に格納される。このデータは、後述する演算処理に利用される。
　フィルタアレイ１１０は、例えば、多層膜、有機材料、回折格子構造、または金属を含む微細構造を用いて構成され得る。多層膜を用いる場合、例えば、誘電体多層膜または金属層を含む多層膜が用いられ得る。この場合、セルごとに各多層膜の厚さ、材料、および積層順序の少なくとも１つが異なるように形成される。これにより、セルによって異なる分光特性を実現できる。多層膜を用いることにより、分光透過率におけるシャープな立ち上がりおよび立下りを実現できる。有機材料を用いた構成は、セルによって含有する顔料または染料が異なるようにしたり、異種の材料を積層させたりすることによって実現され得る。回折格子構造を用いた構成は、セルごとに異なる回折ピッチまたは深さの回折構造を設けることによって実現され得る。金属を含む微細構造を用いる場合は、プラズモン効果による分光を利用して作製され得る。
　［ハイパースペクトル画像の復元］
　次に、処理装置２００による信号処理の例を説明する。処理装置２００は、イメージセンサ１６０から出力された圧縮画像１２０、およびフィルタアレイ１１０の波長ごとの透過率の空間分布特性に基づいて、多波長のハイパースペクトル画像２２０を再構成する。ここで多波長とは、例えば通常のカラーカメラで取得されるＲＧＢの３色の波長域よりも多くの波長域を意味する。この波長域の数は、例えば４から１００程度の数であり得る。この波長域の数を、バンド数と称する。用途によっては、バンド数は１００を超えていてもよい。
　求めたいデータはハイパースペクトル画像２２０のデータであり、そのデータをｆとする。バンド数をＮとすると、ｆは、波長バンドＷ１に対応する画像データｆ１、波長バンドＷ２に対応するｆ２、・・・、波長バンドＷＮに対応するｆＮを統合したデータである。ここで、図１Ａに示すように、画像の横方向をｘ方向、画像の縦方向をｙ方向とする。求めるべき画像データのｘ方向の画素数をｖとし、ｙ方向の画素数をｕとすると、画像データｆ１、画像データｆ２、・・・、画像データｆＮの各々は、ｖ×ｕ画素に対応するｖ×ｕ画素値を含む２次元データである。したがって、データｆは要素数ｖ×ｕ×Ｎの３次元データである。この３次元データを、「ハイパースペクトル画像データ」または「ハイパースペクトルデータキューブ」と称する。一方、フィルタアレイ１１０によって符号化および多重化されて取得される圧縮画像１２０のデータｇは、ｖ×ｕ画素に対応するｖ×ｕ画素値を含む２次元データである。データｇは、以下の式（１）によって表すことができる。
Figure JPOXMLDOC01-appb-M000001
　式（１）、式（２）に含まれる
Figure JPOXMLDOC01-appb-M000002
は、式（１）、式（２）に関連する記載において、ｇと標記されることがある。
　式（１）では、ｆ１、ｆ２、・・・、ｆＮの各々は、ｖ×ｕ行１列の１次元ベクトルに変換されて表されている。したがって、右辺のベクトルは、ｖ×ｕ×Ｎ行１列の１次元ベクトルである。式（１）では、圧縮画像１２０のデータｇは、ｖ×ｕ行１列の１次元ベクトルに変換されて表されている。行列Ｈは、ベクトルｆの各成分ｆ１、ｆ２、・・・、ｆＮを波長バンドごとに異なる符号化情報で符号化および強度変調し、それらを加算する変換を表す。したがって、Ｈは、ｖ×ｕ行ｖ×ｕ×Ｎ列の行列である。
　ベクトルｇと行列Ｈが与えられれば、式（１）の逆問題を解くことにより、ｆを算出することができそうである。しかし、求めるデータｆの要素数ｖ×ｕ×Ｎが取得データｇの要素数ｖ×ｕよりも多いため、この問題は不良設定問題であり、このままでは解くことができない。そこで、処理装置２００は、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の式（２）を解くことにより、求めるデータｆが推定される。
Figure JPOXMLDOC01-appb-M000003
　ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値または二乗和平方根等を残差項としてもよい。括弧内の第２項は、正則化項または安定化項である。式（２）は、第１項と第２項との和を最小化するｆを求めることを意味する。処理装置２００は、再帰的な反復演算によって解を収束させ、最終的な解ｆ’を算出することができる。
　式（２）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによって変換したＨｆとの差の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。この関数は、推定データを滑らかまたは安定にする効果をもたらす。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）によって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間方向における対象物７０のスパース性は、対象物７０のテキスチャによって異なる。対象物７０のテキスチャが正則化項の空間方向においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数である。重み係数τが大きいほど冗長的なデータの削減量が多くなり、圧縮する割合が高まる。重み係数τが小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。
　なお、図１Ｂおよび図１Ｃに示す例では、フィルタアレイ１１０によって符号化された像が、イメージセンサ１６０の撮像面上でボケた状態で取得される。したがって、予めこのボケ情報を保有しておき、そのボケ情報を前述の行列Ｈに反映させることにより、ハイパースペクトル画像２２０を再構成することができる。ここで、ボケ情報は、点拡がり関数（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ：ＰＳＦ）によって表される。ＰＳＦは、点像の周辺画素への拡がりの程度を規定する関数である。例えば、画像上で１画素に相当する点像が、ボケによってその画素の周囲のｋ×ｋ画素の領域に広がる場合、ＰＳＦは、その領域内の各画素の輝度への影響を示す係数群、すなわち行列として規定され得る。ＰＳＦによる符号化パターンのボケの影響を、行列Ｈに反映させることにより、ハイパースペクトル画像２２０を再構成することができる。フィルタアレイ１１０が配置される位置は任意であるが、フィルタアレイ１１０の符号化パターンが拡散しすぎて消失しない位置が選択され得る。
　以上の処理により、フィルタアレイ１１０およびイメージセンサ１６０を用いた撮像によって生成される圧縮画像１２０に基づいて、ハイパースペクトル画像２２０を復元することができる。処理装置２００は、対象波長域に含まれるすべてのバンドについて圧縮センシングアルゴリズムを適用してハイパースペクトル画像２２０を生成して出力する。具体的には、処理装置２００は、イメージセンサ１６０に、対象物７０で反射された光を、フィルタアレイ１１０を介して検出させることにより、画像信号を生成させて出力させる。処理装置２００は、さらに、当該画像信号と、フィルタアレイ１１０から得られるＮ個の波長バンドにそれぞれ対応するＮ個のマスクデータとに基づいて、分光画像２２０Ｗ１から分光画像２００ＷＮを生成して出力する。
　当該Ｎ個のマスクデータは、第１のマスクデータＨ１、・・・、第ｉのマスクデータＨｉ、・・・、第ｊのマスクデータＨｊ、・・・、第ＮのマスクデータＨＮであってもよい。
　Ｈ＝（Ｈ１ ・・・ Ｈｉ ・・・ Ｈｊ ・・・ ＨＮ）であり、第１のマスクデータＨ１、・・・、第ｉのマスクデータＨｉ、・・・、第ｊのマスクデータＨｊ、・・・、第ＮのマスクデータＨＮのそれぞれは、ｖ×ｕ行ｖ×ｕ列の小行列であってもよい。第ｉのマスクデータＨｉ、第ｊのマスクデータＨｊを式（４）に例示する。
Figure JPOXMLDOC01-appb-M000004
　［マスクデータのランダム性と復元誤差との関係］
　次に、図５Ａおよび図５Ｂを参照して、フィルタアレイ１１０のマスクデータの空間方向におけるランダム性が復元精度に及ぼす影響を説明する。図５Ａは、あるフィルタアレイ１１０に含まれる２つの光学フィルタの透過スペクトルを示すグラフである。図５Ａに示すΔＴ５は、４５０ｎｍ以上４５５ｎｍ以下である幅５ｎｍの波長バンドにおける２つの光学フィルタの平均透過率の差を表す。図５Ａに示すΔＴ２０は、４５０ｎｍ以上４７０ｎｍ以下である幅２０ｎｍの波長バンドにおける２つの光学フィルタの平均透過率の差を表す。図５Ａに示すように、ΔＴ５＞ΔＴ２０であることがわかる。これは、波長バンドの幅、すなわち波長分解能が大きくなるほど、光学フィルタの透過率が波長方向に平均化されるためである。フィルタアレイ１１０において、光学フィルタの透過率が波長方向に平均化され、任意の２つの光学フィルタの平均透過率の差異が小さくなると、ある波長バンドについて、フィルタアレイ１１０の透過率の空間分布は一様な分布に近づく。その結果、フィルタアレイ１１０のマスクデータの空間方向におけるランダム性は低下する。
　図５Ｂは、あるフィルタアレイ１１０のマスクデータの空間方向におけるランダム性と波長分解能Δλとの関係を示すグラフである。空間方向におけるランダム性の指標として、特許文献２に開示されているように、第１の波長バンドの光についてのフィルタアレイ１１０に含まれる複数の光学フィルタに対応する複数の透過率の平均値μ１、～、第Ｎの波長バンドの光についてのフィルタアレイ１１０に含まれる複数の光学フィルタに対応する複数の透過率の平均値μＮの標準偏差σμが用いられている。波長分解能Δλが増加するほど、マスクデータの空間方向におけるランダム性は低下する。特許文献２に開示されているように、空間方向におけるランダム性の低下は、ハイパースペクトル画像の復元誤差を増加させるため、波長分解能Δλの増大は、ハイパースペクトル画像の復元誤差を増加させる。参考のために、特許文献２のすべての開示内容を参照によって本明細書に援用する。特許文献２に開示された、標準偏差σμの算出方法を下記に示す。
　Ｎ個の波長バンドに含まれる第ｉの波長バンド（ｉは１以上Ｎ以下の整数）の光について、フィルタアレイ１１０に含まれる複数の光学フィルタの透過率の平均値をμｉとする。フィルタアレイ１１０がＭ個（Ｍは４以上の整数）の光学フィルタを含み、Ｍ個の光学フィルタに含まれるｊ番目（ｊは１以上Ｍ以下の整数）の光学フィルタの第ｉの波長バンドの光についての透過率をＴｉｊとする。透過率の平均値μｉは、以下の式（５）で表される。
Figure JPOXMLDOC01-appb-M000005
　Ｎ個の波長バンドについての透過率の平均値μｉの標準偏差をσμとすると、σμは、以下の式（６）で表される。
Figure JPOXMLDOC01-appb-M000006
　次に、フィルタアレイ１１０のマスクデータの波長方向におけるランダム性が復元精度に及ぼす影響を説明する。以下の説明において、対象波長域は、Ｎ個の波長バンドを含む。わかりやすさのために、Ｎ個の波長バンドは、中心波長が短い順に番号付けされていると仮定して説明する。中心波長が短いほど番号が小さい。短い順ではなく長い順でもよい。ただし、そのような波長バンドの番号付けは必須ではない。
　マスクデータの波長方向におけるランダム性は、第iの波長バンドについての第iのマスクデータと、第ｊの波長バンドについての第ｊのマスクデータとの相関係数ｒｉｊを用いて評価される。ｉおよびｊは、１以上Ｎ以下の整数である。イメージセンサ１６０は、Ｎ個の波長バンドのうち、ある波長バンドに対応する光のみを検出することにより、当該波長バンドに対応する画素値分布に応じたマスクデータを出力する。そのようにして、上記の第ｉおよびｊのマスクデータを取得することができる。ある波長バンドに対応する光のみをイメージセンサ１６０に検出させる場合、ある波長バンドに対応する波長域から数ｎｍだけずれた波長の光が入射していてもよい。すなわち、ある波長バンドに対応する波長域の下限から数ｎｍだけ短い波長の光、または当該ある波長バンドに対応する波長域の上限から数ｎｍだけ長い波長の光がイメージセンサ１６０に入射してもよい。
　相関係数ｒｉｊは、２次相関係数として以下の式（３）によって表される。
Figure JPOXMLDOC01-appb-M000007
　式（３）に示す相関係数ｒｉｊは、波長バンドｉのマスクデータと波長バンドｊのマスクデータがどの程度類似しているかという類似度を示す指標である。類似性が高いほど、相関係数ｒｉｊは１に近づき、完全に一致すると１になる。反対に、類似性が低いほど、相関係数ｒｉｊは０に近づき、完全に相関がない場合に０になる。
　式（３）に示す相関係数ｒｉｊは、第ｉの波長バンドに対応する第ｉのマスクデータ、すなわち行列Ｈｉ、に含まれるｖ×ｕ×ｖ×ｕ個の成分、第ｊの波長バンドに対応する第ｊのマスクデータ、すなわち行列Ｈｊ、に含まれるｖ×ｕ×ｖ×ｕ個の成分に基づいて算出される。式（３）において、ｉｍｎは第ｉのマスクデータＨｉ、すなわち行列Ｈｉ、に含まれる（ｍ，ｎ）成分である。式（３）において、ｊｍｎは第ｊのマスクデータＨｊ、すなわち行列Ｈｊ、に含まれる（ｍ，ｎ）成分である。ｉ０は、第ｉのマスクデータ、すなわち行列Ｈｉ、に含まれる全ての成分の平均値である。つまり、ｉ０＝（ｉ11＋・・・＋ｉ(v×u）(v×u)）／（ｖ×ｕ×ｖ×ｕ）である。ｊ０は、第ｊのマスクデータ、すなわち行列Ｈｊ、に含まれる全ての成分の平均値である。つまり、ｊ０＝（ｊ11＋・・・＋ｊ(v×u）(v×u)）／（ｖ×ｕ×ｖ×ｕ）である。
　相関係数ｒ１１、・・・、相関係数ｒｉｊ、・・・、相関係数ｒＮＮを式（７）に示す行列Ｒで表現してもよい。
Figure JPOXMLDOC01-appb-M000008
　ｒ１１＝１、ｒ２２＝１、・・・、ｒＮＮ＝１である。ｒｉｊ（ｉ≠ｊ）は、波長バンドｉに対応する第ｉのマスクデータＨｊと波長バンドｊに対応する第ｊのマスクデータＨｊの類似度を表し、波長分解能およびハイパースペクトル画像の復元精度に寄与する。ｒｉｊ＝ｒｊｉである。複数の波長バンドを中心波長が短い順に番号付ける場合、行列Ｒにおいて、相関係数ｒｉｊは、波長バンドの中心波長が短い順に左から右に、かつ上から下に並べられる。
　第ｉのマスクデータＨｉは、第ｉの波長バンドの光についてのフィルタアレイ１１０の透過率分布を示すと解釈されてもよい。第ｊのマスクデータＨｊは、第ｊの波長バンドの光についてのフィルタアレイ１１０の透過率分布を示すと解釈されてもよい。
　第ｉのマスクデータＨｉ、すなわち行列Ｈｉは、対角行列であってもよい。
　行列Ｈｉに含まれる（１，１）成分であるｉ１１は、フィルタアレイ１１０に含まれる第１の光学フィルタの第ｉの波長バンドの光についての透過率、
　行列Ｈｉに含まれる（２，２）成分であるｉ２２は、フィルタアレイ１１０に含まれる第２の光学フィルタの第ｉの波長バンドの光についての透過率、・・・、
　行列Ｈｉに含まれる（ｖ×ｕ，ｖ×ｕ）成分であるｉ(v×u）(v×u)は、フィルタアレイ１１０に含まれる第（ｖ×ｕ）の光学フィルタの第ｉの波長バンドの光についての透過率を示すと解釈されもよい。
　第ｊのマスクデータＨｊ、すなわち行列Ｈｊは、対角行列であってもよい。
　行列Ｈｊに含まれる（１，１）成分であるｊ１１は、フィルタアレイ１１０に含まれる第１の光学フィルタの第ｊの波長バンドの光についての透過率、
　行列Ｈｊに含まれる（２，２）成分であるｊ２２は、フィルタアレイ１１０に含まれる第２の光学フィルタの第ｊの波長バンドの光についての透過率、・・・、
　行列Ｈｊに含まれる（ｖ×ｕ，ｖ×ｕ）成分であるｊ(v×u）(v×u)は、フィルタアレイ１１０に含まれる第（ｖ×ｕ）の光学フィルタの第ｊの波長バンドの光についての透過率を示すと解釈されもよい。
　第ｉのマスクデータ、すなわち行列Ｈｉ、に含まれる全ての成分の平均値であるｉ０＝（ｉ11＋・・・＋ｉ(v×u）(v×u)）／（ｖ×ｕ×ｖ×ｕ）は、フィルタアレイ１１０に含まれる複数の光学フィルタに対応する複数の第ｉの波長バンドの光についての透過率の平均値であると解釈されてもよい。
　第ｊのマスクデータ、すなわち行列Ｈｊ、に含まれる全ての成分の平均値であるｊ０＝（ｊ11＋・・・＋ｊ(v×u）(v×u)）／（ｖ×ｕ×ｖ×ｕ）は、フィルタアレイ１１０に含まれる複数の光学フィルタに対応する複数の第ｊの波長バンドの光についての透過率の平均値であると解釈されてもよい。
　行列Ｈ１、・・・、行列Ｈｉ、・・・、行列Ｈｊ、・・・、行列ＨＮのそれぞれが、ｖ×ｕ行ｖ×ｕ列の対角行列である場合の例は、行列Ｈに関する情報を取得する際の実測キャリブレーション時におけるイメージセンサ１６０の画素（ｐ，ｑ）、画素（ｒ,ｓ）間のクロストークと、エンドユーザが被写体７０を撮像したときのイメージセンサ１６０の画素（ｐ，ｑ）、画素（ｒ,ｓ）間のクロストークが同じであると判定される場合を含んでもよい（１≦ｐ、ｒ≦ｖ、１≦ｑ、ｓ≦ｕ、画素（ｐ，ｑ）≠画素（ｒ,ｓ））。上述したクロストークに関する条件が満たされているか否かは、撮像の際に使用する光学レンズなどを加味した撮像環境を考慮して判断されてもよく、また、各復元画像の画質がエンドユーザの目的を達成できるか否かを考慮して判断されてもよい。
　次に、図６を参照して、互いに隣接する２つの波長バンドにおける平均透過率の差を説明する。図６は、あるフィルタアレイ１１０に含まれる光学フィルタの透過スペクトルを示すグラフである。図６に示す例において、４６０ｎｍを境界にする２つの波長バンドの各々が２０ｎｍの波長分解能を有する場合、４４０ｎｍ以上４６０ｎｍ以下の波長バンドに対する当該光学フィルタの平均透過率と４６０ｎｍ以上４８０ｎｍ以下の波長バンドに対する当該光学フィルタの平均透過率の差をΔＴ２０とする。図６に示す例において、４６０ｎｍを境界にする２つの波長バンドの各々が５ｎｍの波長分解能を有する場合、４５５ｎｍ以上４６０ｎｍ以下の波長バンドに対する当該光学フィルタの平均透過率と４６０ｎｍ以上４６５ｎｍ以下の波長バンドに対する当該光学フィルタ平均透過率の差をΔＴ５とする。図６に示す例において、ΔＴ２０＞ΔＴ５である。
　図６に示すように、ある光学フィルタにおける互いに隣接する２つの波長バンドにおける平均透過率の差は波長分解能に依存する。光学フィルタの透過特性により異なるが、概ね以下のことが言える。光学フィルタの透過ピークがローレンツ関数によって近似的に表されると仮定して、波長分解能が光学フィルタの透過ピークの半値幅と２倍程度である場合、互いに隣接する２つの波長バンドにおける平均透過率の差はほぼ最大になる。これに対して、波長分解能が光学フィルタの透過ピークの半値幅と比較して３倍以上のように過度に広くなるほど、または０．５倍以下のように過度に狭くなるほど、互いに隣接する２つの波長バンドにおける平均透過率の差は小さくなる。
　光学フィルタの透過ピークの半値幅は、|λ２－λ１|または|λ４－λ３|であってもよい。
　図１４は、光学フィルタの透過ピークの半値幅が|λ２－λ１|であることを説明する図である。図１４に示すグラフの縦軸は光学フィルタの透過率、図１４に示すグラフの横軸は波長を示す。図１４において、λ１はＴ／２に対応する波長、λ２はＴ／２に対応する波長、Ｔは光学フィルタの透過率のピーク値である。
　図１５は、光学フィルタの透過ピークの半値幅が|λ４－λ３|であることを説明する図である。図１５に示すグラフの縦軸は光学フィルタの透過率、図１５に示すグラフの横軸は波長を示す。図１５において、λ３は（Ｔ－Ｔ１）／２に対応する波長、λ４は（Ｔ－Ｔ２）／２に対応する波長、Ｔは光学フィルタの透過率の極大値、Ｔ１は極大値Ｔに隣接する第１の極小値、Ｔ２は極大値Ｔに隣接する第２の極小値である。
　互いに隣接する２つの波長バンドにおける平均透過率の差が大きいほど、当該２つの波長バンドについてのマスクデータが「類似していない」ことになり、行列Ｒのｒｉｊ（ｉ≠ｊ）が０に近づく。行列Ｒのｒｉｊ（ｉ≠ｊ）が十分小さい場合、第ｉの波長バンドと第ｊの波長バンドは分離できる、すなわち、「波長」は「分解」できると言うことができる。波長バンド同士が分離できる否かは、波長分解能に応じて決まる。波長分解能は復元結果に影響を及ぼす。行列Ｒのｒｉｊ（ｉ≠ｊ）が十分小さいとは、例えば、当該ｒｉｊ（ｉ≠ｊ）が０．８以下である。
　次に、図７Ａおよび図７Ｂを参照して、行列Ｒのｒｉｊ（ｉ≠ｊ）に対応する第ｉの波長バンドと第ｊの波長バンドを分離できる条件を説明する。図７Ａは、あるフィルタアレイ１１０を用いて対象波長域内の１００個の波長バンドについてのハイパースペクトル画像を復元した場合の、相関係数、正解画像のスペクトル、復元画像のスペクトルを示すグラフである。相関係数は、５０番目の波長バンドに対するｒｉｊであり、ｉ＝５０および１≦ｊ≦１００である。正解画像のスペクトルは、５０番目の波長バンドにおいて１の強度を示し、残りの９９個の波長バンドにおいてゼロの強度を示す。正解画像の各波長バンドにおける強度は、正解画像に含まれる全画素の強度の平均値を、観測できる最大強度（８ビット画像においては強度２５５）で除した値である。１の強度は白色に相当し、ゼロの強度は黒色に相当する。図７Ａに示す実線は正解画像のスペクトルを表し、黒丸は復元画像のスペクトルを表し、白丸は相関係数を表す。
　図７Ａに示すように、正解画像のスペクトルは、５０番目の波長バンドにのみノンゼロの強度を示す一方、復元画像のスペクトルは、５０番目の波長バンドだけでなく、その周囲のバンドにおいてもノンゼロの強度を示す。復元画像の各波長バンドにおける強度は、復元画像に含まれる全画素の強度の平均である。復元画像のスペクトルがそのような強度を示す原因は、図７Ａに示す相関関数から明らかなように、５０番目の波長バンドについてのマスクデータと、その周囲の波長バンドについてのマスクデータとが類似しているためである。その結果、本来５０番目の波長バンドに振られるべき強度が、その周囲の波長バンドにも誤って割り振られてしまう。
　図７Ｂは、図７Ａに示す結果から、５０番目の波長バンド以外の９９個の波長バンドについての相関係数と復元誤差との関係をプロットしたグラフである。５０番目の波長バンド以外の９９個の波長バンドについては、正解画像が強度＝０となるため、復元画像の強度が復元誤差となる。すなわち、８ビットの復元画像の平均画素値がｘであるとき、復元誤差はｘ／２５５×１００（％）となる。相関係数が０．８以下である場合、復元誤差は３％以下である。一方、相関係数が０．８以上である場合、相関係数が増加するほど、復元誤差も急激に増加する。例えば、相関係数が０．９である場合、復元誤差が７％程度になる。復元誤差の急激な増加は、相関係数が０．８以上のマスクデータ同士が、互いの計算結果に強く影響を及ぼすことを意味している。図７Ａに示す例において、正しい復元画像のスペクトルは、５０番目の波長バンド以外の波長バンドにおいてゼロの強度を示すはずである。実際には、５０番目の波長バンドとその周囲の波長バンドとのマスクデータ同士が互いに影響を及ぼす結果、復元画像のスペクトルは、その周囲の波長バンドにおいて０．０７程度の強度を示す。
　図７Ａに示すように、２つの波長バンドにおけるマスクデータの類似性は相関係数に基づいて計算することができる。図７Ｂに示すように、相関係数が０．８以上になるマスクデータ同士は互いに類似し、互いの計算結果に影響を及ぼす。
　上記のことから、波長分解能の変更は、フィルタアレイ１１０のマスクデータの空間方向および波長方向におけるランダム性を低下させる可能性があり、その結果、ハイパースペクトル画像の復元誤差が増加し得る。ハイパースペクトル画像の復元誤差は波長分解能に依存するため、波長分解能を決定することにより、およその復元誤差を波長バンドごとに推定することが可能になる。
　［ハイパースペクトル画像の復元誤差を推定するためのシステムの例］
　以下に、本実施形態による、ハイパースペクトル画像の復元誤差を推定するためのシステムの例を説明する。まず、図８Ａおよび図８Ｂを参照して、本実施形態によるシステムの第１の例を説明する。図８Ａは、本実施形態によるシステムの第１の例を模式的に示すブロック図である。図８Ａに示すシステムは、処理装置２００と、処理装置２００に接続されるディスプレイ３３０とを備える。
　処理装置２００は、信号処理回路２５０と、フィルタアレイ１１０のマスクデータを記録するメモリ２１０とを備える。フィルタアレイ１１０のマスクデータは、サーバを介して配信されてもよい。メモリ２１０は、さらに、信号処理回路２５０に含まれるプロセッサが実行するコンピュータプログラムを記憶する。信号処理回路２５０は、例えば、ＣＰＵまたはＧＰＵなどのプロセッサを備える集積回路であり得る。メモリ２１０は、例えばＲＡＭおよびＲＯＭであり得る。
　ディスプレイ３３０は、復元条件および撮像条件をユーザに入力させるための入力ユーザインターフェース（ＵＩ）４００を表示する。入力ＵＩ４００は、グラフィカルユーザインターフェース（ＧＵＩ）として表示される。入力ＵＩ４００に示される情報は、ディスプレイ３３０に表示されると言うこともできる。
　入力ＵＩ４００は、例えばキーボードおよびマウスなどの入力装置を含み得る。入力ＵＩ４００は、タッチスクリーンなどの、入力および出力の両方が可能なデバイスによって実現されていてもよい。その場合、タッチスクリーンがディスプレイ３３０の機能も兼ねていてもよい。
　復元条件は、例えば、復元誤差の推定に用いられる波長分解能および復元パラメータである。復元パラメータは、例えば、式（２）によって表される評価関数の重みτ、および評価関数を反復計算によって最小化させる際の反復回数であり得る。撮像条件は、例えば、撮像時の露光時間およびフレームレートである。
　復元条件は、撮像条件とともにユーザによって設定されてもよい。あるいは、復元条件のうち、一部の復元条件が予め製造者によって設定され、残りの復元条件がユーザによって設定されてもよい。信号処理回路２５０は、設定された波長分解能とマスクデータとに基づいて復元誤差を推定する。
　図８Ｂは、図８Ａに示すシステムにおける信号処理回路２５０が実行する動作の例を概略的に示すフローチャートである。信号処理回路２５０は、図８Ｂに示すステップＳ１０１からＳ１０５の動作を実行する。
　＜ステップＳ１０１＞
　信号処理回路２５０は、ディスプレイ３３０に入力ＵＩ４００を表示させる。ユーザは、Ｎ枚（Ｎは４以上の整数）の分光画像にそれぞれ対応するＮ個の波長バンドを指定する指定情報を入力ＵＩ４００に入力する。指定情報は、Ｎ枚の分光画像の各々に対応する波長分解能を示す情報を含む。指定情報はＮ個の波長バンドそれぞれの下限波長と上限波長を含んでもよい。
　＜ステップＳ１０２＞
　信号処理回路２５０は、入力ＵＩ４００に入力された指定情報を取得する。
　＜ステップＳ１０３＞
　信号処理回路２５０は、メモリ２１０からマスクデータを取得する。当該マスクデータには、Ｎ個の波長バンドについてのフィルタアレイ１１０の分光透過率の空間分布が反映されている。マスクデータは、異なる指定情報のそれぞれに対応するマスクデータを予め用意しておき、入力ＵＩ４００に入力された指定情報に対応したマスクデータを取得してもよい。また、指定情報に基づいてマスクデータに変換を施すことによって、指定情報に対応したマスクデータを生成してもよい。指定情報に対応したマスクデータの生成方法は例えば、ＷＯ２０２１／１９２８９１に記載されている。
　＜ステップＳ１０４＞
　信号処理回路２５０は、指定情報およびマスクデータに基づいてハイパースペクトル画像の復元誤差を推定する。具体的には、信号処理回路２５０は、指定情報およびマスクデータに基づいて、空間方向におけるランダム性の指標σおよび波長方向におけるランダム性の指標ｒｉｊを算出し、算出されたσおよび算出されたｒｉｊに基づいて復元誤差を推定する。復元誤差の推定においては、例えば算出されたσから特許文献２の方法を用いて空間方向のランダム性に基づく復元誤差（ＭＳＥspace）を推定することと、算出されたｒｉｊから図７Ｂの関係に基づいて波長方向のランダム性に基づく復元誤差（ＭＳＥspectral）を推定することとを行い、二つの復元誤差が互いに独立であるとして誤差の伝播法則を用いて合計の復元誤差（ＭＳＥtotal）を推定することができる。ここで、誤差の伝播法則より、ＭＳＥtotal＝√（（ＭＳＥspace）2＋（ＭＳＥspectral）2）である。空間方向におけるランダム性を表す指標としてσを用いる代わりに、例えばσをフィルタアレイ１１０の平均透過率μによって除算したσ/μを用いてもよい。波長方向におけるランダム性の指標として、式（３）によって表されるｒｉｊに限らず、２つの波長バンド間におけるマスクデータの類似度を示す別の指標を用いてもよい。
　上記の復元誤差を推定において、信号処理回路２５０は、指定情報に基づいて、マスクデータから第ｉおよび第ｊのマスクデータを抽出し、第ｉおよび第ｊのマスクデータの相関係数に基づいて、復元誤差を推定する。第ｉおよび第ｊのマスクデータには、それぞれ、Ｎ個の波長バンドのうち、第ｉおよび第ｊの波長バンドに対応するフィルタアレイ１１０の透過率の空間分布が反映されている。
　＜ステップＳ１０５＞
　信号処理回路２５０は、推定した復元誤差を示す信号を出力する。当該信号の出力先は用途によって決まり、例えばディスプレイ３３０または他の信号処理回路であり得る。
　次に、図９Ａから図９Ｄを参照して、本実施形態によるシステムの第２の例を説明する。マスクデータではなく、マスクデータに紐づく波長分解能と復元誤差との関係を示すデータを取得することにより、ハイパースペクトル画像の復元誤差を推定することができる。本明細書では、そのようなデータを、「復元誤差テーブル」と称する。
　図９Ａは、本実施形態によるシステムの第２の例を模式的に示すブロック図である。図９Ａに示すシステムが、図８Ａに示すシステムとは異なる点は、メモリ２１０が、復元誤差データを記憶することである。マスクデータは、画素数×波長数という情報量の多いデータである。マスクデータではなく復元誤差テーブルを用いることにより、復元誤差を推定する際にメモリ２１０から取得するデータ量、あるいはサーバから配信されるデータ量を削減することができる。
　図９Ｂは、図９Ａに示すシステムにおける信号処理回路２５０が実行する動作の例を概略的に示すフローチャートである。信号処理回路２５０は、図９Ｂに示すステップＳ２０１からＳ２０５の動作を実行する。
　＜ステップＳ２０１、Ｓ２０２、およびＳ２０５＞
　ステップＳ２０１、Ｓ２０２、およびＳ２０５の動作は、それぞれ、図８Ｂに示すステップＳ１０１、Ｓ１０２、およびＳ１０５の動作と同じである。
　＜ステップＳ２０３＞
　信号処理回路２５０は、メモリ２１０から復元誤差データを取得する。
　＜ステップＳ２０４＞
　信号処理回路２５０は、指定情報および復元誤差テーブルに基づいてハイパースペクトル画像の復元誤差を推定する。
　図９Ｃは、復元誤差テーブルの例を示す表である。図９Ｃに示す復元誤差テーブルは、波長分解能と復元誤差との関係に関する情報を含む。復元誤差テーブルにより、波長分解能から復元誤差を求めることができる。波長分解能は、長さｎｍではなく、一意に変換できる他の単位、例えば周波数Ｈｚまたは波数ｃｍ－１によって表されてもよい。復元誤差は、割合％ではなく、一意に変換できる他の単位または指標、例えばＭＳＥまたはＰＳＮＲによって表されてもよい。
　図９Ｃに示す復元誤差テーブルは具体的な数値テーブルであるが、復元誤差を波長分解能の関数として表してもよい。図９Ｄは、復元誤差が波長分解能の関数として表される例を示すグラフである。横軸は波長分解能を表し、縦軸は復元誤差を表す。図９Ｄに示すグラフは、図７Ａおよび図７Ｂに示す結果から得ることができる。
　次に、図１０Ａおよび図１０Ｂを参照して、本実施形態によるシステムの第３の例を説明する。圧縮センシング技術をハイパースペクトルカメラに適用する場合、空間方向だけでなく波長方向にも信号が圧縮および復元される。波長方向における信号の復元時に複数の波長バンドにおいてマスクデータを平均化することにより、複数の波長バンドを１つの波長バンドとして取り扱うことが可能になる。そのようなマスクデータの変換処理では、波長分解能を復元演算時に決定することができる（国際公開第２０２１／１９２８９１号）。すなわち、波長分解能は、カメラのハードウェアによって固定されず、製造者またはユーザによって変更することができる。参考のために、国際公開第２０２１／１９２８９１号のすべての開示内容を参照によって本明細書に援用する。
　図１０Ａおよび図１０Ｂは、それぞれ、本実施形態によるシステムの第３および第４の例を模式的に示すブロック図である。図１０Ａおよび図１０Ｂに示すシステムは、撮像装置１００と、処理装置２００と、表示装置３００と、入力ＵＩ４００とを備える。撮像装置１００、表示装置３００、および入力ＵＩ４００は、処理装置２００に接続されている。ユーザは、復元条件および撮像条件を入力ＵＩ４００に入力する。
　撮像装置１００は、制御回路１５０と、イメージセンサ１６０とを備える。制御回路１５０は、撮像条件を取得し、当該撮像条件に基づいてイメージセンサ１６０の撮像動作を制御する。
　処理装置２００は、メモリ２１０と、信号処理回路２５０とを備える。信号処理回路２５０は、復元条件を取得し、当該復元条件に基づいてマスクデータを変換する。信号処理回路２５０は、変換したマスクデータと、イメージセンサ１６０から出力される圧縮画像とに基づく復元演算により、分光画像を生成してその画像信号を出力する。信号処理回路２５０は、さらに復元誤差を推定する。
　表示装置３００は、メモリ３１０と、画像処理回路３２０と、ディスプレイ３３０とを備える。メモリ３１０は、復元条件を取得する。画像処理回路３２０は、信号処理回路２５０から出力される画像信号を取得し、復元条件に基づいて画像信号を処理する。ディスプレイ３３０は、画像処理の結果を表示する。ディスプレイ３３０は、入力ＵＩ４００を表示してもよい。
　図１０Ａに示す例において、信号処理回路２５０は、入力ＵＩ４００から波長分解能を取得し、メモリ２１０からマスクデータまたは復元誤差テーブルを取得して、復元誤差を推定する。信号処理回路２５０は、さらにマスクデータを変換する。復元誤差の推定およびマスクデータの変換の順序は問わないが、マスクデータを変換するよりも前に、復元誤差を推定することにより、復元誤差が大きい場合に、マスクデータの変換処理を省略することができる。さらに、復元誤差が大きいことを、ディスプレイ３３０を通じてユーザにフィードバックすることができる。
　図１０Ｂに示す例において、信号処理回路２５０は、マスクデータを変換した後に、復元誤差を推定する。変換後のマスクデータには波長分解能の情報が含まれるので、入力ＵＩ４００から波長分解能を取得することを省略できる。
　次に、図１１Ａから図１１Ｃを参照して、本実施形態によるシステムの第５の例を説明する。図１１Ａは、本実施形態によるシステムの第５の例を模式的に示すブロック図である。図１１Ａに示すシステムが図８Ａに示すシステムとは異なる点は、ディスプレイ３３０が、入力ＵＩ４００だけでなく、復元誤差を示す表示ＵＩ４１０を表示することである。表示ＵＩ４１０の機能は、入力ＵＩ４００の機能と同じである。表示ＵＩ４１０は、ＧＵＩとして表示される。表示ＵＩ４１０に示される情報は、ディスプレイ３３０に表示されると言うこともできる。表示ＵＩ４１０は、ディスプレイ３３０ではなく、他のディスプレイに表示されてもよい。
　図１１Ｂは、図１１Ａに示すシステムにおける信号処理回路２５０が実行する動作の例を概略的に示すフローチャートである。信号処理回路２５０は、図１１Ｂに示すステップＳ３０１からＳ３０６の動作を実行する。
　＜ステップＳ３０１からＳ３０５＞
　ステップＳ３０１からＳ３０５の動作は、図８Ｂに示すステップＳ１０１からＳ１０５の動作と同じである。なお、ステップＳ３０３において信号処理回路２５０が取得するデータは、マスクデータではなく、復元誤差テーブルであってよい。ステップＳ３０５において、信号処理回路２５０は、復元誤差を示す信号を、ディスプレイ３３０に向けて出力する。
　＜ステップＳ３０６＞
　信号処理回路２５０は、復元誤差を示す表示ＵＩ４１０をディスプレイ３３０に表示させる。
　図１１Ｃは、図１１Ａに示すシステムにおける信号処理回路２５０が実行する動作の他の例を概略的に示すフローチャートである。信号処理回路２５０は、図１１Ｂに示すステップＳ３０１からＳ３０６のうち、ステップＳ３０４とＳ３０５との間に、図１１Ｃに示すステップＳ３０７の動作を実行する。
　＜ステップＳ３０７＞
　信号処理回路２５０は、復元誤差が所定の閾値以下であるか否かを判定する。閾値は製造者によって予め設定されていてもよいし、ユーザによって入力ＵＩ４００を用いて設定されてもよい。判定がＹｅｓである場合、信号処理回路２５０は動作を終了する。判定がＮｏである場合、信号処理回路２５０はステップＳ３０５の動作を実行する。
　［表示ＵＩの例］
　次に、図１２Ａから図１２Ｄを参照して、復元誤差が所定の閾値を超える場合の、表示ＵＩ４１０の例を説明する。図１２Ａから図１２Ｄは、それぞれ、復元誤差が所定の閾値を超える場合の、表示ＵＩ４１０の第１から第４の例を示す図である。
　図１２Ａに示す例において、ユーザは、波長分解能を３０ｎｍに設定する。対象波長域は、４２０ｎｍ以上４８０ｎｍ以下の波長域、および６００ｎｍ以上６９０ｎｍ以下の波長域である。４２０ｎｍ以上４８０ｎｍ以下の波長域は、４２０ｎｍ以上４５０ｎｍ以下の波長バンド、および４５０ｎｍ以上４８０ｎｍ以下の波長バンドを含む。６００ｎｍ以上６９０ｎｍ以下の波長域は、６００ｎｍ以上６３０ｎｍ以下の波長バンド、６３０ｎｍ以上６６０ｎｍ以下の波長バンド、および６６０ｎｍ以上６９０ｎｍ以下の波長バンドを含む。対象波長域に含まれる上記の５個の波長バンドのうち、互いに隣り合う４５０ｎｍ以上４８０ｎｍ以下の波長バンドおよび６００ｎｍ以上６３０ｎｍ以下の波長バンドは不連続である。
　図１２Ａに示す例では、上記の５つの波長バンドにそれぞれ対応する５つの分光画像の復元誤差が、パーセント表記で表示ＵＩ４１０に表示される。復元誤差は、ＭＳＥおよびＰＳＮＲのような指標を用いて表示されてもよい。波長バンドごとに復元誤差が推定されるため、復元誤差が大きい波長バンドを強調して表示してもよい。図１２Ａに示す例では、２％を超える復元誤差が強調して表示されている。復元誤差が大きい波長バンドのみを表示してもよい。設定される波長分解能は、波長域によって異なっていてもよい。例えば、ある波長域における波長分解能を１０ｎｍに設定し、他の波長域における波長分解能を２０ｎｍに設定してもよい。この場合においても、復元される複数の分光画像の各々の復元誤差が推定され、表示ＵＩ４１０に表示される。以上のように、信号処理回路２５０は、復元誤差をディスプレイ３３０に表示させる。
　図１２Ｂに示す例では、推定された復元誤差が閾値を超える場合、表示ＵＩ４１０にエラー情報４１２が表示される。エラー情報４１２は、推定された復元誤差が閾値を超えることをユーザに伝える表現を含む。ある波長バンドについての分光画像の復元誤差が閾値を超える場合にエラー情報４１２を表示してもよい。あるいは、複数の波長バンドについての複数の分光画像の復元誤差の平均値が閾値を超える場合に、エラー情報４１２を表示してもよい。複数の分光画像の復元誤差に重み付けを行い、加重平均が閾値を超える場合にエラー情報４１２を表示してもよい。以上のように、信号処理回路２５０は、復元誤差が所定の閾値を超える場合、ディスプレイ３３０に警告を表示させる。
　図１２Ｃに示す例では、復元誤差が大きい波長バンドが視覚的に目立つように表示される。数値表示またはエラー表示ではなくでも、復元誤差が大きい波長バンドを強調して表示することにより、ユーザに注意を促すことができる。図１２Ｃに示す例では、太枠によって囲まれるハッチングによって復元誤差が強調して表示されている。ハッチングが濃いほど、復元誤差が大きい。強調表示として、「！」の記号または点滅のような種々の変形例があり得る。以上のように、信号処理回路２５０は、復元誤差が所定の閾値を超える場合、復元誤差が大きい波長バンドを強調して表示する。
　図１２Ｄに示す例では、圧縮画像に基づいて生成された５枚の分光画像のうち、閾値を超える復元誤差を有する分光画像が太枠によって強調して表示される。このように、信号処理回路２５０は、圧縮画像に基づいてＮ枚の分光画像を生成し、Ｎ枚の分光画像を表示ＵＩ４４０に表示し、Ｎ枚の分光画像のうち、所定の閾値を超える復元誤差を有する少なくとも１つの分光画像を強調して表示する。
　次に、図１３Ａから図１３Ｅを参照して、推定された復元誤差に基づいて何らかの操作を推奨したり実行したりする場合の、表示ＵＩ４１０の例を説明する。図１３Ａから１３Ｅは、推定された復元誤差に基づいて何らかの操作を推奨したり実行したりする場合の、表示ＵＩ４１０の第１から第５の例を示す図である。
　図１３Ａに示す例では、推定された復元誤差が閾値を超える場合、表示ＵＩ４１０にエラー情報４１２が表示される。エラー情報４１２は、波長分解能の設定を修正することを推奨する表現を含み、波長分解能の再入力のためにユーザを入力ＵＩ４００に誘導する。このように、信号処理回路２５０は、指定情報をユーザに再入力させるための入力ＵＩ４００をディスプレイ３３０に表示させる。
　図１３Ｂに示す例では、図１３Ａに示す例と同様に、エラー情報４１２が表示される。エラー情報４１２は、推定される復元誤差が閾値以下になるように波長バンドの設定を自動で修正する表現を含む。このように、信号処理回路２５０は、波長バンドを自動で修正するか否かのメッセージをディスプレイ３３０に表示させる。
　図１３Ｃおよび図１３Ｄに示す例では、それぞれ、表示ＵＩ４１０に、波長バンドの修正結果が数値および図によって表示される。図１３Ｃおよび／または図１３Ｄに示す例では、修正された箇所を強調して表示してもよい。このように、信号処理回路２５０は、マスクデータに基づいて、復元誤差が所定の閾値以下になるようにＮ個の波長バンドを変更し、変更したＮ個の波長バンドをディスプレイ３３０に表示させる。
　図１３Ｅに示す例では、表示ＵＩ４１０に確認情報４１４が表示される。確認情報４１４は、修正結果を受け入れるかどうかの表現を含む。ユーザが修正結果を受け入れる場合にのみ、修正結果を反映してもよい。このように、信号処理回路２５０は、修正結果を受け入れるか否かのメッセージをディスプレイ３３０に表示させる。
　前述した例では、マスクデータの波長方向におけるランダム性に依存する復元誤差を説明したが、実際にはマスクデータの空間方向におけるランダム性に依存する復元誤差も存在する。本実施形態では、これら２つの復元誤差の２乗和の平方根を復元誤差として表示ＵＩ４１０に表示してよい。あるいは、これら２つの復元誤差を、表示ＵＩ４１０に別々に表示してもよい。
　本開示の技術は、例えば、多波長または高解像度の画像を取得するカメラおよび測定機器に有用である。本開示の技術は、例えば、生体・医療・美容向けセンシング、食品の異物・残留農薬検査システム、リモートセンシングシステムおよび車載センシングシステムにも応用できる。
　　７０　　　　対象物
　　１００　　　撮像装置
　　１１０　　　フィルタアレイ
　　１２０　　　圧縮画像
　　１４０、１４０Ａ　　　光学系
　　１５０　　　制御回路
　　１６０　　　イメージセンサ
　　２００　　　処理装置
　　２１０　　　メモリ
　　２２０　　　ハイパースペクトル画像
　　２２０Ｗ１～２２０ＷＮ　　分光画像
　　２５０　　　信号処理回路
　　３００　　　表示装置
　　３１０　　　メモリ
　　３２０　　　画像処理回路
　　３３０　　　ディスプレイ
　　４００　　　入力ＵＩ
　　４１０　　　表示ＵＩ
　　４１２　　　エラー情報
　　４１４　　　確認情報

Claims (13)

  1. 　コンピュータによって実行される信号処理方法であって、
    　スペクトル情報が圧縮された圧縮画像に基づいて生成されるＮ枚（Ｎは４以上の整数）の分光画像にそれぞれ対応するＮ個の波長バンドを指定する指定情報を取得することと、
    　前記指定情報に基づいて、前記Ｎ枚の分光画像の各々の復元誤差を推定することと、
    　前記復元誤差を示す信号を出力することと、
    を含む、方法。
  2. 　前記圧縮画像は、分光透過率が互いに異なる複数種類の光学フィルタを含むフィルタアレイ、およびイメージセンサを用いた撮像によって生成され、
    　前記方法は、前記Ｎ個の波長バンドについての前記フィルタアレイの前記分光透過率の空間分布が反映されたマスクデータを取得することをさらに含み、
    　前記復元誤差を推定することは、前記指定情報および前記マスクデータに基づいて前記復元誤差を推定することを含む、
    　請求項１に記載の方法。
  3. 　前記Ｎ個の波長バンドは、第ｉの波長バンド、および第ｊの波長バンドを含み、
    　前記復元誤差を推定することは、
    　前記指定情報に基づいて、前記マスクデータから、前記Ｎ個の波長バンドのうち、前記第ｉの波長バンドに対応する前記フィルタアレイの透過率の空間分布が反映された第ｉのマスクデータと、前記第ｊの波長バンドに対応する前記フィルタアレイの透過率の空間分布が反映された第ｊのマスクデータとを抽出することと、
    　前記第ｉのマスクデータと前記第ｊのマスクデータとの相関係数に基づいて、前記復元誤差を推定することと、
    を含む、
    　請求項２に記載の方法。
  4. 　前記コンピュータに接続されるディスプレイに、前記指定情報をユーザに入力させるためのＧＵＩを表示させることをさらに含む、
    　請求項２または３に記載の方法。
  5. 　前記復元誤差が所定の閾値を超える場合、前記ディスプレイに警告を表示させることをさらに含む、
    　請求項４に記載の方法。
  6. 　前記指定情報を前記ユーザに再入力させるためのＧＵＩを前記ディスプレイに表示させることをさらに含む、
    　請求項５に記載の方法。
  7. 　前記マスクデータに基づいて、前記復元誤差が前記所定の閾値以下になるように、前記Ｎ個の波長バンドを変更することと、
    　変更した前記Ｎ個の波長バンドを前記ディスプレイに表示させることをさらに含む、
    　請求項５に記載の方法。
  8. 　前記圧縮画像に基づいて前記Ｎ枚の分光画像を生成することと、
    　前記Ｎ枚の分光画像を前記ディスプレイに表示することと、
    　前記Ｎ枚の分光画像のうち、所定の閾値を超える復元誤差を有する少なくとも１つの分光画像を強調して表示することと、
    をさらに含む、
    　請求項４に記載の方法。
  9. 　前記復元誤差を前記ディスプレイに表示させることをさらに含む、
    　請求項４から８のいずれかに記載の方法。
  10. 　前記Ｎ個の波長バンドは、互いに隣り合う不連続の２つの波長バンドを含む、
    　請求項１から９のいずれかに記載の方法。
  11. 　前記波長バンドと前記復元誤差の関係を示すデータを取得することをさらに含み、
    　前記復元誤差を推定することは、前記データに基づいて、前記Ｎ枚の分光画像の各々の前記復元誤差を推定することを含む、請求項１に記載の方法。
  12. 　コンピュータによって実行されるプログラムであって、
    　前記プログラムは、前記コンピュータに、
    　　スペクトル情報が圧縮された圧縮画像に基づいて生成されるＮ枚（Ｎは４以上の整数）の分光画像にそれぞれ対応するＮ個の波長バンドを指定する指定情報を取得することと、
    　　前記指定情報に基づいて、前記Ｎ枚の分光画像の各々の復元誤差を推定することと、
    　　前記復元誤差を示す信号を出力することと、
    を実行させる、プログラム。
  13. 　信号処理回路を備えるシステムであって、
    　前記信号処理回路は、
    　　スペクトル情報が圧縮された圧縮画像に基づいて生成されるＮ枚（Ｎは４以上の整数）の分光画像にそれぞれ対応するＮ個の波長バンドを指定する指定情報を取得し、
    　前記指定情報に基づいて、前記Ｎ個の分光画像の各々の復元誤差を推定して前記復元誤差を示す信号を出力する、
    　システム。
PCT/JP2022/043656 2021-12-08 2022-11-28 信号処理方法、プログラム、およびシステム WO2023106142A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-199555 2021-12-08
JP2021199555 2021-12-08

Publications (1)

Publication Number Publication Date
WO2023106142A1 true WO2023106142A1 (ja) 2023-06-15

Family

ID=86730427

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/043656 WO2023106142A1 (ja) 2021-12-08 2022-11-28 信号処理方法、プログラム、およびシステム

Country Status (1)

Country Link
WO (1) WO2023106142A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002208860A (ja) * 2001-01-05 2002-07-26 Rooran:Kk データ圧縮装置とそのデータ圧縮方法及びデータ圧縮用プログラムを記録したコンピュータ読み取り可能な記録媒体、並びにデータ伸長装置とそのデータ伸長方法
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
WO2021145054A1 (ja) * 2020-01-16 2021-07-22 パナソニックＩｐマネジメント株式会社 光学フィルタアレイ、光検出装置、および光検出システム
WO2021192891A1 (ja) * 2020-03-26 2021-09-30 パナソニックＩｐマネジメント株式会社 信号処理方法、信号処理装置、および撮像システム
WO2022044692A1 (ja) * 2020-08-24 2022-03-03 パナソニックＩｐマネジメント株式会社 フィルタアレイおよび撮像システム
WO2022230640A1 (ja) * 2021-04-28 2022-11-03 パナソニックＩｐマネジメント株式会社 画像処理装置、撮像システム、および復元画像の誤差を推定する方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002208860A (ja) * 2001-01-05 2002-07-26 Rooran:Kk データ圧縮装置とそのデータ圧縮方法及びデータ圧縮用プログラムを記録したコンピュータ読み取り可能な記録媒体、並びにデータ伸長装置とそのデータ伸長方法
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
WO2021145054A1 (ja) * 2020-01-16 2021-07-22 パナソニックＩｐマネジメント株式会社 光学フィルタアレイ、光検出装置、および光検出システム
WO2021192891A1 (ja) * 2020-03-26 2021-09-30 パナソニックＩｐマネジメント株式会社 信号処理方法、信号処理装置、および撮像システム
WO2022044692A1 (ja) * 2020-08-24 2022-03-03 パナソニックＩｐマネジメント株式会社 フィルタアレイおよび撮像システム
WO2022230640A1 (ja) * 2021-04-28 2022-11-03 パナソニックＩｐマネジメント株式会社 画像処理装置、撮像システム、および復元画像の誤差を推定する方法

Similar Documents

Publication Publication Date Title
JP6952277B2 (ja) 撮像装置および分光システム
JP6064290B2 (ja) 撮像装置、分光システム、および分光方法
WO2021192891A1 (ja) 信号処理方法、信号処理装置、および撮像システム
WO2021246192A1 (ja) 信号処理方法、信号処理装置、および撮像システム
WO2021085014A1 (ja) フィルタアレイおよび光検出システム
JP6945195B2 (ja) 光学フィルタ、光検出装置、および光検出システム
EP4092397A1 (en) Optical filter array, optical detection device, and optical detection system
WO2022163421A1 (ja) 検査対象に含まれる異物を検出する方法および装置
JP2016130727A (ja) 撮像装置
WO2022230640A1 (ja) 画像処理装置、撮像システム、および復元画像の誤差を推定する方法
WO2023106142A1 (ja) 信号処理方法、プログラム、およびシステム
WO2023282069A1 (ja) 信号処理装置および信号処理方法
WO2023106143A1 (ja) 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
JP2016090290A (ja) 撮像装置、分光システム、および分光方法
WO2023286613A1 (ja) フィルタアレイ、光検出装置、および光検出システム
JP7122636B2 (ja) フィルタアレイおよび光検出システム
JP2024020922A (ja) 復元画像の評価方法および撮像システム、
WO2024043009A1 (ja) 信号処理方法および信号処理装置
WO2024053302A1 (ja) 情報処理方法および撮像システム
WO2022270355A1 (ja) 撮像システム、撮像システムに用いられる方法、および撮像システムに用いられるコンピュータプログラム
CN118251898A (zh) 在生成分光图像的系统中使用的装置及滤光器阵列、生成分光图像的系统以及滤光器阵列的制造方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22904073

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023566241

Country of ref document: JP

Kind code of ref document: A