WO2023282069A1 - 信号処理装置および信号処理方法 - Google Patents

信号処理装置および信号処理方法 Download PDF

Info

Publication number
WO2023282069A1
WO2023282069A1 PCT/JP2022/025013 JP2022025013W WO2023282069A1 WO 2023282069 A1 WO2023282069 A1 WO 2023282069A1 JP 2022025013 W JP2022025013 W JP 2022025013W WO 2023282069 A1 WO2023282069 A1 WO 2023282069A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
information
wavelength
image data
mask
Prior art date
Application number
PCT/JP2022/025013
Other languages
English (en)
French (fr)
Inventor
基樹 八子
孝行 清原
克弥 能澤
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN202280040739.8A priority Critical patent/CN117460947A/zh
Priority to JP2023533523A priority patent/JPWO2023282069A1/ja
Publication of WO2023282069A1 publication Critical patent/WO2023282069A1/ja
Priority to US18/540,962 priority patent/US20240119645A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • the present disclosure relates to a signal processing device and a signal processing method.
  • spectral information of a large number of wavelength bands each of which is a narrow band, for example, ten bands or more
  • Cameras that acquire images in such multiple wavelength bands include "hyperspectral cameras” and “multispectral cameras”. These cameras are used in various fields such as food inspection, biopsy, drug development, and mineral composition analysis.
  • Patent Document 1 discloses a compressed sensing hyperspectral camera.
  • Compressed sensing is a technique that restores more data than observed data by assuming that the data distribution of the observed object is sparse in a certain space (for example, frequency space). The estimation operation assuming the sparsity of the observed object is called "sparse reconstruction”.
  • a hyperspectral camera disclosed in U.S. Pat. No. 6,200,000 acquires monochrome images through an array of filters whose spectral transmittance has maxima at multiple wavelengths. The imaging device restores a hyperspectral image from the monochrome image by calculation based on sparse reconstruction.
  • Non-Patent Document 1 discloses an example of a snapshot-type hyperspectral imaging device suitable for observing the spectrum of fluorescence emitted from a phosphor.
  • the present disclosure provides techniques for reducing the load of reconstruction operations by efficiently generating images of the required wavelength bands.
  • a method is a computer-implemented signal processing method.
  • the method includes obtaining compressed image data including two-dimensional image information of an object obtained by compressing hyperspectral information in a wavelength range of interest; and extracting one or more spectral information associated with the object. and generating from the compressed image data a plurality of two-dimensional image data corresponding to a plurality of designated wavelength bands determined based on the reference spectral data.
  • a method recovers spectral image data for each wavelength band from compressed image data including two-dimensional image information of a subject obtained by compressing hyperspectral information in a wavelength range of interest.
  • a method is a computer-implemented signal processing method.
  • the method includes obtaining compressed image data including two-dimensional image information of an object obtained by compressing hyperspectral information in a wavelength range of interest; and extracting one or more spectral information associated with the object.
  • a graphical user interface for designating restoration conditions for acquiring reference spectral data including; and specifying restoration conditions for generating a plurality of two-dimensional image data corresponding to a plurality of designated wavelength bands from the compressed image data; and the reference spectrum and causing the data-based images to be displayed together on a display.
  • Computer-readable recording media include non-volatile recording media such as CD-ROMs (Compact Disc-Read Only Memory).
  • a device may consist of one or more devices. When the device is composed of two or more devices, the two or more devices may be arranged in one device, or may be divided and arranged in two or more separate devices. As used herein and in the claims, a "device" can mean not only one device, but also a system of multiple devices.
  • FIG. 1A is a diagram schematically showing a configuration example of an imaging system.
  • FIG. 1B is a diagram schematically showing another configuration example of the imaging system.
  • FIG. 1C is a diagram schematically showing still another configuration example of the imaging system.
  • FIG. 1D is a diagram schematically showing still another configuration example of the imaging system.
  • FIG. 2A is a diagram schematically showing an example of a filter array.
  • FIG. 2B is a diagram showing an example of a spatial distribution of light transmittance in each of a plurality of wavelength bands included in the target wavelength band.
  • FIG. 2C is a diagram showing an example of spectral transmittance of area A1 included in the filter array shown in FIG. 2A.
  • FIG. 1A is a diagram schematically showing a configuration example of an imaging system.
  • FIG. 1B is a diagram schematically showing another configuration example of the imaging system.
  • FIG. 1C is a diagram schematically showing still another configuration example of the imaging system.
  • FIG. 2A is
  • FIG. 2D is a diagram showing an example of spectral transmittance of area A2 included in the filter array shown in FIG. 2A.
  • FIG. 3A is a diagram for explaining an example of the relationship between a target wavelength band and multiple wavelength bands included therein.
  • FIG. 3B is a diagram for explaining another example of the relationship between a target wavelength band and multiple wavelength bands included therein.
  • FIG. 4A is a diagram for explaining spectral transmittance characteristics in a certain region of the filter array.
  • FIG. 4B is a diagram showing the result of averaging the spectral transmittance shown in FIG. 4A for each wavelength band.
  • FIG. 5 is a block diagram showing a configuration example of a system for reducing the load of arithmetic processing.
  • FIG. 5 is a block diagram showing a configuration example of a system for reducing the load of arithmetic processing.
  • FIG. 6 is a diagram showing a modification of the system of FIG.
  • FIG. 7 is a diagram showing an example of mask data before conversion stored in memory.
  • FIG. 8A is a diagram showing examples of spectra of four types of samples that can be included in the subject.
  • FIG. 8B is a diagram showing an example of bands to be synthesized.
  • FIG. 9 is a flowchart illustrating an example of mask data conversion processing.
  • FIG. 10 is a diagram for explaining an example of a method of synthesizing mask information of a plurality of bands and converting it into new mask information.
  • FIG. 11A is a diagram showing examples of reference spectra of four types of samples that can be included in the object.
  • FIG. 11B is a diagram showing an example of band synthesis.
  • FIG. 12 is a block diagram showing a configuration example of a system for labeling.
  • FIG. 13A is a diagram showing examples of reference spectra of four types of samples that can be included in the subject.
  • FIG. 13B is a diagram showing an example of band synthesis.
  • FIG. 14 is a diagram showing an example of a graphical user interface (GUI).
  • FIG. 15A is a first diagram for explaining a method of excluding a specific band from restoration targets.
  • FIG. 15B is a second diagram for explaining the method of excluding a specific band from restoration targets.
  • FIG. 16 is a flow chart showing an example of the operation of the signal processing circuit when excluding a particular band from restoration.
  • FIG. 15A is a first diagram for explaining a method of excluding a specific band from restoration targets.
  • FIG. 15B is a second diagram for explaining the method of excluding a specific band from restoration targets.
  • FIG. 16 is a flow chart showing an example of the operation of the signal processing circuit when excluding
  • FIG. 17 is a flow chart showing an example of the operation when reference spectrum data is translated into mask data conversion conditions and sent to the signal processing circuit.
  • FIG. 18 is a diagram schematically showing the system configuration of the fourth embodiment.
  • FIG. 19 is a diagram showing an example of the relationship between excitation light and fluorescence spectra and excluded bands.
  • FIG. 20A is a diagram showing absorption spectra of five types of fluorescent dyes.
  • FIG. 20B is a diagram showing fluorescence spectra of five types of fluorescent dyes.
  • FIG. 21A is a diagram showing the relationship between the excitation wavelength and the absorption spectrum of the fluorescent dye in the first imaging.
  • FIG. 21B is a diagram showing an example of the relationship between each fluorescence spectrum, cutoff wavelength region, and restoration band.
  • FIG. 22A is a diagram showing the relationship between the excitation wavelength and the absorption spectrum of the fluorescent dye in the second imaging.
  • FIG. 22B is a diagram showing an example of the relationship between each fluorescence spectrum, cutoff wavelength region, and restoration band.
  • FIG. 23A is a diagram showing the relationship between the excitation wavelength and the absorption spectrum of the fluorescent dye in the third imaging.
  • FIG. 23B is a diagram showing the relationship between each fluorescence spectrum, cutoff wavelength region, and restoration band.
  • all or part of a circuit, unit, device, member or section, or all or part of a functional block in a block diagram is, for example, a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (large scale integration). ) may be performed by one or more electronic circuits.
  • An LSI or IC may be integrated on one chip, or may be configured by combining a plurality of chips.
  • functional blocks other than memory elements may be integrated into one chip.
  • LSIs or ICs may be called system LSIs, VLSIs (very large scale integration), or ULSIs (ultra large scale integration) depending on the degree of integration.
  • a Field Programmable Gate Array (FPGA), which is programmed after the LSI is manufactured, or a reconfigurable logic device that can reconfigure the connection relationships inside the LSI or set up the circuit partitions inside the LSI can also be used for the same purpose.
  • FPGA Field Programmable Gate Array
  • circuits, units, devices, members or parts can be executed by software processing.
  • the software is recorded on one or more non-transitory storage media such as ROMs, optical discs, hard disk drives, etc., and when the software is executed by a processor, the functions specified in the software are is performed by the processor and peripherals.
  • a system or apparatus may comprise one or more non-transitory storage media on which software is recorded, a processing unit, and required hardware devices such as interfaces.
  • Sparsity is the property that the elements that characterize the observation target exist sparsely in a certain space (for example, frequency space). Sparsity is ubiquitous in nature. By using sparsity, it becomes possible to efficiently observe necessary information.
  • a sensing technique that uses sparsity is called compressed sensing. By using compressed sensing, highly efficient devices and systems can be constructed.
  • An example of applying compressed sensing to a hyperspectral camera is disclosed in US Pat. According to the hyperspectral camera disclosed in Patent Literature 1, it is possible to shoot a moving image with high wavelength resolution, high resolution, and multiple wavelengths in one shot.
  • An imaging device that utilizes compressed sensing comprises an array of optical filters having random light transmission properties with respect to space and/or wavelength.
  • An array of such optical filters is sometimes referred to as a "coded mask” or “coded element.”
  • the coded mask is arranged on the optical path of light incident on the image sensor, and transmits light incident from the subject with light transmission characteristics that differ depending on the area. This process with the encoding mask is called "encoding".
  • a light image encoded by the encoding mask is captured by an image sensor.
  • An image produced by imaging with a coded mask is referred to herein as a "compressed image”.
  • Mask data indicating light transmission characteristics of the coded mask are recorded in advance in a storage device.
  • a processing circuit in the imaging device performs restoration processing based on the compressed image and the mask data.
  • the decompression process produces a decompressed image that has more wavelength information than the compressed image.
  • the mask data is, for example, information indicating the spatial distribution of the spectral transmittance of the coded mask.
  • the restoration process includes an estimation operation that assumes the sparsity of the imaging target.
  • the operations performed in the sparse reconstruction incorporate regularization terms such as the Discrete Cosine Transform (DCT), the Wavelet Transform, the Fourier Transform, or the Total Variation (TV), for example, as disclosed in US Pat.
  • DCT Discrete Cosine Transform
  • TV Total Variation
  • It can be an estimation operation of the data by minimizing the evaluation function.
  • Such an estimation operation is a high-load operation using mask data having a size corresponding to the product of the number of pixels of the image sensor and the number of wavelength bands. Therefore, a processing circuit with high computing power is required. If the time required for such high-load calculations is longer than the exposure time during shooting, the calculation time will limit the operation speed (for example, frame rate) of the camera.
  • Non-Patent Document 1 a description of the spectrum assumed in the subject is known, such as fluorescence observation and absorption spectrum observation (see, for example, Non-Patent Document 1).
  • the spectrum expected in the object is known, it is possible to reduce the amount of computation by appropriately editing or reducing the mask data used in the restoration process.
  • the mask data can be edited or reduced, for example, based on wavelength band information required in processing such as analysis or classification performed after image restoration.
  • the present disclosure discloses a method of reducing the computational load by referring to information on the known spectrum when the spectrum that the subject may have is known.
  • a known spectrum assumed for each substance contained in a subject, that is, an object of observation is called a "reference spectrum”.
  • Data indicating reference spectra of one or more substances that an observation target may have are collectively referred to as "reference spectrum data”.
  • a signal processing method includes obtaining compressed image data including two-dimensional image information of an object obtained by compressing hyperspectral information in a wavelength range of interest; obtaining, from the compressed image data, a plurality of two-dimensional image data corresponding to a plurality of designated wavelength bands determined based on the reference spectral data; and generating a
  • “Hyperspectral information in the target wavelength range” means information on the spatial distribution of luminance for each of a plurality of wavelength bands included in the target wavelength range. “Compressing hyperspectral information” means compressing information about the spatial distribution of luminance in multiple wavelength bands into one monochrome two-dimensional image using an encoding element such as a filter array to be described later. .
  • a plurality of two-dimensional image data corresponding to a plurality of designated wavelength bands determined based on the reference spectral data are restored from the compressed image data. Therefore, the load of arithmetic processing can be reduced compared to the case of restoring two-dimensional image data corresponding to all wavelength bands included in the target wavelength band.
  • the one or more spectra may be associated with one or more substances assumed to be contained in the subject.
  • data defining the correspondence between substances and spectra may be recorded in advance in a storage medium such as a memory.
  • a storage medium such as a memory.
  • Each of the plurality of designated wavelength bands may include a peak wavelength of the spectrum associated with a corresponding one of the one or more substances. This allows each designated wavelength band to correspond to one substance, facilitating classification based on the reconstructed image.
  • the reference spectral data may include information on multiple spectra associated with multiple types of substances assumed to be contained in the subject.
  • the plurality of designated wavelength bands may include a first designated wavelength band having no overlap among the plurality of spectra and a second designated wavelength band having overlap among the plurality of spectra. This can facilitate classification based on the reconstructed image even if there is spectral overlap of two or more substances.
  • a certain designated wavelength band “does not have overlap between a plurality of spectra” means that in the designated wavelength band, one of the plurality of spectra has significant intensity and the other spectra have significant intensity. It means having no strength.
  • a specified wavelength band “has overlap between spectra” means that two or more spectra have significant intensity in the specified wavelength band. Whether or not it has "significant intensity” can be determined, for example, based on the integrated value when the intensity of each spectrum is integrated from the lower limit wavelength to the upper limit wavelength of the specified wavelength band. Let signal S be the maximum integral value among the integral values of a plurality of spectra, and noise N be the sum of the other integral values.
  • the designated wavelength band is considered to have no overlap between the multiple spectra. can be judged. Conversely, if the S/N ratio is less than the threshold, it may be determined that the designated wavelength band has overlap between multiple spectra.
  • a threshold e.g. 1, 2, or 3, etc.
  • the compressed image data can be generated using an image sensor and a filter array including a plurality of types of optical filters with different spectral transmittances.
  • the method may further include obtaining mask data reflecting the spatial distribution of the spectral transmittance.
  • the plurality of two-dimensional image data may be generated based on the compressed image data and the mask data.
  • the mask data may include mask matrix information having elements according to the spatial distribution of the transmittance of the filter array for each of a plurality of unit bands included in the target wavelength band.
  • the method includes generating synthesized mask information by synthesizing the mask matrix information corresponding to a non-specified wavelength band different from the specified wavelength band in the target wavelength band; and generating composite image data for the non-designated wavelength bands based on. As a result, the amount of data is reduced by synthesizing the mask matrix information for the non-designated wavelength band, so that the load of arithmetic processing can be further reduced.
  • Generating the plurality of two-dimensional image data includes generating, from the compressed image data, image data corresponding to a non-designated wavelength band different from the designated wavelength band in the target wavelength band, without generating the plurality of designated image data. Generating and outputting the plurality of two-dimensional image data corresponding to wavelength bands may be included. In other words, the method may not include generating from the compressed image data image data corresponding to a non-designated wavelength band different from the designated wavelength band in the target wavelength band. As a result, restoration processing is not performed for non-designated wavelength bands with low importance, so the computation load can be further reduced.
  • the plurality of designated wavelength bands may be determined based on the intensity of the one or more spectra indicated by the reference spectral data or a differential value of the intensity.
  • each designated wavelength band may be determined to include a peak wavelength at which the intensity of the corresponding spectrum peaks.
  • each designated wavelength band may be determined by avoiding wavelength regions in which the absolute value of the derivative of the intensity of the corresponding spectrum is close to zero. Such a method allows determination of designated wavelength bands containing characteristic portions of the spectrum, facilitating processing such as classification after reconstruction.
  • the reference spectral data may include information on fluorescence spectra of one or more substances assumed to be contained in the subject. Thereby, restoration processing can be performed with an appropriate band configuration based on the fluorescence spectrum of the fluorescent substance.
  • the reference spectrum data may include information on absorption spectra of one or more substances assumed to be contained in the subject. Thereby, restoration processing can be performed with an appropriate band configuration based on the absorption spectrum of the substance.
  • the method further includes causing the display to display a graphical user interface (GUI) for allowing a user to specify the one or more spectra or one or more substances associated with the one or more spectra.
  • GUI graphical user interface
  • the reference spectral data may be obtained in response to the specified one or more spectra or the specified one or more substances.
  • restoration processing can be performed with a band configuration corresponding to the spectrum or material designated by the user on the GUI.
  • a method recovers spectral image data for each wavelength band from compressed image data containing two-dimensional image information of an object obtained by compressing hyperspectral information in a wavelength range of interest.
  • This is a method of generating mask data used for The method includes obtaining first mask data for reconstructing first spectral image data corresponding to a first group of wavelength bands in the wavelength range of interest, and obtaining reference spectral data including information about at least one spectrum. determining one or more specified wavelength ranges included in the target wavelength range based on the reference spectral data; and determining a second wavelength range in the one or more specified wavelength ranges based on the first mask data generating second mask data for reconstructing second spectral image data corresponding to the wavelength bands.
  • the first waveband group may be a set of all or part of the wavebands included in the target wavelength band.
  • the first wavelength band group may be a set of a plurality of unit wavelength bands having minute bandwidths included in the target wavelength band.
  • the second wavelength band group may be a set of all or part of the wavelength bands included in the designated wavelength band.
  • the second wavelength band group may be a set of multiple unit wavelength bands included in the specified wavelength band.
  • Each of the first wavelength band group and the second wavelength band group may be a set of synthetic bands obtained by synthesizing two or more unit wavelength bands. When such band synthesis is performed, mask data conversion processing is performed according to the band synthesis mode.
  • the second mask data for restoring the second spectral image data corresponding to the second wavelength band group in the designated wavelength range determined based on the reference spectral data. Since the data size of the second mask data is smaller than that of the first mask data, it is possible to efficiently restore using the second mask data.
  • the above method of generating the second mask data may be performed by a device that restores spectral image data for each wavelength band from compressed image data based on the second mask data, or may be performed by another device connected to the device. It may be performed by an apparatus.
  • the compressed image data can be generated using an image sensor and a filter array including a plurality of types of optical filters with different spectral transmittances.
  • the first mask data and the second mask data may be data reflecting a spatial distribution of spectral transmittance of the filter array.
  • the first mask data may include first mask information indicating the spatial distribution of the spectral transmittance corresponding to the first wavelength band group.
  • the second mask data may include second mask information indicating the spatial distribution of the spectral transmittance corresponding to the second wavelength band group.
  • the second mask data may further include third mask information obtained by synthesizing a plurality of pieces of information.
  • Each of the plurality of pieces of information indicates the spatial distribution of the spectral transmittance in a corresponding wavelength band included in a non-designated wavelength range other than the designated wavelength range in the target wavelength range.
  • the second mask data may not include information on the spatial distribution of the spectral transmittance in the corresponding wavelength band included in the non-designated wavelength range other than the designated wavelength range.
  • a signal processing method includes obtaining compressed image data including two-dimensional image information of an object obtained by compressing hyperspectral information in a wavelength range of interest; obtaining reference spectral data including information on one or more spectra obtained from the compressed image data; and specifying restoration conditions for generating a plurality of two-dimensional image data corresponding to a plurality of designated wavelength bands from the compressed image data. and causing a display to display both a graphical user interface for and an image based on the reference spectral data.
  • the user can specify restoration conditions for generating a plurality of two-dimensional image data corresponding to a plurality of designated wavelength bands. Thereby, it is possible to efficiently generate a plurality of two-dimensional image data corresponding to a desired designated wavelength band.
  • the present disclosure also includes a computer program for causing a computer to execute each of the above methods.
  • the present disclosure also includes a signal processing apparatus comprising a processor for performing each of the above methods and a memory storing a computer program executed by the processor.
  • FIG. 1A is a diagram schematically showing a configuration example of an imaging system.
  • This system includes an imaging device 100 and a processing device 200 .
  • the imaging device 100 has a configuration similar to that of the imaging device disclosed in Patent Document 1.
  • the imaging device 100 includes an optical system 140 , a filter array 110 and an image sensor 160 .
  • Optical system 140 and filter array 110 are arranged on the optical path of light incident from object 70, which is a subject.
  • Filter array 110 in the example of FIG. 1A is positioned between optical system 140 and image sensor 160 .
  • FIG. 1A illustrates an apple as an example of the object 70 .
  • Object 70 is not limited to an apple, and may be any object.
  • the image sensor 160 generates data of the compressed image 10 in which information of multiple wavelength bands is compressed as a two-dimensional monochrome image.
  • the processing device 200 can generate image data for each of a plurality of wavelength bands included in a predetermined target wavelength range.
  • a plurality of image data corresponding to the generated plurality of wavelength bands on a one-to-one basis may be referred to as a "hyperspectral (HS) data cube" or "hyperspectral image data".
  • HS hyperspectral
  • N is an integer equal to or greater than 4.
  • a plurality of image data corresponding to a plurality of wavelength bands to be generated are referred to as a restored image 20W 1 , a restored image 20W 2 , . It may be collectively referred to as “spectral image 20".
  • the data of the restored image of each wavelength band is sometimes called “spectral image data” or simply “spectral image”.
  • image data or signals that is, a set of data or signals representing multiple pixel values of multiple pixels included in an image may be simply referred to as an "image.”
  • the "target wavelength range” refers to the wavelength range determined by the upper limit wavelength and lower limit wavelength of the wavelength components included in the spectral image output by the system.
  • the wavelength range of interest may correspond to a wavelength range of light detectable by a photodetector, such as an image sensor, in the system.
  • the wavelength range of interest may be 400-700 nm.
  • the combined wavelength range of 400-500 nm and 600-700 nm detectable by the photodetector may correspond to the wavelength range of interest.
  • the filter array 110 in this embodiment is an array of a plurality of translucent filters arranged in rows and columns.
  • the multiple filters include multiple types of filters having different spectral transmittances, ie, wavelength dependencies of light transmittances.
  • the filter array 110 functions as the coding mask described above, modulates the intensity of incident light for each wavelength, and outputs the modulated light.
  • the filter array 110 is arranged near or directly above the image sensor 160 .
  • “near” means that the image of the light from the optical system 140 is close enough to be formed on the surface of the filter array 110 in a somewhat clear state.
  • “Directly above” means that they are so close to each other that there is almost no gap. Filter array 110 and image sensor 160 may be integrated.
  • the optical system 140 includes at least one lens. Although optical system 140 is shown as a single lens in FIG. 1A, optical system 140 may be a combination of multiple lenses. Optical system 140 forms an image on the imaging surface of image sensor 160 via filter array 110 .
  • FIGS. 1B to 1D are diagrams showing configuration examples of the imaging device 100 in which the filter array 110 is arranged away from the image sensor 160.
  • FIG. 1B filter array 110 is positioned between optical system 140 and image sensor 160 and at a distance from image sensor 160 .
  • filter array 110 is positioned between object 70 and optics 140 .
  • imaging device 100 comprises two optical systems 140A and 140B, with filter array 110 positioned therebetween.
  • an optical system including one or more lenses may be arranged between filter array 110 and image sensor 160 .
  • the image sensor 160 is a monochrome photodetector device having a plurality of two-dimensionally arranged photodetector elements (also referred to as "pixels" in this specification).
  • the image sensor 160 can be, for example, a CCD (Charge-Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor) sensor, or an infrared array sensor.
  • the photodetector includes, for example, a photodiode.
  • Image sensor 160 does not necessarily have to be a monochrome type sensor. For example, a color type sensor may be used.
  • the color type sensor has a filter that transmits red light, a filter that transmits green light, a sensor that transmits blue light, a filter that transmits red light, a filter that transmits green light, and a filter that transmits blue light.
  • the amount of information about wavelengths can be increased, and the accuracy of reconstruction of the hyperspectral image 20 can be improved.
  • the wavelength range to be acquired may be arbitrarily determined, and is not limited to the visible wavelength range, and may be the ultraviolet, near-infrared, mid-infrared, or far-infrared wavelength ranges.
  • Processing unit 200 may be a computer comprising one or more processors and one or more storage media such as memory.
  • the processing device 200 generates data of a restored image 20W 1 , a restored image 20W 2 , .
  • FIG. 2A is a diagram schematically showing an example of the filter array 110.
  • FIG. Filter array 110 has a plurality of regions arranged two-dimensionally. In this specification, each of the plurality of regions may be referred to as a "cell".
  • An optical filter having an individually set spectral transmittance is arranged in each region.
  • the spectral transmittance is represented by a function T( ⁇ ), where ⁇ is the wavelength of incident light.
  • the spectral transmittance T( ⁇ ) can take a value of 0 or more and 1 or less.
  • the filter array 110 has 48 rectangular regions arranged in 6 rows and 8 columns. This is only an example and in actual applications more areas may be provided. The number may be about the same as the number of pixels of the image sensor 160, for example. The number of filters included in the filter array 110 is determined depending on the application, for example, within the range of tens to tens of millions.
  • FIG. 2B is a diagram showing an example of the spatial distribution of the light transmittance of each of the wavelength band W 1 , the wavelength band W 2 , .
  • the difference in shading in each region represents the difference in transmittance.
  • a lighter area has a higher transmittance, and a darker area has a lower transmittance.
  • the spatial distribution of light transmittance differs depending on the wavelength band.
  • FIGS. 2C and 2D are diagrams respectively showing examples of spectral transmittance of area A1 and area A2 included in filter array 110 shown in FIG. 2A.
  • the spectral transmittance of the area A1 and the spectral transmittance of the area A2 are different from each other.
  • the spectral transmittance of filter array 110 differs depending on the region. However, it is not necessary that all regions have different spectral transmittances.
  • Filter array 110 includes two or more filters having different spectral transmittances.
  • the number of spectral transmittance patterns in the plurality of regions included in the filter array 110 can be equal to or greater than the number N of wavelength bands included in the wavelength range of interest.
  • the filter array 110 may be designed such that more than half of the regions have different spectral transmittances.
  • the target wavelength band W can be set in various ranges depending on the application.
  • the target wavelength range W can be, for example, a visible light wavelength range from about 400 nm to about 700 nm, a near-infrared wavelength range from about 700 nm to about 2500 nm, or a near-ultraviolet wavelength range from about 10 nm to about 400 nm.
  • the target wavelength range W may be a wavelength range such as mid-infrared or far-infrared.
  • the wavelength range used is not limited to the visible light range.
  • the term “light” refers to radiation in general, including not only visible light but also infrared rays and ultraviolet rays.
  • N is an arbitrary integer of 4 or more, and each wavelength band obtained by equally dividing the target wavelength band W into N is defined as a wavelength band W 1 , a wavelength band W 2 , .
  • a plurality of wavelength bands included in the target wavelength band W may be set arbitrarily. For example, different wavelength bands may have different bandwidths. There may be gaps or overlaps between adjacent wavelength bands. In the example shown in FIG. 3B, the wavelength bands have different bandwidths and there is a gap between two adjacent wavelength bands. Thus, how to determine a plurality of wavelength bands is arbitrary.
  • FIG. 4A is a diagram for explaining spectral transmittance characteristics in a certain region of the filter array 110.
  • the spectral transmittance has multiple maxima (that is, maxima P1 to P5) and multiple minima for wavelengths within the wavelength range W of interest.
  • normalization is performed so that the maximum value of the light transmittance within the target wavelength range W is 1 and the minimum value is 0.
  • the spectral transmittance has maximum values in wavelength bands such as the wavelength band W 2 and the wavelength band W N ⁇ 1 .
  • the spectral transmittance of each region can be designed to have a maximum value in at least two of the wavelength bands W1 to WN.
  • maximum value P1, maximum value P3, maximum value P4, and maximum value P5 are greater than or equal to 0.5.
  • the filter array 110 transmits a large amount of components in a certain wavelength band and transmits less components in other wavelength bands among the incident light. For example, for light in k wavelength bands out of N wavelength bands, the transmittance is greater than 0.5, and for light in the remaining Nk wavelength bands, the transmittance is 0.5. can be less than k is an integer that satisfies 2 ⁇ k ⁇ N. If the incident light is white light that evenly includes all wavelength components of visible light, the filter array 110 converts the incident light into light having a plurality of discrete intensity peaks with respect to wavelength. , and superimposes and outputs these multi-wavelength lights.
  • FIG. 4B is a diagram showing, as an example, the result of averaging the spectral transmittance shown in FIG. 4A for each wavelength band W 1 , wavelength band W 2 , . . . , wavelength band WN.
  • the averaged transmittance is obtained by integrating the spectral transmittance T( ⁇ ) for each wavelength band and dividing by the bandwidth of that wavelength band.
  • the transmittance value averaged for each wavelength band is defined as the transmittance in that wavelength band.
  • the transmittance is remarkably high in the three wavelength regions having the maximum values P1, P3 and P5. In particular, the transmittance exceeds 0.8 in the two wavelength regions having the maximum values P3 and P5.
  • a grayscale transmittance distribution is assumed in which the transmittance of each region can take any value between 0 and 1 inclusive.
  • a binary-scale transmittance distribution may be employed in which the transmittance of each region can take either a value of approximately 0 or approximately 1.
  • each region transmits a majority of light in at least two wavelength bands of the plurality of wavelength bands included in the wavelength band of interest and transmits a majority of light in the remaining wavelength bands. don't let Here, "most" refers to approximately 80% or more.
  • Part of the total cells may be replaced with transparent regions.
  • a transparent region transmits light in all wavelength bands W1 to WN contained in the wavelength range W of interest with a similarly high transmittance, eg, a transmittance of 80% or more.
  • the plurality of transparent regions may be arranged in a checkerboard, for example. That is, in the two directions in which the plurality of regions in the filter array 110 are arranged, the regions having different light transmittances depending on the wavelength and the transparent regions can be alternately arranged.
  • Such data indicating the spatial distribution of the spectral transmittance of the filter array 110 is obtained in advance based on design data or actual measurement calibration, and stored in a storage medium included in the processing device 200. This data is used for arithmetic processing to be described later.
  • the filter array 110 can be constructed using, for example, a multilayer film, an organic material, a diffraction grating structure, or a microstructure containing metal.
  • a multilayer film for example, a dielectric multilayer film or a multilayer film containing a metal layer can be used.
  • each cell is formed so that at least one of the thickness, material, and stacking order of each multilayer film is different. Thereby, different spectral characteristics can be realized depending on the cell.
  • a multilayer film a sharp rise and fall in spectral transmittance can be realized.
  • a structure using an organic material can be realized by differentiating the pigment or dye contained in each cell or by laminating different materials.
  • a configuration using a diffraction grating structure can be realized by providing diffraction structures with different diffraction pitches or depths for each cell.
  • a microstructure containing metal it can be produced using spectroscopy due to the plasmon effect.
  • the processing device 200 reconstructs the hyperspectral image 20 based on the compressed image 10 output from the image sensor 160 and the spatial distribution characteristics of transmittance for each wavelength of the filter array 110 .
  • the generated hyperspectral image 20 includes multiple images.
  • the plurality of images correspond to a plurality of wavelength regions, and the number of the plurality of wavelength regions is, for example, the wavelength regions acquired by a normal color camera (for example, the wavelength region of red light, the wavelength region of green light, the wavelength region of blue light wavelength range) is greater than three.
  • the number of wavelength bands may be on the order of 4 to 100, for example. This number of wavelength regions is referred to as the "number of bands". Depending on the application, the number of bands may exceed 100.
  • the data to be obtained is the data of the hyperspectral image 20, and the data is assumed to be f. If the number of bands is N , f is image data f 1 corresponding to wavelength band W 1 , image data f 2 corresponding to wavelength band W 2 , . data that contains Here, as shown in FIGS. 1A to 1D, the horizontal direction of the image is the x direction, and the vertical direction of the image is the y direction. Assuming that the number of pixels in the x direction of the image data to be obtained is m and the number of pixels in the y direction is n , each of image data f 1 , image data f 2 , . is two-dimensional data. Therefore, the data f is three-dimensional data having n ⁇ m ⁇ N elements.
  • This three-dimensional data is called “hyperspectral image data” or “hyperspectral datacube”.
  • the number of elements of the data g of the compressed image 10 obtained by being encoded and multiplexed by the filter array 110 is n ⁇ m.
  • Data g can be represented by the following equation (1).
  • each of f 1 , f 2 , . . . , f N is data having n ⁇ m elements. Therefore, the vector on the right side is a one-dimensional vector of n ⁇ m ⁇ N rows and 1 column.
  • the compressed image 10 is converted into a one-dimensional vector g of n ⁇ m rows and 1 column, and calculated.
  • Matrix H encodes and intensity - modulates each component f 1 , f 2 , . represents a conversion to Therefore, H is a matrix with n ⁇ m rows and n ⁇ m ⁇ N columns.
  • the mask information may be interpreted as matrix H in equation (1).
  • the processing device 200 utilizes the redundancy of the images included in the data f and obtains the solution using the method of compressed sensing. Specifically, the desired data f is estimated by solving the following equation (2).
  • f' represents the estimated data of f.
  • the first term in parentheses in the above formula represents the amount of deviation between the estimation result Hf and the acquired data g, ie, the so-called residual term.
  • the second term in parentheses is the regularization or stabilization term. Equation (2) means finding f that minimizes the sum of the first and second terms.
  • a function in parentheses in Equation (2) is called an evaluation function. The processing device 200 can converge the solution by recursive iterative calculation and calculate f that minimizes the evaluation function as the final solution f'.
  • the first term in parentheses in formula (2) means an operation for obtaining the sum of squares of the difference between the acquired data g and Hf obtained by transforming f in the estimation process using the matrix H.
  • the second term, ⁇ (f), is a constraint on the regularization of f, and is a function that reflects the sparse information of the estimated data. This function has the effect of smoothing or stabilizing the estimated data.
  • the regularization term may be represented by, for example, the Discrete Cosine Transform (DCT), Wavelet Transform, Fourier Transform, or Total Variation (TV) of f. For example, when the total variation is used, it is possible to acquire stable estimated data that suppresses the influence of noise in the observed data g.
  • the sparsity of the object 70 in the space of each regularization term depends on the texture of the object 70 .
  • a regularization term may be chosen that makes the texture of the object 70 more spars in the space of regularization terms.
  • multiple regularization terms may be included in the operation.
  • ⁇ is a weighting factor. The larger the weighting factor ⁇ , the larger the reduction amount of redundant data and the higher the compression rate. The smaller the weighting factor ⁇ , the weaker the convergence to the solution.
  • the weighting factor ⁇ is set to an appropriate value with which f converges to some extent and does not become over-compressed.
  • the image encoded by the filter array 110 is acquired in a blurred state on the imaging surface of the image sensor 160.
  • FIG. Therefore, the hyperspectral image 20 can be reconstructed by storing the blur information in advance and reflecting the blur information on the matrix H described above.
  • blur information is represented by a point spread function (PSF).
  • PSF is a function that defines the degree of spread of a point image to peripheral pixels. For example, when a point image corresponding to one pixel in an image spreads over a region of k ⁇ k pixels around that pixel due to blurring, the PSF is a coefficient group that indicates the effect on the pixel value of each pixel in that region.
  • the hyperspectral image 20 can be reconstructed by reflecting the influence of blurring of the encoding pattern by the PSF on the matrix H.
  • FIG. The position where the filter array 110 is placed is arbitrary, but a position can be selected where the coding pattern of the filter array 110 is not too diffuse and disappears.
  • each image of a plurality of wavelength bands can be restored from the compressed image 10 acquired by the image sensor 160 .
  • the computational load is high, and the processing device 200 is required to have high computing power.
  • FIG. 5 is a block diagram showing a configuration example of a system for using reference spectral data to reduce the computational load.
  • the system includes an imaging device 100 , a processing device 200 , a display device 300 and an input user interface (UI) 400 .
  • the processing device 200 is an example of a signal processing device in the present disclosure.
  • the imaging device 100 includes an image sensor 160 and a control circuit 150 that controls the image sensor 160 .
  • the imaging device 100 also includes a filter array 110 and at least one optical system 140, as shown in FIGS. 1A-1D.
  • Image sensor 160 acquires a compressed image, which is a monochrome image based on light whose intensity has been modulated region by region by filter array 110 .
  • Information of a plurality of wavelength bands included in the target wavelength band is superimposed on the data of each pixel of the compressed image. Therefore, it can be said that this compressed image is obtained by compressing the hyperspectral information within the target wavelength range as two-dimensional image information.
  • compressed image data data representing a compressed image is referred to as "compressed image data”.
  • the processing device 200 includes a signal processing circuit 250 and a memory 210 such as RAM and ROM.
  • Signal processing circuit 250 may be an integrated circuit comprising a processor such as a CPU or GPU.
  • the signal processing circuit 250 performs restoration processing based on the compressed image data output from the image sensor 160 .
  • the memory 210 stores computer programs executed by the processor included in the signal processing circuit 250 , various data referenced by the signal processing circuit 250 , and various data generated by the signal processing circuit 250 .
  • the memory 210 stores mask data reflecting the spatial distribution of the spectral transmittance of the filter array 110 in the imaging device 100 .
  • the mask data is data including information representing the matrix in the above equations (1) and (2) or information for deriving the matrix (hereinafter sometimes referred to as "mask matrix information").
  • the mask matrix information may be information in a matrix format or a matrix format having elements according to the spatial distribution of the transmittance of the filter array 110 for each of a plurality of unit bands included in the target wavelength band.
  • the mask data is created in advance and stored in memory 210 .
  • the display device 300 includes an image processing circuit 320 and a display 330 .
  • the image processing circuit 320 performs necessary processing on the image restored by the signal processing circuit 250 and displays it on the display 330 .
  • Display 330 can be any display such as, for example, a liquid crystal or organic LED (OLED).
  • the input UI 400 includes hardware and software for setting various conditions such as imaging conditions.
  • the input UI 400 may include input devices such as a keyboard and mouse.
  • the input UI 400 may be realized by a device capable of both input and output, such as a touch screen. In that case, the touch screen may also function as the display 330 .
  • Imaging conditions may include conditions such as resolution, gain, and exposure time.
  • the input imaging conditions are sent to the control circuit 150 of the imaging apparatus 100 .
  • the control circuit 150 causes the image sensor 160 to perform imaging according to imaging conditions.
  • the memory 410 stores spectrum data.
  • the spectral data includes spectral information assumed for one or more substances that may be contained in the subject. Spectral data are prepared in advance for each substance and recorded in the memory 410 .
  • the memory 410 may be an external memory or may be built into the imaging device 100 . Spectral data may be obtained by downloading over a network such as the Internet, for example.
  • the user can select specific spectral data as reference spectral data. For example, by the user selecting a particular material or substance on the input UI 400, spectral data corresponding to that material or substance may be determined as reference spectral data. When the reference spectral data is determined by user's operation, the reference spectral data is sent to the signal processing circuit 250 .
  • the signal processing circuit 250 determines conditions for synthesizing mask data based on the reference spectral data.
  • the conditions for synthesizing mask data are conditions for determining a plurality of designated wavelength bands for which restoration processing is performed. In other words, the signal processing circuit 250 determines a plurality of designated wavelength bands on which restoration processing is performed based on the reference spectrum data. A wavelength band formed by the designated wavelength band is referred to as a “designated wavelength band”.
  • the signal processing circuit 250 may automatically determine synthesis conditions based on the reference spectrum data, or may determine synthesis conditions according to conditions specified by the user using the input UI 400 .
  • the synthesizing condition defines which of the multiple unit bands included in the target wavelength band should be synthesized and treated as one band.
  • Each of the plurality of component bands is a narrow wavelength band included in the target wavelength band.
  • a plurality of unit bands included in relatively less important wavelength ranges can be synthesized as one band.
  • a plurality of unit bands included in a wavelength range assumed to best represent the characteristics of individual substances may be synthesized as one band.
  • a synthesized relatively broad band may be referred to as a "synthetic band" in the following description.
  • image data corresponding to the composite band may be called composite image data.
  • the synthesizing conditions may include information on wavelength regions in which restoration processing is not performed. For example, it is possible to reduce the computational load by not performing restoration processing on the component bands included in the wavelength region of low importance in observation.
  • the signal processing circuit 250 converts the mask data into smaller size mask data based on the determined synthesis condition and the mask data stored in the memory 210 .
  • the mask data before conversion is called “first mask data”
  • the mask data after conversion is called “second mask data”.
  • the first mask data can be used to reconstruct first spectral image data corresponding to a first group of wavelength bands in the wavelength range of interest.
  • the first wavelength band group may be, for example, a set of multiple component bands included in the target wavelength band.
  • the first spectral image data may be data containing image information of each component band included in the first wavelength band group.
  • the second mask data can be used to reconstruct second spectral image data corresponding to a second group of wavelength bands in one or more designated wavelength ranges.
  • the second wavelength band group may be a set of multiple component bands included in the specified wavelength band.
  • the second spectral image data may be data containing image information of each component band included in the specified wavelength range.
  • the first mask data may include first mask information indicating the spatial distribution of spectral transmittance corresponding to the first wavelength band group in filter array 110 .
  • the second mask data may include second mask information indicating the spatial distribution of spectral transmittance corresponding to the second wavelength band group in filter array 110 .
  • the second mask data may further include third mask information obtained by synthesizing multiple pieces of information corresponding to one or more non-designated wavelength ranges other than the designated wavelength range in the first mask data.
  • Each of the plurality of pieces of information in the third mask information can indicate the spatial distribution of spectral transmittance in the corresponding unit wavelength band included in the non-designated wavelength band.
  • the third mask information can be said to be synthesized mask information obtained by synthesizing the mask matrix information corresponding to the non-designated wavelength band (that is, the non-designated wavelength band) in the first mask data.
  • the size-compressed second mask data is generated by synthesizing the information of a plurality of component bands included in the non-designated wavelength range in the first mask data.
  • the signal processing circuit 250 generates a plurality of two-dimensional image data corresponding to a plurality of specified wavelength bands based on the compressed image data and the second mask information in the second mask data.
  • the signal processing circuit 250 further generates one or more synthesized image data corresponding to one or more non-designated wavelength bands based on third mask information (that is, synthesized mask information) in the compressed image data and second mask data. Generate.
  • the signal processing circuit 250 compresses the size of the first mask data by processing such as averaging matrix elements corresponding to multiple unit bands to be synthesized.
  • the signal processing circuit 250 uses the converted second mask data and the compressed image data output from the imaging device 100 to perform a restoration operation corresponding to the above equation (2). Thereby, the signal processing circuit 250 generates a restored image (that is, a spectral image) for each of the synthesized bands.
  • the signal processing circuit 250 sends the generated restored image data to the image processing circuit 320 .
  • the image processing circuit 320 draws the reconstructed image of each band after synthesis on the display 330 .
  • the image processing circuit 320 performs processing such as, for example, determining the arrangement within the screen, linking each restored image with band information, or coloring corresponding to the wavelength, and then causes the display 330 to display the restored image.
  • the signal processing circuit 250 determines band synthesis conditions based on the reference spectral data, but the present disclosure is not limited to such a form.
  • FIG. 6 shows a variant of the system of FIG.
  • a processor 420 is provided that determines the conversion conditions for mask data based on the reference spectral data output from the input UI 400 .
  • Processor 420 determines band synthesis conditions based on the reference spectrum data, and sends the information to signal processing circuit 250 as mask data conversion conditions.
  • the signal processing circuit 250 reads the necessary unit band information from the memory 210 according to the supplied mask data conversion conditions.
  • the signal processing circuit 250 constructs size-compressed mask data from the read information and generates a restored image using the mask data. Such a configuration can further reduce the computation load of the processing device 200 .
  • a modification such as that shown in FIG. 6 can be similarly used in various subsequent embodiments.
  • FIG. 7 shows an example of first mask data before conversion stored in the memory 210 .
  • the first mask data in this example includes information indicating the spatial distribution of transmittance of filter array 110 for each of a plurality of unit bands included in the target wavelength band.
  • the first mask data in this example includes mask information for each of a large number of unit bands divided by 1 nm, and information on mask information acquisition conditions. Each unit band is specified by a lower wavelength limit and an upper wavelength limit.
  • Mask information includes information on a mask image and a background image.
  • the individual mask images shown in FIG. 7 are acquired by imaging a certain background through filter array 110 with image sensor 120 .
  • the plurality of component bands are the 1st component band, ⁇ , the kth component band, ⁇ , the Nth component band.
  • equation (1) becomes
  • each of these submatrices may be a diagonal matrix is the pixel (p, q), pixel (r, s) and the crosstalk between pixels (p, q) and pixels (r, s) of the image sensor 160 when the end user images the object 70 are determined to be the same. (1 ⁇ p, r ⁇ n, 1 ⁇ q, s ⁇ m, pixel (p, q) ⁇ pixel (r, s)). Whether or not the crosstalk conditions described above are satisfied may be determined in consideration of the imaging environment including the optical lens used for imaging, and the image quality of each restored image is determined by the end user. It may be determined by considering whether the purpose can be achieved.
  • the data output by the image sensor ( That is, if the background image data) is fk', the formula (4) is
  • fk'(i,j) is the pixel value of pixel (i,j) in the background image
  • pixel (i,j) may be the pixel value of pixel (i,j) in the mask pixel. 1 ⁇ i ⁇ n and 1 ⁇ j ⁇ m.
  • Information on acquisition conditions includes information on exposure time and gain. Information about the acquisition conditions may not be included in the mask data. Note that in the example of FIG. 7, the information of the mask image and the background image is recorded for each of a plurality of unit bands with a width of 1 nm. The width of each unit band is not limited to 1 nm, and can be determined to any value. Moreover, when the uniformity of the background image is high, the mask data does not have to include the background image information. For example, in a configuration in which the image sensor 120 and the filter array 110 are integrated so as to face each other closely, the mask data may not include background image information because the mask information substantially matches the mask image.
  • the mask data is, for example, data that defines the matrix H in the above equation (2).
  • the format of the mask data may vary depending on system configuration.
  • the mask data shown in FIG. 7 includes information for calculating the spatial distribution of spectral transmittance of filter array 110 .
  • the mask data is not limited to such a format, and may be data directly indicating the spatial distribution of the spectral transmittance of the filter array 110 .
  • the mask data may include a sequence of values obtained by dividing each pixel value of the mask image shown in FIG. 7 by the corresponding pixel value of the background image.
  • the first mask data including information as shown in FIG. 7 is converted into second mask data having a smaller size. Examples of methods for transforming mask data are described in more detail below.
  • Determination of bands to be synthesized may be performed by manual input by the user, or may be performed automatically based on reference spectral data.
  • the input UI 400 has a function that allows the user to select the band to be synthesized.
  • the input UI 400 may have a function of allowing the user to select not only the band to be synthesized, but also the wavelength range to be subjected to the restoration calculation, or the restoration condition such as the wavelength resolution.
  • a spectrum corresponding to individual substances such as phosphors
  • the user can select a specific combination of spectra from the displayed spectra, or select a specific combination of substances from a list.
  • the user can further select bands to be synthesized from the spectrum of the selected substance on the UI. In this way, both the reference spectrum data and the UI for allowing the user to select the restoration conditions for the restoration calculation may be displayed on the display. This allows the user to more efficiently generate an image of the desired wavelength band.
  • the contribution of each band to analysis or classification can be automatically estimated from the type or combination of selected substances.
  • the signal processing circuitry 250 may synthesize bands whose contribution to analysis or classification is less than a threshold value and treat them as one band.
  • the magnitude of the contribution can be determined, for example, from the signal intensity in the spectrum, the wavelength derivative of the signal intensity, or prior learning. For example, if the signal intensity of the spectrum of the substance contained in the subject is found to be less than the threshold value in a certain band, it can be determined that the contribution of the band to the result of analysis or classification is small.
  • Pre-learning is learning based on statistical methods such as principal component analysis or regression analysis.
  • pre-learning we refer to a database that records the "wavelength range used for classification" for each individual substance, and from the reference spectrum, select wavelength regions that do not fall under the "wavelength range used for classification" as "wavelengths with low contribution.” For example, a method of determining as a “region” can be considered.
  • FIGS. 8A and 8B are diagrams for explaining a method of estimating a band with a small contribution to calculation based on the reference spectrum and determining band synthesis conditions.
  • FIG. 8A shows examples of spectra of four types of samples 31, 32, 33, and 34 that may be included in the object.
  • FIG. 8B shows an example of bands to be synthesized. Given reference spectrum data as shown in FIG. 8A, bands with low signal intensities of all reference spectra can be synthesized as shown in FIG. 8B. By such processing, a restored image can be acquired with sufficient wavelength resolution for bands with relatively high signal intensity in the reference spectrum, and the amount of calculation can be reduced without affecting the accuracy of analysis or classification.
  • the wavelength band that contributes significantly to the analysis or classification is selected as the "designated wavelength band.”
  • wavelength bands that contribute less to the analysis or classification are selected as "non-designated wavelength bands.”
  • FIG. 9 is a flowchart showing an example of mask data conversion processing executed by the signal processing circuit 250 shown in FIG.
  • the signal processing circuit 250 acquires compressed image data generated by the imaging device 100 .
  • the signal processing circuit 250 acquires reference spectral data from the input UI 400 .
  • the signal processing circuit 250 determines whether or not to perform mask data conversion processing based on the reference spectrum data. If determined necessary, the signal processing circuit 250 transforms the mask data based on the reference spectrum data. A decision as to whether or not to perform mask data conversion processing can be made based on whether or not there is a band that is estimated to have a small contribution in analysis or classification, as described above.
  • the signal processing circuit 250 determines whether conversion of the mask data is necessary based on the user's input. If there is a band to be synthesized, the process proceeds to step S104, and the signal processing circuit 250 performs conversion processing. If there are no bands to be synthesized, the conversion process is skipped. In subsequent step S105, the signal processing circuit 250 performs the restoration operation shown in the above-described equation (2) based on the compressed image and the mask data to generate a restored image for each band. If the mask data has been converted in step S104, the signal processing circuit 250 performs restoration processing using the converted mask data. The restored image is sent to the display device 300 and displayed on the display 330 after necessary processing by the image processing circuit 320 . Acquisition of the compressed image in step S101 may be performed at any timing before step S105.
  • FIG. 10 is a diagram for explaining an example of a method of synthesizing mask information of a plurality of bands and converting it into new mask information.
  • mask information for component bands #1 to #20 is stored in memory 210 in advance as mask information before conversion.
  • the synthesis process is not performed for the component bands #1 to #5, and the synthesis process is performed for the component bands #6 to #20.
  • the transmittance distribution of filter array 110 is calculated by dividing the value of each region in the mask image by the value of the corresponding region in the background image.
  • the data of each mask image stored in the memory 210 is called “unit mask image data”
  • the data of each background image stored is called "unit background image data".
  • the synthesized transmittance distribution is obtained by summing the unit mask image data of bands #6 to #20 for each pixel, and the unit background image data for bands #6 to #20 for each pixel. Obtained by dividing by the summed data.
  • data obtained by summing or averaging mask image data of bands #6 to #20 may be used as synthesized mask data of bands #6 to #20.
  • the matrix H' is changed to the matrix H".
  • h'(1,1) (h6(1,1)+...+h20(1,1)/15
  • the mask data conversion processing by synthesis may be performed in the environment used by the end user, or may be performed at a manufacturing site such as a factory that manufactures the system or device.
  • the second mask data after conversion is stored in the memory 210 in place of or in addition to the first mask data before conversion during the manufacturing process.
  • the signal processing circuit 250 can perform the restoration process using the pre-stored converted mask data in response to the user's input. This makes it possible to further reduce the processing load.
  • FIGS. 11A and 11B are diagrams for explaining band synthesis processing in this embodiment.
  • FIG. 11A shows examples of reference spectra of four types of samples 31, 32, 33, and 34 that can be included in the object.
  • FIG. 11B shows an example of band synthesis.
  • FIG. 11A when the overlap between reference spectra is small, it is effective to perform band synthesis in accordance with the peaks of each spectrum. As a result, it is possible to create a situation in which a substance corresponding to approximately one spectrum appears in each restored image.
  • band synthesis is performed as shown in FIG. 11B, substantially sample 31 has signal strength in the image corresponding to band #1. Therefore, the restored image corresponding to band #1 can be handled as it is as the classified image of sample #1.
  • the restored image of band #2 can be treated as the classified image of sample 32, the restored image of band #3 as the classified image of sample 33, and the restored image of band #4 as the classified image of sample #4.
  • classification processing is performed after restoration processing. As a result, the burden of signal processing can be greatly reduced.
  • the amount of overlap between reference spectra can be determined, for example, by the following method. For example, consider the wavelength range from wavelength ⁇ 1 to ⁇ 2. When the values of each reference spectrum are integrated from ⁇ 1 to ⁇ 2, the integrated value of the reference spectrum with the largest integrated value is defined as signal S, and the sum of the integrated values of the other reference spectra is defined as noise N.
  • the amount of overlap between reference spectra can be judged by the value of the signal-to-noise ratio (S/N ratio), which is the signal S divided by the noise N. For example, when the S/N ratio is lower than 1, it can be determined that the overlap is large and that the reference spectra overlap each other.
  • S/N ratio signal-to-noise ratio
  • the S/N ratio is 1 or more, it can be determined that the overlap is small and that there is no overlap between the reference spectra. Alternatively, it is determined that the reference spectra do not overlap when the S/N ratio is 2 or more, and the reference spectra overlap when the S/N ratio is less than 2. good too.
  • the signal processing circuit 250 in this example determines a plurality of designated wavelength bands so that each designated wavelength band does not overlap between reference spectra, and combines a plurality of component bands included in each designated wavelength band into one band. do.
  • Each of the plurality of designated wavelength bands in this example includes a spectral peak wavelength associated with a corresponding one of the plurality of substances.
  • each reference spectrum may be displayed on the input UI 400 so that the user himself/herself can determine the range of bands to be synthesized by performing an operation such as moving the band edge. Displaying the S/N ratio on the screen may assist the user's decision.
  • the signal processing circuit 250 in this example generates compressed second mask data by processing such as averaging a plurality of elements corresponding to each designated wavelength band in the first mask data. Based on the compressed image data and the second mask data, the signal processing circuit 250 generates image data corresponding to each designated wavelength band by performing a calculation corresponding to the above equation (2). By using the compressed second mask data, the load of the restoration calculation can be greatly reduced.
  • observation can be performed under such conditions that the restored image is divided into an excitation light image and a fluorescence image.
  • the content input on the input UI 400 can also be used for labeling the restored image.
  • labeling refers to assigning a known substance name or a code for classification to a region in the restored image or a restored image corresponding to a band having a signal intensity biased toward a certain region. Say things.
  • FIG. 12 is a block diagram showing a configuration example of a system for labeling.
  • the input UI 400 determines the labeling conditions corresponding to the user-selected substance or spectrum and sends that information to the memory 310 of the display device 300 .
  • the image processing circuit 320 of the display device 300 labels each restored image as necessary according to the sent labeling conditions, and causes the display 330 to display the labeled restored image.
  • band synthesis is performed such that a restored image of a certain band X is an excitation light image and a restored image of another band Y is a fluorescence image.
  • the input UI 400 can specify that band X corresponds to excitation light and band Y corresponds to a specific phosphor based on the band synthesis conditions determined from the reference spectral data.
  • the input UI 400 can determine, for example, labeling conditions for assigning a phosphor name or a code for classification to a reconstructed image of band Y or a specific region of the reconstructed image. Bands determined to be in the wavelength range of excitation light may be assigned a name or classification code, such as "excitation light band.” As for the content of labeling, information such as a name input by the user through the input UI 400 may be used for labeling. Labeling may be performed automatically based on known physical property information.
  • FIGS. 13A and 13B are diagrams showing examples of reference spectra of four samples 31 to 34 with large spectral overlap.
  • the overlap between reference spectra is large as in this example, it is not possible to synthesize bands such that the restored image and the classified image match.
  • the overlap can be reduced for some spectra.
  • Bands and samples with no spectral overlap or little overlap can be classified at the time of restoration.
  • the plurality of designated wavelength bands are one or more first designated wavelength bands having no overlap among the plurality of spectra and one or more second designated wavelength bands having overlap among the plurality of spectra. and may include In the example of FIG. 13B, band #1, band #3, and band #4 correspond to the first designated wavelength band, and band #X and band #Y correspond to the second designated wavelength band.
  • band #1, band #3, and band #4 correspond to the first designated wavelength band
  • band #X and band #Y correspond to the second designated wavelength band.
  • classification is possible at the same time as reconstruction.
  • FIG. 14 is a diagram showing an example of a graphical user interface (GUI) that enables operations performed in this embodiment.
  • GUI graphical user interface
  • the GUI displays a compressed image, a decompressed image, reference spectra and band synthesis information, and a table showing the correspondence between bands and samples (ie, materials). Indications relating to recovery of hyperspectral images and/or indications relating to analysis of hyperspectral images and/or indications of recovered hyperspectral images may be added or removed as desired.
  • the overlap between reference spectra is small, it is possible to synthesize bands such that there is a one-to-one correspondence between band numbers and classifications.
  • the display part of "reference spectrum and band synthesis information” the result of band synthesis as shown in FIG. 10, or the band synthesis in which some bands are excluded from restoration targets as shown in FIG. Results can be displayed as well.
  • the spectrum of the observation target is known, such as in fluorescence observation, depending on the combination of the observation targets, a band in which the signal intensity is expected to be zero or very small may occur within the target wavelength band. If the signal intensity of a certain band included in the wavelength band of interest is zero or very small, there is no or very little restoration error caused by excluding that band from the object of the restoration calculation.
  • FIGS. 15A and 15B are diagrams for explaining a method of excluding specific bands from restoration targets based on reference spectral data. If four samples 31, 32, 33, 34 with spectra as shown in FIG. 15A are considered to be present in the imaging region, then all samples have signal intensities at wavelengths between samples 32 and 33. There is a band that is expected to output a dark image. Such bands that are expected to have no signal strength can be excluded from reconstruction as shown in FIG. 15B. By reducing the number of bands to be restored, it is possible to reduce the load of signal processing.
  • FIG. 16 is a flow chart showing an example of the operation of the signal processing circuit 250 when excluding a specific band from restoration.
  • the flowchart shown in FIG. 16 replaces the specific band synthesizing process (steps S103 and S104) in the flowchart shown in FIG.
  • step S203 the signal processing circuit 250 determines whether or not to delete information of a specific band from the mask data. Based on the reference spectrum data, the signal processing circuit 250 proceeds to step S204 if there is a band for which an image having no signal intensity is expected to be output for all assumed samples. information from the mask data. If there is no band for which an image with no signal strength is expected to be output, step S204 is omitted. By such an operation, it is possible to reduce the calculation amount of the restoration calculation process in the transition step S105 and shorten the calculation time.
  • FIG. 17 is a flowchart showing an example of the operation when reference spectrum data is translated into conversion conditions for mask data and sent to the signal processing circuit 250, as in the example shown in FIG.
  • steps S102, S103, and S104 in the flowchart of FIG. 9 are replaced with steps S302 and S303.
  • the signal processing circuit 250 acquires the mask data conversion conditions, that is, band information used for restoration from the processor 420 shown in FIG. Based on this information, certain bands that are not used for reconstruction can be determined.
  • step S ⁇ b>303 the signal processing circuit 250 acquires mask data for bands other than the specific band from the memory 210 . That is, reading of the mask data for the particular band to be deleted is not performed.
  • reference spectral data may not be stored in memory 410 .
  • the name of the material or substance input or selected on the input UI 400 may be associated with the conversion condition.
  • Such linkage allows processor 420 or signal processing circuitry 250 to determine bands to exclude without reference to reference spectral data.
  • labeling information such as the substance name corresponding to each spectrum may be extracted from the reference spectral data stored in the memory 410, and each restored image may be labeled using the labeling information.
  • the present embodiment relates to a system for fluorescence observation.
  • FIG. 18 is a diagram schematically showing the configuration of the system of this embodiment.
  • the system comprises a light source 610 , optics 620 and a detector 630 .
  • Optical system 620 includes an interference filter 621 , a dichroic mirror 622 , an objective lens 623 and a long pass filter 624 .
  • Light source 610 may include a laser emitting element that emits excitation light.
  • the detector 630 comprises the imager 100 described above. A sample 80 containing fluorescent material is illuminated with excitation light and the emitted fluorescence is detected by detector 630 .
  • the excitation light emitted from the light source 610 is incident on the dichroic mirror 622 after passing through an interference filter 621 that selectively transmits light of a specific wavelength that excites the fluorescent material.
  • the dichroic mirror 622 reflects light in a certain wavelength range including the wavelength of the excitation light and transmits light in other wavelength ranges.
  • the excitation light reflected by the dichroic mirror 622 enters the sample 80 through the objective lens 623 .
  • the sample 80 that receives the excitation light emits fluorescence.
  • the fluorescence is transmitted through dichroic mirror 622 and longpass filter 624 and detected by detector 630 . Part of the excitation light incident on the sample 80 is reflected.
  • the excitation light reflected by the sample 80 is reflected by the dichroic mirror 622 , but part of it is transmitted through the dichroic mirror toward the detector 630 .
  • the excitation light usually has an intensity several orders of magnitude higher than fluorescence. may interfere with the observation of
  • a long-pass filter 624 is arranged in front of the detector 630 and the optical system 620 is constructed so that the excitation light does not enter the detector 630 .
  • the reason why the long-pass filter 624 is used is that in fluorescence observation, excitation light has higher energy than fluorescence, that is, has a shorter wavelength.
  • the detector 630 can be, for example, a hyperspectral camera including the imaging device 100 and the processing device 200 in the second embodiment. As described above, the detector 630 performs restoration processing based on mask data from which unnecessary band information corresponding to the excitation light is removed.
  • FIG. 19 is a diagram showing an example of the relationship between excitation light and fluorescence spectra and excluded bands.
  • the sample 80 contains multiple types of fluorescent materials. The spectra of fluorescence emitted from those fluorescent materials are different from each other. Since the excitation light energy is higher than the fluorescence energy, the excitation light wavelength is shorter than the fluorescence wavelength.
  • the wavelength range of the actually incident light is narrower than the target wavelength range that the detector 630 can detect.
  • the optical system 620 is constructed so that the dichroic mirror 622 and the long-pass filter 624 do not transmit short wavelength light in order to cut the excitation light.
  • long-pass filter 624 and dichroic mirror 622 are selected according to the observed fluorescence and the wavelength of excitation light used. Therefore, with the configuration of the present embodiment, which allows selection of any band and excluding it from the restoration calculation, it is possible to perform observation with the minimum required arithmetic processing according to the observation target.
  • the FISH (fluorescent in-situ Hybridization) method is a method in which a probe with a gene sequence complementary to a specific gene sequence is labeled with a fluorescent dye, and the hybridized site or chromosome is identified by fluorescence.
  • a probe with a gene sequence complementary to a specific gene sequence is labeled with a fluorescent dye, and the hybridized site or chromosome is identified by fluorescence.
  • m-FISH method Multicolor FISH
  • multiple probes labeled with different fluorescent dyes are used simultaneously.
  • the m-FISH method is used to test some cancers such as leukemia and congenital genetic abnormalities.
  • Canbio's m-FISH probe is designed using five types of fluorescent dyes so that attachment ratios of the five types of fluorescent dyes are different for each chromosome number of human and mouse. Therefore, by staining a set of chromosomes with this probe, the number of each chromosome can be specified.
  • each chromosome In the absence of translocations that cause cancer and congenital genetic abnormalities, each chromosome exhibits a single fluorescence spectrum as a whole. However, when a translocation occurs, the fluorescence spectrum changes depending on the part of the chromosome. This property can be used to detect translocations.
  • FIG. 20A shows absorption spectra of five types of fluorescent dyes (Cy3, Cy3.5, Cy5, FITC, and DEAC) used for fluorescent labeling for the m-FISH method by Canbio.
  • FIG. 20B shows the fluorescence spectra of each of these fluorochromes. As is evident from FIG. 20A, there is no single wavelength that can induce fluorescence of all fluorochromes simultaneously. Therefore, the distribution of five types of fluorescent dyes can be identified by the following procedure.
  • FIG. 21A is a diagram showing the relationship between excitation wavelengths and absorption spectra of fluorescent dyes. Solid curves show the absorption spectra of two dyes (DEAC and FITC) in which fluorescence is induced. The dashed curves show the absorption spectra of three dyes (Cy3, Cy3.5, Cy5) for which no fluorescence is induced due to insufficient absorption at the excitation wavelength.
  • FIG. 21B is a diagram showing an example of the relationship between each fluorescence spectrum, cutoff wavelength region, and restoration band.
  • the wavelength of the excitation light is set at 405 nanometers (nm).
  • the cutoff wavelengths of dichroic mirror 622 and long-pass filter 624 are set to 450 nm. That is, light with a wavelength of 450 nm or more is incident on the detector 630 .
  • the wavelength range shorter than 450 nm is the cutoff wavelength range.
  • the wavelength of 405 nm of excitation light be a 1st wavelength.
  • the fluorescence of the dyes FITC and DEAC is induced when they are irradiated with excitation light of 405 nm. Since the dichroic mirror 622 and the long-pass filter 624 block light in the wavelength range of 450 nm or less, the light in this wavelength range does not enter the detector 630 . Moreover, since the absorption spectra of the fluorescent dyes Cy3, Cy3.5, and Cy5 are longer than the excitation wavelength, fluorescence is not induced from the fluorescent dyes Cy3, Cy3.5, and Cy5. Therefore, for example, there is no fluorescence at a wavelength of 650 nm or more, and the output image is completely dark.
  • FIG. 22A is a diagram showing the relationship between the excitation wavelength and the absorption spectrum of the fluorescent dye in the second imaging.
  • the solid curve shows the absorption spectrum of the fluorescence-induced dye (Cy5).
  • the dashed curves show the absorption spectra of the remaining four dyes for which no fluorescence is induced due to insufficient absorption at the excitation wavelength.
  • FIG. 22B is a diagram showing an example of the relationship between each fluorescence spectrum, cutoff wavelength region, and restoration band.
  • the wavelength of the excitation light is set to the second wavelength of 633 nm, and the cutoff wavelengths of the dichroic mirror 622 and the long-pass filter 624 are set to 650 nm. That is, light with a wavelength of 650 nm or more is incident on the detector 630 .
  • FIG. 23A is a diagram showing the relationship between the excitation wavelength and the absorption spectrum of the fluorescent dye in the third imaging.
  • the solid curve shows the absorption spectra of the two dyes (Cy3, Cy3.5) in which fluorescence is induced.
  • the dashed and dotted curves show the absorption spectra of the remaining three dyes for which no fluorescence is induced due to insufficient absorption at the excitation wavelength.
  • FIG. 23B is a diagram showing the relationship between each fluorescence spectrum, cutoff wavelength region, and restoration band.
  • the wavelength of the excitation light is set to the third wavelength of 532 nm, and the cutoff wavelength of the dichroic mirror 622 and the long-pass filter 624 is set to 550 nm. That is, light with a wavelength of 550 nm or more is incident on the detector 630 .
  • the restoration band is set as follows. - First band: wavelengths from 550 nm to 575 nm.
  • This band contains fluorescence of Cy3 and Cy3.5 as main components, and may be slightly mixed with fluorescence of FITC.
  • Second band wavelengths from 575 nm to 625 nm.
  • This band contains fluorescence of Cy3 and Cy3.5 as main components, and may be slightly mixed with fluorescence of FITC.
  • - Third band wavelengths from 625 nm to 650 nm.
  • This band contains fluorescence of Cy3 and Cy3.5 as main components, and may be slightly mixed with fluorescence of FITC and Cy5.
  • - Fourth band wavelengths from 650 nm to 800 nm. This band contains fluorescence of Cy3 and Cy3.5 as main components, and may be slightly mixed with fluorescence of Cy5.
  • the distribution of FITC was specified in STEP1
  • the distribution of Cy5 was specified in STEP2.
  • Cy3 and Cy3.5 fluorescence is contained in all of the first to fourth bands.
  • the fluorescence intensity ratio of these fluorochromes in each band is known from the emission spectra of the fluorochromes. Therefore, the distribution of Cy3 and Cy3.5 can be obtained by solving the simultaneous equations regarding the intensity or obtaining the distribution of the pigment that reproduces the imaging result by simulation.
  • a computer implemented signal processing method comprising: performing a first process based on the first instruction; performing a second process based on the second instruction; Performing the third process based on the third instruction,
  • the first processing is (a-1) receiving a plurality of first pixel values; the image sensor outputs the plurality of first pixel values in response to first light from a filter array, the first light corresponding to second light from a first object entering the filter array; (a-2) based on the first matrix and the plurality of first pixel values, a plurality of pixel values I(11) of the image corresponding to the first wavelength range of the first subject, .
  • the plurality of first pixel values correspond to a plurality of first pixels arranged in m rows and n columns, the first matrix is (A1A2 . . . Ap), and the first matrix is a plurality of first pixel values. wherein the plurality of first submatrices are A1, A2, .
  • the second processing is (b-1) receiving a plurality of second pixel values; the image sensor outputs the plurality of second pixel values in response to third light from the filter array, the third light corresponding to fourth light from a second object entering the filter array; (b-2) Generating a plurality of pixel values I(2q) of an image corresponding to the q-th wavelength range of the second object based on the q-th submatrix Aq and the plurality of second pixel values.
  • the third process is (c-1) receiving a plurality of third pixel values; the image sensor outputs the plurality of third pixel values in response to fifth light from the filter array, the fifth light corresponding to sixth light from a third object entering the filter array; (c-2) generating a plurality of pixel values I(3q) of an image corresponding to the q-th wavelength range of the third subject based on the q-th submatrix Aq and the plurality of third pixel values; (c-3) Based on a second matrix generated based on the pluralit
  • p, q, r, and s are natural numbers, respectively, q ⁇ r or (r+s) ⁇ q, 1 ⁇ q ⁇ p, 1 ⁇ r ⁇ p, 1 ⁇ r+s ⁇ p.
  • Formulas (1) and (2) are written as n ⁇ m, but here n ⁇ m in formulas (1) and (2) may be rewritten as m ⁇ n.
  • Each of the first instruction, the second instruction, and the third instruction may be given by the user using the input UI 400.
  • the first instruction is an instruction to generate an image corresponding to the first wavelength region of the first object, . . . , an image corresponding to the p-th wavelength region of the first object.
  • the second instruction includes an instruction to generate an image corresponding to the q-th wavelength range of the second subject, an instruction not to generate an image corresponding to the r-th wavelength range of the second subject, .about., and the (r+s) wavelength range of the second subject. contains an indication not to generate an image corresponding to .
  • the third instruction is an instruction to generate an image corresponding to the q-th wavelength range of the third subject, an instruction to generate an image corresponding to the r-th to the (r+s)-th wavelength range of the third subject, 3 includes an instruction not to generate an image corresponding to the r-th wavelength region of the object, . . . , an instruction not to generate an image corresponding to the (r+s) wavelength region of the third object.
  • the first process includes processes (a-1) and (a-2).
  • Signal processor 250 receives a plurality of first pixel values from image sensor 160 .
  • the second light from the first subject enters the filter array 110 .
  • filter array 110 outputs the first light.
  • Image sensor 160 outputs a plurality of first pixel values in response to the first light from filter array 110 .
  • a plurality of first pixel values can be described as follows if described in a matrix format of m rows and n columns.
  • (i, j) may be considered to correspond to the position of the pixel in the image. 1 ⁇ i ⁇ m and 1 ⁇ j ⁇ n.
  • a plurality of first pixel values can be described as follows if they are described in a matrix format of m ⁇ n rows and 1 column.
  • the signal processing circuit 250 calculates the plurality of pixel values I(11), . . . , to generate a plurality of pixel values I(1p) of the image corresponding to the p-th wavelength band of the first object. This generation method has already been explained using equations (1) and (2).
  • Formulas (1) and (2) are written as n ⁇ m, but here n ⁇ m in formulas (1) and (2) is rewritten as m ⁇ n and applied.
  • the first matrix is the matrix H with m ⁇ n rows and m ⁇ n ⁇ N columns shown in Equation (1).
  • the matrix H is H1 and submatrices A1, . . . , and submatrices Ap are used,
  • Each of the submatrices A1, . . . , Ap may be a diagonal matrix.
  • a plurality of pixel values I(11) of the image corresponding to the first wavelength band of the first object, to a plurality of pixel values I(1p) of the image corresponding to the p-th wavelength band of the first object are represented by m rows n If described in a matrix format of columns, it can be described as follows.
  • (i, j) may be considered to correspond to the position of the pixel in the image. 1 ⁇ i ⁇ m and 1 ⁇ j ⁇ n.
  • a plurality of pixel values I(11) of the image corresponding to the first wavelength range of the first subject, to a plurality of pixel values I(1p) of the image corresponding to the p-th wavelength range of the first subject are m ⁇ n If described in a matrix format with one row and one column, it can be described as follows.
  • the plurality of first submatrices A1, A2, . . . , Ap include the qth submatrix Aq.
  • the second process includes processes (b-1) and (b-2).
  • Signal processor 250 receives a plurality of second pixel values from image sensor 160 .
  • a fourth light from the second object enters the filter array 110 .
  • filter array 110 outputs the third light.
  • Image sensor 160 outputs a plurality of second pixel values corresponding to the third light from filter array 110 .
  • a plurality of second pixel values can be described as follows if described in a matrix format of m rows and n columns.
  • (i, j) may be considered to correspond to the position of the pixel in the image. 1 ⁇ i ⁇ m and 1 ⁇ j ⁇ n.
  • a plurality of second pixel values can be described as follows if described in a matrix format of m ⁇ n rows and 1 column.
  • the signal processing circuit 250 calculates a plurality of pixel values I(2q) of the image corresponding to the q-th wavelength range of the second object based on the q-th submatrix Aq and the plurality of second pixel values recorded in the memory 210. to generate The signal processing circuit 250 calculates a plurality of pixel values I(2r), . A plurality of pixel values I(2(r+s)) of the image corresponding to the (r+s)-th wavelength region of the subject are not generated.
  • the signal processing circuit 250 may perform the following processing.
  • the signal processing circuit 250 deletes the r-th submatrix Ar, . Generate a matrix H2 of m rows n ⁇ m ⁇ (p ⁇ (s+1)) columns.
  • a plurality of pixel values I( 2(r+s)), (iii) A plurality of pixel values I(2(r+s+1)) of the image corresponding to the (r+s+1)-th wavelength region of the second object, . . . corresponding to the p-th wavelength region of the second object Generate a plurality of pixel values I(2p) of the image to be processed.
  • Formulas (1) and (2) are written as n ⁇ m, but here n ⁇ m in formulas (1) and (2) is rewritten as m ⁇ n and applied.
  • the third process includes processes (c-1), (c-2), and (c-3).
  • Signal processor 250 receives a plurality of third pixel values from image sensor 160 .
  • the sixth light from the third object enters filter array 110 .
  • filter array 110 outputs the fifth light.
  • Image sensor 160 outputs a plurality of third pixel values corresponding to the fifth light from filter array 110 .
  • a plurality of third pixel values can be described as follows if described in a matrix format of m rows and n columns.
  • (i, j) may be considered to correspond to the position of the pixel in the image. 1 ⁇ i ⁇ m and 1 ⁇ j ⁇ n.
  • a plurality of third pixel values can be described as follows if described in a matrix format of m ⁇ n rows and 1 column.
  • the signal processing circuit 250 calculates a plurality of pixel values I(3q) of the image corresponding to the q-th wavelength range of the third object based on the q-th submatrix Aq and the plurality of third pixel values recorded in the memory 210. to generate
  • Signal processing circuit 250 generates a second matrix based on the plurality of second sub-matrices stored in memory 210 .
  • the signal processing circuit 250 generates an image corresponding to the r-th wavelength region of the third object to the (r+s)-th wavelength region of the third object based on the generated second matrix and the plurality of third pixel values.
  • the signal processing circuit 250 generates a plurality of pixel values I3c of the image corresponding to the r-th wavelength range of the third object based on the plurality of second sub-matrices and the plurality of third pixel values.
  • I(3r), . . . do not generate a plurality of pixel values I(3(r+s)) of the image corresponding to the (r+s)th wavelength range of the third object.
  • the signal processing circuit 250 may perform the following processing.
  • the signal processing circuit 250 performs the r-th submatrix Ar, . 2 Generate matrix H3.
  • the signal processing circuit 250 generates a third matrix H4 based on the first matrix H1 and the second matrix H3.
  • the third matrix H4 is a matrix of n ⁇ m rows n ⁇ m ⁇ (ps) columns.
  • Formulas (1) and (2) are written as n ⁇ m, but here n ⁇ m in formulas (1) and (2) may be rewritten as m ⁇ n.
  • a plurality of pixel values I3c of the image corresponding to the r-th wavelength range of the third subject to the (r + s)-th wavelength range of the third subject are described as follows when described in a matrix format of m rows and n columns. can.
  • (i, j) may be considered to correspond to the position of the pixel in the image. 1 ⁇ i ⁇ m and 1 ⁇ j ⁇ n.
  • a plurality of pixel values I3c of the image corresponding to the r-th wavelength range of the third subject to the (r+s)-th wavelength range of the third subject are described in a matrix format of m ⁇ n rows and 1 column, they are as follows. can be written.
  • compressed images may be generated by imaging in a different manner than imaging with a filter array that includes multiple optical filters.
  • the image sensor 160 may be processed to change the light receiving characteristics of the image sensor for each pixel. may be generated. That is, instead of encoding the light incident on the image sensor by the filter array 110, the image sensor may be provided with the ability to encode the incident light to produce a compressed image. In this case, the mask data corresponds to the light receiving characteristics of the image sensor.
  • the optical characteristics of the optical system 140 are changed spatially and wavelength-wise, and the incident light is encoded.
  • the compressed image may be generated by an imaging device that includes the configuration.
  • the mask data is information corresponding to the optical characteristics of optical elements such as metalens.
  • the technology of the present disclosure is not limited to fluorescence observation, and can be applied to other applications where the spectrum of the observation target is known.
  • the technique of the present disclosure can be applied to various uses such as observation of absorption spectrum, observation of black body radiation (eg temperature estimation), estimation of light sources (eg LED, halogen lamp, etc.).
  • the technology of the present disclosure is useful, for example, for cameras and measurement equipment that acquire multi-wavelength images.
  • the technology of the present disclosure can also be applied to, for example, fluorescence observation, absorption spectrum observation, biological/medical/beauty sensing, food foreign matter/residual pesticide inspection system, remote sensing system, and in-vehicle sensing system.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Image Processing (AREA)

Abstract

コンピュータによって実行される信号処理方法は、対象波長域におけるハイパースペクトル情報を圧縮することによって得られた被写体の２次元画像情報を含む圧縮画像データを取得すること（Ｓ１０１）と、前記被写体に関連付けられた１つ以上のスペクトルの情報を含む参照スペクトルデータを取得すること（Ｓ１０２）と、前記圧縮画像データから、前記参照スペクトルデータに基づいて決定される複数の指定波長バンドに対応する複数の２次元画像データを生成すること（Ｓ１０５）と、を含む。

Description

信号処理装置および信号処理方法
　本開示は、信号処理装置および信号処理方法に関する。
　各々が狭帯域である多数の波長バンド、例えば十バンド以上のスペクトル情報を活用することにより、従来の３バンドの以外の情報を有しないＲＧＢ画像では不可能であった対象物の詳細な物性の把握が可能になる。そのような多くの波長バンドの画像を取得するカメラには、「ハイパースペクトルカメラ」および「マルチスペクトルカメラ」等がある。これらのカメラは、食品検査、生体検査、医薬品開発、および鉱物の成分分析などの様々な分野で利用されている。
　特許文献１は、圧縮センシング方式のハイパースペクトルカメラを開示している。圧縮センシングは、観測対象のデータ分布が、ある空間（例えば周波数空間）においてスパース（疎）であると仮定することで、観測されたデータよりも多くのデータを復元する技術である。観測対象のスパース性を仮定した推定演算は「スパース再構成」と呼ばれる。特許文献１に開示されたハイパースペクトルカメラは、分光透過率（spectral transmittance）が複数の波長において極大値をもつフィルタのアレイを通してモノクロ画像を取得する。当該撮像装置は、スパース再構成に基づく演算により、当該モノクロ画像からハイパースペクトル画像を復元する。
　非特許文献１は、蛍光体から発せられる蛍光のスペクトルの観察に適したスナップショット型のハイパースペクトル撮像装置の例を開示している。
米国特許第９５９９５１１号明細書
Amicia D. Elliott et al., "Real-time hyperspectral fluorescence imaging of pancreatic b-cell dynamics with the image mapping spectrometer", Journal of Cell Science 125, 4833-4840 (2012).
　特許文献１の撮像装置によれば、高解像度かつ多波長の動画撮影が可能である。一方、イメージセンサの画素数と、波長バンド数との積に等しいサイズの行列データを用いた高負荷な復元演算が行われるため、高い演算能力を持つ処理回路が必要である。
　本開示は、必要な波長バンドの画像を効率的に生成することによって復元演算の負荷を低減するための技術を提供する。
　本開示の一態様による方法は、コンピュータによって実行される信号処理方法である。前記方法は、対象波長域におけるハイパースペクトル情報を圧縮することによって得られた被写体の２次元画像情報を含む圧縮画像データを取得することと、前記被写体に関連付けられた１つ以上のスペクトルの情報を含む参照スペクトルデータを取得することと、前記圧縮画像データから、前記参照スペクトルデータに基づいて決定される複数の指定波長バンドに対応する複数の２次元画像データを生成することとを含む。
　本開示の他の態様による方法は、対象波長域におけるハイパースペクトル情報を圧縮することによって得られた被写体の２次元画像情報を含む圧縮画像データから、波長バンドごとの分光画像データを復元するために用いられるマスクデータを生成する方法である。前記方法は、前記対象波長域における第１波長バンド群に対応する第１分光画像データを復元するための第１マスクデータを取得することと、少なくとも１つのスペクトルに関する情報を含む参照スペクトルデータを取得することと、前記参照スペクトルデータに基づき、前記対象波長域に含まれる１つ以上の指定波長域を決定することと、前記第１マスクデータに基づき、前記１つ以上の指定波長域における第２波長バンド群に対応する第２分光画像データを復元するための第２マスクデータを生成することと、を含む。
　本開示のさらに他の態様による方法は、コンピュータによって実行される信号処理方法である。前記方法は、対象波長域におけるハイパースペクトル情報を圧縮することによって得られた被写体の２次元画像情報を含む圧縮画像データを取得することと、前記被写体に関連付けられた１つ以上のスペクトルの情報を含む参照スペクトルデータを取得することと、前記圧縮画像データから、複数の指定波長バンドに対応する複数の２次元画像データを生成するための復元条件を指定させるためのグラフィカルユーザインターフェース、および前記参照スペクトルデータに基づく画像を、ともにディスプレイに表示させることと、を含む。
　本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意の組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ‐Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含む。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
　本開示の一態様によれば、必要な波長バンドの画像を効率的に生成することによって復元演算の負荷を低減することができる。
図１Ａは、撮像システムの構成例を模式的に示す図である。 図１Ｂは、撮像システムの他の構成例を模式的に示す図である。 図１Ｃは、撮像システムのさらに他の構成例を模式的に示す図である。 図１Ｄは、撮像システムのさらに他の構成例を模式的に示す図である。 図２Ａは、フィルタアレイの例を模式的に示す図である。 図２Ｂは、対象波長域に含まれる複数の波長バンドのそれぞれの光の透過率の空間分布の一例を示す図である。 図２Ｃは、図２Ａに示すフィルタアレイに含まれる領域Ａ１の分光透過率の例を示す図である。 図２Ｄは、図２Ａに示すフィルタアレイに含まれる領域Ａ２の分光透過率の例を示す図である。 図３Ａは、対象波長域と、それに含まれる複数の波長バンドとの関係の例を説明するための図である。 図３Ｂは、対象波長域と、それに含まれる複数の波長バンドとの関係の他の例を説明するための図である。 図４Ａは、フィルタアレイのある領域における分光透過率の特性を説明するための図である。 図４Ｂは、図４Ａに示す分光透過率を、波長バンドごとに平均化した結果を示す図である。 図５は、演算処理の負荷を軽減するためのシステムの構成例を示すブロック図である。 図６は、図５のシステムの変形例を示す図である。 図７は、メモリに保存されている変換前のマスクデータの例を示す図である。 図８Ａは、被写体に含まれ得る４種類のサンプルのスペクトルの例を示す図である。 図８Ｂは、合成されるバンドの例を示す図である。 図９は、マスクデータの変換処理の例を示すフローチャートである。 図１０は、複数のバンドのマスク情報を合成して新たなマスク情報に変換する方法の例を説明するための図である。 図１１Ａは、被写体に含まれ得る４種類のサンプルの参照スペクトルの例を示す図である。 図１１Ｂは、バンド合成の例を示す図である。 図１２は、ラベリングを行うシステムの構成例を示すブロック図である。 図１３Ａは、被写体に含まれ得る４種類のサンプルの参照スペクトルの例を示す図である。 図１３Ｂは、バンド合成の例を示す図である。 図１４は、グラフィカルユーザインターフェース（ＧＵＩ）の例を示す図である。 図１５Ａは、特定のバンドを復元対象から除外する方法を説明するための第１の図である。 図１５Ｂは、特定のバンドを復元対象から除外する方法を説明するための第２の図である。 図１６は、特定のバンドを復元から除外する場合の信号処理回路の動作の例を示すフローチャートである。 図１７は、参照スペクトルデータがマスクデータの変換条件に翻訳されて信号処理回路に送られる場合の動作の例を示すフローチャートである。 図１８は、実施形態４のシステムの構成を模式的に示す図である。 図１９は、励起光および蛍光のスペクトルと、除外されるバンドとの関係の例を示す図である。 図２０Ａは、５種類の蛍光色素の吸収スペクトルを示す図である。 図２０Ｂは、５種類の蛍光色素の蛍光スペクトルを示す図である。 図２１Ａは、第１の撮像における励起波長と蛍光色素の吸収スペクトルとの関係を示す図である。 図２１Ｂは、それぞれの蛍光スペクトルと遮断波長域および復元バンドとの関係の例を示す図である。 図２２Ａは、第２の撮像における励起波長と蛍光色素の吸収スペクトルとの関係を示す図である。 図２２Ｂは、それぞれの蛍光スペクトルと遮断波長域および復元バンドとの関係の例を示す図である。 図２３Ａは、第３の撮像における励起波長と蛍光色素の吸収スペクトルの関係を示す図である。 図２３Ｂは、それぞれの蛍光スペクトルと遮断波長域および復元バンドとの関係を示す図である。
　以下で説明される実施形態は、いずれも包括的または具体的な例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置、位置および接続形態、ステップ、およびステップの順序は、一例であり、本開示の技術を限定する趣旨ではない。以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一または類似の構成要素には同一の符号が付されている。重複する説明は省略または簡略化されることがある。
　本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅも同じ目的で使うことができる。
　さらに、回路、ユニット、装置、部材または部の全部または一部の機能または動作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは、１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
　（本開示の基礎となった知見）
　本開示の実施形態を説明する前に、スパース性に基づく画像復元処理と、復元時に用いられるマスクデータの合成および編集処理の概要を説明する。
　スパース性とは、観測対象を特徴づける要素は、ある空間（例えば周波数空間）においては疎ら（スパース）に存在しているという性質である。スパース性は、自然界において広く見られる。スパース性を利用することにより、必要な情報を効率的に観測することが可能になる。スパース性を利用したセンシング技術は、圧縮センシングと呼ばれる。圧縮センシングを利用することにより、高効率なデバイスおよびシステムの構築が可能である。圧縮センシングのハイパースペクトルカメラへの適用例が特許文献１に開示されている。特許文献１に開示されたハイパースペクトルカメラによれば、高波長分解能、高解像度、かつ多波長の動画を１ショットで撮影することができる。
　圧縮センシングを利用する撮像装置は、例えば、空間および／または波長に関してランダムな光透過特性を有する光学フィルタのアレイを備える。そのような光学フィルタのアレイを「符号化マスク」または「符号化素子」と呼ぶことがある。符号化マスクは、イメージセンサに入射する光の光路上に配置され、被写体から入射する光を、領域によって異なる光透過特性で透過させる。符号化マスクによるこの過程を「符号化」と称する。符号化マスクによって符号化された光の像は、イメージセンサによって撮像される。符号化マスクを用いた撮像によって生成された画像を、本明細書において「圧縮画像」と称する。符号化マスクの光透過特性を示すマスクデータが、予め記憶装置に記録される。撮像装置における処理回路は、圧縮画像とマスクデータとに基づき、復元処理を行う。復元処理により、圧縮画像よりも多くの波長に関する情報を有する復元画像が生成される。マスクデータは、例えば、符号化マスクの分光透過率の空間分布を示す情報である。そのようなマスクデータに基づく復元処理により、１つの圧縮画像から、複数の波長バンドのそれぞれの画像を再構成（reconstruction）することができる。
　復元処理は、撮影対象のスパース性を仮定した推定演算を含む。スパース再構成で行われる演算は、例えば、特許文献１に開示されているような、離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）等の正則化項を取り入れた評価関数の最小化によるデータの推定演算であり得る。このような推定演算は、イメージセンサの画素数と波長バンド数との積に相当するサイズをもつマスクデータを用いた高負荷な演算である。このため、高い演算能力を持つ処理回路が必要である。そのような高負荷な演算に要する時間が撮影時の露光時間よりも長くなる場合には、演算時間がカメラの動作速度（例えばフレームレート）を律速することとなる。
　ハイパースペクトルカメラの利用分野の中には、蛍光観察および吸収スペクトル観察など、被写体において想定されるスペクトルが既知である場合も多く存在する（例えば非特許文献１参照）。被写体において想定されるスペクトルが既知である場合、復元処理に用いられるマスクデータを適切に編集または削減することで、演算量を削減することが可能である。マスクデータは、例えば、画像復元後に行われる分析または分類などの処理において必要となる波長域の情報に基づいて編集または削減することができる。
　以上の知見に基づき、本開示は、被写体が有し得るスペクトルが既知である場合に、既知のスペクトルに関する情報を参照して演算処理の負荷を軽減する方法を開示する。以下の説明において、被写体すなわち観察対象に含まれる個々の物質において想定される既知のスペクトルを「参照スペクトル」と呼ぶ。観測対象が有し得る１種類以上の物質の参照スペクトルを示すデータをまとめて「参照スペクトルデータ」と呼ぶ。
　以下、本開示の実施形態の概要を説明する。
　本開示の例示的な実施形態による信号処理方法は、対象波長域におけるハイパースペクトル情報を圧縮することによって得られた被写体の２次元画像情報を含む圧縮画像データを取得することと、前記被写体に関連付けられた１つ以上のスペクトルの情報を含む参照スペクトルデータを取得することと、前記圧縮画像データから、前記参照スペクトルデータに基づいて決定される複数の指定波長バンドに対応する複数の２次元画像データを生成することと、を含む。
　「対象波長域におけるハイパースペクトル情報」とは、対象波長域に含まれる複数の波長バンドのそれぞれについての輝度の空間分布に関する情報を意味する。「ハイパースペクトル情報を圧縮する」とは、後述するフィルタアレイのような符号化素子を用いて複数の波長バンドの輝度の空間分布に関する情報を１つのモノクロの２次元画像として圧縮することを意味する。
　上記の方法によれば、参照スペクトルデータに基づいて決定される複数の指定波長バンドに対応する複数の２次元画像データが圧縮画像データから復元される。このため、対象波長域に含まれる全ての波長バンドに対応する２次元画像データを復元する場合と比較して、演算処理の負荷を軽減することができる。
　前記１つ以上のスペクトルは、前記被写体に含まれると想定される１種類以上の物質に関連付けられていてもよい。例えば、物質とスペクトルとの対応関係を規定するデータが、予めメモリなどの記憶媒体に記録されていてもよい。そのようなデータを参照することにより、例えばユーザが指定した物質に対応するスペクトルの情報を容易に取得することができる。
　前記複数の指定波長バンドのそれぞれは、前記１種類以上の物質のうちの対応する１つに関連付けられた前記スペクトルのピーク波長を含んでいてもよい。これにより、各指定波長バンドが１つの物質に対応することになり、復元された画像に基づく分類を容易にすることができる。
　前記参照スペクトルデータは、前記被写体に含まれると想定される複数種類の物質に関連付けられた複数のスペクトルの情報を含んでいてもよい。前記複数の指定波長バンドは、前記複数のスペクトルの間で重なりを有しない第１指定波長バンドと、前記複数のスペクトルの間で重なりを有する第２指定波長バンドとを含んでいてもよい。これにより、２つ以上の物質のスペクトルに重なりがある場合でも、復元された画像に基づく分類を容易にすることができる。
　本明細書において、ある指定波長バンドが「複数のスペクトルの間で重なりを有しない」とは、当該指定波長バンドにおいて、複数のスペクトルの１つが有意な強度を有し、他のスペクトルは有意な強度を有しないことを意味する。反対に、ある指定波長バンドが「複数のスペクトルの間で重なりを有する」とは、当該指定波長バンドにおいて、２つ以上のスペクトルが有意な強度を有することを意味する。「有意な強度」を有するか否かは、例えば、各スペクトルの強度を当該指定波長バンドの下限波長から上限波長まで積分した場合の積分値に基づいて判断され得る。複数のスペクトルの積分値のうち最大の積分値をシグナルＳ、それ以外の積分値の合計をノイズＮとする。シグナルＳをノイズＮで割った値であるＳ／Ｎ比が閾値（例えば１、２、または３など）以上の場合、その指定波長バンドは、複数のスペクトルの間で重なりを有していないと判断され得る。逆に、Ｓ／Ｎ比が上記閾値未満である場合、その指定波長バンドは、複数のスペクトルの間で重なりを有していると判断され得る。
　前記圧縮画像データは、分光透過率が互いに異なる複数種類の光学フィルタを含むフィルタアレイおよびイメージセンサを用いて生成され得る。前記方法は、前記分光透過率の空間分布を反映したマスクデータを取得することをさらに含み得る。前記複数の２次元画像データは、前記圧縮画像データおよび前記マスクデータに基づいて生成され得る。
　前記マスクデータは、前記対象波長域に含まれる複数の単位バンドの各々についての前記フィルタアレイの透過率の空間分布に応じた要素を有するマスク行列情報を含み得る。前記方法は、前記対象波長域における、前記指定波長バンドとは異なる非指定波長バンドに対応する前記マスク行列情報を合成した合成マスク情報を生成することと、前記圧縮画像データおよび前記合成マスク情報に基づいて、前記非指定波長バンドについての合成画像データを生成することと、をさらに含み得る。これにより、非指定波長バンドについて、マスク行列情報が合成されることによってデータ量が削減されるため、演算処理の負荷をさらに低減することができる。
　前記複数の２次元画像データを生成することは、前記対象波長域における、前記指定波長バンドとは異なる非指定波長バンドに対応する画像データを前記圧縮画像データから生成することなく、前記複数の指定波長バンドに対応する前記複数の２次元画像データを生成して出力することを含んでいてもよい。言い換えれば、前記方法は、前記対象波長域における、前記指定波長バンドとは異なる非指定波長バンドに対応する画像データを前記圧縮画像データから生成することを含まなくてもよい。これにより、重要度が低い非指定波長バンドについては復元処理が行われないため、演算負荷をさらに低減することができる。
　前記複数の指定波長バンドは、前記参照スペクトルデータが示す前記１つ以上のスペクトルの強度または前記強度の微分値に基づいて決定され得る。例えば、各指定波長バンドは、対応するスペクトルの強度がピークになるピーク波長を含むように決定され得る。あるいは、各指定波長バンドは、対応するスペクトルの強度の微分値の絶対値がゼロに近い波長域を避けて決定され得る。そのような方法により、スペクトルにおいて特徴的な部分を含む指定波長バンドを決定することができ、復元後の分類などの処理が円滑になる。
　前記参照スペクトルデータは、前記被写体に含まれると想定される１つ以上の物質の蛍光スペクトルの情報を含んでいてもよい。これにより、蛍光物質の蛍光スペクトルに基づく適切なバンド構成で復元処理を行うことができる。
　前記参照スペクトルデータは、前記被写体に含まれると想定される１つ以上の物質の吸光スペクトルの情報を含んでいてもよい。これにより、物質の吸光スペクトルに基づく適切なバンド構成で復元処理を行うことができる。
　前記方法は、前記１つ以上のスペクトル、または前記１つ以上のスペクトルに関連付けられた１種類以上の物質をユーザに指定させるためのグラフィカルユーザインターフェース（ＧＵＩ）をディスプレイに表示させることをさらに含んでいてもよい。前記ディスプレイは、前記コンピュータに接続または搭載され得る。前記参照スペクトルデータは、指定された前記１つ以上のスペクトル、または指定された前記１種類以上の物質に応じて取得され得る。これにより、ユーザがＧＵＩ上で指定したスペクトルまたは物質に応じたバンド構成で復元処理を行うことができる。
　本開示の他の実施形態による方法は、対象波長域におけるハイパースペクトル情報を圧縮することによって得られた被写体の２次元画像情報を含む圧縮画像データから、波長バンドごとの分光画像データを復元するために用いられるマスクデータを生成する方法である。前記方法は、前記対象波長域における第１波長バンド群に対応する第１分光画像データを復元するための第１マスクデータを取得することと、少なくとも１つのスペクトルに関する情報を含む参照スペクトルデータを取得することと、前記参照スペクトルデータに基づき、前記対象波長域に含まれる１つ以上の指定波長域を決定することと、前記第１マスクデータに基づき、前記１つ以上の指定波長域における第２波長バンド群に対応する第２分光画像データを復元するための第２マスクデータを生成することと、を含む。
　第１波長バンド群は、対象波長域に含まれる全てまたは一部の波長バンドの集合であり得る。例えば、第１波長バンド群は、対象波長域に含まれる微小な帯域幅をもつ複数の単位波長バンドの集合であってもよい。第２波長バンド群は、指定波長域に含まれる全てまたは一部の波長バンドの集合であり得る。例えば、第２波長バンド群は、指定波長域に含まれる複数の単位波長バンドの集合であってもよい。第１波長バンド群および第２波長バンド群のそれぞれは、２つ以上の単位波長バンドが合成された合成バンドの集合であってもよい。そのようなバンド合成が行われる場合、バンドの合成態様に応じてマスクデータの変換処理が行われる。
　上記の構成によれば、参照スペクトルデータに基づいて決定された指定波長域における第２波長バンド群に対応する第２分光画像データを復元するための第２マスクデータを生成することができる。第２マスクデータは、第１マスクデータよりもデータサイズが小さいため、第２マスクデータを用いて効率的に復元することが可能になる。
　上記の第２マスクデータを生成する方法は、第２マスクデータに基づいて圧縮画像データから波長バンドごとの分光画像データを復元する装置によって実行されてもよいし、前記装置に接続される他の装置によって実行されてもよい。
　前記圧縮画像データは、分光透過率が互いに異なる複数種類の光学フィルタを含むフィルタアレイおよびイメージセンサを用いて生成され得る。前記第１マスクデータおよび前記第２マスクデータは、前記フィルタアレイの分光透過率の空間分布が反映されたデータであり得る。前記第１マスクデータは、前記第１波長バンド群に対応する前記分光透過率の空間分布を示す第１マスク情報を含み得る。前記第２マスクデータは、前記第２波長バンド群に対応する前記分光透過率の空間分布を示す第２マスク情報を含み得る。
　前記第２マスクデータは、複数の情報を合成することにより得られた第３マスク情報をさらに含み得る。前記複数の情報の各々は、前記対象波長域のうち、前記指定波長域以外の非指定波長域に含まれる対応する波長バンドにおける前記分光透過率の空間分布を示す。
　前記第２マスクデータは、前記指定波長域以外の非指定波長域に含まれる対応する波長バンドにおける前記分光透過率の空間分布に関する情報を含まなくてもよい。
　本開示のさらに他の実施形態による信号処理方法は、対象波長域におけるハイパースペクトル情報を圧縮することによって得られた被写体の２次元画像情報を含む圧縮画像データを取得することと、前記被写体に関連付けられた１つ以上のスペクトルの情報を含む参照スペクトルデータを取得することと、前記圧縮画像データから、複数の指定波長バンドに対応する複数の２次元画像データを生成するための復元条件を指定させるためのグラフィカルユーザインターフェース、および前記参照スペクトルデータに基づく画像を、ともにディスプレイに表示させることと、を含む。
　上記の構成によれば、複数の指定波長バンドに対応する複数の２次元画像データを生成するための復元条件をユーザが指定することができる。これにより、所望の指定波長バンドに対応する複数の２次元画像データを効率的に生成することができる。
　本開示は、上記の各方法をコンピュータに実行させるためのコンピュータプログラムも含む。本開示はまた、上記の各方法を実行するプロセッサと、当該プロセッサによって実行されるコンピュータプログラムを格納したメモリとを備える信号処理装置も含む。
　以下、本開示の実施形態をより詳細に説明する。以下に示す実施形態は例示的なものに過ぎず、各実施形態において種々の変形または変更が可能である。
　（実施形態１）
　＜１．撮像システム＞
　まず、本開示の例示的な実施形態において用いられる撮像システムの構成例を説明する。
　図１Ａは、撮像システムの構成例を模式的に示す図である。このシステムは、撮像装置１００と、処理装置２００とを備える。撮像装置１００は、特許文献１に開示された撮像装置と同様の構成を備える。撮像装置１００は、光学系１４０と、フィルタアレイ１１０と、イメージセンサ１６０とを備える。光学系１４０およびフィルタアレイ１１０は、被写体である対象物７０から入射する光の光路上に配置される。図１Ａの例におけるフィルタアレイ１１０は、光学系１４０とイメージセンサ１６０との間に配置されている。
　図１Ａには、対象物７０の一例として、リンゴが例示されている。対象物７０は、リンゴに限らず、任意の物体であり得る。イメージセンサ１６０は、複数の波長バンドの情報が２次元のモノクロ画像として圧縮された圧縮画像１０のデータを生成する。処理装置２００は、イメージセンサ１６０が生成した圧縮画像１０のデータに基づいて、所定の対象波長域に含まれる複数の波長バンドのそれぞれについての画像データを生成することができる。この生成される複数の波長バンドに1対１に対応する複数の画像データを、「ハイパースペクトル（ＨＳ）データキューブ」または「ハイパースペクトル画像データ」と称することがある。ここで、対象波長域に含まれる波長バンドの数をＮ（Ｎは４以上の整数）とする。以下の説明において、生成される複数の波長バンドに1対１に対応する複数の画像データを、復元画像２０Ｗ１、復元画像２０Ｗ２、・・・、復元画像２０ＷＮと称し、これらを「ハイパースペクトル画像２０」と総称することがある。各波長バンドの復元画像のデータを「分光画像データ」または単に「分光画像」と称することもある。本明細書において、画像のデータまたは信号、すなわち、画像に含まれる複数の画素の複数の画素値を表すデータまたは信号の集合を、単に「画像」と称することがある。
　本開示において「対象波長域」とは、システムによって出力される分光画像に含まれる波長成分の上限波長と下限波長によって決定される波長範囲を指す。対象波長域は、システムにおけるイメージセンサなどの光検出装置が検出可能な光の波長域と対応していてもよい。例えば、４００－７００ｎｍ以外の光の透過を抑制するバンドパスフィルタを通して撮像するシステムの場合、対象波長域は４００－７００ｎｍであり得る。５００－６００ｎｍの光を吸収するフィルタをさらに通して撮像するシステムにおいては、光検出装置が検出可能な４００－５００ｎｍと６００－７００ｎｍとを合わせた波長域が対象波長域に該当し得る。
　本実施形態におけるフィルタアレイ１１０は、行および列状に配列された透光性を有する複数のフィルタのアレイである。複数のフィルタは、分光透過率、すなわち光透過率の波長依存性が互いに異なる複数種類のフィルタを含む。フィルタアレイ１１０は、前述の符号化マスクとして機能し、入射光の強度を波長ごとに変調して出力する。
　図１Ａに示す例において、フィルタアレイ１１０は、イメージセンサ１６０の近傍または直上に配置されている。ここで「近傍」とは、光学系１４０からの光の像がある程度鮮明な状態でフィルタアレイ１１０の面上に形成される程度に近接していることを意味する。「直上」とは、ほとんど隙間が生じない程両者が近接していることを意味する。フィルタアレイ１１０およびイメージセンサ１６０は一体化されていてもよい。
　光学系１４０は、少なくとも１つのレンズを含む。図１Ａでは、光学系１４０が１つのレンズとして示されているが、光学系１４０は複数のレンズの組み合わせであってもよい。光学系１４０は、フィルタアレイ１１０を介して、イメージセンサ１６０の撮像面上に像を形成する。
　フィルタアレイ１１０は、イメージセンサ１６０から離れて配置されていてもよい。図１Ｂから図１Ｄは、フィルタアレイ１１０がイメージセンサ１６０から離れて配置されている撮像装置１００の構成例を示す図である。図１Ｂの例では、フィルタアレイ１１０が、光学系１４０とイメージセンサ１６０との間で且つイメージセンサ１６０から離れた位置に配置されている。図１Ｃの例では、フィルタアレイ１１０が対象物７０と光学系１４０との間に配置されている。図１Ｄの例では、撮像装置１００が２つの光学系１４０Ａおよび１４０Ｂを備え、それらの間にフィルタアレイ１１０が配置されている。これらの例のように、フィルタアレイ１１０とイメージセンサ１６０との間に１つ以上のレンズを含む光学系が配置されていてもよい。
　イメージセンサ１６０は、２次元的に配列された複数の光検出素子（本明細書において、「画素」とも呼ぶ。）を有するモノクロタイプの光検出装置である。イメージセンサ１６０は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、または赤外線アレイセンサであり得る。光検出素子は、例えばフォトダイオードを含む。イメージセンサ１６０は、必ずしもモノクロタイプのセンサである必要はない。例えば、カラータイプのセンサを用いてもよい。カラータイプのセンサは、赤色の光を透過するフィルタ、緑色の光を透過するフィルタ、青色の光を透過するフィルタを有するセンサ、赤色の光を透過するフィルタ、緑色の光を透過するフィルタ、青色の光を透過するフィルタ、赤外線を透過するフィルタを有するセンサ、または、赤色の光を透過するフィルタ、緑色の光を透過するフィルタ、青色の光を透過するフィルタ、白色の光を透過するフィルタを有するセンサを含む。カラータイプのセンサを使用することで、波長に関する情報量を増やすことができ、ハイパースペクトル画像２０の再構成の精度を向上させることができる。取得対象の波長範囲は任意に決定してよく、可視の波長範囲に限らず、紫外、近赤外、中赤外、または遠赤外の波長範囲であってもよい。
　処理装置２００は、１つ以上のプロセッサと、メモリ等の１つ以上の記憶媒体とを備えるコンピュータであり得る。処理装置２００は、イメージセンサ１６０によって取得された圧縮画像１０に基づいて、復元画像２０Ｗ１、復元画像２０Ｗ２、・・・復元画像２０ＷＮのデータを生成する。
　図２Ａは、フィルタアレイ１１０の例を模式的に示す図である。フィルタアレイ１１０は、２次元的に配列された複数の領域を有する。本明細書では、当該複数の領域のそれぞれを、「セル」と称することがある。各領域には、個別に設定された分光透過率を有する光学フィルタが配置されている。分光透過率は、入射光の波長をλとして、関数Ｔ（λ）で表される。分光透過率Ｔ（λ）は、０以上１以下の値を取り得る。
　図２Ａに示す例では、フィルタアレイ１１０は、６行８列に配列された４８個の矩形領域を有する。これはあくまで例示であり、実際の用途では、これよりも多くの領域が設けられ得る。その数は、例えばイメージセンサ１６０の画素数と同程度であってもよい。フィルタアレイ１１０に含まれるフィルタ数は、例えば数十から数千万の範囲で用途に応じて決定される。
　図２Ｂは、対象波長域に含まれる波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷＮのそれぞれの光の透過率の空間分布の一例を示す図である。図２Ｂに示す例では、各領域の濃淡の違いは、透過率の違いを表している。淡い領域ほど透過率が高く、濃い領域ほど透過率が低い。図２Ｂに示すように、波長バンドによって光透過率の空間分布が異なっている。
　図２Ｃおよび図２Ｄは、それぞれ、図２Ａに示すフィルタアレイ１１０に含まれる領域Ａ１および領域Ａ２の分光透過率の例を示す図である。領域Ａ１の分光透過率と領域Ａ２の分光透過率とは、互いに異なる。このように、フィルタアレイ１１０の分光透過率は、領域によって異なる。ただし、必ずしもすべての領域の分光透過率が異なっている必要はない。フィルタアレイ１１０では、複数の領域の少なくとも一部の領域の分光透過率が互いに異なっている。フィルタアレイ１１０は、分光透過率が互いに異なる２つ以上のフィルタを含む。ある例では、フィルタアレイ１１０に含まれる複数の領域の分光透過率のパターンの数は、対象波長域に含まれる波長バンドの数Ｎと同じか、それ以上であり得る。フィルタアレイ１１０は、半数以上の領域の分光透過率が異なるように設計されていてもよい。
　図３Ａおよび図３Ｂは、対象波長域Ｗと、それに含まれる波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷＮとの関係を説明するための図である。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば、約４００ｎｍから約７００ｎｍの可視光の波長域、約７００ｎｍから約２５００ｎｍの近赤外線の波長域、または約１０ｎｍから約４００ｎｍの近紫外線の波長域であり得る。あるいは、対象波長域Ｗは、中赤外または遠赤外などの波長域であってもよい。このように、使用される波長域は可視光域とは限らない。本明細書では、可視光に限らず、赤外線および紫外線を含む放射全般を「光」と称する。
　図３Ａに示す例では、Ｎを４以上の任意の整数として、対象波長域ＷをＮ等分したそれぞれの波長域を波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷＮとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数の波長バンドは任意に設定してもよい。例えば、波長バンドによって帯域幅を不均一にしてもよい。隣接する波長バンドの間にギャップまたは重なりがあってもよい。図３Ｂに示す例では、波長バンドによって帯域幅が異なり、且つ隣接する２つの波長バンドの間にギャップがある。このように、複数の波長バンドの決め方は任意である。
　図４Ａは、フィルタアレイ１１０のある領域における分光透過率の特性を説明するための図である。図４Ａに示す例では、分光透過率は、対象波長域Ｗ内の波長に関して、複数の極大値（つまり、極大値Ｐ１から極大値Ｐ５）、および複数の極小値を有する。図４Ａに示す例では、対象波長域Ｗ内での光透過率の最大値が１、最小値が０となるように正規化されている。図４Ａに示す例では、波長バンドＷ２、および波長バンドＷＮ－１などの波長域において、分光透過率が極大値を有している。このように、各領域の分光透過率は、波長バンドＷ１から波長バンドＷＮのうち、少なくとも２つの複数の波長域において極大値を有するように設計され得る。図４Ａの例では、極大値Ｐ１、極大値Ｐ３、極大値Ｐ４および極大値Ｐ５は０．５以上である。
　このように、各領域の光透過率は、波長によって異なる。したがって、フィルタアレイ１１０は、入射する光のうち、ある波長域の成分を多く透過させ、他の波長域の成分をそれほど透過させない。例えば、Ｎ個の波長バンドのうちのｋ個の波長バンドの光については、透過率が０．５よりも大きく、残りのＮ－ｋ個の波長域の光については、透過率が０．５未満であり得る。ｋは、２≦ｋ＜Ｎを満たす整数である。仮に入射光が、すべての可視光の波長成分を均等に含む白色光であった場合には、フィルタアレイ１１０は、入射光を領域ごとに、波長に関して離散的な複数の強度のピークを有する光に変調し、これらの多波長の光を重畳して出力する。
　図４Ｂは、一例として、図４Ａに示す分光透過率を、波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷＮごとに平均化した結果を示す図である。平均化された透過率は、分光透過率Ｔ（λ）を波長バンドごとに積分してその波長バンドの帯域幅で除することによって得られる。本明細書では、このように波長バンドごとに平均化した透過率の値を、その波長バンドにおける透過率とする。この例では、極大値Ｐ１、Ｐ３およびＰ５をとる３つの波長域において、透過率が突出して高くなっている。特に、極大値Ｐ３およびＰ５をとる２つの波長域において、透過率が０．８を超えている。
　図２Ａから図２Ｄに示す例では、各領域の透過率が０以上１以下の任意の値をとり得るグレースケールの透過率分布が想定されている。しかし、必ずしもグレースケールの透過率分布にする必要はない。例えば、各領域の透過率がほぼ０またはほぼ１のいずれかの値を取り得るバイナリスケールの透過率分布を採用してもよい。バイナリスケールの透過率分布では、各領域は、対象波長域に含まれる複数の波長域のうちの少なくとも２つの波長域の光の大部分を透過させ、残りの波長域の光の大部分を透過させない。ここで「大部分」とは、概ね８０％以上を指す。
　全セルのうちの一部、例えば半分のセルを、透明領域に置き換えてもよい。そのような透明領域は、対象波長域Ｗに含まれるすべての波長バンドＷ１からＷＮの光を同程度の高い透過率、例えば８０％以上の透過率で透過させる。そのような構成では、複数の透明領域は、例えば市松（checkerboard）状に配置され得る。すなわち、フィルタアレイ１１０における複数の領域の２つの配列方向において、光透過率が波長によって異なる領域と、透明領域とが交互に配列され得る。
　このようなフィルタアレイ１１０の分光透過率の空間分布を示すデータは、設計データまたは実測キャリブレーションに基づいて事前に取得され、処理装置２００が備える記憶媒体に格納される。このデータは、後述する演算処理に利用される。
　フィルタアレイ１１０は、例えば、多層膜、有機材料、回折格子構造、または金属を含む微細構造を用いて構成され得る。多層膜を用いる場合、例えば、誘電体多層膜または金属層を含む多層膜が用いられ得る。この場合、セルごとに各多層膜の厚さ、材料、および積層順序の少なくとも１つが異なるように形成される。これにより、セルによって異なる分光特性を実現できる。多層膜を用いることにより、分光透過率におけるシャープな立ち上がりおよび立下りを実現できる。有機材料を用いた構成は、セルによって含有する顔料または染料が異なるようにしたり、異種の材料を積層させたりすることによって実現され得る。回折格子構造を用いた構成は、セルごとに異なる回折ピッチまたは深さの回折構造を設けることによって実現され得る。金属を含む微細構造を用いる場合は、プラズモン効果による分光を利用して作製され得る。
　次に、処理装置２００による信号処理の例を説明する。処理装置２００は、イメージセンサ１６０から出力された圧縮画像１０、およびフィルタアレイ１１０の波長ごとの透過率の空間分布特性に基づいて、ハイパースペクトル画像２０を再構成する。生成されたハイパースペクトル画像２０は複数の画像を含む。当該複数の画像は複数の波長域に対応し、当該複数の波長域の数は、例えば通常のカラーカメラで取得される波長域（例えば、赤色光の波長域、緑色光の波長域、青色光の波長域）の数である３つよりも大きい。この波長域の数は、例えば４から１００程度の数であり得る。この波長域の数を、「バンド数」と称する。用途によっては、バンド数は１００を超えていてもよい。
　求めたいデータはハイパースペクトル画像２０のデータであり、そのデータをｆとする。バンド数をＮとすると、ｆは、波長バンドＷ１に対応する画像データｆ１、波長バンドＷ２に対応する画像データｆ２、・・・、波長バンドＷＮに対応する画像データｆＮを含むデータである。ここで、図１Ａ～図１Ｄに示すように、画像の横方向をｘ方向、画像の縦方向をｙ方向とする。求めるべき画像データのｘ方向の画素数をｍとし、ｙ方向の画素数をｎとすると、画像データｆ１、画像データｆ２、・・・、画像データｆＮの各々は、ｎ×ｍ画素の２次元データである。したがって、データｆは要素数ｎ×ｍ×Ｎの３次元データである。この３次元データを、「ハイパースペクトル画像データ」または「ハイパースペクトルデータキューブ」と称する。一方、フィルタアレイ１１０によって符号化および多重化されて取得される圧縮画像１０のデータｇの要素数はｎ×ｍである。データｇは、以下の式（１）によって表すことができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｆ１、ｆ２、・・・、ｆＮの各々は、ｎ×ｍ個の要素を有するデータである。したがって、右辺のベクトルは、ｎ×ｍ×Ｎ行１列の１次元ベクトルである。圧縮画像１０は、ｎ×ｍ行１列の１次元ベクトルｇに変換されて表され、計算される。行列Ｈは、ベクトルｆの各成分ｆ１、ｆ２、・・・、ｆＮを波長バンドごとに異なる符号化情報（「マスク情報」とも称する。）で符号化および強度変調し、それらを加算する変換を表す。したがって、Ｈは、ｎ×ｍ行ｎ×ｍ×Ｎ列の行列である。マスク情報は式（１）における行列Ｈと解釈してもよい。
　ベクトルｇと行列Ｈが与えられれば、式（１）の逆問題を解くことにより、ｆを算出することができそうである。しかし、求めるデータｆの要素数ｎ×ｍ×Ｎが取得データｇの要素数ｎ×ｍよりも多いため、この問題は不良設定問題であり、このままでは解くことができない。そこで、処理装置２００は、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の式（２）を解くことにより、求めるデータｆが推定される。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値または二乗和平方根等を残差項としてもよい。括弧内の第２項は、正則化項または安定化項である。式（２）は、第１項と第２項との和を最小化するｆを求めることを意味する。式（２）における括弧内の関数を評価関数と呼ぶ。処理装置２００は、再帰的な反復演算によって解を収束させ、評価関数を最小にするｆを、最終的な解ｆ’として算出することができる。
　式（２）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによって変換したＨｆとの差の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。この関数は、推定データを滑らかまたは安定にする効果をもたらす。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）などによって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象物７０のスパース性は、対象物７０のテキスチャによって異なる。対象物７０のテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数である。重み係数τが大きいほど冗長的なデータの削減量が多くなり、圧縮する割合が高まる。重み係数τが小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。
　式（１）、式（２）に含まれる
Figure JPOXMLDOC01-appb-M000003
は、式（１）、式（２）に関連する記載において、ｇと標記されることがある。
　なお、図１Ｂおよび図１Ｃの構成においては、フィルタアレイ１１０によって符号化された像は、イメージセンサ１６０の撮像面上でボケた状態で取得される。したがって、予めこのボケ情報を保有しておき、そのボケ情報を前述の行列Ｈに反映させることにより、ハイパースペクトル画像２０を再構成することができる。ここで、ボケ情報は、点拡がり関数（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ：ＰＳＦ）によって表される。ＰＳＦは、点像の周辺画素への拡がりの程度を規定する関数である。例えば、画像上で１画素に相当する点像が、ボケによってその画素の周囲のｋ×ｋ画素の領域に広がる場合、ＰＳＦは、その領域内の各画素の画素値への影響を示す係数群、すなわち行列として規定され得る。ＰＳＦによる符号化パターンのボケの影響を、行列Ｈに反映させることにより、ハイパースペクトル画像２０を再構成することができる。フィルタアレイ１１０が配置される位置は任意であるが、フィルタアレイ１１０の符号化パターンが拡散しすぎて消失しない位置が選択され得る。
　＜２．参照スペクトルに基づくバンド合成処理＞
　以上の処理により、イメージセンサ１６０によって取得された圧縮画像１０から、複数の波長バンドのそれぞれの画像を復元することができる。しかし、対象波長域に含まれる全ての波長バンドの画像を復元するためには、イメージセンサ１６０の画素数と波長バンド数との積に相当する数の要素を含む行列を用いた演算が必要である。この演算の負荷は高く、処理装置２００には高い演算能力が要求される。
　一方、蛍光観察および吸収スペクトル観察のように、観察対象の物質について想定される発光スペクトルまたは吸収スペクトルが既知である場合がある。そのような場合、想定される既知のスペクトルに基づいてマスクデータを編集または削減することにより、演算量を削減することができる。
　以下、既知のスペクトルを示す参照スペクトルデータを利用して演算処理の負荷を軽減する方法の例を説明する。以下に示す参照スペクトルの例は代表的な例にすぎず、種々の変形または変更が可能である。以下の説明では、一例として、１種類以上の特定の物質（例えば蛍光物質など）を含む被写体を撮像し、取得された画像に基づいて物質の分析または分類を行うためのシステムを説明する。
　図５は、参照スペクトルデータを利用して演算処理の負荷を軽減するためのシステムの構成例を示すブロック図である。本システムは、撮像装置１００と、処理装置２００と、表示装置３００と、入力ユーザインターフェース（ＵＩ）４００とを備える。処理装置２００は、本開示における信号処理装置の一例である。
　撮像装置１００は、イメージセンサ１６０と、イメージセンサ１６０を制御する制御回路１５０とを備える。撮像装置１００は、図１Ａから図１Ｄに示すように、フィルタアレイ１１０および少なくとも１つの光学系１４０も備える。イメージセンサ１６０は、フィルタアレイ１１０によって領域ごとに強度が変調された光に基づくモノクロ画像である圧縮画像を取得する。圧縮画像の各画素のデータには、対象波長域に含まれる複数の波長バンドの情報が重畳されている。よって、この圧縮画像は、対象波長域内のハイパースペクトル情報が２次元画像情報として圧縮されたものであるといえる。本明細書において、圧縮画像を示すデータを「圧縮画像データ」と称する。
　処理装置２００は、信号処理回路２５０と、ＲＡＭおよびＲＯＭなどのメモリ２１０とを備える。信号処理回路２５０は、ＣＰＵまたはＧＰＵなどのプロセッサを備える集積回路であり得る。信号処理回路２５０は、イメージセンサ１６０から出力された圧縮画像データに基づく復元処理を行う。メモリ２１０は、信号処理回路２５０に含まれるプロセッサが実行するコンピュータプログラム、信号処理回路２５０によって参照される各種のデータ、および信号処理回路２５０によって生成される各種のデータを記憶する。メモリ２１０は、撮像装置１００におけるフィルタアレイ１１０の分光透過率の空間分布を反映したマスクデータを格納する。マスクデータは、上記の式（１）および（２）における行列を表す情報、または当該行列を導出するための情報（以下、「マスク行列情報」と称することがある。）を含むデータである。マスク行列情報は、対象波長域に含まれる複数の単位バンドの各々についてのフィルタアレイ１１０の透過率の空間分布に応じた要素を有する行列形式または行列に準じた形式の情報であり得る。マスクデータは、予め作成され、メモリ２１０に格納される。
　表示装置３００は、画像処理回路３２０と、ディスプレイ３３０とを備える。画像処理回路３２０は、信号処理回路２５０によって復元された画像に必要な処理を施した上でディスプレイ３３０に表示させる。ディスプレイ３３０は、例えば液晶または有機ＬＥＤ（ＯＬＥＤ）などの任意のディスプレイであり得る。
　入力ＵＩ４００は、撮像条件などの各種の条件を設定するためのハードウェアおよびソフトウェアを含む。入力ＵＩ４００は、例えばキーボードおよびマウスなどの入力装置を含み得る。入力ＵＩ４００は、タッチスクリーンなどの、入力および出力の両方が可能なデバイスによって実現されていてもよい。その場合、タッチスクリーンがディスプレイ３３０の機能も兼ねていてもよい。撮像条件は、例えば解像度、ゲイン、および露光時間などの条件を含み得る。入力された撮像条件は、撮像装置１００の制御回路１５０に送られる。制御回路１５０は、撮像条件に従って、イメージセンサ１６０に撮像を実行させる。
　メモリ４１０は、スペクトルデータを記憶する。スペクトルデータは、被写体に含まれ得る１種類以上の物質について想定されるスペクトルの情報を含む。スペクトルデータは、物質ごとに予め用意され、メモリ４１０に記録される。メモリ４１０は、外部メモリであってもよく、撮像装置１００に組み込まれていてもよい。スペクトルデータは、例えばインターネットなどのネットワークを介してダウンロードすることによって取得されてもよい。
　ユーザが入力ＵＩ４００上で操作することにより、特定のスペクトルデータを参照スペクトルデータとして選択することができる。例えば、ユーザが入力ＵＩ４００上で特定の材料または物質を選択することにより、その材料または物質に対応するスペクトルデータが参照スペクトルデータとして決定され得る。ユーザの操作によって参照スペクトルデータが決定されると、その参照スペクトルデータが信号処理回路２５０に送られる。
　信号処理回路２５０は、参照スペクトルデータに基づいてマスクデータの合成条件を決定する。マスクデータの合成条件は、復元処理が行われる複数の指定波長バンドを決定する条件である。言い換えれば、信号処理回路２５０は、参照スペクトルデータに基づいて、復元処理が行われる複数の指定波長バンドを決定する。指定波長バンドによって構成される波長域を「指定波長域」と称する。信号処理回路２５０は、参照スペクトルデータに基づいて合成条件を自動で決定してもよいし、ユーザが入力ＵＩ４００を用いて指定した条件に従って合成条件を決定してもよい。合成条件は、対象波長域に含まれる複数の単位バンドのうち、どの単位バンドを合成して１つのバンドとして扱うかを規定する。複数の単位バンドのそれぞれは、対象波長域に含まれる狭帯域の波長バンドである。例えば、１つ以上の物質を含む試料の観察において、相対的に重要度の低い波長域に含まれる複数の単位バンドが１つのバンドとして合成され得る。あるいは、個々の物質の特徴を最もよく表すと想定される波長域に含まれる複数の単位バンドが１つのバンドとして合成されてもよい。合成された比較的広いバンドを、以下の説明において「合成バンド」と呼ぶことがある。また、当該合成バンドに対応する画像データを合成画像データと呼ぶことがある。合成条件は、復元処理が行われない波長域の情報を含んでいてもよい。例えば、観察において重要度の低い波長域に含まれる単位バンドについては復元処理を行わないようにすることで、演算負荷を低減することができる。
　信号処理回路２５０は、決定した合成条件と、メモリ２１０に格納されているマスクデータとに基づいて、マスクデータを、より小さいサイズのマスクデータに変換する。ここで、変換前のマスクデータを「第１マスクデータ」と称し、変換後のマスクデータを「第２マスクデータ」と称する。第１マスクデータは、対象波長域における第１波長バンド群に対応する第１分光画像データを復元するために用いられ得る。第１波長バンド群は、例えば、対象波長域に含まれる複数の単位バンドの集合であり得る。第１分光画像データは、第１波長バンド群に含まれる各単位バンドの画像情報を含むデータであり得る。第２マスクデータは、１つ以上の指定波長域における第２波長バンド群に対応する第２分光画像データを復元するために用いられ得る。第２波長バンド群は、指定波長域に含まれる複数の単位バンドの集合であり得る。第２分光画像データは、指定波長域に含まれる各単位バンドの画像情報を含むデータであり得る。第１マスクデータは、フィルタアレイ１１０における第１波長バンド群に対応する分光透過率の空間分布を示す第１マスク情報を含み得る。第２マスクデータは、フィルタアレイ１１０における第２波長バンド群に対応する分光透過率の空間分布を示す第２マスク情報を含み得る。第２マスクデータは、さらに、第１マスクデータにおける指定波長域以外の１つ以上の非指定波長域に対応する複数の情報を合成することによって得られた第３マスク情報を含み得る。第３マスク情報における当該複数の情報の各々は、非指定波長域に含まれる対応する単位波長バンドにおける分光透過率の空間分布を示し得る。第３マスク情報は、第１マスクデータにおける、非指定波長域（すなわち非指定波長バンド）に対応するマスク行列情報を合成した合成マスク情報であるといえる。本実施形態では、第１マスクデータにおける非指定波長域に含まれる複数の単位バンドの情報が合成されることにより、サイズの圧縮された第２マスクデータが生成される。信号処理回路２５０は、圧縮画像データおよび第２マスクデータにおける第２マスク情報に基づいて、複数の指定波長バンドに対応する複数の２次元画像データを生成する。信号処理回路２５０は、さらに、圧縮画像データおよび第２マスクデータにおける第３マスク情報（すなわち合成マスク情報）に基づいて、１つ以上の非指定波長バンドに対応する１つ以上の合成画像データを生成する。
　具体的には、信号処理回路２５０は、合成される複数の単位バンドに対応する行列要素を平均化するなどの処理により、第１マスクデータのサイズを圧縮する。信号処理回路２５０は、変換後の第２マスクデータと、撮像装置１００から出力された圧縮画像データとを用いて、上記の式（２）に相当する復元演算を行う。これにより、信号処理回路２５０は、合成後のバンドのそれぞれについて復元画像（すなわち分光画像）を生成する。信号処理回路２５０は、生成した復元画像のデータを画像処理回路３２０に送る。画像処理回路３２０は、合成後の各バンドの復元画像をディスプレイ３３０に描画する。画像処理回路３２０は、例えば、画面内での配置の決定、各復元画像とバンド情報との紐づけ、または波長に対応した色付けなどの処理を行った上で、復元画像をディスプレイ３３０に表示させてもよい。
　本実施形態では、信号処理回路２５０が参照スペクトルデータに基づいてバンドの合成条件を決定するが、本開示はこのような形態に限定されない。図６は、図５のシステムの変形例を示している。この変形例では、入力ＵＩ４００から出力された参照スペクトルデータに基づいてマスクデータの変換条件を決定するプロセッサ４２０が設けられている。プロセッサ４２０は、参照スペクトルデータに基づいて、バンドの合成条件を決定し、その情報をマスクデータ変換条件として信号処理回路２５０に送る。信号処理回路２５０は、送られたマスクデータ変換条件に従って、メモリ２１０から必要な単位バンドの情報を読み出す。信号処理回路２５０は、読み出した情報から、サイズの圧縮されたマスクデータを構築し、そのマスクデータを用いて復元画像を生成する。このような構成により、処理装置２００の演算負荷をさらに低減することができる。図６に示すような変形例は、以降の種々の実施形態においても同様に用いられ得る。
　次に、図７を参照して、マスクデータの詳細な例を説明する。図７は、メモリ２１０に保存されている変換前の第１マスクデータの例を示す。この例における第１マスクデータは、対象波長域に含まれる複数の単位バンドの各々についてのフィルタアレイ１１０の透過率の空間分布を示す情報を含む。この例における第１マスクデータは、１ｎｍごとに分割された多数の単位バンドのそれぞれについてのマスク情報と、マスク情報の取得条件に関する情報とを含む。各単位バンドは、下限波長と上限波長とによって特定される。マスク情報は、マスク画像および背景画像の情報を含む。図７に示す個々のマスク画像は、ある背景をフィルタアレイ１１０を通してイメージセンサ１２０で撮像することによって取得される。図７に示す背景画像は、当該背景をフィルタアレイ１１０を通さずにイメージセンサ１２０で撮像することによって取得される。このようなマスク画像および背景画像の情報が、単位バンドごとに記録されている。各マスク画像における各画素の値を、対応する背景画像における対応する画素の値で除することにより、対応するフィルタの透過率を示す値を単位バンドごとに計算することができる。
　例えば、複数の単位バンドは第１単位バンド、～、第ｋ単位バンド、～、第Ｎ単位バンドとする。第１単位バンドに対応する画像データｆ１、～、第ｋ単位バンドに対応する画像データｆｋ、～、第Ｎ単位バンドに対応する画像データｆＮは、それぞれｎ×ｍ行１列のデータとする。この場合、式（１）は
Figure JPOXMLDOC01-appb-M000004
となる。Ｄ１、・・・、Ｄｋ、・・・、ＤＮのそれぞれは、行列Ｈの小行列であり、かつ、ｎ×ｍ行ｎ×ｍ列の対角行列であってもよい。これらの小行列がそれぞれ対角行列であってもよい場合の例は、行列Hに関する情報を取得する際の実測キャリブレーション時におけるイメージセンサ１６０の画素（ｐ，ｑ）、画素（ｒ,ｓ）間のクロストークと、エンドユーザが被写体７０を撮像したときのイメージセンサ１６０の画素（ｐ，ｑ）、画素（ｒ,ｓ）間のクロストークが同じであると判定される場合を含んでもよい（１≦ｐ、ｒ≦ｎ、１≦ｑ、ｓ≦ｍ、画素（ｐ，ｑ）≠画素（ｒ,ｓ））。上述したクロストークに関する条件が満たされているか否かは、撮像の際に使用する光学レンズなどを加味した撮像環境を考慮して判断されてもよく、また、各復元画像の画質がエンドユーザの目的を達成できるか否かを考慮して判断されてもよい。
　第ｋ単位バンドの光を含み、かつ、第ｋ単位バンド以外のバンドの光を含まない、第ｋの光をフィルタアレイに照射し、フィルタアレイから出力した光がイメージセンサに入射した場合、イメージセンサが出力するデータ（すなわち、マスク画像のデータ）を
Figure JPOXMLDOC01-appb-M000005
とし、第ｋ単位バンドの光を含み、かつ、第ｋ単位バンド以外のバンドの光を含まない、第ｋ光を、フィルタアレイを介さずイメージセンサに照射した場合、イメージセンサが出力するデータ（すなわち、背景画像のデータ）をｆｋ’とすると、式(４)は
Figure JPOXMLDOC01-appb-M000006
となる。すなわち、式（６）を行列の成分を用いて書くと、式（７）の様になる。
Figure JPOXMLDOC01-appb-M000007
　よって、マスク画像のデータと背景画像のデータを用いて、Ｄｋの対角成分ｈｋ（１，１）、・・・、ｈｋ（ｎ×ｍ,ｎ×ｍ）を求めることができる、すなわち、行列Ｈの全成分が既知になる。
　ｆｋ’(i,j)は、背景画像における画素（ｉ,j）の画素値、
Figure JPOXMLDOC01-appb-M000008
は、マスク画素における画素（ｉ,ｊ）の画素値であってもよい。１≦ｉ≦ｎ、１≦ｊ≦ｍである。
　取得条件に関する情報は、露光時間およびゲインの情報を含む。取得条件に関する情報はマスクデータに含まれていなくてもよい。なお、図７の例では、１ｎｍの幅の複数の単位バンドのそれぞれについて、マスク画像および背景画像の情報が記録されている。各単位バンドの幅は、１ｎｍに限らず、任意の値に決定され得る。また、背景画像の均一性が高い場合には、マスクデータが背景画像の情報を含んでいなくてもよい。例えば、イメージセンサ１２０とフィルタアレイ１１０とが近接して対向するように集積された構成では、マスク情報がマスク画像とほぼ一致することから、マスクデータは背景画像の情報を含まなくてもよい。
　マスクデータは、例えば前述の式（２）における行列Ｈを規定するデータである。マスクデータの形式は、システムの構成によって異なり得る。図７に示すマスクデータは、フィルタアレイ１１０の分光透過率の空間分布を計算するための情報を含む。マスクデータは、このような形式に限らず、フィルタアレイ１１０の分光透過率の空間分布を直接的に示すデータであってもよい。例えば、マスクデータは、図７に示すマスク画像の各画素値を背景画像の対応する画素値で除算した値の列を含んでいてもよい。
　本実施形態では、図７に示すような情報を含む第１マスクデータが、よりサイズの小さい第２マスクデータに変換される。以下、マスクデータを変換する方法の例をより詳細に説明する。
　取得した参照スペクトルデータから、分析または分類において寄与が小さいと考えられる波長域を決定し、寄与度の小さいバンドを合成して復元演算を行うことで演算量を削減することができる。合成されるバンドの決定は、ユーザが手動で入力することによって行われてもよいし、参照スペクトルデータに基づいて自動で行われてもよい。
　合成されるバンドが手動で決定される場合、入力ＵＩ４００は、合成されるバンドをユーザに選択させる機能を備える。入力ＵＩ４００は、合成されるバンドに限らず、復元演算の対象とする波長域、または波長分解能などの復元条件をユーザに選択させる機能を備えていてもよい。例えば、被写体に含まれ得る個々の物質（蛍光体など）に対応するスペクトルまたは個々の物質の種類のリストがディスプレイ３３０に表示され得る。ユーザは、表示されたスペクトルの中から特定のスペクトルの組み合わせを選択したり、特定の物質の組み合わせをリストから選択したりすることができる。ユーザは、さらに、選択した物質のスペクトルから、合成されるバンドをＵＩ上で選択することができる。このように、参照スペクトルデータと、復元演算の復元条件をユーザに選択させるＵＩとを、ともにディスプレイに表示させてもよい。これにより、ユーザが必要な波長バンドの画像をより効率的に生成することができる。
　合成されるバンドが自動で選択される場合、選択された物質の種類または組み合わせから、分析または分類への各バンドの寄与度が自動で推定され得る。例えば、信号処理回路２５０は、分析または分類への寄与度が閾値よりも小さいバンドを合成して１つのバンドとして扱ってもよい。寄与度の大きさは、例えばスペクトルにおける信号強度、信号強度の波長微分値、または事前学習などによって判断され得る。例えば、あるバンドにおいて被写体に含まれる物質のスペクトルの信号強度が閾値よりも小さいと判明している場合、当該バンドは分析または分類の結果への寄与が小さいと判断することができる。また、連続する複数のバンドにまたがって信号強度の波長微分値の絶対値が極めて小さい場合、すなわち連続する複数のバンドにおいて信号強度がほとんど同じである場合、該当する複数のバンドを合成することによる情報の損失は起こらない。このため、そのような複数のバンドは、分析または分類の結果に影響を及ぼすことなく、合成することができる。事前学習は、例えば主成分分析または回帰分析などの統計的な手法に基づく学習である。事前学習の例として、個々の物質ごとに「分類に使われる波長域」を記録したデータベースを参照し、参照スペクトルから「分類に使われる波長域」に該当しない波長域を「寄与度の小さい波長域」として決定する方法などが考えられる。
　図８Ａおよび図８Ｂは、参照スペクトルに基づいて演算への寄与が小さいバンドを推定し、バンドの合成条件を決定する方法を説明するための図である。図８Ａは、被写体に含まれ得る４種類のサンプル３１、３２、３３、３４のスペクトルの例を示している。図８Ｂは、合成されるバンドの例を示している。図８Ａに示すような参照スペクトルデータが与えられた場合、図８Ｂに示すように全ての参照スペクトルの信号強度が小さいバンドを合成することができる。このような処理により、参照スペクトルにおいて信号強度が比較的大きいバンドについては十分な波長分解能で復元画像を取得でき、分析または分類の精度に影響を及ぼすことなく演算量を削減することができる。この例においては、分析または分類への寄与度の大きい波長バンドが「指定波長バンド」として選択される。また、分析または分類への寄与度の小さい波長バンドは「非指定波長バンド」として選択される。
　図９は、図５に示す信号処理回路２５０によって実行されるマスクデータの変換処理の例を示すフローチャートである。ステップＳ１０１において、信号処理回路２５０は、撮像装置１００によって生成された圧縮画像データを取得する。ステップＳ１０２において、信号処理回路２５０は、参照スペクトルデータを入力ＵＩ４００から取得する。ステップＳ１０３において、信号処理回路２５０は、参照スペクトルデータに基づき、マスクデータの変換処理を行うか否かを判断する。必要と判断した場合、信号処理回路２５０は、参照スペクトルデータに基づいてマスクデータを変換する。マスクデータの変換処理を行うか否かの判断は、前述のように、分析または分類において寄与度が小さいと推定されるバンドがあるか否かに基づいて行われ得る。あるいは、ユーザが合成されるバンドを決定する場合、信号処理回路２５０は、ユーザの入力に基づいてマスクデータの変換の要否を判断する。合成されるバンドが存在する場合にはステップＳ１０４に進み、信号処理回路２５０は変換処理を行う。合成されるバンドが存在しない場合、変換処理は省略される。続くステップＳ１０５において、信号処理回路２５０は、圧縮画像とマスクデータとに基づいて、前述の式（２）に示す復元演算を行い、バンドごとに復元画像を生成する。ステップＳ１０４でマスクデータの変換が行われた場合、信号処理回路２５０は、変換後のマスクデータを用いて復元処理を行う。復元画像は、表示装置３００に送られ、画像処理回路３２０による必要な処理を経てディスプレイ３３０に表示される。なお、ステップＳ１０１における圧縮画像の取得は、ステップＳ１０５よりも前であればどのタイミングで行われてもよい。
　図１０は、複数のバンドのマスク情報を合成して新たなマスク情報に変換する方法の例を説明するための図である。この例では、変換前のマスク情報として、単位バンド＃１から２０のマスク情報が、メモリ２１０に予め保存されている。図１０の例では、単位バンド＃１から５については合成処理が行われず、単位バンド＃６から２０について合成処理が行われる。単位バンド＃１から５については、フィルタアレイ１１０の透過率分布が、マスク画像における各領域の値を、背景画像における対応する領域の値で除することによって計算される。ここで、メモリ２１０に保存されている各マスク画像のデータを「単位マスク画像データ」と称し、保存されている各背景画像のデータを「単位背景画像データ」と称する。バンド＃６から２０については、合成された透過率分布が、バンド＃６から２０の単位マスク画像データを各画素について足し合わせたデータを、バンド＃６から２０の単位背景画像データを各画素について足し合わせたデータで除することによって取得される。この例における式（1）に示す行列Ｈに対応する行列Ｈ’はＨ’＝（Ｆ１Ｆ２・・・Ｆ２０）であり、Ｆ１、Ｆ２、・・・、Ｆ２０のそれぞれは、行列Ｈ’の小行列であり、かつ、ｎ×ｍ行ｎ×ｍ列の対角行列であってもよい。このような操作を行うことにより、任意の複数のバンドについて、マスク情報を合成することができる。また、背景画像の均一性が非常に高い場合には、マスク情報がマスク画像とほぼ一致する。この場合、バンド＃６から２０のマスク画像データを足し合わせたデータ、もしくは平均化したデータを、バンド＃６から２０の合成マスクデータとして用いてもよい。この場合、行列Ｈ’は行列Ｈ”に変更される。行列Ｈ”はＨ”＝（Ｆ１Ｆ２・・・Ｆ５Ｆ’）であり、
Figure JPOXMLDOC01-appb-M000009
である。i＝１，・・・、２０である。
　ｈ’（１，１）＝(ｈ６（１,１）＋・・・＋ｈ２０（１,１）／１５、
　・・・、
　ｈ’（ｎ×ｍ，ｎ×ｍ）＝(ｈ６（ｎ×ｍ，ｎ×ｍ）＋・・・＋ｈ２０（ｎ×ｍ，ｎ×ｍ）／１５
　であってもよい。
　上記のようなバンドの合成処理を行うことにより、単位バンドの全てを復元する場合には２０バンド分の演算を必要とするのに対し、バンド＃６から２０を合成した場合には、６バンド分の演算で済む。このような合成を行った場合でも、バンド＃１から５の波長域における波長分解能を維持した上で各バンドの画像を復元することができる。これにより、演算量の削減が可能になる。
　なお、合成によるマスクデータの変換処理は、エンドユーザが使用する環境で行われてもよいし、システムまたは装置を製造する工場などの製造現場で行われてもよい。マスクデータの変換処理が製造現場で行われる場合、メモリ２１０には、変換前の第１マスクデータに代えて、または加えて、変換後の第２マスクデータが製造工程において格納される。その場合、エンドユーザが使用するときには、信号処理回路２５０は、ユーザの入力に応じて、予め格納された変換後のマスクデータを用いて復元処理を実行できる。これにより、処理の負荷をさらに軽減することができる。
　（実施形態２）
　次に、第２の実施形態を説明する。実施形態１では、分析または分類への寄与度の低い複数の単位バンドを１つのバンドとして合成することにより、復元処理の演算量を削減する。これに対し、本実施形態では、信号処理回路２５０は、複数の参照スペクトル同士の重なりが小さいと考えられる場合に、復元後の画像がそのまま分類画像となるようなバンド合成を施す。これにより、信号処理の負担をさらに軽減することができる。
　図１１Ａおよび図１１Ｂは、本実施形態におけるバンド合成処理を説明するための図である。図１１Ａは、被写体に含まれ得る４種類のサンプル３１、３２、３３、３４の参照スペクトルの例を示している。図１１Ｂは、バンド合成の例を示している。図１１Ａに示すように、参照スペクトル同士の重なりが小さい場合には、各スペクトルのピークに合わせてバンド合成を行うことが有効である。これにより、復元されたそれぞれの画像にはほぼ１種類のスペクトルに対応する物質が映る状況を作ることができる。図１１Ｂに示すようにバンド合成が行われた場合には、バンド＃１に対応する画像においては実質的にサンプル３１が信号強度をもつ。このため、バンド＃１に対応する復元画像はそのままサンプル＃１の分類画像として扱うことができる。同様に、バンド＃２の復元画像はサンプル３２の、バンド＃３の復元画像はサンプル３３の、バンド＃４の復元画像はサンプル＃４の分類画像として扱うことができる。このようなバンド合成を行わなかった場合には復元処理の後に分類処理を行うところを、復元処理で一括して分類処理まで行うことができるようになる。これにより、信号処理の負担を大きく軽減することができる。
　参照スペクトル同士の重なりの大きさは、例えば以下の方法で判断することができる。例えば、波長λ１からλ２までの波長域を考える。各参照スペクトルの値をλ１からλ２まで積分した場合に、積分値がもっとも大きい参照スペクトルの積分値をシグナルＳ、それ以外の参照スペクトルの積分値の合計をノイズＮとする。参照スペクトル同士の重なりの大きさは、シグナルＳをノイズＮで割ったシグナル－ノイズ比（Ｓ／Ｎ比）の値によって判断され得る。例えば、Ｓ／Ｎ比が１よりも低い場合に、重なりが大きいと判断され、参照スペクトル同士に重なりが生じていると判断され得る。反対に、Ｓ／Ｎ比が１以上である場合、重なりが小さいと判断され、参照スペクトル同士に重なりが生じていないと判断され得る。あるいは、Ｓ／Ｎ比が２以上である場合に参照スペクトル同士に重なりが生じていないと判断され、Ｓ／Ｎ比が２未満である場合に参照スペクトル同士に重なりが生じていると判断されてもよい。
　この例における信号処理回路２５０は、各指定波長バンドが参照スペクトル間で重なりを有しないように複数の指定波長バンドを決定し、各指定波長バンドに含まれる複数の単位バンドを１つのバンドとして合成する。この例における複数の指定波長バンドのそれぞれは、複数の物質のうちの対応する１つに関連付けられたスペクトルのピーク波長を含む。
　あるいは、各参照スペクトルを入力ＵＩ４００に表示し、ユーザがバンド端を移動するなどの操作によって、ユーザ自身が合成されるバンドの範囲を決定できるようにしてもよい。上記のＳ／Ｎ比を画面上に表示することで、ユーザの判断を補助してもよい。
　この例における信号処理回路２５０は、第１マスクデータにおける各指定波長バンドに対応する複数の要素を平均化するなどの処理により、圧縮された第２マスクデータを生成する。信号処理処理回路２５０は、圧縮画像データと、第２マスクデータに基づいて、前述の式（２）に相当する演算を行うことにより、各指定波長バンドに対応する画像データを生成する。圧縮された第２マスクデータを用いることにより、復元演算の負荷を大きく低減することができる。
　参照スペクトル同士の重なりが小さい場合として、例えば蛍光観察時の励起光と蛍光のスペクトルの関係などが挙げられる。本実施形態によれば、復元後の画像がそのまま励起光の画像と蛍光の画像とに分かれるような条件で観察することができる。
　参照スペクトル同士の重なりが小さいと考えられる場合には、入力ＵＩ４００で入力された内容を復元画像のラベリングに使用することもできる。ここで「ラベリング」とは、復元画像中のある領域、またはある領域に偏って信号強度をもつようなバンドに対応する復元画像に対して、既知の物質名、または分類するための符号を対応付けることをいう。
　図１２は、ラベリングを行う場合のシステムの構成例を示すブロック図である。図１２の例では、入力ＵＩ４００が、ユーザが選択した物質またはスペクトルに対応するラベリング条件を決定し、その情報を表示装置３００のメモリ３１０に送る。表示装置３００の画像処理回路３２０は、送られたラベリング条件に従って、各復元画像に必要に応じてラベリング処理を行い、ラベル付けされた復元画像をディスプレイ３３０に表示させる。
　ラベリングには種々の形態および方法があり得る。ここでは、蛍光観察時の励起光と蛍光のスペクトルの関係を例に、ラベリング処理の例を説明する。あるバンドＸの復元画像が励起光の画像となり、他のバンドＹの復元画像が蛍光の画像となるように、バンド合成が行われる場合を考える。この場合、入力ＵＩ４００は、参照スペクトルデータから決定されるバンドの合成条件に基づいて、バンドＸが励起光に対応し、バンドＹが特定の蛍光体に対応することを特定できる。入力ＵＩ４００は、例えば、バンドＹの復元画像または当該復元画像の特定の領域に蛍光体の名称または分類するための符号を割り当てるラベリング条件を決定できる。励起光の波長域であると判断されたバンドには、「励起光バンド」のような名称または分類符号を割り当ててもよい。ラベリングの内容については、ユーザによって入力ＵＩ４００で入力された名称などの情報をラベリングに用いてもよい。公知の物性情報に基づいて自動でラベリングが行われてもよい。
　図１３Ａおよび図１３Ｂは、スペクトル同士の重なりが大きい４つのサンプル３１から３４の参照スペクトルの例を示す図である。この例のように参照スペクトル同士の重なりが大きい場合には、復元画像と分類画像とが一致するようなバンド合成はできない。しかし、図１３Ｂに示すようにバンド合成を行うことで、一部のスペクトルについては重なりを小さくすることができる。スペクトルの重なりのない、あるいは重なりの小さいバンドおよびサンプルについては復元時に分類まで可能である。重なりの大きいバンドおよびサンプルについては、そのバンドに含まれると想定される物質の絞り込みまでは可能となる。必要に応じて当該バンドに含まれ得る物質を表示することで観察者の理解を助けることができる。
　このように、複数の指定波長バンドは、複数のスペクトルの間で重なりを有しない１つ以上の第１指定波長バンドと、複数のスペクトルの間で重なりを有する１つ以上の第２指定波長バンドとを含んでいてもよい。図１３Ｂの例において、バンド＃１、バンド＃３、およびバンド＃４は、第１指定波長バンドに該当し、バンド＃Ｘおよびバンド＃Ｙは、第２指定波長バンドに該当する。各第１指定波長バンドについては、復元と同時に分類が可能である。各第２指定波長バンドについては、復元と同時に、そのバンドに含まれると想定される少数の物質の絞り込みが可能である。
　図１４は、本実施形態で行われる操作を可能にするグラフィカルユーザインターフェース（ＧＵＩ）の例を示す図である。このＧＵＩは、圧縮画像、復元画像、参照スペクトルおよびバンドの合成情報、並びに、バンドとサンプル（すなわち物質）との対応関係を示す表を表示する。必要に応じて、ハイパースペクトル画像の復元に関する表示、及び／または、ハイパースペクトル画像の分析に関する表示、及び／または、復元されたハイパースペクトル画像の表示を追加または削除してもよい。上記のように、参照スペクトル同士の重なりが小さい場合には、バンド番号と分類との対応が１対１の対応になるようなバンド合成が可能である。「参照スペクトルとバンド合成情報」の表示部分に関しては、図１０に示すようなバンド合成の結果、または、後述する図１５Ｂに示すような、一部のバンドが復元対象から除外されるバンド合成の結果も同様に表示され得る。
　（実施形態３）
　次に、本開示の第３の実施形態を説明する。本実施形態では、対象波長域に含まれるバンドのうち、重要度が低いと考えられるバンドを復元対象から除外することにより、復元演算の負荷をさらに低減する。
　通常、復元演算は対象波長域に含まれる全てのバンドの情報を用いて行われる。対象波長域に含まれるいずれか１つのバンドでも復元演算に用いられない場合には、上記の式（１）におけるｇ＝Ｈｆの関係を満たさないことになる。その場合、除外されたバンドに属する波長の光信号がノイズとして他のバンドに割り振られ、復元誤差となってその後の分析または分類の精度を低下させる。しかし、例えば蛍光観察のように観察対象のスペクトルが既知である場合、観察対象の組み合わせによっては対象波長域内に信号強度がゼロまたは非常に小さいと予測されるバンドが生じ得る。対象波長域に含まれるあるバンドの信号強度がゼロまたは非常に小さい場合、そのバンドを復元演算の対象から除外することによって生じる復元誤差はない、あるいは非常に小さい。そのようなバンドを除外したとしても、その後の分析または分類に実質的に影響を及ぼさない。したがって、対象波長域に含まれるあるバンドにおいて観察対象から発せられる信号強度がない、または非常に小さいと予測される場合、当該バンドを復元演算から除外することができる。このことは、以下のように説明することもできる。対象波長域に含まれる全バンドについて復元する場合に満たす式は、前述のようにｇ＝Ｈｆである。一部のバンドを除外した場合に満たす式をｇ’＝Ｈ’ｆ’とする。ただし、Ｈ’＝Ｈ－ΔＨかつｆ’＝ｆ－Δｆとする。ΔＨおよびΔｆは、除外されるバンドに対応する要素を表す。Δｆは０または非常に小さいため、ｇ’＝Ｈ’ｆ’＝Ｈ’ｆが近似的に成立する。したがって、ｇ’＝Ｈ’ｆで表される復元演算、すなわち一部のバンドを除外した状態での復元演算が成立する。
　図１５Ａおよび図１５Ｂは、参照スペクトルデータに基づいて特定のバンドを復元対象から除外する方法を説明するための図である。図１５Ａに示すようなスペクトルをもつ４つのサンプル３１、３２、３３、３４が撮影領域内に存在すると考えられる場合、サンプル３２とサンプル３３との間の波長に、全てのサンプルが信号強度をもたない、すなわち真っ暗な画像が出力されると予測されるバンドが存在する。そのような、信号強度を持たないと予測されるバンドは、図１５Ｂに示すように復元対象から除外することができる。復元するバンド数を削減することにより、信号処理の負荷を低減することが可能となる。
　図１６は、特定のバンドを復元から除外する場合の信号処理回路２５０の動作の例を示すフローチャートである。図１６に示すフローチャートは、図９に示すフローチャートにおける特定のバンドの合成処理（ステップＳ１０３およびＳ１０４）を、特定のバンドの情報を削除する処理（ステップＳ２０３およびＳ２０４）に置き換えたものである。ステップＳ２０３において、信号処理回路２５０は、マスクデータから特定のバンドの情報を削除するか否かを判断する。信号処理回路２５０は、参照スペクトルデータに基づいて、想定される全てのサンプルについて、信号強度をもたない画像が出力されると予想されるバンドがある場合には、ステップＳ２０４に進み、そのバンドの情報をマスクデータから削除する。信号強度をもたない画像が出力されると予想されるバンドがない場合には、ステップＳ２０４は省略される。このような動作により、移行のステップＳ１０５における復元演算処理の演算量を低減し、演算時間を短縮することができる。
　図１７は、図６に示す例のように、参照スペクトルデータがマスクデータの変換条件に翻訳されて信号処理回路２５０に送られる場合の動作の例を示すフローチャートである。このフローチャートは、図９のフローチャートにおけるステップＳ１０２、Ｓ１０３、およびＳ１０４が、ステップＳ３０２およびＳ３０３に置換されたものである。図１７の例では、信号処理回路２５０は、ステップＳ３０２において、マスクデータの変換条件すなわち復元に用いるバンドの情報を図６に示すプロセッサ４２０から取得する。当該情報に基づき、復元に用いられない特定のバンドを決定することができる。続くステップＳ３０３において、信号処理回路２５０は、当該特定のバンド以外のマスクデータをメモリ２１０から取得する。すなわち、削除される特定のバンドのマスクデータの読み込みは行われない。このため、一度全バンドのマスクデータを読み込んでから特定のバンドのマスクデータを削除する図１６の例に比べて処理手順を減らすことができる。この場合、参照スペクトルデータがメモリ４１０に保存されていなくてもよい。例えば、入力ＵＩ４００で入力または選択される材料または物質の名称と、変換条件とが紐づけられていてもよい。そのような紐づけにより、プロセッサ４２０または信号処理回路２５０は、参照スペクトルデータを参照することなく、除外するバンドを決定することができる。別の形態として、メモリ４１０に保存された参照スペクトルデータから各スペクトルに対応する物質名などのラベリング情報を引き出し、そのラベリング情報を用いて各復元画像へのラベリングを行ってもよい。
　（実施形態４）
　次に、本開示の第４の実施形態を説明する。本実施形態は、蛍光観察を行うためのシステムに関する。
　図１８は、本実施形態のシステムの構成を模式的に示す図である。このシステムは、光源６１０と、光学系６２０と、検出器６３０とを備える。光学系６２０は、干渉フィルタ６２１と、ダイクロイックミラー６２２と、対物レンズ６２３と、ロングパスフィルタ６２４とを含む。光源６１０は、励起光を発するレーザ発光素子を含み得る。検出器６３０は、前述の撮像装置１００を備える。蛍光材料を含む試料８０が励起光で照射され、発生した蛍光が検出器６３０で検出される。
　光源６１０から発せられた励起光は、蛍光材料を励起させる特定の波長の光を選択的に透過させる干渉フィルタ６２１を通過してダイクロイックミラー６２２に入射する。ダイクロイックミラー６２２は、励起光の波長を含むある波長域の光を反射し、それ以外の波長域の光を透過させる。ダイクロイックミラー６２２で反射された励起光は、対物レンズ６２３を通して試料８０に入射する。励起光を受けた試料８０は蛍光を発する。蛍光は、ダイクロイックミラー６２２およびロングパスフィルタ６２４を透過して検出器６３０で検出される。試料８０に入射した励起光の一部は反射される。試料８０で反射された励起光は、大部分がダイクロイックミラー６２２で反射されるが、一部はダイクロイックミラーを透過して検出器６３０に向かう。ダイクロイックミラー６２２を透過する励起光は多くないが、励起光は通常、蛍光よりも数桁高い強度をもつため、励起光が蛍光とともに検出器６３０に入射すると、イメージセンサにおいて電荷が飽和し、蛍光の観察を妨げる可能性がある。このような現象を抑制するため、検出器６３０の前にロングパスフィルタ６２４が配置され、励起光が検出器６３０に入射しないように光学系６２０が構築されている。なお、ロングパスフィルタ６２４が用いられるのは、蛍光観察において励起光は蛍光よりもエネルギーが高い、すなわち波長が短いためである。
　検出器６３０は、例えば実施形態２における撮像装置１００と処理装置２００とを含むハイパースペクトルカメラであり得る。検出器６３０は、前述のように、励起光に対応する不要なバンドの情報を除外したマスクデータに基づいて復元処理を行う。
　図１９は、励起光および蛍光のスペクトルと、除外されるバンドとの関係の例を示す図である。この例では、試料８０に複数種類の蛍光材料が含まれている。それらの蛍光材料から発せられる蛍光のスペクトルは互いに異なる。励起光のエネルギーは蛍光のエネルギーよりも高いため、励起光の波長は蛍光の波長よりも短い。図１９の例では、ダイクロイックミラー６２２およびロングパスフィルタ６２４の特性から、検出器６３０が検出可能な対象波長域よりも実際に入射する光の波長域の方が狭い。本実施形態では、励起光をカットするために、ダイクロイックミラー６２２およびロングパスフィルタ６２４が短波長の光を透過しないように光学系６２０が構築されている。この場合、検出器６３０の対象波長域とカットされる波長域とが重なっていても、カットされる波長域は信号強度をもたないことが予めわかっている。すなわち、前述の式ｇ’＝Ｈ’ｆ’＝Ｈ’ｆを満たすことが予めわかっている。このため、当該波長域のバンドを復元演算から除外することができる。
　ロングパスフィルタ６２４およびダイクロイックミラー６２２の特性は、観察される蛍光および使用される励起光の波長によって選択される。このため、任意のバンドを選択して復元演算から除外することが可能な本実施形態の構成により、観察対象に応じて必要最低限の演算処理で観察を行うことが可能になる。
　（実施例）
　本開示の実施形態による方法を、蛍光観察の一手法であるｍ－ＦＩＳＨ法に応用した実施例を説明する。
　ＦＩＳＨ（fluorescent in-situ Hybridization）法とは、遺伝子の特定配列と相補的遺伝子配列を持つプローブに蛍光色素を標識しておき、蛍光によりハイブリダイズした場所または染色体を特定する方法である。ｍ－ＦＩＳＨ法（Multicolor FISH）では、それぞれ異なる蛍光色素で標識した複数のプローブが同時に用いられる。
　ｍ－ＦＩＳＨ法は、白血病等の一部のがん、および先天性遺伝子異常の検査に用いられている。例えばキャンビオ社のｍ－ＦＩＳＨ用プローブは、５種類の蛍光色素を用いて、ヒトおよびマウスの染色体の番号ごとに５種類の蛍光色素の付着比が異なるように設計されている。そこで、染色体の組をこのプローブで染色することで、各染色体の番号を特定することができる。
　がんおよび先天性遺伝子異常の原因となる転座がない場合には、各染色体は全体が単一の蛍光スペクトルを示す。しかし、転座が生じている場合には染色体の部分によって蛍光スペクトルが変化する。この性質を利用して転座を検出することができる。
　図２０Ａは、キャンビオ社のｍ－ＦＩＳＨ法用蛍光標識に用いられる５種類の蛍光色素（Ｃｙ３、Ｃｙ３．５、Ｃｙ５、ＦＩＴＣ、ＤＥＡＣ）の吸収スペクトルを示している。図２０Ｂは、これらの各蛍光色素の蛍光スペクトルを示している。図２０Ａから明らかなように、すべての蛍光色素の蛍光を同時に誘起可能な単一の波長は存在しない。そこで、以下の手順によって５種類の蛍光色素の分布を特定することができる。
　＜ＳＴＥＰ１：第１の波長による励起とハイパースペクトル撮像＞
　第１の撮像について、図２１Ａおよび図２１Ｂを参照しながら説明する。図２１Ａは、励起波長と蛍光色素の吸収スペクトルとの関係を示す図である。実線の曲線は、蛍光が誘起される２種類の色素（ＤＥＡＣおよびＦＩＴＣ）の吸収スペクトルを示している。点線の曲線は、励起波長において十分な吸収が生じないため蛍光が誘起されない３種類の色素（Ｃｙ３、Ｃｙ３．５、Ｃｙ５）の吸収スペクトルを示している。図２１Ｂは、それぞれの蛍光スペクトルと遮断波長域および復元バンドとの関係の例を示す図である。
　本実施例では、図１８に示すシステムの構成が用いられている。励起光の波長は４０５ナノメートル（ｎｍ）に設定されている。ダイクロイックミラー６２２およびロングパスフィルタ６２４のカットオフ波長は４５０ｎｍに設定されている。つまり、検出器６３０には４５０ｎｍ以上の波長の光が入射する。この例では４５０ｎｍよりも短い波長域が遮断波長域である。励起光の波長４０５ｎｍを第１の波長とする。
　蛍光色素の吸収スペクトルから、４０５ｎｍの励起光を照射した場合、色素ＦＩＴＣとＤＥＡＣの蛍光が誘起されることがわかる。ダイクロイックミラー６２２およびロングパスフィルタ６２４により、４５０ｎｍ以下の波長域の光は遮断されるため、この波長域の光は検出器６３０には入射しない。また、蛍光色素Ｃｙ３、Ｃｙ３．５、Ｃｙ５の吸収スペクトルは励起波長よりも長いため、蛍光色素Ｃｙ３、Ｃｙ３．５、Ｃｙ５から蛍光は誘起されない。よって、例えば波長６５０ｎｍ以上には蛍光が存在せず、出力される画像は真っ暗なものとなる。
　そこで、例えば波長４５０ｎｍから５００ｎｍを第１バンド、波長５００ｎｍから５５０ｎｍを第２バンド、波長５５０ｎｍから６５０ｎｍを第３バンドとして復元を行うことが有効である。これにより、この条件で発光するＦＩＴＣとＤＥＡＣの蛍光スペクトルを区別することができ、それぞれの分布を求めることができる。
　＜ＳＴＥＰ２：第２の波長による励起とハイパースペクトル撮像＞
　第２の撮像について、図２２Ａおよび図２２Ｂを参照しながら説明する。図２２Ａは、第２の撮像における励起波長と蛍光色素の吸収スペクトルとの関係を示す図である。実線の曲線は蛍光が誘起される色素（Ｃｙ５）の吸収スペクトルを示している。点線の曲線は励起波長において十分な吸収が生じないために蛍光が誘起されない残りの４種類の色素の吸収スペクトルを示している。図２２Ｂは、それぞれの蛍光スペクトルと遮断波長域および復元バンドとの関係の例を示す図である。
　第２の撮像では、励起光の波長が第２の波長６３３ｎｍに設定され、ダイクロイックミラー６２２およびロングパスフィルタ６２４のカットオフ波長が６５０ｎｍに設定されている。つまり、検出器６３０には６５０ｎｍ以上の波長の光が入射する。
　図２２Ａに示す蛍光色素の吸収スペクトルから、６３３ｎｍの励起光を照射した場合、色素Ｃｙ５の蛍光が効率的に誘起されることがわかる。この場合、スペクトル分解を行わなくとも、検出器６３０から出力される画像から色素Ｃｙ５の分布を特定することができる。つまり、復元演算処理を省略することができる。
　＜ＳＴＥＰ３：第３の波長による励起とハイパースペクトル撮像＞
　第３の撮像について、図２３Ａおよび図２３Ｂを参照しながら説明する。図２３Ａは、第３の撮像における励起波長と蛍光色素の吸収スペクトルの関係を示す図である。実線の曲線は蛍光が誘起される２種類の色素（Ｃｙ３、Ｃｙ３．５）の吸収スペクトルを示している。破線および点線の曲線は、励起波長において十分な吸収が生じないために蛍光が誘起されない残りの３種類の色素の吸収スペクトルを示している。図２３Ｂは、それぞれの蛍光スペクトルと遮断波長域および復元バンドとの関係を示す図である。
　第３の撮像では、励起光の波長が第３の波長５３２ｎｍに設定され、ダイクロイックミラー６２２およびロングパスフィルタ６２４をカットオフ波長が５５０ｎｍに設定されている。つまり、検出器６３０には５５０ｎｍ以上の波長の光が入射する。
　図２３Ａに示す蛍光色素の吸収スペクトルから、５３２ｎｍの励起光を照射した場合、色素Ｃｙ３とＣｙ３．５の蛍光が効率的に誘起されることがわかる。なお、色素ＦＩＴＣと色素Ｃｙ５もわずかながら吸収を持つため、これらの色素も弱く蛍光を発する可能性がある。
　この例では、復元バンドが、以下のように設定されている。
・第１バンド：波長５５０ｎｍから５７５ｎｍ。
　このバンドにはＣｙ３とＣｙ３．５の蛍光が主成分として含まれ、ＦＩＴＣの蛍光がわずかに混入している可能性がある。
・第２バンド：波長５７５ｎｍから６２５ｎｍ。
　このバンドにはＣｙ３とＣｙ３．５の蛍光が主成分として含まれ、ＦＩＴＣの蛍光がわずかに混入している可能性がある。
・第３バンド：波長６２５ｎｍから６５０ｎｍ。
　このバンドにはＣｙ３とＣｙ３．５の蛍光が主成分として含まれ、ＦＩＴＣとＣｙ５の蛍光がわずかに混入している可能性がある。
・第４バンド：波長６５０ｎｍから８００ｎｍ。このバンドにはＣｙ３とＣｙ３．５の蛍光が主成分として含まれ、Ｃｙ５の蛍光がわずかに混入している可能性がある。
　これらの成分のうち、ＦＩＴＣの分布はＳＴＥＰ１で特定されており、Ｃｙ５の分布はＳＴＥＰ２で特定されている。Ｃｙ３とＣｙ３．５の蛍光は、第１から第４バンドのいずれにも含まれている。しかし、各バンドにおけるこれらの蛍光色素の蛍光強度比は蛍光色素の発光スペクトルから既知である。そのため、強度に関する連立方程式を解いたり、撮像結果を再現する色素の分布をシミュレーションで求めたりすることにより、Ｃｙ３とＣｙ３．５の分布を求めることができる。
　このように、複数の蛍光色素で標識されている場合でも、励起光スペクトルを制限することにより、各測定において一部の蛍光色素を発光させることができる。それに合わせて復元バンドを選択することにより、より少ない計算量で各蛍光色素の分布を特定することができる。
　（その他１）
　本開示の実施の形態の変形例は、下記に示すようなものであってもよい。
　コンピュータによって実行される信号処理方法であって、
　第１指示に基づき、第１処理を行い、
　第２指示に基づき、第２処理を行い、
　第３指示に基づき、第３処理を行い、
　前記第１処理は、
　（ａ－１）複数の第１画素値を受け取り、
　イメージセンサはフィルタアレイからの第１光に対応して前記複数の第１画素値を出力し、前記第１光は前記フィルタアレイに入射する第１被写体からの第２光に対応し、
　（ａ－２）第１行列と前記複数の第１画素値とに基づいて、前記第１被写体の第１波長域に対応する画像の複数の画素値Ｉ(１１)、～、前記第１被写体の第ｐ波長域に対応する画像の複数の画素値Ｉ(１ｐ)を生成することを含み、
　前記複数の第１画素値はｍ行ｎ列状に配列された複数の第１画素に対応し、前記第１行列は（Ａ１Ａ２・・・Ａｐ）であり、前記第１行列は複数の第１小行列を含み、前記複数の第１小行列はＡ１、Ａ２、～、Ａｐであり、前記複数の第１小行列は第ｑ小行列Ａｑを含み、前記複数の第１小行列は、複数の第２小行列を含み、前記複数の第２小行列は第ｒ小行列Ａｒ、～、第（ｒ+ｓ）小行列Ａ（ｒ+ｓ）であり、ｐ、ｑ、ｒ、ｓはそれぞれ自然数、ｑ＜ｒまたは（ｒ＋ｓ）＜ｑ、１≦ｑ≦ｐ、１≦ｒ≦ｐ、１≦ｒ＋ｓ≦ｐであり、
　前記第２処理は、
　（ｂ－１）複数の第２画素値を受け取り、
　前記イメージセンサは前記フィルタアレイからの第３光に対応して前記複数の第２画素値を出力し、前記第３光は前記フィルタアレイに入射する第２被写体からの第４光に対応し、
　（ｂ－２）前記第ｑ小行列Ａｑと複数の第２画素値とに基づいて、前記第２被写体の前記第ｑ波長域に対応する画像の複数の画素値Ｉ（２ｑ）を生成することを含み、
　前記複数の第２画素値はｍ行ｎ列状に配列された複数の第２画素に対応し、
　前記複数の第２小行列と前記複数の第２画素値とに基づいて、前記第２被写体の前記第ｒ波長域に対応する画像の複数の画素値Ｉ（２ｒ）、～、前記第２被写体の前記第（ｒ＋ｓ）波長域に対応する画像の複数の画素値Ｉ（２（ｒ＋ｓ））を生成せず、
　前記第３処理は、
　（ｃ－１）複数の第３画素値を受け取り、
　前記イメージセンサは前記フィルタアレイからの第５光に対応して前記複数の第３画素値を出力し、前記第５光は前記フィルタアレイに入射する第３被写体からの第６光に対応し、
　（ｃ－２）前記第ｑ小行列Ａｑと複数の第３画素値とに基づいて、前記第３被写体の前記第ｑ波長域に対応する画像の複数の画素値Ｉ（３ｑ）を生成し、
　（ｃ－３）複数の第３画素値と前記複数の第２小行列に基づいて生成された第２行列に基づいて、前記第３被写体の前記第ｒ波長域～前記第（ｒ+ｓ）波長域に対応する画像Ｉ３ｃの複数の画素値を生成することを含み、
　前記複数の第３画素値はｍ行ｎ列状に配列された複数の第３画素に対応し、
　前記複数の第２小行列と前記複数の第３画素値とに基づいて、前記第３被写体の前記第ｒ波長域に対応する画像の複数の画素値Ｉ（３ｒ）、～、前記第３被写体の前記第（ｒ＋ｓ）波長域に対応する画像の複数の画素値Ｉ（３（ｒ＋ｓ））を生成しない、
　信号処理方法。
　＜上記した信号処理方法の詳細＞
　ｐ、ｑ、ｒ、ｓはそれぞれ自然数、ｑ＜ｒまたは（ｒ＋ｓ）＜ｑ、１≦ｑ≦ｐ、１≦ｒ≦ｐ、１≦ｒ＋ｓ≦ｐである。
　式（１）（２）はｎ×ｍで記載されているが、ここでは式（１）（２）におけるｎ×ｍをｍ×ｎに書き換えて用いてもよい。
　第１指示、第２指示、第３指示のそれぞれは、ユーザが入力ＵＩ４００を用いて、指示してもよい。
　第１指示は、第１被写体の第１波長域に対応する画像、～、第１被写体の第ｐ波長域に対応する画像を生成する指示である。
　第２指示は、第２被写体の第ｑ波長域に対応する画像を生成する指示、第２被写体の第ｒ波長域に対応する画像を生成しない指示、～、第２被写体の（ｒ＋ｓ）波長域に対応する画像を生成しない指示を含む。
　第３指示は、第３被写体の第ｑ波長域に対応する画像を生成する指示、第３被写体の第ｒ波長域～前記第（ｒ+ｓ）波長域に対応する画像を生成する指示、第３被写体の第ｒ波長域に対応する画像を生成しない指示、～、第３被写体の（ｒ＋ｓ）波長域に対応する画像を生成しない指示を含む。
　前記第１処理は、処理（ａ－１）、（ａ－２）を含む。
　＜処理（ａ－１）＞
　信号処理装置２５０は、複数の第１画素値をイメージセンサ１６０から受け取る。第１被写体からの第２光はフィルタアレイ１１０に入射する。この入射に対応して、フィルタアレイ１１０は第１光を出力する。イメージセンサ１６０はフィルタアレイ１１０からの第１光に対応して複数の第１画素値を出力する。
　複数の第１の画素値は、ｍ行ｎ列の行列形式で記載すれば、下記の様に記載できる。
Figure JPOXMLDOC01-appb-M000010
　（ｉ，ｊ）は画像における画素の位置に対応すると考えてもよい。１≦ｉ≦ｍ、１≦ｊ≦ｎである。
　複数の第１の画素値は、ｍ×ｎ行１列の行列形式で記載すれば、下記の様に記載できる。
Figure JPOXMLDOC01-appb-M000011
　＜処理（ａ－２）＞
　信号処理回路２５０は、メモリ２１０に記録された第１行列と複数の第１画素値とに基づいて、第１被写体の第１波長域に対応する画像の複数の画素値Ｉ(１１)、～、第１被写体の第ｐ波長域に対応する画像の複数の画素値Ｉ(１ｐ)を生成する。この生成方法は式（１）（２）を用いてすでに説明された。
　式（１）（２）はｎ×ｍで記載されているが、ここでは式（１）（２）におけるｎ×ｍをｍ×ｎに書き換えて適用する。
　第１行例は式（１）に示した、ｍ×ｎ行ｍ×ｎ×Ｎ列の行列Ｈである。ここでは行列ＨをＨ１とし、小行列Ａ１、～、小行列Ａｐを用いると、
Figure JPOXMLDOC01-appb-M000012
　と記載できる。小行列Ａ１、～、小行列Ａｐの各々は対角行列であってもよい。
Figure JPOXMLDOC01-appb-M000013
　第１被写体の第１波長域に対応する画像の複数の画素値Ｉ(１１)、～、第１被写体の第ｐ波長域に対応する画像の複数の画素値Ｉ(１ｐ)は、ｍ行ｎ列の行列形式で記載すれば、下記の様に記載できる。
Figure JPOXMLDOC01-appb-M000014
　（ｉ，ｊ）は画像における画素の位置に対応すると考えてもよい。１≦ｉ≦ｍ、１≦ｊ≦ｎである。
　第１被写体の第１波長域に対応する画像の複数の画素値Ｉ(１１)、～、第１被写体の第ｐ波長域に対応する画像の複数の画素値Ｉ(１ｐ)は、ｍ×ｎ行１列の行列形式で記載すれば、下記の様に記載できる。
Figure JPOXMLDOC01-appb-M000015
　式（１）の形式で標記すれば
Figure JPOXMLDOC01-appb-M000016
　である。
　複数の第１小行列Ａ１、Ａ２、～、Ａｐは第ｑ小行列Ａｑを含む。
Figure JPOXMLDOC01-appb-M000017
　複数の第１小行列Ａ１、Ａ２、～、Ａｐは、複数の第２小行列第ｒ小行列Ａｒ、～、第（ｒ+ｓ）小行列Ａ（ｒ+ｓ）を含む。
Figure JPOXMLDOC01-appb-M000018
　前記第２処理は、処理（ｂ－１）、（ｂ－２）を含む。
　＜処理（ｂ－１）＞
　信号処理装置２５０は、複数の第２画素値をイメージセンサ１６０から受け取る。第２被写体からの第４光はフィルタアレイ１１０に入射する。この入射に対応して、フィルタアレイ１１０は第３光を出力する。イメージセンサ１６０はフィルタアレイ１１０からの第３光に対応して複数の第２画素値を出力する。
　複数の第２の画素値は、ｍ行ｎ列の行列形式で記載すれば、下記の様に記載できる。
Figure JPOXMLDOC01-appb-M000019
　（ｉ，ｊ）は画像における画素の位置に対応すると考えてもよい。１≦ｉ≦ｍ、１≦ｊ≦ｎである。
　複数の第２の画素値は、ｍ×ｎ行１列の行列形式で記載すれば、下記の様に記載できる。
Figure JPOXMLDOC01-appb-M000020
　＜処理（ｂ－２）＞
　信号処理回路２５０は、メモリ２１０に記録された第ｑ小行列Ａｑと複数の第２画素値とに基づいて、第２被写体の第ｑ波長域に対応する画像の複数の画素値Ｉ（２ｑ）を生成する。信号処理回路２５０は、複数の第２小行列と複数の第２画素値とに基づいて、第２被写体の第ｒ波長域に対応する画像の複数の画素値Ｉ（２ｒ）、～、第２被写体の第（ｒ＋ｓ）波長域に対応する画像の複数の画素値Ｉ(２（ｒ＋ｓ））を生成しない。
　例えば、信号処理回路２５０は下記の処理を実行してもよい。
　信号処理回路２５０はメモリ２１０に記録された式（１２）に示す第１行列から第ｒ小行列Ａｒ、～、第(ｒ+ｓ)小行列Ａ（ｒ+ｓ）を削除して、ｎ×ｍ行ｎ×ｍ×（ｐ－（ｓ+１））列の行列Ｈ２を生成する。
Figure JPOXMLDOC01-appb-M000021
　そして下記の式（２２）に基づき、式（１）式（２）の説明で開示した方法に沿って、
　（ｉ）第２被写体の第１波長域に対応する画像の複数の画素値Ｉ（２１）、～、第２被写体の第ｑ波長域に対応する画像の複数の画素値Ｉ（２ｑ）、～、第２被写体の第（ｒ－１）波長域に対応する画像の複数の画素値Ｉ（２（ｒ－１））を生成し、
　（ｉｉ）第２被写体の第ｓ波長域に対応する画像の複数の画素値Ｉ（２ｒ）、～、第２被写体の第（ｒ+ｓ）波長域に対応する画像の複数の画素値Ｉ（２（ｒ+ｓ））を生成せず、
　(iii)第２被写体の第（ｒ+ｓ+１）波長域に対応する画像の複数の画素値Ｉ（２（ｒ+ｓ+１））、～、第２被写体の第ｐ波長域に対応する画像の複数の画素値Ｉ（２ｐ）を生成する。
　式（１）（２）はｎ×ｍで記載されているが、ここでは式（１）（２）におけるｎ×ｍをｍ×ｎに書き換えて適用する。
Figure JPOXMLDOC01-appb-M000022
　前記第３処理は、処理（ｃ－１）、（ｃ－２）、（ｃ－３）を含む。
　＜処理（ｃ－１）＞
　信号処理装置２５０は、複数の第３画素値をイメージセンサ１６０から受け取る。第３被写体からの第６光はフィルタアレイ１１０に入射する。この入射に対応して、フィルタアレイ１１０は第５光を出力する。イメージセンサ１６０はフィルタアレイ１１０からの第５光に対応して複数の第３画素値を出力する。
　複数の第３の画素値は、ｍ行ｎ列の行列形式で記載すれば、下記の様に記載できる。
Figure JPOXMLDOC01-appb-M000023
　（ｉ，ｊ）は画像における画素の位置に対応すると考えてもよい。１≦ｉ≦ｍ、１≦ｊ≦ｎである。
　複数の第３の画素値は、ｍ×ｎ行１列の行列形式で記載すれば、下記の様に記載できる。
Figure JPOXMLDOC01-appb-M000024
　＜処理（ｃ－２）＞
　信号処理回路２５０は、メモリ２１０に記録された第ｑ小行列Ａｑと複数の第３画素値とに基づいて、第３被写体の第ｑ波長域に対応する画像の複数の画素値Ｉ（３ｑ）を生成する。
　＜処理（ｃ－３）＞
　信号処理回路２５０は、メモリ２１０に記録された複数の第２小行列に基づいて第２行列を生成する。信号処理回路２５０は生成された第２行列と複数の第３画素値とに基づいて、第３被写体の前記第ｒ波長域～第３被写体の前記第（ｒ+ｓ）波長域に対応する画像の複数の画素値Ｉ３ｃを生成する
　信号処理回路２５０は、複数の第２小行列と複数の第３画素値とに基づいて、第３被写体の第ｒ波長域に対応する画像の複数の画素値Ｉ（３ｒ）、～、第３被写体の第（ｒ＋ｓ）波長域に対応する画像の複数の画素値Ｉ（３（ｒ＋ｓ））を生成しない。
　例えば、信号処理回路２５０は下記の処理を実行してもよい。
　信号処理回路２５０はメモリ２１０に記録された第１行列（式（１２）参照）に含まれる第ｒ小行列Ａｒ、～、第（ｒ+ｓ）小行列Ａ（ｒ+ｓ）に基づいて第２行列Ｈ３を生成する。
Figure JPOXMLDOC01-appb-M000025
Figure JPOXMLDOC01-appb-M000026
　Ｗ（１，１）＝（ｈｒ（１，１）+・・・+ｈ（ｒ＋ｓ）（１，１））／（ｓ+１）、・・・Ｗ（ｍ×ｎ，ｍ×ｎ）＝（ｈｒ（ｍ×ｎ，ｍ×ｎ）+・・・+ｈ（ｒ＋ｓ）（ｍ×ｎ，ｍ×ｎ））／（ｓ+１）である。
　信号処理回路２５０は、第１行列Ｈ１と第２行列Ｈ３に基づいて、第３行列Ｈ４を生成する。
Figure JPOXMLDOC01-appb-M000027
　第３行列Ｈ４はｎ×ｍ行ｎ×ｍ×（ｐ－ｓ）列の行列である。
　そして、式（２７）に基づき、式（１）式（２）の説明で開示した方法に沿って、
　（ｉ）第３被写体の第１波長域に対応する画像の複数の画素値Ｉ（３１）、～、第３被写体の第ｑ波長域に対応する画像の複数の画素値Ｉ（３ｑ）、～、第３被写体の第（ｒ－１）波長域に対応する画像の複数の画素値Ｉ（３（ｒ－１））を生成し、
　（ｉｉ）第３被写体の第ｓ波長域に対応する画像の複数の画素値Ｉ（３ｒ）、～、第３被写体の第（ｒ+ｓ）波長域に対応する画像の複数の画素値Ｉ（３（ｒ+ｓ））を生成せず、
　（iii）第３被写体の第ｒ波長域～第３被写体の第（ｒ+ｓ）波長域に対応する画像の複数の画素値Ｉ３ｃを生成し、
　（ｉｖ）第３被写体の第（ｒ+ｓ+１）波長域に対応する画像の複数の画素値Ｉ（３（ｒ+ｓ+１））、～、第３被写体の第ｐ波長域に対応する画像の複数の画素値Ｉ（３ｐ）を生成する。
　式（１）（２）はｎ×ｍで記載されているが、ここでは式（１）（２）におけるｎ×ｍをｍ×ｎに書き換えて用いてもよい。
Figure JPOXMLDOC01-appb-M000028
　第３被写体の第ｒ波長域～第３被写体の第（ｒ+ｓ）波長域に対応する画像の複数の画素値Ｉ３ｃは、ｍ行ｎ列の行列形式で記載すれば、下記の様に記載できる。
Figure JPOXMLDOC01-appb-M000029
　（ｉ，ｊ）は画像における画素の位置に対応すると考えてもよい。１≦ｉ≦ｍ、１≦ｊ≦ｎである。
　第３被写体の第ｒ波長域～第３被写体の第（ｒ+ｓ）波長域に対応する画像の複数の画素値Ｉ３ｃはｍ×ｎ行１列の行列形式で記載すれば、下記の様に記載できる。
Figure JPOXMLDOC01-appb-M000030
　（その他２）
　　本開示において、圧縮画像は、複数の光学フィルタを含むフィルタアレイを用いた撮像とは異なる方法で撮像されることによって生成されてもよい。
　例えば、撮像装置１００の構成として、イメージセンサ１６０に加工を施すことでイメージセンサの受光特性を画素ごとに変化させてもよく、当該加工が施されたイメージセンサ１６０を用いた撮像によって、圧縮画像が生成されてもよい。すなわち、フィルタアレイ１１０によってイメージセンサに入射する光を符号化する代わりに、入射する光を符号化する機能をイメージセンサにもたせることによって、圧縮画像を生成してもよい。この場合、マスクデータはイメージセンサの受光特性に対応する。
　また、光学系１４０の少なくとも一部にメタレンズ等の光学素子が導入されることで、光学系１４０の光学特性が空間的かつ波長的に変化され、入射する光が符号化される構成であってもよく、当該構成を含む撮像装置によって圧縮画像が生成されてもよい。この場合、マスクデータは、メタレンズ等の光学素子の光学特性に対応する情報となる。このように、フィルタアレイ１１０を用いた構成とは異なる構成の撮像装置１００を用いることによって、入射光の強度を波長ごとに変調し、圧縮画像および復元画像を生成してもよい。
　（その他３）
　本開示は、実施の形態１～４、実施例および変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記各実施の形態、実施例、および、変形例に施したもの、異なる実施の形態、実施例、及び／または、異なる変形例における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。
　なお、本開示の技術は、蛍光観察に限らず、観察対象のスペクトルが既知である他の用途にも適用することができる。例えば、吸収スペクトルの観察、黒体放射の観察（例えば温度推定）、光源（例えばＬＥＤ、ハロゲンランプなど）の推定など、種々の用途に本開示の技術を適用することができる。
　本開示の技術は、例えば、多波長の画像を取得するカメラおよび測定機器に有用である。本開示の技術は、例えば、蛍光観察、吸収スペクトルの観察、生体・医療・美容向けセンシング、食品の異物・残留農薬検査システム、リモートセンシングシステムおよび車載センシングシステムにも応用できる。
　１０　　　圧縮画像
　２０　　　復元画像
　３１、３２、３３、３４　　サンプル
　７０　　　対象物
　８０　　　試料
　１００　　撮像装置
　１１０　　フィルタアレイ
　１４０　　光学系
　１５０　　制御回路
　１６０　　イメージセンサ
　２００　　処理装置
　２１０　　メモリ
　２５０　　信号処理回路
　３００　　表示装置
　３２０　　画像処理回路
　３３０　　ディスプレイ
　４００　　入力ＵＩ
　４１０　　メモリ
　４２０　　プロセッサ
　６１０　　光源
　６２０　　光学系
　６２１　　干渉フィルタ
　６２２　　ダイクロイックミラー
　６２３　　対物レンズ
　６２４　　ロングパスフィルタ
　６３０　　検出器

Claims (22)

  1. 　コンピュータによって実行される信号処理方法であって、
    　対象波長域におけるハイパースペクトル情報を圧縮することによって得られた被写体の２次元画像情報を含む圧縮画像データを取得することと、
    　前記被写体に関連付けられた１つ以上のスペクトルの情報を含む参照スペクトルデータを取得することと、
    　前記圧縮画像データから、前記参照スペクトルデータに基づいて決定される複数の指定波長バンドに対応する複数の２次元画像データを生成することと、
    　を含む方法。
  2. 　前記１つ以上のスペクトルは、前記被写体に含まれると想定される１種類以上の物質に関連付けられている、請求項１に記載の方法。
  3. 　前記複数の指定波長バンドのそれぞれは、前記１種類以上の物質のうちの対応する１つに関連付けられた前記スペクトルのピーク波長を含む、請求項１または２に記載の方法。
  4. 　前記参照スペクトルデータは、前記被写体に含まれると想定される複数種類の物質に関連付けられた複数のスペクトルの情報を含み、
    　前記複数の指定波長バンドは、前記複数のスペクトルの間で重なりを有しない第１指定波長バンドと、前記複数のスペクトルの間で重なりを有する第２指定波長バンドとを含む、
    　請求項１または２に記載の方法。
  5. 　前記圧縮画像データは、分光透過率が互いに異なる複数種類の光学フィルタを含むフィルタアレイおよびイメージセンサを用いて生成され、
    　前記方法は、前記分光透過率の空間分布を反映したマスクデータを取得することをさらに含み、
    　前記複数の２次元画像データは、前記圧縮画像データおよび前記マスクデータに基づいて生成される、
    　請求項１から４のいずれかに記載の方法。
  6. 　前記マスクデータは、前記対象波長域に含まれる複数の単位バンドの各々についての前記フィルタアレイの透過率の空間分布に応じた要素を有するマスク行列情報を含み、
    　前記方法は、
    　前記対象波長域における、前記指定波長バンドとは異なる非指定波長バンドに対応する前記マスク行列情報を合成した合成マスク情報を生成することと、
    　前記圧縮画像データおよび前記合成マスク情報に基づいて、前記非指定波長バンドについての合成画像データを生成することと、
    　をさらに含む、請求項５に記載の方法。
  7. 　前記複数の２次元画像データを生成することは、前記対象波長域における、前記指定波長バンドとは異なる非指定波長バンドに対応する画像データを前記圧縮画像データから生成することなく、前記複数の指定波長バンドに対応する前記複数の２次元画像データを生成して出力することを含む、請求項５に記載の方法。
  8. 　前記複数の指定波長バンドは、前記参照スペクトルデータが示す前記１つ以上のスペクトルの強度または前記強度の微分値に基づいて決定される、請求項１から７のいずれかに記載の方法。
  9. 　前記参照スペクトルデータは、前記被写体に含まれると想定される１つ以上の物質の蛍光スペクトルの情報を含む、請求項１から８のいずれかに記載の方法。
  10. 　前記参照スペクトルデータは、前記被写体に含まれると想定される１つ以上の物質の吸光スペクトルの情報を含む、請求項１から８のいずれかに記載の方法。
  11. 　前記１つ以上のスペクトル、または前記１つ以上のスペクトルに関連付けられた１種類以上の物質をユーザに指定させるためのグラフィカルユーザインターフェースをディスプレイに表示させることをさらに含み、
    　前記参照スペクトルデータは、指定された前記１つ以上のスペクトル、または指定された前記１種類以上の物質に応じて取得される、
    　請求項１から１０のいずれかに記載の方法。
  12. 　対象波長域におけるハイパースペクトル情報を圧縮することによって得られた被写体の２次元画像情報を含む圧縮画像データから、波長バンドごとの分光画像データを復元するために用いられるマスクデータを生成する方法であって、
    　前記対象波長域における第１波長バンド群に対応する第１分光画像データを復元するための第１マスクデータを取得することと、
    　少なくとも１つのスペクトルに関する情報を含む参照スペクトルデータを取得することと、
    　前記参照スペクトルデータに基づき、前記対象波長域に含まれる１つ以上の指定波長域を決定することと、
    　前記第１マスクデータに基づき、前記１つ以上の指定波長域における第２波長バンド群に対応する第２分光画像データを復元するための第２マスクデータを生成することと、
    　を含む方法。
  13. 　前記圧縮画像データは、分光透過率が互いに異なる複数種類の光学フィルタを含むフィルタアレイおよびイメージセンサを用いて生成され、
    　前記第１マスクデータおよび前記第２マスクデータは、前記フィルタアレイの分光透過率の空間分布が反映されたデータであり、
    　前記第１マスクデータは、前記第１波長バンド群に対応する前記分光透過率の空間分布を示す第１マスク情報を含み、
    　前記第２マスクデータは、前記第２波長バンド群に対応する前記分光透過率の空間分布を示す第２マスク情報を含む、
    　請求項１２に記載の方法。
  14. 　前記第２マスクデータは、複数の情報を合成することにより得られた第３マスク情報をさらに含み、
    　前記複数の情報の各々は、前記対象波長域のうち、前記指定波長域以外の非指定波長域に含まれる対応する波長バンドにおける前記分光透過率の空間分布を示す、
    請求項１３に記載の方法。
  15. 　前記第２マスクデータは、前記指定波長域以外の非指定波長域に含まれる対応する波長バンドにおける前記分光透過率の空間分布に関する情報を含まない、請求項１３に記載の方法。
  16. 　コンピュータによって実行される信号処理方法であって、
    　対象波長域におけるハイパースペクトル情報を圧縮することによって得られた被写体の２次元画像情報を含む圧縮画像データを取得することと、
    　前記被写体に関連付けられた１つ以上のスペクトルの情報を含む参照スペクトルデータを取得することと、
    　前記圧縮画像データから、複数の指定波長バンドに対応する複数の２次元画像データを生成するための復元条件を指定させるためのグラフィカルユーザインターフェース、および前記参照スペクトルデータに基づく画像を、ともにディスプレイに表示させることと、
    　を含む方法。
  17. 　プロセッサと、
    　前記プロセッサによって実行されるコンピュータプログラムを格納したメモリと、
    を備えた信号処理装置であって、
    　前記コンピュータプログラムは、前記プロセッサに
    　対象波長域におけるハイパースペクトル情報を圧縮することによって得られた被写体の２次元画像情報を含む圧縮画像データを取得することと、
    　前記被写体に関連付けられた１つ以上のスペクトルの情報を含む参照スペクトルデータを取得することと、
    　前記圧縮画像データから、前記参照スペクトルデータに基づいて決定される複数の指定波長バンドに対応する複数の２次元画像データを生成することと、
    　を実行させる、信号処理装置。
  18. 　プロセッサと、
    　前記プロセッサによって実行されるコンピュータプログラムを格納したメモリと、
    を備えた信号処理装置であって、
    　前記コンピュータプログラムは、前記プロセッサに
    　対象波長域におけるハイパースペクトル情報を圧縮することによって得られた被写体の２次元画像情報を含む圧縮画像データから、前記対象波長域における第１波長バンド群に対応する第１分光画像データを復元するための第１マスクデータを取得することと、
    　少なくとも１つのスペクトルに関する情報を含む参照スペクトルデータを取得することと、
    　前記参照スペクトルデータに基づき、前記対象波長域に含まれる１つ以上の指定波長域を決定することと、
    　前記第１マスクデータに基づき、前記１つ以上の指定波長域における第２波長バンド群に対応する第２分光画像データを復元するための第２マスクデータを生成することと、
    　を実行させる、信号処理装置。
  19. 　プロセッサと、
    　前記プロセッサによって実行されるコンピュータプログラムを格納したメモリと、
    を備えた信号処理装置であって、
    　前記コンピュータプログラムは、前記プロセッサに
    　対象波長域におけるハイパースペクトル情報を圧縮することによって得られた被写体の２次元画像情報を含む圧縮画像データを取得することと、
    　前記被写体に関連付けられた１つ以上のスペクトルの情報を含む参照スペクトルデータを取得することと、
    　前記圧縮画像データから、複数の指定波長バンドに対応する複数の２次元画像データを生成するための復元条件を指定させるためのグラフィカルユーザインターフェース、および前記参照スペクトルデータに基づく画像を、ともにディスプレイに表示させることと、
    　を実行させる、信号処理装置。
  20. 　コンピュータに、
    　対象波長域におけるハイパースペクトル情報を圧縮することによって得られた被写体の２次元画像情報を含む圧縮画像データを取得することと、
    　前記被写体に関連付けられた１つ以上のスペクトルの情報を含む参照スペクトルデータを取得することと、
    　前記圧縮画像データから、前記対象波長域に含まれ、前記参照スペクトルデータに基づいて決定される複数の指定波長バンドに対応する複数の２次元画像データを生成することと、
    　を実行させる、コンピュータプログラム。
  21. 　コンピュータに、
    　対象波長域におけるハイパースペクトル情報を圧縮することによって得られた被写体の２次元画像情報を含む圧縮画像データから、前記対象波長域における第１波長バンド群に対応する第１分光画像データを復元するための第１マスクデータを取得することと、
    　少なくとも１つのスペクトルに関する情報を含む参照スペクトルデータを取得することと、
    　前記参照スペクトルデータに基づき、前記対象波長域に含まれる１つ以上の指定波長域を決定することと、
    　前記第１マスクデータに基づき、前記１つ以上の指定波長域における第２波長バンド群に対応する第２分光画像データを復元するための第２マスクデータを生成することと、
    　を実行させる、コンピュータプログラム。
  22. 　コンピュータに、
    　対象波長域におけるハイパースペクトル情報を圧縮することによって得られた被写体の２次元画像情報を含む圧縮画像データを取得することと、
    　前記被写体に関連付けられた１つ以上のスペクトルの情報を含む参照スペクトルデータを取得することと、
    　前記圧縮画像データから、複数の指定波長バンドに対応する複数の２次元画像データを生成するための復元条件を指定させるためのグラフィカルユーザインターフェース、および前記参照スペクトルデータに基づく画像を、ともにディスプレイに表示させることと、
    　を実行させる、コンピュータプログラム。
PCT/JP2022/025013 2021-07-06 2022-06-23 信号処理装置および信号処理方法 WO2023282069A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280040739.8A CN117460947A (zh) 2021-07-06 2022-06-23 信号处理装置及信号处理方法
JP2023533523A JPWO2023282069A1 (ja) 2021-07-06 2022-06-23
US18/540,962 US20240119645A1 (en) 2021-07-06 2023-12-15 Signal processing apparatus and signal processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021112254 2021-07-06
JP2021-112254 2021-07-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/540,962 Continuation US20240119645A1 (en) 2021-07-06 2023-12-15 Signal processing apparatus and signal processing method

Publications (1)

Publication Number Publication Date
WO2023282069A1 true WO2023282069A1 (ja) 2023-01-12

Family

ID=84800279

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/025013 WO2023282069A1 (ja) 2021-07-06 2022-06-23 信号処理装置および信号処理方法

Country Status (4)

Country Link
US (1) US20240119645A1 (ja)
JP (1) JPWO2023282069A1 (ja)
CN (1) CN117460947A (ja)
WO (1) WO2023282069A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704064A (zh) * 2023-06-08 2023-09-05 深圳市中科云驰环境科技有限公司 基于高光谱的污水成像方法、系统、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009159068A (ja) * 2007-12-25 2009-07-16 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
JP2017015694A (ja) * 2015-07-02 2017-01-19 パナソニックＩｐマネジメント株式会社 撮像装置
JP2018098641A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、プログラム、および電子機器
WO2021119363A2 (en) * 2019-12-10 2021-06-17 Agnetix, Inc. Multisensory imaging methods and apparatus for controlled environment horticulture using irradiators and cameras and/or sensors

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009159068A (ja) * 2007-12-25 2009-07-16 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
JP2017015694A (ja) * 2015-07-02 2017-01-19 パナソニックＩｐマネジメント株式会社 撮像装置
JP2018098641A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、プログラム、および電子機器
WO2021119363A2 (en) * 2019-12-10 2021-06-17 Agnetix, Inc. Multisensory imaging methods and apparatus for controlled environment horticulture using irradiators and cameras and/or sensors

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704064A (zh) * 2023-06-08 2023-09-05 深圳市中科云驰环境科技有限公司 基于高光谱的污水成像方法、系统、电子设备及存储介质
CN116704064B (zh) * 2023-06-08 2024-02-23 深圳市中科云驰环境科技有限公司 基于高光谱的污水成像方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
US20240119645A1 (en) 2024-04-11
JPWO2023282069A1 (ja) 2023-01-12
CN117460947A (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
JP6952277B2 (ja) 撮像装置および分光システム
EP3832359A1 (en) Method and device for imaging of lensless hyperspectral image
EP3172698A1 (en) Compact multifunctional system for imaging spectroscopy
JP5165732B2 (ja) マルチスペクトル画像処理方法、画像処理装置、及び画像処理システム
JP2016130727A (ja) 撮像装置
WO2021246192A1 (ja) 信号処理方法、信号処理装置、および撮像システム
US9031304B2 (en) Image processing system
EP4130693A1 (en) Signal processing method, signal processing device, and image-capturing system
JP4599520B2 (ja) マルチスペクトル画像処理方法
US20240119645A1 (en) Signal processing apparatus and signal processing method
CN113711133A (zh) 基于深度学习的彩色全息显微镜的系统和方法
WO2022163421A1 (ja) 検査対象に含まれる異物を検出する方法および装置
EP4092397A1 (en) Optical filter array, optical detection device, and optical detection system
US20240037798A1 (en) Image processing apparatus, imaging system, and method for estimating error in reconstructed images
Kotwal et al. An optimization-based approach to fusion of hyperspectral images
Singh et al. Multi-exposure microscopic image fusion-based detail enhancement algorithm
Rahman et al. Multisensor fusion and enhancement using the Retinex image enhancement algorithm
Rice et al. Hyperspectral image projector applications
Sawyer et al. Towards a simulation framework to maximize the resolution of biomedical hyperspectral imaging
WO2023106143A1 (ja) 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
WO2023106142A1 (ja) 信号処理方法、プログラム、およびシステム
Wei et al. Rapid hyperspectral imaging system via sub-sampling coding
JP2024020922A (ja) 復元画像の評価方法および撮像システム、
WO2023286613A1 (ja) フィルタアレイ、光検出装置、および光検出システム
Zhang et al. Sub-pixel dispersion model for coded aperture snapshot spectral imaging

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22837486

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280040739.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2023533523

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22837486

Country of ref document: EP

Kind code of ref document: A1