WO2021192891A1 - 信号処理方法、信号処理装置、および撮像システム - Google Patents

信号処理方法、信号処理装置、および撮像システム Download PDF

Info

Publication number
WO2021192891A1
WO2021192891A1 PCT/JP2021/008433 JP2021008433W WO2021192891A1 WO 2021192891 A1 WO2021192891 A1 WO 2021192891A1 JP 2021008433 W JP2021008433 W JP 2021008433W WO 2021192891 A1 WO2021192891 A1 WO 2021192891A1
Authority
WO
WIPO (PCT)
Prior art keywords
wavelength
sub
data
mask
image
Prior art date
Application number
PCT/JP2021/008433
Other languages
English (en)
French (fr)
Inventor
基樹 八子
石川　篤
久田　和也
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN202180018960.9A priority Critical patent/CN115211106A/zh
Priority to JP2022509473A priority patent/JPWO2021192891A1/ja
Priority to EP21775387.0A priority patent/EP4130693A4/en
Publication of WO2021192891A1 publication Critical patent/WO2021192891A1/ja
Priority to US17/930,093 priority patent/US20220414948A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Definitions

  • the present disclosure relates to a signal processing method, a signal processing device, and an imaging system.
  • Hyperspectral cameras are used in various fields such as food inspection, biopsy, drug development, and mineral component analysis.
  • Patent Document 1 discloses an example of a hyperspectral imaging device using compressed sensing.
  • the imaging device includes a coding element which is an array of a plurality of optical filters having different wavelength dependences of light transmittance, an image sensor which detects light transmitted through the coding element, and a signal processing circuit.
  • a coding element is arranged on the optical path connecting the subject and the image sensor.
  • the image sensor acquires one wavelength division multiplexing image by simultaneously detecting light on which components of a plurality of wavelength bands are superimposed for each pixel.
  • the signal processing circuit utilizes the information of the spatial distribution of the spectral transmittance of the coding element and applies compressed sensing to the acquired wavelength-multiplexed image to obtain an image for each of the plurality of wavelength bands. Reconstruct the data.
  • target wavelength range image data for each of all wavelength bands included in the wavelength range of the acquired wavelength division multiplexing image (hereinafter referred to as "target wavelength range") is generated and displayed.
  • target wavelength range image data for each of all wavelength bands included in the wavelength range of the acquired wavelength division multiplexing image
  • the present disclosure provides a technique for efficiently generating an image of a required wavelength band.
  • the method according to one aspect of the present disclosure is a signal processing method executed by a computer.
  • the method is to acquire compressed image data including two-dimensional image information obtained by compressing hyperspectral information in the target wavelength region, and to obtain one or more sub-wavelength regions that are a part of the target wavelength region.
  • the present invention includes the acquisition of setting data for designating the above, and the generation of a plurality of two-dimensional images corresponding to the plurality of wavelength bands included in the one or more sub-wavelength regions based on the compressed image data.
  • the present disclosure may be implemented in recording media such as systems, devices, methods, integrated circuits, computer programs or computer readable recording disks, systems, devices, methods, integrated circuits, etc. It may be realized by any combination of a computer program and a recording medium.
  • the computer-readable recording medium may include a non-volatile recording medium such as a CD-ROM (Compact Disc-Read Only Memory).
  • the device may consist of one or more devices. When the device is composed of two or more devices, the two or more devices may be arranged in one device, or may be separately arranged in two or more separated devices.
  • "device" can mean not only one device, but also a system of multiple devices.
  • FIG. 1A is a diagram schematically showing an exemplary hyperspectral imaging system.
  • FIG. 1B is a diagram schematically showing a first modification of an exemplary hyperspectral imaging system.
  • FIG. 1C is a diagram schematically showing a second modification of an exemplary hyperspectral imaging system.
  • FIG. 1D is a diagram schematically showing a third modification of an exemplary hyperspectral imaging system.
  • FIG. 2A is a diagram schematically showing an example of a filter array.
  • FIG. 2B is a diagram showing an example of the spatial distribution of the light transmittance of each of the plurality of wavelength bands W 1 , W 2 , ..., W N included in the target wavelength region.
  • FIG. 1A is a diagram schematically showing an exemplary hyperspectral imaging system.
  • FIG. 1B is a diagram schematically showing a first modification of an exemplary hyperspectral imaging system.
  • FIG. 1C is a diagram schematically showing a second modification of an exemplary hyperspectral imaging system.
  • FIG. 2C is a diagram showing an example of the spectral transmittance of the region A1 included in the filter array shown in FIG. 2A.
  • FIG. 2D is a diagram showing an example of the spectral transmittance of the region A2 included in the filter array shown in FIG. 2A.
  • FIG. 3A is a diagram showing an example of the relationship between the target wavelength region W and the plurality of wavelength bands W 1 , W 2 , ..., W N included in the target wavelength region W.
  • FIG. 3B is a diagram showing another example of the relationship between the target wavelength region W and the plurality of wavelength bands W 1 , W 2 , ..., W N included therein.
  • FIG. 4A is a diagram for explaining the characteristics of spectral transmittance in a certain region of the filter array.
  • FIG. 4B is a diagram showing the results of averaging the spectral transmittances shown in FIG. 4A for each of the wavelength bands W 1 , W 2 , ..., W N.
  • FIG. 5 is a diagram schematically showing a usage scene of the hyperspectral camera.
  • FIG. 6A is a diagram showing an example of a target wavelength region W and a designated sub-wavelength region Wa.
  • FIG. 6B is a diagram showing an example in which a second sub-wavelength region is designated in addition to the first sub-wavelength region.
  • FIG. 7 is a diagram showing a configuration of an imaging system according to an exemplary embodiment of the present disclosure.
  • FIG. 8 is a flowchart showing the operation of the system.
  • FIG. 9 is a diagram showing an example of mask data before conversion stored in the memory.
  • FIG. 10 is a diagram showing an example of a GUI for inputting imaging conditions.
  • FIG. 11 is a diagram showing an example of a GUI for inputting restoration conditions.
  • FIG. 12 is a diagram showing an example of a GUI for inputting restoration conditions.
  • FIG. 13 is a diagram showing an example of a screen displaying a spectroscopic image generated as a result of the restoration operation.
  • FIG. 14 is a diagram for explaining an example of a method of synthesizing mask information of a plurality of bands and converting it into new mask information.
  • FIG. 15A is a diagram showing an example of the converted mask data recorded in the memory.
  • FIG. 15B is a diagram showing another example of the converted mask data recorded in the memory.
  • FIG. 16 is a diagram showing an example of a method of generating an image for each of a plurality of wavelength bands included in a target wavelength region.
  • FIG. 17 is a diagram showing a system configuration when the signal processing circuit does not convert mask information.
  • FIG. 18 is a diagram showing another example of GUI for setting restoration conditions.
  • FIG. 19 is a diagram showing an example of displaying an image in a wavelength range not specified.
  • FIG. 20 is a diagram showing an example of a method of restoring only a specific sub-wavelength region with high wavelength resolution by performing two-step restoration.
  • all or part of a circuit, unit, device, member or part, or all or part of a functional block in a block diagram is, for example, a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (range scale integration). ) Can be performed by one or more electronic circuits.
  • the LSI or IC may be integrated on one chip, or may be configured by combining a plurality of chips.
  • functional blocks other than the storage element may be integrated on one chip.
  • it is called LSI or IC, but the name changes depending on the degree of integration, and it may be called system LSI, VLSI (very large scale integration), or ULSI (ultra large scale integration).
  • Field Programmable Gate Array (FPGA) which is programmed after the LSI is manufactured, or reconfigurable logistic device, which can reconfigure the junction relationship inside the LSI or set up the circuit partition inside the LSI, can also be used for the same purpose.
  • FPGA Field Programmable Gate Array
  • circuits, units, devices, members or parts can be executed by software processing.
  • the software is recorded on a non-temporary recording medium such as one or more ROMs, optical discs, hard disk drives, etc., and when the software is executed by a processor, the functions identified by the software. Is executed by the processing device and peripheral devices.
  • the system or device may include one or more non-temporary recording media, processing devices, and required hardware devices, such as interfaces, on which the software is recorded.
  • FIG. 1A is a diagram schematically showing an exemplary hyperspectral imaging system.
  • This system includes an imaging device 100 and a processing device 200.
  • the image pickup apparatus 100 has the same configuration as the image pickup apparatus disclosed in Patent Document 1.
  • the image pickup apparatus 100 includes an optical system 140, a filter array 110, and an image sensor 160.
  • the filter array 110 has the same structure and function as the "encoding element" disclosed in Patent Document 1. Therefore, in the following description, the filter array 110 may be referred to as a "coding element".
  • the optical system 140 and the filter array 110 are arranged on the optical path of the light incident from the object 70 which is the subject.
  • the filter array 110 is arranged between the optical system 140 and the image sensor 160.
  • an apple is illustrated as an example of the object 70.
  • the object 70 is not limited to an apple, but can be any object.
  • the processing device 200 generates image data for each of the plurality of wavelength bands included in the target wavelength region based on the image data generated by the image sensor 160.
  • This image data is referred to as "spectroscopic image data" in the present specification.
  • the number of wavelength bands included in the target wavelength region is N (N is an integer of 4 or more).
  • the generated spectroscopic image data of a plurality of wavelength bands are referred to as spectroscopic images 220W 1 , 220W 2 , ..., 220W N, and these are collectively referred to as spectroscopic images 220.
  • a data or signal indicating an image that is, a set of data or signals representing a pixel value of each pixel may be simply referred to as an "image”.
  • the filter array 110 is an array of a plurality of translucent filters arranged in rows and columns.
  • the plurality of filters include a plurality of types of filters in which the spectral transmittance, that is, the wavelength dependence of the light transmittance is different from each other.
  • the filter array 110 modulates the intensity of the incident light for each wavelength and outputs it. This process by the filter array 110 is referred to herein as "coding".
  • the filter array 110 is arranged near or directly above the image sensor 160.
  • the “neighborhood” means that the image of the light from the optical system 140 is close enough to be formed on the surface of the filter array 110 in a state of being clear to some extent. "Directly above” means that they are so close that there is almost no gap.
  • the filter array 110 and the image sensor 160 may be integrated.
  • the optical system 140 includes at least one lens. Although the optical system 140 is shown as one lens in FIG. 1A, the optical system 140 may be a combination of a plurality of lenses. The optical system 140 forms an image on the image pickup surface of the image sensor 160 via the filter array 10.
  • the filter array 110 may be arranged away from the image sensor 160.
  • 1B to 1D are diagrams showing a configuration example of an image pickup apparatus 100 in which the filter array 110 is arranged away from the image sensor 160.
  • the filter array 110 is arranged between the optical system 140 and the image sensor 160 and at a position away from the image sensor 160.
  • the filter array 110 is arranged between the object 70 and the optical system 140.
  • the image pickup apparatus 100 includes two optical systems 140A and 140B, and the filter array 110 is arranged between them.
  • an optical system including one or more lenses may be arranged between the filter array 110 and the image sensor 160.
  • the image sensor 160 is a monochrome type photodetector having a plurality of two-dimensionally arranged photodetectors (also referred to as "pixels" in the present specification).
  • the image sensor 160 may be, for example, a CCD (Charge-Coupled Device), a CMOS (Complementary Metal Oxide Sensor) sensor, an infrared array sensor, a terahertz array sensor, or a millimeter wave array sensor.
  • the photodetector includes, for example, a photodiode.
  • the image sensor 160 does not necessarily have to be a monochrome type sensor.
  • a color type sensor having an R / G / B, R / G / B / IR, or R / G / B / W filter may be used.
  • the wavelength range to be acquired may be arbitrarily determined, and is not limited to the visible wavelength range, but may be the wavelength range of ultraviolet, near infrared, mid-infrared, far infrared, microwave / radio waves.
  • the processing device 200 is a computer including a processor and a storage medium such as a memory.
  • the processing device 200 generates data of a plurality of spectroscopic images 220W 1 , 220W 2 , ... 220W N , each including information of a plurality of wavelength bands, based on the image 120 acquired by the image sensor 160.
  • FIG. 2A is a diagram schematically showing an example of the filter array 110.
  • the filter array 110 has a plurality of regions arranged two-dimensionally. In the present specification, the area may be referred to as a "cell". In each region, an optical filter having individually set spectral transmittance is arranged.
  • the spectral transmittance is represented by a function T ( ⁇ ), where ⁇ is the wavelength of the incident light.
  • the spectral transmittance T ( ⁇ ) can take a value of 0 or more and 1 or less.
  • the filter array 110 has 48 rectangular regions arranged in 6 rows and 8 columns. This is just an example, and in actual use, more areas may be provided. The number may be, for example, about the same as the number of pixels of the image sensor 160. The number of filters included in the filter array 110 is determined according to the application, for example, in the range of tens to tens of millions.
  • FIG. 2B is a diagram showing an example of the spatial distribution of the light transmittance of each of the plurality of wavelength bands W 1 , W 2 , ..., W N included in the target wavelength region.
  • the difference in shade of each region represents the difference in transmittance. The lighter the region, the higher the transmittance, and the darker the region, the lower the transmittance.
  • the spatial distribution of light transmittance differs depending on the wavelength band.
  • 2C and 2D are diagrams showing examples of spectral transmittances of regions A1 and A2 included in the filter array 110 shown in FIG. 2A, respectively.
  • the spectral transmittance of the region A1 and the spectral transmittance of the region A2 are different from each other.
  • the spectral transmittance of the filter array 110 differs depending on the region. However, the spectral transmittances of all regions do not necessarily have to be different.
  • the spectral transmittances of at least a part of the plurality of regions are different from each other.
  • the filter array 110 includes two or more filters having different spectral transmittances.
  • the number of spectral transmittance patterns in the plurality of regions included in the filter array 110 may be equal to or greater than the number N of wavelength bands included in the target wavelength region.
  • the filter array 110 may be designed so that the spectral transmittances of more than half of the regions are different.
  • the target wavelength range W can be set in various ranges depending on the application.
  • the target wavelength range W can be, for example, a visible light wavelength range of about 400 nm to about 700 nm, a near infrared wavelength range of about 700 nm to about 2500 nm, or a near ultraviolet wavelength range of about 10 nm to about 400 nm.
  • the target wavelength region W may be a radio wave region such as mid-infrared, far-infrared, terahertz wave, or millimeter wave.
  • the wavelength range used is not always the visible light range. In the present specification, not only visible light but also invisible light such as near-ultraviolet rays, near-infrared rays, and radio waves are referred to as "light" for convenience.
  • N is an arbitrary integer of 4 or more, and each wavelength range obtained by dividing the target wavelength range W into N equal parts is the wavelength bands W 1 , W 2 , ..., W N.
  • a plurality of wavelength bands included in the target wavelength region W may be arbitrarily set.
  • the bandwidth may be non-uniform depending on the wavelength band.
  • the bandwidth differs depending on the wavelength band, and there is a gap between two adjacent wavelength bands.
  • the plurality of wavelength bands need only be different from each other, and the method of determining the wavelength bands is arbitrary.
  • FIG. 4A is a diagram for explaining the characteristics of spectral transmittance in a certain region of the filter array 110.
  • the spectral transmittance has a plurality of maximum values P1 to P5 and a plurality of minimum values with respect to wavelengths in the target wavelength region W.
  • the maximum value of the light transmittance in the target wavelength region W is 1 and the minimum value is 0.
  • the spectral transmittance has a maximum value in a wavelength region such as the wavelength band W 2 and the wavelength band W N-1.
  • the maximum values P1, P3, P4 and P5 are 0.5 or more.
  • the filter array 110 transmits a large amount of components in a certain wavelength range from the incident light, and does not transmit so much components in another wavelength range. For example, light in k wavelength bands out of N wavelength bands has a transmittance of more than 0.5, and light in the remaining NK wavelength ranges has a transmittance of 0.5. Can be less than. k is an integer that satisfies 2 ⁇ k ⁇ N. If the incident light is white light that evenly contains the wavelength components of all visible light, the filter array 110 sets the incident light to light having a plurality of discrete intensity peaks with respect to the wavelength for each region. It is modulated to and these multi-wavelength light is superimposed and output.
  • FIG. 4B is a diagram showing the results of averaging the spectral transmittances shown in FIG. 4A for each wavelength band W 1 , W 2 , ..., W N.
  • the averaged transmittance is obtained by integrating the spectral transmittance T ( ⁇ ) for each wavelength band and dividing by the bandwidth of that wavelength band.
  • the value of the transmittance averaged for each wavelength band as described above is defined as the transmittance in that wavelength band.
  • the transmittance is remarkably high in the three wavelength regions having maximum values P1, P3 and P5. In particular, the transmittance exceeds 0.8 in the two wavelength regions having maximum values P3 and P5.
  • each region transmits any value of 0 or more and 1 or less.
  • a binary-scale transmittance distribution may be adopted in which the transmittance of each region can take a value of either approximately 0 or approximately 1.
  • each region transmits most of the light in at least two wavelength regions of the plurality of wavelength regions included in the target wavelength region, and transmits most of the light in the remaining wavelength regions. I won't let you.
  • "most" refers to approximately 80% or more.
  • a part of all cells may be replaced with a transparent area.
  • a transparent region transmits light of all wavelength bands W 1 to W N included in the target wavelength region W with a transmittance of the same high level, for example, a transmittance of 80% or more.
  • the plurality of transparent areas may be arranged, for example, in a checkerboard pattern. That is, in the two arrangement directions of the plurality of regions in the filter array 110, regions having different light transmittances depending on the wavelength and transparent regions can be arranged alternately.
  • Data showing the spatial distribution of the spectral transmittance of such a filter array 110 is acquired in advance by design data or actual measurement calibration, and is stored in a storage medium included in the processing device 200. This data is used for arithmetic processing described later.
  • the filter array 110 can be constructed using, for example, a multilayer film, an organic material, a diffraction grating structure, or a fine structure containing a metal.
  • a multilayer film for example, a dielectric multilayer film or a multilayer film including a metal layer can be used.
  • each cell is formed so that at least one of the thickness, material, and stacking order of each multilayer film is different.
  • different spectral characteristics can be realized depending on the cell.
  • Compositions using organic materials can be realized by making the pigments or dyes contained different depending on the cell, or by laminating different materials.
  • a configuration using a diffraction grating structure can be realized by providing a diffraction structure having a different diffraction pitch or depth for each cell.
  • a fine structure containing a metal When a fine structure containing a metal is used, it can be produced by utilizing spectroscopy by the plasmon effect.
  • the processing device 200 reconstructs the multi-wavelength spectroscopic image 220 based on the image 120 output from the image sensor 160 and the spatial distribution characteristic of the transmittance for each wavelength of the filter array 110.
  • the term "multi-wavelength" means, for example, a wavelength range larger than the three-color wavelength range of RGB acquired by a normal color camera.
  • the number of this wavelength range can be, for example, about 4 to 100.
  • the number of wavelength regions is referred to as the number of bands. Depending on the application, the number of bands may exceed 100.
  • the data to be obtained is the data of the spectroscopic image 220, and let that data be f.
  • f is data obtained by integrating the image data f 1 , f 2 , ..., And f N of each band.
  • the horizontal direction of the image is the x direction
  • the vertical direction of the image is the y direction.
  • the number of pixels in the x direction of the image data to be obtained is n and the number of pixels in the y direction is m
  • each of the image data f 1 , f 2 , ..., F N is two-dimensional data of n ⁇ m pixels. Is.
  • the data f is three-dimensional data having the number of elements n ⁇ m ⁇ N.
  • This three-dimensional data is referred to as a "hyperspectral data cube" or a "hyperspectral cube”.
  • the number of elements of the data g of the image 120 obtained by coding and multiplexing by the filter array 110 is n ⁇ m.
  • the data g can be represented by the following equation (1).
  • each of f 1 , f 2 , ..., And f N is data having n ⁇ m elements. Therefore, strictly speaking, the vector on the right side is a one-dimensional vector of n ⁇ m ⁇ N rows and 1 column.
  • the vector g is converted into a one-dimensional vector of n ⁇ m rows and one column, represented, and calculated.
  • the matrix H encodes and intensity-modulates each component f 1 , f 2 , ..., F N of the vector f with different coding information (hereinafter, also referred to as “mask information”) for each wavelength band, and they are used. Represents a transformation that adds. Therefore, H is a matrix of n ⁇ m rows and n ⁇ m ⁇ N columns. In the present specification, the matrix H may be referred to as a "system matrix".
  • the processing device 200 uses the redundancy of the image included in the data f to obtain a solution by using a compressed sensing method. Specifically, the data f to be obtained is estimated by solving the following equation (2).
  • f' represents the estimated data of f.
  • the first term in parentheses in the above equation represents the amount of deviation between the estimation result Hf and the acquired data g, the so-called residual term.
  • the sum of squares is used as the residual term, but the absolute value, the square root of the sum of squares, or the like may be used as the residual term.
  • the second term in parentheses is a regularization term or a stabilization term. Equation (2) means finding f that minimizes the sum of the first term and the second term.
  • the processing device 200 can converge the solution by a recursive iterative operation and calculate the final solution f'.
  • the first term in parentheses in equation (2) means an operation for finding the sum of squares of the difference between the acquired data g and Hf obtained by transforming f in the estimation process by the matrix H.
  • the second term ⁇ (f) is a constraint condition in the regularization of f, and is a function that reflects the sparse information of the estimated data. This function has the effect of smoothing or stabilizing the estimated data.
  • the regularization term can be represented by, for example, the Discrete Cosine Transform (DCT), Wavelet Transform, Fourier Transform, or Total Variation (TV) of f. For example, when the total variation is used, stable guess data that suppresses the influence of noise in the observation data g can be obtained.
  • the sparsity of the object 70 in the space of each regularization term depends on the texture of the object 70. You may choose a regularization term that makes the texture of the object 70 more sparse in the space of the regularization term. Alternatively, a plurality of regularization terms may be included in the operation.
  • ⁇ is a weighting factor. The larger the weighting coefficient ⁇ , the larger the amount of redundant data to be reduced, and the higher the compression rate. The smaller the weighting coefficient ⁇ , the weaker the convergence to the solution.
  • the weighting coefficient ⁇ is set to an appropriate value at which f converges to some extent and does not cause overcompression.
  • the image encoded by the filter array 110 is acquired in a blurred state on the imaging surface of the image sensor 160. Therefore, the spectroscopic image 220 can be reconstructed by holding this blur information in advance and reflecting the blur information in the system matrix H described above.
  • the blur information is represented by a point spread function (Point Spread Function: PSF).
  • PSF is a function that defines the degree of spread of the point image to the peripheral pixels. For example, when a point image corresponding to one pixel on an image spreads over a region of k ⁇ k pixels around the pixel due to blurring, PSF is a coefficient group indicating the influence on the brightness of each pixel in the region. That is, it can be defined as a matrix.
  • the spectroscopic image 220 can be reconstructed by reflecting the influence of the blurring of the coding pattern by the PSF in the system matrix H.
  • the position where the filter array 110 is arranged is arbitrary, but a position where the coding pattern of the filter array 110 is too diffused and does not disappear can be selected.
  • the hyperspectral data cube shows a two-dimensional image of all of a plurality of wavebands W 1 contained in the target wavelength range W of W N are generated.
  • images for all these wavelength bands may not be required. In such cases, it is inefficient to generate images with high wavelength resolution for all wavelength bands.
  • FIG. 5 is a diagram schematically showing a usage scene of the hyperspectral camera.
  • the user may wish to obtain color information in the red wavelength range, eg, 600 nm to 700 nm, in order to estimate the sugar content of apples.
  • the user may wish to obtain color information in the green wavelength range, eg, the wavelength range of 500 nm to 600 nm, in order to know the exact spectrum of the leaves.
  • the user may wish to acquire color information in the blue wavelength range, for example, the wavelength range of 400 nm to 500 nm, in order to know how the blue product has faded.
  • one of the following methods (1) and (2) is used in order to acquire color information in different wavelength ranges.
  • (1) Use an image sensor that can independently acquire information in each wavelength range.
  • (2) A wide range of color information is acquired using a camera capable of acquiring information in a wide wavelength range, and only the information in the required wavelength range is displayed.
  • the user can specify one or more sub-wavelength regions that are a part of the target wavelength region W based on the image data acquired by the hyperspectral imaging device.
  • the signal processor produces a hyperspectral data cube showing a plurality of two-dimensional images for a plurality of wavelength bands contained in one or more designated sub-wavelength regions. This makes it possible to acquire detailed spectral information about the sub-wavelength range desired by the user while suppressing the calculation cost.
  • FIG. 6A is a diagram showing an example of a target wavelength region W and a designated sub-wavelength region Wa.
  • Sub-wavelength range W a is a part of the target wavelength range W, includes a plurality of wavelength bands W a1, W a2, ⁇ , the W ai.
  • i represents the number of wavelengths bands included in the sub-wavelength region W a.
  • the signal processor generates a hyperspectral data cube showing two-dimensional images for each of these wavelength bands Wa1 , Wa2 , ..., Wai.
  • Figure 6B is, in addition to the first sub-wavelength region W a, shows an example in which the second sub-wavelength band W b is specified.
  • the first sub-wavelength region W a and the second sub-wavelength band W b are spaced apart, both included in the target wavelength region W.
  • the second sub-wavelength region W b includes a plurality of wavelength bands W b1 , W b2 , ..., W bj .
  • j represents the number of wavelength bands included in the second sub-wavelength region W b. In this way, a plurality of sub-wavelength regions may be specified.
  • the signal processing device generates images of a plurality of wavelength bands included in the designated sub-wavelength range based on the image data generated by the image pickup device.
  • the generated multiple wavelength band images are displayed on the display.
  • the signal processing method is executed by a computer.
  • the method is to acquire compressed image data including two-dimensional image information obtained by compressing hyperspectral information in the target wavelength region, and to obtain one or more sub-wavelength regions that are a part of the target wavelength region.
  • the present invention includes the acquisition of setting data for designating the above, and the generation of a plurality of two-dimensional images corresponding to the plurality of wavelength bands included in the one or more sub-wavelength regions based on the compressed image data.
  • “Hyperspectral information in the target wavelength range” means information of a plurality of images corresponding to a plurality of wavelength bands included in a predetermined target wavelength range.
  • “Compressing hyperspectral information” means compressing image information of a plurality of wavelength bands as one monochrome two-dimensional image using a coding element such as the filter array 120 described above, and acquiring in advance. It includes compressing image information of a plurality of wavelength bands into one monochrome two-dimensional image by software processing.
  • the above method for example, it is possible to generate data of a plurality of two-dimensional images corresponding to a plurality of wavelength bands included in one or more sub-wavelength regions specified by the user, that is, a hyperspectral data cube. Therefore, it is possible to generate only the necessary hyperspectral data cube according to the application or purpose.
  • the hyperspectral information may be information of four or more wavelength bands included in the target wavelength region, and the two-dimensional image information may be data of a plurality of pixels included in the compressed image data. good. Information on the four or more wavelength bands may be superimposed on the data of each of the plurality of pixels. In other words, the data of each pixel of the compressed image data may include one value on which information of four or more wavelength bands included in the target wavelength region is superimposed. Information on wavelength bands of 10 or more or 100 or more may be superimposed on the data of each pixel of the compressed image data, depending on the intended use.
  • the setting data may include information that specifies wavelength resolution in the one or more sub-wavelength regions.
  • the plurality of two-dimensional images can be generated with the wavelength resolution.
  • the user can specify the wavelength resolution for each sub-wavelength region in addition to the designation of the sub-wavelength region. Therefore, flexible adjustment such as increasing the wavelength resolution of the sub-wavelength region that requires detailed spectral information becomes possible.
  • the one or more sub-wavelength regions may include a first sub-wavelength region and a second sub-wavelength region.
  • the plurality of two-dimensional images can be generated for each of the first sub-wavelength region and the second sub-wavelength region.
  • the one or more sub-wavelength regions may include a first sub-wavelength region and a second sub-wavelength region.
  • the wavelength resolution can be specified independently for each of the first sub-wavelength region and the second sub-wavelength region.
  • the plurality of two-dimensional images can be generated for each of the first sub-wavelength region and the second sub-wavelength region with the corresponding wavelength resolution.
  • the first sub-wavelength region and the second sub-wavelength region may be separated from each other.
  • the first sub-wavelength region and the second sub-wavelength region may be adjacent to each other or may partially overlap each other.
  • the method may further include displaying a graphical user interface (GUI) for allowing the user to input the setting data on a display connected to the computer.
  • GUI graphical user interface
  • the method may further include displaying the plurality of two-dimensional images on a display connected to the computer. This allows the user to easily confirm the generated spectroscopic image for each wavelength band.
  • the compressed image data can be generated by imaging using a filter array including a plurality of types of optical filters having different spectral transmittances and an image sensor.
  • the method may further include acquiring mask data that reflects the spatial distribution of the spectral transmittance of the filter array.
  • the plurality of two-dimensional images can be generated based on the compressed image data and the mask data.
  • mask data including information on a plurality of mask images acquired by capturing a plurality of backgrounds corresponding to a plurality of unit bands included in the target wavelength region with the image sensor through the filter array. May further include obtaining.
  • the plurality of two-dimensional images can be generated based on the compressed image data and the mask data.
  • the mask data can be, for example, data that defines the matrix H in the above equation (2).
  • the format of the mask data may differ depending on the configuration of the imaging system.
  • the mask data may indicate the spatial distribution of the spectral transmittance of the filter array, or may include information for calculating the spatial distribution of the spectral transmittance of the filter array.
  • the mask data may include background image information for each unit band in addition to the mask image information described above. By dividing the mask image by the background image for each pixel, information on the transmittance distribution can be obtained for each unit band.
  • the mask data may include only the information of the mask image.
  • the mask image shows the distribution of values obtained by multiplying the transmittance of the filter array by the sensitivity of the image sensor. Such mask data can be used in configurations where the filter array is placed close to and facing the image sensor.
  • the mask data may include mask information.
  • the mask information may indicate the spatial distribution of the transmittance of the filter array in each of the plurality of unit bands included in the target wavelength region.
  • the method comprises synthesizing a portion of the mask information corresponding to a plurality of unit bands included in a non-designated wavelength region other than the one or more sub wavelength regions in the target wavelength region. It may further include generating composite mask information and generating a composite image corresponding to the non-designated wavelength region based on the compressed image data and the composite mask information.
  • the method is to generate a composite mask image obtained by synthesizing the mask images of a plurality of unit bands included in a non-designated wavelength region other than the designated one or more sub-wavelength regions in the target wavelength region. And, based on the compressed image data and the composite mask image, generating composite image data for the non-designated wavelength region may further be included.
  • a detailed spectroscopic image is not generated for the non-designated wavelength region, and a detailed spectroscopic image is generated only for the designated sub-wavelength region. Therefore, the calculation time required to generate the spectroscopic image can be shortened.
  • the mask data may further include information on a plurality of background images acquired by capturing the plurality of backgrounds with the image sensor without passing through the filter array.
  • the method may further include generating a composite background image by synthesizing the plurality of background images.
  • the composite image can be generated based on the compressed image data, the composite mask image, and the composite background image.
  • the mask data may include a plurality of background images and a plurality of mask images.
  • Each of the plurality of background images is acquired, for example, by capturing a corresponding background among the plurality of backgrounds with the image sensor without passing through the filter array.
  • Each of the plurality of mask images is acquired, for example, by capturing the corresponding background of the plurality of backgrounds with the image sensor through the filter array.
  • the composite mask information can be generated based on the plurality of mask images and the plurality of background images.
  • the method may further include displaying the composite image on a display connected to the computer. This allows the user to easily see a rough image of an unspecified wavelength range.
  • the mask data may include mask information.
  • the mask information may indicate the spatial distribution of the transmittance of the filter array in each of the plurality of unit bands included in the target wavelength region.
  • the setting data provides information for designating a plurality of large sub-wavelength regions, each of which is a part of the target wavelength region, and a plurality of small sub-wavelength regions included in at least one of the plurality of large sub-wavelength regions.
  • the method is the first by synthesizing a part of the mask information corresponding to a plurality of unit bands included in each of the plurality of large sub-wavelength regions for each of the plurality of large sub-wavelength regions.
  • the plurality of two-dimensional images can be generated corresponding to the plurality of small sub-wavelength regions.
  • the method is to generate a second synthetic mask information obtained by synthesizing the mask information for a plurality of unit bands included in the small sub-wavelength region for each of the plurality of small sub-wavelength regions. Based on the first composite image for at least one of the plurality of large sub-wavelength regions and the second composite mask information, a second composite image is generated for each of the small sub-wavelength regions. It may also be included.
  • the target wavelength range may include a visible wavelength range.
  • the method is to generate an image corresponding to a red wavelength region, an image corresponding to a green wavelength region, and an image corresponding to a blue wavelength region based on the compressed image data and the synthetic mask information. Displaying an image corresponding to the red wavelength region, an image corresponding to the green wavelength region, and an RGB image based on the image corresponding to the blue wavelength region on a display connected to the computer. It may also be included. As a result, the user can confirm the RGB image of the object separately from the detailed spectroscopic image of the designated sub-wavelength range.
  • the method according to still another embodiment of the present disclosure is a method of generating mask data.
  • the mask data is used to restore spectroscopic image data for each wavelength band from compressed image data acquired by an imaging apparatus including a filter array including a plurality of types of optical filters having different spectral transmittances. That is, a method of generating mask data used for restoring spectral image data for each wavelength band from compressed image data acquired by an imaging device including a filter array including a plurality of types of optical filters having different spectral transmittances. Is.
  • the method involves acquiring first mask data for reconstructing a first spectral image corresponding to a first wavelength band group in a target wavelength range, and one or more sub-wavelengths that are part of the target wavelength range. Acquiring the setting data for designating the region, and restoring the second spectral image data corresponding to the second wavelength band group in the one or more sub-wavelength regions based on the first mask data and the setting data.
  • the first wavelength band group can be a set of all or a part of wavelength bands included in the target wavelength range.
  • the second wavelength band group can be a set of all or a part of wavelength bands included in the sub-wavelength region.
  • Each of the first wavelength band group and the second wavelength band group may be an aggregate of synthetic bands in which two or more unit wavelength bands are combined.
  • mask data conversion processing is performed according to the band synthesis mode.
  • the setting data may include information regarding a band synthesis mode used in the mask data conversion process.
  • the first mask data and the second mask data may be data that reflect the spatial distribution of the spectral transmittance of the filter array.
  • the first mask data may include first mask information indicating the spatial distribution of the spectral transmittance corresponding to the first wavelength band group.
  • the second mask data may include second mask information indicating the spatial distribution of the spectral transmittance corresponding to the second wavelength band group.
  • the second mask data may further include the third mask information obtained by synthesizing a plurality of pieces of information.
  • Each of the plurality of pieces of information indicates the spatial distribution of the spectral transmittance in the corresponding wavelength band included in the non-designated wavelength region other than the one or more sub-wavelength regions in the target wavelength region.
  • the signal processing device includes a processor and a memory for storing a computer program executed by the processor.
  • the computer program acquires compressed image data including two-dimensional image information obtained by compressing hyperspectral information in the target wavelength region to the processor, and is a part of the target wavelength region. Acquiring the setting data for designating the above sub-wavelength regions and generating a plurality of two-dimensional images corresponding to a plurality of wavelength bands included in the one or more sub-wavelength regions based on the compressed image data. And to execute.
  • the signal processing device includes a processor and a memory for storing a computer program executed by the processor.
  • the computer program acquires the first mask data for restoring the first spectral image data corresponding to the first wavelength band group in the target wavelength region to the processor, and is a part of the target wavelength region. Acquiring the setting data for designating one or more sub-wavelength regions, and based on the first mask data and the setting data, a second corresponding to the second wavelength band group in the one or more sub-wavelength regions. Restoring the second mask data for generating the spectral image data and performing.
  • the image pickup system includes the signal processing device and the image pickup device for generating the compressed image data.
  • a computer program is to obtain compressed image data including two-dimensional image information obtained by compressing hyperspectral information in a target wavelength range to a computer, and to obtain compressed image data in the target wavelength range.
  • a computer program is a first wavelength in a target wavelength range from compressed image data acquired by a computer including a filter array including a plurality of types of optical filters having different spectral transmission rates. Acquiring the first mask data for restoring the first spectral image data corresponding to the band group, and acquiring the setting data for designating one or more sub-wavelength regions that are a part of the target wavelength range. And, based on the first mask data and the setting data, the second mask data for restoring the second spectroscopic image data corresponding to the second wavelength band group in the one or more sub wavelength regions is generated. And to execute.
  • a computer-readable non-temporary storage medium presents a computer with compressed image data including two-dimensional image information obtained by compressing hyperspectral information in a wavelength range of interest. Acquiring, acquiring setting data for designating one or more sub-wavelength regions that are a part of the target wavelength region, and being included in the one or more sub-wavelength regions based on the compressed image data. It stores a program for generating a plurality of two-dimensional images corresponding to a plurality of wavelength bands and executing a process including.
  • a non-transient storage medium readable by a computer is a first mask for restoring to a computer the first spectral image data corresponding to the first wavelength band group in the target wavelength range. Based on the acquisition of data, the acquisition of setting data for designating one or more sub-wave frequencies that are a part of the target wavelength range, and the first mask data and the setting data, the above one A program for generating a second mask data for restoring the second spectral image data corresponding to the second wavelength band group in the above sub-wavelength region and executing a process including the above-mentioned sub-wavelength band group is stored.
  • FIG. 7 is a diagram showing a configuration of an imaging system according to an exemplary embodiment of the present disclosure.
  • This system includes an image pickup device 100, a processing device 200, a display device 300, and an input user interface (UI) 400.
  • the processing device 200 corresponds to the signal processing device in the present disclosure.
  • the image pickup device 100 includes an image sensor 160 and a control circuit 150 that controls the image sensor 160.
  • the imaging apparatus 100 also includes a filter array 110 and at least one optical system 140, as shown in FIGS. 1A-1D.
  • the arrangement of the filter array 110 and the optical system 140 may be any of the arrangements shown in FIGS. 1A to 1D.
  • the image sensor 160 acquires a black-and-white image based on light whose intensity is modulated for each region by the filter array 110.
  • Information on a plurality of wavelength bands within the target wavelength region W is superimposed on the data of each pixel of the monochrome image. Therefore, it can be said that this monochrome image is a two-dimensional image in which the hyperspectral information in the target wavelength region W is compressed.
  • Such a black-and-white image is an example of a "compressed image" in the present specification. Further, in the present specification, data indicating a compressed image is referred to as "compressed image data”.
  • the processing device 200 includes a signal processing circuit 250 and a memory 210 such as a RAM and a ROM.
  • the signal processing circuit 250 may be an integrated circuit including a processor such as a CPU or GPU.
  • the signal processing circuit 250 performs restoration processing based on the compressed image data output from the image sensor 160. This restoration process is basically the same as the processing performed by the processing devices 200 shown in FIGS. 1A to 1D, but in the present embodiment, the restoration process is performed according to the restoration conditions input from the input UI 400.
  • the signal processing circuit 250 generates image data with high wavelength resolution only in a designated sub-wavelength region in the target wavelength region. As a result, the calculation time can be shortened.
  • the memory 210 stores a computer program executed by the processor included in the signal processing circuit 250, various data referenced by the signal processing circuit 250, and various data generated by the signal processing circuit 250.
  • the display device 300 includes a memory 310, an image processing circuit 320, and a display 330.
  • the memory 310 temporarily stores the setting data indicating the restoration condition sent from the input UI 400.
  • the image processing circuit 320 performs necessary processing on the image restored by the signal processing circuit 250 and then displays the image on the display 330.
  • the display 330 can be any display, such as a liquid crystal or organic LED.
  • the input UI 400 includes hardware and software for setting various conditions such as imaging conditions and restoration conditions.
  • Imaging conditions can include, for example, conditions such as resolution, gain, and exposure time.
  • Restoration conditions may include, for example, the lower and upper wavelengths of each sub-wavelength region, the number of wavelength bands included in each sub-wavelength region, and the number of calculations.
  • the input imaging conditions are sent to the control circuit 150 of the imaging device 100.
  • the control circuit 150 causes the image sensor 160 to perform imaging according to the imaging conditions.
  • the image sensor 160 generates a compressed image in which information of a plurality of wavelength bands in the target wavelength region W is superimposed.
  • the input restoration condition is sent to the signal processing circuit 250 and the memory 310 and recorded.
  • the signal processing circuit 250 performs restoration processing according to the set restoration conditions and generates a hyperspectral data cube for the specified sub-wavelength region.
  • the image processing circuit 320 causes the display 330 to display an image for each of the plurality of wavelength bands in the designated sub-wavelength region according to the set restoration conditions.
  • the signal processing circuit 250 uses the mask data pre-recorded in the memory 210 by converting it as necessary according to the restoration conditions input by the input UI 400.
  • the mask data is data showing the spatial distribution of the spectral transmittance of the filter array 110, and includes information corresponding to the matrix H in the above equation (2).
  • the generated spectroscopic image is processed by the image processing circuit 320 as needed.
  • the image processing circuit 320 displays the spectroscopic image on the display 330 after performing processing such as determination of arrangement on the screen, association with band information, or coloring corresponding to the wavelength.
  • the signal processing circuit 250 generates an image for each of a plurality of wavelength bands only for at least one designated sub-wavelength region in the target wavelength region W.
  • the wavelength regions other than the designated sub-wavelength regions are calculated by adding up the continuous wavelength regions as one wavelength region.
  • the signal processing circuit 250 may generate an image for each of the plurality of wavelength bands for the entire target wavelength region W. In that case, the image processing circuit 320 may extract and display the data for the designated sub-wavelength region from the image data input from the signal processing circuit 250.
  • FIG. 8 is a flowchart showing the operation of the system of this embodiment.
  • the user inputs the imaging condition and the restoration condition via the input UI 400 (step S101).
  • the input data indicating the imaging conditions is sent to the control circuit 150.
  • the input data indicating the restoration condition is sent to the signal processing circuit 250 and the memory 310.
  • the memory 310 temporarily stores the restoration conditions. This restoration condition is referred to when the image is displayed in order to associate the image with the condition of the set wavelength band.
  • the imaging device 100 acquires a compressed image by imaging the object according to the imaging conditions (step S102).
  • the signal processing circuit 250 determines whether or not it is necessary to convert the mask data based on the input restoration conditions (step S103). When it is necessary to convert, the signal processing circuit 250 converts the mask data stored in advance in the memory 210 (step S104). Here, the conversion refers to synthesizing mask information for a plurality of wavelength regions and handling it as mask information for one wavelength region. Details of the synthesis of mask information will be described later with reference to FIG. If no conversion is required, step S104 is omitted. The signal processing circuit 250 uses the compressed image and the mask data converted as needed to perform a restoration operation according to the input restoration conditions (step S105). As a result, a spectroscopic image is generated from the compressed image.
  • the image processing circuit 320 of the display device 300 associates the generated spectroscopic image with the restoration conditions stored in the memory 310 and labels them (step S106). For example, image data in which a label indicating a corresponding wavelength range is added to each of the generated spectroscopic images is generated.
  • the image processing circuit 320 outputs the generated image data to the display 330 and displays the image (step S107).
  • FIG. 9 shows an example of mask data before conversion stored in the memory 210.
  • the mask data in this example includes mask information indicating the spatial distribution of transmittance for each of the plurality of unit bands included in the target wavelength region.
  • the mask data in this example includes mask information for each of a large number of unit bands divided by 1 nm, and information regarding acquisition conditions for mask information. Each unit band is specified by a lower limit wavelength and an upper limit wavelength.
  • the mask information includes information on the mask image and the background image.
  • the plurality of mask images shown in FIG. 9 are acquired by capturing a plurality of backgrounds corresponding to the plurality of unit bands with the image sensor 120 through the filter array 110.
  • the plurality of background images are acquired by capturing the plurality of backgrounds with the image sensor 120 without passing through the filter array 110.
  • the data of such a mask image and a background image are recorded in advance for each unit band.
  • the information regarding the acquisition conditions includes the exposure time and gain information.
  • data of a mask image and a background image are recorded for each of a plurality of unit bands having a width of 1 nm.
  • the width of each unit band is not limited to 1 nm and can be determined to any value.
  • the mask data does not have to include the information of the background image.
  • the mask information does not have to include the background image because the mask information substantially matches the mask image.
  • GUI graphical user interface
  • FIG. 10 shows an example of a GUI screen for inputting imaging conditions.
  • the user sets the resolution, gain, exposure time, and frame rate before performing hyperspectral imaging.
  • the resolution represents the number of vertical and horizontal pixels of the displayed image.
  • the resolution can be specified, for example, by the user selecting a name such as VGA, HD, 4K from the pull-down menu, or by directly inputting the number of vertical and horizontal pixels.
  • the gain is specified by a rational number of 0 or more, and may be input by addition, subtraction, multiplication, and division of rational numbers. For example, when 8/3 is input, the gain can be set as 2.6666 ... dB. Both the exposure time and the frame rate do not have to be entered.
  • the user may input at least one of the exposure time and the frame rate, and if a conflict occurs (for example, the exposure time is 100 ms and the frame rate is 30 fps), one of them may be prioritized.
  • a function for automatically adjusting the gain, exposure time, and frame rate may be provided.
  • the average brightness may be automatically adjusted to be 1/2 of the maximum brightness.
  • the GUI for inputting the imaging conditions may have a function of saving and loading the set imaging conditions.
  • the GUI may have a function of displaying a compressed image acquired under set imaging conditions in real time. Here, it is not always necessary to display the compressed image itself. Any image acquired under the imaging conditions set at that time may be displayed.
  • pixels that output only the values of red (R), green (G), and blue (B) may be arranged, and the RGB image acquired using only the values of those pixels may be displayed.
  • restoration is performed in three bands with 400 nm to 500 nm as the first band, 500 nm to 600 nm as the second band, and 600 nm to 700 nm as the third band, and the restoration result is an RGB image. May be displayed as.
  • 11 and 12 are diagrams showing an example of a GUI for inputting restoration conditions.
  • the user inputs the sub-wavelength region, the wavelength resolution or the number of band divisions, and the number of calculations.
  • the number of calculations represents the number of repetitions of the restoration operation shown in the equation (2).
  • the sub-wavelength region can be specified by setting the lower limit wavelength and the upper limit wavelength, for example, by dragging and dropping.
  • a sub-wavelength region of 420 nm to 480 nm and a sub-wavelength region of 600 nm to 690 nm are designated. Instead of specifying by drag and drop, as shown in FIG.
  • the sub-wavelength region and the range of each wavelength band within each sub-wavelength region may be input numerically.
  • the region for inputting the sub-wavelength region and the range of each wavelength band within each sub-wavelength region may be displayed as an independent window, or may be contained in a screen for inputting other setting items.
  • the user inputs either the wavelength resolution or the number of band divisions.
  • the number of calculations is specified by any integer of 1 or more. Typically, about 10 to 10000 times can be specified.
  • the predicted calculation time is also displayed.
  • the estimated calculation time is automatically calculated and displayed from the set resolution, the number of band divisions, and the number of calculations, instead of being input by the user.
  • the functions of inputting the number of calculations and displaying the estimated calculation time may be omitted.
  • a format may be used in which, for example, a pull-down menu is selected from a plurality of modes such as a high precision mode (low speed), a balanced mode (medium speed), and a high speed mode (high speed). As shown in FIG. 11, it may have a function of saving and loading the set restoration conditions.
  • FIG. 13 is a diagram showing an example of a screen displaying a spectroscopic image generated as a result of the restoration operation.
  • the generated spectroscopic image is associated with the set restoration conditions and displayed in a format that can be distinguished for each set band.
  • the lower limit wavelength and the upper limit wavelength of each band can be displayed numerically together with the restored image of each band.
  • each band may be indicated by a number counted from the short wavelength side or the long wavelength side.
  • the image of each band may be displayed in the colors included in the band.
  • all physical quantities expressed in wavelength (nm) may be expressed in wave number (for example, cm -1 ) or frequency (for example, Hz).
  • FIG. 14 is a diagram for explaining an example of a method of synthesizing mask information of a plurality of bands and converting it into new mask information.
  • the mask information before conversion the mask information of the unit bands # 1 to 20 is stored in the memory 210 in advance as shown in FIG.
  • the synthesis processing is not performed on the unit bands # 1 to 5, but the synthesis processing is performed on the unit bands # 6 to 20.
  • the transmittance distribution of the filter array 110 is calculated by dividing the value of each region in the mask image by the value of the corresponding region in the background image.
  • the data of each mask image stored in the memory 210 is referred to as "unit mask image data", and the data of each stored background image is referred to as "unit background image data".
  • the combined transmittance distribution is the sum of the unit mask image data of bands # 6 to 20 for each pixel, and the unit background image data of bands # 6 to 20 for each pixel. Obtained by dividing by the added data. By performing such an operation, mask information can be synthesized for any plurality of bands. Further, when the uniformity of the background image is very high, the mask information substantially matches the mask image.
  • the data obtained by adding the mask image data of the bands # 6 to 20 or the averaged data may be used as the composite mask data of the bands # 6 to 20.
  • mask information is recorded for each of a large number of unit bands, each having a width of 1 nm.
  • the width of each wavelength band specified by the user is relatively wide at 30 nm.
  • the signal processing circuit 250 synthesizes mask information of a plurality of unit bands for each designated wavelength band and restores the information.
  • the mask data conversion process by synthesis may be performed in the environment used by the end user, or may be performed at a manufacturing site such as a factory that manufactures the system.
  • the converted mask data is stored in the memory 210 in advance in place of or in addition to the mask data before conversion.
  • the mask data is used to restore the spectroscopic image data for each wavelength band from the compressed image data acquired by an image pickup apparatus including a filter array including a plurality of types of optical filters having different spectral transmittances. Be done.
  • the method of converting mask data in this embodiment includes the following steps. -Acquire the first mask data for restoring the first spectroscopic image data corresponding to the first wavelength band group in the target wavelength region. -Acquire setting data that specifies one or more sub-wavelength regions that are a part of the target wavelength region. -Based on the first mask data and the setting data, second mask data for restoring the second spectroscopic image data corresponding to the second wavelength band group in the sub-wavelength region is generated.
  • the first mask data can be, for example, data for restoring a spectroscopic image for each of all the unit bands included in the target wavelength range from the compressed image.
  • the second mask data can be, for example, data for restoring a spectroscopic image for each of all the unit bands included in each designated sub-wavelength region from the compressed image.
  • the second mask data may be data for restoring a spectroscopic image for each composite band obtained by synthesizing a plurality of unit bands from a compressed image.
  • the configuration data may include data on the mode of band synthesis.
  • a synthetic band obtained by synthesizing a plurality of unit bands is also referred to as an "edited band".
  • Each of the first mask data and the second mask data is data that reflects the spatial distribution of the spectral transmittance of the filter array.
  • the first mask data includes the first mask information showing the spatial distribution of the spectral transmittance corresponding to the first wavelength band group.
  • the second mask data includes the second mask information showing the spatial distribution of the spectral transmittance corresponding to the second wavelength band group.
  • the second mask data is the third mask information obtained by synthesizing the information indicating the spatial distribution of the spectral transmittance corresponding to the third wavelength band group included in the non-designated wavelength region other than one or more designated sub-wavelength regions. It may also be included.
  • the signal processing circuit 250 is based on the compressed image and the second mask data for the spectral image having a relatively high wavelength resolution for each designated sub-wavelength region and the non-designated non-designated wavelength region. It is possible to generate a spectroscopic image having a relatively low wavelength resolution of.
  • 15A and 15B are diagrams showing an example of the converted second mask data recorded in the memory 210.
  • the mask image and the background image are stored in a combined state as the converted mask information for each of the edited bands having a width of 10 nm. If the uniformity of the background image is very high, the mask data may not include the information of the background image.
  • the converted mask data for each of the edited bands having a width of 10 nm is stored in the state of the composite mask data obtained by dividing the mask image by the background image.
  • the wavelength width of the edited band is not limited to 10 nm and can be set arbitrarily.
  • the wider the bandwidth after compositing the more unit mask images are averaged.
  • the wider the bandwidth after synthesis the more the mask data obtained by dividing more unit mask images by the unit background image becomes the averaged data. Therefore, the wider the bandwidth after composition, the smaller the contrast of the composite mask image or composite mask data tends to be.
  • FIG. 16 is a diagram showing an example of a method of generating an image for each of a plurality of wavelength bands included in a target wavelength range.
  • the target wavelength region includes four sub-wavelength regions.
  • the first sub-wavelength region includes bands # 1 to 5.
  • the second sub-wavelength region includes bands # 6-10.
  • the third sub-wavelength region includes bands # 11 to 15.
  • the fourth sub-wavelength region includes bands # 16 to 20.
  • the signal processing circuit 250 performs a restoration operation by synthesizing mask information of all unit bands that do not belong to the sub-wavelength region for each sub-wavelength region. As shown in FIG.
  • FIG. 17 is a diagram showing a system configuration when the signal processing circuit 250 does not convert mask information.
  • the signal processing circuit 250 reads the restoration conditions given from the input UI 400 and the mask information stored in the memory 210, and generates a spectral image from the compressed image acquired from the image sensor 160.
  • the signal processing circuit 250 generates a spectroscopic image over the entire target wavelength range and outputs it to the image processing circuit 320.
  • the image processing circuit 320 causes the display 330 to display only an image of a part of the wavelength bands from the acquired spectroscopic image according to the set restoration conditions.
  • FIG. 18 is a diagram showing another example of GUI for setting restoration conditions.
  • different wavelength resolutions or the number of band divisions can be specified for each set sub-wavelength range.
  • the user inputs either the wavelength resolution or the number of band divisions for each sub-wavelength region.
  • the signal processing circuit 250 performs the restoration calculation according to the input wavelength resolution or the number of band divisions. With such a configuration, a spectroscopic image can be generated with different resolutions for each sub-wavelength region.
  • FIG. 19 displays an image generated from mask information synthesized for a wavelength range (hereinafter, referred to as “non-designated wavelength range”) that is included in the target wavelength range but is not included in any of the sub-wavelength ranges. It is a figure which shows the example of the UI which performs.
  • one image generated for a non-designated wavelength region is displayed, but images for two or more non-designated wavelength regions may be displayed.
  • An RGB image may be displayed in place of or in addition to the image for the non-designated wavelength range.
  • the target wavelength range includes the visible wavelength range
  • the signal processing circuit 250 synthesizes mask information for each of the red (R), green (G), and blue (B) wavelength ranges.
  • the signal processing circuit 250 uses the combined mask information to generate image data for each of the red, green, and blue wavelength regions from the compressed image data.
  • the image processing circuit 320 causes the generated RGB image to be displayed on the display 330.
  • FIG. 20 is a diagram showing an example of a method of restoring only a specific sub-wavelength region with high wavelength resolution by performing two-step restoration.
  • a compressed image for a target wavelength region including 20 unit bands is acquired.
  • the signal processing circuit 250 may include 4 such as 1st to 5th bands, 6th to 10th bands, 11th to 15th bands, 16th to 20th bands.
  • Restoration is performed for one large sub-wavelength range (hereinafter referred to as "large sub-wavelength range").
  • the signal processing circuit 250 restores the designated specific large sub-wavelength region so as to divide it into a plurality of smaller bands (hereinafter, referred to as “small sub-wavelength region”).
  • the number of large sub-wavelength regions divided into a plurality of small sub-wavelength regions can be arbitrarily determined. In the example of FIG. 20, only one large sub-wavelength region is divided into a plurality of small sub-wavelength regions, but two or more large sub-wavelength regions may be divided into a plurality of small sub-wavelength regions. Further, in the example of FIG. 20, the signal processing circuit 250 performs band division in two stages, but a spectroscopic image may be generated through division in three or more stages. Further, the small sub-wavelength region may be a unit band.
  • each time the band is divided in each stage it may be possible to select which of the divided plurality of wavelength regions is divided into finer sub-wavelength regions. The selection may be made by the user or may be made automatically.
  • the setting data includes a plurality of large sub-wavelength regions, each of which is a part of a target wavelength region, and a plurality of small sub-wavelength regions included in at least one of the plurality of large sub-wavelength regions. Contains the information you specify.
  • the signal processing circuit 250 executes the following processing. -For each of the plurality of large sub-wavelength regions, the first synthetic mask information is generated by synthesizing the mask information for the plurality of unit bands included in the large sub-wavelength region. -Based on the compressed image data and the first composite mask information, the first composite image data is generated for each large sub-wavelength region.
  • the second composite mask information is generated by synthesizing the mask information for the plurality of unit bands included in the small sub-wavelength region. -Based on the first composite image data for the specified large sub-wavelength region and the second composite mask information, the second composite image data is generated for each small sub-wavelength region.
  • the generated hyperspectral data cube contains second composite image data for a plurality of small sub-wavelength regions.
  • detailed spectral information can be obtained only for a specific large sub-wavelength region specified by the user.
  • the configuration of the imaging device, the hyperspectral information compression algorithm, and the hyperspectral data cube reconstruction algorithm are not limited to the above-described embodiments.
  • the arrangement of the filter array 110, the optical system 140, and the image sensor 160 is not limited to the arrangement shown in FIGS. 1A to 1D, and may be appropriately modified.
  • the characteristics of the filter array 110 are not limited to the characteristics exemplified with reference to FIGS. 2A to 4B, and the filter array 110 having the optimum characteristics according to the application or purpose is used.
  • a spectroscopic image for each wavelength band may be generated by a method other than the calculation using the compressed sensing shown in the above equation (2). For example, other statistical methods such as maximum likelihood estimation or Bayesian estimation may be used.
  • the compressed image data is generated by the image pickup apparatus 100 provided with the filter array 110, but the compressed image data may be generated by another method.
  • compressed image data may be generated by allowing a coded matrix corresponding to the matrix H in the above equation (1) to act on a hyperspectral data cube generated by an arbitrary hyperspectral camera. If it is necessary to reduce the amount of data for storage or transmission of data, such software processing may generate compressed image data. Even for the compressed image data generated by such software processing, the processing in each of the above embodiments can be applied to restore the image for each wavelength band.
  • the technique of the present disclosure is useful, for example, in cameras and measuring devices that acquire multi-wavelength images.
  • the technology of the present disclosure can be applied to, for example, sensing for living organisms / medical care / beauty, foreign matter / residual pesticide inspection system for foods, remote sensing system and in-vehicle sensing system.
  • Imaging device 70
  • Filter array 120
  • Image 140 Optical system 150
  • Control circuit 160
  • Image sensor 200
  • Processing device 210
  • Memory 220 Spectral image
  • Signal processing circuit 300
  • Display device 310
  • Memory 320 Image processing circuit
  • Display 400 Input UI

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本開示の一態様に係る信号処理方法は、対象波長域内のハイパースペクトル情報を圧縮することにより得られた２次元画像情報を含む圧縮画像データを取得することと、前記対象波長域の一部である１つ以上のサブ波長域を指定する設定データを取得することと、前記圧縮画像データに基づき、前記１つ以上のサブ波長域に含まれる複数の波長バンドに対応する複数の２次元画像を生成することと、を含む。

Description

信号処理方法、信号処理装置、および撮像システム
　本開示は、信号処理方法、信号処理装置、および撮像システムに関する。
　各々が狭帯域である多数のバンド、例えば数十バンドのスペクトル情報を活用することにより、従来のＲＧＢ画像では不可能であった対象物の詳細な物性の把握が可能になる。このような多波長の情報を取得するカメラは、「ハイパースペクトルカメラ」と呼ばれる。ハイパースペクトルカメラは、食品検査、生体検査、医薬品開発、および鉱物の成分分析などの様々な分野で利用されている。
　特許文献１は、圧縮センシングを利用したハイパースペクトル撮像装置の例を開示している。当該撮像装置は、光透過率の波長依存性が互いに異なる複数の光学フィルタのアレイである符号化素子と、符号化素子を透過した光を検出するイメージセンサと、信号処理回路とを備える。被写体とイメージセンサとを結ぶ光路上に、符号化素子が配置される。イメージセンサは、画素ごとに、複数の波長バンドの成分が重畳された光を同時に検出することにより、１つの波長多重画像を取得する。信号処理回路は、符号化素子の分光透過率（spectral transmittance）の空間分布の情報を利用して、取得された波長多重画像に圧縮センシングを適用することにより、複数の波長バンドのそれぞれについての画像データを再構成する。
米国特許第９５９９５１１号明細書
　従来のハイパースペクトル撮像装置では、取得される波長多重画像の波長域（以下、「対象波長域」と称する。）に含まれる全ての波長バンドのそれぞれについての画像データが生成され表示される。しかし、用途によっては、対象波長域の一部の波長域についての情報のみが必要な場合がある。そのような場合に、不要な波長バンドの情報を高い波長分解能で生成することは効率的であるとはいえない。
　本開示は、必要な波長バンドの画像を効率的に生成するための技術を提供する。
　本開示の一態様に係る方法は、コンピュータによって実行される信号処理方法である。前記方法は、対象波長域内のハイパースペクトル情報を圧縮することにより得られた２次元画像情報を含む圧縮画像データを取得することと、前記対象波長域の一部である１つ以上のサブ波長域を指定する設定データを取得することと、前記圧縮画像データに基づき、前記１つ以上のサブ波長域に含まれる複数の波長バンドに対応する複数の２次元画像を生成することと、を含む。
　本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意の組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ‐Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含み得る。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
　本開示によれば、必要な波長バンドの画像を効率的に生成することができる。
図１Ａは、例示的なハイパースペクトル撮像システムを模式的に示す図である。 図１Ｂは、例示的なハイパースペクトル撮像システムの第１の変形例を模式的に示す図である。 図１Ｃは、例示的なハイパースペクトル撮像システムの第２の変形例を模式的に示す図である。 図１Ｄは、例示的なハイパースペクトル撮像システムの第３の変形例を模式的に示す図である。 図２Ａは、フィルタアレイの例を模式的に示す図である。 図２Ｂは、対象波長域に含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮのそれぞれの光の透過率の空間分布の一例を示す図である。 図２Ｃは、図２Ａに示すフィルタアレイに含まれる領域Ａ１の分光透過率の例を示す図である。 図２Ｄは、図２Ａに示すフィルタアレイに含まれる領域Ａ２の分光透過率の例を示す図である。 図３Ａは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係の一例を示す図である。 図３Ｂは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係の他の例を示す図である。 図４Ａは、フィルタアレイのある領域における分光透過率の特性を説明するための図である。 図４Ｂは、図４Ａに示す分光透過率を、波長バンドＷ１、Ｗ２、・・・、ＷＮごとに平均化した結果を示す図である。 図５は、ハイパースペクトルカメラの利用シーンを模式的に示す図である。 図６Ａは、対象波長域Ｗおよび指定されるサブ波長域Ｗａの一例を示す図である。 図６Ｂは、第１のサブ波長域に加えて、第２のサブ波長域が指定される場合の例を示す図である。 図７は、本開示の例示的な実施形態における撮像システムの構成を示す図である。 図８は、システムの動作を示すフローチャートである。 図９は、メモリに保存されている変換前のマスクデータの例を示す図である。 図１０は、撮像条件を入力するためのＧＵＩの例を示す図である。 図１１は、復元条件を入力するためのＧＵＩの例を示す図である。 図１２は、復元条件を入力するためのＧＵＩの例を示す図である。 図１３は、復元演算の結果生成された分光画像を表示する画面の例を示す図である。 図１４は、複数のバンドのマスク情報を合成して新たなマスク情報に変換する方法の例を説明するための図である。 図１５Ａは、メモリに記録される変換後のマスクデータの例を示す図である。 図１５Ｂは、メモリに記録される変換後のマスクデータの他の例を示す図である。 図１６は、対象波長域に含まれる複数の波長バンドのそれぞれについての画像を生成する方法の一例を示す図である。 図１７は、信号処理回路がマスク情報の変換を行わない場合のシステムの構成を示す図である。 図１８は、復元条件を設定するためのＧＵＩの他の例を示す図である。 図１９は、指定されていない波長域の画像を表示する例を示す図である。 図２０は、２段階の復元を行うことで、特定のサブ波長域のみを高い波長分解能で復元する方法の例を示す図である。
　以下で説明される実施形態は、いずれも包括的または具体的な例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置、位置および接続形態、ステップ、およびステップの順序は、一例であり、本開示の技術を限定する趣旨ではない。以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一または類似の構成要素には同一の符号が付されている。重複する説明は省略または簡略化されることがある。
　本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅも同じ目的で使うことができる。
　さらに、回路、ユニット、装置、部材または部の全部または一部の機能または動作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは、１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
　まず、本開示の実施形態に係るハイパースペクトル撮像システムの構成例、および本発明者らによって見出された知見を説明する。
　図１Ａは、例示的なハイパースペクトル撮像システムを模式的に示す図である。このシステムは、撮像装置１００と、処理装置２００とを備える。撮像装置１００は、特許文献１に開示された撮像装置と同様の構成を備える。撮像装置１００は、光学系１４０と、フィルタアレイ１１０と、イメージセンサ１６０とを備える。フィルタアレイ１１０は、特許文献１に開示されている「符号化素子」と同様の構造および機能を有する。このため、以下の説明において、フィルタアレイ１１０を「符号化素子」と称することがある。光学系１４０およびフィルタアレイ１１０は、被写体である対象物７０から入射する光の光路上に配置されている。フィルタアレイ１１０は、光学系１４０とイメージセンサ１６０との間に配置される。
　図１Ａには、対象物７０の一例として、リンゴが例示されている。対象物７０は、リンゴに限らず、任意の物体であり得る。処理装置２００は、イメージセンサ１６０が生成した画像データに基づいて、対象波長域に含まれる複数の波長バンドのそれぞれについて画像データを生成する。この画像データを、本明細書において「分光画像データ」と称する。ここで、対象波長域に含まれる波長バンドの数をＮ（Ｎは４以上の整数）とする。以下の説明において、生成される複数の波長バンドの分光画像データを、分光画像２２０Ｗ１、２２０Ｗ２、・・・、２２０ＷＮと称し、これらを分光画像２２０と総称する。本明細書において、画像を示すデータまたは信号、すなわち、各画素の画素値を表すデータまたは信号の集合を、単に「画像」と称することがある。
　フィルタアレイ１１０は、行および列状に配列された透光性を有する複数のフィルタのアレイである。複数のフィルタは、分光透過率、すなわち光透過率の波長依存性が互いに異なる複数種類のフィルタを含む。フィルタアレイ１１０は、入射光の強度を波長ごとに変調して出力する。フィルタアレイ１１０によるこの過程を、本明細書において「符号化」と称する。
　図１Ａに示す例において、フィルタアレイ１１０は、イメージセンサ１６０の近傍または直上に配置されている。ここで「近傍」とは、光学系１４０からの光の像がある程度鮮明な状態でフィルタアレイ１１０の面上に形成される程度に近接していることを意味する。「直上」とは、ほとんど隙間が生じない程両者が近接していることを意味する。フィルタアレイ１１０およびイメージセンサ１６０は一体化されていてもよい。
　光学系１４０は、少なくとも１つのレンズを含む。図１Ａでは、光学系１４０が１つのレンズとして示されているが、光学系１４０は複数のレンズの組み合わせであってもよい。光学系１４０は、フィルタアレイ１０を介して、イメージセンサ１６０の撮像面上に像を形成する。
　フィルタアレイ１１０は、イメージセンサ１６０から離れて配置されていてもよい。図１Ｂから図１Ｄは、フィルタアレイ１１０がイメージセンサ１６０から離れて配置されている撮像装置１００の構成例を示す図である。図１Ｂの例では、フィルタアレイ１１０が、光学系１４０とイメージセンサ１６０との間で且つイメージセンサ１６０から離れた位置に配置されている。図１Ｃの例では、フィルタアレイ１１０が対象物７０と光学系１４０との間に配置されている。図１Ｄの例では、撮像装置１００が２つの光学系１４０Ａおよび１４０Ｂを備え、それらの間にフィルタアレイ１１０が配置されている。これらの例のように、フィルタアレイ１１０とイメージセンサ１６０との間に１つ以上のレンズを含む光学系が配置されていてもよい。
　イメージセンサ１６０は、２次元的に配列された複数の光検出素子（本明細書において、「画素」とも呼ぶ。）を有するモノクロタイプの光検出器である。イメージセンサ１６０は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、赤外線アレイセンサ、テラヘルツアレイセンサ、またはミリ波アレイセンサであり得る。光検出素子は、例えばフォトダイオードを含む。イメージセンサ１６０は、必ずしもモノクロタイプのセンサである必要はない。例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプのセンサを用いてもよい。カラータイプのセンサを使用することで、波長に関する情報量を増やすことができ、分光画像２２０の再構成の精度を向上させることができる。取得対象の波長範囲は任意に決定してよく、可視の波長範囲に限らず、紫外、近赤外、中赤外、遠赤外、マイクロ波・電波の波長範囲であってもよい。
　処理装置２００は、プロセッサと、メモリ等の記憶媒体とを備えるコンピュータである。処理装置２００は、イメージセンサ１６０によって取得された画像１２０に基づいて、複数の波長バンドの情報をそれぞれ含む複数の分光画像２２０Ｗ１、２２０Ｗ２、・・・２２０ＷＮのデータを生成する。
　図２Ａは、フィルタアレイ１１０の例を模式的に示す図である。フィルタアレイ１１０は、２次元的に配列された複数の領域を有する。本明細書では、当該領域を、「セル」と称することがある。各領域には、個別に設定された分光透過率を有する光学フィルタが配置されている。分光透過率は、入射光の波長をλとして、関数Ｔ（λ）で表される。分光透過率Ｔ（λ）は、０以上１以下の値を取り得る。
　図２Ａに示す例では、フィルタアレイ１１０は、６行８列に配列された４８個の矩形領域を有する。これはあくまで例示であり、実際の用途では、これよりも多くの領域が設けられ得る。その数は、例えばイメージセンサ１６０の画素数と同程度であってもよい。フィルタアレイ１１０に含まれるフィルタ数は、例えば数十から数千万の範囲で用途に応じて決定される。
　図２Ｂは、対象波長域に含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮのそれぞれの光の透過率の空間分布の一例を示す図である。図２Ｂに示す例では、各領域の濃淡の違いは、透過率の違いを表している。淡い領域ほど透過率が高く、濃い領域ほど透過率が低い。図２Ｂに示すように、波長バンドによって光透過率の空間分布が異なっている。
　図２Ｃおよび図２Ｄは、それぞれ、図２Ａに示すフィルタアレイ１１０に含まれる領域Ａ１および領域Ａ２の分光透過率の例を示す図である。領域Ａ１の分光透過率と領域Ａ２の分光透過率とは、互いに異なる。このように、フィルタアレイ１１０の分光透過率は、領域によって異なる。ただし、必ずしもすべての領域の分光透過率が異なっている必要はない。フィルタアレイ１１０では、複数の領域の少なくとも一部の領域の分光透過率が互いに異なっている。フィルタアレイ１１０は、分光透過率が互いに異なる２つ以上のフィルタを含む。ある例では、フィルタアレイ１１０に含まれる複数の領域の分光透過率のパターンの数は、対象波長域に含まれる波長バンドの数Ｎと同じか、それ以上であり得る。フィルタアレイ１１０は、半数以上の領域の分光透過率が異なるように設計されていてもよい。
　図３Ａおよび図３Ｂは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係を説明するための図である。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば、約４００ｎｍから約７００ｎｍの可視光の波長域、約７００ｎｍから約２５００ｎｍの近赤外線の波長域、または約１０ｎｍから約４００ｎｍの近紫外線の波長域であり得る。あるいは、対象波長域Ｗは、中赤外、遠赤外、テラヘルツ波、またはミリ波などの電波域であってもよい。このように、使用される波長域は可視光域とは限らない。本明細書では、可視光に限らず、近紫外線、近赤外線、および電波などの非可視光も便宜上「光」と称する。
　図３Ａに示す例では、Ｎを４以上の任意の整数として、対象波長域ＷをＮ等分したそれぞれの波長域を波長バンドＷ１、Ｗ２、・・・、ＷＮとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数の波長バンドは任意に設定してもよい。例えば、波長バンドによって帯域幅を不均一にしてもよい。隣接する波長バンドの間にギャップまたは重なりがあってもよい。図３Ｂに示す例では、波長バンドによって帯域幅が異なり、且つ隣接する２つの波長バンドの間にギャップがある。このように、複数の波長バンドは、互いに異なっていればよく、その決め方は任意である。
　図４Ａは、フィルタアレイ１１０のある領域における分光透過率の特性を説明するための図である。図４Ａに示す例では、分光透過率は、対象波長域Ｗ内の波長に関して、複数の極大値Ｐ１からＰ５、および複数の極小値を有する。図４Ａに示す例では、対象波長域Ｗ内での光透過率の最大値が１、最小値が０となるように正規化されている。図４Ａに示す例では、波長バンドＷ２、および波長バンドＷＮ－１などの波長域において、分光透過率が極大値を有している。このように、各領域の分光透過率は、複数の波長バンドＷ１からＷＮのうち、少なくとも２つの波長域において極大値を有する。図４Ａの例では、極大値Ｐ１、Ｐ３、Ｐ４およびＰ５は０．５以上である。
　以上のように、各領域の光透過率は、波長によって異なる。したがって、フィルタアレイ１１０は、入射する光のうち、ある波長域の成分を多く透過させ、他の波長域の成分をそれほど透過させない。例えば、Ｎ個の波長バンドのうちのｋ個の波長バンドの光については、透過率が０．５よりも大きく、残りのＮ－ｋ個の波長域の光については、透過率が０．５未満であり得る。ｋは、２≦ｋ＜Ｎを満たす整数である。仮に入射光が、すべての可視光の波長成分を均等に含む白色光であった場合には、フィルタアレイ１１０は、入射光を領域ごとに、波長に関して離散的な複数の強度のピークを有する光に変調し、これらの多波長の光を重畳して出力する。
　図４Ｂは、一例として、図４Ａに示す分光透過率を、波長バンドＷ１、Ｗ２、・・・、ＷＮごとに平均化した結果を示す図である。平均化された透過率は、分光透過率Ｔ（λ）を波長バンドごとに積分してその波長バンドの帯域幅で除算することによって得られる。本明細書では、このように波長バンドごとに平均化した透過率の値を、その波長バンドにおける透過率とする。この例では、極大値Ｐ１、Ｐ３およびＰ５をとる３つの波長域において、透過率が突出して高くなっている。特に、極大値Ｐ３およびＰ５をとる２つの波長域において、透過率が０．８を超えている。
　図２Ａから図２Ｄに示す例では、各領域の透過率が０以上１以下の任意の値をとり得るグレースケールの透過率分布が想定されている。しかし、必ずしもグレースケールの透過率分布にする必要はない。例えば、各領域の透過率がほぼ０またはほぼ１のいずれかの値を取り得るバイナリスケールの透過率分布を採用してもよい。バイナリスケールの透過率分布では、各領域は、対象波長域に含まれる複数の波長域のうちの少なくとも２つの波長域の光の大部分を透過させ、残りの波長域の光の大部分を透過させない。ここで「大部分」とは、概ね８０％以上を指す。
　全セルのうちの一部、例えば半分のセルを、透明領域に置き換えてもよい。そのような透明領域は、対象波長域Ｗに含まれるすべての波長バンドＷ１からＷＮの光を同程度の高い透過率、例えば８０％以上の透過率で透過させる。そのような構成では、複数の透明領域は、例えば市松（checkerboard）状に配置され得る。すなわち、フィルタアレイ１１０における複数の領域の２つの配列方向において、光透過率が波長によって異なる領域と、透明領域とが交互に配列され得る。
　このようなフィルタアレイ１１０の分光透過率の空間分布を示すデータは、設計データまたは実測キャリブレーションによって事前に取得され、処理装置２００が備える記憶媒体に格納される。このデータは、後述する演算処理に利用される。
　フィルタアレイ１１０は、例えば、多層膜、有機材料、回折格子構造、または金属を含む微細構造を用いて構成され得る。多層膜を用いる場合、例えば、誘電体多層膜または金属層を含む多層膜が用いられ得る。この場合、セルごとに各多層膜の厚さ、材料、および積層順序の少なくとも１つが異なるように形成される。これにより、セルによって異なる分光特性を実現できる。多層膜を用いることにより、分光透過率におけるシャープな立ち上がりおよび立ち下がりを実現できる。有機材料を用いた構成は、セルによって含有する顔料または染料が異なるようにしたり、異種の材料を積層させたりすることによって実現され得る。回折格子構造を用いた構成は、セルごとに異なる回折ピッチまたは深さの回折構造を設けることによって実現され得る。金属を含む微細構造を用いる場合は、プラズモン効果による分光を利用して作製され得る。
　次に、処理装置２００による信号処理の例を説明する。処理装置２００は、イメージセンサ１６０から出力された画像１２０、およびフィルタアレイ１１０の波長ごとの透過率の空間分布特性に基づいて、多波長の分光画像２２０を再構成する。ここで多波長とは、例えば通常のカラーカメラで取得されるＲＧＢの３色の波長域よりも多くの波長域を意味する。この波長域の数は、例えば４から１００程度の数であり得る。この波長域の数を、バンド数と称する。用途によっては、バンド数は１００を超えていてもよい。
　求めたいデータは分光画像２２０のデータであり、そのデータをｆとする。バンド数をＮとすると、ｆは、各バンドの画像データｆ１、ｆ２、・・・、ｆＮを統合したデータである。ここで、図１Ａに示すように、画像の横方向をｘ方向、画像の縦方向をｙ方向とする。求めるべき画像データのｘ方向の画素数をｎとし、ｙ方向の画素数をｍとすると、画像データｆ１、ｆ２、・・・、ｆＮの各々は、ｎ×ｍ画素の２次元データである。したがって、データｆは要素数ｎ×ｍ×Ｎの３次元データである。この３次元データを、「ハイパースペクトルデータキューブ」または「ハイパースペクトルキューブ」と称する。一方、フィルタアレイ１１０によって符号化および多重化されて取得される画像１２０のデータｇの要素数はｎ×ｍである。データｇは、以下の式（１）によって表すことができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｆ１、ｆ２、・・・、ｆＮの各々は、ｎ×ｍ個の要素を有するデータである。したがって、右辺のベクトルは、厳密にはｎ×ｍ×Ｎ行１列の１次元ベクトルである。ベクトルｇは、ｎ×ｍ行１列の１次元ベクトルに変換されて表され、計算される。行列Ｈは、ベクトルｆの各成分ｆ１、ｆ２、・・・、ｆＮを波長バンドごとに異なる符号化情報（以下、「マスク情報」とも称する。）で符号化および強度変調し、それらを加算する変換を表す。したがって、Ｈは、ｎ×ｍ行ｎ×ｍ×Ｎ列の行列である。本明細書において、行列Ｈを「システム行列」と称することがある。
　ベクトルｇと行列Ｈが与えられれば、式（１）の逆問題を解くことにより、ｆを算出することができそうである。しかし、求めるデータｆの要素数ｎ×ｍ×Ｎが取得データｇの要素数ｎ×ｍよりも多いため、この問題は不良設定問題であり、このままでは解くことができない。そこで、処理装置２００は、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の式（２）を解くことにより、求めるデータｆが推定される。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値または二乗和平方根等を残差項としてもよい。括弧内の第２項は、正則化項または安定化項である。式（２）は、第１項と第２項との和を最小化するｆを求めることを意味する。処理装置２００は、再帰的な反復演算によって解を収束させ、最終的な解ｆ’を算出することができる。
　式（２）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによって変換したＨｆとの差の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。この関数は、推定データを滑らかまたは安定にする効果をもたらす。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）などによって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象物７０のスパース性は、対象物７０のテキスチャによって異なる。対象物７０のテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数である。重み係数τが大きいほど冗長的なデータの削減量が多くなり、圧縮する割合が高まる。重み係数τが小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。
　なお、図１Ｂおよび図１Ｃの構成においては、フィルタアレイ１１０によって符号化された像は、イメージセンサ１６０の撮像面上でボケた状態で取得される。したがって、予めこのボケ情報を保有しておき、そのボケ情報を前述のシステム行列Ｈに反映させることにより、分光画像２２０を再構成することができる。ここで、ボケ情報は、点拡がり関数（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ：ＰＳＦ）によって表される。ＰＳＦは、点像の周辺画素への拡がりの程度を規定する関数である。例えば、画像上で１画素に相当する点像が、ボケによってその画素の周囲のｋ×ｋ画素の領域に広がる場合、ＰＳＦは、その領域内の各画素の輝度への影響を示す係数群、すなわち行列として規定され得る。ＰＳＦによる符号化パターンのボケの影響を、システム行列Ｈに反映させることにより、分光画像２２０を再構成することができる。フィルタアレイ１１０が配置される位置は任意であるが、フィルタアレイ１１０の符号化パターンが拡散しすぎて消失しない位置が選択され得る。
　以上の構成では、図３Ａおよび図３Ｂに示すように、対象波長域Ｗに含まれる複数の波長バンドＷ１からＷＮの全てについての２次元画像を示すハイパースペクトルデータキューブが生成される。しかし、用途によっては、これらの全ての波長バンドについての画像が必要ではない場合がある。そのような場合に、全ての波長バンドについて高い波長分解能で画像を生成することは非効率的である。
　図５は、ハイパースペクトルカメラの利用シーンを模式的に示す図である。ある場面において、ユーザは、リンゴの糖度を推定するために、赤色の波長域、例えば６００ｎｍから７００ｎｍの波長域における色情報の取得を希望することがある。他の場面において、ユーザは、葉の正確なスペクトルを知るために、緑色の波長域、例えば５００ｎｍから６００ｎｍの波長域における色情報の取得を希望することがある。さらに他の場面において、ユーザは、青色の商品の色褪せ具合を知るために、青色の波長域、例えば４００ｎｍから５００ｎｍの波長域における色情報の取得を希望することがある。
　このような場面において、従来のハイパースペクトルカメラでは、異なる波長域における色情報を取得するために、以下の（１）および（２）のいずれかの方法が用いられる。（１）それぞれの波長域の情報を独立して取得できるイメージセンサを利用する。
（２）広い波長域の情報を取得できるカメラを用いて色情報を広く取得し、必要な波長域の情報だけを表示する。
　（１）の方法においては、ある用途において必要な色情報とは異なる色情報を必要とする用途には別のイメージセンサを用意する必要がある。
　（２）の方法においては、必要とする波長域よりも広い波長域の色情報を取得し、その広い波長域に含まれる多数の波長バンドのそれぞれについての画像を生成することになる。そのため、不要な波長域についても多くの計算を行うことになり、計算コストが必要以上に多くなる。
　そこで、本開示の実施形態では、ハイパースペクトル撮像装置によって取得された画像データに基づき、対象波長域Ｗの一部である１つ以上のサブ波長域をユーザが指定できるようにする。信号処理装置は、指定された１つ以上のサブ波長域に含まれる複数の波長バンドについての複数の２次元画像を示すハイパースペクトルデータキューブを生成する。これにより、計算コストを抑えながら、ユーザが求めるサブ波長域についての詳細な分光情報を取得することができる。
　図６Ａは、対象波長域Ｗおよび指定されるサブ波長域Ｗａの一例を示す図である。この例では、１つのサブ波長域Ｗａのみが指定される。サブ波長域Ｗａは、対象波長域Ｗの一部であり、複数の波長バンドＷａ１、Ｗａ２、・・・、Ｗａｉを含む。ここで、ｉは、サブ波長域Ｗａに含まれる波長バンドの数を表す。信号処理装置は、これらの波長バンドＷａ１、Ｗａ２、・・・、Ｗａｉのそれぞれについての２次元画像を示すハイパースペクトルデータキューブを生成する。
　図６Ｂは、第１のサブ波長域Ｗａに加えて、第２のサブ波長域Ｗｂが指定される場合の例を示している。第１のサブ波長域Ｗａおよび第２のサブ波長域Ｗｂは離間しており、いずれも対象波長域Ｗに含まれる。第２のサブ波長域Ｗｂは、複数の波長バンドＷｂ１、Ｗｂ２、・・・、Ｗｂｊを含む。ここで、ｊは、第２のサブ波長域Ｗｂに含まれる波長バンドの数を表す。このように、複数のサブ波長域が指定されてもよい。
　このように、信号処理装置は、撮像装置によって生成された画像データに基づき、指定されたサブ波長域に含まれる複数の波長バンドの画像を生成する。生成された複数の波長バンドの画像は、ディスプレイに表示される。このような動作により、目的とする利用シーンにおいて不必要な分光画像の生成に要する計算コストを低減することができる。
　以下に、本開示の実施形態の概要を説明する。
　本開示の一実施形態による信号処理方法は、コンピュータによって実行される。前記方法は、対象波長域内のハイパースペクトル情報を圧縮することにより得られた２次元画像情報を含む圧縮画像データを取得することと、前記対象波長域の一部である１つ以上のサブ波長域を指定する設定データを取得することと、前記圧縮画像データに基づき、前記１つ以上のサブ波長域に含まれる複数の波長バンドに対応する複数の２次元画像を生成することと、を含む。
　「対象波長域内のハイパースペクトル情報」とは、予め定められた対象波長域に含まれる複数の波長バンドにそれぞれ対応する複数の画像の情報を意味する。「ハイパースペクトル情報を圧縮する」とは、上記のフィルタアレイ１２０のような符号化素子を用いて複数の波長バンドの画像情報を１つのモノクロの２次元画像として圧縮すること、および、予め取得された複数の波長バンドの画像情報をソフトウェア処理によって１つのモノクロの２次元画像として圧縮することを含む。
　上記の方法によれば、例えばユーザによって指定された１つ以上のサブ波長域に含まれる複数の波長バンドに対応する複数の２次元画像のデータ、すなわちハイパースペクトルデータキューブを生成することができる。このため、用途または目的に応じて必要なハイパースペクトルデータキューブのみを生成することが可能になる。
　前記ハイパースペクトル情報は、前記対象波長域に含まれる４つ以上の波長バンドの情報であってもよく、前記２次元画像情報は、前記圧縮画像データに含まれる複数の画素のデータであってもよい。前記複数の画素の各々のデータには、前記４つ以上の波長バンドの情報が重畳されていてもよい。言い換えれば、前記圧縮画像データの各画素のデータには、前記対象波長域に含まれる４つ以上の波長バンドの情報が重畳された１つの値が含まれ得る。前記圧縮画像データの各画素のデータには、用途に応じて、１０以上または１００以上の波長バンドの情報が重畳されていてもよい。
　前記設定データは、前記１つ以上のサブ波長域における波長分解能を指定する情報を含み得る。前記複数の２次元画像は、前記波長分解能で生成され得る。このような態様においては、ユーザは、サブ波長域の指定に加え、サブ波長域ごとに波長分解能を指定することができる。そのため、詳細な分光情報が必要なサブ波長域の波長分解能を高くするなどの、柔軟な調整が可能になる。
　前記１つ以上のサブ波長域は、第１サブ波長域および第２サブ波長域を含み得る。前記複数の２次元画像は、前記第１サブ波長域および前記第２サブ波長域ごとに生成され得る。
　前記１つ以上のサブ波長域は、第１サブ波長域および第２サブ波長域を含み得る。前記波長分解能は、前記第１サブ波長域および前記第２サブ波長域ごとに独立して指定され得る。前記複数の２次元画像は、前記第１サブ波長域および前記第２サブ波長域ごとに、対応する前記波長分解能で生成され得る。
　前記第１サブ波長域と前記第２サブ波長域とは離間していてもよい。あるいは、前記第１サブ波長域と前記第２サブ波長域とは、隣接していてもよいし、互いに部分的に重なっていてもよい。
　前記方法は、前記コンピュータに接続されたディスプレイに、前記設定データをユーザに入力させるためのグラフィカルユーザインターフェース（ＧＵＩ）を表示させることをさらに含んでいてもよい。そのようなＧＵＩを表示することにより、ユーザは、サブ波長域の指定、およびサブ波長域ごとの波長分解能の指定などの操作を容易に行うことができる。
　前記方法は、前記コンピュータに接続されたディスプレイに、前記複数の２次元画像を表示させることをさらに含んでいてもよい。これにより、生成された波長バンドごとの分光画像をユーザが容易に確認することができる。
　前記圧縮画像データは、分光透過率が互いに異なる複数種類の光学フィルタを含むフィルタアレイおよびイメージセンサを用いた撮像によって生成され得る。前記方法は、前記フィルタアレイの前記分光透過率の空間分布が反映されたマスクデータを取得することをさらに含み得る。前記複数の２次元画像は、前記圧縮画像データおよび前記マスクデータに基づいて生成され得る。
　前記方法は、前記対象波長域に含まれる複数の単位バンドにそれぞれ対応する複数の背景を、前記フィルタアレイを通して前記イメージセンサで撮像することによってそれぞれ取得される複数のマスク画像の情報を含むマスクデータを取得することをさらに含んでいてもよい。前記複数の２次元画像は、前記圧縮画像データおよび前記マスクデータに基づいて生成され得る。
　マスクデータは、例えば前述の式（２）における行列Ｈを規定するデータであり得る。マスクデータの形式は、撮像システムの構成によって異なり得る。マスクデータは、フィルタアレイの分光透過率の空間分布を示していてもよいし、フィルタアレイの分光透過率の空間分布を計算するための情報を含んでいてもよい。例えば、マスクデータは、前述のマスク画像の情報に加えて、単位バンド毎の背景画像の情報を含んでいてもよい。マスク画像を背景画像で画素ごとに除することにより、単位バンド毎に透過率分布の情報を得ることができる。マスクデータは、マスク画像の情報のみを含んでいてもよい。マスク画像は、フィルタアレイの透過率にイメージセンサの感度が掛け合わされた値の分布を示す。フィルタアレイがイメージセンサに近接して対向するように配置された構成では、そのようなマスクデータが用いられ得る。
　前記マスクデータはマスク情報を含み得る。前記マスク情報は、前記対象波長域に含まれる複数の単位バンドの各々における前記フィルタアレイの透過率の空間分布を示し得る。前記方法は、前記マスク情報の一部分であって、前記対象波長域のうち、前記１つ以上のサブ波長域以外の非指定波長域に含まれる複数の単位バンドに対応する一部分を合成することにより合成マスク情報を生成することと、前記圧縮画像データおよび前記合成マスク情報に基づいて、前記非指定波長域に対応する合成画像を生成することと、をさらに含み得る。
　前記方法は、前記対象波長域のうち、指定された前記１つ以上のサブ波長域以外の非指定波長域に含まれる複数の単位バンドについての前記マスク画像を合成した合成マスク画像を生成することと、前記圧縮画像データおよび前記合成マスク画像に基づいて、前記非指定波長域についての合成画像データを生成することと、をさらに含み得る。
　上記の方法によれば、非指定波長域については詳細な分光画像が生成されず、指定されたサブ波長域についてのみ、詳細な分光画像が生成される。このため、分光画像の生成に要する演算時間を短縮することができる。
　前記マスクデータは、前記複数の背景を、前記フィルタアレイを通さずに前記イメージセンサで撮像することによってそれぞれ取得される複数の背景画像の情報をさらに含んでいてもよい。前記方法は、前記複数の背景画像を合成した合成背景画像を生成することをさらに含んでいてもよい。前記合成画像は、前記圧縮画像データ、前記合成マスク画像、および前記合成背景画像に基づいて生成され得る。
　前記マスクデータは、複数の背景画像と複数のマスク画像とを含んでいてもよい。前記複数の背景画像の各々は、例えば、複数の背景のうちの対応する背景を、前記フィルタアレイを通さずに前記イメージセンサで撮像することによって取得される。前記複数のマスク画像の各々は、例えば、前記複数の背景のうちの前記対応する背景を、前記フィルタアレイを通して前記イメージセンサで撮像することによって取得される。前記合成マスク情報は、前記複数のマスク画像および前記複数の背景画像に基づいて生成され得る。
　前記方法は、前記コンピュータに接続されたディスプレイに、前記合成画像を表示させることをさらに含んでいてもよい。これにより、指定されていない波長域についての大まかな画像をユーザが容易に確認することができる。
　前記マスクデータは、マスク情報を含み得る。前記マスク情報は、前記対象波長域に含まれる複数の単位バンドの各々における前記フィルタアレイの透過率の空間分布を示し得る。前記設定データは、各々が前記対象波長域の一部である複数の大サブ波長域と、前記複数の大サブ波長域の少なくとも１つに含まれる複数の小サブ波長域とを指定する情報を含み得る。前記方法は、前記マスク情報の一部分であって、前記複数の大サブ波長域の各々について、前記複数の大サブ波長域の各々に含まれる複数の単位バンドに対応する一部分を合成することにより第１合成マスク情報を生成することと、前記圧縮画像データと前記第１合成マスク情報とに基づいて、前記複数の大サブ波長域の各々について第１合成画像を生成することと、をさらに含み得る。前記複数の２次元画像は、前記複数の小サブ波長域に対応して生成され得る。前記方法は、前記複数の小サブ波長域の各々について、前記小サブ波長域に含まれる複数の単位バンドについての前記マスク情報を合成した第２合成マスク情報を生成することと、指定された前記複数の大サブ波長域の前記少なくとも１つについての前記第１合成画像と、前記第２合成マスク情報とに基づいて、前記小サブ波長域ごとに、第２合成画像を生成することと、をさらに含んでいてもよい。
　上記の方法によれば、例えばユーザによって指定された、対象波長域に含まれる複数の大サブ波長域、およびそれらの大サブ波長域の少なくとも１つに含まれる複数の小サブ波長域のそれぞれについて、合成された画像を生成することができる。このため、詳細な色情報が必要な波長域についてのみ小サブ波長域を設定し、詳細な色情報が不要な波長域については、大サブ波長域のみを設定する、といった柔軟な調整が可能になる。
　前記対象波長域は、可視波長域を含み得る。前記方法は、前記圧縮画像データおよび前記合成マスク情報に基づいて、赤の波長域に対応する画像、緑の波長域に対応する画像、および青の波長域に対応する画像を生成することと、前記コンピュータに接続されたディスプレイに、前記赤の波長域に対応する画像、前記緑の波長域に対応する画像、および前記青の波長域に対応する画像に基づくＲＧＢ画像を表示させることと、をさらに含んでいてもよい。これにより、指定されたサブ波長域についての詳細な分光画像とは別に、対象物のＲＧＢ画像をユーザが確認することができる。
　本開示のさらに他の実施形態による方法は、マスクデータを生成する方法である。前記マスクデータは、分光透過率が互いに異なる複数種類の光学フィルタを含むフィルタアレイを含む撮像装置によって取得された圧縮画像データから、波長バンドごとの分光画像データを復元するために用いられる。すなわち、分光透過率が互いに異なる複数種類の光学フィルタを含むフィルタアレイを含む撮像装置によって取得された圧縮画像データから、波長バンドごとの分光画像データを復元するために用いられるマスクデータを生成する方法である。前記方法は、対象波長域における第１波長バンド群に対応する第１分光画像を復元するための第１マスクデータを取得することと、前記対象波長域の一部である１つ以上のサブ波長域を指定する設定データを取得することと、前記第１マスクデータと前記設定データとに基づき、前記１つ以上のサブ波長域における第２波長バンド群に対応する第２分光画像データを復元するための第２マスクデータを生成することと、を含む。
　第１波長バンド群は、対象波長域に含まれる全てまたは一部の波長バンドの集合であり得る。第２波長バンド群は、サブ波長域に含まれる全てまたは一部の波長バンドの集合であり得る。第１波長バンド群および第２波長バンド群のそれぞれは、２つ以上の単位波長バンドが合成された合成バンドの集合体であってもよい。そのようなバンド合成が行われる場合、バンドの合成態様に応じてマスクデータの変換処理が行われる。設定データは、マスクデータの変換処理に用いられるバンドの合成態様に関する情報を含んでいてもよい。
　前記第１マスクデータおよび前記第２マスクデータは、前記フィルタアレイの分光透過率の空間分布が反映されたデータであり得る。前記第１マスクデータは、前記第１波長バンド群に対応する前記分光透過率の空間分布を示す第１マスク情報を含み得る。前記第２マスクデータは、前記第２波長バンド群に対応する前記分光透過率の空間分布を示す第２マスク情報を含み得る。
　前記第２マスクデータは、複数の情報を合成することにより得られた第３マスク情報をさらに含み得る。前記複数の情報の各々は、前記対象波長域のうち、前記１つ以上のサブ波長域以外の非指定波長域に含まれる対応する波長バンドにおける前記分光透過率の空間分布を示す。
　本開示の他の態様に係る信号処理装置は、プロセッサと、前記プロセッサによって実行されるコンピュータプログラムを格納したメモリと、を備える。前記コンピュータプログラムは、前記プロセッサに、対象波長域内のハイパースペクトル情報を圧縮することにより得られた２次元画像情報を含む圧縮画像データを取得することと、前記対象波長域の一部である１つ以上のサブ波長域を指定する設定データを取得することと、前記圧縮画像データに基づき、前記１つ以上のサブ波長域に含まれる複数の波長バンドに対応する複数の２次元画像を生成することと、を実行させる。
　本開示の他の態様に係る信号処理装置は、プロセッサと、前記プロセッサによって実行されるコンピュータプログラムを格納したメモリと、を備える。前記コンピュータプログラムは、前記プロセッサに、対象波長域における第１波長バンド群に対応する第１分光画像データを復元するための第１マスクデータを取得することと、前記対象波長域の一部である１つ以上のサブ波長域を指定する設定データを取得することと、前記第１マスクデータと前記設定データとに基づき、前記１つ以上のサブ波長域における第２波長バンド群に対応する第２分光画像データを生成するための第２マスクデータを復元することと、を実行させる。
　本開示の他の態様に係る撮像システムは、前記信号処理装置と、前記圧縮画像データを生成する撮像装置と、を備える。
　本開示の他の態様に係るコンピュータプログラムは、コンピュータに、対象波長域内のハイパースペクトル情報を圧縮することにより得られた２次元画像情報を含む圧縮画像データを取得することと、前記対象波長域の一部である１つ以上のサブ波長域を指定する設定データを取得することと、前記圧縮画像データに基づき、前記１つ以上のサブ波長域に含まれる複数の波長バンドに対応する複数の２次元画像を生成することと、を実行させる。
　本開示の他の態様に係るコンピュータプログラムは、コンピュータに、分光透過率が互いに異なる複数種類の光学フィルタを含むフィルタアレイを含む撮像装置によって取得された圧縮画像データから、対象波長域における第１波長バンド群に対応する第１分光画像データを復元するための第１マスクデータを取得することと、前記対象波長域の一部である１つ以上のサブ波長域を指定する設定データを取得することと、前記第１マスクデータと前記設定データとに基づき、前記１つ以上のサブ波長域における第２波長バンド群に対応する第２分光画像データを復元するための第２マスクデータを生成することと、を実行させる。
　本開示の他の態様に係る、コンピュータによって読み取り可能な非一時的な記憶媒体は、コンピュータに、対象波長域内のハイパースペクトル情報を圧縮することにより得られた２次元画像情報を含む圧縮画像データを取得することと、前記対象波長域の一部である１つ以上のサブ波長域を指定する設定データを取得することと、前記圧縮画像データに基づき、前記１つ以上のサブ波長域に含まれる複数の波長バンドに対応する複数の２次元画像を生成することと、を含むプロセスを実行させるためのプログラムを格納する。
　本開示の他の態様に係る、コンピュータによって読み取り可能な非一時的な記憶媒体は、コンピュータに、対象波長域における第１波長バンド群に対応する第１分光画像データを復元するための第１マスクデータを取得することと、前記対象波長域の一部である１つ以上のサブ波長域を指定する設定データを取得することと、前記第１マスクデータと前記設定データとに基づき、前記１つ以上のサブ波長域における第２波長バンド群に対応する第２分光画像データを復元するための第２マスクデータを生成することと、を含むプロセスを実行させるためのプログラムを格納する。
　以下、本開示のより具体的な実施形態を説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複する説明を省略することがある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似の構成要素については、同じ参照符号を付している。以下の説明において、図中に示されたｘｙｚ座標を用いる。
　（実施形態）
　図７は、本開示の例示的な実施形態における撮像システムの構成を示す図である。本システムは、撮像装置１００と、処理装置２００と、表示装置３００と、入力ユーザインターフェース（ＵＩ）４００とを備える。処理装置２００は、本開示における信号処理装置に相当する。
　撮像装置１００は、イメージセンサ１６０と、イメージセンサ１６０を制御する制御回路１５０とを備える。図７には示されていないが、撮像装置１００は、図１Ａから図１Ｄに示すように、フィルタアレイ１１０および少なくとも１つの光学系１４０も備える。フィルタアレイ１１０および光学系１４０の配置は、図１Ａから図１Ｄのいずれの配置であってもよい。イメージセンサ１６０は、フィルタアレイ１１０によって領域ごとに強度が変調された光に基づくモノクロ画像を取得する。このモノクロ画像の各画素のデータには、対象波長域Ｗ内の複数の波長バンドの情報が重畳されている。よって、このモノクロ画像は、対象波長域Ｗ内のハイパースペクトル情報が２次元画像に圧縮されたものであるといえる。このようなモノクロ画像は、本明細書における「圧縮画像」の一例である。また、本明細書において、圧縮画像を示すデータを「圧縮画像データ」と称する。
　処理装置２００は、信号処理回路２５０と、ＲＡＭおよびＲＯＭなどのメモリ２１０とを備える。信号処理回路２５０は、ＣＰＵまたはＧＰＵなどのプロセッサを備える集積回路であり得る。信号処理回路２５０は、イメージセンサ１６０から出力された圧縮画像データに基づく復元処理を行う。この復元処理は、図１Ａから図１Ｄに示す処理装置２００が行う処理と基本的に同じであるが、本実施形態では、入力ＵＩ４００から入力された復元条件に従って復元処理が行われる。信号処理回路２５０は、対象波長域のうち、指定されたサブ波長域についてのみ、高い波長分解能で画像データを生成する。これにより、計算時間を短縮することができる。メモリ２１０は、信号処理回路２５０に含まれるプロセッサが実行するコンピュータプログラム、信号処理回路２５０によって参照される各種のデータ、および信号処理回路２５０によって生成される各種のデータを記憶する。
　表示装置３００は、メモリ３１０と、画像処理回路３２０と、ディスプレイ３３０とを備える。メモリ３１０は、入力ＵＩ４００から送られた復元条件を示す設定データを一時的に記憶する。画像処理回路３２０は、信号処理回路２５０によって復元された画像に必要な処理を施した上でディスプレイ３３０に表示させる。ディスプレイ３３０は、例えば液晶または有機ＬＥＤなどの任意のディスプレイであり得る。
　入力ＵＩ４００は、撮像条件および復元条件などの各種の条件を設定するためのハードウェアおよびソフトウェアを含む。撮像条件は、例えば解像度、ゲイン、および露光時間などの条件を含み得る。復元条件は、例えば各サブ波長域の下限波長および上限波長、各サブ波長域に含まれる波長バンドの数、および計算回数などの条件を含み得る。入力された撮像条件は、撮像装置１００の制御回路１５０に送られる。制御回路１５０は、撮像条件に従って、イメージセンサ１６０に撮像を実行させる。これにより、イメージセンサ１６０は、対象波長域Ｗ内の複数の波長バンドの情報が重畳された圧縮画像を生成する。また、入力された復元条件は、信号処理回路２５０およびメモリ３１０に送られ、記録される。信号処理回路２５０は、設定された復元条件に従って復元処理を行い、指定されたサブ波長域についてのハイパースペクトルデータキューブを生成する。画像処理回路３２０は、設定された復元条件に従い、ディスプレイ３３０に、指定されたサブ波長域における複数の波長バンドのそれぞれについての画像を表示させる。
　信号処理回路２５０は、復元の際に、入力ＵＩ４００によって入力された復元条件に従って、メモリ２１０に予め記録されているマスクデータを必要に応じて変換して用いる。マスクデータは、フィルタアレイ１１０の分光透過率の空間分布を示すデータであり、前述の式（２）における行列Ｈに相当する情報を含む。生成された分光画像は、画像処理回路３２０によって必要に応じて処理される。画像処理回路３２０は、例えば、画面内での配置の決定、バンド情報との紐づけ、または波長に対応した色付けなどの処理を行った上で、分光画像をディスプレイ３３０に表示させる。
　本実施形態では、信号処理回路２５０は、対象波長域Ｗのうち、指定された少なくとも１つのサブ波長域についてのみ、複数の波長バンドのそれぞれについての画像を生成する。対象波長域Ｗのうち、指定されたサブ波長域以外の波長域については、連続する波長域を１つの波長域として合算して計算する。これにより、計算コストを抑えることができる。なお、信号処理回路２５０は、対象波長域Ｗの全体について、複数の波長バンドのそれぞれについての画像を生成してもよい。その場合、画像処理回路３２０は、信号処理回路２５０から入力された画像データから、指定されたサブ波長域についてのデータを抽出して表示してもよい。
　図８は、本実施形態のシステムの動作を示すフローチャートである。本実施形態では、まず、ステップＳ１０１において、ユーザが入力ＵＩ４００を介して撮像条件および復元条件を入力する（ステップＳ１０１）。入力された撮像条件を示すデータは、制御回路１５０に送られる。入力された復元条件を示すデータは、信号処理回路２５０およびメモリ３１０に送られる。メモリ３１０は、復元条件を一時的に記憶する。この復元条件は、画像が表示されるときに、画像と設定された波長バンドの条件とを紐づけるために参照される。次に、撮像装置１００は、撮像条件に従って対象物を撮像することにより、圧縮画像を取得する（ステップＳ１０２）。
　圧縮画像が取得されると、信号処理回路２５０は、入力された復元条件に基づき、マスクデータを変換する必要があるか否かを判断する（ステップＳ１０３）。変換する必要がある場合、信号処理回路２５０は、メモリ２１０に予め保存されているマスクデータを変換する（ステップＳ１０４）。ここで変換は、複数の波長域についてのマスク情報を合成し、１つの波長域のマスク情報として取り扱うことを指す。マスク情報の合成の詳細については、図１４を参照して後述する。変換が不要な場合は、ステップＳ１０４は省略される。信号処理回路２５０は、圧縮画像と、必要に応じて変換されたマスクデータとを用いて、入力された復元条件に従って復元演算を行う（ステップＳ１０５）。これにより、圧縮画像から分光画像を生成する。次に、表示装置３００の画像処理回路３２０は、生成された分光画像を、メモリ３１０に保存されている復元条件と紐づけ、ラベル付けを行う（ステップＳ１０６）。例えば、生成された分光画像のそれぞれに、対応する波長域を示すラベルを付加した画像データを生成する。画像処理回路３２０は、生成した画像データをディスプレイ３３０に出力し、画像を表示させる（ステップＳ１０７）。
　図９は、メモリ２１０に保存されている変換前のマスクデータの例を示す。この例におけるマスクデータは、対象波長域に含まれる複数の単位バンドの各々についての透過率の空間分布を示すマスク情報を含む。この例におけるマスクデータは、１ｎｍごとに分割された多数の単位バンドのそれぞれについてのマスク情報と、マスク情報の取得条件に関する情報とを含む。各単位バンドは、下限波長と上限波長とによって特定される。マスク情報は、マスク画像および背景画像の情報を含む。図９に示す複数のマスク画像は、複数の単位バンドにそれぞれ対応する複数の背景を、フィルタアレイ１１０を通してイメージセンサ１２０で撮像することによってそれぞれ取得される。複数の背景画像は、当該複数の背景を、フィルタアレイ１１０を通さずにイメージセンサ１２０で撮像することによってそれぞれ取得される。このようなマスク画像および背景画像のデータが、予め単位バンドごとに記録されている。取得条件に関する情報は、露光時間およびゲインの情報を含む。なお、図９の例では、１ｎｍの幅の複数の単位バンドのそれぞれについて、マスク画像および背景画像のデータが記録されている。各単位バンドの幅は、１ｎｍに限らず、任意の値に決定され得る。また、背景画像の均一性が非常に高い場合には、マスクデータが背景画像の情報を含んでいなくてもよい。例えば、イメージセンサ１２０とフィルタアレイ１１０とが近接して対向するように集積された構成では、マスク情報がマスク画像とほぼ一致することから、マスクデータは背景画像を含まなくてもよい。
　続いて、図１０から図１３を参照して、上記の情報処理を行うプログラムによって表示されるグラフィカルユーザインターフェース（ＧＵＩ）の例を説明する。これらのＧＵＩを実現するための画像は、信号処理回路２５０および画像処理回路３２０によって生成され、ディスプレイ３３０に表示される。
　図１０は、撮像条件を入力するためのＧＵＩの画面の例を示している。この例では、ユーザは、ハイパースペクトル撮像を行う前に、解像度、ゲイン、露光時間、およびフレームレートを設定する。解像度は、表示される画像の縦横の画素数を表す。解像度は、例えばユーザがプルダウンメニューからＶＧＡ、ＨＤ、４Ｋなどの名称を選択するか、縦横の画素数を直接入力することによって指定され得る。ゲインは、０以上の有理数で指定され、有理数同士の加減乗除によって入力されてもよい。例えば、８／３と入力した場合、ゲインが２．６６６６…ｄＢのように設定され得る。露光時間およびフレームレートは、両方が入力される必要はない。ユーザは、露光時間およびフレームレートの少なくとも一方を入力し、競合が発生した場合（例えば露光時間１００ｍｓでフレームレート３０ｆｐｓなど）、いずれか一方が優先されるようにしてもよい。上記４条件の入力の他、自動でゲイン、露光時間、およびフレームレートを調整する機能を設けてもよい。例えば、平均輝度が最大輝度の１／２になるように自動で調整されるようにしてもよい。図１０に示す例のように、撮像条件を入力するためのＧＵＩは、設定された撮像条件のセーブおよびロードの機能を備えていてもよい。また、ＧＵＩは、設定された撮像条件で取得される圧縮画像をリアルタイムで表示する機能を備えていてもよい。ここで、必ずしも圧縮画像そのものを表示する必要はない。その時点で設定されている撮像条件で取得される任意の画像を表示してもよい。例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の値のみを出力する画素を配置し、それらの画素の値のみを用いて取得したＲＧＢ画像を表示してもよい。また、例えば、後述する単位バンドの合成処理によって４００ｎｍから５００ｎｍを第１バンド、５００ｎｍから６００ｎｍを第２バンド、６００ｎｍから７００ｎｍを第３バンドとした３バンドでの復元を行い、復元結果をＲＧＢ画像として表示してもよい。
　図１１および図１２は、復元条件を入力するためのＧＵＩの例を示す図である。図１１に示す例では、ユーザは、サブ波長域、波長分解能またはバンド分割数、および計算回数を入力する。ここで計算回数は、式（２）に示す復元演算の反復回数を表す。サブ波長域は、図１１に示すように、下限波長と上限波長とを、例えばドラッグ＆ドロップで設定することによって指定され得る。図１１の例では、４２０ｎｍから４８０ｎｍのサブ波長域と、６００ｎｍから６９０ｎｍのサブ波長域とが指定されている。ドラッグ＆ドロップで指定する代わりに、図１２に示すように、サブ波長域および各サブ波長域内の各波長バンドの範囲を数値で入力できるようにしてもよい。サブ波長域および各サブ波長域内の各波長バンドの範囲を入力する領域は、独立したウインドウとして表示されてもよいし、他の設定項目を入力する画面内に収めてもよい。
　図１１の例において、ユーザは、波長分解能とバンド分割数のいずれか一方を入力する。計算回数は、１以上の任意の整数で指定される。典型的には、１０から１００００程度の回数が指定され得る。図１１の例では、予測計算時間も表示される。予測計算時間は、ユーザが入力するのではなく、設定された解像度、バンド分割数、および計算回数から自動で計算され、表示される。なお、計算回数の入力および予測計算時間の表示の機能は省略されてもよい。代わりに、高精度モード（低速）、バランスモード（中速）、および高速モード（高速）などの複数のモードから例えばプルダウンメニューで選択するような形式でもよい。図１１に示すように、設定された復元条件のセーブおよびロードの機能を備えていてもよい。
　図１３は、復元演算の結果生成された分光画像を表示する画面の例を示す図である。生成された分光画像は、設定された復元条件と紐づけられ、設定されたバンドごとに区別できる形式で表示される。例えば、図１３に示すように、各バンドの復元画像とともに、そのバンドの下限波長および上限波長が数値で表示され得る。あるいは、各バンドを、短波長側または長波長側から数えた番号で示してもよい。各バンドの画像を、そのバンドに含まれる色で表示してもよい。以上の例において、波長（ｎｍ）で表現されている全ての物理量は、波数（例えばｃｍ－１）または周波数（例えばＨｚ）で表現されてもよい。
　図１４は、複数のバンドのマスク情報を合成して新たなマスク情報に変換する方法の例を説明するための図である。この例では、変換前のマスク情報として、単位バンド＃１から２０のマスク情報が、図９に示すようにメモリ２１０に予め保存されている。図１４の例では、単位バンド＃１から５については合成処理が行われず、単位バンド＃６から２０について合成処理が行われる。単位バンド＃１から５については、フィルタアレイ１１０の透過率分布が、マスク画像における各領域の値を、背景画像における対応する領域の値で除することによって計算される。ここで、メモリ２１０に保存されている各マスク画像のデータを「単位マスク画像データ」と称し、保存されている各背景画像のデータを「単位背景画像データ」と称する。バンド＃６から２０については、合成された透過率分布が、バンド＃６から２０の単位マスク画像データを各画素について足し合わせたデータを、バンド＃６から２０の単位背景画像データを各画素について足し合わせたデータで除することによって取得される。このような操作を行うことにより、任意の複数のバンドについて、マスク情報を合成することができる。また、背景画像の均一性が非常に高い場合には、マスク情報がマスク画像とほぼ一致する。この場合、バンド＃６から２０のマスク画像データを足し合わせたデータ、もしくは平均化したデータを、バンド＃６から２０の合成マスクデータとして用いてもよい。
　図９に示す例では、各々が１ｎｍの幅を持つ多数の単位バンドのそれぞれについて、マスク情報が記録されている。これに対し、図１２に示す例においてユーザが指定する個々の波長バンドの幅は３０ｎｍと比較的広い。このような場合、信号処理回路２５０は、指定された波長バンドごとに、複数の単位バンドのマスク情報を合成して復元を行う。
　合成によるマスクデータの変換処理は、エンドユーザが使用する環境で行われてもよいし、システムを製造する工場などの製造現場で行われてもよい。マスクデータの変換処理が製造現場で行われる場合、メモリ２１０には、変換前のマスクデータに代えて、または加えて、変換後のマスクデータが予め保存される。
　前述のように、マスクデータは、分光透過率が互いに異なる複数種類の光学フィルタを含むフィルタアレイを備える撮像装置によって取得された圧縮画像データから、波長バンドごとの分光画像データを復元するために用いられる。本実施形態におけるマスクデータを変換する方法は、以下のステップを含む。
・対象波長域における第１波長バンド群に対応する第１分光画像データを復元するための第１マスクデータを取得する。
・前記対象波長域の一部である１つ以上のサブ波長域を指定する設定データを取得する。・前記第１マスクデータと前記設定データとに基づき、前記サブ波長域における第２波長バンド群に対応する第２分光画像データを復元するための第２マスクデータを生成する。
　第１マスクデータは、例えば、対象波長域に含まれる全ての単位バンドのそれぞれについての分光画像を、圧縮画像から復元するためのデータであり得る。第２マスクデータは、例えば、指定された各サブ波長域に含まれる全ての単位バンドのそれぞれについての分光画像を、圧縮画像から復元するためのデータであり得る。第２マスクデータは、複数の単位バンドを合成した合成バンドごとの分光画像を圧縮画像から復元するためのデータであってもよい。そのような合成が行われる場合、設定データは、バンドの合成態様に関するデータを含み得る。以下の説明において、複数の単位バンドを合成した合成バンドを「編集後バンド」とも称する。
　第１マスクデータおよび第２マスクデータのそれぞれは、フィルタアレイの分光透過率の空間分布が反映されたデータである。第１マスクデータは、第１波長バンド群に対応する分光透過率の空間分布を示す第１マスク情報を含む。第２マスクデータは、前記第２波長バンド群に対応する分光透過率の空間分布を示す第２マスク情報を含む。
　第２マスクデータは、指定された１つ以上のサブ波長域以外の非指定波長域に含まれる第３波長バンド群に対応する分光透過率の空間分布を示す情報を合成した第３マスク情報をさらに含んでいてもよい。その場合、信号処理回路２５０は、圧縮画像および第２マスクデータに基づいて、指定された各サブ波長域についての相対的に高い波長分解能を有する分光画像と、指定されなかった非指定波長域についての相対的に低い波長分解能を有する分光画像とを生成することができる。
　図１５Ａおよび図１５Ｂは、メモリ２１０に記録される変換後の第２マスクデータの例を示す図である。図１５Ａに示す例では、１０ｎｍの幅を有する編集後バンドのそれぞれについて、マスク画像と背景画像とが変換後のマスク情報として合成された状態で保存される。背景画像の均一性が非常に高い場合には、マスクデータが背景画像の情報を含んでいなくてもよい。図１５Ｂに示す例では、１０ｎｍの幅を有する編集後バンドのそれぞれについて、変換後のマスクデータが、マスク画像を背景画像で除した合成マスクデータの状態で保存される。編集後バンドの波長幅は１０ｎｍに限らず、任意に設定され得る。
　合成マスク画像は、合成後のバンド幅が広いほど、より多くの単位マスク画像が平均化された画像となる。同様に、合成マスクデータは、合成後のバンド幅が広いほど、より多くの単位マスク画像を単位背景画像で除したマスクデータが平均化されたデータとなる。そのため、合成後のバンド幅が広いほど、合成マスク画像または合成マスクデータはコントラストが小さいデータになる傾向がある。
　図１６は、対象波長域に含まれる複数の波長バンドのそれぞれについての画像を生成する方法の一例を示す図である。この例では、対象波長域が４つのサブ波長域を含む。第１のサブ波長域は、バンド＃１から５を含む。第２のサブ波長域は、バンド＃６から１０を含む。第３のサブ波長域は、バンド＃１１から１５を含む。第４のサブ波長域は、バンド＃１６から２０を含む。この例では、信号処理回路２５０は、各サブ波長域について、そのサブ波長域に属さない全ての単位バンドのマスク情報を合成して復元演算を行う。図１６に示すように、任意のサブ波長域において、そのサブ波長域に含まれない単位バンドのマスク情報を合成しても、サブ波長域内のバンドについては良好な分光画像を生成することができる。このような合成処理を行うことにより、各バンドの画像生成に要する計算時間を短縮することができる。
　続いて、本実施形態の変形例を説明する。
　図１７は、信号処理回路２５０がマスク情報の変換を行わない場合のシステムの構成を示す図である。この例では、信号処理回路２５０が、入力ＵＩ４００から与えられる復元条件と、メモリ２１０に保存されているマスク情報とを読み取り、イメージセンサ１６０から取得した圧縮画像から分光画像を生成する。この場合、信号処理回路２５０は、対象波長域の全体にわたって分光画像を生成し、画像処理回路３２０に出力する。画像処理回路３２０は、取得した分光画像から、設定された復元条件に従って一部の波長バンドについての画像のみをディスプレイ３３０に表示させる。
　図１８は、復元条件を設定するためのＧＵＩの他の例を示す図である。この例では、設定したサブ波長域ごとに異なる波長分解能またはバンド分割数を指定することができる。ユーザは、サブ波長域ごとに、波長分解能かバンド分割数のいずれか一方を入力する。信号処理回路２５０は、入力された波長分解能またはバンド分割数に従って復元演算を行う。このような構成により、サブ波長域ごとに異なる分解能で分光画像を生成することができる。
　図１９は、対象波長域には含まれるもののいずれのサブ波長域にも含まれない波長域（以下、「非指定波長域」と称する。）について合成されたマスク情報から生成された画像を表示するＵＩの例を示す図である。図１９の例では、非指定波長域について生成された１つの画像が表示されているが、２つ以上の非指定波長域についての画像を表示してもよい。非指定波長域についての画像に代えて、あるいは加えて、ＲＧＢ画像を表示してもよい。その場合、対象波長域は、可視波長域を含み、信号処理回路２５０は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各々の波長域についてのマスク情報を合成する。信号処理回路２５０は、この合成したマスク情報を用いて、圧縮画像データから赤、緑、青の各々の波長域についての画像データを生成する。画像処理回路３２０は、生成されたＲＧＢ画像をディスプレイ３３０に表示させる。
　図２０は、２段階の復元を行うことで、特定のサブ波長域のみを高い波長分解能で復元する方法の例を示す図である。この例では、２０の単位バンドを含む対象波長域についての圧縮画像が取得される。図１６を参照して説明した方法を用いて、信号処理回路２５０は、例えば第１から第５バンド、第６から第１０バンド、第１１から第１５バンド、第１６から第２０バンドといった、４つの大きいサブ波長域（以下、「大サブ波長域」と称する。）について復元する。その後、信号処理回路２５０は、指定された特定の大サブ波長域を、さらに小さい複数のバンド（以下、「小サブ波長域」と称する。）に分割するように復元する。複数の小サブ波長域に分割する大サブ波長域の数は任意に決定することができる。図２０の例では、１つの大サブ波長域のみが複数の小サブ波長域に分割されるが、２つ以上の大サブ波長域を複数の小サブ波長域に分割してもよい。また、図２０の例では、信号処理回路２５０は、２段階のバンド分割を行うが、３段階以上の分割を経て分光画像を生成してもよい。また、小サブ波長域は、単位バンドであってもよい。
　さらに、各段階のバンド分割を行う度に、分割された複数の波長域のうちのどの波長域をさらに細かいサブ波長域に分割するかを選択してもよい。当該選択は、ユーザによって行われてもよく、自動的に行われてもよい。
　図２０の例においては、設定データは、各々が対象波長域の一部である複数の大サブ波長域と、複数の大サブ波長域の少なくとも１つに含まれる複数の小サブ波長域とを指定する情報を含む。信号処理回路２５０は、以下の処理を実行する。
・複数の大サブ波長域の各々について、その大サブ波長域に含まれる複数の単位バンドについてのマスク情報を合成した第１合成マスク情報を生成する。
・圧縮画像データと、第１合成マスク情報とに基づいて、大サブ波長域ごとに第１合成画像データを生成する。
・指定された大サブ波長域における複数の小サブ波長域の各々について、その小サブ波長域に含まれる複数の単位バンドについてのマスク情報を合成した第２合成マスク情報を生成する。
・指定された大サブ波長域についての第１合成画像データと、第２合成マスク情報とに基づいて、小サブ波長域ごとに、第２合成画像データを生成する。
　この場合、生成されるハイパースペクトルデータキューブは、複数の小サブ波長域についての第２合成画像データを含む。このような処理により、ユーザが指定した特定の大サブ波長域についてのみ、詳細なスペクトル情報を得ることができる。
　なお、撮像装置の構成、ハイパースペクトル情報の圧縮アルゴリズム、およびハイパースペクトルデータキューブの再構成アルゴリズムは、上述した実施形態に限られない。例えば、フィルタアレイ１１０、光学系１４０、およびイメージセンサ１６０の配置は、図１Ａから図１Ｄに示す配置に限定されず、適宜変形してもよい。また、フィルタアレイ１１０の特性は、図２Ａから図４Ｂを参照して例示した特性に限らず、用途または目的に応じて最適な特性のフィルタアレイ１１０が用いられる。さらに、前述の式（２）に示す圧縮センシングを用いた演算以外の方法を用いて波長バンドごとの分光画像を生成してもよい。例えば、最尤推定法またはベイズ推定法などの他の統計的方法を用いてもよい。
　上記の実施形態では、圧縮画像データは、フィルタアレイ１１０を備えた撮像装置１００によって生成されるが、他の方法によって圧縮画像データを生成してもよい。例えば、任意のハイパースペクトルカメラによって生成されたハイパースペクトルデータキューブに、上記の式（１）における行列Ｈに相当する符号化行列を作用させることによって圧縮画像データを生成してもよい。データの保存または伝送のために、データ量を削減する必要がある場合には、そのようなソフトウェア処理によって圧縮画像データが生成され得る。そのようなソフトウェア処理によって生成された圧縮画像データについても、上記の各実施形態における処理を適用して、波長バンドごとの画像を復元することができる。
　本開示の技術は、例えば、多波長の画像を取得するカメラおよび測定機器に有用である。本開示の技術は、例えば、生体・医療・美容向けセンシング、食品の異物・残留農薬検査システム、リモートセンシングシステムおよび車載センシングシステムにも応用できる。
　７０　　対象物
　１００　撮像装置
　１１０　フィルタアレイ
　１２０　画像
　１４０　光学系
　１５０　制御回路
　１６０　イメージセンサ
　２００　処理装置
　２１０　メモリ
　２２０　分光画像
　２５０　信号処理回路
　３００　表示装置
　３１０　メモリ
　３２０　画像処理回路
　３３０　ディスプレイ
　４００　入力ＵＩ

Claims (22)

  1. 　コンピュータによって実行される信号処理方法であって、
    　対象波長域内のハイパースペクトル情報を圧縮することにより得られた２次元画像情報を含む圧縮画像データを取得することと、
    　前記対象波長域の一部である１つ以上のサブ波長域を指定する設定データを取得することと、
    　前記圧縮画像データに基づき、前記１つ以上のサブ波長域に含まれる複数の波長バンドに対応する複数の２次元画像を生成することと、
    を含む方法。
  2. 　前記ハイパースペクトル情報は、前記対象波長域に含まれる４つ以上の波長バンドの情報であり、
    　前記２次元画像情報は、前記圧縮画像データに含まれる複数の画素のデータであり、
    　前記複数の画素の各々のデータには、前記４つ以上の波長バンドの情報が重畳されている、
    　請求項１に記載の方法。
  3. 　前記設定データは、前記１つ以上のサブ波長域における波長分解能を指定する情報を含み、
    　前記複数の２次元画像は、前記波長分解能で生成される、
    　請求項１または２に記載の方法。
  4. 　前記１つ以上のサブ波長域は、第１サブ波長域および第２サブ波長域を含み、
    　前記複数の２次元画像は、前記第１サブ波長域および前記第２サブ波長域ごとに生成される、
    　請求項１から３のいずれかに記載の方法。
  5. 　前記１つ以上のサブ波長域は、第１サブ波長域および第２サブ波長域を含み、
    　前記波長分解能は、前記第１サブ波長域および前記第２サブ波長域ごとに独立して指定され、
    　前記複数の２次元画像は、前記第１サブ波長域および前記第２サブ波長域ごとに、対応する前記波長分解能で生成される、
    　請求項３に記載の方法。
  6. 　前記第１サブ波長域と前記第２サブ波長域とは離間している、
    　請求項４または５に記載の方法。
  7. 　前記コンピュータに接続されたディスプレイに、前記設定データをユーザに入力させるためのグラフィカルユーザインターフェースを表示させることをさらに含む、
    　請求項１から６のいずれかに記載の方法。
  8. 　前記コンピュータに接続されたディスプレイに、前記複数の２次元画像を表示させることをさらに含む、
    　請求項１から７のいずれかに記載の方法。
  9. 　前記圧縮画像データは、分光透過率が互いに異なる複数種類の光学フィルタを含むフィルタアレイおよびイメージセンサを用いた撮像によって生成され、
    　前記方法は、前記フィルタアレイの前記分光透過率の空間分布が反映されたマスクデータを取得することをさらに含み、
    　前記複数の２次元画像は、前記圧縮画像データおよび前記マスクデータに基づいて生成される、
    　請求項１から８のいずれかに記載の方法。
  10. 　前記マスクデータはマスク情報を含み、
    　前記マスク情報は、前記対象波長域に含まれる複数の単位バンドの各々における前記フィルタアレイの透過率の空間分布を示し、
    　前記方法は、
    　　前記マスク情報の一部分であって、前記対象波長域のうち、前記１つ以上のサブ波長域以外の非指定波長域に含まれる複数の単位バンドに対応する一部分を合成することにより合成マスク情報を生成することと、
    　　前記圧縮画像データおよび前記合成マスク情報に基づいて、前記非指定波長域に対応する合成画像を生成することと、
    をさらに含む、
    　請求項９に記載の方法。
  11. 　前記マスクデータは、複数の背景画像と複数のマスク画像とを含み、
    　前記複数の背景画像の各々は、複数の背景のうちの対応する背景を、前記フィルタアレイを通さずに前記イメージセンサで撮像することによって取得され、
    　前記複数のマスク画像の各々は、前記複数の背景のうちの前記対応する背景を、前記フィルタアレイを通して前記イメージセンサで撮像することによって取得され、
    　前記合成マスク情報は、前記複数のマスク画像および前記複数の背景画像に基づいて生成される、
    　請求項１０に記載の方法。
  12. 　前記コンピュータに接続されたディスプレイに、前記合成画像を表示させることをさらに含む、
    　請求項１０または１１に記載の方法。
  13. 　前記マスクデータはマスク情報を含み、
    　前記マスク情報は、前記対象波長域に含まれる複数の単位バンドの各々における前記フィルタアレイの透過率の空間分布を示し、
    　前記設定データは、各々が前記対象波長域の一部である複数の大サブ波長域と、前記複数の大サブ波長域の少なくとも１つに含まれる複数の小サブ波長域とを指定する情報を含み、
    　前記方法は、
    　　前記マスク情報の一部分であって、前記複数の大サブ波長域の各々について、前記複数の大サブ波長域の各々に含まれる複数の単位バンドに対応する一部分を合成することにより第１合成マスク情報を生成することと、
    　　前記圧縮画像データと前記第１合成マスク情報とに基づいて、前記複数の大サブ波長域の各々について第１合成画像を生成することと、
    をさらに含み、
    　前記複数の２次元画像は、第１合成画像に基づき、前記複数の小サブ波長域に対応して生成される、
    　請求項９に記載の方法。
  14. 　前記対象波長域は、可視波長域を含み、
    　前記方法は、
    　　前記圧縮画像データおよび前記合成マスク情報に基づいて、赤の波長域に対応する画像、緑の波長域に対応する画像、および青の波長域に対応する画像を生成することと、
    　　前記コンピュータに接続されたディスプレイに、前記赤の波長域に対応する画像、前記緑の波長域に対応する画像、および前記青の波長域に対応する画像に基づくＲＧＢ画像を表示させることと、
    をさらに含む、
    　請求項１０に記載の方法。
  15. 　分光透過率が互いに異なる複数種類の光学フィルタを含むフィルタアレイを含む撮像装置によって取得された圧縮画像データから、波長バンドごとの分光画像データを復元するために用いられるマスクデータを生成する方法であって、
    　対象波長域における第１波長バンド群に対応する第１分光画像データを復元するための第１マスクデータを取得することと、
    　前記対象波長域の一部である１つ以上のサブ波長域を指定する設定データを取得することと、
    　前記第１マスクデータと前記設定データとに基づき、前記１つ以上のサブ波長域における第２波長バンド群に対応する第２分光画像データを復元するための第２マスクデータを生成することと、
    を含む方法。
  16. 　前記第１マスクデータおよび前記第２マスクデータは、前記フィルタアレイの分光透過率の空間分布が反映されたデータであり、
    　前記第１マスクデータは、前記第１波長バンド群に対応する前記分光透過率の空間分布を示す第１マスク情報を含み、
    　前記第２マスクデータは、前記第２波長バンド群に対応する前記分光透過率の空間分布を示す第２マスク情報を含む、
    　請求項１５に記載の方法。
  17. 　前記第２マスクデータは、複数の情報を合成することにより得られた第３マスク情報をさらに含み、
    　前記複数の情報の各々は、前記対象波長域のうち、前記１つ以上のサブ波長域以外の非指定波長域に含まれる対応する波長バンドにおける前記分光透過率の空間分布を示す、
    　請求項１６に記載の方法。
  18. 　プロセッサと、
    　前記プロセッサによって実行されるコンピュータプログラムを格納したメモリと、
    を備えた信号処理装置であって、
    　前記コンピュータプログラムは、前記プロセッサに、
    　対象波長域内のハイパースペクトル情報を圧縮することにより得られた２次元画像情報を含む圧縮画像データを取得することと、
    　前記対象波長域の一部である１つ以上のサブ波長域を指定する設定データを取得することと、
    　前記圧縮画像データに基づき、前記１つ以上のサブ波長域に含まれる複数の波長バンドに対応する複数の２次元画像を生成することと、
    を実行させる、信号処理装置。
  19. 　プロセッサと、
    　前記プロセッサによって実行されるコンピュータプログラムを格納したメモリと、
    を備えた信号処理装置であって、
    　前記コンピュータプログラムは、前記プロセッサに、
    　対象波長域における第１波長バンド群に対応する第１分光画像データを復元するための第１マスクデータを取得することと、
    　前記対象波長域の一部である１つ以上のサブ波長域を指定する設定データを取得することと、
    　前記第１マスクデータと前記設定データとに基づき、前記１つ以上のサブ波長域における第２波長バンド群に対応する第２分光画像データを復元するための第２マスクデータを生成することと、
    を実行させる、信号処理装置。
  20. 　請求項１８または１９に記載の信号処理装置と、
    　前記圧縮画像データを生成する撮像装置と、
    を備える、撮像システム。
  21. 　コンピュータに、
    　対象波長域内のハイパースペクトル情報を圧縮することにより得られた２次元画像情報を含む圧縮画像データを取得することと、
    　前記対象波長域の一部である１つ以上のサブ波長域を指定する設定データを取得することと、
    　前記圧縮画像データに基づき、前記１つ以上のサブ波長域に含まれる複数の波長バンドに対応する複数の２次元画像を生成することと、
    を実行させる、コンピュータプログラム。
  22. 　コンピュータに、
    　対象波長域における第１波長バンド群に対応する第１分光画像データを復元するための第１マスクデータを取得することと、
    　前記対象波長域の一部である１つ以上のサブ波長域を指定する設定データを取得することと、
    　前記第１マスクデータと前記設定データとに基づき、前記１つ以上のサブ波長域における第２波長バンド群に対応する第２分光画像データを復元するための第２マスクデータを生成することと、
    を実行させる、コンピュータプログラム。
PCT/JP2021/008433 2020-03-26 2021-03-04 信号処理方法、信号処理装置、および撮像システム WO2021192891A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180018960.9A CN115211106A (zh) 2020-03-26 2021-03-04 信号处理方法、信号处理装置及摄像系统
JP2022509473A JPWO2021192891A1 (ja) 2020-03-26 2021-03-04
EP21775387.0A EP4130693A4 (en) 2020-03-26 2021-03-04 SIGNAL PROCESSING METHOD, SIGNAL PROCESSING DEVICE AND IMAGE CAPTURE SYSTEM
US17/930,093 US20220414948A1 (en) 2020-03-26 2022-09-07 Signal processing method, signal processing device, and imaging system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020-056353 2020-03-26
JP2020056353 2020-03-26
JP2021023067 2021-02-17
JP2021-023067 2021-02-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/930,093 Continuation US20220414948A1 (en) 2020-03-26 2022-09-07 Signal processing method, signal processing device, and imaging system

Publications (1)

Publication Number Publication Date
WO2021192891A1 true WO2021192891A1 (ja) 2021-09-30

Family

ID=77890052

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008433 WO2021192891A1 (ja) 2020-03-26 2021-03-04 信号処理方法、信号処理装置、および撮像システム

Country Status (5)

Country Link
US (1) US20220414948A1 (ja)
EP (1) EP4130693A4 (ja)
JP (1) JPWO2021192891A1 (ja)
CN (1) CN115211106A (ja)
WO (1) WO2021192891A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022163421A1 (ja) * 2021-01-26 2022-08-04 パナソニックＩｐマネジメント株式会社 検査対象に含まれる異物を検出する方法および装置
WO2022176686A1 (ja) * 2021-02-22 2022-08-25 パナソニックＩｐマネジメント株式会社 異物を検出する方法および装置
WO2022196351A1 (ja) * 2021-03-15 2022-09-22 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
WO2023106142A1 (ja) * 2021-12-08 2023-06-15 パナソニックＩｐマネジメント株式会社 信号処理方法、プログラム、およびシステム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016130727A (ja) * 2015-01-08 2016-07-21 パナソニックＩｐマネジメント株式会社 撮像装置
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
JP2017208642A (ja) * 2016-05-17 2017-11-24 キヤノン株式会社 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
JP2018511253A (ja) * 2015-03-24 2018-04-19 ザ ユニバーシティ オブ ユタ リサーチ ファウンデイション 分散して空間的符号化画像を作成する画像を伴う撮像素子
JP2018107731A (ja) * 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005201693A (ja) * 2004-01-13 2005-07-28 Olympus Corp 色票処理装置、色票処理方法及び色票処理プログラム
CN102589695B (zh) * 2012-02-27 2014-02-26 苏州大学 一种光谱成像方法及其系统
CN104244018B (zh) * 2014-09-19 2018-04-27 重庆邮电大学 快速压缩高光谱信号的矢量量化方法
CN104732566B (zh) * 2015-03-16 2017-08-29 西北工业大学 基于非分离稀疏先验的高光谱图像压缩感知方法
CN108960333B (zh) * 2018-07-12 2021-12-17 西安电子科技大学 基于深度学习的高光谱图像无损压缩方法
CN110501071B (zh) * 2019-08-02 2021-07-13 杭州电子科技大学 一种基于模糊编码的压缩高光谱掩膜优化方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
US9599511B2 (en) 2014-11-19 2017-03-21 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus comprising coding element and spectroscopic system comprising the imaging apparatus
JP2016130727A (ja) * 2015-01-08 2016-07-21 パナソニックＩｐマネジメント株式会社 撮像装置
JP2018511253A (ja) * 2015-03-24 2018-04-19 ザ ユニバーシティ オブ ユタ リサーチ ファウンデイション 分散して空間的符号化画像を作成する画像を伴う撮像素子
JP2017208642A (ja) * 2016-05-17 2017-11-24 キヤノン株式会社 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
JP2018107731A (ja) * 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4130693A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022163421A1 (ja) * 2021-01-26 2022-08-04 パナソニックＩｐマネジメント株式会社 検査対象に含まれる異物を検出する方法および装置
WO2022176686A1 (ja) * 2021-02-22 2022-08-25 パナソニックＩｐマネジメント株式会社 異物を検出する方法および装置
WO2022196351A1 (ja) * 2021-03-15 2022-09-22 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
WO2023106142A1 (ja) * 2021-12-08 2023-06-15 パナソニックＩｐマネジメント株式会社 信号処理方法、プログラム、およびシステム

Also Published As

Publication number Publication date
CN115211106A (zh) 2022-10-18
US20220414948A1 (en) 2022-12-29
EP4130693A1 (en) 2023-02-08
EP4130693A4 (en) 2023-09-06
JPWO2021192891A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
JP6952277B2 (ja) 撮像装置および分光システム
WO2021192891A1 (ja) 信号処理方法、信号処理装置、および撮像システム
WO2021246192A1 (ja) 信号処理方法、信号処理装置、および撮像システム
JP6945195B2 (ja) 光学フィルタ、光検出装置、および光検出システム
JP2016130727A (ja) 撮像装置
US11843876B2 (en) Optical filter array, photodetection device, and photodetection system
US10212401B2 (en) Image generation device and imaging device
WO2022230640A1 (ja) 画像処理装置、撮像システム、および復元画像の誤差を推定する方法
WO2022163421A1 (ja) 検査対象に含まれる異物を検出する方法および装置
WO2021241171A1 (ja) フィルタアレイおよび光検出システム
WO2021085014A1 (ja) フィルタアレイおよび光検出システム
WO2021171905A1 (ja) 撮像装置
WO2023282069A1 (ja) 信号処理装置および信号処理方法
WO2024195499A1 (ja) 撮像システム、行列データ、および行列データの生成方法
Eskelinen et al. Dangers of demosaicing: Confusion from correlation
WO2023106142A1 (ja) 信号処理方法、プログラム、およびシステム
WO2023106143A1 (ja) 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
JP2024020922A (ja) 復元画像の評価方法および撮像システム、
WO2023286613A1 (ja) フィルタアレイ、光検出装置、および光検出システム
WO2024142683A1 (ja) 光検出装置、光検出システム、およびフィルタアレイ
JP7122636B2 (ja) フィルタアレイおよび光検出システム
WO2024043009A1 (ja) 信号処理方法および信号処理装置
WO2024053302A1 (ja) 情報処理方法および撮像システム
WO2021241122A1 (ja) フィルタアレイおよび光検出システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21775387

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022509473

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021775387

Country of ref document: EP

Effective date: 20221026