WO2021246192A1 - 信号処理方法、信号処理装置、および撮像システム - Google Patents

信号処理方法、信号処理装置、および撮像システム Download PDF

Info

Publication number
WO2021246192A1
WO2021246192A1 PCT/JP2021/019288 JP2021019288W WO2021246192A1 WO 2021246192 A1 WO2021246192 A1 WO 2021246192A1 JP 2021019288 W JP2021019288 W JP 2021019288W WO 2021246192 A1 WO2021246192 A1 WO 2021246192A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
compressed
image
information
dimensional image
Prior art date
Application number
PCT/JP2021/019288
Other languages
English (en)
French (fr)
Inventor
基樹 八子
篤 石川
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN202180034044.4A priority Critical patent/CN115516851A/zh
Priority to JP2022528738A priority patent/JPWO2021246192A1/ja
Publication of WO2021246192A1 publication Critical patent/WO2021246192A1/ja
Priority to US18/058,043 priority patent/US20230079297A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J2003/283—Investigating the spectrum computer-interfaced
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J2003/283—Investigating the spectrum computer-interfaced
    • G01J2003/2836—Programming unit, i.e. source and date processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J2003/283—Investigating the spectrum computer-interfaced
    • G01J2003/284—Spectral construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils

Definitions

  • the present disclosure relates to a signal processing method, a signal processing device, and an imaging system.
  • Hyperspectral cameras are used in various fields such as food inspection, biopsy, drug development, and mineral component analysis.
  • Patent Document 1 and Patent Document 2 disclose an example of an image pickup device that acquires a hyperspectral image by using compressed sensing.
  • the image pickup apparatus disclosed in Patent Document 1 and Patent Document 2 includes an array of a plurality of optical filters having different transmission spectra on an optical path connecting a subject and an image sensor.
  • spatial compressed sensing is mainly performed using a single-mode interference filter array.
  • compressed sensing of wavelength information is performed using a multimode interference filter array.
  • the methods disclosed in Patent Document 1 and Patent Document 2 are characterized in that a hyperspectral image is generated from a compressed image including compressed hyperspectral information. Such a method has advantages over other methods in terms of resolution and time required for imaging.
  • the present disclosure provides a technique for further reducing the amount of calculation and time required to generate a hyperspectral image.
  • the signal processing method is executed by a computer.
  • the signal processing method includes hyperspectral information which is brightness information for each of at least four wavelength bands included in a target wavelength region, and first compressed image data showing a two-dimensional image in which the hyperspectral information is compressed. , Extracting the partial image data from the first compressed image data, and from the partial image data, the first two-dimensional image data corresponding to the first wavelength band, and the second wavelength. Includes generating a second two-dimensional image data corresponding to the band.
  • the present disclosure may be implemented in recording media such as systems, devices, methods, integrated circuits, computer programs or computer readable recording discs, systems, devices, methods, integrated circuits, etc. It may be realized by any combination of a computer program and a recording medium.
  • the computer-readable recording medium may include a non-volatile recording medium such as a CD-ROM (Compact Disc-Read Only Memory).
  • the device may consist of one or more devices. When the device is composed of two or more devices, the two or more devices may be arranged in one device, or may be separately arranged in two or more separated devices.
  • "device" can mean not only one device, but also a system of multiple devices.
  • the amount of calculation and time required to generate a hyperspectral image can be reduced.
  • FIG. 1A is a diagram schematically showing an exemplary hyperspectral imaging system.
  • FIG. 1B is a diagram schematically showing a first modification of an exemplary hyperspectral imaging system.
  • FIG. 1C is a diagram schematically showing a second modification of an exemplary hyperspectral imaging system.
  • FIG. 1D is a diagram schematically showing a third modification of an exemplary hyperspectral imaging system.
  • FIG. 2A is a diagram schematically showing an example of a filter array.
  • FIG. 2B is a diagram showing an example of the spatial distribution of the transmittance of each of the plurality of wavelength bands W 1 , W 2 , ..., W N included in the target wavelength region.
  • FIG. 1A is a diagram schematically showing an exemplary hyperspectral imaging system.
  • FIG. 1B is a diagram schematically showing a first modification of an exemplary hyperspectral imaging system.
  • FIG. 1C is a diagram schematically showing a second modification of an exemplary hyperspectral imaging system.
  • FIG. 2C is a diagram showing an example of the spectral transmittance of the region A1 included in the filter array shown in FIG. 2A.
  • FIG. 2D is a diagram showing an example of the spectral transmittance of the region A2 included in the filter array shown in FIG. 2A.
  • FIG. 3A is a diagram showing an example of the relationship between the target wavelength region W and a plurality of wavelength bands W 1 , W 2 , ..., W N included therein.
  • FIG. 3B is a diagram showing another example of the relationship between the target wavelength region W and the plurality of wavelength bands W 1 , W 2 , ..., W N included therein.
  • FIG. 4A is a diagram for explaining the characteristics of the spectral transmittance in a certain region of the filter array.
  • FIG. 4A is a diagram for explaining the characteristics of the spectral transmittance in a certain region of the filter array.
  • FIG. 4B is a diagram showing the results of averaging the spectral transmittances shown in FIG. 4A for each wavelength band W 1 , W 2 , ..., W N.
  • FIG. 5 is a diagram showing an example of a compressed image acquired by a hyperspectral camera.
  • FIG. 6 is a diagram showing an example of the relationship between the error of the hyperspectral image generated by the calculation based on compressed sensing and the number of pixels.
  • FIG. 7 is a diagram showing a configuration of an imaging system according to an exemplary embodiment of the present disclosure.
  • FIG. 8 is a flowchart showing the operation of the imaging system.
  • FIG. 9 is a diagram showing an example of a GUI screen for inputting imaging conditions.
  • FIG. 10 is a diagram showing an example of a GUI for setting an area to be extracted.
  • FIG. 11A is a diagram for explaining the mask data editing process.
  • FIG. 11B is a diagram for explaining the mask data editing process.
  • FIG. 12 is a flowchart showing the operation of the imaging system in the first modification.
  • FIG. 13A is a diagram showing an example of an error screen.
  • FIG. 13B is a diagram for explaining the area expansion process.
  • FIG. 13C is a diagram for explaining the region expansion process.
  • FIG. 14 is a flowchart showing the operation of the imaging system in the second modification.
  • FIG. 15 is a diagram showing an example of an error screen.
  • FIG. 16 is a diagram for explaining an example in which a region to be extracted from a compressed image is determined by edge detection.
  • FIG. 16 is a diagram for explaining an example in which a region to be extracted from a compressed image is determined by edge detection.
  • FIG. 17A is a diagram for explaining an example of determining a region to be extracted from a compressed image based on the result of color discrimination.
  • FIG. 17B is a diagram for explaining an example of determining a region to be extracted from a compressed image based on the result of color discrimination.
  • all or part of a circuit, unit, device, member or part, or all or part of a functional block in a block diagram is, for example, a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (lage scale integration). ) Can be performed by one or more electronic circuits.
  • the LSI or IC may be integrated on one chip, or may be configured by combining a plurality of chips.
  • functional blocks other than the storage element may be integrated on one chip.
  • it is called LSI or IC, but the name changes depending on the degree of integration, and it may be called system LSI, VLSI (very large scale integration), or ULSI (ultra large scale integration).
  • Field Programmable Gate Array (FPGA) which is programmed after the LSI is manufactured, or reconfigurable logistic device, which can reconfigure the connection relationship inside the LSI or set up the circuit partition inside the LSI, can also be used for the same purpose.
  • FPGA Field Programmable Gate Array
  • all or part of the function or operation of a circuit, unit, device, member or part can be executed by software processing.
  • the software is recorded on a non-temporary recording medium such as one or more ROMs, optical discs, hard disk drives, etc., and when the software is run by a processor, the features identified by the software. Is executed by the processing device and peripheral devices.
  • the system or device may include one or more non-temporary recording media on which the software is recorded, a processing device, and the required hardware device, such as an interface.
  • FIG. 1A is a diagram schematically showing an exemplary hyperspectral imaging system.
  • This system includes an image pickup device 100 and a signal processing device 200.
  • the image pickup apparatus 100 has the same configuration as the image pickup apparatus disclosed in Patent Document 2.
  • the image pickup apparatus 100 includes an optical system 140, a filter array 110, and an image sensor 160.
  • the filter array 110 has the same structure and function as the "coding element" disclosed in Patent Document 2.
  • the optical system 140 and the filter array 110 are arranged on the optical path of the light incident from the object 70 which is the subject.
  • the filter array 110 is arranged between the optical system 140 and the image sensor 160.
  • FIG. 1A illustrates an apple as an example of the object 70.
  • the object 70 is not limited to an apple, but can be any object.
  • the image sensor 160 generates data of a compressed image 120 in which information of a plurality of wavelength bands is compressed as a two-dimensional monochrome image.
  • the signal processing device 200 generates image data for each of the plurality of wavelength bands included in the target wavelength region based on the data of the compressed image 120 generated by the image sensor 160.
  • the image data of the plurality of wavelength bands generated is referred to as "hyperspectral image data" in the present specification.
  • the number of wavelength bands included in the target wavelength region is N (N is an integer of 4 or more).
  • hyperspectral image 220W 1, 220W 2, ⁇ , and 220 W N the image data of a plurality of wavebands to be generated, called hyperspectral image 220W 1, 220W 2, ⁇ , and 220 W N, collectively referred to as hyperspectral image 220.
  • a signal indicating an image that is, a set of signals representing a pixel value of each pixel may be simply referred to as an "image”.
  • the filter array 110 is an array of a plurality of filters having translucency arranged in rows and columns.
  • the plurality of filters include a plurality of types of filters in which the spectral transmittance, that is, the wavelength dependence of the light transmittance is different from each other.
  • the filter array 110 modulates the intensity of the incident light for each wavelength and outputs the modulation. This process by the filter array 110 is referred to herein as "encoding".
  • the filter array 110 is arranged near or directly above the image sensor 160.
  • “nearby” means that the image of the light from the optical system 140 is close enough to be formed on the surface of the filter array 110 in a state of being clear to some extent.
  • “Directly above” means that they are so close that there is almost no gap.
  • the filter array 110 and the image sensor 160 may be integrated.
  • the optical system 140 includes at least one lens. Although the optical system 140 is shown as one lens in FIG. 1A, the optical system 140 may be a combination of a plurality of lenses. The optical system 140 forms an image on the image pickup surface of the image sensor 160 via the filter array 10.
  • the filter array 110 may be arranged away from the image sensor 160.
  • 1B to 1D are diagrams showing a configuration example of an image pickup apparatus 100 in which the filter array 110 is arranged away from the image sensor 160.
  • the filter array 110 is arranged between the optical system 140 and the image sensor 160 and at a position away from the image sensor 160.
  • the filter array 110 is arranged between the object 70 and the optical system 140.
  • the image pickup apparatus 100 includes two optical systems 140A and 140B, and a filter array 110 is arranged between them.
  • an optical system including one or more lenses may be arranged between the filter array 110 and the image sensor 160.
  • the image sensor 160 is a monochrome type photodetector having a plurality of two-dimensionally arranged photodetectors (also referred to as "pixels" in the present specification).
  • the image sensor 160 may be, for example, a CCD (Charge-Coupled Device), a CMOS (Complementary Metal Oxide Sensor) sensor, an infrared array sensor, a terahertz array sensor, or a millimeter wave array sensor.
  • the photodetector includes, for example, a photodiode.
  • the image sensor 160 does not necessarily have to be a monochrome type sensor.
  • a color type sensor having an R / G / B, R / G / B / IR, or R / G / B / W filter may be used.
  • the wavelength range to be acquired may be arbitrarily determined, and may be not limited to the visible wavelength range but may be the wavelength range of ultraviolet, near infrared, mid-infrared, far-infrared, microwave / radio wave.
  • the signal processing device 200 is a computer including a processor and a storage medium such as a memory.
  • the signal processing unit 200 based on the compressed image 120 acquired by the image sensor 160, a plurality of hyper-spectral image including a plurality of information waveband respectively 220 W 1, 220 W 2, generates data ⁇ ⁇ ⁇ 220 W N ..
  • FIG. 2A is a diagram schematically showing an example of the filter array 110.
  • the filter array 110 has a plurality of regions arranged two-dimensionally. In the present specification, the area may be referred to as a "cell". In each region, an optical filter having individually set spectral transmittance is arranged.
  • the spectral transmittance is represented by a function T ( ⁇ ), where the wavelength of the incident light is ⁇ .
  • the spectral transmittance T ( ⁇ ) can take a value of 0 or more and 1 or less.
  • the filter array 110 has 48 rectangular regions arranged in 6 rows and 8 columns. This is just an example, and in actual use, more areas may be provided. The number may be, for example, about the same as the number of pixels of the image sensor 160. The number of filters included in the filter array 110 is determined depending on the application, for example, in the range of tens to tens of millions.
  • FIG. 2B is a diagram showing an example of the spatial distribution of the transmittance of each of the plurality of wavelength bands W 1 , W 2 , ..., W N included in the target wavelength region.
  • the difference in the shade of each region represents the difference in the transmittance. The lighter the area, the higher the transmittance, and the darker the area, the lower the transmittance.
  • the spatial distribution of light transmittance differs depending on the wavelength band.
  • 2C and 2D are diagrams showing examples of spectral transmittances of regions A1 and A2 included in the filter array 110 shown in FIG. 2A, respectively.
  • the spectral transmittance of the region A1 and the spectral transmittance of the region A2 are different from each other.
  • the spectral transmittance of the filter array 110 varies depending on the region. However, the spectral transmittances of all regions do not necessarily have to be different.
  • the spectral transmittances of at least a part of the plurality of regions are different from each other.
  • the filter array 110 includes two or more filters having different spectral transmittances from each other.
  • the number of spectral transmittance patterns in the plurality of regions included in the filter array 110 may be equal to or greater than the number N of wavelength bands included in the wavelength region of interest.
  • the filter array 110 may be designed so that the spectral transmittances of more than half of the regions are different.
  • the target wavelength range W can be set in various ranges depending on the application.
  • the target wavelength region W can be, for example, a wavelength region of visible light of about 400 nm to about 700 nm, a wavelength region of near infrared rays of about 700 nm to about 2500 nm, or a wavelength region of near ultraviolet rays of about 10 nm to about 400 nm.
  • the target wavelength region W may be a radio wave region such as mid-infrared, far-infrared, terahertz wave, or millimeter wave.
  • the wavelength range used is not always the visible light range.
  • visible light not only visible light but also invisible light such as near-ultraviolet rays, near-infrared rays, and radio waves are referred to as "light" for convenience.
  • N is an arbitrary integer of 4 or more, and each wavelength range obtained by dividing the target wavelength range W into N equal parts is the wavelength bands W 1 , W 2 , ..., W N.
  • a plurality of wavelength bands included in the target wavelength region W may be arbitrarily set.
  • the bandwidth may be non-uniform depending on the wavelength band.
  • the bandwidth differs depending on the wavelength band, and there is a gap between two adjacent wavelength bands.
  • the plurality of wavelength bands need only be different from each other, and the method of determining the wavelength bands is arbitrary.
  • FIG. 4A is a diagram for explaining the characteristics of the spectral transmittance in a certain region of the filter array 110.
  • the spectral transmittance has a plurality of maximum values P1 to P5 and a plurality of minimum values with respect to the wavelength within the target wavelength region W.
  • the maximum value and the minimum value of the light transmittance in the target wavelength region W are normalized to be 1.
  • a wavelength band W 2 and in the wavelength range of such a wavelength band W N-1, the spectral transmittance has a maximum value.
  • the maximum values P1, P3, P4 and P5 are 0.5 or more.
  • the filter array 110 transmits a large amount of components in a certain wavelength range from the incident light, and does not transmit so much components in another wavelength range. For example, for light in k wavelength bands out of N wavelength bands, the transmittance is greater than 0.5, and for light in the remaining Nk wavelength ranges, the transmittance is 0.5. Can be less than. k is an integer satisfying 2 ⁇ k ⁇ N. If the incident light is white light that evenly contains all the wavelength components of visible light, the filter array 110 measures the incident light for each region and has a plurality of discrete peaks of intensity with respect to the wavelength. It is modulated to and these multi-wavelength light is superimposed and output.
  • FIG. 4B is a diagram showing, as an example, the result of averaging the spectral transmittances shown in FIG. 4A for each wavelength band W 1 , W 2 , ..., W N.
  • the averaged transmittance is obtained by integrating the spectral transmittance T ( ⁇ ) for each wavelength band and dividing by the bandwidth of that wavelength band.
  • the value of the transmittance averaged for each wavelength band as described above is defined as the transmittance in that wavelength band.
  • the transmittance is remarkably high in the three wavelength regions having maximum values P1, P3 and P5. In particular, the transmittance exceeds 0.8 in the two wavelength regions having maximum values P3 and P5.
  • a grayscale transmittance distribution in which the transmittance of each region can take any value of 0 or more and 1 or less is assumed. However, it does not necessarily have to be a grayscale transmittance distribution.
  • a binary-scale transmittance distribution may be adopted in which the transmittance of each region can take a value of either approximately 0 or approximately 1.
  • each region transmits most of the light in at least two wavelength regions of the plurality of wavelength regions included in the target wavelength region, and transmits most of the light in the remaining wavelength regions. I won't let you.
  • "most" refers to about 80% or more.
  • a part of all cells, for example half of the cells, may be replaced with a transparent area.
  • Such transparent regions are high transmission of comparable light of all wavelengths bands W 1 from W N included in the target wavelength region W, and transmits, for example, 80% or more transmittance.
  • the plurality of transparent areas may be arranged, for example, in a checkerboard pattern. That is, in the two arrangement directions of the plurality of regions in the filter array 110, regions having different light transmittances depending on the wavelength and transparent regions may be arranged alternately.
  • the data showing the spatial distribution of the spectral transmittance of the filter array 110 is acquired in advance based on the design data or the actual measurement calibration, and is stored in the storage medium included in the signal processing device 200. This data is used for arithmetic processing described later.
  • the filter array 110 may be constructed using, for example, a multilayer film, an organic material, a diffraction grating structure, or a fine structure containing a metal.
  • a multilayer film for example, a dielectric multilayer film or a multilayer film including a metal layer can be used.
  • each filter is formed so that at least one of the thickness, material, and stacking order of each multilayer film is different. This makes it possible to realize different spectral characteristics depending on the filter.
  • the composition using the organic material can be realized by making the pigments or dyes contained different by the filter, or by laminating different materials.
  • a configuration using a diffraction grating structure can be realized by providing a diffraction structure having a different diffraction pitch or depth for each filter.
  • a fine structure containing a metal When a fine structure containing a metal is used, it can be produced by utilizing spectroscopy due to the plasmon effect.
  • the signal processing device 200 reconstructs the multi-wavelength hyperspectral image 220 based on the spatial distribution characteristic of the transmittance for each wavelength of the compressed image 120 output from the image sensor 160 and the filter array 110.
  • the term "multi-wavelength" means, for example, a wavelength range larger than the three-color wavelength range of RGB acquired by a normal color camera.
  • the number of this wavelength range can be, for example, about 4 to 100.
  • the number of wavelength regions is referred to as the number of bands. Depending on the application, the number of bands may exceed 100.
  • the data to be obtained is the data of the hyperspectral image 220, and the data is referred to as f.
  • f is data obtained by integrating the image data f 1 , f 2 , ..., And f N of each band.
  • the horizontal direction of the image is the x direction
  • the vertical direction of the image is the y direction.
  • the number of pixels in the x direction of the image data to be obtained is n and the number of pixels in the y direction is m
  • each of the image data f 1 , f 2 , ..., F N is two-dimensional data of n ⁇ m pixels. Is.
  • the data f is three-dimensional data having the number of elements n ⁇ m ⁇ N.
  • This three-dimensional data is referred to as "hyperspectral image data” or “hyperspectral data cube”.
  • the number of elements of the data g of the compressed image 120 encoded and multiplexed by the filter array 110 is n ⁇ m.
  • the data g can be represented by the following equation (1).
  • each of f 1 , f 2 , ..., And f N is data having n ⁇ m elements. Therefore, the vector on the right side is strictly a one-dimensional vector of n ⁇ m ⁇ N rows and one column.
  • the vector g is converted into a one-dimensional vector having n ⁇ m rows and one column, represented and calculated.
  • the matrix H encodes and intensity-modulates each component f 1 , f 2 , ..., F N of the vector f with different coding information (hereinafter, also referred to as “mask information”) for each wavelength band, and they are used. Represents a transformation that adds. Therefore, H is a matrix of n ⁇ m rows and n ⁇ m ⁇ N columns.
  • the signal processing device 200 utilizes the redundancy of the image included in the data f and obtains a solution by using a compressed sensing method. Specifically, the obtained data f is estimated by solving the following equation (2).
  • f' represents the estimated data of f.
  • the first term in parentheses in the above equation represents the amount of deviation between the estimation result Hf and the acquired data g, the so-called residual term.
  • the sum of squares is used as the residual term, but the absolute value or the square root of the sum of squares may be used as the residual term.
  • the second term in parentheses is a regularization term or a stabilization term. Equation (2) means finding f that minimizes the sum of the first term and the second term.
  • the signal processing device 200 can converge the solution by a recursive iterative operation and calculate the final solution f'.
  • the first term in parentheses in the equation (2) means an operation for finding the sum of squares of the difference between the acquired data g and Hf obtained by transforming f in the estimation process by the matrix H.
  • the second term ⁇ (f) is a constraint condition in the regularization of f, and is a function that reflects the sparse information of the estimated data. This function has the effect of smoothing or stabilizing the estimated data.
  • the regularization term can be represented by, for example, the Discrete Cosine Transform (DCT), Wavelet Transform, Fourier Transform, or Total Variation (TV) of f. For example, when the total variation is used, stable guess data that suppresses the influence of noise in the observation data g can be obtained.
  • the sparsity of the object 70 in the space of each regularization term depends on the texture of the object 70. You may choose a regularization term that makes the texture of the object 70 more sparse in the space of the regularization term. Alternatively, a plurality of regularization terms may be included in the operation.
  • ⁇ is a weighting factor. The larger the weighting coefficient ⁇ , the larger the amount of redundant data to be reduced, and the higher the compression ratio. The smaller the weighting factor ⁇ , the weaker the convergence to the solution.
  • the weighting factor ⁇ is set to an appropriate value at which f converges to some extent and does not cause overcompression.
  • the image encoded by the filter array 110 is acquired in a blurred state on the image pickup surface of the image sensor 160. Therefore, the hyperspectral image 220 can be reconstructed by holding this blur information in advance and reflecting the blur information in the above-mentioned matrix H.
  • the blur information is represented by a point spread function (Point Spread Function: PSF).
  • PSF is a function that defines the degree of spread of the point image to the peripheral pixels. For example, when a point image corresponding to one pixel on an image spreads in a region of k ⁇ k pixels around the pixel due to blurring, PSF is a coefficient group indicating the influence on the brightness of each pixel in the region.
  • the hyperspectral image 220 can be reconstructed by reflecting the influence of the blurring of the coding pattern by the PSF in the matrix H.
  • the position where the filter array 110 is arranged is arbitrary, but a position where the coding pattern of the filter array 110 is too diffused and does not disappear can be selected.
  • the hyperspectral image 220 can be configured from the compressed image 120 acquired by the image sensor 160.
  • the signal processing apparatus 200 applies a compressed sensing algorithm to the entire compressed image 120 to generate a hyperspectral image 220.
  • the higher the resolution of the compressed image 120 the greater the amount of calculation and time required to generate the hyperspectral image 220.
  • the signal processing method is performed by a computer.
  • the signal processing method includes hyperspectral information which is brightness information for each of at least four wavelength bands included in a target wavelength region, and first compressed image data showing a two-dimensional image in which the hyperspectral information is compressed. , Extracting the partial image data from the first compressed image data, and from the partial image data, the first two-dimensional image data corresponding to the first wavelength band, and the second wavelength. Includes generating a second two-dimensional image data corresponding to the band.
  • hyperspectral information means luminance information for each of four or more wavelength bands included in a predetermined target wavelength range.
  • the compressed image data can be acquired by imaging using a filter array including a plurality of types of optical filters having different transmission spectra, for example, as described above.
  • Information of a plurality of wavelength bands for example, four or more, may be superimposed on the data of each pixel of the compressed image data.
  • Information in a wavelength band of 10 or more or 100 or more may be superimposed on the data of each pixel depending on the intended use.
  • the compressed image data may include information of a plurality of wavelength bands, each of which is spatially encoded.
  • the partial image data can be extracted based on, for example, image recognition or instructions from the user.
  • a plurality of two-dimensional image data for a plurality of wavelength bands are generated from the partial image data extracted from the compressed image data. Therefore, the amount of calculation and the calculation time can be reduced as compared with the case of generating a plurality of two-dimensional image data for a plurality of wavelength bands from the entire compressed image.
  • the two-dimensional image data does not have to be generated for all wavelength bands included in the target wavelength region, and may be generated only for some wavelength bands.
  • the two-dimensional image data can be generated, for example, by applying the compressed sensing algorithm as described above to the partial image data.
  • the first compressed image data includes data of a plurality of pixels and includes data of a plurality of pixels.
  • the data of each of the plurality of pixels includes the first information and the second information superimposed on each other.
  • Each of the first information and the second information may correspond to one wavelength band in the at least four wavelength bands.
  • the first compressed image data includes a spatially encoded first information and a spatially encoded second information.
  • Each of the first information and the second information may correspond to one wavelength band in the at least four wavelength bands.
  • the method further comprises determining whether the partial image data is suitable for generating the first two-dimensional image data and the second two-dimensional image data from the partial image data. You may. In that case, different processes are executed depending on the result of the determination.
  • the first process is executed.
  • a second process different from the first process is performed. It may further include executing the process of 2.
  • Determining whether or not the partial image data is suitable for generating the first two-dimensional image data and the second two-dimensional image data from the partial image data is a pixel of the partial image data. Can be done based on numbers. For example, the plurality of two-dimensional image data may be generated only when the number of pixels of the partial image data exceeds a predetermined threshold value.
  • the second process may be to increase the number of pixels of the partial image data.
  • the method when it is determined that the partial image data is not suitable for generating the first two-dimensional image data and the second two-dimensional image data from the partial image data, the method said. It may further include increasing the number of pixels of the partial image data extracted from the compressed image data. In that case, the plurality of two-dimensional image data can be generated from the partial image data in which the number of pixels is increased.
  • the first compressed image data is, for example, an image pickup including a filter array including a plurality of types of optical filters having different spectral transmittances and an image sensor for acquiring an image formed by light passing through the filter array. Can be produced by the device.
  • the second process is to generate the second compressed image data by causing the image pickup apparatus to enlarge and image a region corresponding to the partial image data.
  • the first two-dimensional image data and the second two-dimensional image data may be generated based on the second compressed image data.
  • the image pickup apparatus may further include generating new compressed image data by enlarging and imaging a region corresponding to the partial image data.
  • the first two-dimensional image data and the second two-dimensional image data can be generated based on the new compressed image data.
  • the method may further include acquiring mask data that reflects the spatial distribution of the spectral transmittance of the filter array.
  • the first two-dimensional image data and the second two-dimensional image data can be generated based on the data of the portion of the mask data corresponding to the partial image data and the partial image data.
  • the second process may be to display an error on the display device.
  • the method displays when it is determined that the partial image data is not suitable for generating the first two-dimensional image data and the second two-dimensional image data from the partial image data. It may further include displaying the error on the device.
  • the method may further include displaying on a display device a graphical user interface (GUI) that allows the user to specify an area of the two-dimensional image to be extracted as the partial image data.
  • GUI graphical user interface
  • the method may further include detecting the edges of the two-dimensional image.
  • the partial image data can be extracted based on the detected edges.
  • the method may further include extracting luminance information of a specific wavelength component from the first compressed image data.
  • the partial image data can be extracted based on the luminance information.
  • threshold data for determining whether or not the partial image data is suitable for generating the first two-dimensional image data and the second two-dimensional image data from the partial image data is obtained. It may further include displaying a graphical user interface to be input by the user on the display device.
  • the threshold data may include parameters related to the number of pixels or the luminance error.
  • the signal processing device includes a processor and a memory for storing a computer program executed by the processor.
  • the computer program includes hyperspectral information, which is brightness information for each of at least four wavelength bands included in the target wavelength range, in the processor, and compressed image data showing a two-dimensional image in which the hyperspectral information is compressed. , Extracting partial image data from the compressed image data, and corresponding to the first two-dimensional image data corresponding to the first wavelength band and the second wavelength band from the partial image data. To generate and execute the second two-dimensional image data.
  • the image pickup system includes the signal processing device and the image pickup device for generating the compressed image data.
  • the computer includes hyperspectral information which is brightness information for each of at least four wavelength bands included in the target wavelength range, and the hyperspectral information is compressed into two dimensions. Acquiring compressed image data indicating an image, extracting partial image data from the compressed image data, and from the partial image data, a first two-dimensional image data corresponding to a first wavelength band, and a first The generation of the second two-dimensional image data corresponding to the two wavelength bands and the execution are performed.
  • a computer-readable non-temporary recording medium is brightness information for each of at least four wavelength bands included in the target wavelength range to the computer when performed by the computer.
  • a computer program for generating and executing a first two-dimensional image data corresponding to the wavelength band and a second two-dimensional image data corresponding to the second wavelength band is stored.
  • FIG. 5 is a diagram showing an example of a compressed image 120 acquired by a hyperspectral camera.
  • the signal processing device 200 acquires the compressed image 120 from the image sensor 160 and generates the hyperspectral image 220 by performing the above-mentioned arithmetic processing on the compressed image 120.
  • the hyperspectral camera of the present embodiment extracts a part of the region 121 from the compressed image 120, and generates a hyperspectral image by performing arithmetic processing based on the compressed sensing only for the region 121. ..
  • the amount of calculation required can be reduced as compared with the case where the entire area of the compressed image 120 is subjected to arithmetic processing to generate a hyperspectral image. This makes it possible to improve the calculation speed and reduce the cost of the required calculation processing device (for example, memory and CPU).
  • FIG. 6 is a diagram showing an example of the relationship between the error of the hyperspectral image generated by the calculation based on the above-mentioned compressed sensing and the number of pixels.
  • the graph shown in FIG. 6 shows the dependence of the average luminance error between the generated hyperspectral image and the actual image on the number of pixels for each of the four images shown in FIGS. 6 (a) to 6 (d). Shows sex.
  • the average luminance error is obtained by averaging the absolute value of the difference between the luminance value of the pixel of the generated hyperspectral image and the luminance value of the corresponding pixel of the actual image for all the pixels and all the wavelength bands. It is a percentage of the value obtained by dividing the value obtained by the maximum brightness value. As can be seen from FIG.
  • the luminance error generated in the generated hyperspectral image increases as the number of pixels of the compressed image decreases.
  • the luminance error can increase to, for example, more than 5%.
  • the luminance error of 5% means that when the luminance value of each pixel of the image is expressed by, for example, 10 bits (that is, 1024 gradations), the luminance value of a certain pixel for a certain wavelength band is about 50. It means that it is calculated deviating from the original value.
  • the number of pixels of the compressed image is small, false colors are likely to occur in the generated hyperspectral image.
  • a signal of a size that cannot be ignored is generated in a pixel that should have a very small signal in a certain wavelength band, or conversely, a signal is not detected in a pixel that should have a relatively large signal. Such behavior can occur. Such behavior can lead to false conclusions in applications such as foreign body inspection or visual inspection.
  • the extracted region in the process of extracting a specific region from the compressed image to generate a hyperspectral image, the extracted region is sufficiently large to acquire a hyperspectral image having a small luminance error. If the extracted area does not have a sufficient size, the extracted area is enlarged or an error is output. By introducing such an operation, the generation of false color due to insufficient resolution or the number of pixels of the partial region extracted from the compressed image generated by imaging is suppressed, and the hyperspectrum greatly different from the actual image. It is possible to prevent the image from being generated.
  • FIG. 7 is a diagram showing the configuration of the imaging system of the present embodiment.
  • This system includes an image pickup device 100, a signal processing device 200, a display device 300, and an input user interface (UI) 400.
  • UI input user interface
  • the image pickup apparatus 100 includes an image sensor 160 and a control circuit 150 that controls the image sensor 160. Although not shown in FIG. 7, the image pickup apparatus 100 also includes a filter array 110 and at least one optical system 140, as shown in FIGS. 1A-1D. The arrangement of the filter array 110 and the optical system 140 may be any of the arrangements shown in FIGS. 1A to 1D.
  • the filter array 110 includes a plurality of types of optical filters having different spectral transmittances from each other.
  • the image sensor 160 acquires a black-and-white image based on light whose intensity is modulated for each region by the filter array 110. Information of a plurality of wavelength bands in the target wavelength region W is superimposed on the data of each pixel of this monochrome image.
  • this monochrome image is a two-dimensional image in which the hyperspectral information in the target wavelength range W is compressed.
  • a black-and-white image is an example of a "compressed image”.
  • compressed image data data indicating a compressed image is referred to as "compressed image data”.
  • the wavelength direction and space It can be said that the hyperspectral information is compressed in the direction.
  • the compressed image is not limited to such an example, and may be a two-dimensional image in which the information of each wavelength band is encoded only in the spatial direction, as disclosed in Patent Document 1, for example.
  • the signal processing device 200 includes a signal processing circuit 250 and a memory 210 such as RAM and ROM.
  • the signal processing circuit 250 performs restoration processing based on the compressed image data output from the image sensor 160.
  • This restoration process is basically the same as the process performed by the signal processing apparatus 200 shown in FIGS. 1A to 1D, but in the present embodiment, the restoration process is performed according to the restoration conditions input from the input UI 400.
  • the signal processing circuit 250 generates a hyperspectral image for a specified partial region of the compressed image by performing an operation based on the compressed sensing algorithm. As a result, the amount of calculation and the calculation time can be shortened.
  • the hyperspectral image data includes a total of three-dimensional information, two-dimensional in space and one-dimensional in wavelength.
  • the data showing the hyperspectral image is also referred to as "three-dimensional hyperspectral data”.
  • the display device 300 includes an image processing circuit 320 and a display 330.
  • the image processing circuit 320 performs necessary processing on the image restored by the signal processing circuit 250, and then displays the image on the display 330.
  • the display 330 can be any display, such as a liquid crystal display or an organic LED.
  • the input UI 400 includes hardware and software for setting various conditions such as imaging conditions and restoration conditions.
  • Imaging conditions may include conditions such as resolution, gain, and exposure time.
  • Restoration conditions may include, for example, information indicating whether or not to extract a specific region from the compressed image, information specifying a partial region to be extracted, and conditions such as the number of calculations.
  • the input imaging conditions are sent to the control circuit 150 of the imaging device 100.
  • the control circuit 150 causes the image sensor 160 to perform imaging according to the imaging conditions.
  • the image sensor 160 generates a compressed image in which information of a plurality of wavelength bands in the target wavelength region W is superimposed.
  • the input restoration condition is sent to the signal processing circuit 250 and recorded.
  • the signal processing circuit 250 performs restoration processing according to the set restoration conditions, and generates three-dimensional hyperspectral data for the designated partial region.
  • the image processing circuit 320 causes the display 330 to display an image of a plurality of wavelength bands indicated by the three-dimensional hyperspectral data.
  • the signal processing circuit 250 edits and uses the mask data pre-recorded in the memory 210 according to the restoration conditions input by the input UI 400 as necessary.
  • the mask data is data that reflects the spatial distribution of the spectral transmittance of the filter array 110, and corresponds to the matrix H in the above equation (2).
  • the signal processing circuit 250 uses the partial mask data obtained by extracting the portion corresponding to the specified partial region from the mask data to generate a hyperspectral image for the partial region.
  • the generated hyperspectral image is processed by the image processing circuit 320 as needed.
  • the image processing circuit 320 displays the hyperspectral image on the display 330 after performing processing such as determination of arrangement on the screen, association with band information, or coloring corresponding to the wavelength.
  • FIG. 8 is a flowchart showing the operation of the system of this embodiment.
  • the user first inputs the imaging condition and the restoration condition via the input UI 400 (step S101).
  • the input data indicating the imaging conditions is sent to the control circuit 150.
  • the input data indicating the restoration condition is sent to the signal processing circuit 250.
  • the image pickup apparatus 100 acquires a compressed image by taking an image of the object according to the image pickup conditions (step S102).
  • the signal processing circuit 250 determines whether or not it is necessary to extract a specific region from the compressed image (step S103). Whether or not a particular region needs to be extracted from the compressed image can be determined, for example, based on restoration conditions entered by the user.
  • the signal processing circuit 250 may automatically determine the necessity of region extraction based on the content of the compressed image. For example, when a specific shape is detected in the compressed image, a region other than that region may be extracted. Such a process corresponds to, for example, a process of removing a portion of a shelf having many straight lines from a compressed image in an application for selecting fruits and vegetables on a display shelf.
  • the signal processing circuit 250 may limit the area by rough color discrimination. For example, in the visual inspection of a building, it is possible to remove the blue part of the sky.
  • the signal processing circuit 250 When it is determined that it is not necessary to extract a specific region, the signal processing circuit 250 generates a hyperspectral image by the above-mentioned method based on the compressed image and the mask data (step S104).
  • the image processing circuit 320 displays the generated hyperspectral image on the display 330 (step S130).
  • the signal processing circuit 250 determines a candidate for the region to be extracted (step S111).
  • the signal processing circuit 250 determines, for example, a region designated by the user as a candidate.
  • the signal processing circuit 250 may determine a candidate for a region to be extracted from a compressed image or an image similar thereto by a method such as edge detection or detection of luminance information of a specific wavelength component.
  • An image similar to the compressed image is, for example, a color image generated by restoring the three primary colors of R (red), G (green), and B (blue) from the compressed image, or the compressed image is shown by mask data of all wavelength bands. It may be a monochrome image that has been denoised by multiplying it by the inverse of the transmittance distribution.
  • the signal processing circuit 250 determines whether the candidate of the area to be extracted has a sufficient resolution for performing the restoration calculation, that is, whether or not the amount of spatial information is sufficient (step S112).
  • whether or not the candidate of the region to be extracted has a sufficient resolution for performing the restoration operation is, for example, whether or not the number of pixels of the candidate of the region exceeds a preset threshold value. Can be judged on the basis of.
  • the threshold value may differ depending on the target of the restoration operation.
  • the imaging system may be configured so that the threshold can be set by the user via the input UI 400.
  • the user may input the number of pixels as a threshold value, but the present invention is not limited to this.
  • the user may input the luminance error as a threshold value, and the imaging system may convert the input luminance error into the number of pixels based on the relationship shown in FIG.
  • the signal processing circuit 250 expands the candidates of the region to be extracted (step S113). For example, by adding all the pixels adjacent to the outermost peripheral portion of the region determined in step S111 to the region candidates, the region candidates to be extracted can be expanded. As a result, a candidate for a new extraction region is determined by supplementing the amount of spatial information.
  • step S112 the processes of steps S111 to S113 are repeated until it is determined that the size of the determined region candidate is sufficient.
  • the extraction area having sufficient resolution for performing the restoration calculation is determined, and the partial image is extracted from the compressed image.
  • the signal processing circuit 250 edits the mask data stored in the memory 210 by cutting out the data corresponding to the area to be extracted (step S121). Subsequently, the signal processing circuit 250 generates a hyperspectral image using the partial image extracted from the compressed image and the cut out mask data (step S122). The calculation for generating the hyperspectral image is the same as the calculation described with reference to the equations (1) and (2).
  • the image processing circuit 320 displays the generated hyperspectral image on the display 330 (step S130).
  • the above extraction and arithmetic processing may be performed on a single area in the compressed image, or may be performed on a plurality of areas. When the above processing is performed on a plurality of areas, the above processing may be executed individually for each area.
  • GUI graphical user interface
  • FIG. 9 shows an example of a GUI screen for inputting imaging conditions.
  • the user sets the resolution, gain, exposure time, and frame rate before performing hyperspectral imaging.
  • the resolution represents the number of vertical and horizontal pixels of the displayed image.
  • the resolution can be specified, for example, by the user selecting a name such as VGA, HD, 4K from the pull-down menu, or by directly inputting the number of vertical and horizontal pixels.
  • the gain is specified by a rational number of 0 or more, and may be input by addition, subtraction, multiplication, and division of rational numbers. For example, when 8/3 is input, the gain can be set as 2.6666 ... dB. Both the exposure time and the frame rate do not have to be entered.
  • the user may input at least one of the exposure time and the frame rate, and if a conflict occurs (for example, a frame rate of 30 fps at an exposure time of 100 ms), one of them may be prioritized.
  • a function for automatically adjusting the gain, the exposure time, and the frame rate may be provided.
  • the average brightness may be automatically adjusted to be 1/2 of the maximum brightness.
  • the GUI for inputting the imaging conditions may have the function of saving and loading the set imaging conditions.
  • the GUI may have a function of displaying the compressed image 120 acquired under the set imaging conditions in real time. Here, it is not always necessary to display the compressed image itself. Any image acquired under the imaging conditions set at that time may be displayed.
  • pixels that output only the values of red (R), green (G), and blue (B) may be arranged, and the RGB image acquired using only the values of those pixels may be displayed.
  • restoration is performed in three bands with 400 nm to 500 nm as the first band, 500 nm to 600 nm as the second band, and 600 nm to 700 nm as the third band, and the restoration result is an RGB image. It may be displayed as.
  • FIG. 10 is a diagram showing an example of a GUI in which a user can manually set an area to be extracted.
  • the area 121 to be extracted can be specified from the displayed compressed image 120 or an image similar thereto by a method such as drag and drop or coordinate input.
  • the area to be calculated can be displayed on the GUI by, for example, superimposing a figure having a transmittance of 1% or more surrounded by a dotted line.
  • the area specified by the user may be automatically modified. For example, a handwritten circle may be automatically corrected to a perfect circle or an ellipse.
  • FIG. 10 shows an example in which a single area is designated as a calculation target, but a plurality of areas may be designated as calculation targets. In this way, the signal processing circuit 250 causes the display device 300 to display a GUI that causes the user to specify an image area extracted as a partial image.
  • the signal processing circuit 250 contains a sufficient amount of spatial information for arithmetic processing based on the number of pixels in the determined region. Determine if it is. The minimum number of pixels required for arithmetic processing varies depending on the observation target or the allowable luminance error.
  • the signal processing circuit 250 determines that the determined region does not include the number of pixels required for arithmetic processing, the signal processing circuit 250 expands the peripheral portion of the candidate in the region to obtain the number of pixels required for arithmetic processing. For example, the region can be expanded by repeating the process of incorporating all the pixels adjacent to the peripheral portion of the candidate of the region into the candidate of the region.
  • FIG. 11A and 11B are diagrams for explaining the mask data editing process in step S121 of FIG.
  • FIG. 11A consider a case where a region 121 included in the compressed image 120 is extracted to generate a hyperspectral image.
  • the compressed image 120 is acquired by photographing using a filter array having the transmittance information 170 as shown in FIG. 11B.
  • the calculation for generating the hyperspectral image for the region 121 is performed using the transmittance information 171 of the region corresponding to the region 121 in the transmittance information 170.
  • the editing of the mask data in step S121 may include cutting out only a part of the transmittance information included in the mask data to generate the mask data used for the calculation.
  • the signal processing circuit 250 extracts a partial image from a compressed image which is a two-dimensional monochrome image including hyperspectral information, and uses a compressed sensing algorithm to extract a hyperspectral from the partial image. Generate an image. The signal processing circuit 250 determines whether or not it is possible to generate a hyperspectral image from a partial image based on the number of pixels of the partial image. If it is determined that it is possible to generate a hyperspectral image from a partial image, the signal processing circuit 250 generates a hyperspectral image based on the partial image.
  • the signal processing circuit 250 increases the number of pixels of the partial image extracted from the compressed image, and is based on the partial image in which the number of pixels is increased. To generate a hyperspectral image.
  • the amount of calculation required to generate the hyperspectral image can be reduced, and further, the generation of false color in the hyperspectral image can be suppressed.
  • FIG. 12 is a flowchart showing an example in which the operations of steps S114 and S115 are executed instead of step S113 in FIG.
  • the signal processing circuit 250 causes the display device 300 to display an error (step S114).
  • the signal processing circuit 250 instructs the image pickup apparatus 100 to magnify and photograph the periphery of the extracted region (step S115).
  • the image pickup apparatus 100 generates a new compressed image in which the area of the object is enlarged as compared with the previous time.
  • a candidate for a region to be extracted is determined from this new compressed image.
  • FIG. 13A is a diagram showing an example of an error screen displayed in step S114.
  • an error message is displayed indicating that the extracted area is too small and that the area around the target area is enlarged and the image is taken again.
  • "enlarge the periphery of the target area and take a picture again” means, for example, a new compressed image as shown in FIG. 13C in which the periphery of the extraction region 121 is enlarged from the original compressed image 120A as shown in FIG. 13B. Refers to producing 120B.
  • the image pickup apparatus 100 uses, for example, a zoom function to generate a compressed image in which the periphery of the target area is enlarged.
  • the enlarged compressed image is automatically generated, but the compressed image may be generated by the user manually operating the compressed image. In that case, after seeing the error message, the user operates the image pickup apparatus 100 to take a picture so that the object in the image is further enlarged. As a result, a compressed image in which the periphery of the target area is enlarged is generated, and a hyperspectral image is generated based on the compressed image.
  • step S112 when it is determined in step S112 that the extracted area does not have a sufficient size for calculation, an error is displayed in step S114, processing is completed, and the extraction area is reset. It is a flowchart which shows the modification which prompts.
  • FIG. 15 is a diagram showing an example of the displayed error screen.
  • the hyperspectral data cannot be constructed because the extraction area is too small, and an error message indicating that the processing is interrupted is displayed. Instead of such a message, a message may be displayed to urge the user to enlarge the periphery of the target area and take a picture again.
  • FIG. 16 is a diagram for explaining an example in which a region to be extracted is determined by edge detection from a compressed image or an image similar thereto in step S111 in FIGS. 8, 12, and 14.
  • the signal processing circuit 250 detects an edge in the compressed image and determines a candidate region to be extracted based on the detected edge.
  • the buildings 201 and 202 are discriminated by detecting the structure surrounded by the straight line.
  • the user may be made to decide whether or not to perform the restoration operation on the area extracted by the edge detection.
  • a GUI as shown in FIG. 10 may display the detected area as a dotted line or a graphic having a transmittance of 1% or more so that the user can manually decide to extract the area. good.
  • the signal processing circuit 250 detects an edge in the two-dimensional image indicated by the compressed image data, and extracts partial image data based on the detected edge.
  • step S111 the signal processing circuit 250 extracts the luminance information of the specific wavelength component from the compressed image or an image similar thereto, and extracts the partial image based on the luminance information of the specific wavelength component. ..
  • the signal processing circuit 250 extracts the luminance information of the specific wavelength component from the compressed image or an image similar thereto, and extracts the partial image based on the luminance information of the specific wavelength component. ..
  • the signal processing circuit 250 extracts the luminance information of the specific wavelength component from the compressed image or an image similar thereto, and extracts the partial image based on the luminance information of the specific wavelength component. ..
  • blue or purple fruits are growing surrounded by green leaves and brown branches. In this case, as shown in FIG.
  • the signal processing circuit 250 extracts the luminance information of the specific wavelength component from the compressed image data, and obtains the partial image data based on the luminance information of the specific wavelength component. Extract.
  • the configuration of the image pickup apparatus, the compression method of hyperspectral information, and the reconstruction algorithm of three-dimensional hyperspectral data are not limited to the above-described embodiment.
  • the arrangement of the filter array 110, the optical system 140, and the image sensor 160 is not limited to the arrangement shown in FIGS. 1A to 1D, and may be appropriately modified.
  • the characteristics of the filter array 110 are not limited to the characteristics exemplified with reference to FIGS. 2A to 4B, and the filter array 110 having the optimum characteristics depending on the application or purpose is used.
  • the technique of the present disclosure is useful, for example, for cameras and measuring devices that acquire multi-wavelength images.
  • the technique of the present disclosure can be applied to, for example, sensing for living organisms / medical / beauty, foreign matter / residual pesticide inspection system for food, remote sensing system and in-vehicle sensing system.
  • Imaging device 70
  • Filter array 120
  • Compressed image 140
  • Optical system 150
  • Control circuit 160
  • Image sensor 200
  • Memory 220
  • Hyperspectral image 250
  • Signal processing circuit 300
  • Display device 320
  • Image processing circuit 330
  • Display 400 Input UI

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

信号処理方法は、コンピュータによって実行される。前記信号処理方法は、対象波長域に含まれる少なくとも４つの波長バンドの各々についての輝度情報であるハイパースペクトル情報を含み、前記ハイパースペクトル情報が圧縮された２次元画像を示す第１の圧縮画像データを取得することと、前記第１の圧縮画像データから部分画像データを抽出することと、前記部分画像データから、第１の波長バンドに対応する第１の２次元画像データ、及び第２の波長バンドに対応する第２の２次元画像データを生成することと、を含む。

Description

信号処理方法、信号処理装置、および撮像システム
　本開示は、信号処理方法、信号処理装置、および撮像システムに関する。
　各々が狭帯域である多数のバンド、例えば数十バンドのスペクトル情報を活用することにより、従来のＲＧＢ画像では不可能であった対象物の詳細な物性の把握が可能になる。このような多波長の情報を取得するカメラは、「ハイパースペクトルカメラ」と呼ばれる。ハイパースペクトルカメラは、食品検査、生体検査、医薬品開発、および鉱物の成分分析などの様々な分野で利用されている。
　特許文献１および特許文献２は、圧縮センシングを利用してハイパースペクトル画像を取得する撮像装置の例を開示している。特許文献１および特許文献２に開示された撮像装置は、被写体とイメージセンサとを結ぶ光路上に、透過スペクトルが互いに異なる複数の光学フィルタのアレイを備える。特許文献１においては、主に単一モード干渉フィルタアレイを用いて空間的な圧縮センシングが行われる。一方、特許文献２においては、多モード干渉フィルタアレイを用いて波長情報の圧縮センシングが行われる。特許文献１および特許文献２に開示された方法は、圧縮されたハイパースペクトル情報を含む圧縮画像からハイパースペクトル画像を生成する点に特徴を有している。そのような方法は、解像度および撮像に要する時間の点で、他の方式と比較して優位性を有する。
国際公開第２０１６／０１２９８０号明細書 米国特許第９５９９５１１号明細書
　本開示は、ハイパースペクトル画像の生成に要する計算量および時間をさらに低減するための技術を提供する。
　本開示の一態様に係る信号処理方法は、コンピュータによって実行される。前記信号処理方法は、対象波長域に含まれる少なくとも４つの波長バンドの各々についての輝度情報であるハイパースペクトル情報を含み、前記ハイパースペクトル情報が圧縮された２次元画像を示す第１の圧縮画像データを取得することと、前記第１の圧縮画像データから部分画像データを抽出することと、前記部分画像データから、第１の波長バンドに対応する第１の２次元画像データ、及び第２の波長バンドに対応する第２の２次元画像データを生成することと、を含む。
　本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意の組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ‐Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含み得る。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
　本開示の一態様によれば、ハイパースペクトル画像の生成に要する計算量および時間を低減することができる。
図１Ａは、例示的なハイパースペクトル撮像システムを模式的に示す図である。 図１Ｂは、例示的なハイパースペクトル撮像システムの第１の変形例を模式的に示す図である。 図１Ｃは、例示的なハイパースペクトル撮像システムの第２の変形例を模式的に示す図である。 図１Ｄは、例示的なハイパースペクトル撮像システムの第３の変形例を模式的に示す図である。 図２Ａは、フィルタアレイの例を模式的に示す図である。 図２Ｂは、対象波長域に含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮのそれぞれの光の透過率の空間分布の一例を示す図である。 図２Ｃは、図２Ａに示すフィルタアレイに含まれる領域Ａ１の分光透過率の例を示す図である。 図２Ｄは、図２Ａに示すフィルタアレイに含まれる領域Ａ２の分光透過率の例を示す図である。 図３Ａは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係の一例を示す図である。 図３Ｂは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係の他の例を示す図である。 図４Ａは、フィルタアレイのある領域における分光透過率の特性を説明するための図である。 図４Ｂは、図４Ａに示す分光透過率を、波長バンドＷ１、Ｗ２、・・・、ＷＮごとに平均化した結果を示す図である。 図５は、ハイパースペクトルカメラによって取得される圧縮画像の例を示す図である。 図６は、圧縮センシングに基づく演算によって生成されたハイパースペクトル画像の誤差と画素数との関係の例を示す図である。 図７は、本開示の例示的な実施形態における撮像システムの構成を示す図である。 図８は、撮像システムの動作を示すフローチャートである。 図９は、撮像条件を入力するためのＧＵＩの画面の例を示す図である。 図１０は、抽出対象の領域を設定するためのＧＵＩの例を示す図である。 図１１Ａは、マスクデータの編集処理を説明するための図である。 図１１Ｂは、マスクデータの編集処理を説明するための図である。 図１２は、第１の変形例における撮像システムの動作を示すフローチャートである。 図１３Ａは、エラー画面の例を示す図である。 図１３Ｂは、領域拡大処理を説明するための図である。 図１３Ｃは、領域拡大処理を説明するための図である。 図１４は、第２の変形例における撮像システムの動作を示すフローチャートである。 図１５は、エラー画面の例を示す図である。 図１６は、圧縮画像から抽出すべき領域をエッジ検出によって決定する例を説明するための図である。 図１７Ａは、圧縮画像から抽出すべき領域を色判別の結果に基づいて決定する例を説明するための図である。 図１７Ｂは、圧縮画像から抽出すべき領域を色判別の結果に基づいて決定する例を説明するための図である。
　以下で説明される実施形態は、いずれも包括的または具体的な例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置、位置および接続形態、ステップ、およびステップの順序は、一例であり、本開示の技術を限定する趣旨ではない。以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一または類似の構成要素には同一の符号が付されている。重複する説明は省略または簡略化されることがある。
　本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅも同じ目的で使うことができる。
　さらに、回路、ユニット、装置、部材または部の全部または一部の機能または動作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは、１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
　まず、本開示の実施形態に係るハイパースペクトル撮像システムの構成例、および本発明者らによって見出された知見を説明する。
　図１Ａは、例示的なハイパースペクトル撮像システムを模式的に示す図である。このシステムは、撮像装置１００と、信号処理装置２００とを備える。撮像装置１００は、特許文献２に開示された撮像装置と同様の構成を備える。撮像装置１００は、光学系１４０と、フィルタアレイ１１０と、イメージセンサ１６０とを備える。フィルタアレイ１１０は、特許文献２に開示されている「符号化素子」と同様の構造および機能を有する。光学系１４０およびフィルタアレイ１１０は、被写体である対象物７０から入射する光の光路上に配置されている。フィルタアレイ１１０は、光学系１４０とイメージセンサ１６０との間に配置される。
　図１Ａには、対象物７０の一例として、リンゴが例示されている。対象物７０は、リンゴに限らず、任意の物体であり得る。イメージセンサ１６０は、複数の波長バンドの情報が２次元のモノクロ画像として圧縮された圧縮画像１２０のデータを生成する。信号処理装置２００は、イメージセンサ１６０が生成した圧縮画像１２０のデータに基づいて、対象波長域に含まれる複数の波長バンドのそれぞれについての画像データを生成する。この生成される複数の波長バンドの画像データを、本明細書において「ハイパースペクトル画像データ」と称する。ここで、対象波長域に含まれる波長バンドの数をＮ（Ｎは４以上の整数）とする。以下の説明において、生成される複数の波長バンドの画像データを、ハイパースペクトル画像２２０Ｗ１、２２０Ｗ２、・・・、２２０ＷＮと称し、これらをハイパースペクトル画像２２０と総称する。本明細書において、画像を示す信号、すなわち、各画素の画素値を表す信号の集合を、単に「画像」と称することがある。
　フィルタアレイ１１０は、行および列状に配列された透光性を有する複数のフィルタのアレイである。複数のフィルタは、分光透過率、すなわち光透過率の波長依存性が互いに異なる複数種類のフィルタを含む。フィルタアレイ１１０は、入射光の強度を波長ごとに変調して出力する。フィルタアレイ１１０によるこの過程を、本明細書において「符号化」と称する。
　図１Ａに示す例において、フィルタアレイ１１０は、イメージセンサ１６０の近傍または直上に配置されている。ここで「近傍」とは、光学系１４０からの光の像がある程度鮮明な状態でフィルタアレイ１１０の面上に形成される程度に近接していることを意味する。「直上」とは、ほとんど隙間が生じない程両者が近接していることを意味する。フィルタアレイ１１０およびイメージセンサ１６０は一体化されていてもよい。
　光学系１４０は、少なくとも１つのレンズを含む。図１Ａでは、光学系１４０が１つのレンズとして示されているが、光学系１４０は複数のレンズの組み合わせであってもよい。光学系１４０は、フィルタアレイ１０を介して、イメージセンサ１６０の撮像面上に像を形成する。
　フィルタアレイ１１０は、イメージセンサ１６０から離れて配置されていてもよい。図１Ｂから図１Ｄは、フィルタアレイ１１０がイメージセンサ１６０から離れて配置されている撮像装置１００の構成例を示す図である。図１Ｂの例では、フィルタアレイ１１０が、光学系１４０とイメージセンサ１６０との間で且つイメージセンサ１６０から離れた位置に配置されている。図１Ｃの例では、フィルタアレイ１１０が対象物７０と光学系１４０との間に配置されている。図１Ｄの例では、撮像装置１００が２つの光学系１４０Ａおよび１４０Ｂを備え、それらの間にフィルタアレイ１１０が配置されている。これらの例のように、フィルタアレイ１１０とイメージセンサ１６０との間に１つ以上のレンズを含む光学系が配置されていてもよい。
　イメージセンサ１６０は、２次元的に配列された複数の光検出素子（本明細書において、「画素」とも呼ぶ。）を有するモノクロタイプの光検出器である。イメージセンサ１６０は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、赤外線アレイセンサ、テラヘルツアレイセンサ、またはミリ波アレイセンサであり得る。光検出素子は、例えばフォトダイオードを含む。イメージセンサ１６０は、必ずしもモノクロタイプのセンサである必要はない。例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプのセンサを用いてもよい。カラータイプのセンサを使用することで、波長に関する情報量を増やすことができ、ハイパースペクトル画像２２０の再構成の精度を向上させることができる。取得対象の波長範囲は任意に決定してよく、可視の波長範囲に限らず、紫外、近赤外、中赤外、遠赤外、マイクロ波・電波の波長範囲であってもよい。
　信号処理装置２００は、プロセッサと、メモリ等の記憶媒体とを備えるコンピュータである。信号処理装置２００は、イメージセンサ１６０によって取得された圧縮画像１２０に基づいて、複数の波長バンドの情報をそれぞれ含む複数のハイパースペクトル画像２２０Ｗ１、２２０Ｗ２、・・・２２０ＷＮのデータを生成する。
　図２Ａは、フィルタアレイ１１０の例を模式的に示す図である。フィルタアレイ１１０は、２次元的に配列された複数の領域を有する。本明細書では、当該領域を、「セル」と称することがある。各領域には、個別に設定された分光透過率を有する光学フィルタが配置されている。分光透過率は、入射光の波長をλとして、関数Ｔ（λ）で表される。分光透過率Ｔ（λ）は、０以上１以下の値を取り得る。
　図２Ａに示す例では、フィルタアレイ１１０は、６行８列に配列された４８個の矩形領域を有する。これはあくまで例示であり、実際の用途では、これよりも多くの領域が設けられ得る。その数は、例えばイメージセンサ１６０の画素数と同程度であってもよい。フィルタアレイ１１０に含まれるフィルタ数は、例えば数十から数千万の範囲で用途に応じて決定される。
　図２Ｂは、対象波長域に含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮのそれぞれの光の透過率の空間分布の一例を示す図である。図２Ｂに示す例では、各領域の濃淡の違いは、透過率の違いを表している。淡い領域ほど透過率が高く、濃い領域ほど透過率が低い。図２Ｂに示すように、波長バンドによって光透過率の空間分布が異なっている。
　図２Ｃおよび図２Ｄは、それぞれ、図２Ａに示すフィルタアレイ１１０に含まれる領域Ａ１および領域Ａ２の分光透過率の例を示す図である。領域Ａ１の分光透過率と領域Ａ２の分光透過率とは、互いに異なる。このように、フィルタアレイ１１０の分光透過率は、領域によって異なる。ただし、必ずしもすべての領域の分光透過率が異なっている必要はない。フィルタアレイ１１０では、複数の領域の少なくとも一部の領域の分光透過率が互いに異なっている。フィルタアレイ１１０は、分光透過率が互いに異なる２つ以上のフィルタを含む。ある例では、フィルタアレイ１１０に含まれる複数の領域の分光透過率のパターンの数は、対象波長域に含まれる波長バンドの数Ｎと同じか、それ以上であり得る。フィルタアレイ１１０は、半数以上の領域の分光透過率が異なるように設計されていてもよい。
　図３Ａおよび図３Ｂは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係を説明するための図である。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば、約４００ｎｍから約７００ｎｍの可視光の波長域、約７００ｎｍから約２５００ｎｍの近赤外線の波長域、または約１０ｎｍから約４００ｎｍの近紫外線の波長域であり得る。あるいは、対象波長域Ｗは、中赤外、遠赤外、テラヘルツ波、またはミリ波などの電波域であってもよい。このように、使用される波長域は可視光域とは限らない。本明細書では、可視光に限らず、近紫外線、近赤外線、および電波などの非可視光も便宜上「光」と称する。
　図３Ａに示す例では、Ｎを４以上の任意の整数として、対象波長域ＷをＮ等分したそれぞれの波長域を波長バンドＷ１、Ｗ２、・・・、ＷＮとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数の波長バンドは任意に設定してもよい。例えば、波長バンドによって帯域幅を不均一にしてもよい。隣接する波長バンドの間にギャップまたは重なりがあってもよい。図３Ｂに示す例では、波長バンドによって帯域幅が異なり、且つ隣接する２つの波長バンドの間にギャップがある。このように、複数の波長バンドは、互いに異なっていればよく、その決め方は任意である。
　図４Ａは、フィルタアレイ１１０のある領域における分光透過率の特性を説明するための図である。図４Ａに示す例では、分光透過率は、対象波長域Ｗ内の波長に関して、複数の極大値Ｐ１からＰ５、および複数の極小値を有する。図４Ａに示す例では、対象波長域Ｗ内での光透過率の最大値が１、最小値が０となるように正規化されている。図４Ａに示す例では、波長バンドＷ２、および波長バンドＷＮ－１などの波長域において、分光透過率が極大値を有している。このように、各領域の分光透過率は、複数の波長バンドＷ１からＷＮのうち、少なくとも２つの複数の波長域において極大値を有する。図４Ａの例では、極大値Ｐ１、Ｐ３、Ｐ４およびＰ５は０．５以上である。
　以上のように、各領域の光透過率は、波長によって異なる。したがって、フィルタアレイ１１０は、入射する光のうち、ある波長域の成分を多く透過させ、他の波長域の成分をそれほど透過させない。例えば、Ｎ個の波長バンドのうちのｋ個の波長バンドの光については、透過率が０．５よりも大きく、残りのＮ－ｋ個の波長域の光については、透過率が０．５未満であり得る。ｋは、２≦ｋ＜Ｎを満たす整数である。仮に入射光が、すべての可視光の波長成分を均等に含む白色光であった場合には、フィルタアレイ１１０は、入射光を領域ごとに、波長に関して離散的な複数の強度のピークを有する光に変調し、これらの多波長の光を重畳して出力する。
　図４Ｂは、一例として、図４Ａに示す分光透過率を、波長バンドＷ１、Ｗ２、・・・、ＷＮごとに平均化した結果を示す図である。平均化された透過率は、分光透過率Ｔ（λ）を波長バンドごとに積分してその波長バンドの帯域幅で除算することによって得られる。本明細書では、このように波長バンドごとに平均化した透過率の値を、その波長バンドにおける透過率とする。この例では、極大値Ｐ１、Ｐ３およびＰ５をとる３つの波長域において、透過率が突出して高くなっている。特に、極大値Ｐ３およびＰ５をとる２つの波長域において、透過率が０．８を超えている。
　図２Ａから図２Ｄに示す例では、各領域の透過率が０以上１以下の任意の値をとり得るグレースケールの透過率分布が想定されている。しかし、必ずしもグレースケールの透過率分布にする必要はない。例えば、各領域の透過率がほぼ０またはほぼ１のいずれかの値を取り得るバイナリスケールの透過率分布を採用してもよい。バイナリスケールの透過率分布では、各領域は、対象波長域に含まれる複数の波長域のうちの少なくとも２つの波長域の光の大部分を透過させ、残りの波長域の光の大部分を透過させない。ここで「大部分」とは、概ね８０％以上を指す。
　全セルのうちの一部、例えば半分のセルを、透明領域に置き換えてもよい。そのような透明領域は、対象波長域Ｗに含まれるすべての波長バンドＷ１からＷＮの光を同程度の高い透過率、例えば８０％以上の透過率で透過させる。そのような構成では、複数の透明領域は、例えば市松（checkerboard）状に配置され得る。すなわち、フィルタアレイ１１０における複数の領域の２つの配列方向において、光透過率が波長によって異なる領域と、透明領域とが交互に配列され得る。
　このようなフィルタアレイ１１０の分光透過率の空間分布を示すデータは、設計データまたは実測キャリブレーションに基づいて事前に取得され、信号処理装置２００が備える記憶媒体に格納される。このデータは、後述する演算処理に利用される。
　フィルタアレイ１１０は、例えば、多層膜、有機材料、回折格子構造、または金属を含む微細構造を用いて構成され得る。多層膜を用いる場合、例えば、誘電体多層膜または金属層を含む多層膜が用いられ得る。この場合、フィルタごとに各多層膜の厚さ、材料、および積層順序の少なくとも１つが異なるように形成される。これにより、フィルタによって異なる分光特性を実現できる。多層膜を用いることにより、分光透過率におけるシャープな立ち上がりおよび立下りを実現できる。有機材料を用いた構成は、フィルタによって含有する顔料または染料が異なるようにしたり、異種の材料を積層させたりすることによって実現され得る。回折格子構造を用いた構成は、フィルタごとに異なる回折ピッチまたは深さの回折構造を設けることによって実現され得る。金属を含む微細構造を用いる場合は、プラズモン効果による分光を利用して作製され得る。
　次に、信号処理装置２００による信号処理の例を説明する。信号処理装置２００は、イメージセンサ１６０から出力された圧縮画像１２０、およびフィルタアレイ１１０の波長ごとの透過率の空間分布特性に基づいて、多波長のハイパースペクトル画像２２０を再構成する。ここで多波長とは、例えば通常のカラーカメラで取得されるＲＧＢの３色の波長域よりも多くの波長域を意味する。この波長域の数は、例えば４から１００程度の数であり得る。この波長域の数を、バンド数と称する。用途によっては、バンド数は１００を超えていてもよい。
　求めたいデータはハイパースペクトル画像２２０のデータであり、そのデータをｆとする。バンド数をＮとすると、ｆは、各バンドの画像データｆ１、ｆ２、・・・、ｆＮを統合したデータである。ここで、図１Ａに示すように、画像の横方向をｘ方向、画像の縦方向をｙ方向とする。求めるべき画像データのｘ方向の画素数をｎとし、ｙ方向の画素数をｍとすると、画像データｆ１、ｆ２、・・・、ｆＮの各々は、ｎ×ｍ画素の２次元データである。したがって、データｆは要素数ｎ×ｍ×Ｎの３次元データである。この３次元データを、「ハイパースペクトル画像データ」または「ハイパースペクトルデータキューブ」と称する。一方、フィルタアレイ１１０によって符号化および多重化されて取得される圧縮画像１２０のデータｇの要素数はｎ×ｍである。データｇは、以下の式（１）によって表すことができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｆ１、ｆ２、・・・、ｆＮの各々は、ｎ×ｍ個の要素を有するデータである。したがって、右辺のベクトルは、厳密にはｎ×ｍ×Ｎ行１列の１次元ベクトルである。ベクトルｇは、ｎ×ｍ行１列の１次元ベクトルに変換されて表され、計算される。行列Ｈは、ベクトルｆの各成分ｆ１、ｆ２、・・・、ｆＮを波長バンドごとに異なる符号化情報（以下、「マスク情報」とも称する。）で符号化および強度変調し、それらを加算する変換を表す。したがって、Ｈは、ｎ×ｍ行ｎ×ｍ×Ｎ列の行列である。
　ベクトルｇと行列Ｈが与えられれば、式（１）の逆問題を解くことにより、ｆを算出することができそうである。しかし、求めるデータｆの要素数ｎ×ｍ×Ｎが取得データｇの要素数ｎ×ｍよりも多いため、この問題は不良設定問題であり、このままでは解くことができない。そこで、信号処理装置２００は、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の式（２）を解くことにより、求めるデータｆが推定される。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値または二乗和平方根等を残差項としてもよい。括弧内の第２項は、正則化項または安定化項である。式（２）は、第１項と第２項との和を最小化するｆを求めることを意味する。信号処理装置２００は、再帰的な反復演算によって解を収束させ、最終的な解ｆ’を算出することができる。
　式（２）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによって変換したＨｆとの差の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。この関数は、推定データを滑らかまたは安定にする効果をもたらす。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）などによって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象物７０のスパース性は、対象物７０のテキスチャによって異なる。対象物７０のテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数である。重み係数τが大きいほど冗長的なデータの削減量が多くなり、圧縮する割合が高まる。重み係数τが小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。
　なお、図１Ｂおよび図１Ｃの構成においては、フィルタアレイ１１０によって符号化された像は、イメージセンサ１６０の撮像面上でボケた状態で取得される。したがって、予めこのボケ情報を保有しておき、そのボケ情報を前述の行列Ｈに反映させることにより、ハイパースペクトル画像２２０を再構成することができる。ここで、ボケ情報は、点拡がり関数（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ：ＰＳＦ）によって表される。ＰＳＦは、点像の周辺画素への拡がりの程度を規定する関数である。例えば、画像上で１画素に相当する点像が、ボケによってその画素の周囲のｋ×ｋ画素の領域に広がる場合、ＰＳＦは、その領域内の各画素の輝度への影響を示す係数群、すなわち行列として規定され得る。ＰＳＦによる符号化パターンのボケの影響を、行列Ｈに反映させることにより、ハイパースペクトル画像２２０を再構成することができる。フィルタアレイ１１０が配置される位置は任意であるが、フィルタアレイ１１０の符号化パターンが拡散しすぎて消失しない位置が選択され得る。
　以上の処理により、イメージセンサ１６０によって取得された圧縮画像１２０から、ハイパースペクトル画像２２０を構成することができる。上記の例では、信号処理装置２００は、圧縮画像１２０の全体について圧縮センシングアルゴリズムを適用してハイパースペクトル画像２２０を生成する。この場合、圧縮画像１２０の解像度が高いと、ハイパースペクトル画像２２０を生成するための計算量および時間が増大する。
　そこで、本開示の実施形態では、取得された圧縮画像１２０から必要な領域のみを抽出して復元する方法が用いられる。以下、本開示の実施形態の概要を説明する。
　本開示の例示的な実施形態による信号処理方法は、コンピュータによって実行される。前記信号処理方法は、対象波長域に含まれる少なくとも４つの波長バンドの各々についての輝度情報であるハイパースペクトル情報を含み、前記ハイパースペクトル情報が圧縮された２次元画像を示す第１の圧縮画像データを取得することと、前記第１の圧縮画像データから部分画像データを抽出することと、前記部分画像データから、第１の波長バンドに対応する第１の２次元画像データ、及び第２の波長バンドに対応する第２の２次元画像データを生成することと、を含む。
　ここで、「ハイパースペクトル情報」とは、予め定められた対象波長域に含まれる４つ以上の波長バンドのそれぞれについての輝度情報を意味する。圧縮画像データは、例えば前述のように、互いに異なる透過スペクトルを有する複数種類の光学フィルタを含むフィルタアレイを用いた撮像によって取得され得る。圧縮画像データの各画素のデータには、例えば４つ以上の、複数の波長バンドの情報が重畳され得る。各画素のデータには、用途に応じて、１０以上または１００以上の波長バンドの情報が重畳されていてもよい。また、圧縮画像データは、それぞれが空間的に符号化された複数の波長バンドの情報を含んでいてもよい。部分画像データは、例えば画像認識またはユーザからの指示に基づいて抽出され得る。上記の方法によれば、圧縮画像データから抽出された部分画像データから、複数の波長バンドについての複数の２次元画像データが生成される。このため、圧縮画像の全体から複数の波長バンドについての複数の２次元画像データを生成する場合と比較して、計算量および計算時間を低減することができる。なお、２次元画像データは、対象波長域に含まれる全ての波長バンドについて生成される必要はなく、一部の波長バンドについてのみ生成されてもよい。２次元画像データは、例えば前述のような圧縮センシングアルゴリズムを部分画像データに適用することによって生成され得る。
　前記第１の圧縮画像データは、複数の画素のデータを含み、
　前記複数の画素の各々のデータは、互いに重畳された第１の情報及び第２の情報を含み、
　前記第１の情報及び前記第２の情報の各々は、前記少なくとも４つの波長バンドにおける１つの波長バンドに対応していてもよい。
　前記第１の圧縮画像データは、空間的に符号化された第１の情報及び空間的に符号化された第２の情報を含み、
　前記第１の情報及び前記第２の情報の各々は、前記少なくとも４つの波長バンドにおける１つの波長バンドに対応していてもよい。
　前記方法は、前記部分画像データが、前記部分画像データから前記第１の２次元画像データ及び前記第２の２次元画像データを生成することに適しているか否かを判断することをさらに含んでいてもよい。その場合、前記判断の結果に応じて異なる処理が実行される。
　すなわち、前記方法は、
　前記部分画像データが、前記部分画像データから前記第１の２次元画像データ及び前記第２の２次元画像データを生成することに適していると判断された場合、第１の処理を実行し、
　前記部分画像データが、前記部分画像データから前記第１の２次元画像データ及び前記第２の２次元画像データを生成することに適していないと判断された場合、前記第１の処理と異なる第２の処理を実行することをさらに含んでいてもよい。
　前記部分画像データが、前記部分画像データから前記第１の２次元画像データ及び前記第２の２次元画像データを生成することに適しているか否かを判断することは、前記部分画像データの画素数に基づいて実行され得る。例えば、部分画像データの画素数が所定の閾値を上回っている場合にのみ、前記複数の２次元画像データを生成してもよい。
　前記第２の処理は、前記部分画像データの前記画素数を増加させることであってもよい。
　すなわち、前記方法は、前記部分画像データが、前記部分画像データから前記第１の２次元画像データ及び前記第２の２次元画像データを生成することに適していないと判断された場合に、前記圧縮画像データから抽出される前記部分画像データの前記画素数を増加させることをさらに含んでいてもよい。その場合、前記複数の２次元画像データは、前記画素数が増加した前記部分画像データから生成され得る。
　前記第１の圧縮画像データは、例えば、分光透過率が互いに異なる複数種類の光学フィルタを含むフィルタアレイと、前記フィルタアレイを通過した光により形成される像を取得するイメージセンサとを備えた撮像装置によって生成され得る。
　前記第２の処理は、前記撮像装置に、前記部分画像データに対応する領域を拡大して撮像させることによって第２の圧縮画像データを生成させることであり、
　前記第１の２次元画像データ及び前記第２の２次元画像データは、前記第２の圧縮画像データに基づいて生成されてもよい。
　すなわち、前記方法は、前記部分画像データが、前記部分画像データから前記第１の２次元画像データ及び前記第２の２次元画像データを生成することに適していないと判断された場合に、前記撮像装置に、前記部分画像データに対応する領域を拡大して撮像させることによって新たな圧縮画像データを生成させることをさらに含んでいてもよい。前記第１の２次元画像データ及び前記第２の２次元画像データは、前記新たな圧縮画像データに基づいて生成され得る。
　前記方法は、前記フィルタアレイの前記分光透過率の空間分布が反映されたマスクデータを取得することをさらに含んでいてもよい。前記第１の２次元画像データ及び前記第２の２次元画像データは、前記マスクデータのうち、前記部分画像データに対応する部分のデータと、前記部分画像データとに基づいて生成され得る。
　前記第２の処理は、表示装置にエラーを表示させることであってもよい。
　すなわち、前記方法は、前記部分画像データが、前記部分画像データから前記第１の２次元画像データ及び前記第２の２次元画像データを生成することに適していないと判断された場合に、表示装置にエラーを表示させることをさらに含んでいてもよい。
　前記方法は、前記２次元画像のうち、前記部分画像データとして抽出される領域をユーザに指定させるグラフィカルユーザインターフェース（ＧＵＩ）を表示装置に表示させることをさらに含んでいてもよい。
　前記方法は、前記２次元画像のエッジを検出することをさらに含んでいてもよい。前記部分画像データは、検出された前記エッジに基づいて抽出され得る。
　前記方法は、前記第１の圧縮画像データから特定の波長成分の輝度情報を抽出することをさらに含んでいてもよい。前記部分画像データは、前記輝度情報に基づいて抽出され得る。
　前記方法は、前記部分画像データが、前記部分画像データから前記第１の２次元画像データ及び前記第２の２次元画像データを生成することに適しているか否かを判断するための閾値データを、ユーザに入力させるグラフィカルユーザインターフェースを表示装置に表示させることをさらに含んでいてもよい。
　前記方法において、前記閾値データは、画素数又は輝度誤差に関連するパラメータを含んでいてもよい。
　本開示の他の実施形態による信号処理装置は、プロセッサと、前記プロセッサによって実行されるコンピュータプログラムを格納したメモリと、を備える。前記コンピュータプログラムは、前記プロセッサに、対象波長域に含まれる少なくとも４つの波長バンドの各々についての輝度情報であるハイパースペクトル情報を含み、前記ハイパースペクトル情報が圧縮された２次元画像を示す圧縮画像データを取得することと、前記圧縮画像データから部分画像データを抽出することと、前記部分画像データから、第１の波長バンドに対応する第１の２次元画像データ、及び第２の波長バンドに対応する第２の２次元画像データを生成することと、を実行させる。
　本開示の他の実施形態による撮像システムは、前記信号処理装置と、前記圧縮画像データを生成する撮像装置と、を備える。
　本開示の他の実施形態によるコンピュータプログラムは、コンピュータに、対象波長域に含まれる少なくとも４つの波長バンドの各々についての輝度情報であるハイパースペクトル情報を含み、前記ハイパースペクトル情報が圧縮された２次元画像を示す圧縮画像データを取得することと、前記圧縮画像データから部分画像データを抽出することと、前記部分画像データから、第１の波長バンドに対応する第１の２次元画像データ、及び第２の波長バンドに対応する第２の２次元画像データを生成することと、を実行させる。
　本開示の他の実施形態によるコンピュータ読み取り可能な非一時的記録媒体は、コンピュータによって実行されるときに、前記コンピュータに、対象波長域に含まれる少なくとも４つの波長バンドの各々についての輝度情報であるハイパースペクトル情報を含み、前記ハイパースペクトル情報が圧縮された２次元画像を示す圧縮画像データを取得することと、前記圧縮画像データから部分画像データを抽出することと、前記部分画像データから、第１の波長バンドに対応する第１の２次元画像データ、及び第２の波長バンドに対応する第２の２次元画像データを生成することと、を実行させるコンピュータプログラムを格納する。
　以下、本開示のより具体的な実施形態を説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複する説明を省略することがある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似の構成要素については、同じ参照符号を付している。以下の説明において、図中に示されたｘｙｚ座標を用いる。本明細書において、画像を示すデータを単に「画像」と称することがある。
　（実施形態）
　まず、図５を参照して、本開示の実施形態による撮像システムの例であるハイパースペクトルカメラの利用シーンを説明する。図５は、ハイパースペクトルカメラによって取得される圧縮画像１２０の例を示す図である。この例では、複数の野菜が被写体として撮影されている。信号処理装置２００は、イメージセンサ１６０から圧縮画像１２０を取得し、圧縮画像１２０について前述の演算処理を行うことによってハイパースペクトル画像２２０を生成する。
　ここで、複数の対象物が含まれる圧縮画像１２０の中で、領域１２１にある特定の対象についてのみハイパースペクトル画像が必要である場合を考える。このような状況は、例えば、青果物の選別、工業製品の検査、または建造物の外観検査などの広い場面で生じ得る。このような場合、本実施形態のハイパースペクトルカメラは、圧縮画像１２０から一部の領域１２１を抽出し、当該領域１２１についてのみ、圧縮センシングに基づく演算処理を行うことにより、ハイパースペクトル画像を生成する。このような処理により、圧縮画像１２０の全領域について演算処理を行ってハイパースペクトル画像を生成する場合に比べ、必要な計算量を減らすことができる。これにより、演算速度の向上、および必要な演算処理装置（例えば、メモリおよびＣＰＵなど）のコスト削減が可能になる。
　一方、本発明者らの検討によれば、演算対象の領域を小さくするに従い、生成されたハイパースペクトル画像の色に誤差が生じやすくなることがわかった。この課題について、図６を参照して説明する。
　図６は、前述の圧縮センシングに基づく演算によって生成されたハイパースペクトル画像の誤差と画素数との関係の例を示す図である。図６に示すグラフは、図６の部分（ａ）から（ｄ）に示す４つの画像のそれぞれについて、生成されたハイパースペクトル画像と実際の画像との間の平均輝度誤差の、画素数に対する依存性を示している。ここで、平均輝度誤差は、生成されたハイパースペクトル画像の画素の輝度値と、実際の画像の対応する画素の輝度値との差の絶対値を、全ての画素および全ての波長バンドについて平均化した値を、最大輝度値で割った値の百分率である。図６からわかるように、圧縮画像の画素数の減少に伴い、生成されたハイパースペクトル画像に生じる輝度誤差が大きくなることが確認された。図６の例では、画素数の減少に伴い、輝度誤差が、例えば５％を超えるほどに大きくなり得る。ここで、輝度誤差が５％であるということは、画像の各画素の輝度値が例えば１０ビット（即ち１０２４階調）で表現される場合、ある波長バンドについてのある画素の輝度値が５０程度本来の値からずれて計算されることを意味する。このように、圧縮画像の画素数が少ないと、生成されたハイパースペクトル画像に偽色が発生し易くなる。例えば、本来であればある波長バンドについて信号が極めて小さいはずの画素に無視できない大きさの信号が生じたり、逆に、本来であれば比較的大きい信号があるはずの画素に信号が検出されない、といった振る舞いが生じ得る。そのような振る舞いは、例えば異物検査または外観検査といった用途において誤った結論を導く可能性がある。
　そこで、本実施形態における撮像システムは、圧縮画像から特定の領域を抽出してハイパースペクトル画像を生成する処理において、抽出された領域が輝度誤差の小さなハイパースペクトル画像を取得するために十分な大きさを有するか否かを判断し、抽出された領域が十分な大きさを有しない場合、抽出された領域を拡大したり、エラーを出力したりする動作を実行する。そのような動作を導入することにより、撮像によって生成された圧縮画像から抽出された部分領域の解像度または画素数が不足することによる偽色の発生を抑制し、実際の画像とは大きく異なるハイパースペクトル画像が生成されることを回避することができる。
　以下、本実施形態の撮像システムの構成および動作をより具体的に説明する。
　図７は、本実施形態の撮像システムの構成を示す図である。本システムは、撮像装置１００と、信号処理装置２００と、表示装置３００と、入力ユーザインターフェース（ＵＩ）４００とを備える。
　撮像装置１００は、イメージセンサ１６０と、イメージセンサ１６０を制御する制御回路１５０とを備える。図７には示されていないが、撮像装置１００は、図１Ａから図１Ｄに示すように、フィルタアレイ１１０および少なくとも１つの光学系１４０も備える。フィルタアレイ１１０および光学系１４０の配置は、図１Ａから図１Ｄのいずれの配置であってもよい。フィルタアレイ１１０は、分光透過率が互いに異なる複数種類の光学フィルタを含む。イメージセンサ１６０は、フィルタアレイ１１０によって領域ごとに強度が変調された光に基づくモノクロ画像を取得する。このモノクロ画像の各画素のデータには、対象波長域Ｗ内の複数の波長バンドの情報が重畳されている。よって、このモノクロ画像は、対象波長域Ｗ内のハイパースペクトル情報が２次元画像に圧縮されたものであるといえる。このようなモノクロ画像は、「圧縮画像」の一例である。本明細書において、圧縮画像を示すデータを「圧縮画像データ」と称する。
　なお、上述した圧縮画像の例では、各画素のデータに複数の波長バンドの情報が重畳されていること、また各波長バンドの輝度が空間的に符号化されていることから、波長方向および空間方向にハイパースペクトル情報が圧縮されていると言える。圧縮画像はそのような例に限定されず、例えば特許文献１に開示されるような、各波長バンドの情報が空間方向にのみ符号化された２次元画像であってもよい。
　信号処理装置２００は、信号処理回路２５０と、ＲＡＭおよびＲＯＭなどのメモリ２１０とを備える。信号処理回路２５０は、イメージセンサ１６０から出力された圧縮画像データに基づく復元処理を行う。この復元処理は、図１Ａから図１Ｄに示す信号処理装置２００が行う処理と基本的に同じであるが、本実施形態では、入力ＵＩ４００から入力された復元条件に従って復元処理が行われる。信号処理回路２５０は、圧縮画像のうち、指定された部分領域についてのみ、圧縮センシングアルゴリズムに基づく演算を行うことにより、当該部分領域についてのハイパースペクトル画像を生成する。これにより、計算量および計算時間を短縮することができる。
　ハイパースペクトル画像のデータは、空間２次元と波長１次元の、計３次元の情報を含む。本明細書において、ハイパースペクトル画像を示すデータを、「３次元ハイパースペクトルデータ」とも称する。
　表示装置３００は、画像処理回路３２０と、ディスプレイ３３０とを備える。画像処理回路３２０は、信号処理回路２５０によって復元された画像に必要な処理を施した上でディスプレイ３３０に表示させる。ディスプレイ３３０は、例えば液晶または有機ＬＥＤなどの任意のディスプレイであり得る。
　入力ＵＩ４００は、撮像条件および復元条件などの各種の条件を設定するためのハードウェアおよびソフトウェアを含む。撮像条件は、例えば解像度、ゲイン、および露光時間などの条件を含み得る。復元条件は、例えば圧縮画像から特定の領域を抽出するか否かを示す情報、抽出される部分領域を指定する情報、および計算回数などの条件を含み得る。入力された撮像条件は、撮像装置１００の制御回路１５０に送られる。制御回路１５０は、撮像条件に従って、イメージセンサ１６０に撮像を実行させる。これにより、イメージセンサ１６０は、対象波長域Ｗ内の複数の波長バンドの情報が重畳された圧縮画像を生成する。入力された復元条件は、信号処理回路２５０に送られ、記録される。信号処理回路２５０は、設定された復元条件に従って復元処理を行い、指定された部分領域についての３次元ハイパースペクトルデータを生成する。画像処理回路３２０は、ディスプレイ３３０に、３次元ハイパースペクトルデータが示す複数の波長バンドの画像を表示させる。
　信号処理回路２５０は、復元の際に、入力ＵＩ４００によって入力された復元条件に従って、メモリ２１０に予め記録されているマスクデータを必要に応じて編集して用いる。マスクデータは、フィルタアレイ１１０の分光透過率の空間分布が反映されたデータであり、前述の式（２）における行列Ｈに相当する。信号処理回路２５０は、マスクデータから、指定された部分領域に対応する部分を抽出した部分マスクデータを用いて、その部分領域についてのハイパースペクトル画像を生成する。生成されたハイパースペクトル画像は、画像処理回路３２０によって必要に応じて処理される。画像処理回路３２０は、例えば、画面内での配置の決定、バンド情報との紐づけ、または波長に対応した色付けなどの処理を行った上で、ハイパースペクトル画像をディスプレイ３３０に表示させる。
　図８は、本実施形態のシステムの動作を示すフローチャートである。本実施形態では、まず、ユーザが入力ＵＩ４００を介して撮像条件および復元条件を入力する（ステップＳ１０１）。入力された撮像条件を示すデータは、制御回路１５０に送られる。入力された復元条件を示すデータは、信号処理回路２５０に送られる。次に、撮像装置１００は、撮像条件に従って対象物を撮像することにより、圧縮画像を取得する（ステップＳ１０２）。
　圧縮画像が取得されると、信号処理回路２５０は、圧縮画像から特定の領域を抽出する必要があるか否かを判断する（ステップＳ１０３）。圧縮画像から特定の領域を抽出する必要があるか否かは、例えばユーザが入力した復元条件に基づいて判断され得る。信号処理回路２５０は、圧縮画像の内容に基づいて領域抽出の要否を自動で判別してもよい。例えば、特定の形状が圧縮画像内に検出された場合、その領域を除く領域を抽出してもよい。そのような処理は、例えば、陳列棚における青果物を選別する用途において、直線の多い棚の部分を圧縮画像から除去する処理が該当する。信号処理回路２５０は、大まかな色判別によって領域を制限してもよい。例えば、建造物の外観検査において、空の青色部分を除去するなどの処理が可能である。
　特定の領域を抽出する必要がないと判断した場合、信号処理回路２５０は、圧縮画像とマスクデータとに基づいて、前述の方法により、ハイパースペクトル画像を生成する（ステップＳ１０４）。画像処理回路３２０は、生成されたハイパースペクトル画像をディスプレイ３３０に表示させる（ステップＳ１３０）。
　ステップＳ１０３において、圧縮画像から特定の領域を抽出する必要があると判断された場合、信号処理回路２５０は、抽出する領域の候補を決定する（ステップＳ１１１）。信号処理回路２５０は、例えば、ユーザが指定した領域を候補として決定する。あるいは、信号処理回路２５０は、圧縮画像またはそれに準じる画像から、エッジ検出、または特定の波長成分の輝度情報の検出などの方法により、抽出する領域の候補を決定してもよい。圧縮画像に準じる画像は、例えば、圧縮画像からＲ（赤）、Ｇ（緑）、Ｂ（青）の三原色を復元して生成したカラー画像、または、圧縮画像に全波長バンドのマスクデータが示す透過率分布の逆数を掛けてデノイズしたモノクロ画像などであり得る。
　信号処理回路２５０は、抽出する領域の候補が、復元演算を行う上で十分な解像度を有しているか、すなわち空間的な情報量が十分であるか否かを判断する（ステップＳ１１２）。ここで、抽出する領域の候補が、復元演算を行う上で十分な解像度を有しているか否かは、例えば、当該領域の候補の画素数が、予め設定された閾値を超えているか否かに基づいて判断され得る。閾値は、復元演算の対象によって異なっていてもよい。閾値をユーザが入力ＵＩ４００を介して設定することができるように、撮像システムが構成されていてもよい。ここで、ユーザが画素数を閾値として入力してもよいが、これに限定されない。例えば、ユーザが輝度誤差を閾値として入力し、図６に示されている関係に基づいて、撮像システムが入力された輝度誤差を画素数に変換してもよい。空間的な情報量が不足している場合、信号処理回路２５０は、抽出する領域の候補を拡大する（ステップＳ１１３）。例えば、ステップＳ１１１で決定された領域の最外周部に隣接する全ての画素を領域の候補に追加することによって抽出する領域の候補が拡大され得る。これにより、空間的な情報量を補充して新たな抽出領域の候補が決定される。ステップＳ１１２において、決定された領域の候補の大きさが十分であると判断されるまで、ステップＳ１１１からＳ１１３の処理が繰り返される。
　以上の動作により、復元演算を行うのに十分な解像度を有する抽出領域が決定され、圧縮画像から部分画像が抽出される。信号処理回路２５０は、メモリ２１０に格納されたマスクデータから、抽出される領域に対応するデータを切り出すことにより編集する（ステップＳ１２１）。続いて、信号処理回路２５０は、圧縮画像から抽出された部分画像と、切り出されたマスクデータとを用いて、ハイパースペクトル画像を生成する（ステップＳ１２２）。ハイパースペクトル画像を生成する演算は、式（１）および（２）を参照して説明した演算と同様である。画像処理回路３２０は、生成されたハイパースペクトル画像をディスプレイ３３０に表示させる（ステップＳ１３０）。
　上記の抽出および演算の処理は、圧縮画像における単一の領域について行われてもよいし、複数の領域について行われてもよい。複数の領域について上記の処理を行う場合、各々の領域について個別に上記の処理が実行され得る。
　続いて、図９および図１０を参照して、上記の情報処理を行うプログラムによって表示されるグラフィカルユーザインターフェース（ＧＵＩ）の例を説明する。これらのＧＵＩを実現するための画像は、信号処理回路２５０および画像処理回路３２０によって生成され、ディスプレイ３３０に表示される。
　図９は、撮像条件を入力するためのＧＵＩの画面の例を示している。この例では、ユーザは、ハイパースペクトル撮像を行う前に、解像度、ゲイン、露光時間、およびフレームレートを設定する。解像度は、表示される画像の縦横の画素数を表す。解像度は、例えばユーザがプルダウンメニューからＶＧＡ、ＨＤ、４Ｋなどの名称を選択するか、縦横の画素数を直接入力することによって指定され得る。ゲインは、０以上の有理数で指定され、有理数同士の加減乗除によって入力されてもよい。例えば、８／３と入力した場合、ゲインが２．６６６６…ｄＢのように設定され得る。露光時間およびフレームレートは、両方が入力される必要はない。ユーザは、露光時間およびフレームレートの少なくとも一方を入力し、競合が発生した場合（例えば露光時間１００ｍｓでフレームレート３０ｆｐｓなど）、いずれか一方が優先されるようにしてもよい。上記４条件の入力の他、自動でゲイン、露光時間、およびフレームレートを調整する機能を設けてもよい。例えば、平均輝度が最大輝度の１／２になるように自動で調整されるようにしてもよい。図９に示す例のように、撮像条件を入力するためのＧＵＩは、設定された撮像条件のセーブおよびロードの機能を備えていてもよい。また、ＧＵＩは、設定された撮像条件で取得される圧縮画像１２０をリアルタイムで表示する機能を備えていてもよい。ここで、必ずしも圧縮画像そのものを表示する必要はない。その時点で設定されている撮像条件で取得される任意の画像を表示してもよい。例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の値のみを出力する画素を配置し、それらの画素の値のみを用いて取得したＲＧＢ画像を表示してもよい。また、例えば、後述する単位バンドの合成処理によって４００ｎｍから５００ｎｍを第１バンド、５００ｎｍから６００ｎｍを第２バンド、６００ｎｍから７００ｎｍを第３バンドとした３バンドでの復元を行い、復元結果をＲＧＢ画像として表示してもよい。
　図１０は、ユーザが手動で抽出する領域を設定できるＧＵＩの例を示す図である。このＧＵＩでは、表示される圧縮画像１２０またはそれに準じる画像から、抽出すべき領域１２１を、例えばドラッグ＆ドロップ、または座標入力などの方法で指定することができる。演算対象の領域は、例えば、点線で囲む、１％以上の透過率をもつ図形を重畳表示するなどの方法でＧＵＩ上に表示され得る。ユーザによって指定された領域は、自動で修正されてもよい。例えば、手書きの円を真円または楕円に自動で修正してもよい。図１０は、単一の領域が演算対象として指定される場合の例を示しているが、複数の領域を演算対象として指定できるようにしてもよい。このように、信号処理回路２５０は、部分画像として抽出される画像領域をユーザに指定させるＧＵＩを表示装置３００に表示させる。
　図１０に示すような方法で抽出すべき領域の候補が決定された後、信号処理回路２５０は、決定された領域の画素数に基づいて、演算処理に十分な量の空間的情報が含まれているか否かを判断する。演算処理に必要な画素数の最小値は、観察対象または許容される輝度誤差に応じて変化する。信号処理回路２５０は、決定された領域に、演算処理に必要な画素数が含まれていないと判断した場合、当該領域の候補の周辺部を拡大し、演算処理に必要な画素数を得る。例えば、当該領域の候補の周辺部に隣接する全ての画素を、当該領域の候補に組み入れる処理を繰り返すことにより、領域を拡大することができる。
　図１１Ａおよび図１１Ｂは、図８のステップＳ１２１におけるマスクデータの編集処理を説明するための図である。図１１Ａに示すように、圧縮画像１２０内に含まれる領域１２１を抽出して、ハイパースペクトル画像を生成する場合を考える。ここで、圧縮画像１２０は、図１１Ｂに示されるような透過率情報１７０を有するフィルタアレイを用いた撮影によって取得されるものとする。領域１２１についてのハイパースペクトル画像の生成演算は、透過率情報１７０のうちの、領域１２１に対応する領域の透過率情報１７１を用いて行われる。このように、ステップＳ１２１におけるマスクデータの編集は、マスクデータに含まれる透過率情報の一部のみを切り出して演算に用いるマスクデータを生成することを含み得る。
　このように、本実施形態によれば、信号処理回路２５０は、ハイパースペクトル情報を含む２次元のモノクロ画像である圧縮画像から部分画像を抽出し、圧縮センシングアルゴリズムを用いて、部分画像からハイパースペクトル画像を生成する。信号処理回路２５０は、部分画像からハイパースペクトル画像を生成することが可能か否かを、部分画像の画素数に基づいて判断する。部分画像からハイパースペクトル画像を生成することが可能であると判断した場合、信号処理回路２５０は、その部分画像に基づいてハイパースペクトル画像を生成する。一方、部分画像からハイパースペクトル画像を生成することが可能でないと判断した場合、信号処理回路２５０は、圧縮画像から抽出される部分画像の画素数を増加させ、画素数が増加した部分画像に基づいて、ハイパースペクトル画像を生成する。
　以上の処理により、ハイパースペクトル画像の生成に要する計算量を低減することができ、さらに、ハイパースペクトル画像における偽色の発生を抑制することができる。
　続いて、本実施形態の変形例を説明する。
　図１２は、図８におけるステップＳ１１３に代えて、ステップＳ１１４およびＳ１１５の動作が実行される例を示すフローチャートである。この例では、ステップＳ１１２において、抽出される領域の候補の大きさが不十分であると判断した場合、信号処理回路２５０は、表示装置３００にエラーを表示させる（ステップＳ１１４）。信号処理回路２５０は、抽出された領域の周辺を拡大して撮影するように撮像装置１００に指示する（ステップＳ１１５）。撮像装置１００は、この指示を受けて、前回よりも対象物の領域が拡大された新たな圧縮画像を生成する。続くステップＳ１１１においては、この新たな圧縮画像から、抽出すべき領域の候補が決定される。
　図１３Ａは、ステップＳ１１４において表示されるエラー画面の例を示す図である。この例では、抽出された領域が小さすぎる旨と、対象領域周辺を拡大して再度撮影する旨を示すエラーメッセージが表示される。ここで、「対象領域周辺を拡大して再度撮影する」とは、例えば図１３Ｂに示すような元の圧縮画像１２０Ａから、抽出領域１２１の周辺を拡大した図１３Ｃに示すような新たな圧縮画像１２０Ｂを生成することを指す。撮像装置１００は、例えばズーム機能を用いて、対象領域の周辺が拡大された圧縮画像を生成する。
　なお、図１２の例では、自動で拡大された圧縮画像が生成されるが、ユーザが手動で操作することによって圧縮画像が生成されるようにしてもよい。その場合、ユーザは、エラーメッセージを見た後、撮像装置１００を操作して、画像中の対象物がより拡大されるように撮影する。これにより、対象領域の周辺が拡大された圧縮画像が生成され、その圧縮画像に基づいてハイパースペクトル画像が生成される。
　図１４は、ステップＳ１１２において、抽出された領域が演算に十分な大きさを有していないと判断されたときに、ステップＳ１１４においてエラーを表示した後、処理を終え、抽出領域の再設定を促す変形例を示すフローチャートである。
　図１５は、表示されるエラー画面の例を示す図である。この例では、抽出領域が小さすぎるためにハイパースペクトルデータを構成できず、処理を中断する旨を示すエラーメッセージが表示される。このようなメッセージに代えて、対象領域の周辺を拡大して再度撮影を行うようにユーザに促すメッセージを表示してもよい。
　図１６は、図８、１２、１４におけるステップＳ１１１において、圧縮画像またはそれに準じる画像から、抽出すべき領域をエッジ検出によって決定する例を説明するための図である。この例では、ステップＳ１１１において、信号処理回路２５０は、圧縮画像内のエッジを検出し、検出されたエッジに基づいて、抽出すべき領域の候補を決定する。図１６の例では、直線によって囲まれた構造を検出することで、建築物２０１および２０２が判別される。エッジ検出によって抽出された領域について復元演算を行うか否かを、ユーザに判断させるようにしてもよい。例えば、図１０に示すようなＧＵＩに、検出された領域を点線または１％以上の透過率を有する図形で表示し、ユーザが手動でその領域を抽出対象にすることを決定できるようにしてもよい。このように、図１６の例では、信号処理回路２５０は、圧縮画像データが示す２次元画像内のエッジを検出し、検出されたエッジに基づいて部分画像データを抽出する。
　図１７Ａおよび図１７Ｂは、図８、１２、１４におけるステップＳ１１１において、大まかな色判別の結果に基づいて領域を抽出する例を説明するための図である。この例では、ステップＳ１１１において、信号処理回路２５０は、圧縮画像またはそれに準じる画像から、特定の波長成分の輝度情報を抽出し、当該特定の波長成分の輝度情報に基づいて、部分画像を抽出する。例えば図１７Ａに示すような、果樹園に生るぶどうのハイパースペクトル画像を生成する場合、緑色の葉および茶色の枝に囲まれて青色または紫色の実が生っている状況が考えられる。この場合、紫から青の波長域の輝度情報を多く持つ箇所を抽出することで、図１７Ｂに示すように、ぶどうの実の情報を持つ領域を選別してハイパースペクトル画像を生成することができる。このような場合、対象波長域の全体にわたって各波長バンドの画像を生成する必要はなく、一部の波長バンド（例えば紫から青に対応するバンド）の画像のみを生成してもよい。このように、図１７Ａおよび図１７Ｂに示す例では、信号処理回路２５０は、圧縮画像データから特定の波長成分の輝度情報を抽出し、当該特定の波長成分の輝度情報に基づいて部分画像データを抽出する。
　なお、撮像装置の構成、ハイパースペクトル情報の圧縮方法、および３次元ハイパースペクトルデータの再構成アルゴリズムは、上述した実施形態に限られない。例えば、フィルタアレイ１１０、光学系１４０、およびイメージセンサ１６０の配置は、図１Ａから図１Ｄに示す配置に限定されず、適宜変形してもよい。また、フィルタアレイ１１０の特性は、図２Ａから図４Ｂを参照して例示した特性に限らず、用途または目的に応じて最適な特性のフィルタアレイ１１０が用いられる。
　本開示の技術は、例えば、多波長の画像を取得するカメラおよび測定機器に有用である。本開示の技術は、例えば、生体・医療・美容向けセンシング、食品の異物・残留農薬検査システム、リモートセンシングシステムおよび車載センシングシステムにも応用できる。
　７０　　対象物
　１００　撮像装置
　１１０　フィルタアレイ
　１２０　圧縮画像
　１４０　光学系
　１５０　制御回路
　１６０　イメージセンサ
　２００　信号処理装置
　２１０　メモリ
　２２０　ハイパースペクトル画像
　２５０　信号処理回路
　３００　表示装置
　３２０　画像処理回路
　３３０　ディスプレイ
　４００　入力ＵＩ

Claims (18)

  1. 　コンピュータによって実行される信号処理方法であって、
    　対象波長域に含まれる少なくとも４つの波長バンドの各々についての輝度情報であるハイパースペクトル情報を含み、前記ハイパースペクトル情報が圧縮された２次元画像を示す第１の圧縮画像データを取得することと、
    　前記第１の圧縮画像データから部分画像データを抽出することと、
    　前記部分画像データから、第１の波長バンドに対応する第１の２次元画像データ、及び第２の波長バンドに対応する第２の２次元画像データを生成することと、
    を含む方法。
  2. 　前記第１の圧縮画像データは、複数の画素のデータを含み、
    　前記複数の画素の各々のデータは、互いに重畳された第１の情報及び第２の情報を含み、
    　前記第１の情報及び前記第２の情報の各々は、前記少なくとも４つの波長バンドにおける１つの波長バンドに対応する、
    　請求項１に記載の方法。
  3. 　前記第１の圧縮画像データは、空間的に符号化された第１の情報及び空間的に符号化された第２の情報を含み、
    　前記第１の情報及び前記第２の情報の各々は、前記少なくとも４つの波長バンドにおける１つの波長バンドに対応する、
    　請求項１または２に記載の方法。
  4. 　前記部分画像データが、前記部分画像データから前記第１の２次元画像データ及び前記第２の２次元画像データを生成することに適しているか否かを判断することと、
    　前記部分画像データが、前記部分画像データから前記第１の２次元画像データ及び前記第２の２次元画像データを生成することに適していると判断された場合、第１の処理を実行し、
    　前記部分画像データが、前記部分画像データから前記第１の２次元画像データ及び前記第２の２次元画像データを生成することに適していないと判断された場合、前記第１の処理と異なる第２の処理を実行すること、とをさらに含む、
    　請求項１から３のいずれかに記載の方法。
  5. 　前記部分画像データが、前記部分画像データから前記第１の２次元画像データ及び前記第２の２次元画像データを生成することに適しているか否かを判断することは、前記部分画像データの画素数に基づいて実行される、
    　請求項４に記載の方法。
  6. 　前記第２の処理は、前記部分画像データの前記画素数を増加させることである、
    請求項５に記載の方法。
  7. 　前記第１の圧縮画像データは、分光透過率が互いに異なる複数種類の光学フィルタを含むフィルタアレイと、前記フィルタアレイを通過した光により形成される像を取得するイメージセンサとを備えた撮像装置によって生成される、
    　請求項１から６のいずれかに記載の方法。
  8. 　前記第１の圧縮画像データは、分光透過率が互いに異なる複数種類の光学フィルタを含むフィルタアレイと、前記フィルタアレイを通過した光により形成される像を取得するイメージセンサとを備えた撮像装置によって生成され、
    　前記第２の処理は、前記撮像装置に、前記部分画像データに対応する領域を拡大して撮像させることによって第２の圧縮画像データを生成させることであり、
    　前記第１の２次元画像データ及び前記第２の２次元画像データは、前記第２の圧縮画像データに基づいて生成される、
    　請求項４に記載の方法。
  9. 　前記フィルタアレイの前記分光透過率の空間分布が反映されたマスクデータを取得することをさらに含み、
    　前記第１の２次元画像データ及び前記第２の２次元画像データは、前記マスクデータのうち、前記部分画像データに対応する部分のデータと、前記部分画像データとに基づいて生成される、
    　請求項７または８に記載の方法。
  10. 　前記第２の処理は、表示装置にエラーを表示させることである、
    　請求項４に記載の方法。
  11. 　前記２次元画像のうち、前記部分画像データとして抽出される領域をユーザに指定させるグラフィカルユーザインターフェースを表示装置に表示させることをさらに含む、
    　請求項１から１０のいずれかに記載の方法。
  12. 　前記２次元画像のエッジを検出することをさらに含み、
    　前記部分画像データは、前記エッジに基づいて抽出される、
    　請求項１から１１のいずれかに記載の方法。
  13. 　前記第１の圧縮画像データから特定の波長成分の輝度情報を抽出することをさらに含み、
    　前記部分画像データは、前記輝度情報に基づいて抽出される、
    　請求項１から１２のいずれかに記載の方法。
  14. 　前記部分画像データが、前記部分画像データから前記第１の２次元画像データ及び前記第２の２次元画像データを生成することに適しているか否かを判断するための閾値データを、ユーザに入力させるグラフィカルユーザインターフェースを表示装置に表示させることをさらに含む、
    　請求項４に記載の方法。
  15. 　前記閾値データは、画素数又は輝度誤差に関連するパラメータを含む、
    　請求項１４に記載の方法。
  16. 　プロセッサと、
    　前記プロセッサによって実行されるコンピュータプログラムを格納したメモリと、
    を備え、
    　前記コンピュータプログラムは、前記プロセッサに、
    　対象波長域に含まれる少なくとも４つの波長バンドの各々についての輝度情報であるハイパースペクトル情報を含み、前記ハイパースペクトル情報が圧縮された２次元画像を示す圧縮画像データを取得することと、
    　前記圧縮画像データから部分画像データを抽出することと、
    　前記部分画像データから、第１の波長バンドに対応する第１の２次元画像データ、及び第２の波長バンドに対応する第２の２次元画像データを生成することと、
    を実行させる、信号処理装置。
  17. 　請求項１６に記載の信号処理装置と、
    　前記圧縮画像データを生成する撮像装置と、
    を備える、撮像システム。
  18. 　コンピュータに、
    　対象波長域に含まれる少なくとも４つの波長バンドの各々についての輝度情報であるハイパースペクトル情報を含み、前記ハイパースペクトル情報が圧縮された２次元画像を示す圧縮画像データを取得することと、
    　前記圧縮画像データから部分画像データを抽出することと、
    　前記部分画像データから、第１の波長バンドに対応する第１の２次元画像データ、及び第２の波長バンドに対応する第２の２次元画像データを生成することと、
    を実行させる、コンピュータプログラム。
PCT/JP2021/019288 2020-06-05 2021-05-21 信号処理方法、信号処理装置、および撮像システム WO2021246192A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180034044.4A CN115516851A (zh) 2020-06-05 2021-05-21 信号处理方法、信号处理装置及摄像系统
JP2022528738A JPWO2021246192A1 (ja) 2020-06-05 2021-05-21
US18/058,043 US20230079297A1 (en) 2020-06-05 2022-11-22 Signal processing method, signal processing device, and imaging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-098415 2020-06-05
JP2020098415 2020-06-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/058,043 Continuation US20230079297A1 (en) 2020-06-05 2022-11-22 Signal processing method, signal processing device, and imaging system

Publications (1)

Publication Number Publication Date
WO2021246192A1 true WO2021246192A1 (ja) 2021-12-09

Family

ID=78831041

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019288 WO2021246192A1 (ja) 2020-06-05 2021-05-21 信号処理方法、信号処理装置、および撮像システム

Country Status (4)

Country Link
US (1) US20230079297A1 (ja)
JP (1) JPWO2021246192A1 (ja)
CN (1) CN115516851A (ja)
WO (1) WO2021246192A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022163421A1 (ja) * 2021-01-26 2022-08-04 パナソニックＩｐマネジメント株式会社 検査対象に含まれる異物を検出する方法および装置
WO2022196351A1 (ja) * 2021-03-15 2022-09-22 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
WO2024053302A1 (ja) * 2022-09-08 2024-03-14 パナソニックＩｐマネジメント株式会社 情報処理方法および撮像システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016130727A (ja) * 2015-01-08 2016-07-21 パナソニックＩｐマネジメント株式会社 撮像装置
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
JP2018107731A (ja) * 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置
JP2020053910A (ja) * 2018-09-28 2020-04-02 パナソニックＩｐマネジメント株式会社 光学デバイス、および撮像装置
WO2020080045A1 (ja) * 2018-10-15 2020-04-23 パナソニックＩｐマネジメント株式会社 物体認識方法、車両制御方法、情報表示方法、および物体認識装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
JP2016130727A (ja) * 2015-01-08 2016-07-21 パナソニックＩｐマネジメント株式会社 撮像装置
JP2018107731A (ja) * 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置
JP2020053910A (ja) * 2018-09-28 2020-04-02 パナソニックＩｐマネジメント株式会社 光学デバイス、および撮像装置
WO2020080045A1 (ja) * 2018-10-15 2020-04-23 パナソニックＩｐマネジメント株式会社 物体認識方法、車両制御方法、情報表示方法、および物体認識装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022163421A1 (ja) * 2021-01-26 2022-08-04 パナソニックＩｐマネジメント株式会社 検査対象に含まれる異物を検出する方法および装置
WO2022196351A1 (ja) * 2021-03-15 2022-09-22 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
WO2024053302A1 (ja) * 2022-09-08 2024-03-14 パナソニックＩｐマネジメント株式会社 情報処理方法および撮像システム

Also Published As

Publication number Publication date
CN115516851A (zh) 2022-12-23
US20230079297A1 (en) 2023-03-16
JPWO2021246192A1 (ja) 2021-12-09

Similar Documents

Publication Publication Date Title
JP6952277B2 (ja) 撮像装置および分光システム
WO2021246192A1 (ja) 信号処理方法、信号処理装置、および撮像システム
WO2021192891A1 (ja) 信号処理方法、信号処理装置、および撮像システム
JP2016130727A (ja) 撮像装置
US10212401B2 (en) Image generation device and imaging device
CN109074637B (zh) 用于从多个相应的输入图像通道生成输出图像的方法和系统
WO2022163421A1 (ja) 検査対象に含まれる異物を検出する方法および装置
US10237519B2 (en) Imaging apparatus, imaging system, image generation apparatus, and color filter
WO2022230640A1 (ja) 画像処理装置、撮像システム、および復元画像の誤差を推定する方法
WO2021085014A1 (ja) フィルタアレイおよび光検出システム
Kotwal et al. An optimization-based approach to fusion of hyperspectral images
US11843876B2 (en) Optical filter array, photodetection device, and photodetection system
WO2023282069A1 (ja) 信号処理装置および信号処理方法
WO2023106142A1 (ja) 信号処理方法、プログラム、およびシステム
WO2024053302A1 (ja) 情報処理方法および撮像システム
WO2023106143A1 (ja) 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
JP2024020922A (ja) 復元画像の評価方法および撮像システム、
Hernández et al. Quality evaluation of chromatic interpolation algorithms for image acquisition system
JP7122636B2 (ja) フィルタアレイおよび光検出システム
WO2023100660A1 (ja) 撮像システムおよび撮像方法
WO2023286613A1 (ja) フィルタアレイ、光検出装置、および光検出システム
US20240127574A1 (en) Imaging system, method used in imaging system, and storage medium storing computer program used in imaging system
US20230414166A1 (en) Method and apparatus for evaluating skin condition
WO2022168594A1 (ja) スペクトルデータキューブを改変する方法および装置
JP6655790B2 (ja) 撮像装置及び撮像システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21818708

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022528738

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21818708

Country of ref document: EP

Kind code of ref document: A1