WO2022270355A1 - 撮像システム、撮像システムに用いられる方法、および撮像システムに用いられるコンピュータプログラム - Google Patents

撮像システム、撮像システムに用いられる方法、および撮像システムに用いられるコンピュータプログラム Download PDF

Info

Publication number
WO2022270355A1
WO2022270355A1 PCT/JP2022/023788 JP2022023788W WO2022270355A1 WO 2022270355 A1 WO2022270355 A1 WO 2022270355A1 JP 2022023788 W JP2022023788 W JP 2022023788W WO 2022270355 A1 WO2022270355 A1 WO 2022270355A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
imaging system
image data
target scene
processing circuit
Prior art date
Application number
PCT/JP2022/023788
Other languages
English (en)
French (fr)
Inventor
孝行 清原
基樹 八子
克弥 能澤
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2023530343A priority Critical patent/JPWO2022270355A1/ja
Publication of WO2022270355A1 publication Critical patent/WO2022270355A1/ja
Priority to US18/534,636 priority patent/US20240127574A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image

Definitions

  • the present disclosure relates to imaging systems, methods used in imaging systems, and computer programs used in imaging systems.
  • the process of classifying one or more subjects in an image by type is essential in the fields of factory automation and medicine. Feature quantities such as spectral information and shape information of the subject are used for the classification process.
  • a hyperspectral camera can obtain a hyperspectral image containing a lot of spectral information per pixel. Therefore, it is expected that hyperspectral cameras will be used for such classification processes.
  • Patent Documents 1 and 2 disclose imaging devices that obtain hyperspectral images using compressed sensing techniques.
  • the present disclosure provides an imaging system that can reduce the processing load of classifying subjects in images by type.
  • An imaging system includes a filter array including a plurality of filters having transmission spectra different from each other, an image sensor that captures light transmitted through the filter array and generates image data, a processing circuit, wherein the processing circuit generates brightness pattern data by predicting a brightness pattern detected when the substance is imaged by the image sensor based on subject data including spectral information of at least one substance. is acquired, first image data obtained by imaging a target scene with the image sensor is acquired, and the presence or absence of the substance in the target scene is determined by comparing the luminance pattern data and the first image data.
  • Computer-readable recording media include non-volatile recording media such as CD-ROMs (Compact Disc-Read Only Memory).
  • a device may consist of one or more devices. When the device is composed of two or more devices, the two or more devices may be arranged in one device, or may be divided and arranged in two or more separate devices. As used herein and in the claims, a "device” can mean not only one device, but also a system of multiple devices. A plurality of devices included in the "system” may include devices installed in remote locations separated from other devices and connected via a communication network.
  • an imaging device that can reduce the processing load of classifying subjects in an image by type.
  • FIG. 1A is a diagram for explaining the relationship between a target wavelength range and multiple bands included therein.
  • FIG. 1B is a diagram schematically showing an example of a hyperspectral image.
  • FIG. 2A is a diagram schematically showing an example of a filter array.
  • 2B is a diagram showing an example of a transmission spectrum of a first filter included in the filter array shown in FIG. 2A;
  • FIG. 2C is a diagram showing an example of a transmission spectrum of a second filter included in the filter array shown in FIG. 2A;
  • FIG. 2D is a diagram showing an example of the spatial distribution of the light transmittance of each of a plurality of bands W 1 , W 2 , . . . , W i included in the target wavelength range.
  • FIG. 1A is a diagram for explaining the relationship between a target wavelength range and multiple bands included therein.
  • FIG. 1B is a diagram schematically showing an example of a hyperspectral image.
  • FIG. 2A is a
  • FIG. 3 is a diagram schematically showing examples of fluorescence spectra of four types of fluorescent dyes A to D.
  • FIG. FIG. 4 is a block diagram schematically showing the configuration of an imaging device according to exemplary Embodiment 1 of the present disclosure.
  • FIG. 5A is a diagram schematically showing the spatial distribution of luminance values in part of a compressed image.
  • FIG. 5B is a diagram schematically showing the spatial distribution of luminance in the control area shown in FIG. 5A among the nine luminance patterns.
  • FIG. 6A is a diagram schematically showing fluorescence intensities in bands 1 to 8 of two types of fluorescent dyes.
  • FIG. 6B is a diagram schematically showing fluorescence intensities in bands 1, 3, and 5 of two types of fluorescent dyes.
  • FIG. 7A is a diagram schematically showing an example of a GUI displayed on an output device before fluorochromes are classified.
  • FIG. 7B is a diagram schematically showing an example of a GUI displayed on an output device after classifying fluorescent dyes.
  • 8A is a flowchart illustrating an example of operations performed by a processing circuit according to the first embodiment;
  • FIG. 8B is a flowchart showing another example of the operation performed by the processing circuit according to the first embodiment;
  • FIG. 8C is a flowchart showing still another example of the operation performed by the processing circuit according to the first embodiment;
  • FIG. FIG. 9 is a block diagram that schematically illustrates the configuration of an imaging system according to exemplary Embodiment 2 of the present disclosure.
  • FIG. 10 is a block diagram that schematically illustrates the configuration of an imaging system according to exemplary Embodiment 3 of the present disclosure.
  • 11A is a flowchart illustrating an example of operations performed by a processing circuit according to the third embodiment
  • FIG. 11B is a flow chart showing an example of operations performed by an external processing circuit between steps S201 and S202 shown in FIG. 11A.
  • FIG. 12 is a diagram schematically showing an example in which an imaging device captures an image of a color chart as a target scene.
  • FIG. 13A is a diagram schematically showing an example in which an imaging device individually images a plurality of medicine bags carried by a belt conveyor.
  • FIG. 13B is a diagram schematically showing an example of a GUI displayed on the output device after classifying drugs.
  • all or part of a circuit, unit, device, member or section, or all or part of a functional block in a block diagram is, for example, a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (large scale integration). ) may be performed by one or more electronic circuits.
  • An LSI or IC may be integrated on one chip, or may be configured by combining a plurality of chips.
  • functional blocks other than memory elements may be integrated into one chip.
  • LSIs or ICs may be called system LSIs, VLSIs (very large scale integration), or ULSIs (ultra large scale integration) depending on the degree of integration.
  • a Field Programmable Gate Array (FPGA), which is programmed after the LSI is manufactured, or a reconfigurable logic device that can reconfigure the connection relationships inside the LSI or set up the circuit partitions inside the LSI can also be used for the same purpose.
  • FPGA Field Programmable Gate Array
  • circuits, units, devices, members or parts can be executed by software processing.
  • the software is recorded on one or more non-transitory storage media, such as ROMs, optical discs, hard disk drives, etc., such that when the software is executed by a processor, the functions specified in the software are performed. It is executed by processors and peripherals.
  • a system or apparatus may include one or more non-transitory storage media on which software is recorded, a processor, and required hardware devices such as interfaces.
  • a hyperspectral image is image data that has more wavelength information than a typical RGB image.
  • An RGB image has pixel values for each of three bands, red (R), green (G), and blue (B), for each pixel.
  • a hyperspectral image has pixel values for each of the three or more bands described above for each pixel.
  • "hyperspectral image” means a plurality of images corresponding to each of four or more bands contained in a predetermined wavelength range of interest. The value that each pixel has is called a "pixel value”.
  • a plurality of pixel values of a plurality of pixels included in an image may be referred to as an "image”.
  • the number of bands in a hyperspectral image is typically 10 or more, and may exceed 100 in some cases.
  • a “hyperspectral image” is sometimes referred to as a “hyperspectral datacube” or “hyperspectral cube.”
  • FIG. 1A is a diagram for explaining the relationship between a target wavelength band W and a plurality of bands W 1 , W 2 , . . . , W i included therein.
  • the target wavelength band W can be set in various ranges depending on the application.
  • the target wavelength range W can be, for example, a visible light wavelength range from about 400 nm to about 700 nm, a near-infrared wavelength range from about 700 nm to about 2500 nm, or a near-ultraviolet wavelength range from about 10 nm to about 400 nm.
  • the target wavelength range W may be a mid-infrared or far-infrared wavelength range.
  • the wavelength range used is not limited to the visible light range. In this specification, not only visible light but also electromagnetic waves with wavelengths outside the visible light wavelength range, such as ultraviolet rays and near-infrared rays, are referred to as "light" for convenience.
  • i is an arbitrary integer equal to or greater than 4, and the target wavelength range W is divided into i equal wavelength ranges, which are band W 1 , band W 2 , . . . , band Wi.
  • a plurality of bands included in the target wavelength band W may be set arbitrarily. For example, multiple bandwidths corresponding to multiple bands may be different from each other. There may be gaps between adjacent bands. If the number of bands is four or more, more information can be obtained from the hyperspectral image than from the RGB image.
  • FIG. 1B is a diagram schematically showing an example of the hyperspectral image 22.
  • the imaging target is an apple.
  • the hyperspectral image 22 includes images 22W 1 , 22W 2 , . Each of these images includes a plurality of pixels arranged two-dimensionally.
  • Image 22Wk included in hyperspectral image 22 includes a plurality of pixels, each of which has a pixel value for band Wk ( k is a natural number less than or equal to i). Therefore, by acquiring the hyperspectral image 22, it is possible to obtain information on the two-dimensional distribution of the spectrum of the object. Based on the spectrum of the object, the optical properties of the object can be accurately analyzed.
  • a hyperspectral image can be acquired by imaging using a spectroscopic element such as a prism or grating, for example.
  • a spectroscopic element such as a prism or grating
  • the light is emitted from the emission surface of the prism at an emission angle corresponding to the wavelength.
  • a grating when reflected light or transmitted light from an object enters the grating, the light is diffracted at a diffraction angle according to the wavelength.
  • a line scan type hyperspectral camera acquires a hyperspectral image as follows. That is, the light generated by irradiating a subject with a line beam is split into bands by a prism or grating, and the separated light is detected for each band, which is repeated each time the line beam is shifted little by little.
  • a line-scan type hyperspectral camera has high spatial resolution and wavelength resolution, but the imaging time is long due to scanning with a line beam.
  • Conventional snapshot-type hyperspectral cameras do not require scanning, so the imaging time is short, but the sensitivity and spatial resolution are not very high.
  • a conventional snapshot-type hyperspectral camera a plurality of types of narrow-band filters with different transmission bands are periodically arranged on an image sensor. The average transmittance of each filter is about 5%. Increasing the number of narrow-band filters to improve wavelength resolution reduces spatial resolution.
  • a snapshot-type hyperspectral camera that utilizes compressed sensing technology as disclosed in Patent Document 1 can achieve high sensitivity and spatial resolution.
  • an image sensor detects light reflected from an object through a filter array called an encoding element or an encoding mask.
  • the filter array includes a plurality of filters arranged two-dimensionally. Each of these filters has a unique transmission spectrum. Imaging using such a filter array yields a compressed image in which image information of a plurality of bands is compressed as one two-dimensional image.
  • the spectral information of the object is compressed and recorded as one pixel value for each pixel.
  • each pixel contained in the compressed image contains information corresponding to multiple bands.
  • FIG. 2A is a diagram schematically showing an example of the filter array 20.
  • the filter array 20 includes a plurality of filters arranged two-dimensionally. Each filter has an individually set transmission spectrum.
  • the transmission spectrum is represented by a function T( ⁇ ), where ⁇ is the wavelength of incident light.
  • the transmission spectrum T( ⁇ ) can take a value of 0 or more and 1 or less.
  • the filter array 20 has 48 rectangular filters arranged in 6 rows and 8 columns. This is only an example and in actual applications more filters may be provided.
  • the number of filters included in the filter array 20 may be approximately the same as the number of pixels of the image sensor.
  • FIG. 2B and 2C are diagrams respectively showing examples of transmission spectra of the first filter A1 and the second filter A2 among the plurality of filters included in the filter array 20 of FIG. 2A.
  • the transmission spectrum of the first filter A1 and the transmission spectrum of the second filter A2 are different from each other.
  • the transmission spectrum of the filter array 20 differs depending on the filters. However, it is not necessary that all filters have different transmission spectra.
  • the filter array 20 includes multiple types of filters with different transmission spectra. Each type of filter may have more than one maximum in the wavelength range of interest.
  • the multiple types of filters include four or more types of filters, and among the four or more types of filters, the transmission range of one type of filter may partially overlap the transmission range of another type of filter.
  • the number of transmission spectrum patterns of the multiple types of filters included in the filter array 20 may be equal to or greater than the number i of bands included in the target wavelength band.
  • Filter array 20 may be designed such that more than half of the filters have different transmission spectra.
  • FIG. 2D is a diagram showing an example of the spatial distribution of the light transmittance of each of a plurality of bands W 1 , W 2 , . . . , W i included in the target wavelength range.
  • the difference in shade of each filter represents the difference in light transmittance.
  • a lighter filter has a higher light transmittance, and a darker filter has a lower light transmittance.
  • the spatial distribution of light transmittance differs depending on the band.
  • Data indicating the spatial distribution of the transmission spectrum of the filter array is referred to herein as a "restoration table.”
  • Compressed sensing techniques can reconstruct hyperspectral images from compressed images using reconstruction tables.
  • compressed sensing techniques do not require the use of prisms or gratings, hyperspectral cameras can be made smaller. Furthermore, compressed sensing techniques can reduce the amount of data processed by the processing circuitry by compressing multiple spectral information into a single compressed image. Furthermore, each filter in the filter array does not have to be a narrow band filter, allowing higher sensitivity and spatial resolution than conventional snapshot-type hyperspectral cameras.
  • the compressed image data g, the restoration table H, and the hyperspectral image data f acquired by the image sensor satisfy the following formula (1).
  • the compressed image data g and the hyperspectral image data f are vector data
  • the restoration table H is matrix data.
  • the compressed image data g is expressed as a one-dimensional array or vector having Ng elements.
  • N f be the number of pixels in each of the multiple images included in the hyperspectral image
  • M be the number of wavelength bands.
  • the reconstruction table H is represented as a matrix with N g rows (N f ⁇ M) columns of elements.
  • N g and N f can be designed to the same value.
  • f' represents the estimated data of f.
  • the first term in parentheses in the above formula represents the amount of deviation between the estimation result Hf and the acquired data g, ie, the so-called residual term.
  • the sum of squares is used as the residual term here, the absolute value or the square root of the sum of squares may be used as the residual term.
  • the second term in parentheses is a regularization term or a stabilization term, which will be described later.
  • Equation (2) means finding f that minimizes the sum of the first and second terms.
  • the arithmetic processing circuit can converge the solution by recursive iterative arithmetic and calculate the final solution f.
  • the first term in the parenthesis of formula (2) means an operation for obtaining the sum of the squares of the difference between the obtained data g and Hf obtained by system-transforming f in the estimation process using the matrix H.
  • the second term, ⁇ (f), is a constraint on the regularization of f, and is a function that reflects the sparse information of the estimated data. As a function, it has the effect of smoothing or stabilizing the estimated data.
  • the regularization term may be represented by, for example, the Discrete Cosine Transform (DCT), Wavelet Transform, Fourier Transform, or Total Variation (TV) of f. For example, when the total variation is used, it is possible to acquire stable estimated data that suppresses the influence of noise in the observed data g.
  • DCT Discrete Cosine Transform
  • TV Total Variation
  • the sparsity of an object in the space of each regularization term depends on the texture of the object.
  • a regularization term may be chosen that makes the texture of the object more spars in the space of regularization terms.
  • multiple regularization terms may be included in the operation.
  • ⁇ is a weighting factor. The larger the weighting factor ⁇ , the larger the reduction amount of redundant data and the higher the compression rate. The smaller the weighting factor ⁇ , the weaker the convergence to the solution.
  • the weighting factor ⁇ is set to an appropriate value with which f converges to some extent and does not become over-compressed.
  • Patent Document 1 A more detailed method of obtaining hyperspectral images by the technique of compressed sensing is disclosed in Patent Document 1. The entire disclosure of Patent Document 1 is incorporated herein by reference.
  • Patent document 2 discloses a method of recognizing a subject by a compressed image rather than a hyperspectral image. In this method, first, a compressed image of a known subject is acquired, and learning data of the compressed image of the subject is generated by machine learning. After that, the subject appearing in the newly obtained compressed image is recognized based on the learning data. This method does not need to generate hyperspectral image data, so the processing load can be reduced.
  • the spectral information of the subject may be known.
  • a fluorochrome absorbs excitation light and emits fluorescence at a specific wavelength.
  • Drugs and electronic components have unique spectral information with little individual difference if they are of the same type.
  • processing has been performed to classify objects appearing in images by type.
  • the load of the classification processing increases due to the generation of the hyperspectral image data.
  • it has not been considered to take advantage of the fact that the spectral information of the subject is known to reduce the load of classification processing.
  • the present inventors have found that the subject can be classified by type using the luminance pattern of the image data obtained by photographing the subject through the filter array instead of the hyperspectral image data of the subject.
  • I came up with an imaging device by The imaging device according to the present embodiment uses, as a filter array, an encoding element used for compression sensing as disclosed in Patent Document 1.
  • the compressed image data obtained through the encoding element is used to classify the subject by type.
  • subjects can be classified by type without obtaining hyperspectral image data of the subject, so the load of classification processing can be reduced.
  • each filter included in the filter array does not need to be a narrow band filter, so high sensitivity and spatial resolution can be achieved.
  • the imaging system includes a filter array including a plurality of filters having transmission spectra different from each other, an image sensor that captures light transmitted through the filter array and generates image data, and a processing circuit. wherein the processing circuit generates brightness pattern data generated by predicting a brightness pattern detected when the image sensor captures an image of the substance based on subject data including spectral information of at least one substance. obtain first image data obtained by imaging a target scene with the image sensor, and compare the luminance pattern data with the first image data to determine the presence or absence of the substance in the target scene Generate output data.
  • the imaging system according to the second item is the imaging system according to the first item, further comprising a storage device that stores the subject data and a table showing the spatial distribution of the transmission spectrum of the filter array.
  • the processing circuit acquires the subject data and the table from the storage device, and generates the luminance pattern data based on the subject data and the table.
  • This imaging system can generate luminance pattern data without communicating with the outside.
  • the imaging system according to the third item is the imaging system according to the first item, further comprising a storage device that stores a table showing the spatial distribution of the transmission spectrum.
  • the processing circuit acquires the table from the storage device, acquires the object data from the outside, and generates the brightness pattern data based on the object data and the table.
  • the imaging system according to the fourth item is the imaging system according to the first item, wherein the processing circuit acquires the brightness pattern data from the outside.
  • the imaging system according to item 5 is the imaging system according to any one of items 1 to 4, wherein the spectral information of at least one substance includes spectral information of a plurality of substances, and the output data comprises: It relates to the presence or absence of each of a plurality of substances in the target scene.
  • the imaging system according to a sixth item is the imaging system according to any one of the first to fifth items, wherein the processing circuit converts the luminance pattern data and the first image data into two or more pixels.
  • the presence or absence of the substance in the target scene is determined by comparing in a reference region including .
  • the imaging system according to the seventh item is the imaging system according to the sixth item, wherein the number of the two or more pixels included in the reference area changes according to the number of the plurality of substances.
  • the imaging system according to the eighth item is the imaging system according to the sixth or seventh item, wherein the target wavelength region spectrally separated by the imaging system includes n bands, and the two or more included in the reference region includes an evaluation pixel and n pixels that are neighboring pixels of said evaluation pixel, said reference region contains one substance rather than a plurality, and said filter array is contained in said reference region n filters respectively corresponding to the n pixels, the transmission spectra of the n filters are different from each other, and the transmittances for the n bands of each of the n filters are all non-zero be.
  • the imaging system according to the ninth item is the imaging system according to any one of the first to eighth items, wherein the output data includes information on the existence probability of the substance in each pixel of the first image data, and/or Alternatively, information on the existence probability of the substance in a plurality of pixels corresponding to the observation target is included in the first image data.
  • the imaging system according to the tenth item is the imaging system according to any one of the first to ninth items, wherein the subject data further includes shape information of the at least one substance.
  • the presence or absence of a subject in the target scene can be known from the shape of the subject.
  • the imaging system according to the eleventh item is the imaging system according to any one of the first to tenth items, further comprising an output device.
  • the processing circuit causes the output device to output a classification result indicated by the output data.
  • the user can know the classification result of the subject in the target scene from the output device.
  • the imaging system according to the twelfth item is the imaging system according to the eleventh item, wherein the output device displays an image in which a portion of the target scene where the substance exists is labeled by type.
  • the user can know the types of subjects present in the target scene by looking at the output device.
  • the imaging system according to the thirteenth item is the imaging system according to the eleventh or twelfth item, wherein the output device displays at least one of a spectrum graph of the substance and an image showing a description of the substance.
  • the user can know detailed information about the subject by looking at the output device.
  • the imaging system according to the fourteenth item is the imaging system according to any one of the eleventh to thirteenth items, wherein the output device is arranged in the target scene for an observation target in which the existence probability of the substance is less than a certain value. , displaying an image labeled to indicate that the type of observation object is unclassifiable.
  • the user can know the observation target that could not be determined by the output device.
  • the imaging system according to the fifteenth item is the imaging system according to any one of the first to fourteenth items, wherein each of the plurality of filters has two or more maxima in the target wavelength range spectrally dispersed by the imaging system. have a value.
  • the imaging system according to the sixteenth item is the imaging system according to any one of the first to fifteenth items, wherein the plurality of filters includes four or more types of filters. Among the four or more types of filters, the transmission range of one type of filter partially overlaps the transmission range of another type of filter.
  • the imaging system according to the seventeenth item is the imaging system according to any one of the first to sixteenth items, wherein the first image data is compressed image data encoded by the filter array.
  • the processing circuitry generates hyperspectral image data of the target scene based on the compressed image data of the target scene.
  • This imaging system can generate hyperspectral image data of the target scene.
  • the imaging system according to the eighteenth item is the imaging system according to any one of the eleventh to fourteenth items, wherein the first image data is compressed image data encoded by the filter array.
  • the processing circuit causes the output device to display a GUI for a user to instruct to generate hyperspectral image data of the target scene, and converts the compressed image data of the target scene to the compressed image data according to the user's instruction. Based on this, the hyperspectral image data of the target scene is generated.
  • the user can generate hyperspectral image data of the target scene by inputting to the GUI displayed on the output device.
  • the imaging system is the imaging system according to any one of the eleventh to fourteenth items, wherein the first image data is compressed image data encoded by the filter array.
  • the processing circuit causes the output device to display a GUI for a user to instruct switching between a first mode for generating the output data and a second mode for generating hyperspectral image data of the target scene, and generating the output data in response to a user's instruction of the first mode, and generating the hyperspectral data of the target scene based on the compressed image data of the target scene in response to the user's instruction of the second mode; Generate image data.
  • the user can switch between the first mode and the second mode by inputting to the GUI displayed on the output device.
  • the method according to the twentieth item is a computer-implemented method.
  • the method obtains first image data obtained by imaging a target scene with an image sensor that generates image data by imaging light transmitted through a filter array including a plurality of filters having transmission spectra different from each other. and acquiring luminance pattern data generated by predicting a luminance pattern detected when the subject is imaged by the image sensor based on subject data including spectral information of at least one type of subject. and generating output data indicating the presence or absence of the subject in the target scene by comparing the luminance pattern data and the first image data.
  • This method can reduce the processing load of classifying the subjects in the image by type.
  • the computer program according to the twenty-first item is a computer program executed by a computer.
  • the computer program instructs the computer to capture a target scene with an image sensor that captures light transmitted through a filter array including a plurality of filters having transmission spectra different from each other to generate image data.
  • This computer program can reduce the processing load of classifying subjects in images by type.
  • FIG. 1 is a diagram schematically showing examples of fluorescence spectra of four types of fluorescent dyes A to D.
  • FIG. Each fluorescence spectrum of fluorochromes A, B, and D shows a single peak.
  • Peak wavelengths and peak widths differ for fluorochromes A, B, and D.
  • the fluorescence spectrum of fluorochrome C shows two peaks with different peak wavelengths and peak widths.
  • FIG. 3 in fluorescence imaging, the fluorescence spectrum information of the fluorescent dye attached to the observation target is known.
  • FIG. 4 is a block diagram schematically showing the configuration of the imaging device 100 according to exemplary Embodiment 1 of the present disclosure.
  • FIG. 4 shows a target scene 10 to be imaged.
  • the target scene 10 includes multiple types of observation targets to which multiple types of fluorescent dyes 12 are respectively attached.
  • the plurality of types of observation targets shown in FIG. 4 have an elliptical shape, a polygonal line shape, and a rectangular shape.
  • the number of types of fluorescent dye attached to the imaging target may be plural or may be one.
  • the imaging device 100 shown in FIG. 4 includes a filter array 20, an image sensor 30, an optical system 40, a storage device 50, an output device 60, a processing circuit 70, and a memory 72.
  • the imaging device 100 functions as a hyperspectral camera.
  • the imaging device 100 may be part of the configuration of, for example, a mobile terminal or a personal computer.
  • the filter array 20 modulates the intensity of incident light for each filter and emits the light. Details of the filter array 20 are as described above.
  • the image sensor 30 includes a plurality of photodetection elements arranged two-dimensionally along the photodetection surface.
  • the photodetectors are also referred to herein as "pixels.”
  • the width of the light detection surface of the image sensor 30 is approximately equal to the width of the light incident surface of the filter array 20 .
  • the image sensor 30 is arranged at a position that receives light that has passed through the filter array 20 .
  • the plurality of photodetectors included in image sensor 30 may correspond to, for example, the plurality of filters included in filter array 20 .
  • a single photodetector element may detect light passing through more than one filter.
  • Image sensor 30 produces compressed image data based on light passing through filter array 20 .
  • the image sensor 30 can be, for example, a CCD (Charge-Coupled Device) sensor, a CMOS (Complementary Metal Oxide Semiconductor) sensor, or an infrared array sensor.
  • Photodetector elements may include, for example, photodiodes.
  • the image sensor 30 can be, for example, a monochrome type sensor or a color type sensor.
  • the aforementioned target wavelength range is a wavelength range that can be detected by the image sensor 30 .
  • the optical system 40 is located between the target scene 10 and the filter array 20 .
  • the target scene 10 and the filter array 20 are positioned on the optical axis of the optical system 40 .
  • Optical system 40 includes at least one lens.
  • the optical system 40 is composed of one lens, but may be composed of a combination of a plurality of lenses.
  • Optical system 40 forms an image on the photodetection surface of image sensor 30 via filter array 20 .
  • the storage device 50 stores a restoration table corresponding to the transmission characteristics of the filter array 20 and dye data including fluorescence spectrum information of multiple types of fluorescent dyes.
  • data containing spectral information of at least one type of subject in the target scene 10 is referred to as "subject data".
  • a fluorescent dye in the present embodiment is an example of a subject in the target scene 10 . Any subject may be used as long as spectral information is known.
  • At least one substance described in the claims may mean the above-mentioned “at least one type of subject”.
  • the output device 60 displays the classification results of the multiple types of fluorescent dyes included in the target scene 10. These pieces of information may be displayed on a GUI (Graphic User Interface).
  • the output device 60 can be, for example, a mobile terminal or a personal computer display. Alternatively, the output device 60 may be a speaker that audibly conveys the classification results.
  • the output device 60 is not limited to a display or speaker as long as it is a device that can convey the classification result to the user.
  • the imaging device 100 may transmit an instruction to output the classification result to the output device 60 .
  • the output device 100 may receive the instruction and output the classification result.
  • the processing circuit 70 controls the operations of the image sensor 30 , storage device 50 and output device 60 .
  • the processing circuitry 70 classifies the fluorescent dyes contained in the target scene 10 by type. Details of this operation will be described later.
  • a computer program executed by the processing circuit 70 is stored in a memory 72 such as ROM or RAM (Random Access Memory).
  • imaging device 100 includes a processing unit including processing circuitry 70 and memory 72 .
  • the processing circuitry 70 and memory 72 may be integrated on one circuit board or provided on separate circuit boards.
  • the functionality of processing circuitry 70 may be distributed over multiple circuits.
  • This classification method includes the following steps (1) to (3).
  • Brightness pattern data is generated for each of a plurality of types of fluorescent dyes.
  • the brightness pattern data is data generated by predicting the brightness pattern detected when the image sensor 30 captures an image of the fluorescent dye. That is, luminance pattern data A1 corresponding to the fluorescent dye A1, . . . , and luminance pattern data An corresponding to the fluorescent dye An are generated (n is a natural number equal to or greater than 1).
  • the luminance pattern data is a plurality of pixel values corresponding one-to-one to the plurality of pixels included in the luminance pattern. More specifically, the luminance pattern data is data predicted to be generated when a virtual scene in which the corresponding fluorescent dye is distributed over the entire scene is imaged by the image sensor 30 via the filter array 20. is.
  • a luminance pattern indicates a spatial distribution of luminance values in a plurality of pixels.
  • the luminance value is proportional to the value obtained by integrating the function obtained by multiplying the transmission spectrum of the corresponding filter and the fluorescence spectrum of the fluorescent dye over the target wavelength range. Note that if the area in which each type of fluorescent dye is distributed is determined in the target scene 10, the luminance pattern data may be generated from a virtual scene in which each type of fluorescent dye is distributed in part rather than the entire area.
  • Compressed image data of the target scene 10 is generated by imaging the target scene 10 with the image sensor 30 via the filter array 20 .
  • the fluorescence spectra of nine types of fluorescent dyes A to I are known, and the light transmittance in the nine bands of each filter included in filter array 20 is known. An example will be described.
  • FIG. 5A is a diagram schematically showing the spatial distribution of luminance values in part of a compressed image. Which one of the nine fluorescent dyes A to I the luminance value of the evaluation pixel marked with an asterisk shown in FIG. is determined with reference to In this specification, a region containing pixels to be referred to is called a “reference region”. In the example shown in FIG. 5A, the reference area is a square area of 3 rows and 3 columns surrounded by thick lines, but the shape of the reference area is not limited to a square.
  • the evaluation pixel marked with an asterisk is the pixel located in the center of the square area.
  • FIG. 5B is a diagram schematically showing the spatial distribution of luminance in the same region as the reference region shown in FIG. 5A among nine luminance patterns A to I predicted from nine types of fluorescent dyes A to I, respectively. Labels A to I represent luminance patterns A to I, respectively.
  • the term "reference area" is used for the luminance pattern as well as for the compressed image.
  • the spatial distribution of luminance in the reference region of the compressed image shown in FIG. 5A matches the spatial distribution of luminance in the reference region of luminance pattern D shown in FIG. 5B. Therefore, it can be seen that the fluorescent dye D is present in the portions of the target scene 10 corresponding to the evaluation pixels marked with asterisks in FIG. 5A.
  • Such pattern fitting is performed, for example, from nine luminance patterns A to I, the luminance pattern that minimizes the MSE (Mean Squared Error) or PSNR (Peak Signal to Noise Ratio) in the reference region of the luminance pattern and the compressed image. This may be done by searching for Alternatively, pattern fitting may be performed by machine learning.
  • the pattern matching rate at each pixel between the luminance pattern and the compressed image can be quantified based on MSE or PSNR, for example.
  • the pattern matching rate is also the existence probability of the fluorescent dye in each pixel of the compressed image. “Probability of presence of fluorescent dye in each pixel of compressed image” means the probability of presence of fluorescent dye in a portion of the target scene 10 corresponding to each pixel of the compressed image.
  • Pattern fitting can be performed most efficiently when the number of pixels included in the reference area is the minimum.
  • a method for determining the reference area will be described below. The method is valid for any fluorescence spectrum.
  • the luminance value g x in the evaluation pixel x is represented by the following equation (3), where t k is the light transmittance in the k-th band of the filter, and I k is the fluorescence intensity in the k-th band of the fluorescent dye. .
  • the brightness value gx is the sum of the product of the light transmittance of the filter and the fluorescence intensity of the fluorochrome for all bands.
  • Equation (3) is an equation with 9 variables I k if the luminance value g x and the light transmittance t k of the filter are known. With at least 9 simultaneous equations, 9 variables I k can be derived.
  • the reference area includes pixels of 3 rows and 3 columns centered on the evaluation pixel x.
  • one type of fluorescent dye is present in the reference region, the transmission spectra of the nine filters included in the reference region are different from each other, and the light transmittances tk for the nine bands of each filter are all nonzero. is. In this case, 9 variables Ik can be derived.
  • n bands be used to classify m types of fluorochromes. This is the same as changing the degree of k in equation (3) to n.
  • pattern fitting can be performed most efficiently when the following requirements (A) to (D) are satisfied.
  • the reference area includes the evaluation pixel and n pixels located in the vicinity thereof.
  • B A single fluorescent dye is present in the reference region instead of multiple types.
  • C Transmission spectra of n filters included in the reference region are different from each other.
  • D All the transmittances t k for the n bands of each filter are non-zero.
  • Pixels located in the vicinity of the evaluation pixel are pixels selected in ascending order of center-to-center distance from the evaluation pixel.
  • the pixels with the shortest center-to-center distance to the evaluation pixel are the four pixels located above, below, left and right of the evaluation pixel, and the pixels with the second shortest center-to-center distance to the evaluation pixel are: These are the four pixels positioned to the upper left, upper right, lower left and lower right of the evaluation pixel.
  • the reference region includes 7 pixels
  • the 7 pixels are the evaluation pixel, 4 pixels having the shortest center-to-center distance from the evaluation pixel, and 2 pixels having the shortest center-to-center distance from the evaluation pixel. any two of the four shortest pixels.
  • Requirement (D) is not met by filter arrays used in monochrome cameras, RBG cameras, and conventional snapshot-type hyperspectral cameras.
  • Transmittance tk is non-zero in the requirement of (D) means that the pixel signal of the image sensor that detects the transmitted light of the filter with the transmittance tk has a value significantly larger than the noise. means that A filter array 20 suitable for generating hyperspectral image data is also suitable for pattern fitting.
  • variable Ik is the average value of the fluorescence intensity of fluorochrome A and the fluorescence intensity of fluorochrome E in the k -th band.
  • the variable Ik when two or more types of fluorochromes are mixed in the reference region is not limited to the average value of a plurality of fluorescence intensities corresponding to each of the mixed fluorochromes. For example, it may be a weighted average or median obtained by multiplying the weight according to the type of dye.
  • FIG. 6A is a diagram schematically showing fluorescence intensities in bands 1 to 8 of two types of fluorescent dyes. Each band width is about several nanometers.
  • the fluorescence intensities of the two fluorochromes are equal in bands 6-8. These bands are not necessary to distinguish between the two fluorochromes. Therefore, bands used for classification of fluorescent dyes can be reduced from bands 1-8 to bands 1-5. Bands 1-5 can be further reduced using dimensionality reduction.
  • FIG. 6B is a diagram schematically showing fluorescence intensities in bands 1, 3, and 5 of two types of fluorescent dyes. In the example shown in FIG. 6B, the bands used for fluorescent dye classification are reduced from bands 1 to 5 to bands 1, 3, and 5 by the dimension reduction method. For example, Auto Encoder, Principle Component Analysis, or Singular Value Decomposition can be used as dimensionality reduction methods.
  • the bands used for classification of fluorescent dyes are known, it is possible to select a reference region that satisfies the above requirements (A) to (D).
  • the number of bands used for classifying fluorochromes increases with the number of types of fluorochromes. That is, the number of two or more pixels included in the reference region changes according to the number of types of fluorescent dyes.
  • FIG. 7A is a diagram schematically showing an example of a GUI displayed on the output device 60 before classifying fluorescent dyes.
  • the output device 60 shown in FIG. 7A is a smartphone display.
  • a compressed image of the target scene is displayed at the top of the GUI shown in FIG. 7A.
  • the target scene includes nine observation targets, and the nine observation targets are numbered 1-9.
  • Each observation object is attached with one of the fluorescent dyes A to C having a known fluorescence spectrum.
  • Observation targets can be extracted from compressed images, for example, by edge detection. If the position of the observation target is known, pattern fitting can be performed only on the pixels in the compressed image where the observation target is located. Therefore, it is not necessary to perform pattern fitting for all pixels.
  • a load button is displayed near the center of the GUI shown in FIG. 7A to read the spectral information of the fluorescent dye.
  • the processing circuitry 70 receives the button selection signal, reads the dye data and reconstruction table from the storage device 50, and generates the luminance pattern data for each type of fluorescent dye.
  • the dye data includes fluorescence spectrum information of fluorescent dyes AC.
  • buttons for pattern fitting and a button for compression sensing are displayed at the bottom of the GUI shown in FIG. 7A. These buttons are buttons for the user to instruct execution of pattern fitting or compression sensing.
  • the processing circuitry 70 receives the button selection signal and compares the luminance pattern data with the compressed image data to determine which fluorescent dye is applied to the observed object in the target scene 10. Classify high.
  • FIG. 7B is a diagram schematically showing an example of the GUI displayed on the output device 60 after the fluorescent dyes are classified.
  • Observation targets 1 to 9 in the target scene are displayed in the upper part of the GUI shown in FIG. there is
  • the elliptical observation targets 1, 3, 7, and 9 are attached with the fluorescent dye A
  • the polygonal observation targets 2 and 5 are attached with the fluorescent dye B
  • the rectangular observation targets 1, 3, 7, and 9 are attached.
  • Fluorescent dye C is attached to observation objects 4, 6, and 8.
  • FIG. 7B when the user selects the number of the observation target, the processing circuit 70 receives the selection signal and displays a graph of the spectrum of the fluorescent dye attached to the observation target and an explanation of the fluorescent dye on the GUI. You may let
  • the pattern matching rate shown in FIG. 7B represents how much the predicted brightness pattern data and the compressed image data match in the observation target.
  • the pattern matching rate shown in FIG. 7B is obtained, for example, by averaging pattern matching rates of a plurality of pixels included in the observation target.
  • the fluorescent dye attached to each observation target is a fluorescent dye that exhibits a pattern matching rate exceeding 0.9 among the fluorescent dyes A to C.
  • pattern matching rates greater than 0.9 for each observation are represented by bold letters.
  • the highest pattern matching rate exceeds 0.9, so it can be said that the fluorescent dye classification accuracy is high.
  • the highest pattern matching rate is less than 0.9, it cannot necessarily be said that the fluorescent dye classification accuracy is high.
  • a label "unknown" indicating unclassifiable may be displayed next to the observation target number.
  • the "unknown” label may be displayed, for example, when the pattern matching rate for the observed object does not meet a predetermined criterion.
  • the pattern matching rate criteria may be set by the user.
  • the "unknown" label is an example of an image displayed when the pattern matching rate is insufficient to classify the type of observation object.
  • the user may return to the GUI shown in FIG. 7A and select the compression sensing button.
  • the processing circuit 70 receives the button selection signal, generates hyperspectral image data of the target scene using compression sensing technology, and compares the hyperspectral image data of the target scene with the dye data of the fluorochromes. determines the presence or absence of each type of fluorescent dye in the target scene.
  • processing circuitry 70 may cause the GUI to display a message prompting the user to generate hyperspectral image data of the target scene by compressive sensing.
  • processing circuitry 70 may automatically determine the presence or absence of each type of fluorochrome in the target scene using compression sensing techniques. If there is no known dye data, the user selects the compressed sensing button instead of the pattern fitting button from the beginning.
  • GUI shown in FIG. 7A may further display a button for selecting the other application in addition to the pattern fitting button and compression sensing button.
  • the type of fluorescent dye attached to the observation target is determined by the shape of the observation target, the type of fluorescent dye can be classified according to the shape of the observation target.
  • the dye data further includes information on the distribution shape of the fluorescent dye in addition to the spectral information on the fluorescent dye.
  • fluorescent dyes A to C are attached to elliptical, polygonal, and rectangular observation targets, respectively.
  • FIG. 8A is a flowchart illustrating an example of operations performed by processing circuitry 70 .
  • the processing circuit 70 executes the operations of steps S101 to S106 below.
  • Processing circuitry 70 retrieves dye data and reconstruction tables from storage device 50 .
  • the processing circuit 70 generates a plurality of luminance pattern data for a plurality of types of fluorescent dyes.
  • Processing circuitry 70 causes image sensor 30 to image target scene 10 through filter array 20 to generate compressed image data.
  • the processing circuit 70 compares the luminance pattern data and the compressed image data to generate and output output data indicating the presence or absence of each type of fluorescent dye in the target scene.
  • the output data may include, for example, label information for each type of fluorescent dye attached to a portion of the target scene where the observation target exists.
  • the output data may include, for example, information on the existence probability of the fluorescent dye in each pixel of the compressed image and/or information on the existence probability of the fluorescent dye in a plurality of pixels corresponding to the observation target in the compressed image.
  • the processing circuitry 70 may store the output data in the storage device 50 .
  • the processing circuit 70 causes the output device 60 to output the classification results indicated by the output data, as shown in FIG. 7B.
  • the processing circuit 70 determines whether or not the classification accuracy is equal to or higher than the reference value. This determination can be made, for example, based on whether or not the highest pattern-to-pattern rate among the pattern matching rates of the fluorescent dyes A to C with respect to each of the observation objects 1 to 9 is 0.9 or more. If the determination is Yes, processing circuitry 70 terminates its operation. If the determination is No, processing circuit 70 executes steps S102 to S106 again. If the classification accuracy is not equal to or higher than the reference value even in the second determination, the processing circuit 70 may execute steps S102 to S106 again or terminate the operation.
  • the imaging apparatus 100 since compressed image data is used in pattern fitting, there is no need to restore a hyperspectral image. As a result, the processing load for classifying the subjects in the target scene by type can be greatly reduced compared to the configuration for restoring the hyperspectral image.
  • the GPU and FPGA used for high-speed processing are not required as the processing circuit 70, and a low-spec CPU is sufficient.
  • the processing speed is about 100 times higher than that of a configuration that restores a hyperspectral image.
  • each filter included in the filter array 20 does not need to be a narrow band filter, so high sensitivity and spatial resolution can be achieved.
  • FIG. 8B is a flow chart showing another example of operations performed by the processing circuit 70 .
  • the processing circuit 70 executes the operations of steps S101 to S104 and the following operations of S107 to S110.
  • the operations of steps S101 to S104 shown in FIG. 8B are respectively the same as the operations of steps S101 to S104 shown in FIG. 8A.
  • Step S107> The processing circuit 70 determines whether or not the classification accuracy is equal to or higher than the reference value. If the determination is Yes, processing circuit 70 performs the operation of step S108. If the determination is No, the processing circuitry 70 performs the operation of step S109.
  • the processing circuit 70 causes the output device 60 to output the classification results indicated by the output data.
  • Processing circuitry 70 generates hyperspectral image data of the target scene based on the compressed image data and the decompression table.
  • Processing circuitry 70 produces output data by comparing the hyperspectral image data and the dye data. Processing circuitry 70 then performs the operation of step S108.
  • the processing circuit 70 causes the output device 60 to display a GUI for the user to instruct switching between the first mode of pattern fitting and the second mode of compression sensing.
  • Processing circuitry 70 performs pattern fitting in response to a user's first mode instruction, and performs compression sensing in response to a user's second mode instruction.
  • FIG. 8C is a flowchart showing still another example of the operation performed by the processing circuit 70.
  • the processing circuit 70 executes the operations of steps S111 and S112 and the operations of steps S101 to S104 and S107 to S110 below.
  • the operations of steps S101 to S104 and S107 to S110 shown in FIG. 8C are respectively the same as the operations of steps S101 to S104 and S107 to S110 shown in FIG. 8B.
  • Processing circuitry 70 determines whether the first or second mode has been selected by the user, ie, has received a signal for button selection of the first or second mode. If the determination is Yes, processing circuitry 70 performs the operation of step S112. If the determination is No, the external processing circuit 90 performs the operation of step S111 again.
  • Processing circuitry 70 also determines whether the first mode has been selected, ie, whether the received signal is a first mode signal. If the determination is Yes, the processing circuitry 70 performs the operation of step S101. If the determination is No, the second mode is selected, ie, the received signal is a second mode signal, so processing circuit 70 performs the operation of step S109.
  • FIG. 9 is a block diagram that schematically illustrates the configuration of an imaging system 200 according to exemplary embodiment 2 of the present disclosure.
  • An imaging system 200 shown in FIG. 9 includes the imaging device 100 shown in FIG. 4 and an external storage device 80 .
  • the term “imaging system” is also used for the stand-alone imaging device 100 shown in FIG.
  • the storage device 50 included in the imaging device 100 stores the restoration table
  • the external storage device 80 stores dye data.
  • the processing circuit 70 acquires the restoration table from the storage device 50 and the dye data from the external storage device 80 in step S101 shown in FIG. 8A.
  • the external storage device 80 stores a restoration table and dye data.
  • the processing circuit 70 acquires dye data and a restoration table from the external storage device 80 in step S101 shown in FIG. 8A.
  • FIG. 10 is a block diagram that schematically illustrates the configuration of an imaging system 300 according to exemplary embodiment 3 of the present disclosure.
  • An imaging system 300 shown in FIG. 10 includes the imaging apparatus 100 shown in FIG. 4, an external storage device 80 storing a restoration table and dye data, and an external processing circuit 90.
  • the external processing circuit 90 generates luminance pattern data.
  • FIG. 11A is a flow chart illustrating an example of operations performed by processing circuit 70 .
  • the processing circuit 70 executes the operations of steps S201 to S206 below.
  • the processing circuit 70 transmits a luminance pattern data request signal to the external processing circuit 90 .
  • the processing circuit 70 acquires luminance pattern data from the external processing circuit 90 .
  • Steps S203 to S206 are respectively the same as the operations of steps S103 to S106 shown in FIG. 8A. However, the operation of step S206 differs from the operation of step S106 in that if the determination is No, the processing circuit 70 executes steps S201 to S205 again.
  • FIG. 11B is a flowchart showing an example of operations performed by the external processing circuit 90 between steps S201 and S202 shown in FIG. 11A.
  • the external processing circuit 90 executes the operations of steps S301 to S304 below.
  • Step S301> The external processing circuit 90 determines whether or not a request signal has been received. If the determination is Yes, the external processing circuit 90 performs the operation of step S302. If the determination is No, the external processing circuit 90 performs the operation of step S301 again.
  • the external processing circuit 90 acquires the dye data and restoration table from the external storage device 80 .
  • External processing circuitry 90 generates luminance pattern data based on the dye data and the reconstruction table.
  • Step S304> The external processing circuit 90 transmits the brightness pattern data to the processing circuit 70 .
  • FIG. 12 is a diagram schematically showing an example of an imaging device 900 imaging a color chart as the target scene 10.
  • FIG. in the color chart a plurality of color areas having different colors are distributed in a mosaic pattern, and the color boundaries are clear.
  • a sheet on which different types of phosphors are applied in a mosaic pattern may be used.
  • the reference region includes one type of spectral information. For example, in two adjacent color regions with different colors, if the reference region is located only in one of the color regions, high classification accuracy is obtained. On the other hand, if the reference region straddles two color regions, ie if the reference region includes part of each color region, the classification accuracy is significantly reduced. This is because the reference region contains two types of spectral information. If the color chart is repeatedly shifted little by little and the classification accuracy drops significantly, it can be understood that the pattern fitting technique is used in the imaging apparatus 900 .
  • the number of pixels included in the reference area changes according to the spectral information and the number of the subject included in the subject data.
  • the imaging apparatus 900 uses pattern fitting technology. I know there is.
  • FIGS. 7A and 7B are displayed on an output device (not shown) of the imaging device 900, it can be understood that the imaging device 900 uses pattern fitting technology.
  • the imaging apparatus 100 according to Embodiments 1 to 3 can be used, for example, for inspection of foreign matter in addition to classification of fluorescent dyes.
  • an application example of the imaging device 100 according to Embodiments 1 to 3 will be described with reference to FIGS. 13A and 13B.
  • an inspection for foreign substances in a drug may be taken as an example, or an inspection for foreign substances in electronic parts may be used.
  • FIG. 13A is a diagram schematically showing an example in which the imaging device 100 individually images a plurality of medicine bags 14 carried by a belt conveyor.
  • the imaging device 100 shown in FIG. 13A includes a camera 110, a processing device 120, and an output device 60.
  • Camera 110 shown in FIG. 13A includes filter array 20, image sensor 30, and optical system 40 shown in FIG.
  • the processing unit 120 shown in FIG. 13A includes storage device 50, processing circuitry 70, and memory 72 shown in FIG.
  • the medicine bag 14 contains large and small medicines A and B in tablet form and large and small medicines C and D in capsule form.
  • the spectrum information of drug A contained in the plurality of drug bags 14 is substantially the same. The same is true for drugs B to D.
  • the storage device 50 stores drug data including spectral information of drugs AD.
  • FIG. 13B is a diagram schematically showing an example of the GUI displayed on the output device 60 after classifying drugs.
  • Observation targets 1 to 4 in the target scene are displayed in the left part of the GUI shown in FIG. 13B, and labels A to D for each type of drug are attached next to the numbers 1 to 4 of the observation targets.
  • a table showing pattern matching between observation objects 1-4 and drugs A-D is displayed.
  • observation target 1 is drug C
  • observation target 2 is drug A
  • observation target 3 is drug B
  • observation target 4 is drug D.
  • drugs with a pattern matching rate of 90% or more are marked with a circle.
  • the drug bag 14 contains drugs A to D, and the drug bag 14 does not contain the same type of drug, drugs other than the drugs A to D, or foreign substances.
  • a filter array including a plurality of filters having a plurality of transmission spectra, the plurality of filters and the plurality of transmission spectra have a one-to-one correspondence, and the plurality of transmission spectra are different from each other; an image sensor that produces a plurality of pixel values in response to light from the filter array; a processing circuit; the processing circuit obtains a plurality of first pixel values calculated based on information indicative of spectral properties of the material and information indicative of the plurality of transmission spectra; the calculation is performed as light from the material impinges on the filter array and the image sensor generates the plurality of first pixel values in response to light responsive to the impingement; The processing circuit obtains a plurality of second pixel values generated by the image sensor imaging a target scene through the filter array, the processing circuitry determines whether the target scene includes the material based on the plurality of first pixel values and the plurality of second pixel values; imaging system.
  • the substance may be a fluorescent substance.
  • the brightness pattern data and the compressed image may be generated by imaging using a method different from imaging using a filter array including a plurality of optical filters.
  • the image sensor 30 may be processed to change the light receiving characteristics of the image sensor for each pixel. may be generated. That is, instead of encoding the light incident on the image sensor by the filter array 20, the image sensor may be provided with the function of encoding the incident light to generate the luminance pattern data and the compressed image.
  • the restoration table corresponds to the light receiving characteristics of the image sensor.
  • the optical characteristics of the optical system 40 are changed spatially and wavelength-wise, and the incident light is encoded.
  • the brightness pattern data and the compressed image may be generated by an imaging device including the configuration.
  • the restoration table becomes information corresponding to the optical characteristics of optical elements such as metalens.
  • the present disclosure may include the following forms.
  • an imaging device including a plurality of light receiving regions having mutually different optical response characteristics; a processing circuit; with The processing circuit is Acquiring luminance pattern data generated by predicting a luminance pattern detected when the imaging device captures an image of the substance based on subject data including spectral information of at least one substance; Acquiring first image data obtained by imaging a target scene with the imaging device; An imaging system that generates output data regarding the presence or absence of the material in the target scene by comparing the luminance pattern data and the first image data.
  • Each of the plurality of light receiving areas may correspond to a pixel included in the image sensor.
  • the imaging device may include an optical element, and the optical response characteristics of the plurality of light receiving regions may correspond to the spatial distribution of the transmission spectrum of the optical element.
  • the imaging device according to the present disclosure can be used to classify subjects included in a target scene by type. Furthermore, the imaging device according to the present disclosure can be used for foreign matter inspection.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

互いに異なる透過スペクトルを有する複数のフィルタを含むフィルタアレイ（２０）と、前記フィルタアレイを透過した光を撮像し、画像データを生成するイメージセンサ（３０）と、処理回路（７０）と、を備え、前記処理回路は、少なくとも１つの物質のスペクトル情報を含む被写体データに基づいて前記物質を前記イメージセンサによって撮像した場合に検出される輝度パターンを予測することにより生成された、輝度パターンデータを取得し、前記イメージセンサにより対象シーンを撮像して得られた第１画像データを取得し、前記輝度パターンデータと前記第１画像データとを比較することにより、前記対象シーンにおける前記物質の有無に関する出力データを生成する、撮像システム。

Description

撮像システム、撮像システムに用いられる方法、および撮像システムに用いられるコンピュータプログラム
　本開示は、撮像システム、撮像システムに用いられる方法、および撮像システムに用いられるコンピュータプログラムに関する。
　画像に映る１つまたは複数の被写体を種類ごとに分類する処理は、ファクトリーオートメーションおよび医療の分野では必須の処理である。分類処理には、被写体のスペクトル情報および形状情報のような特徴量が用いられる。ハイパースペクトルカメラであれば、画素ごとに多くのスペクトル情報を含むハイパースペクトル画像を得ることができる。このため、ハイパースペクトルカメラをそのような分類処理に利用することが期待されている。
　特許文献１および２は、圧縮センシングの技術を用いてハイパースペクトル画像を得る撮像装置を開示している。
米国特許第９５９９５１１号明細書 国際公開第２０２０／０８００４５号
　本開示は、画像に映る被写体を種類ごとに分類する処理の負荷を低減できる撮像システムを提供する。
　本開示の一態様に係る撮像システムは、互いに異なる透過スペクトルを有する複数のフィルタを含むフィルタアレイと、前記フィルタアレイを透過した光を撮像し、画像データを生成するイメージセンサと、処理回路と、を備え、前記処理回路は、少なくとも１つの物質のスペクトル情報を含む被写体データに基づいて前記物質を前記イメージセンサによって撮像した場合に検出される輝度パターンを予測することにより生成された、輝度パターンデータを取得し、前記イメージセンサにより対象シーンを撮像して得られた第１画像データを取得し、前記輝度パターンデータと前記第１画像データとを比較することにより、前記対象シーンにおける前記物質の有無に関する出力データを生成する。
　本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意の組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ‐Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含む。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。「システム」に含まれる複数の装置の中には、他の装置とは離れた遠隔地に設置され、通信ネットワークを介して接続される装置も含み得る。
　本開示の技術によれば、画像に映る被写体を種類ごとに分類する処理の負荷を低減できる撮像装置を実現することができる。
図１Ａは、対象波長域と、それに含まれる複数のバンドとの関係を説明するための図である。 図１Ｂは、ハイパースペクトル画像の例を模式的に示す図である。 図２Ａは、フィルタアレイの例を模式的に示す図である。 図２Ｂは、図２Ａに示すフィルタアレイに含まれる第１フィルタの透過スペクトルの例を示す図である。 図２Ｃは、図２Ａに示すフィルタアレイに含まれる第２フィルタの透過スペクトルの例を示す図である。 図２Ｄは、対象波長域に含まれる複数のバンドＷ１、Ｗ２、・・・、Ｗｉのそれぞれの光の透過率の空間分布の例を示す図である。 図３は、４種類の蛍光色素Ａ～Ｄの蛍光スペクトルの例を模式的に示す図である。 図４は、本開示の例示的な実施形態１による撮像装置の構成を模式的に示すブロック図である。 図５Ａは、圧縮画像の一部における輝度値の空間分布を模式的に示す図である。 図５Ｂは、９個の輝度パターンのうち、図５Ａに示す参領領域における輝度の空間分布を模式的に示す図である。 図６Ａは、２種類の蛍光色素のバンド１～８における蛍光強度を模式的に示す図である。 図６Ｂは、２種類の蛍光色素のバンド１、３、５における蛍光強度を模式的に示す図である。 図７Ａは、蛍光色素を分類する前に出力装置に表示されるＧＵＩの例を模式的に示す図である。 図７Ｂは、蛍光色素を分類した後に出力装置に表示されるＧＵＩの例を模式的に示す図である。 図８Ａは、実施形態１における処理回路が実行する動作の例を示すフローチャートである。 図８Ｂは、実施形態１における処理回路が実行する動作の他の例を示すフローチャートである。 図８Ｃは、実施形態１における処理回路が実行する動作のさらに他の例を示すフローチャートである。 図９は、本開示の例示的な実施形態２による撮像システムの構成を模式的に示すブロック図である。 図１０は、本開示の例示的な実施形態３による撮像システムの構成を模式的に示すブロック図である。 図１１Ａは、実施形態３における処理回路が実行する動作の例を示すフローチャートである。 図１１Ｂは、図１１Ａに示すステップＳ２０１とステップＳ２０２との間に外部処理回路が実行する動作の例を示すフローチャートである。 図１２は、ある撮像装置が対象シーンとしてカラーチャートを撮像する例を模式的に示す図である。 図１３Ａは、ベルトコンベアによって運ばれる複数の薬剤袋を撮像装置によって個別に撮像する例を模式的に示す図である。 図１３Ｂは、薬剤を分類した後に出力装置に表示されるＧＵＩの例を模式的に示す図である。
　本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅも同じ目的で使うことができる。
　さらに、回路、ユニット、装置、部材または部の全部または一部の機能または操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
　以下、本開示の例示的な実施形態を説明する。なお、以下で説明する実施形態は、いずれも包括的又は具体的な例を示すものである。以下の実施形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
　本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。
　まず、図１Ａおよび図１Ｂを参照して、ハイパースペクトル画像の例を簡単に説明する。ハイパースペクトル画像は、一般的なＲＧＢ画像よりも多くの波長の情報を有する画像データである。ＲＧＢ画像は、画素ごとに、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の３つのバンドのそれぞれについての画素値を有する。これに対し、ハイパースペクトル画像は、画素ごとに、上記した３バンド以上のバンドのそれぞれについての画素値を有する。本明細書において、「ハイパースペクトル画像」は、予め定められた対象波長域に含まれる４つ以上のバンドのそれぞれに対応する複数の画像を意味する。各画素が有する値を、「画素値」と称する。本明細書において、画像に含まれる複数の画素の複数の画素値を、「画像」と称することがある。ハイパースペクトル画像におけるバンド数は、典型的には１０以上であり、場合によっては１００を超えることもある。「ハイパースペクトル画像」は、「ハイパースペクトルデータキューブ」または「ハイパースペクトルキューブ」と呼ばれることもある。
　図１Ａは、対象波長域Ｗと、それに含まれる複数のバンドＷ１、Ｗ２、・・・、Ｗｉとの関係を説明するための図である。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば、約４００ｎｍから約７００ｎｍの可視光の波長域、約７００ｎｍから約２５００ｎｍの近赤外線の波長域、または約１０ｎｍから約４００ｎｍの近紫外線の波長域であり得る。あるいは、対象波長域Ｗは、中赤外または遠赤外の波長域であってもよい。このように、使用される波長域は可視光域とは限らない。本明細書では、可視光に限らず、紫外線および近赤外線などの可視光の波長域に含まれない波長の電磁波も便宜上「光」と称する。
　図１Ａに示す例では、ｉを４以上の任意の整数として、対象波長域Ｗをｉ等分したそれぞれの波長域をバンドＷ１、バンドＷ２、・・・、バンドＷｉとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数のバンドは任意に設定してもよい。例えば、複数のバンドに対応する複数のバンド幅は互いに異なっていてもよい。隣接するバンドの間にギャップがあってもよい。バンドの数が４つ以上であれば、ＲＧＢ画像よりも多くの情報をハイパースペクトル画像から得ることができる。
　図１Ｂは、ハイパースペクトル画像２２の例を模式的に示す図である。図１Ｂに示す例において、撮像対象はりんごである。ハイパースペクトル画像２２は、バンドＷ１、バンドＷ２、・・・、バンドＷｉに1対１に対応する画像２２Ｗ１、画像２２Ｗ２、・・・、画像２２Ｗｉを含む。これらの画像の各々は、２次元的に配列された複数の画素を含む。図１Ｂには、画素の区切りを示す縦横の破線が例示されている。１画像当たりの実際の画素数は、例えば数万から数千万のように大きい値であり得るが、図１Ｂにおいては、わかり易さのため、画素数が極端に少ないものとして画素の区切りが示されている。図１Ｂでは、画像２２Ｗ１、画像２２Ｗ２、・・・、画像２２Ｗｉの各々は１４×１０＝１４０の画素値を含むことが例示されている。対象物を光で照射した場合に生じる反射光に基づく光は、イメージセンサにおける複数の光検出素子によって検出される。各光検出素子によって検出される光量を示す信号が、その光検出素子に対応する画素の画素値を表す。ハイパースペクトル画像２２に含まれる画像２２Ｗｋは複数の画素を含み、当該複数の画素の各々はバンドＷｋに関する画素値を有する（ｋはｉ以下の自然数）。したがって、ハイパースペクトル画像２２を取得することにより、対象物のスペクトルの２次元分布の情報を得ることができる。対象物のスペクトルに基づいて、対象物の光に関する特性を正確に分析することができる。
　次に、ハイパースペクトル画像を生成する方法の例を簡単に説明する。ハイパースペクトル画像は、例えばプリズムまたはグレーティングなどの分光素子を用いた撮像によって取得することができる。プリズムを用いる場合、対象物からの反射光または透過光がプリズムを通過すると、当該光はプリズムの出射面から波長に応じた出射角で出射される。グレーティングを用いる場合、対象物からの反射光または透過光がグレーティングに入射すると、当該光は波長に応じた回折角で回折される。
　ラインスキャン型のハイパースペクトルカメラでは、以下のようにしてハイパースペクトル画像が取得される。すなわち、ラインビームで被写体を照射して生じる光をプリズムまたはグレーティングによってバンドごとに分光し、分離された光をバンドごとに検出する動作が、ラインビームを少しずつシフトさせるごとに繰り返される。ラインスキャン型のハイパースペクトルカメラは空間分解能および波長分解能が高い一方、ラインビームによるスキャンのために撮像時間が長い。従来のスナップショット型のハイパースペクトルカメラはスキャンの必要がないので撮像時間が短い一方、感度および空間分解能があまり高くない。従来のスナップショット型のハイパースペクトルカメラでは、イメージセンサ上に、透過帯域が互いに異なる複数種類の狭帯域フィルタが周期的に配列されている。各フィルタの平均透過率は５％程度である。波長分解能を向上させるために狭帯域フィルタの種類を増やすと、空間分解能が低下する。
　特許文献１に開示されているように圧縮センシングの技術を利用するスナップショット型のハイパースペクトルカメラであれば、高い感度および空間分解能を実現できる。特許文献１に開示された圧縮センシングの技術では、符号化素子または符号化マスクと呼ばれるフィルタアレイを通して、対象物で反射された光がイメージセンサによって検出される。フィルタアレイは、２次元的に配列された複数のフィルタを含む。それらのフィルタは、それぞれに固有の透過スペクトルを有する。そのようなフィルタアレイを用いた撮像により、複数のバンドの画像情報が１つの２次元画像として圧縮された圧縮画像が得られる。当該圧縮画像には、対象物のスペクトル情報が画素ごとに１つの画素値として圧縮されて記録される。言い換えると、圧縮画像に含まれる各々の画素が、複数のバンドに対応する情報を含む。
　図２Ａは、フィルタアレイ２０の例を模式的に示す図である。フィルタアレイ２０は、２次元的に配列された複数のフィルタを含む。各フィルタは、個別に設定された透過スペクトルを有する。透過スペクトルは、入射光の波長をλとして、関数Ｔ（λ）で表される。透過スペクトルＴ（λ）は、０以上１以下の値を取り得る。図２Ａに示す例において、フィルタアレイ２０は、６行８列に配列された４８個の矩形状のフィルタを有している。これはあくまで例示であり、実際の用途では、これよりも多くのフィルタが設けられ得る。フィルタアレイ２０に含まれるフィルタの個数は、イメージセンサの画素数と同程度であってもよい。
　図２Ｂおよび図２Ｃは、それぞれ、図２Ａのフィルタアレイ２０に含まれる複数のフィルタのうち、第１フィルタＡ１および第２フィルタＡ２の透過スペクトルの例を示す図である。第１フィルタＡ１の透過スペクトルと第２フィルタＡ２の透過スペクトルとは、互いに異なっている。このように、フィルタアレイ２０の透過スペクトルは、フィルタによって異なる。ただし、必ずしもすべてのフィルタの透過スペクトルが異なっている必要はない。フィルタアレイ２０において、複数のフィルタのうちの少なくとも２つ以上のフィルタの透過スペクトルが互いに異なる。すなわち、フィルタアレイ２０は、透過スペクトルが互いに異なる複数種類のフィルタを含む。各種類のフィルタは、対象波長域に２つ以上の極大値を有し得る。複数種類のフィルタは４種類以上のフィルタを含み、当該４種類以上のフィルタのうち、ある種類のフィルタの透過域は、他の種類のフィルタの透過域の一部に重なり得る。ある例では、フィルタアレイ２０に含まれる複数種類のフィルタの透過スペクトルのパターンの数は、対象波長域に含まれるバンドの数ｉと同じか、それ以上であり得る。フィルタアレイ２０は、半数以上のフィルタの透過スペクトルが異なるように設計されていてもよい。
　図２Ｄは、対象波長域に含まれる複数のバンドＷ１、Ｗ２、・・・、Ｗｉのそれぞれの光の透過率の空間分布の例を示す図である。図２Ｄに示す例において、各フィルタの濃淡の違いは、光透過率の違いを表している。淡いフィルタほど光透過率が高く、濃いフィルタほど光透過率が低い。図２Ｄに示すように、バンドによって光透過率の空間分布が異なっている。本明細書では、フィルタアレイの透過スペクトルの空間分布を示すデータを「復元テーブル」と称する。圧縮センシングの技術により、復元テーブルを用いて圧縮画像からハイパースペクトル画像を復元することができる。圧縮センシングの技術ではプリズムまたはグレーティングを用いる必要がないので、ハイパースペクトルカメラを小型化することができる。さらに、圧縮センシングの技術では、複数のスペクトルの情報が１つの圧縮画像として圧縮されることにより、処理回路が処理するデータ量を低減することができる。さらに、フィルタアレイに含まれる各フィルタが狭帯域フィルタである必要はないので、従来のスナップショット型のハイパースペクトルカメラよりも高い感度および空間分解能を実現できる。
　次に、復元テーブルを用いて圧縮画像からハイパースペクトル画像を復元する方法を説明する。イメージセンサによって取得された圧縮画像データｇ、復元テーブルＨ、およびハイパースペクトル画像データｆは、以下の式（１）を満たす。
Figure JPOXMLDOC01-appb-M000001
 　ここで、圧縮画像データｇおよびハイパースペクトル画像データｆは、ベクトルのデータであり、復元テーブルＨは、行列のデータである。圧縮画像データｇの画素数をＮｇとすると、圧縮画像データｇは、Ｎｇ個の要素を持つ１次元配列すなわちベクトルとして表される。ハイパースペクトル画像に含まれる複数の画像それぞれの画素数をＮｆ、波長バンド数をＭとすると、ハイパースペクトル画像データｆは、Ｎｆ×Ｍ個の要素を持つ１次元配列すなわちベクトルとして表される。例えば、複数の画像が図１Ｂに示す画像２２Ｗ１、・・・、画像２２Ｗｉであれば、Ｎｆ＝１４０、Ｍ＝ｉである。復元テーブルＨは、Ｎｇ行（Ｎｆ×Ｍ）列の要素を持つ行列として表される。ＮｇおよびＮｆは同じ値に設計され得る。
　ベクトルｇと行列Ｈが与えられれば、式（１）の逆問題を解くことにより、ｆを算出することができそうである。しかし、求めるデータｆの要素数Ｎｆ×Ｍが取得データｇの要素数Ｎｇよりも多いため、この問題は不良設定問題であり、このままでは解くことができない。そこで、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解が求められる。具体的には、以下の式（２）を解くことにより、求めるデータｆが推定される。
Figure JPOXMLDOC01-appb-M000002
 式（１）、式（２）に含まれる
Figure JPOXMLDOC01-appb-M000003
 　は、式（１）、式（２）に関連する記載において、ｇと記載されることがある。
　ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値あるいは二乗和平方根などを残差項としてもよい。括弧内の第２項は、後述する正則化項または安定化項である。式（２）は、第１項と第２項との和を最小化するｆを求めることを意味する。演算処理回路は、再帰的な反復演算によって解を収束させ、最終的な解ｆを算出することができる。
　式（２）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによってシステム変換したＨｆとの差分の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。働きとしては、推定データを滑らかまたは安定にする効果がある。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）などによって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象物のスパース性は、対象物のテキスチャによって異なる。対象物のテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは重み係数である。重み係数τが大きいほど冗長的なデータの削減量が多くなり、圧縮する割合が高まる。重み係数τが小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。
　圧縮センシングの技術によってハイパースペクトル画像を得るより詳細な方法は、特許文献１に開示されている。特許文献１の開示内容の全体を本明細書に援用する。
　圧縮センシングの技術を用いるハイパースペクトルカメラでは、ハイパースペクトル画像データを生成する前に、圧縮画像データが生成される。特許文献２は、ハイパースペクトル画像ではなく圧縮画像によって被写体を認識する方法を開示している。この方法では、まず、既知の被写体の圧縮画像が取得され、機械学習によって被写体の圧縮画像の学習データが生成される。その後、当該学習データに基づいて、新たに取得した圧縮画像に映る被写体が認識される。この方法では、ハイパースペクトル画像データを生成する必要がないので、処理の負荷を低減することができる。
　画像に映る被写体を種類ごとに分類する処理において、当該被写体のスペクトル情報が既知である場合がある。例えば、蛍光色素は、励起光を吸収して固有の波長の蛍光を発する。薬剤および電子部品は、同種類であれば個体差がほとんどない固有のスペクトル情報を有する。これまでは、ハイパースペクトル画像データと既知のスペクトルデータとを比較することにより、画像に映る被写体を種類ごとに分類する処理が行われてきた。この方法では、ハイパースペクトル画像データを生成する分、分類処理の負荷が高くなる。被写体のスペクトル情報が既知であるという利点を生かして、分類処理の負荷を低減することはこれまで考えられてこなかった。
　本発明者らは、上記の検討により、被写体のハイパースペクトル画像データではなく、フィルタアレイを通して被写体を撮影して得た画像データの輝度パターンを用いて被写体を種類ごとに分類できる本開示の実施形態による撮像装置に想到した。本実施形態による撮像装置では、フィルタアレイとして、特許文献１に開示されるような圧縮センシングに用いる符号化素子を利用している。また、符号化素子を通して得られる圧縮画像データを用いて、被写体を種類ごとに分類している。本実施形態による撮像装置では、被写体のハイパースペクトル画像データを取得しなくても被写体を種類ごとに分類できるので、分類処理の負荷を低減することができる。さらに、本実施形態による撮像装置では、フィルタアレイに含まれる各フィルタが狭帯域フィルタである必要はないので、高い感度および空間分解能を実現できる。以下に、本開示の実施形態による撮像装置およびコンピュータプログラムを説明する。
　第１の項目に係る撮像システムは、互いに異なる透過スペクトルを有する複数のフィルタを含むフィルタアレイと、前記フィルタアレイを透過した光を撮像し、画像データを生成するイメージセンサと、処理回路と、を備え、前記処理回路は、少なくとも１つの物質のスペクトル情報を含む被写体データに基づいて前記物質を前記イメージセンサによって撮像した場合に検出される輝度パターンを予測することにより生成された、輝度パターンデータを取得し、前記イメージセンサにより対象シーンを撮像して得られた第１画像データを取得し、前記輝度パターンデータと前記第１画像データとを比較することにより、前記対象シーンにおける前記物質の有無に関する出力データを生成する。
　この撮像システムでは、画像に映る被写体を種類ごとに分類する処理の負荷を低減できる。
　第２の項目に係る撮像システムは、第１の項目に係る撮像システムにおいて、前記被写体データと、前記フィルタアレイの前記透過スペクトルの空間分布を示すテーブルとを記憶する記憶装置をさらに備える。前記処理回路は、前記記憶装置から前記被写体データおよび前記テーブルを取得し、前記被写体データおよび前記テーブルに基づいて前記輝度パターンデータを生成する。
　この撮像システムでは、外部と通信することなく、輝度パターンデータを生成することができる。
　第３の項目に係る撮像システムは、第１の項目に係る撮像システムにおいて、前記透過スペクトルの空間分布を示すテーブルを記憶する記憶装置をさらに備える。前記処理回路は、前記記憶装置から前記テーブルを取得し、前記被写体データを外部から取得し、前記被写体データおよび前記テーブルに基づいて前記輝度パターンデータを生成する。
　この撮像システムでは、輝度パターンデータを生成するために被写体データを記憶装置に記憶する必要がないので、記憶装置に記憶するデータ量を低減することができる。
　第４の項目に係る撮像システムは、第１の項目に係る撮像システムにおいて、前記処理回路は、前記輝度パターンデータを外部から取得する。
　この撮像システムでは、輝度パターンデータを生成する必要がないので、処理の負荷を低減することができる。
　第５の項目に係る撮像システムは、第１から第４の項目のいずれかに係る撮像システムにおいて、前記少なくとも１つの物質のスペクトル情報は、複数の物質のスペクトル情報を含み、前記出力データは、前記対象シーンにおける複数の物質それぞれの有無に関する。
　この撮像システムでは、対象シーンにおける複数種類の被写体の各々の有無を知ることができる。
　第６の項目に係る撮像システムは、第１から第５の項目のいずれかに係る撮像システムにおいて、前記処理回路は、前記輝度パターンデータと、前記第１画像データとを、２つ以上の画素を含む参照領域において比較することにより、前記対象シーンにおける前記物質の有無を判定する。
　この撮像システムでは、対象シーンにおける参照領域に被写体が存在するか否かを判定することができる。
　第７の項目に係る撮像システムは、第６の項目に係る撮像システムにおいて、前記参照領域に含まれる前記２つ以上の画素の数は、複数の物質の数に応じて変化する。
　この撮像システムでは、被写体の種類の数に適した参照領域を選択することができる。
　第８の項目に係る撮像システムは、第６または７の項目に係る撮像システムにおいて、前記撮像システムにより分光される対象波長域はｎ個のバンドを含み、前記参照領域に含まれる前記２つ以上の画素は、ある評価画素および前記評価画素の近傍の画素であるｎ個の画素を含み、前記参照領域には、複数ではなく１つの物質が存在し、前記フィルタアレイは、前記参照領域に含まれる前記ｎ個の画素にそれぞれ対応するｎ個のフィルタを含み、前記ｎ個のフィルタの透過スペクトルは互いに異なり、前記ｎ個のフィルタの各々の前記ｎ個のバンドについての透過率はすべてノンゼロである。
　この撮像システムでは、対象シーンにおける参照領域に被写体が存在するか否かを効率的に判定することができる。
　第９の項目に係る撮像システムは、第１から第８の項目のいずれかに係る撮像システムにおいて、前記出力データは、前記第１画像データの各画素における前記物質の存在確率の情報、および／または、前記第１画像データのうち、観察対象に対応する複数の画素における前記物質の存在確率の情報を含む。
　この撮像システムでは、被写体の存在確率により、対象シーンにおける被写体の有無を知ることができる。
　第１０の項目に係る撮像システムは、第１から第９の項目のいずれかに係る撮像システムにおいて、前記被写体データは、前記少なくとも１つの物質の形状情報をさらに含む。
　この撮像システムでは、被写体の形状により、対象シーンにおける被写体の有無を知ることができる。
　第１１の項目に係る撮像システムは、第１から第１０の項目のいずれかに係る撮像システムにおいて、出力装置をさらに備える。前記処理回路は、前記出力データが示す分類結果を前記出力装置に出力させる。
　この撮像システムでは、ユーザは、出力装置により、対象シーンにおける被写体の分類結果を知ることができる。
　第１２の項目に係る撮像システムは、第１１の項目に係る撮像システムにおいて、前記出力装置は、前記対象シーンの前記物質が存在する部分に種類別のラベルが付された画像を表示する。
　この撮像システムでは、ユーザは、出力装置を見ることにより、対象シーン中に存在する被写体の種類を知ることができる。
　第１３の項目に係る撮像システムは、第１１または第１２の項目に係る撮像システムにおいて、前記出力装置は、前記物質のスペクトルのグラフおよび前記物質の説明文を示す画像の少なくとも一方を表示する。
　この撮像システムでは、ユーザは、出力装置を見ることにより、被写体の詳細な情報を知ることができる。
　第１４の項目に係る撮像システムは、第１１から第１３の項目のいずれかに係る撮像システムにおいて、前記出力装置が、前記対象シーンのうち、前記物質の存在確率が一定値を下回る観察対象に、前記観察対象の種類が分類不能であることを示すラベルが付された画像を表示する。
　この撮像システムでは、ユーザは、出力装置により、判定できなかった観察対象を知ることができる。
　第１５の項目に係る撮像システムは、第１から第１４の項目のいずれかに係る撮像システムにおいて、前記複数のフィルタの各々が、前記撮像システムにより分光される対象波長域に２つ以上の極大値を有する。
　この撮像システムでは、輝度パターンデータと画像データとの比較に適したフィルタアレイを実現することができる。
　第１６の項目に係る撮像システムは、第１から第１５の項目のいずれかに係る撮像システムにおいて、前記複数のフィルタが、４種類以上のフィルタを含む。前記４種類以上のフィルタのうち、ある種類のフィルタの透過域は、他の種類のフィルタの透過域の一部に重なっている。
　この撮像システムでは、輝度パターンデータと画像データとの比較に適したフィルタアレイを実現することができる。
　第１７の項目に係る撮像システムは、第１から第１６の項目のいずれかに係る撮像システムにおいて、前記第１画像データが、前記フィルタアレイにより符号化された圧縮画像データである。前記処理回路は、前記対象シーンの前記圧縮画像データに基づいて、前記対象シーンのハイパースペクトル画像データを生成する。
　この撮像システムでは、対象シーンのハイパースペクトル画像データを生成することができる。
　第１８の項目に係る撮像システムは、第１１から第１４の項目のいずれかに係る撮像システムにおいて、前記第１画像データが、前記フィルタアレイにより符号化された圧縮画像データである。前記処理回路は、前記対象シーンのハイパースペクトル画像データを生成することをユーザが指示するためのＧＵＩを前記出力装置に表示させ、前記ユーザの指示に応じて、前記対象シーンの前記圧縮画像データに基づいて、前記対象シーンの前記ハイパースペクトル画像データを生成する。
　この撮像システムでは、ユーザは、出力装置に表示されるＧＵＩへの入力により、対象シーンのハイパースペクトル画像データを生成することができる。
　第１９の項目に係る撮像システムは、第１１から第１４の項目のいずれかに係る撮像システムにおいて、前記第１画像データが、前記フィルタアレイにより符号化された圧縮画像データである。前記処理回路は、前記出力データを生成する第１モードと、前記対象シーンのハイパースペクトル画像データを生成する第２モードとの切り替えをユーザが指示するためのＧＵＩを前記出力装置に表示させ、前記ユーザの前記第１モードの指示に応じて前記出力データを生成し、前記ユーザの前記第２モードの指示に応じて、前記対象シーンの前記圧縮画像データに基づいて、前記対象シーンの前記ハイパースペクトル画像データを生成する。
　この撮像システムでは、ユーザは、出力装置に表示されるＧＵＩへの入力により、第１モードと第２モードとを切り替えることができる。
　第２０の項目に係る方法は、コンピュータにおいて実行される方法である。前記方法は、互いに異なる透過スペクトルを有する複数のフィルタを含むフィルタアレイを透過した光を撮像して画像データを生成するイメージセンサにより、対象シーンを撮像して得られた、第１画像データを取得することと、少なくとも１種類の被写体のスペクトル情報を含む被写体データに基づいて前記被写体を前記イメージセンサによって撮像した場合に検出される輝度パターンを予測することにより生成された、輝度パターンデータを取得することと、前記輝度パターンデータと前記第１画像データとを比較することにより、前記対象シーンにおける前記被写体の有無を示す出力データを生成することと、を含む。
　この方法により、画像に映る被写体を種類ごとに分類する処理の負荷を低減できる。
　第２１の項目に係るコンピュータプログラムは、コンピュータによって実行されるコンピュータプログラムである。前記コンピュータプログラムは、前記コンピュータに、互いに異なる透過スペクトルを有する複数のフィルタを含むフィルタアレイを透過した光を撮像して画像データを生成するイメージセンサにより、対象シーンを撮像して得られた、第１画像データを取得させることと、少なくとも１種類の被写体のスペクトル情報を含む被写体データに基づいて前記被写体を前記イメージセンサによって撮像した場合に検出される輝度パターンを予測することにより生成された、輝度パターンデータを取得させることと、前記輝度パターンデータと前記第１画像データとを比較することにより、前記対象シーンにおける前記被写体の有無を示す出力データを生成して出力させることと、を実行させる。
　このコンピュータプログラムにより、画像に映る被写体を種類ごとに分類する処理の負荷を低減できる。
　（実施形態１）
　ここでは、本開示の実施形態１による撮像装置を用いて蛍光撮像を行う例を説明する。蛍光撮像は、生物分野および医学分野を中心に広く行われている。蛍光撮像では、特定の分子、組織、または構造を有する観察対象に蛍光色素を付着させ、当該観察対象を励起光で照射することにより、当該蛍光色素から発せられる蛍光の像が取得される。その結果、当該観察対象を可視化することができる。図３は、４種類の蛍光色素Ａ～Ｄの蛍光スペクトルの例を模式的に示す図である。蛍光色素Ａ、Ｂ、およびＤの各蛍光スペクトルは単一のピークを示す。ピーク波長およびピーク幅は蛍光色素Ａ、Ｂ、およびＤによって異なる。蛍光色素Ｃの蛍光スペクトルはピーク波長およびピーク幅が異なる２つのピークを示す。図３に示すように、蛍光撮像において、観察対象に付着させる蛍光色素の蛍光スペクトル情報は既知である。
　以下に、図４を参照して、本開示の例示的な実施形態１による撮像装置の構成を説明する。当該撮像装置は、ハイパースペクトル画像データではなく圧縮画像データを用いて、複数種類の観察対象にそれぞれ付着した複数種類の蛍光色素を分類する。図４は、本開示の例示的な実施形態１による撮像装置１００の構成を模式的に示すブロック図である。図４には、撮像対象である対象シーン１０が示されている。対象シーン１０は、複数種類の蛍光色素１２がそれぞれ付着した複数種類の観察対象を含む。図４に示す複数種類の観察対象は、楕円形状、折れ線形状、および矩形形状を有する。撮像対象に付着させる蛍光色素の種類の数は複数であってもよいし、１つであってもよい。
　図４に示す撮像装置１００は、フィルタアレイ２０と、イメージセンサ３０と、光学系４０と、記憶装置５０と、出力装置６０と、処理回路７０と、メモリ７２とを備える。撮像装置１００は、ハイパースペクトルカメラとして機能する。撮像装置１００は、例えば、モバイル端末またはパーソナルコンピュータの構成の一部であってもよい。
　フィルタアレイ２０は、入射した光の強度をフィルタごとに変調して出射する。フィルタアレイ２０の詳細については前述した通りである。
　イメージセンサ３０は、光検出面に沿って２次元的に配列された複数の光検出素子を含む。本明細書では、光検出素子を「画素」とも称する。イメージセンサ３０が有する光検出面の広さは、フィルタアレイ２０の光入射面の広さにほぼ等しい。イメージセンサ３０は、フィルタアレイ２０を通過した光を受ける位置に配置される。イメージセンサ３０に含まれる複数の光検出素子は、例えば、フィルタアレイ２０に含まれる複数のフィルタにそれぞれ対応し得る。１つの光検出素子が２つ以上のフィルタを通過する光を検出してもよい。イメージセンサ３０は、フィルタアレイ２０を通過する光に基づく圧縮画像データを生成する。イメージセンサ３０は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、または赤外線アレイセンサであり得る。光検出素子は、例えばフォトダイオードを含み得る。イメージセンサ３０は、例えばモノクロタイプのセンサ、またはカラータイプのセンサであり得る。前述の対象波長域は、イメージセンサ３０が検出可能な波長域である。
　光学系４０は、対象シーン１０とフィルタアレイ２０との間に位置する。光学系４０の光軸上に、対象シーン１０とフィルタアレイ２０が位置する。光学系４０は、少なくとも１つのレンズを含む。図４に示す例において、光学系４０は１つのレンズによって構成されているが、複数のレンズの組み合わせによって構成されていてもよい。光学系４０は、フィルタアレイ２０を介して、イメージセンサ３０の光検出面上に像を形成する。
　記憶装置５０は、フィルタアレイ２０の透過特性に応じた復元テーブルと、複数種類の蛍光色素の蛍光スペクトル情報を含む色素データとを記憶する。本明細書において、対象シーン１０における少なくとも１種類の被写体のスペクトル情報を含むデータを「被写体データ」と称する。本実施形態における蛍光色素は、対象シーン１０における被写体の一例である。スペクトル情報が既知であればどのような被写体でもよい。
　請求の範囲に記載された「少なくとも１つの物質」は上記した「少なくとも１種類の被写体」を意味してもよい。
　出力装置６０は、対象シーン１０に含まれる複数種類の蛍光色素の分類結果を表示する。これらの情報は、ＧＵＩ（Ｇｒａｐｈｉｃ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）に表示してもよい。出力装置６０は、例えばモバイル端末またはパーソナルコンピュータのディスプレイであり得る。あるいは、出力装置６０は、分類結果を音声で伝えるスピーカであってもよい。出力装置６０は分類結果をユーザに伝えることができる装置であれば、ディスプレイまたはスピーカに限られない。
　撮像装置１００は、出力装置６０に当該分類結果を出力させる指示を送信してもよい。出力装置１００は当該指示を受信し、当該分類結果を出力してもよい。
　処理回路７０は、イメージセンサ３０、記憶装置５０、および出力装置６０の動作を制御する。処理回路７０は、対象シーン１０に含まれる蛍光色素を種類ごとに分類する。この動作の詳細については後述する。処理回路７０によって実行されるコンピュータプログラムは、ＲＯＭまたはＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などのメモリ７２に格納されている。このように、撮像装置１００は、処理回路７０およびメモリ７２を含む処理装置を備えている。処理回路７０およびメモリ７２は、１つの回路基板に集積されていてもよいし、別々の回路基板に設けられていてもよい。処理回路７０の機能が複数の回路に分散していてもよい。
　次に、対象シーン１０における複数種類の蛍光色素の分類方法を説明する。この分類方法は、以下の（１）～（３）のステップを含む。
　（１）複数種類の蛍光色素のそれぞれについて、輝度パターンデータが生成される。輝度パターンデータは、蛍光色素をイメージセンサ３０によって撮像した場合に検出される輝度パターンを予測することにより生成されるデータである。つまり、蛍光色素Ａ１に対応する輝度パターンデータＡ１、～、蛍光色素Ａｎに対応する輝度パターンデータＡｎが生成される（ｎは１以上の自然数）。輝度パターンデータは輝度パターンに含まれる複数の画素に１対１に対応する複数の画素値である。より具体的には、輝度パターンデータは、対応する蛍光色素がシーン全体に分布する仮想的なシーンを、フィルタアレイ２０を介してイメージセンサ３０によって撮像した場合に生成されることが予測されるデータである。輝度パターンは、複数の画素における輝度値の空間分布を示す。当該輝度値は、対応するフィルタの透過スペクトルと蛍光色素の蛍光スペクトルとを乗算して得られる関数を対象波長域において積分した値に比例する。なお、対象シーン１０において各種類の蛍光色素が分布する領域が決まっている場合、各種類の蛍光色素が全体ではなく一部に分布する仮想的なシーンによって輝度パターンデータを生成してもよい。
　（２）対象シーン１０をフィルタアレイ２０を介してイメージセンサ３０によって撮像することにより、対象シーン１０の圧縮画像データが生成される。
　（３）輝度パターンデータと圧縮画像データとを比較することにより、対象シーンにおける各種類の蛍光色素の有無が調べられる。
　以下に、図５Ａおよび図５Ｂを参照して、９種類の蛍光色素Ａ～Ｉの蛍光スペクトルが既知であり、かつ、フィルタアレイ２０に含まれる各フィルタの９個のバンドにおける光透過率が既知である例を説明する。
　図５Ａは、圧縮画像の一部における輝度値の空間分布を模式的に示す図である。図５Ａに示す星印が付された評価画素の輝度値が９種類の蛍光色素Ａ～Ｉのどれに由来するかは、評価画素の輝度値だけでなく、その周囲に位置する画素の輝度値を参照して判定される。本明細書において、参照する画素が含まれる領域を「参照領域」と称する。図５Ａに示す例において、参照領域は、太線によって囲まれた３行３列の正方形領域であるが、参照領域の形状は正方形に限られない。星印が付された評価画素は正方形領域の中央に位置する画素である。
　図５Ｂは、９種類の蛍光色素Ａ～Ｉからそれぞれ予測した９個の輝度パターンＡ～Ｉのうち、図５Ａに示す参照領域と同じ領域における輝度の空間分布を模式的に示す図である。Ａ～Ｉのラベルは、輝度パターンＡ～Ｉをそれぞれ表す。本明細書では、輝度パターンについても、圧縮画像と同様に「参照領域」の用語を用いる。
　図５Ａに示す、圧縮画像の参照領域における輝度の空間分布は、図５Ｂに示す、輝度パターンＤの参照領域における輝度の空間分布に一致する。したがって、対象シーン１０のうち、図５Ａの星印が付された評価画素に対応する部分には、蛍光色素Ｄが存在することがわかる。このようなパターンフィッティングは、例えば、９個の輝度パターンＡ～Ｉから、輝度パターンと圧縮画像との参照領域におけるＭＳＥ（Mean Squared Error）またはＰＳＮＲ（Peak Signal to Noise Ration）が最小になる輝度パターンを探索することによって行われてもよい。あるいは、パターンフィッティングは機械学習によって行われてもよい。圧縮画像のすべての画素について上記のパターンフィッティングを行うことにより、対象シーンにおける各種類の蛍光色素の有無を調べることができる。
　輝度パターンと圧縮画像との各画素におけるパターン一致率は、例えばＭＳＥまたはＰＳＮＲに基づいて数値化することができる。当該パターン一致率は、圧縮画像の各画素における蛍光色素の存在確率でもある。「圧縮画像の各画素における蛍光色素の存在確率」は、対象シーン１０のうち、圧縮画像の各画素に対応する部分における蛍光色素の存在確率を意味する。
　参照領域に含まれる画素数が最小である場合、パターンフィッティングを最も効率的に行うことができる。以下に、参照領域を決定する方法を説明する。当該方法は任意の蛍光スペクトルに対して有効である。
　９種類の蛍光色素を分類するために最低９個のバンドが用いられるとする。評価画素ｘにおける輝度値ｇｘは、フィルタのｋ番目のバンドにおける光透過率をｔｋ、蛍光色素のｋ番目のバンドにおける蛍光強度をＩｋとすると、以下の式（３）によって表される。
Figure JPOXMLDOC01-appb-M000004
 　輝度値ｇｘは、フィルタの光透過率および蛍光色素の蛍光強度の積がすべてのバンドについて加算された値である。輝度値ｇｘおよびフィルタの光透過率ｔｋが既知である場合、式（３）は、９個の変数Ｉｋを有する方程式である。最低９個の連立方程式があれば、９個の変数Ｉｋを導出できる。参照領域は、前述したように、評価画素ｘを中心として３行３列の画素を含む。本実施形態では、参照領域において１種類の蛍光色素が存在し、参照領域に含まれる９個のフィルタの透過スペクトルが互いに異なり、各フィルタの９個のバンドについての光透過率ｔｋがすべてノンゼロである。この場合、９個の変数Ｉｋを導出することができる。
　蛍光色素の種類の数およびバンドの数をより一般化して、ｍ種類の蛍光色素を分類するためにｎ個のバンドが用いられるとする。これは式（３）のｋの次数がｎになることと同じである。本実施形態において以下の要件（Ａ）～（Ｄ）が満足される場合、パターンフィッティングを最も効率的に行うことができる。
（Ａ）参照領域は、評価画素およびその近傍に位置する画素であるｎ個の画素を含む。
（Ｂ）参照領域には、複数種類ではなく１種類の蛍光色素が存在する。
（Ｃ）参照領域に含まれるｎ個のフィルタの透過スペクトルは互いに異なる。
（Ｄ）各フィルタのｎ個のバンドについての透過率ｔｋはすべてノンゼロである。
　（Ａ）の要件における「評価画素の近傍に位置する画素」とは、評価画素との中心間距離が短い順に選択された画素である。図５Ａに示す例において、評価画素との中心間距離が最も短い画素は、当該評価画素の上下左右に位置する４つの画素であり、評価画素との中心間距離が２番目に短い画素は、当該評価画素の左上、右上、左下および右下に位置する４つの画素である。例えば、参照領域が７個の画素を含む場合、当該７個の画素は、評価画素と、当該評価画素との中心間距離が最も短い４つの画素と、当該評価画素との中心間距離が２番目に短い４つの画素のうちの、任意の２つの画素とを含む。
　（Ｄ）の要件は、モノクロカメラ、ＲＢＧカメラ、および従来のスナップショット型のハイパースペクトルカメラに用いられるフィルタアレイでは満足されない。（Ｄ）の要件における「透過率ｔｋがノンゼロである」とは、当該透過率ｔｋのフィルタの透過光を検出するイメージセンサの画素信号が、ノイズに比して有意に大きい値を持つことを意味する。ハイパースペクトル画像データの生成に適したフィルタアレイ２０は、パターンフィッティングにも適している。
　なお、参照領域において２種類以上の蛍光色素が混在していてもよい。例えば、蛍光色素Ａと蛍光色素Ｅとが均等に混在している場合、上記の変数Ｉｋは、ｋ番目のバンドにおける蛍光色素Ａの蛍光強度と蛍光色素Ｅの蛍光強度との平均値である。参照領域において２種類以上の蛍光色素が混在している場合の変数Ｉｋは、混在している複数の蛍光色素のそれぞれに対応する複数の蛍光強度の平均値に限られない。例えば、色素の種類などに応じた重みを掛けた加重平均や中央値であってもよい。
　次に、図６Ａおよび図６Ｂを参照して、蛍光色素の分類に用いるバンドの決定方法を説明する。図６Ａは、２種類の蛍光色素のバンド１～８における蛍光強度を模式的に示す図である。各バンド幅は数ｎｍ程度である。図６Ａに示す例において、２種類の蛍光色素の蛍光強度は、バンド６～８において等しい。これらのバンドは、２種類の蛍光色素を分類するのに必要ない。したがって、蛍光色素の分類に用いるバンドをバンド１～８からバンド１～５に削減することができる。次元圧縮法を用いれば、バンド１～５からさらに削減することができる。図６Ｂは、２種類の蛍光色素のバンド１、３、５における蛍光強度を模式的に示す図である。図６Ｂに示す例では、次元圧縮法によって蛍光色素の分類に用いるバンドが、バンド１～５からバンド１、３、５に削減されている。次元圧縮法としては、例えばAuto Encoder、Principle Component Analysis、またはSingular Value Decompositionを用いることができる。
　蛍光色素の分類に用いるバンドがわかれば、上記の要件（Ａ）～（Ｄ）を満足する参照領域を選択することができる。蛍光色素の分類に用いるバンドの数は、蛍光色素の種類の数とともに増加する。すなわち、参照領域に含まれる２つ以上の画素の数は、蛍光色素の種類の数に応じて変化する。
　次に、図７Ａおよび図７Ｂを参照して、出力装置６０に表示されるＧＵＩの例を説明する。図７Ａは、蛍光色素を分類する前に出力装置６０に表示されるＧＵＩの例を模式的に示す図である。図７Ａに示す出力装置６０は、スマートフォンのディスプレイである。
　図７Ａに示すＧＵＩの上部には、対象シーンの圧縮画像が表示されている。対象シーンには９個の観察対象が含まれており、当該９個の観察対象には１～９の番号が付されている。各観察対象には、蛍光スペクトルが既知である蛍光色素Ａ～Ｃのいずれかが付着している。
　観察対象は、例えばエッジ検出によって圧縮画像から抽出することができる。観察対象の位置がわかる場合は、圧縮画像のうち、観察対象が位置する画素についてのみパターンフィッティングを行うことができる。したがって、すべての画素についてパターンフィッティングを行う必要はない。
　図７Ａに示すＧＵＩの中央付近には、蛍光色素のスペクトル情報を読み込むロードボタンが表示されている。ユーザがそのボタンを選択すると、処理回路７０は、ボタン選択の信号を受けて、色素データおよび復元テーブルを記憶装置５０から読み込み、各種類の蛍光色素についての輝度パターンデータを生成する。色素データは、蛍光色素Ａ～Ｃの蛍光スペクトル情報を含む。
　図７Ａに示すＧＵＩの下部には、パターンフィッティングのボタンおよび圧縮センシングのボタンが表示されている。これらのボタンは、パターンフィッティングまたは圧縮センシングの実行をユーザが指示するためのボタンである。ユーザがパターンフィッティングのボタンを選択すると、処理回路７０は、ボタン選択の信号を受けて、輝度パターンデータと圧縮画像データとを比較することにより、対象シーン１０における観察対象にどの蛍光色素が付されたかを分類する。
　図７Ｂは、蛍光色素を分類した後に出力装置６０に表示されるＧＵＩの例を模式的に示す図である。図７Ｂに示すＧＵＩの上部には、対象シーンにおける観察対象１～９が表示されており、観察対象の番号１～９の横には、蛍光色素の種類別のラベルＡ～Ｃが付されている。図７Ｂに示す例では、楕円形状の観察対象１、３、７、９に蛍光色素Ａが付着しており、折れ線形状の観察対象２、５に蛍光色素Ｂが付着しており、矩形形状の観察対象４、６、８に蛍光色素Ｃが付着している。図７Ｂに示す例において、ユーザが観察対象の番号を選択すると、処理回路７０は、その選択信号を受けて、観察対象に付着する蛍光色素のスペクトルのグラフおよび蛍光色素の説明文をＧＵＩに表示させてもよい。
　図７Ｂに示すＧＵＩの下部には、観察対象１～９と蛍光色素Ａ～Ｃとのパターン一致率を示すテーブルが表示されている。図７Ｂに示すパターン一致率は、予測した輝度パターンデータと圧縮画像データとが観察対象においてどの程度一致するかを表す。図７Ｂに示すパターン一致率は、例えば、観察対象に含まれる複数の画素におけるパターン一致率を平均化することによって得られる。各観察対象に付着している蛍光色素は、蛍光色素Ａ～Ｃのうち、０．９を超えるパターン一致率を示す蛍光色素である。図７Ｂに示す例では、各観察対象に対して０．９を超えるパターン一致率が、太文字によって表されている。
　図７Ｂに示す例では、各観察対象に対する蛍光色素Ａ～Ｃのパターン一致率のうち、最も高いパターン一致率が０．９を超えるので、蛍光色素の分類精度が高いといえる。最も高いパターン一致率が０．９を下回る場合は、蛍光色素の分類精度が高いとは必ずしも言えない。この場合、観察対象の番号の横に、ラベルＡ～Ｃではなく、分類不能を示す「ｕｎｋｎｏｗｎ」のラベルを表示してもよい。「ｕｎｋｎｏｗｎ」のラベルは、例えば、観察対象に対するパターン一致率が所定の基準に満たない場合に表示してもよい。パターン一致率の基準は、ユーザが設定してもよい。「ｕｎｋｎｏｗｎ」のラベルは、パターン一致率が観察対象の種類を分類するには不十分であった場合に表示される画像の一例である。あるいは、ユーザは図７Ａに示すＧＵＩに戻り、圧縮センシングのボタンを選択してもよい。処理回路７０は、ボタン選択の信号を受けて、圧縮センシングの技術を利用して対象シーンのハイパースペクトル画像データを生成し、対象シーンのハイパースペクトル画像データと蛍光色素の色素データとを比較することにより、対象シーンにおける各種類の蛍光色素の有無を決定する。あるいは、最も高いパターン一致率が０．９を下回る場合、処理回路７０は、圧縮センシングによる対象シーンのハイパースペクトル画像データの生成をユーザに促すメッセージをＧＵＩに表示させてもよい。あるいは、最も高いパターン一致率が０．９を下回る場合、処理回路７０は、自動的に、圧縮センシングの技術を利用して対象シーンにおける各種類の蛍光色素の有無を決定してもよい。既知の色素データがない場合、ユーザは、最初から、パターンフィッティングのボタンではなく圧縮センシングのボタンを選択する。
　なお、圧縮画像データを利用する他のアプリケーションもあり得る。その場合、図７Ａに示すＧＵＩには、パターンフィッティングのボタンおよび圧縮センシングのボタンに加えて、当該他のアプリケーションを選択するボタンがさらに表示されていてもよい。
　観察対象に付着する蛍光色素の種類が観察対象の形状によって決まる場合、蛍光色素の種類は、観察対象の形状によって分類することができる。この場合、色素データは、蛍光色素のスペクトル情報に加えて、蛍光色素の分布形状の情報をさらに含む。図７Ｂに示す例では、楕円形状、折れ線形状、および矩形形状の観察対象に蛍光色素Ａ～Ｃがそれぞれ付着している。
　次に、図８Ａから図８Ｃを参照して、蛍光色素の分類において処理回路７０が実行する動作の例を説明する。図８Ａは、処理回路７０が実行する動作の例を示すフローチャートである。処理回路７０は、以下のステップＳ１０１～Ｓ１０６の動作を実行する。
　＜ステップＳ１０１＞
　処理回路７０は、色素データおよび復元テーブルを記憶装置５０から取得する。
　＜ステップＳ１０２＞
　処理回路７０は、複数種類の蛍光色素についての複数の輝度パターンデータをそれぞれ生成する。
　＜ステップＳ１０３＞
　処理回路７０は、イメージセンサ３０に、フィルタアレイ２０を介して対象シーン１０を撮像させて圧縮画像データを生成させる。
　＜ステップＳ１０４＞
　処理回路７０は、輝度パターンデータと圧縮画像データとを比較することにより、対象シーンにおける各種類の蛍光色素の有無を示す出力データを生成して出力する。出力データは、例えば、対象シーンにおける観察対象が存在する部分に付された蛍光色素の種類別のラベル情報を含み得る。出力データは、例えば、圧縮画像の各画素における蛍光色素の存在確率の情報、および／または圧縮画像のうち、観察対象に対応する複数の画素における蛍光色素の存在確率の情報を含み得る。処理回路７０は、出力データを記憶装置５０に記憶させてもよい。
　＜ステップＳ１０５＞
　処理回路７０は、図７Ｂに示すように、出力データが示す分類結果を出力装置６０に出力させる。
　＜ステップＳ１０６＞
　処理回路７０は、分類精度が基準値以上であるか否かを判定する。この判定は、例えば、観察対象１～９の各々に対する蛍光色素Ａ～Ｃのパターン一致率のうち、最も高いパターン一比率が０．９以上であるか否かによって行われ得る。判定がＹｅｓの場合、処理回路７０は動作を終了する。判定がＮｏの場合、処理回路７０は、ステップＳ１０２～Ｓ１０６を再度実行する。２回目の判定でも分類精度が基準値以上でない場合、処理回路７０は、ステップＳ１０２～Ｓ１０６を再度実行してもよいし、動作を終了してもよい。
　本実施形態による撮像装置１００では、パターンフィッティングにおいて圧縮画像データを用いるので、ハイパースペクトル画像を復元する必要がない。その結果、ハイパースペクトル画像を復元する構成と比較して、対象シーンにおける被写体を種類ごとに分類する処理の負荷を大幅に低減することができる。本実施形態による撮像装置１００において、処理回路７０として、高速処理に用いられるＧＰＵおよびＦＰＧＡは必要なく、低スペックのＣＰＵで十分である。本実施形態による撮像装置１００では、ハイパースペクトル画像を復元する構成と比較して、処理速度が１００倍程度高くなる。本実施形態による撮像装置１００では、フィルタアレイ２０に含まれる各フィルタが狭帯域フィルタである必要はないので、高い感度および空間分解能を実現できる。
　分類精度が基準値未満である場合、処理回路７０は、自動的に圧縮センシングの技術を用いて対象シーンにおける各種類の蛍光色素の有無を決定してもよい。図８Ｂは、処理回路７０が実行する動作の他の例を示すフローチャートである。処理回路７０は、ステップＳ１０１～Ｓ１０４の動作および以下のＳ１０７～Ｓ１１０の動作を実行する。図８Ｂに示すステップＳ１０１～Ｓ１０４の動作は、それぞれ、図８Ａに示すステップＳ１０１～Ｓ１０４の動作と同じである。
　＜ステップＳ１０７＞
　処理回路７０は、分類精度が基準値以上であるか否かを判定する。判定がＹｅｓの場合、処理回路７０は、ステップＳ１０８の動作を実行する。判定がＮｏの場合、処理回路７０は、ステップＳ１０９の動作を実行する。
　＜ステップＳ１０８＞
　処理回路７０は、出力データが示す分類結果を出力装置６０に出力させる。
　＜ステップＳ１０９＞
　処理回路７０は、圧縮画像データおよび復元テーブルに基づいて、対象シーンのハイパースペクトル画像データを生成する。
　＜ステップＳ１１０＞
　処理回路７０は、ハイパースペクトル画像データと色素データとの比較により、出力データを生成する。その後、処理回路７０はステップＳ１０８の動作を実行する。
　さらに、ユーザは、パターンフィッティングと圧縮センシングとを切り替えてもよい。処理回路７０は、パターンフィッティングの第１モードと、圧縮センシングの第２モードとの切り替えをユーザが指示するためのＧＵＩを出力装置６０に表示させる。処理回路７０は、ユーザの第１モードの指示に応じてパターンフィッティングを実行し、ユーザの第２モードの指示に応じて圧縮センシングを実行する。
　図８Ｃは、処理回路７０が実行する動作のさらに他の例を示すフローチャートである。処理回路７０は、以下のステップＳ１１１、Ｓ１１２の動作、ならびにステップＳ１０１～Ｓ１０４およびＳ１０７～Ｓ１１０の動作を実行する。図８Ｃに示すステップＳ１０１～Ｓ１０４およびＳ１０７～Ｓ１１０の動作は、それぞれ、図８Ｂに示すステップＳ１０１～Ｓ１０４およびＳ１０７～Ｓ１１０の動作と同じである。
　＜ステップＳ１１１＞
　処理回路７０は、ユーザによって第１モードまたは第２モードが選択されたか、すなわち第１モードまたは第２モードのボタン選択の信号を受信したか否かを判定する。判定がＹｅｓの場合、処理回路７０はステップＳ１１２の動作を実行する。判定がＮｏの場合、外部処理回路９０は、ステップＳ１１１の動作を再度実行する。
　＜ステップＳ１１２＞
　処理回路７０は、さらに、第１モードが選択されたか、すなわち受信した信号が第１モードの信号であるか否かを判定する。判定がＹｅｓの場合、処理回路７０は、ステップＳ１０１の動作を実行する。判定がＮｏの場合、第２モードが選択された、すなわち受信した信号が第２モードの信号であるので、処理回路７０は、ステップＳ１０９の動作を実行する。
　（実施形態２）
　撮像装置１００に含まれる記憶装置５０は色素データを記憶する必要はない。さらに、撮像装置１００に含まれる記憶装置５０は色素データだけでなく復元テーブルも記憶する必要はない。次に、図９を参照して、本開示の実施形態２による撮像システムの構成例を説明する。図９は、本開示の例示的な実施形態２による撮像システム２００の構成を模式的に示すブロック図である。図９に示す撮像システム２００は、図４に示す撮像装置１００と、外部記憶装置８０とを備える。なお、本明細書では、図４に示す単体の撮像装置１００についても、「撮像システム」の用語を用いる。
　実施形態２のある例において、撮像装置１００に含まれる記憶装置５０は復元テーブルを記憶し、外部記憶装置８０は色素データを記憶する。処理回路７０は、図８Ａに示すステップＳ１０１において、記憶装置５０から復元テーブルを取得し、外部記憶装置８０から色素データを取得する。
　実施形態２の他の例において、外部記憶装置８０は復元テーブルおよび色素データを記憶する。処理回路７０は、図８Ａに示すステップＳ１０１において、外部記憶装置８０から色素データおよび復元テーブルを取得する。
　（実施形態３）
　撮像装置１００に含まれる処理回路７０は輝度パターンデータを生成する必要はない。次に、図１０を参照して、本開示の実施形態３による撮像システムの構成例を説明する。図１０は、本開示の例示的な実施形態３による撮像システム３００の構成を模式的に示すブロック図である。図１０に示す撮像システム３００は、図４に示す撮像装置１００と、復元テーブルおよび色素データを記憶する外部記憶装置８０と、外部処理回路９０とを備える。実施形態３による撮像システム３００では、外部処理回路９０が輝度パターンデータを生成する。
　次に、図１１Ａおよび図１１Ｂを参照して、処理回路７０および外部処理回路９０が実行する動作の例を説明する。図１１Ａは、処理回路７０が実行する動作の例を示すフローチャートである。処理回路７０は、以下のステップＳ２０１～Ｓ２０６の動作を実行する。
　＜ステップＳ２０１＞
　処理回路７０は、輝度パターンデータの要求信号を外部処理回路９０に送信する。
　＜ステップＳ２０２＞
　処理回路７０は、輝度パターンデータを外部処理回路９０から取得する。
　＜ステップＳ２０３～Ｓ２０６＞
　ステップＳ２０３～Ｓ２０６の動作は、それぞれ、図８Ａに示すステップＳ１０３～Ｓ１０６の動作と同じである。ただし、ステップＳ２０６の動作は、判定がＮｏの場合、処理回路７０がＳ２０１～Ｓ２０５を再度実行する点でステップＳ１０６の動作とは異なる。
　図１１Ｂは、図１１Ａに示すステップＳ２０１とステップＳ２０２との間に外部処理回路９０が実行する動作の例を示すフローチャートである。外部処理回路９０は、以下のステップＳ３０１～Ｓ３０４の動作を実行する。
　＜ステップＳ３０１＞
　外部処理回路９０は、要求信号を受信したか否かを判定する。判定がＹｅｓの場合、外部処理回路９０は、ステップＳ３０２の動作を実行する。判定がＮｏの場合、外部処理回路９０は、ステップＳ３０１の動作を再度実行する。
　＜ステップＳ３０２＞
　外部処理回路９０は、外部記憶装置８０から色素データおよび復元テーブルを取得する。
　＜ステップＳ３０３＞
　外部処理回路９０は、色素データおよび復元テーブルに基づいて輝度パターンデータを生成する。
　＜ステップＳ３０４＞
　外部処理回路９０は、輝度パターンデータを処理回路７０に送信する。
　次に、図１２を参照して、撮像装置にパターンフィッティングの技術が利用されているか否かを調べる方法を説明する。
　図１２は、ある撮像装置９００が対象シーン１０としてカラーチャートを撮像する例を模式的に示す図である。カラーチャートでは、互いに異なる色を有する複数のカラー領域がモザイク状に分布しており、色の境界が明確である。カラーチャートではなく、互いに異なる種類の蛍光体がモザイク状に塗布されたシートであってもよい。
　本実施形態では、参照領域が１種類のスペクトル情報を含む場合に、対象シーン１０に含まれる被写体の分類が可能である。例えば、隣り合う異なる色を有する２つのカラー領域において、参照領域が一方のカラー領域内のみに位置する場合、高い分類精度が得られる。これに対して、参照領域が２つのカラー領域を跨ぐ場合、すなわち、参照領域が各カラー領域の一部を含む場合、分類精度は大幅に低下する。参照領域が２種類のスペクトル情報を含むからである。カラーチャートを少しずつシフトさせて撮像することを繰り返し、分類精度が大幅に低下することがあれば、撮像装置９００にパターンフィッティングの技術が利用されていることがわかる。
　さらに、本実施形態において、参照領域に含まれる画素の数は、被写体データに含まれる被写体のスペクトル情報および数に応じて変化する。撮像装置９００の不図示の出力装置に参照領域が表示される場合、参照領域に含まれる画素の数が被写体データの変更に伴って変化すれば、撮像装置９００にパターンフィッティングの技術が利用されていることがわかる。
　さらに、図７Ａおよび図７Ｂに示すようなＧＵＩが撮像装置９００の不図示の出力装置に表示されていれば、撮像装置９００にパターンフィッティングの技術が利用されていることがわかる。
　（異物検査への応用）
　実施形態１～３による撮像装置１００は、蛍光色素の分類以外に、例えば異物検査にも利用できる。次に、図１３Ａおよび図１３Ｂを参照して、実施形態１～３による撮像装置１００の応用例を説明する。ここでは薬剤の異物検査を例に挙げるか、例えば電子部品の異物検査であってもよい。
　図１３Ａは、ベルトコンベアによって運ばれる複数の薬剤袋１４を撮像装置１００によって個別に撮像する例を模式的に示す図である。図１３Ａに示す撮像装置１００は、カメラ１１０と、処理装置１２０と、出力装置６０とを備える。図１３Ａに示すカメラ１１０は、図４に示すフィルタアレイ２０、イメージセンサ３０、および光学系４０を含む。図１３Ａに示す処理装置１２０は、図４に示す記憶装置５０、処理回路７０、およびメモリ７２を含む。薬剤袋１４は、錠剤型の大小の薬剤ＡおよびＢと、カプセル剤型の大小の薬剤ＣおよびＤとを含む。複数の薬剤袋１４に含まれる薬剤Ａのスペクトル情報はほぼ同じである。薬剤Ｂ～Ｄについても同様である。記憶装置５０は、薬剤Ａ～Ｄのスペクトル情報を含む薬剤データを記憶する。
　図１３Ｂは、薬剤を分類した後に出力装置６０に表示されるＧＵＩの例を模式的に示す図である。図１３Ｂに示すＧＵＩの左部には、対象シーンにおける観察対象１～４が表示され、観察対象の番号１～４の横に、薬剤の種類別のラベルＡ～Ｄが付されている。図１３Ｂに示すＧＵＩの右部には、観察対象１～４と薬剤Ａ～Ｄとのパターン一致を示すテーブルが表示されている。図１３Ｂに示す例では、観察対象１が薬剤Ｃであり、観察対象２が薬剤Ａであり、観察対象３が薬剤Ｂであり、観察対象４が薬剤Ｄである。テーブルでは、各観察対象に対して薬剤Ａ～Ｄのうち、パターン一致率が９０％以上の薬剤に丸印が示されている。図１３Ｂに示す例では、薬剤袋１４が薬剤Ａ～Ｄを含んでおり、薬剤袋１４に同種類の薬剤、薬剤Ａ～Ｄ以外の薬剤、または異物が混入していないことがわかる。
　（その他１）
　本開示の実施の形態の変形例は、下記に示すようなものであってもよい。
　　複数の透過スペクトルを有する複数のフィルタを含むフィルタアレイと、前記複数のフィルタと前記複数の透過スペクトルは１対１対応し、前記複数の透過スペクトルは互いに異なり、
　　前記フィルタアレイからの光に応答して複数の画素値を生成するイメージセンサと、
　　処理回路とを含み、
　　　前記処理回路は、物質のスペクトル特性を示す情報と前記複数の透過スペクトルを示す情報に基づいて計算された複数の第１画素値を取得し、
　　　前記計算は、前記物質からの光が前記フィルタアレイに入射し、前記入射に応答した光に応答して、前記イメージセンサが前記複数の第１画素値を生成するとして行われ、
　　　前記処理回路は、前記イメージセンサが前記フィルタアレイを介して対象シーンを撮像して生成した複数の第２画素値を取得し、
　　　前記処理回路は、前記複数の第１画素値と前記複数の第２画素値に基づいて、前記対象シーンが前記物質を含むか否かを決定する、
　　撮像システム。
　　前記物質は蛍光物質であってもよい。
　（その他２）
　本開示において、輝度パターンデータや圧縮画像は、複数の光学フィルタを含むフィルタアレイを用いた撮像とは異なる方法で撮像されることによって生成されてもよい。
　例えば、撮像装置１００の構成として、イメージセンサ３０に加工を施すことでイメージセンサの受光特性を画素ごとに変化させてもよく、当該加工が施されたイメージセンサ１６０を用いた撮像によって、画像データが生成されてもよい。すなわち、フィルタアレイ２０によってイメージセンサに入射する光を符号化する代わりに、入射する光を符号化する機能をイメージセンサにもたせることによって、輝度パターンデータおよび圧縮画像を生成してもよい。この場合、復元テーブルはイメージセンサの受光特性に対応する。
　また、光学系４０の少なくとも一部にメタレンズ等の光学素子が導入されることで、光学系４０の光学特性が空間的かつ波長的に変化され、入射する光が符号化される構成であってもよく、当該構成を含む撮像装置によって輝度パターンデータおよび圧縮画像が生成されてもよい。この場合、復元テーブルは、メタレンズ等の光学素子の光学特性に対応する情報となる。このように、フィルタアレイ２０を用いた構成とは異なる構成の撮像装置１００を用いることによって、入射光の強度を波長ごとに変調し、圧縮画像および輝度パターンデータを生成し、対象シーンにおける物質の有無に関する出力データを生成してもよい。
　すなわち、本開示は以下の形態を含んでいてもよい。
　光応答特性が互いに異なる複数の受光領域を含む撮像装置と、
　処理回路と、
を備え、
　前記処理回路は、
　　少なくとも１つの物質のスペクトル情報を含む被写体データに基づいて前記物質を前記撮像装置によって撮像した場合に検出される輝度パターンを予測することにより生成された、輝度パターンデータを取得し、
　　前記撮像装置により対象シーンを撮像して得られた第１画像データを取得し、
　　前記輝度パターンデータと前記第１画像データとを比較することにより、前記対象シーンにおける前記物質の有無に関する出力データを生成する、撮像システム。
　前記複数の受光領域のそれぞれは、イメージセンサに含まれる画素に対応していてもよい。
　撮像装置は、光学素子を含んでいてもよく、複数の受光領域の光応答特性は、光学素子の透過スペクトルの空間分布に対応していてもよい。
　（その他３）
　本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したもの、および、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。
　本開示における撮像装置は、対象シーンに含まれる被写体の種類ごとの分類に利用することができる。さらに、本開示における撮像装置は異物検査に利用することができる。
　　１０　　　対象シーン
　　１２　　　蛍光色素
　　１４　　　薬剤袋
　　２０　　　フィルタアレイ
　　２２　　　ハイパースペクトル画像
　　３０　　　イメージセンサ
　　４０　　　光学系
　　５０　　　記憶装置
　　６０　　　出力装置
　　７０　　　処理回路
　　８０　　　外部記憶装置
　　９０　　　外部処理回路
　　１００　　撮像装置
　　１１０　　カメラ
　　１２０　　処理装置
　　９００　　撮像装置

Claims (22)

  1. 　互いに異なる透過スペクトルを有する複数のフィルタを含むフィルタアレイと、
    　前記フィルタアレイを透過した光を撮像し、画像データを生成するイメージセンサと、
    　処理回路と、
    を備え、
    　前記処理回路は、
    　　少なくとも１つの物質のスペクトル情報を含む被写体データに基づいて前記物質を前記イメージセンサによって撮像した場合に検出される輝度パターンを予測することにより生成された、輝度パターンデータを取得し、
    　　前記イメージセンサにより対象シーンを撮像して得られた第１画像データを取得し、
    　　前記輝度パターンデータと前記第１画像データとを比較することにより、前記対象シーンにおける前記物質の有無に関する出力データを生成する、
    　撮像システム。
  2. 　前記被写体データと、前記フィルタアレイの前記透過スペクトルの空間分布を示すテーブルとを記憶する記憶装置をさらに備え、
    　前記処理回路は、前記記憶装置から前記被写体データおよび前記テーブルを取得し、前記被写体データおよび前記テーブルに基づいて前記輝度パターンデータを生成する、
    　請求項１に記載の撮像システム。
  3. 　前記透過スペクトルの空間分布を示すテーブルを記憶する記憶装置をさらに備え、
    　前記処理回路は、前記記憶装置から前記テーブルを取得し、前記被写体データを外部から取得し、前記被写体データおよび前記テーブルに基づいて前記輝度パターンデータを生成する、
    　請求項１に記載の撮像システム。
  4. 　前記処理回路は、前記輝度パターンデータを外部から取得する、
    　請求項１に記載の撮像システム。
  5. 　前記少なくとも１つの物質のスペクトル情報は、複数の物質のスペクトル情報を含み、
    　前記出力データは、前記対象シーンにおける複数の物質それぞれの有無に関する、
    　請求項１から４のいずれかに記載の撮像システム。
  6. 　前記処理回路は、前記輝度パターンデータと、前記第１画像データとを、２つ以上の画素を含む参照領域において比較することにより、前記対象シーンにおける前記物質の有無を判定する、
    　請求項１から５のいずれかに記載の撮像システム。
  7. 　前記参照領域に含まれる前記２つ以上の画素の数は、複数の物質の数に応じて変化する、
    　請求項６に記載の撮像システム。
  8. 　前記撮像システムにより分光される対象波長域はｎ個のバンドを含み、
    　前記参照領域に含まれる前記２つ以上の画素は、ある評価画素および前記評価画素の近傍の画素であるｎ個の画素を含み、
    　前記参照領域には、複数ではなく１つの物質が存在し、
    　前記フィルタアレイは、前記参照領域に含まれる前記ｎ個の画素にそれぞれ対応するｎ個のフィルタを含み、前記ｎ個のフィルタの透過スペクトルは互いに異なり、
    　前記ｎ個のフィルタの各々の前記ｎ個のバンドについての透過率はすべてノンゼロである、
    　請求項６または７に記載の撮像システム。
  9. 　前記出力データは、前記第１画像データの各画素における前記物質の存在確率の情報、および／または、前記第１画像データのうち、観察対象に対応する複数の画素における前記物質の存在確率の情報を含む、
    　請求項１から８のいずれかに記載の撮像システム。
  10. 　前記被写体データは、前記少なくとも１つの物質の形状情報をさらに含む、
    　請求項１から９のいずれかに記載の撮像システム。
  11. 　出力装置をさらに備え、
    　前記処理回路は、前記出力データが示す分類結果を前記出力装置に出力させる、
    　請求項１から１０のいずれかに記載の撮像システム。
  12. 　前記出力装置は、前記対象シーンの前記物質が存在する部分に種類別のラベルが付された画像を表示する、
    　請求項１１に記載の撮像システム。
  13. 　前記出力装置は、前記物質のスペクトルのグラフおよび前記物質の説明文を示す画像の少なくとも一方を表示する、
    　請求項１１または１２に記載の撮像システム。
  14. 　前記出力装置は、前記対象シーンのうち、前記物質の存在確率が一定値を下回る観察対象に、前記観察対象の種類が分類不能であることを示すラベルが付された画像を表示する、
    　請求項１１から１３のいずれかに記載の撮像システム。
  15. 　前記複数のフィルタの各々は、前記撮像システムにより分光される対象波長域に２つ以上の極大値を有する、
    　請求項１から１４のいずれかに記載の撮像システム。
  16. 　前記複数のフィルタは、４種類以上のフィルタを含み、前記４種類以上のフィルタのうち、ある種類のフィルタの透過域は、他の種類のフィルタの透過域の一部に重なっている、
    　請求項１から１５のいずれかに記載の撮像システム。
  17. 　前記第１画像データは、前記フィルタアレイにより符号化された圧縮画像データであり、
    　前記処理回路は、前記対象シーンの前記圧縮画像データに基づいて、前記対象シーンのハイパースペクトル画像データを生成する、
    　請求項１から１６のいずれかに記載の撮像システム。
  18. 　前記第１画像データは、前記フィルタアレイにより符号化された圧縮画像データであり、
    　前記処理回路は、
    　　前記対象シーンのハイパースペクトル画像データを生成することをユーザが指示するためのＧＵＩを前記出力装置に表示させ、
    　　前記ユーザの指示に応じて、前記対象シーンの前記圧縮画像データに基づいて、前記対象シーンの前記ハイパースペクトル画像データを生成する、
    　請求項１１から１４のいずれかに記載の撮像システム。
  19. 　前記第１画像データは、前記フィルタアレイにより符号化された圧縮画像データであり、
    　前記処理回路は、
    　　前記出力データを生成する第１モードと、前記対象シーンのハイパースペクトル画像データを生成する第２モードとの切り替えをユーザが指示するためのＧＵＩを前記出力装置に表示させ、
    　　前記ユーザの前記第１モードの指示に応じて前記出力データを生成し、
    　　前記ユーザの前記第２モードの指示に応じて、前記対象シーンの前記圧縮画像データに基づいて、前記対象シーンの前記ハイパースペクトル画像データを生成する、
    　請求項１１から１４のいずれかに記載の撮像システム。
  20. 　コンピュータにおいて実行される方法であって、
    　前記方法は、
    　　互いに異なる透過スペクトルを有する複数のフィルタを含むフィルタアレイを透過した光を撮像して画像データを生成するイメージセンサにより、対象シーンを撮像して得られた、第１画像データを取得することと、
    　　少なくとも１種類の被写体のスペクトル情報を含む被写体データに基づいて前記被写体を前記イメージセンサによって撮像した場合に検出される輝度パターンを予測することにより生成された、輝度パターンデータを取得することと、
    　　前記輝度パターンデータと前記第１画像データとを比較することにより、前記対象シーンにおける前記被写体の有無を示す出力データを生成することと、を含む、
    方法。
  21. 　コンピュータによって実行されるコンピュータプログラムであって、
    　前記コンピュータプログラムは、前記コンピュータに、
    　　互いに異なる透過スペクトルを有する複数のフィルタを含むフィルタアレイを透過した光を撮像して画像データを生成するイメージセンサにより、対象シーンを撮像して得られた、第１画像データを取得させることと、
    　　少なくとも１種類の被写体のスペクトル情報を含む被写体データに基づいて前記被写体を前記イメージセンサによって撮像した場合に検出される輝度パターンを予測することにより生成された、輝度パターンデータを取得させることと、
    　　前記輝度パターンデータと前記第１画像データとを比較することにより、前記対象シーンにおける前記被写体の有無を示す出力データを生成して出力させることと、
    を実行させる、
    コンピュータプログラム。
  22. 　第１領域と、
    　イメージセンサと、
    　処理回路を含み、
    　前記第１領域は、複数の透過スペクトルを有する複数のフィルタを含み、前記複数のフィルタと前記複数の透過スペクトルは１対１対応し、前記複数の透過スペクトルは互いに異なり、
    　前記イメージセンサは前記第１領域からの光に応答して複数の画素値を生成し、
    　　前記処理回路は、物質のスペクトル特性を示す情報と前記複数の透過スペクトルを示す情報に基づいて計算された複数の第１画素値を取得し、
    　　前記計算は、前記物質からの光が前記第１領域に入射し、前記入射に応答した光に応答して、前記イメージセンサが前記複数の第１画素値を生成するとして行われ、
    　　前記処理回路は、前記イメージセンサが前記第１領域を介して対象シーンを撮像して生成した複数の第２画素値を取得し、
    　　前記処理回路は、前記複数の第１画素値と前記複数の第２画素値に基づいて、前記対象シーンが前記物質を含むか否かを決定し、
    　　前記第１領域は前記イメージセンサに含まれる、または、前記第１領域は前記イメージセンサに含まれない
    　撮像システム。
PCT/JP2022/023788 2021-06-24 2022-06-14 撮像システム、撮像システムに用いられる方法、および撮像システムに用いられるコンピュータプログラム WO2022270355A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023530343A JPWO2022270355A1 (ja) 2021-06-24 2022-06-14
US18/534,636 US20240127574A1 (en) 2021-06-24 2023-12-10 Imaging system, method used in imaging system, and storage medium storing computer program used in imaging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021104609 2021-06-24
JP2021-104609 2021-06-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/534,636 Continuation US20240127574A1 (en) 2021-06-24 2023-12-10 Imaging system, method used in imaging system, and storage medium storing computer program used in imaging system

Publications (1)

Publication Number Publication Date
WO2022270355A1 true WO2022270355A1 (ja) 2022-12-29

Family

ID=84544335

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/023788 WO2022270355A1 (ja) 2021-06-24 2022-06-14 撮像システム、撮像システムに用いられる方法、および撮像システムに用いられるコンピュータプログラム

Country Status (3)

Country Link
US (1) US20240127574A1 (ja)
JP (1) JPWO2022270355A1 (ja)
WO (1) WO2022270355A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006058194A (ja) * 2004-08-23 2006-03-02 Matsushita Electric Ind Co Ltd スペクトルデコード装置
WO2015195746A1 (en) * 2014-06-18 2015-12-23 Innopix, Inc. Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays
JP2020524328A (ja) * 2017-06-19 2020-08-13 インパクトビジョン インコーポレイテッド 異物を識別するためのハイパースペクトル画像処理用のシステム及び方法
WO2021085014A1 (ja) * 2019-10-28 2021-05-06 パナソニックＩｐマネジメント株式会社 フィルタアレイおよび光検出システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006058194A (ja) * 2004-08-23 2006-03-02 Matsushita Electric Ind Co Ltd スペクトルデコード装置
WO2015195746A1 (en) * 2014-06-18 2015-12-23 Innopix, Inc. Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays
JP2020524328A (ja) * 2017-06-19 2020-08-13 インパクトビジョン インコーポレイテッド 異物を識別するためのハイパースペクトル画像処理用のシステム及び方法
WO2021085014A1 (ja) * 2019-10-28 2021-05-06 パナソニックＩｐマネジメント株式会社 フィルタアレイおよび光検出システム

Also Published As

Publication number Publication date
US20240127574A1 (en) 2024-04-18
JPWO2022270355A1 (ja) 2022-12-29

Similar Documents

Publication Publication Date Title
US20160187199A1 (en) Sensor-synchronized spectrally-structured-light imaging
JP6945195B2 (ja) 光学フィルタ、光検出装置、および光検出システム
US10101206B2 (en) Spectral imaging method and system
US12074184B2 (en) Light detecting device, light detecting system, and filter array
WO2022163421A1 (ja) 検査対象に含まれる異物を検出する方法および装置
WO2021192891A1 (ja) 信号処理方法、信号処理装置、および撮像システム
WO2021085014A1 (ja) フィルタアレイおよび光検出システム
WO2021246192A1 (ja) 信号処理方法、信号処理装置、および撮像システム
US20170319052A1 (en) Imaging device and image processing method
WO2022163671A1 (ja) データ処理装置、方法及びプログラム並びに光学素子、撮影光学系及び撮影装置
WO2022230640A1 (ja) 画像処理装置、撮像システム、および復元画像の誤差を推定する方法
US20240119645A1 (en) Signal processing apparatus and signal processing method
WO2022270355A1 (ja) 撮像システム、撮像システムに用いられる方法、および撮像システムに用いられるコンピュータプログラム
WO2023106142A1 (ja) 信号処理方法、プログラム、およびシステム
WO2024053302A1 (ja) 情報処理方法および撮像システム
WO2024195499A1 (ja) 撮像システム、行列データ、および行列データの生成方法
WO2022176621A1 (ja) 撮像システム、および撮像システムによって実行される方法
WO2023106143A1 (ja) 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
WO2022202236A1 (ja) 肌の状態を評価する方法、および装置
JP7122636B2 (ja) フィルタアレイおよび光検出システム
WO2022176686A1 (ja) 異物を検出する方法および装置
WO2023286613A1 (ja) フィルタアレイ、光検出装置、および光検出システム
JP2022098157A (ja) 対象物の検査方法、処理装置、および検査システム
DEL NOTARIO Study of system trade-offs in “on-chip” hyperspectral imaging for industrial applications
WO2024043009A1 (ja) 信号処理方法および信号処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22828272

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023530343

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22828272

Country of ref document: EP

Kind code of ref document: A1