WO2022230640A1 - 画像処理装置、撮像システム、および復元画像の誤差を推定する方法 - Google Patents

画像処理装置、撮像システム、および復元画像の誤差を推定する方法 Download PDF

Info

Publication number
WO2022230640A1
WO2022230640A1 PCT/JP2022/017373 JP2022017373W WO2022230640A1 WO 2022230640 A1 WO2022230640 A1 WO 2022230640A1 JP 2022017373 W JP2022017373 W JP 2022017373W WO 2022230640 A1 WO2022230640 A1 WO 2022230640A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
error
restored
processing circuit
signal processing
Prior art date
Application number
PCT/JP2022/017373
Other languages
English (en)
French (fr)
Inventor
基樹 八子
孝行 清原
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN202280027332.1A priority Critical patent/CN117178290A/zh
Priority to JP2023517415A priority patent/JPWO2022230640A1/ja
Priority to EP22795555.6A priority patent/EP4332877A1/en
Publication of WO2022230640A1 publication Critical patent/WO2022230640A1/ja
Priority to US18/482,065 priority patent/US20240037798A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0229—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J2003/2866—Markers; Calibrating of scan
    • G01J2003/2873—Storing reference spectrum

Definitions

  • the present disclosure relates to an image processing device, an imaging system, and a method of estimating errors in a restored image.
  • Compressed sensing is a technology that restores more data than the observed data by assuming that the data distribution of the observed object is sparse in a certain space (for example, frequency space). Compressed sensing can be applied, for example, to imaging devices that recover images containing more information from fewer observations.
  • an optical filter is used that has the function of spatially or wavelength-encoding a light image.
  • An imaging device images a subject through an optical filter and generates a restored image by calculation. This makes it possible to obtain various effects such as higher image resolution, multiple wavelengths, shorter imaging time, and higher sensitivity.
  • Patent Document 1 discloses an example in which compressed sensing technology is applied to a hyperspectral camera that acquires images in multiple wavelength bands, each of which is a narrow band. According to the technology disclosed in Patent Document 1, a hyperspectral camera that generates high-resolution and multi-wavelength images can be realized.
  • Patent Document 2 discloses a super-resolution method that uses compressed sensing technology to generate a high-resolution monochrome image from a small amount of observation information.
  • Patent Document 3 discloses a method of generating an image with higher resolution than the acquired image by applying a convolutional neural network (CNN) to the acquired image.
  • CNN convolutional neural network
  • the present disclosure provides an image generated by restoration processing assuming sparsity and a technique for improving the reliability of analysis results based on the image.
  • An image processing apparatus includes a storage device that stores coded information indicating light transmission characteristics of a coded mask that includes a plurality of optical filters with different light transmission characteristics arranged two-dimensionally; a signal processing circuit that generates a restored image based on the compressed image generated by imaging using the coding mask and the coded information, estimates an error in the restored image, and outputs a signal indicating the error; Prepare.
  • the present disclosure may be embodied in a system, apparatus, method, integrated circuit, computer program, or recording medium such as a computer-readable recording disk. It may be implemented in any combination of computer program and recording medium.
  • the computer-readable recording medium may include a non-volatile recording medium such as a CD-ROM (Compact Disc-Read Only Memory).
  • a device may consist of one or more devices. When the device is composed of two or more devices, the two or more devices may be arranged in one device, or may be divided and arranged in two or more separate devices. As used herein and in the claims, a "device" can mean not only one device, but also a system of multiple devices.
  • FIG. 1A is a diagram schematically showing a configuration example of an imaging system.
  • FIG. 1B is a diagram schematically showing another configuration example of the imaging system.
  • FIG. 1C is a diagram schematically showing still another configuration example of the imaging system.
  • FIG. 1D is a diagram schematically showing still another configuration example of the imaging system.
  • FIG. 2A is a diagram schematically showing an example of a filter array.
  • FIG. 2B is a diagram showing an example of spatial distribution of light transmittance in each of a plurality of wavelength bands W 1 , W 2 , . . . , W N included in the target wavelength range.
  • FIG. 2C is a diagram showing an example of spectral transmittance of area A1 included in the filter array shown in FIG. 2A.
  • FIG. 2D is a diagram showing an example of spectral transmittance of area A1 included in the filter array shown in FIG. 2A.
  • FIG. 3A is a diagram for explaining an example of the relationship between a target wavelength band W and a plurality of wavelength bands W 1 , W 2 , . . . , WN included therein.
  • FIG. 3B is a diagram for explaining another example of the relationship between the target wavelength band W and the plurality of wavelength bands W 1 , W 2 , . . . , WN included therein.
  • FIG. 4A is a diagram for explaining spectral transmittance characteristics in a certain region of the filter array.
  • FIG. 4B is a diagram showing the result of averaging the spectral transmittance shown in FIG.
  • FIG. 5 is a diagram schematically showing a configuration example of an inspection system.
  • FIG. 6 is a diagram showing a configuration example of an image processing apparatus that generates a restored image for each wavelength band and estimates the error.
  • FIG. 7 is a flow chart showing an example of the operation of the signal processing circuit.
  • FIG. 8 is a diagram showing an example of the relationship between evaluation function values and restoration errors for three different types of subjects.
  • FIG. 9 is a block diagram showing another configuration example of an image processing device that estimates a restoration error.
  • FIG. 10 is a diagram showing an example of a shot scene.
  • FIG. 11 is a diagram showing another example of a shot scene.
  • FIG. 10 is a diagram showing an example of a shot scene.
  • FIG. 12 is a diagram showing still another example of a shot scene.
  • FIG. 13 is a diagram showing still another example of a scene to be photographed.
  • FIG. 14 is a diagram showing an example of a user interface (UI) having a function of displaying a warning when the restoration error exceeds a predetermined threshold.
  • FIG. 15 is a block diagram showing a configuration example of a system for displaying warnings.
  • FIG. 16 is a flow chart showing the operation of the signal processing circuit in the example of FIG.
  • FIG. 17 is a diagram showing an example of a UI that displays estimated errors as numerical values.
  • FIG. 18 is a diagram showing an example of a UI that displays the estimated error in a form superimposed on the spectrum.
  • FIG. 19 is a diagram showing an example of a UI having a function of predicting when the restoration error will exceed a threshold based on the temporal change of the restoration error.
  • FIG. 20 is a diagram showing another example of a UI having a function of predicting when the restoration error will exceed a threshold based on the temporal change of the restoration error.
  • FIG. 21 is a block diagram showing the configuration of an image processing apparatus 200 that predicts when the restoration error will exceed a threshold based on the temporal change of the restoration error.
  • FIG. 22 is a diagram illustrating an example of log information of restoration errors.
  • all or part of a circuit, unit, device, member or section, or all or part of a functional block in a block diagram is, for example, a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (large scale integration). ) may be performed by one or more electronic circuits.
  • An LSI or IC may be integrated on one chip, or may be configured by combining a plurality of chips.
  • functional blocks other than memory elements may be integrated into one chip.
  • LSIs or ICs may be called system LSIs, VLSIs (very large scale integration), or ULSIs (ultra large scale integration) depending on the degree of integration.
  • a Field Programmable Gate Array (FPGA), which is programmed after the LSI is manufactured, or a reconfigurable logic device that can reconfigure the connection relationships inside the LSI or set up the circuit partitions inside the LSI can also be used for the same purpose.
  • FPGA Field Programmable Gate Array
  • circuits, units, devices, members or parts can be executed by software processing.
  • the software is recorded on one or more non-transitory storage media such as ROMs, optical discs, hard disk drives, etc., and when the software is executed by a processor, the functions specified in the software are is performed by the processor and peripherals.
  • a system or apparatus may comprise one or more non-transitory storage media on which software is recorded, a processing unit, and required hardware devices such as interfaces.
  • Sparsity is the property that the elements that characterize the observation target exist sparsely in a certain space (for example, frequency space). Sparsity is ubiquitous in nature. By using sparsity, it becomes possible to efficiently observe necessary information. Sensing technology using sparsity is called compressed sensing technology. By using compressed sensing technology, it is possible to construct highly efficient devices and systems.
  • Imaging devices that utilize compressed sensing are equipped with optical filters that have random light transmission properties with respect to space and/or wavelength.
  • an optical filter may be referred to as an "encoding mask”.
  • the coded mask is arranged on the optical path of light incident on the image sensor, and transmits light incident from the subject with light transmission characteristics that differ depending on the area. This process with the encoding mask is called “encoding”.
  • a light image encoded by the encoding mask is captured by an image sensor.
  • An image generated by imaging using an encoding mask is hereinafter referred to as a "compressed image”.
  • Information indicating the light transmission characteristics of the encoded mask (hereinafter referred to as "mask information”) is recorded in advance in a storage device.
  • a processing device of the imaging device performs restoration processing based on the compressed image and the mask information.
  • the decompression process produces a decompressed image that has more information (eg, higher resolution image information or more wavelengths of image information) than the compressed image.
  • the mask information may be, for example, information indicating the spatial distribution of the transmission spectrum (also called "spectral transmittance") of the coded mask.
  • the reconstruction process includes an estimation operation that assumes the sparsity of the observed object. This estimation operation is sometimes called “sparse reconstruction". Due to the assumption of sparsity, the estimation error is dependent on the observed non-sparse components.
  • the operations performed in the sparse reconstruction incorporate regularization terms such as the Discrete Cosine Transform (DCT), the Wavelet Transform, the Fourier Transform, or the Total Variation (TV), for example, as disclosed in US Pat. It can be an estimation operation of the data by minimizing the evaluation function. Alternatively, computation using a convolutional neural network (CNN), such as disclosed in US Pat.
  • CNN convolutional neural network
  • Patent Document 3 does not explicitly state a function based on sparsity, it discloses performing an operation using the sparsity of compressed sensing.
  • An image processing apparatus includes a storage device that stores coded information indicating light transmission characteristics of a coded mask including a plurality of optical filters with different light transmission characteristics arranged two-dimensionally; a signal processing circuit that generates a restored image based on the compressed image generated by imaging using the coding mask and the coded information, estimates an error in the restored image, and outputs a signal indicating the error; Prepare.
  • the above configuration it is possible to output the error of the restored image.
  • an image showing the error in the restored image can be output to a display device. Therefore, the user can easily grasp whether or not an accurate restored image has been generated.
  • a restored image with a large error it becomes easy to deal with such as redoing the restoration.
  • the reliability of the restored image and the analysis result based on the restored image can be improved.
  • the signal processing circuit estimates the error based on the compressed image, the decompressed image, and the encoded information. For example, the signal processing circuit may estimate the error based on a value of an evaluation function based on the compressed image, the restored image, and the encoded information. Examples of evaluation functions will be described later.
  • the storage device may further store a reference image representing the reference subject.
  • the compressed image may be generated by imaging a scene including the reference subject and a target subject to be reconstructed using the coding mask.
  • the signal processing circuit may estimate the error based on a comparison between the reference image and a region representing the reference subject in the restored image.
  • the storage device may further store reference information indicating the spectrum of the reference subject.
  • the compressed image may be generated by imaging a scene including the reference subject and a target subject to be reconstructed using the coding mask.
  • the signal processing circuit may estimate the error based on a difference between the spectrum of the region corresponding to the reference subject in the restored image and the spectrum indicated by the reference information.
  • the storage device may further store reference information indicating the spatial frequency of the reference subject.
  • the compressed image may be generated by imaging a scene including the reference subject and a target subject to be reconstructed using the coding mask.
  • the signal processing circuit may estimate the error based on a difference between the spatial frequency of the region corresponding to the reference subject in the restored image and the spatial frequency indicated by the reference information.
  • the reference information can be generated based on an image obtained by imaging a scene including the reference subject using the coding mask.
  • the reference information may be recorded in the storage device at the time of manufacture, or may be recorded in the storage device by the user's operation of capturing an image of the reference subject.
  • the signal processing circuit may output a warning when the magnitude of the error exceeds a threshold.
  • the alert can be, for example, a signal that causes a display device, an audio output device, or a light source to issue an image, sound, or light alert. By outputting a warning, the user can be notified that the restoration error is large.
  • the signal processing circuit may record the estimated error, predict a time when the error exceeds a threshold based on a change in the error over time, and output a signal indicating the predicted time.
  • This configuration is effective when repeatedly generating restored images of the same type of object, such as product inspection. By recording the error each time the restoration process is performed, information on the time-dependent change of the error can be obtained. Based on the change in the error over time, it is possible to estimate, for example, the deterioration of the imaging device, and to predict when the error will exceed the threshold as described above.
  • the plurality of optical filters may have spectral transmittances different from each other.
  • the restored image may include image information for each of a plurality of wavelength bands. With such a configuration, image information for each of a plurality of (eg, four or more) wavelength bands can be restored from the compressed image.
  • the signal processing circuit may cause the display device to display the error and spatial variations in pixel values in the restored image in a distinguishable manner. Thereby, the user can easily grasp the error of the restored image and the spatial variation of the pixel values of the restored image.
  • An imaging system includes an image processing device according to an embodiment of the present disclosure, the coding mask, and an image sensor.
  • Such an imaging system can generate a compressed image by imaging with an encoding mask, generate a decompressed image based on the compressed image and the coded information, and estimate errors in the decompressed image.
  • a method is a method executed by a processor.
  • the method obtains coded information indicating light transmission characteristics of a coded mask including a plurality of optical filters with different light transmission characteristics arranged two-dimensionally, and generates by imaging using the coded mask. generating a decompressed image based on the encoded information; estimating an error in the decompressed image; and outputting a signal indicative of the error.
  • a computer program is stored in a computer-readable non-transitory storage medium and executed by a processor.
  • the computer program causes the processor to acquire encoded information indicating light transmission characteristics of an encoded mask including a plurality of optical filters with different light transmission characteristics arranged two-dimensionally; generating a decompressed image based on the encoded information; estimating an error in the decompressed image; and outputting a signal indicative of the error. and let it run.
  • FIG. 1A is a diagram schematically showing a configuration example of an imaging system.
  • This system includes an imaging device 100 and an image processing device 200 .
  • the imaging device 100 has a configuration similar to that of the imaging device disclosed in Patent Document 1.
  • the imaging device 100 includes an optical system 140 , a filter array 110 and an image sensor 160 .
  • Optical system 140 and filter array 110 are arranged on the optical path of light incident from object 70, which is a subject.
  • Filter array 110 in the example of FIG. 1A is positioned between optical system 140 and image sensor 160 .
  • FIG. 1A illustrates an apple as an example of the object 70 .
  • Object 70 is not limited to an apple, and may be any object.
  • the image sensor 160 generates data of the compressed image 10 in which information of multiple wavelength bands is compressed as a two-dimensional monochrome image.
  • the image processing device 200 Based on the data of the compressed image 10 generated by the image sensor 160, the image processing device 200 generates image data for each of a plurality of wavelength bands included in a predetermined target wavelength range.
  • the generated image data of multiple wavelength bands may be referred to as a "hyperspectral (HS) datacube" or "hyperspectral image data.”
  • HS hyperspectral
  • N is an integer equal to or greater than 4.
  • restored images 20W 1 , 20W 2 , . may be collectively referred to as
  • data or signals representing an image that is, a set of data or signals representing pixel values of pixels may be simply referred to as an "image.”
  • the filter array 110 in this embodiment is an array of a plurality of translucent filters arranged in rows and columns.
  • the multiple filters include multiple types of filters having different spectral transmittances, ie, wavelength dependencies of light transmittances.
  • the filter array 110 modulates the intensity of incident light for each wavelength and outputs the modulated light. This process by filter array 110 is referred to as "encoding,” and filter array 110 is sometimes referred to as an "encoding element" or "encoding mask.”
  • the filter array 110 is arranged near or directly above the image sensor 160 .
  • “near” means that the image of the light from the optical system 140 is close enough to be formed on the surface of the filter array 110 in a somewhat clear state.
  • “Directly above” means that they are so close to each other that there is almost no gap. Filter array 110 and image sensor 160 may be integrated.
  • the optical system 140 includes at least one lens. Although optical system 140 is shown as a single lens in FIG. 1A, optical system 140 may be a combination of multiple lenses. Optical system 140 forms an image on the imaging surface of image sensor 160 via filter array 110 .
  • FIGS. 1B to 1D are diagrams showing configuration examples of the imaging device 100 in which the filter array 110 is arranged away from the image sensor 160.
  • FIG. 1B filter array 110 is positioned between optical system 140 and image sensor 160 and at a distance from image sensor 160 .
  • filter array 110 is positioned between object 70 and optics 140 .
  • imaging device 100 comprises two optical systems 140A and 140B, with filter array 110 positioned therebetween.
  • an optical system including one or more lenses may be arranged between filter array 110 and image sensor 160 .
  • the image sensor 160 is a monochrome photodetector device having a plurality of two-dimensionally arranged photodetector elements (also referred to as "pixels" in this specification).
  • the image sensor 160 can be, for example, a CCD (Charge-Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor) sensor, or an infrared array sensor.
  • the photodetector includes, for example, a photodiode.
  • Image sensor 160 does not necessarily have to be a monochrome type sensor. For example, color type sensors with R/G/B, R/G/B/IR, or R/G/B/W filters may be used.
  • the wavelength range to be acquired may be arbitrarily determined, and is not limited to the visible wavelength range, and may be the ultraviolet, near-infrared, mid-infrared, or far-infrared wavelength ranges.
  • the image processing device 200 may be a computer comprising one or more processors and one or more storage media such as memory.
  • the image processing device 200 generates data of a plurality of restored images 20W 1 , 20W 2 , . . . 20W N based on the compressed image 10 acquired by the image sensor 160 .
  • FIG. 2A is a diagram schematically showing an example of the filter array 110.
  • FIG. Filter array 110 has a plurality of regions arranged two-dimensionally. In this specification, the area may be referred to as a "cell".
  • An optical filter having an individually set spectral transmittance is arranged in each region.
  • the spectral transmittance is represented by a function T( ⁇ ), where ⁇ is the wavelength of incident light.
  • the spectral transmittance T( ⁇ ) can take a value of 0 or more and 1 or less.
  • the filter array 110 has 48 rectangular regions arranged in 6 rows and 8 columns. This is only an example and in actual applications more areas may be provided. The number may be about the same as the number of pixels of the image sensor 160, for example. The number of filters included in the filter array 110 is determined depending on the application, for example, within the range of tens to tens of millions.
  • FIG. 2B is a diagram showing an example of spatial distribution of light transmittance in each of a plurality of wavelength bands W 1 , W 2 , . . . , W N included in the target wavelength range.
  • the difference in shading in each region represents the difference in transmittance.
  • a lighter area has a higher transmittance, and a darker area has a lower transmittance.
  • the spatial distribution of light transmittance differs depending on the wavelength band.
  • FIGS. 2C and 2D are diagrams respectively showing examples of spectral transmittance of area A1 and area A2 included in filter array 110 shown in FIG. 2A.
  • the spectral transmittance of the area A1 and the spectral transmittance of the area A2 are different from each other.
  • the spectral transmittance of filter array 110 differs depending on the region. However, it is not necessary that all regions have different spectral transmittances.
  • Filter array 110 includes two or more filters having different spectral transmittances.
  • the number of spectral transmittance patterns in the plurality of regions included in the filter array 110 can be equal to or greater than the number N of wavelength bands included in the wavelength range of interest.
  • the filter array 110 may be designed such that more than half of the regions have different spectral transmittances.
  • the target wavelength band W can be set in various ranges depending on the application.
  • the target wavelength range W can be, for example, a visible light wavelength range from about 400 nm to about 700 nm, a near-infrared wavelength range from about 700 nm to about 2500 nm, or a near-ultraviolet wavelength range from about 10 nm to about 400 nm.
  • the target wavelength range W may be a wavelength range such as mid-infrared or far-infrared.
  • the wavelength range used is not limited to the visible light range.
  • the term “light” refers to radiation in general, including not only visible light but also infrared rays and ultraviolet rays.
  • N is any integer equal to or greater than 4, and wavelength bands obtained by equally dividing the target wavelength band W into N are defined as wavelength bands W 1 , W 2 , . . . , W N .
  • a plurality of wavelength bands included in the target wavelength band W may be set arbitrarily. For example, different wavelength bands may have different bandwidths. There may be gaps or overlaps between adjacent wavelength bands. In the example shown in FIG. 3B, the wavelength bands have different bandwidths and there is a gap between two adjacent wavelength bands. Thus, how to determine a plurality of wavelength bands is arbitrary.
  • FIG. 4A is a diagram for explaining spectral transmittance characteristics in a certain region of the filter array 110.
  • the spectral transmittance has multiple maxima P1 to P5 and multiple minima for wavelengths within the wavelength range W of interest.
  • normalization is performed so that the maximum value of the light transmittance within the target wavelength range W is 1 and the minimum value is 0.
  • the spectral transmittance has maximum values in wavelength bands such as the wavelength band W 2 and the wavelength band W N ⁇ 1 .
  • the spectral transmittance of each region can be designed to have a maximum value in at least two of the multiple wavelength bands W1 to WN.
  • local maxima P1, P3, P4 and P5 are greater than or equal to 0.5.
  • the filter array 110 transmits a large amount of components in a certain wavelength band and transmits less components in other wavelength bands among the incident light. For example, for light in k wavelength bands out of N wavelength bands, the transmittance is greater than 0.5, and for light in the remaining Nk wavelength bands, the transmittance is 0.5. can be less than k is an integer that satisfies 2 ⁇ k ⁇ N. If the incident light is white light that evenly includes all wavelength components of visible light, the filter array 110 converts the incident light into light having a plurality of discrete intensity peaks with respect to wavelength. , and superimposes and outputs these multi-wavelength lights.
  • FIG. 4B is a diagram showing, as an example, the result of averaging the spectral transmittance shown in FIG. 4A for each wavelength band W 1 , W 2 , . . . , W N .
  • the averaged transmittance is obtained by integrating the spectral transmittance T( ⁇ ) for each wavelength band and dividing by the bandwidth of that wavelength band.
  • the transmittance value averaged for each wavelength band is defined as the transmittance in that wavelength band.
  • the transmittance is remarkably high in the three wavelength regions having the maximum values P1, P3 and P5. In particular, the transmittance exceeds 0.8 in the two wavelength regions having the maximum values P3 and P5.
  • a grayscale transmittance distribution is assumed in which the transmittance of each region can take any value between 0 and 1 inclusive.
  • a binary-scale transmittance distribution may be employed in which the transmittance of each region can take either a value of approximately 0 or approximately 1.
  • each region transmits a majority of light in at least two wavelength bands of the plurality of wavelength bands included in the wavelength band of interest and transmits a majority of light in the remaining wavelength bands. don't let Here, "most" refers to approximately 80% or more.
  • Part of the total cells may be replaced with transparent areas.
  • Such a transparent region transmits light in all wavelength bands W1 to WN contained in the wavelength range W of interest with a similarly high transmittance, eg, a transmittance of 80% or more.
  • the plurality of transparent regions may be arranged in a checkerboard, for example. That is, in the two directions in which the plurality of regions in the filter array 110 are arranged, the regions having different light transmittances depending on the wavelength and the transparent regions can be alternately arranged.
  • Such data indicating the spatial distribution of the spectral transmittance of the filter array 110 is obtained in advance based on design data or actual measurement calibration, and stored in a storage medium included in the image processing device 200. This data is used for arithmetic processing to be described later.
  • the filter array 110 can be constructed using, for example, a multilayer film, an organic material, a diffraction grating structure, or a microstructure containing metal.
  • a multilayer film for example, a dielectric multilayer film or a multilayer film containing a metal layer can be used.
  • each cell is formed so that at least one of the thickness, material, and stacking order of each multilayer film is different. Thereby, different spectral characteristics can be realized depending on the cell.
  • a multilayer film a sharp rise and fall in spectral transmittance can be realized.
  • a multilayer film may be used not only to achieve sharp rise and fall in spectral transmittance, but also to achieve various spectral transmittances.
  • a structure using an organic material can be realized by differentiating the pigment or dye contained in each cell or by laminating different materials.
  • a configuration using a diffraction grating structure can be realized by providing diffraction structures with different diffraction pitches or depths for each cell. When using a microstructure containing metal, it can be produced using spectroscopy due to the plasmon effect.
  • the image processing device 200 reconstructs a multi-wavelength hyperspectral image 20 based on the compressed image 10 output from the image sensor 160 and the spatial distribution characteristics of transmittance for each wavelength of the filter array 110 .
  • multiple wavelengths means a wavelength range greater than the three color wavelength ranges of RGB acquired by a normal color camera, for example.
  • the number of wavelength bands may be on the order of 4 to 100, for example. This number of wavelength regions is referred to as the "number of bands". Depending on the application, the number of bands may exceed 100.
  • the data to be obtained is the data of the hyperspectral image 20, and the data is assumed to be f.
  • f is data obtained by integrating image data f 1 , f 2 , . . . , fN of each band.
  • the horizontal direction of the image is the x direction
  • the vertical direction of the image is the y direction. If the number of pixels in the x direction of the image data to be obtained is m and the number of pixels in the y direction is n , each of the image data f 1 , f 2 , . is. Therefore, the data f is three-dimensional data having n ⁇ m ⁇ N elements.
  • This three-dimensional data is called “hyperspectral image data” or “hyperspectral datacube”.
  • the number of elements of the data g of the compressed image 10 obtained by being encoded and multiplexed by the filter array 110 is n ⁇ m.
  • Data g can be represented by the following equation (1).
  • each of f 1 , f 2 , . . . , f N is data having n ⁇ m elements. Therefore, the vector on the right side is strictly a one-dimensional vector of n ⁇ m ⁇ N rows and 1 column.
  • the vector g is converted into a one-dimensional vector of n ⁇ m rows and 1 column, and calculated.
  • the matrix H encodes and intensity - modulates each component f 1 , f 2 , . represents a transformation that adds Therefore, H is a matrix with n ⁇ m rows and n ⁇ m ⁇ N columns.
  • the image processing apparatus 200 utilizes the redundancy of the image included in the data f and obtains the solution using the method of compressed sensing. Specifically, the desired data f is estimated by solving the following equation (2).
  • f' represents the estimated data of f.
  • the first term in parentheses in the above formula represents the amount of deviation between the estimation result Hf and the acquired data g, ie, the so-called residual term.
  • the sum of squares is used as the residual term here, the absolute value or the square root of the sum of squares may be used as the residual term.
  • the second term in parentheses is the regularization or stabilization term. Equation (2) means finding f that minimizes the sum of the first and second terms.
  • a function in parentheses in Equation (2) is called an evaluation function.
  • the image processing apparatus 200 can converge the solution by recursive iterative calculation and calculate f that minimizes the evaluation function as the final solution f'.
  • the first term in parentheses in formula (2) means an operation for obtaining the sum of squares of the difference between the acquired data g and Hf obtained by transforming f in the estimation process using the matrix H.
  • the second term, ⁇ (f), is a constraint on the regularization of f, and is a function that reflects the sparse information of the estimated data. This function has the effect of smoothing or stabilizing the estimated data.
  • the regularization term may be represented by, for example, the Discrete Cosine Transform (DCT), Wavelet Transform, Fourier Transform, or Total Variation (TV) of f. For example, when the total variation is used, it is possible to acquire stable estimated data that suppresses the influence of noise in the observed data g.
  • the sparsity of the object 70 in the space of each regularization term depends on the texture of the object 70 .
  • a regularization term may be chosen that makes the texture of the object 70 more spars in the space of regularization terms.
  • multiple regularization terms may be included in the operation.
  • ⁇ is a weighting factor. The larger the weighting factor ⁇ , the larger the reduction amount of redundant data and the higher the compression rate. The smaller the weighting factor ⁇ , the weaker the convergence to the solution.
  • the weighting factor ⁇ is set to an appropriate value with which f converges to some extent and does not become over-compressed.
  • the image encoded by the filter array 110 is acquired in a blurred state on the imaging surface of the image sensor 160.
  • FIG. Therefore, the hyperspectral image 20 can be reconstructed by storing the blur information in advance and reflecting the blur information on the matrix H described above.
  • blur information is represented by a point spread function (PSF).
  • PSF is a function that defines the degree of spread of a point image to peripheral pixels. For example, when a point image corresponding to one pixel in an image spreads over a region of k ⁇ k pixels around that pixel due to blurring, the PSF is a coefficient group that indicates the effect on the pixel value of each pixel in that region.
  • the hyperspectral image 20 can be reconstructed by reflecting the influence of blurring of the encoding pattern by the PSF on the matrix H.
  • FIG. The position where the filter array 110 is placed is arbitrary, but a position can be selected where the coding pattern of the filter array 110 is not too diffuse and disappears.
  • the hyperspectral image 20 can be restored from the compressed image 10 acquired by the image sensor 160.
  • FIG. 5 is a diagram schematically showing a configuration example of the inspection system 1000.
  • This inspection system 1000 includes an imaging device 100 , an image processing device 200 , a display device 300 and a conveyor 400 .
  • the display device 300 in the example shown in FIG. 5 is a display. Devices such as speakers or lamps may be provided instead of or in addition to the display.
  • Conveyor 400 is a belt conveyor. In addition to the belt conveyor, a picking device may be provided to remove the abnormal objects 70 .
  • the object 70 to be inspected is placed on the belt of the conveyor 400 and conveyed.
  • Object 70 is any article, such as an industrial product or a food product.
  • Inspection system 1000 acquires a hyperspectral image of object 70 and determines the normality of object 70 based on the image information. For example, the inspection system 1000 detects the presence or absence of foreign matter mixed in the object 70 .
  • Foreign objects to be detected can be anything, such as certain metals, plastics, insects, debris, or hair.
  • the foreign matter is not limited to these objects, and may be a portion of the object 70 whose quality has deteriorated. For example, if the object 70 is food, a rotten part of the food may be detected as a foreign object.
  • the inspection system 1000 can output information indicating that the foreign object has been detected to the display device 300 or an output device such as a speaker, or remove the object 70 including the foreign object by a picking device. can.
  • the imaging device 100 is a camera capable of the aforementioned hyperspectral imaging.
  • the imaging device 100 generates the above-described compressed image by photographing the object 70 continuously flowing on the conveyor 400 .
  • Image processing device 200 can be any computer, such as a personal computer, server computer, or laptop computer, for example.
  • the image processing device 200 can generate a restored image for each of the plurality of wavelength bands by performing restoration processing based on the above-described formula (2) based on the compressed image generated by the imaging device 100 .
  • the image processing device 200 can determine the normality of the object 70 (for example, the presence or absence of foreign matter or abnormality) based on those restored images, and output the determination result to the display device 300 .
  • the configuration of the inspection system 1000 shown in FIG. 5 is merely an example. Imaging systems can be used in any application that acquires spectral information of an object, not limited to inspection.
  • the imaging system may be implemented in a mobile device such as a smartphone or tablet computer, for example.
  • a camera and processor built into a smart phone or tablet computer and an attachment with a filter array acting as a coding mask may be combined to provide functionality similar to the imaging system described above.
  • FIG. 6 is a diagram showing a configuration example of an image processing apparatus 200 that generates a restored image for each wavelength band and estimates its error.
  • the image processing device 200 is used by being connected to the imaging device 100 and the display device 300 .
  • the image processing device 200 includes a signal processing circuit 210 and a storage device 250 .
  • Signal processing circuitry 210 includes an image restoration module 212 and an error estimation module 214 .
  • the image restoration module 212 generates a restored image by performing an operation based on the compressed image generated by the imaging device 100 (for example, the operation shown in Equation (2) above).
  • the error estimation module 214 estimates the error of the reconstructed image and outputs a signal indicative of the estimation result.
  • a signal indicating the estimation result is sent to the display device 300 .
  • Display device 300 displays information indicating the estimated error.
  • the signal processing circuit 210 includes one or more processors.
  • Signal processing circuitry 210 may include separate processors that function as image restoration module 212 and error estimation module 214 .
  • signal processing circuitry 210 may have a single processor that functions as both image restoration module 212 and error estimation module 214 .
  • Signal processing circuitry 210 may implement the functions of image restoration module 212 and error estimation module 214 by executing computer programs stored in storage device 250 .
  • the storage device 250 includes one or more storage media. Each storage medium can be any storage medium, such as a semiconductor memory, a magnetic storage medium, or an optical storage medium.
  • the storage device 250 preliminarily stores a restoration table indicating the light transmission characteristics of the filter array 110 included in the imaging device 100 .
  • a reconstruction table is an example of encoded information that indicates the optical transmission characteristics of the filter array 110 that functions as an encoded mask.
  • the reconstruction table may be data in tabular form representing, for example, the matrix H in equation (2).
  • the storage device 250 also stores the data of the reconstructed images generated by the image reconstruction module 212 . Although not shown in FIG. 6, the storage device 250 also stores compressed image data generated by the imaging device 100 and computer programs executed by the signal processing circuit 210 . These data may be distributed and stored in a plurality of storage media.
  • FIG. 7 is a flowchart showing an example of the operation of the signal processing circuit 210.
  • the image restoration module 212 in the signal processing circuit 210 acquires the compressed image generated by the imaging device 100 (step S110).
  • the signal processing circuit 210 may acquire the compressed image directly from the imaging device 100 or through the storage device 250 .
  • the image restoration module 212 executes restoration processing based on the compressed image and the restoration table stored in the storage device 250 to generate a restored image (step S120).
  • the restoration process may be, for example, a process including the calculation shown in Equation (2) above.
  • the image restoration module 212 can generate f that minimizes the evaluation function in parentheses in Equation (2) as a vector representing the restored image by performing a recursive iterative operation.
  • the error estimation module 214 in the signal processing circuit 210 estimates the error of the restored image (step S130) and outputs a signal indicating the estimated error (hereinafter referred to as "reconstruction error") (step S140). At this time, a signal indicative of the restored image may also be output.
  • Error estimation module 214 estimates the decompression error based on the compressed image, decompressed image, and decompression table (ie, coded information). For example, the restoration error can be estimated based on the value of the evaluation function calculated based on the compressed image, the restored image, and the restoration table.
  • the evaluation function can be, for example, the function in parentheses in equation (2) above.
  • the signal processing circuit 210 can estimate the restoration error based on the value of the evaluation function when the solution of the vector f representing the restored image converges, that is, the value of the evaluation function when the evaluation function is minimized.
  • the evaluation function is not limited to the function in parentheses in the above equation (2), and may differ depending on the system configuration. As in the system disclosed in Patent Document 2, the technology of the present embodiment may be applied to a system that restores a high-resolution image based on an image obtained by synthesizing images acquired under a plurality of different imaging conditions. In that case, the function in parentheses in the formula (9) of Patent Document 2 can be used as the evaluation function.
  • the error between the restored image estimated by computation and the correct image can be represented by, for example, a mean square error (MSE).
  • MSE is represented by the following formula (3).
  • n and m are the number of vertical and horizontal pixels of the image, respectively
  • f i,j is the pixel value of i row and j column of the correct image
  • I i,j is the i row and j column of the estimated restored image.
  • Each image can be, for example, an 8-bit image in which each pixel value is represented by an 8-bit number (0 to 255).
  • the error is not limited to MSE, but can also be represented by other error evaluation indicators such as Root MSE (RMSE), Peak-Signal-to-Noise-Ratio (PSNR), Mean Absolute Error (MAE), and the like.
  • RMSE Root MSE
  • PSNR Peak-Signal-to-Noise-Ratio
  • MAE Mean Absolute Error
  • the data can be restored by solving the minimization problem of the evaluation function as shown in Equation (2) above or Equation (9) in Patent Document 2.
  • the reason why such a method is used is that many subjects existing in the natural world have sparsity. For objects with sparsity, regularization terms such as Discrete Cosine Transform (DCT), Wavelet Transform, Fourier Transform, or Total Variation (TV) become smaller.
  • DCT Discrete Cosine Transform
  • Wavelet Transform Wavelet Transform
  • TV Total Variation
  • how accurately the minimization problem is solved is one of the factors that determine the restoration error, and there is a strong correlation between the evaluation function used in the minimization problem and the restoration error. be. Therefore, the error can be estimated based on the value of the evaluation function.
  • FIG. 8 is a diagram showing an example of the relationship between evaluation function values and restoration errors for three different types of subjects.
  • the number of wavelength bands is set to 10 for the three types of subjects shown in FIG. 8, and the restoration calculation shown in the above equation (2) is performed.
  • the function in parentheses in Equation (2) was used as the evaluation function Q, and the total variation (TV) was adopted as the regularization term.
  • the graph in FIG. 8 shows the relationship between the evaluation function Q for each subject and the MSE representing the error between the restored image and the correct image.
  • the relationship between the evaluation function Q and the MSE differs depending on the subject, if Q is uniquely determined for any subject, the MSE can be uniquely determined.
  • errors such as MSE can be obtained from the evaluation function Q based on the data.
  • data such as a table or function that defines the relationship between the evaluation function Q and the restoration error such as MSE is recorded in advance in the storage device 250 for each assumed subject. obtain.
  • the signal processing circuit 210 can obtain the error of the restored image from the value of the evaluation function Q based on the data.
  • the signal processing circuit 210 may express the error by an error evaluation index value such as MSE, symbols such as A, B, and C, indications such as “high”, “medium”, “low”, or “ It may be expressed in the form of words such as "good”, “average”, “bad”, and the like.
  • Calculation of an evaluation function having a regularization term, such as that shown in Equation (2) above or Equation (9) in Patent Document 2 is performed using the compressed image acquired by the imaging device, the decompressed image, and the coding mask. This becomes possible when encoded information indicating light transmission characteristics is obtained.
  • a CNN such as that disclosed in Patent Document 3 can also be used.
  • the evaluation function is not specified in Patent Document 3, the likelihood of the estimated restored image is evaluated based on the compressed image, the restored image, and the encoding information (for example, the measurement vector in Patent Document 3).
  • Errors in the reconstructed image can be estimated. According to this embodiment, even if spectral data or image data of a subject is not obtained in advance, it is possible to estimate an error that has occurred in the restoration process.
  • the signal processing circuit 210 may perform the estimation of the restored image and the error estimation for the entire area of the acquired image, or may be performed for a partial area of the image.
  • the evaluation function as shown in Equation (2) above is uniquely defined for the acquired image or its partial region. Therefore, the estimation of the restored image and the estimation of the error may be performed based on, for example, only a partial region corresponding to the subject to be inspected in the acquired image.
  • the error estimated from the evaluation function can have spatial information, but does not have wavelength information. Therefore, a common error is estimated and output for all wavelength bands in a certain region (that is, a region composed of a plurality of pixels) in the image.
  • FIG. 9 is a block diagram showing another configuration example of the image processing device 200 that estimates the restoration error.
  • the imaging device 100 captures a scene including a target subject to be restored and a reference subject having a known reflectance spectrum.
  • the storage device 250 stores reference information indicating the spectrum of the reference subject (denoted as “comparison spectrum” in FIG. 9).
  • the imaging device 100 generates a compressed image by imaging a scene including a target subject and a reference subject using an encoding mask.
  • the signal processing circuit 210 reads out the comparison spectrum recorded in the storage device 250, and corrects the error based on the difference between the spectrum of the region corresponding to the reference subject in the restored image and the comparison spectrum. presume.
  • FIG. 10 is a diagram showing an example of a scene shot in the example of FIG.
  • the target subject in this example is the pen 50
  • the reference subjects are the red region 60R, the green region 60G, and the blue region 60B in the color chart.
  • the reference subject is not limited to the red area 60R, the green area 60G, and the blue area 60B, and may be an area of any color.
  • one color area may be specified, or a plurality of color areas may be specified.
  • Reflection spectrum data of one or more regions used as a reference subject are recorded in the storage device 250 in advance as a comparison spectrum.
  • the data of the reflection spectrum may be, for example, data of respective values of a plurality of wavelength bands included in a preset target wavelength band.
  • the signal processing circuit 210 extracts the data of the region corresponding to the reference subject from the restored image, and the value of each wavelength band indicated by the extracted data and the corresponding wavelength band in the comparison spectrum recorded in the storage device 250 in advance. Calculate the error based on the difference from the value of For example, in the restored image, the square of the difference between the value of each wavelength band indicated by the data of the region corresponding to the reference subject and the value of the corresponding wavelength band in the comparison spectrum recorded in advance in the storage device 250 is calculated for all
  • the error can be the integrated value over the wavelength band. As shown in FIG. 10, when a plurality of areas are used as a reference subject, the sum or average of the error values calculated for each area may be used as the final error value.
  • the data of the comparison spectrum is recorded in advance as the reference information indicating the spectrum of the reference subject, but a reference image indicating the reference subject may be recorded instead.
  • the reference image may be a color image having RGB color information, or an image having information of four or more wavelength bands.
  • the signal processing circuitry 210 can estimate the error based on a comparison of the reference image and the region representing the reference subject in the decompressed image. For example, an error evaluation index value such as MSE between the reference image and the corresponding region in the restored image may be calculated for each band in which the reference image has information, and the total value thereof may be used as the error.
  • a reference subject is not limited to a color chart, but can be any object with a known spectrum.
  • a color sample with a known spectrum, a white board, or a non-transparent article whose spectrum is measured using a measuring instrument such as a spectrophotometer can be widely used as a reference subject.
  • Items such as color charts, color samples, or whiteboards used as reference subjects can be sold together with the imaging device 100 , the image processing device 200 , or software executed by the image processing device 200 .
  • the imaging device 100, the image processing device 200, or the software of the image processing device 200 may be sold with the spectrum of the reference subject, that is, the spectrum for comparison, stored in the storage device 250 as factory-calibrated values.
  • the spectrum for comparison may be stored in the storage device 250 by being measured by the user at the time of initial activation.
  • similar processing may be performed using the background 64 as a reference subject.
  • the reflectance spectrum of the background 64 is previously measured and recorded.
  • the signal processing circuit 210 estimates the error of the restored image using the spectral information of the background in the restoration process.
  • the error may be estimated using a reference subject whose spatial frequency is known instead of the spectrum.
  • the storage device 250 stores reference information indicating the spectrum of the reference subject.
  • the signal processing circuit 210 estimates the error based on the difference between the spatial frequency of the region corresponding to the reference subject in the restored image and the spatial frequency indicated by the reference information.
  • FIG. 12 is a diagram showing an example of a scene shot when estimating an error based on a difference in spatial frequency between images.
  • the imaging device 100 simultaneously captures the pen 50, which is the target subject, and the resolving power chart 62, which is the reference subject.
  • the spatial frequency of the resolving power chart 62 is known, and reference information indicating the spatial frequency is recorded in the storage device 250 in advance.
  • the reference information recorded in this case may include, for example, one or more spatial frequency values in at least one of the horizontal and vertical directions of the reference image showing the resolving power chart.
  • Spatial frequency values may be obtained, for example, by performing a transform process, such as a Fast Fourier Transform, on the reference image.
  • the signal processing circuit 210 extracts a region corresponding to the reference subject from the restored image, and performs transform processing such as fast Fourier transform on the extracted region. Thereby, one or more spatial frequency values can be obtained for at least one of the horizontal direction and the vertical direction of the restored image.
  • the signal processing circuit 210 can estimate the error based on the difference between the spatial frequency values in the reference image and the corresponding spatial frequency values in the region corresponding to the reference object in the restored image. Note that the signal processing circuit 210 may estimate the error based on a comparison between the calculated value of the modulation transfer function (MTF) for the reference image and the calculated value of the MTF for the region corresponding to the reference subject in the restored image. good.
  • MTF modulation transfer function
  • FIG. 13 is a diagram showing another example of a scene shot when estimating an error based on the difference in spatial frequency between images.
  • a background 66 with a known spatial frequency is used as a reference subject.
  • the background 66 shown in FIG. 13 has a striped pattern with a constant spatial frequency in the horizontal direction.
  • the signal processing circuit 210 estimates the restoration error based on the difference between the horizontal spatial frequency of the region corresponding to the background 66 in the restored image and the horizontal spatial frequency of the previously prepared reference image.
  • the signal processing circuit 210 calculates the difference between the calculated value such as MTF or FFT for the reference image showing the known background 66 and the calculated value such as MTF or FFT for the region corresponding to the background 66 in the restored image.
  • the error can be estimated based on
  • the article or background (i.e., reference subject) of known spectrum or spatial frequency may be positioned or displayed within the imaging area at all times, or may be positioned or displayed only at regular intervals or when needed. may be displayed.
  • regular maintenance or calibration such as once a day or once a week
  • the reference subject may be photographed simultaneously with the target subject to check for the occurrence of reconstruction errors.
  • a restoration error may occur due to aged deterioration or malfunction of the imaging device 100 . Therefore, by performing the restoration error estimation process at the time of maintenance or calibration, it is possible to confirm whether or not the imaging apparatus 100 has deteriorated or malfunctioned.
  • FIG. 14 is a diagram showing an example of a user interface (UI) having a function of displaying a warning when the estimated restoration error exceeds a predetermined threshold.
  • UI user interface
  • a compressed image is displayed on the upper left of the screen of the display device 300
  • a restored image also referred to as a spectral image
  • spectral information is displayed on the upper right of the screen.
  • a restored image is displayed for each relatively wide band with a width of 50 nm.
  • the width of the band of the restored image to be displayed is not limited to this example, and can be set arbitrarily.
  • the signal processing circuit 210 performs restoration processing for each relatively narrow band such as 5 nm, for example, and synthesizes restored images of a plurality of continuous bands to generate one relatively wide band restored image. may be displayed in
  • the spectral information in the example of FIG. 14 indicates the spectrum obtained for a rectangular designated region 90 within the compressed image.
  • the designated area 90 can be designated by the user, for example.
  • the specified area 90 is an area including a plurality of pixels, but one point may be specified.
  • a curve in the spectral information indicates a value obtained by averaging pixel values in the designated area 90 for each wavelength.
  • the gray portion of the spectral information indicates the spatial variation of the spectrum, such as the range from the minimum value to the maximum value of the pixel values of each wavelength in the designated area 90, or the standard deviation. Spatial variations can occur, for example, due to lighting or subject shape.
  • the reconstruction error is estimated by one of the methods described above independently of the spatial variation of the spectrum. If the estimated restoration error exceeds the threshold, the signal processing circuit 210 displays a warning 92 as shown in FIG. 14 on the display device 300 to prompt the user to remeasure or interrupt the process.
  • FIG. 15 is a block diagram showing a configuration example of a system for displaying warnings.
  • the storage device 250 stores the maximum allowable restoration error as the threshold.
  • the signal processing circuit 210 refers to this threshold and causes the display device 300 to display a warning when the restoration error is greater than the threshold.
  • the storage device 250 when the error is estimated based on spectral comparison, the storage device 250 also stores comparison spectral data.
  • the storage device 250 also stores the spatial frequency data of the reference subject when the error is estimated based on the comparison of spatial frequencies.
  • FIG. 16 is a flow chart showing the operation of the signal processing circuit 210 in this example. Steps S110 to S130 are the same as the corresponding operations shown in FIG. In the example of FIG. 16, after the restoration error estimation in step S130, the signal processing circuit 210 determines whether or not the restoration error exceeds the threshold (step S210). If the restoration error does not exceed the threshold, the signal processing circuit 210 outputs the restored image (step S220). If the restoration error exceeds the threshold, signal processing circuit 210 causes display device 300 to display a warning (step S230). Such an operation can prompt the user to remeasure or interrupt the process when the recovery error exceeds the threshold.
  • FIG. 17 shows an example of a UI that displays estimated errors as numerical values.
  • signal processing circuit 210 causes display device 300 to display numerical value 80 indicating the estimated restoration error.
  • the average value of the MSE values for each wavelength band in the specified region 90 is displayed as the restoration error.
  • other error index values, or symbols such as A, B, C, etc., indications such as "high”, “medium”, “low”, or "good”, “normal”, “bad”, etc.
  • the error may be expressed in the form of wording such as By displaying the restoration error estimated in this way on the screen, the user can evaluate the validity of the displayed restoration result.
  • FIG. 18 shows an example of a UI that displays the estimated error in a form superimposed on the spectrum.
  • the spatial dispersion of the spectrum in the designated area 90 is displayed in gray, and the estimated restoration error is displayed with an error bar 94 .
  • a designated area 90 containing multiple pixels a single point in the compressed image may be designated.
  • the gray display indicating the spatial dispersion of the spectrum is not displayed.
  • the reconstruction error can be estimated and displayed in the form of error bars 94 or the like.
  • the signal processing circuit 210 calculates the spatial dispersion of the spectrum and the estimation error caused by the reconstruction operation independently of each other. As for their size relationship, one may be larger than the other, or the size relationship may be changed for each wavelength band.
  • the spatial spectrum variation and the estimation error caused by the reconstruction operation are displayed separately.
  • the user can confirm whether the cause of the variation is the illumination or the measurement optical system, or an error in the restoration process.
  • the evaluation function is uniquely determined for the compressed image to be obtained or for a partial area containing a plurality of pixels in the compressed image. Therefore, the error estimated from the evaluation function has no information about wavelength. In the example shown in FIG. 18, since a common error value is calculated for all wavelength bands, the width of the displayed error bar 94 is constant regardless of the band.
  • the estimated error is displayed using the error bar 94, but the estimated error may be displayed in another format, such as representation using a translucent area.
  • FIG. 19 is a diagram showing an example of a UI having a function of predicting when the restoration error will exceed a threshold value and be detected as an error based on the estimated temporal change of the restoration error.
  • the signal processing circuit 210 records the estimated error in the storage device 250, predicts when the error will exceed the threshold based on the time-dependent change of the error, and outputs a signal indicating the predicted time.
  • the signal processing circuit 210 may, for example, estimate a restoration error each time restoration processing is performed, and record the estimated restoration error in the storage device 250 together with date and time information.
  • the signal processing circuit 120 may record, together with date information, values obtained by averaging restoration error values for each predetermined period such as one day.
  • the signal processing circuit 120 may predict the day when the restoration error exceeds the threshold value based on the tendency of the restoration error to change over time, and cause the display device 300 to display that day as the predicted error day or the recommended calibration day.
  • a table containing information on the measurement date, the MSE value calculated as the error, and the recommended calibration date is displayed.
  • the estimated restoration error with the date or time of measurement, it is possible to record a log of the error and predict the date and time when the error exceeds the threshold. Note that the error log and the prediction time when the error exceeds the threshold may be displayed in the form of a graph as shown in FIG.
  • FIG. 21 is a block diagram showing the configuration of the image processing device 200 that predicts the error occurrence time based on the temporal change of the estimated error.
  • signal processing circuit 210 causes storage device 250 to store a log of the error each time it estimates the error.
  • the error log can be recorded, for example, in a format that includes date and estimated error (eg, error index values such as MSE, RMSE, PSNR) information, as shown in FIG.
  • the signal processing circuit 210 predicts when the error will exceed the threshold value based on the trend of chronological change in the error recorded daily, and causes the display device 300 to display information indicating the predicted time.
  • the information indicating the predicted time may be notified to a computer such as a mobile terminal used by the user.
  • the number of elements of the data g of the compressed image 10 is n ⁇ m
  • the data f of the restored image restored from the compressed image 10 has the number of elements n ⁇ m ⁇ N. obtain.
  • the decompressed image may contain more signals than the compressed image contains.
  • the restoration error estimated by the signal processing circuit 210 may differ from the error calculated using the correct image.
  • a correct image may be an image acquired by a technique different from the technique for restoring the compressed image 10 .
  • it may be an image acquired by a normal color camera, or an image generated by simulation.
  • the compressed image and the decompressed image may be generated by imaging in a manner different from imaging using an encoding mask containing multiple optical filters.
  • the image sensor 160 may be processed to change the light receiving characteristics of the image sensor for each pixel. may be generated.
  • the compressed image may be generated by an imaging device having a configuration in which the filter array 110 is substantially built into the image sensor.
  • the encoded information is information corresponding to the light receiving characteristics of the image sensor.
  • the optical characteristics of the optical system 140 may be changed spatially and wavelength-wise, and spectral information may be compressed.
  • a compressed image may be generated by an imaging device that includes the configuration.
  • the encoded information is information corresponding to optical characteristics of an optical element such as a metalens.
  • a storage device that stores encoded information corresponding to the optical response characteristics of an imaging device that includes a plurality of light receiving regions with mutually different optical response characteristics; a signal processing circuit for generating a restored image containing a larger number of signals than the number of signals contained in the compressed image, estimating an error in the restored image, and outputting a signal indicating the error. are also included in this disclosure.
  • the optical response characteristic may correspond to the light receiving characteristic of the image sensor, or may correspond to the optical characteristic of the optical element.
  • the technology of the present disclosure is useful, for example, for cameras and measuring instruments that acquire multi-wavelength or high-resolution images.
  • the technology of the present disclosure can also be applied to, for example, biometric/medical/cosmetics sensing, food foreign matter/residual pesticide inspection systems, remote sensing systems, and in-vehicle sensing systems.
  • Compressed image 20 Decompressed image 50 Target subject 60R Reference subject (red) 60G Reference subject (green) 60B Reference subject (blue) 62 Reference Subject (Resolution Chart) 64 Reference subject (background) 66 Reference subject (background) 70 Object 100 Imaging Device 110 Filter Array 140 Optical System 160 Image Sensor 200 Image Processing Device 210 Signal Processing Circuit 212 Image Restoration Section 214 Error Estimation Section 250 Storage Device 300 Display Device 400 Conveyor 1000 Imaging System

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

画像処理装置は、２次元的に配列された光透過特性の異なる複数の光学フィルタを含む符号化マスクの光透過特性を示す符号化情報を記憶する記憶装置と、前記符号化マスクを用いた撮像によって生成された圧縮画像および前記符号化情報に基づいて復元画像を生成し、前記復元画像の誤差を推定し、前記誤差を示す信号を出力する信号処理回路とを備える。

Description

画像処理装置、撮像システム、および復元画像の誤差を推定する方法
　本開示は、画像処理装置、撮像システム、および復元画像の誤差を推定する方法に関する。
　圧縮センシングは、観測対象のデータ分布が、ある空間（例えば周波数空間）においてスパース（疎）であると仮定することで、観測されたデータよりも多くのデータを復元する技術である。圧縮センシングは、例えば少数の観測データから、より多くの情報を含む画像を復元する撮像装置に適用され得る。圧縮センシングを撮像装置に適用する場合、空間的あるいは波長的に光の像を符号化する機能をもつ光学フィルタが用いられる。撮像装置は、光学フィルタを通して被写体を撮像し、演算によって復元画像を生成する。これにより、例えば画像の高解像化、多波長化、撮像時間の短縮、または高感度化などの種々の効果を得ることが可能になる。
　特許文献１は、各々が狭帯域である複数の波長バンドの画像を取得するハイパースペクトルカメラに圧縮センシング技術を適用した例を開示している。特許文献１に開示された技術によれば、高解像度かつ多波長の画像を生成するハイパースペクトルカメラを実現することができる。
　特許文献２は、圧縮センシング技術を用いて、少ない観測情報から高解像度のモノクロ画像を生成する超解像化の方法を開示している。
　特許文献３は、取得した画像に畳み込みニューラルネットワーク（convolutional neural network：ＣＮＮ）を適用することにより、取得した画像よりも高い解像度の画像を生成する方法を開示している。
米国特許第９５９９５１１号明細書 特許第６６７２０７０号 米国特許出願公開第２０１９／０３４０４９７号明細書
　本開示は、スパース性を仮定した復元処理によって生成された画像、および当該画像に基づく分析結果の信頼性を向上させるための技術を提供する。
　本開示の一態様に係る画像処理装置は、２次元的に配列された光透過特性の異なる複数の光学フィルタを含む符号化マスクの光透過特性を示す符号化情報を記憶する記憶装置と、前記符号化マスクを用いた撮像によって生成された圧縮画像および前記符号化情報に基づいて復元画像を生成し、前記復元画像の誤差を推定し、前記誤差を示す信号を出力する信号処理回路と、を備える。
　本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意の組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ‐Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含み得る。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
　本開示の一態様によれば、スパース性を仮定した復元プロセスによって生成した画像、および当該画像に基づく分析結果の信頼性を向上させることができる。
図１Ａは、撮像システムの構成例を模式的に示す図である。 図１Ｂは、撮像システムの他の構成例を模式的に示す図である。 図１Ｃは、撮像システムのさらに他の構成例を模式的に示す図である。 図１Ｄは、撮像システムのさらに他の構成例を模式的に示す図である。 図２Ａは、フィルタアレイの例を模式的に示す図である。 図２Ｂは、対象波長域に含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮのそれぞれの光の透過率の空間分布の一例を示す図である。 図２Ｃは、図２Ａに示すフィルタアレイに含まれる領域Ａ１の分光透過率の例を示す図である。 図２Ｄは、図２Ａに示すフィルタアレイに含まれる領域Ａ１の分光透過率の例を示す図である。 図３Ａは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係の例を説明するための図である。 図３Ｂは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係の他の例を説明するための図である。 図４Ａは、フィルタアレイのある領域における分光透過率の特性を説明するための図である。 図４Ｂは、図４Ａに示す分光透過率を、波長バンドＷ１、Ｗ２、・・・、ＷＮごとに平均化した結果を示す図である。 図５は、検査システムの構成例を模式的に示す図である。 図６は、波長バンドごとの復元画像を生成し、その誤差を推定する画像処理装置の構成例を示す図である。 図７は、信号処理回路の動作の例を示すフローチャートである。 図８は、異なる３種類の被写体についての評価関数の値と復元誤差との関係の例を示す図である。 図９は、復元誤差を推定する画像処理装置の他の構成例を示すブロック図である。 図１０は、撮影されるシーンの一例を示す図である。 図１１は、撮影されるシーンの他の例を示す図である。 図１２は、撮影されるシーンのさらに他の例を示す図である。 図１３は、撮影されるシーンのさらに他の例を示す図である。 図１４は、復元誤差が所定の閾値を超えた場合に警告を表示する機能を有するユーザインタフェース（ＵＩ）の例を示す図である。 図１５は、警告を表示するシステムの構成例を示すブロック図である。 図１６は、図１４の例における信号処理回路の動作を示すフローチャートである。 図１７は、推定された誤差を数値として表示するＵＩの例を示す図である。 図１８は、推定された誤差をスペクトルに重畳する形式で表示するＵＩの例を示す図である。 図１９は、復元誤差の経時変化に基づいて復元誤差が閾値を超える時期を予測する機能を有するＵＩの例を示す図である。 図２０は、復元誤差の経時変化に基づいて復元誤差が閾値を超える時期を予測する機能を有するＵＩの他の例を示す図である。 図２１は、復元誤差の経時変化に基づいて復元誤差が閾値を超える時期を予測する画像処理装置２００の構成を示すブロック図である。 図２２は、復元誤差のログ情報の例を示す図である。
　以下で説明される実施形態は、いずれも包括的または具体的な例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置、位置および接続形態、ステップ、ステップの順序、および表示画面のレイアウト等は、一例であり、本開示の技術を限定する趣旨ではない。以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一または類似の構成要素には同一の符号が付されている。重複する説明は省略または簡略化されることがある。
　本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅも同じ目的で使うことができる。
　さらに、回路、ユニット、装置、部材または部の全部または一部の機能または動作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは、１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
　（本開示の基礎となった知見）
　本開示の実施形態を説明するに先立ち、本開示が解決しようとする課題である、スパース性に基づく画像復元において発生する誤差について説明する。
　スパース性とは、観測対象を特徴づける要素は、ある空間（例えば周波数空間）においては疎ら（スパース）に存在しているという性質である。スパース性は、自然界において広く見られる。スパース性を利用することにより、必要な情報を効率的に観測することが可能になる。スパース性を利用したセンシング技術は、圧縮センシング技術と呼ばれる。圧縮センシング技術を利用することにより、高効率なデバイスおよびシステムの構築が可能である。
　圧縮センシング技術の具体的な応用例として、特許文献１に開示されているような波長分解能を向上させたハイパースペクトルカメラ、および特許文献２に開示されているような解像度の向上（すなわち超解像）が可能な撮像装置などが提案されている。
　圧縮センシングを利用する撮像装置は、例えば、空間および／または波長に関してランダムな光透過特性を有する光学フィルタを備える。以下、そのような光学フィルタを「符号化マスク」と称することがある。符号化マスクは、イメージセンサに入射する光の光路上に配置され、被写体から入射する光を、領域によって異なる光透過特性で透過させる。符号化マスクによるこの過程を「符号化」と称する。符号化マスクによって符号化された光の像は、イメージセンサによって撮像される。符号化マスクを用いた撮像によって生成された画像を、以下、「圧縮画像」と称する。符号化マスクの光透過特性を示す情報（以下、「マスク情報」と称する）が、予め記憶装置に記録される。撮像装置の処理装置は、圧縮画像と、マスク情報とに基づき、復元処理を行う。復元処理により、圧縮画像よりも多くの情報（例えば、より高解像度の画像情報、またはより多くの波長の画像情報）を有する復元画像が生成される。マスク情報は、例えば、符号化マスクの透過スペクトル（「分光透過率」とも称する）の空間分布を示す情報であり得る。そのようなマスク情報に基づく復元処理により、１つの圧縮画像から、複数の波長バンドのそれぞれの画像を再構成することができる。
　復元処理は、観察対象のスパース性を仮定した推定演算を含む。この推定演算は、「スパース再構成」と呼ばれることがある。スパース性が仮定されるため、観察対象の非スパース成分に応じて推定誤差が生じる。スパース再構成で行われる演算は、例えば、特許文献１に開示されているような、離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）等の正則化項を取り入れた評価関数の最小化によるデータの推定演算であり得る。あるいは、特許文献３に開示されているような、畳み込みニューラルネットワーク（ＣＮＮ）を用いた演算が行われ得る。特許文献３は、スパース性に基づく関数を明示していないが、圧縮センシングのスパース性を利用した演算を行うことを開示している。
　観測した情報量よりも多くのデータを構成する演算を行う場合、いかなる演算方法を用いたとしても、劣決定系（すなわち方程式の数よりも変数の方が少ない系）の方程式を解くこととなるため、推定誤差が生じる。生じた推定誤差は、実際の観測対象を表す画像とは異なる画像の出力をもたらす。結果として、出力画像の信頼性を損ねることになり、出力画像を用いて画像分析を行う場合には分析結果の信頼性も損ねることになる。
　本発明者らは、上記の考察に基づき、以下に説明する本開示の実施形態の構成に想到した。以下、本開示の実施形態の概要を説明する。
　本開示の一実施形態による画像処理装置は、２次元的に配列された光透過特性の異なる複数の光学フィルタを含む符号化マスクの光透過特性を示す符号化情報を記憶する記憶装置と、前記符号化マスクを用いた撮像によって生成された圧縮画像および前記符号化情報に基づいて復元画像を生成し、前記復元画像の誤差を推定し、前記誤差を示す信号を出力する信号処理回路と、を備える。
　上記の構成によれば、復元画像の誤差を出力することができる。例えば、復元画像の誤差を示す画像を表示装置に出力することができる。このため、正確な復元画像が生成されたか否かをユーザが容易に把握することができる。誤差の大きい復元画像が生成された場合には、復元をやり直すなどの対応が容易になる。結果として、復元画像、および復元画像に基づく分析結果の信頼性を向上させることができる。
　ある実施形態において、前記信号処理回路は、前記圧縮画像、前記復元画像、および前記符号化情報に基づき、前記誤差を推定する。例えば、前記信号処理回路は、前記圧縮画像、前記復元画像、および前記符号化情報に基づく評価関数の値に基づいて前記誤差を推定してもよい。評価関数の例については後述する。
　前記記憶装置は、参照被写体を示す参照画像をさらに記憶してもよい。前記圧縮画像は、前記参照被写体と、復元対象である対象被写体とを含むシーンを前記符号化マスクを用いて撮像することによって生成され得る。前記信号処理回路は、前記参照画像と、前記復元画像における前記参照被写体を示す領域との比較に基づき、前記誤差を推定してもよい。
　前記記憶装置は、参照被写体のスペクトルを示す参照情報をさらに記憶してもよい。前記圧縮画像は、前記参照被写体と、復元対象である対象被写体とを含むシーンを前記符号化マスクを用いて撮像することによって生成され得る。前記信号処理回路は、前記復元画像における前記参照被写体に相当する領域のスペクトルと、前記参照情報が示す前記スペクトルとの差に基づき、前記誤差を推定してもよい。
　前記記憶装置は、参照被写体の空間周波数を示す参照情報をさらに記憶してもよい。前記圧縮画像は、前記参照被写体と、復元対象である対象被写体とを含むシーンを前記符号化マスクを用いて撮像することによって生成され得る。前記信号処理回路は、前記復元画像における前記参照被写体に相当する領域の空間周波数と、前記参照情報が示す前記空間周波数との差に基づき、前記誤差を推定してもよい。
　前記参照情報は、前記参照被写体を含むシーンを前記符号化マスクを用いて撮像することによって得られた画像に基づいて生成され得る。参照情報は、製造時に記憶装置に記録されてもよいし、ユーザが参照被写体を撮像する操作を行うことによって記憶装置に記録されてもよい。
　前記信号処理回路は、前記誤差の大きさが閾値を超えた場合に警告を出力してもよい。警告は、例えば表示装置、音声出力装置、または光源に、画像、音声、または光による警告を発出させる信号であり得る。警告を出力することにより、復元誤差が大きいことをユーザに通知することができる。
　前記信号処理回路は、推定した前記誤差を記録し、前記誤差の経時変化に基づいて、前記誤差が閾値を超える時期を予測し、予測した前記時期を示す信号を出力してもよい。この構成は、製品の検査など、同種の対象物について繰り返し復元画像を生成する場合に有効である。復元処理を行う度に誤差を記録することにより、誤差の経時変化の情報が得られる。誤差の経時変化に基づいて、例えば撮像装置の劣化を推定することができ、上記のように誤差が閾値を超える時期を予測することができる。
　前記複数の光学フィルタは、互いに異なる分光透過率を有していてもよい。前記復元画像は、複数の波長バンドのそれぞれの画像情報を含んでいてもよい。そのような構成により、圧縮画像から、複数（例えば４以上）の波長バンドのそれぞれの画像情報を復元することができる。
　前記信号処理回路は、表示装置に、前記復元画像における、前記誤差と、画素値の空間的なばらつきとを、区別可能な態様で表示させてもよい。これにより、復元画像の誤差と、復元画像の画素値の空間的なばらつきとをユーザが容易に把握することができる。
　本開示の他の実施形態による撮像システムは、本開示の実施形態による画像処理装置と、前記符号化マスクと、イメージセンサと、を備える。そのような撮像システムは、符号化マスクを用いた撮像によって圧縮画像を生成し、圧縮画像および符号化情報に基づいて復元画像を生成し、復元画像の誤差を推定することができる。
　本開示のさらに他の実施形態による方法は、プロセッサによって実行される方法である。前記方法は、２次元的に配列された光透過特性の異なる複数の光学フィルタを含む符号化マスクの光透過特性を示す符号化情報を取得することと、前記符号化マスクを用いた撮像によって生成された圧縮画像を取得することと、前記符号化情報に基づいて復元画像を生成することと、前記復元画像の誤差を推定することと、前記誤差を示す信号を出力することと、を含む。
　本開示のさらに他の実施形態によるコンピュータプログラムは、コンピュータによって読み取り可能な非一時的な記憶媒体に格納され、プロセッサによって実行される。前記コンピュータプログラムは、前記プロセッサに、２次元的に配列された光透過特性の異なる複数の光学フィルタを含む符号化マスクの光透過特性を示す符号化情報を取得することと、前記符号化マスクを用いた撮像によって生成された圧縮画像を取得することと、前記符号化情報に基づいて復元画像を生成することと、前記復元画像の誤差を推定することと、前記誤差を示す信号を出力することと、を実行させる。
　以下、本開示の例示的な実施形態をより具体的に説明する。
　（実施形態）
　まず、本開示の例示的な実施形態において用いられる撮像システムの構成例を説明する。
　＜１．撮像システム＞
　図１Ａは、撮像システムの構成例を模式的に示す図である。このシステムは、撮像装置１００と、画像処理装置２００とを備える。撮像装置１００は、特許文献１に開示された撮像装置と同様の構成を備える。撮像装置１００は、光学系１４０と、フィルタアレイ１１０と、イメージセンサ１６０とを備える。光学系１４０およびフィルタアレイ１１０は、被写体である対象物７０から入射する光の光路上に配置される。図１Ａの例におけるフィルタアレイ１１０は、光学系１４０とイメージセンサ１６０との間に配置されている。
　図１Ａには、対象物７０の一例として、リンゴが例示されている。対象物７０は、リンゴに限らず、任意の物体であり得る。イメージセンサ１６０は、複数の波長バンドの情報が２次元のモノクロ画像として圧縮された圧縮画像１０のデータを生成する。画像処理装置２００は、イメージセンサ１６０が生成した圧縮画像１０のデータに基づいて、所定の対象波長域に含まれる複数の波長バンドのそれぞれについての画像データを生成する。この生成される複数の波長バンドの画像データを、「ハイパースペクトル（ＨＳ）データキューブ」または「ハイパースペクトル画像データ」と称することがある。ここで、対象波長域に含まれる波長バンドの数をＮ（Ｎは４以上の整数）とする。以下の説明において、生成される複数の波長バンドの画像データを、復元画像２０Ｗ１、２０Ｗ２、・・・、２０ＷＮと称し、これらを「ハイパースペクトル画像２０」または「ハイパースペクトルデータキューブ２０」と総称することがある。本明細書において、画像を示すデータまたは信号、すなわち、各画素の画素値を表すデータまたは信号の集合を、単に「画像」と称することがある。
　本実施形態におけるフィルタアレイ１１０は、行および列状に配列された透光性を有する複数のフィルタのアレイである。複数のフィルタは、分光透過率、すなわち光透過率の波長依存性が互いに異なる複数種類のフィルタを含む。フィルタアレイ１１０は、入射光の強度を波長ごとに変調して出力する。フィルタアレイ１１０によるこの過程を「符号化」と称し、フィルタアレイ１１０を「符号化素子」または「符号化マスク」と称することがある。
　図１Ａに示す例において、フィルタアレイ１１０は、イメージセンサ１６０の近傍または直上に配置されている。ここで「近傍」とは、光学系１４０からの光の像がある程度鮮明な状態でフィルタアレイ１１０の面上に形成される程度に近接していることを意味する。「直上」とは、ほとんど隙間が生じない程両者が近接していることを意味する。フィルタアレイ１１０およびイメージセンサ１６０は一体化されていてもよい。
　光学系１４０は、少なくとも１つのレンズを含む。図１Ａでは、光学系１４０が１つのレンズとして示されているが、光学系１４０は複数のレンズの組み合わせであってもよい。光学系１４０は、フィルタアレイ１１０を介して、イメージセンサ１６０の撮像面上に像を形成する。
　フィルタアレイ１１０は、イメージセンサ１６０から離れて配置されていてもよい。図１Ｂから図１Ｄは、フィルタアレイ１１０がイメージセンサ１６０から離れて配置されている撮像装置１００の構成例を示す図である。図１Ｂの例では、フィルタアレイ１１０が、光学系１４０とイメージセンサ１６０との間で且つイメージセンサ１６０から離れた位置に配置されている。図１Ｃの例では、フィルタアレイ１１０が対象物７０と光学系１４０との間に配置されている。図１Ｄの例では、撮像装置１００が２つの光学系１４０Ａおよび１４０Ｂを備え、それらの間にフィルタアレイ１１０が配置されている。これらの例のように、フィルタアレイ１１０とイメージセンサ１６０との間に１つ以上のレンズを含む光学系が配置されていてもよい。
　イメージセンサ１６０は、２次元的に配列された複数の光検出素子（本明細書において、「画素」とも呼ぶ。）を有するモノクロタイプの光検出装置である。イメージセンサ１６０は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、または赤外線アレイセンサであり得る。光検出素子は、例えばフォトダイオードを含む。イメージセンサ１６０は、必ずしもモノクロタイプのセンサである必要はない。例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプのセンサを用いてもよい。カラータイプのセンサを使用することで、波長に関する情報量を増やすことができ、ハイパースペクトル画像２０の再構成の精度を向上させることができる。取得対象の波長範囲は任意に決定してよく、可視の波長範囲に限らず、紫外、近赤外、中赤外、または遠赤外の波長範囲であってもよい。
　画像処理装置２００は、１つ以上のプロセッサと、メモリ等の１つ以上の記憶媒体とを備えるコンピュータであり得る。画像処理装置２００は、イメージセンサ１６０によって取得された圧縮画像１０に基づいて、複数の復元画像２０Ｗ１、２０Ｗ２、・・・２０ＷＮのデータを生成する。
　図２Ａは、フィルタアレイ１１０の例を模式的に示す図である。フィルタアレイ１１０は、２次元的に配列された複数の領域を有する。本明細書では、当該領域を、「セル」と称することがある。各領域には、個別に設定された分光透過率を有する光学フィルタが配置されている。分光透過率は、入射光の波長をλとして、関数Ｔ（λ）で表される。分光透過率Ｔ（λ）は、０以上１以下の値を取り得る。
　図２Ａに示す例では、フィルタアレイ１１０は、６行８列に配列された４８個の矩形領域を有する。これはあくまで例示であり、実際の用途では、これよりも多くの領域が設けられ得る。その数は、例えばイメージセンサ１６０の画素数と同程度であってもよい。フィルタアレイ１１０に含まれるフィルタ数は、例えば数十から数千万の範囲で用途に応じて決定される。
　図２Ｂは、対象波長域に含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮのそれぞれの光の透過率の空間分布の一例を示す図である。図２Ｂに示す例では、各領域の濃淡の違いは、透過率の違いを表している。淡い領域ほど透過率が高く、濃い領域ほど透過率が低い。図２Ｂに示すように、波長バンドによって光透過率の空間分布が異なっている。
　図２Ｃおよび図２Ｄは、それぞれ、図２Ａに示すフィルタアレイ１１０に含まれる領域Ａ１および領域Ａ２の分光透過率の例を示す図である。領域Ａ１の分光透過率と領域Ａ２の分光透過率とは、互いに異なる。このように、フィルタアレイ１１０の分光透過率は、領域によって異なる。ただし、必ずしもすべての領域の分光透過率が異なっている必要はない。フィルタアレイ１１０では、複数の領域の少なくとも一部の領域の分光透過率が互いに異なっている。フィルタアレイ１１０は、分光透過率が互いに異なる２つ以上のフィルタを含む。ある例では、フィルタアレイ１１０に含まれる複数の領域の分光透過率のパターンの数は、対象波長域に含まれる波長バンドの数Ｎと同じか、それ以上であり得る。フィルタアレイ１１０は、半数以上の領域の分光透過率が異なるように設計されていてもよい。
　図３Ａおよび図３Ｂは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係を説明するための図である。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば、約４００ｎｍから約７００ｎｍの可視光の波長域、約７００ｎｍから約２５００ｎｍの近赤外線の波長域、または約１０ｎｍから約４００ｎｍの近紫外線の波長域であり得る。あるいは、対象波長域Ｗは、中赤外または遠赤外などの波長域であってもよい。このように、使用される波長域は可視光域とは限らない。本明細書では、可視光に限らず、赤外線および紫外線を含む放射全般を「光」と称する。
　図３Ａに示す例では、Ｎを４以上の任意の整数として、対象波長域ＷをＮ等分したそれぞれの波長域を波長バンドＷ１、Ｗ２、・・・、ＷＮとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数の波長バンドは任意に設定してもよい。例えば、波長バンドによって帯域幅を不均一にしてもよい。隣接する波長バンドの間にギャップまたは重なりがあってもよい。図３Ｂに示す例では、波長バンドによって帯域幅が異なり、且つ隣接する２つの波長バンドの間にギャップがある。このように、複数の波長バンドの決め方は任意である。
　図４Ａは、フィルタアレイ１１０のある領域における分光透過率の特性を説明するための図である。図４Ａに示す例では、分光透過率は、対象波長域Ｗ内の波長に関して、複数の極大値Ｐ１からＰ５、および複数の極小値を有する。図４Ａに示す例では、対象波長域Ｗ内での光透過率の最大値が１、最小値が０となるように正規化されている。図４Ａに示す例では、波長バンドＷ２、および波長バンドＷＮ－１などの波長域において、分光透過率が極大値を有している。このように、各領域の分光透過率は、複数の波長バンドＷ１からＷＮのうち、少なくとも２つの複数の波長域において極大値を有するように設計され得る。図４Ａの例では、極大値Ｐ１、Ｐ３、Ｐ４およびＰ５は０．５以上である。
　このように、各領域の光透過率は、波長によって異なる。したがって、フィルタアレイ１１０は、入射する光のうち、ある波長域の成分を多く透過させ、他の波長域の成分をそれほど透過させない。例えば、Ｎ個の波長バンドのうちのｋ個の波長バンドの光については、透過率が０．５よりも大きく、残りのＮ－ｋ個の波長域の光については、透過率が０．５未満であり得る。ｋは、２≦ｋ＜Ｎを満たす整数である。仮に入射光が、すべての可視光の波長成分を均等に含む白色光であった場合には、フィルタアレイ１１０は、入射光を領域ごとに、波長に関して離散的な複数の強度のピークを有する光に変調し、これらの多波長の光を重畳して出力する。
　図４Ｂは、一例として、図４Ａに示す分光透過率を、波長バンドＷ１、Ｗ２、・・・、ＷＮごとに平均化した結果を示す図である。平均化された透過率は、分光透過率Ｔ（λ）を波長バンドごとに積分してその波長バンドの帯域幅で除算することによって得られる。本明細書では、このように波長バンドごとに平均化した透過率の値を、その波長バンドにおける透過率とする。この例では、極大値Ｐ１、Ｐ３およびＰ５をとる３つの波長域において、透過率が突出して高くなっている。特に、極大値Ｐ３およびＰ５をとる２つの波長域において、透過率が０．８を超えている。
　図２Ａから図２Ｄに示す例では、各領域の透過率が０以上１以下の任意の値をとり得るグレースケールの透過率分布が想定されている。しかし、必ずしもグレースケールの透過率分布にする必要はない。例えば、各領域の透過率がほぼ０またはほぼ１のいずれかの値を取り得るバイナリスケールの透過率分布を採用してもよい。バイナリスケールの透過率分布では、各領域は、対象波長域に含まれる複数の波長域のうちの少なくとも２つの波長域の光の大部分を透過させ、残りの波長域の光の大部分を透過させない。ここで「大部分」とは、概ね８０％以上を指す。
　全セルのうちの一部、例えば半分のセルを、透明領域に置き換えてもよい。そのような透明領域は、対象波長域Ｗに含まれるすべての波長バンドＷ１からＷＮの光を同程度の高い透過率、例えば８０％以上の透過率で透過させる。そのような構成では、複数の透明領域は、例えば市松（checkerboard）状に配置され得る。すなわち、フィルタアレイ１１０における複数の領域の２つの配列方向において、光透過率が波長によって異なる領域と、透明領域とが交互に配列され得る。
　このようなフィルタアレイ１１０の分光透過率の空間分布を示すデータは、設計データまたは実測キャリブレーションに基づいて事前に取得され、画像処理装置２００が備える記憶媒体に格納される。このデータは、後述する演算処理に利用される。
　フィルタアレイ１１０は、例えば、多層膜、有機材料、回折格子構造、または金属を含む微細構造を用いて構成され得る。多層膜を用いる場合、例えば、誘電体多層膜または金属層を含む多層膜が用いられ得る。この場合、セルごとに各多層膜の厚さ、材料、および積層順序の少なくとも１つが異なるように形成される。これにより、セルによって異なる分光特性を実現できる。多層膜を用いることにより、分光透過率におけるシャープな立ち上がりおよび立下りを実現できる。分光透過率におけるシャープな立ち上がりおよび立下りを実現することに限らず、多様な分光透過率を実現するために多層膜を用いてもよい。有機材料を用いた構成は、セルによって含有する顔料または染料が異なるようにしたり、異種の材料を積層させたりすることによって実現され得る。回折格子構造を用いた構成は、セルごとに異なる回折ピッチまたは深さの回折構造を設けることによって実現され得る。金属を含む微細構造を用いる場合は、プラズモン効果による分光を利用して作製され得る。
　次に、画像処理装置２００による信号処理の例を説明する。画像処理装置２００は、イメージセンサ１６０から出力された圧縮画像１０、およびフィルタアレイ１１０の波長ごとの透過率の空間分布特性に基づいて、多波長のハイパースペクトル画像２０を再構成する。ここで多波長とは、例えば通常のカラーカメラで取得されるＲＧＢの３色の波長域よりも多くの波長域を意味する。この波長域の数は、例えば４から１００程度の数であり得る。この波長域の数を、「バンド数」と称する。用途によっては、バンド数は１００を超えていてもよい。
　求めたいデータはハイパースペクトル画像２０のデータであり、そのデータをｆとする。バンド数をＮとすると、ｆは、各バンドの画像データｆ１、ｆ２、・・・、ｆＮを統合したデータである。ここで、図３Ａに示すように、画像の横方向をｘ方向、画像の縦方向をｙ方向とする。求めるべき画像データのｘ方向の画素数をｍとし、ｙ方向の画素数をｎとすると、画像データｆ１、ｆ２、・・・、ｆＮの各々は、ｎ×ｍ画素の２次元データである。したがって、データｆは要素数ｎ×ｍ×Ｎの３次元データである。この３次元データを、「ハイパースペクトル画像データ」または「ハイパースペクトルデータキューブ」と称する。一方、フィルタアレイ１１０によって符号化および多重化されて取得される圧縮画像１０のデータｇの要素数はｎ×ｍである。データｇは、以下の式（１）によって表すことができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｆ１、ｆ２、・・・、ｆＮの各々は、ｎ×ｍ個の要素を有するデータである。したがって、右辺のベクトルは、厳密にはｎ×ｍ×Ｎ行１列の１次元ベクトルである。ベクトルｇは、ｎ×ｍ行１列の１次元ベクトルに変換されて表され、計算される。行列Ｈは、ベクトルｆの各成分ｆ１、ｆ２、・・・、ｆＮを波長バンドごとに異なる符号化情報（以下、「マスク情報」とも称する。）で符号化および強度変調し、それらを加算する変換を表す。したがって、Ｈは、ｎ×ｍ行ｎ×ｍ×Ｎ列の行列である。
　ベクトルｇと行列Ｈが与えられれば、式（１）の逆問題を解くことにより、ｆを算出することができそうである。しかし、求めるデータｆの要素数ｎ×ｍ×Ｎが取得データｇの要素数ｎ×ｍよりも多いため、この問題は不良設定問題であり、このままでは解くことができない。そこで、画像処理装置２００は、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の式（２）を解くことにより、求めるデータｆが推定される。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値または二乗和平方根等を残差項としてもよい。括弧内の第２項は、正則化項または安定化項である。式（２）は、第１項と第２項との和を最小化するｆを求めることを意味する。式（２）における括弧内の関数を評価関数と呼ぶ。画像処理装置２００は、再帰的な反復演算によって解を収束させ、評価関数を最小にするｆを、最終的な解ｆ’として算出することができる。
　式（２）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによって変換したＨｆとの差の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。この関数は、推定データを滑らかまたは安定にする効果をもたらす。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）などによって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象物７０のスパース性は、対象物７０のテキスチャによって異なる。対象物７０のテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数である。重み係数τが大きいほど冗長的なデータの削減量が多くなり、圧縮する割合が高まる。重み係数τが小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。
　なお、図１Ｂおよび図１Ｃの構成においては、フィルタアレイ１１０によって符号化された像は、イメージセンサ１６０の撮像面上でボケた状態で取得される。したがって、予めこのボケ情報を保有しておき、そのボケ情報を前述の行列Ｈに反映させることにより、ハイパースペクトル画像２０を再構成することができる。ここで、ボケ情報は、点拡がり関数（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ：ＰＳＦ）によって表される。ＰＳＦは、点像の周辺画素への拡がりの程度を規定する関数である。例えば、画像上で１画素に相当する点像が、ボケによってその画素の周囲のｋ×ｋ画素の領域に広がる場合、ＰＳＦは、その領域内の各画素の画素値への影響を示す係数群、すなわち行列として規定され得る。ＰＳＦによる符号化パターンのボケの影響を、行列Ｈに反映させることにより、ハイパースペクトル画像２０を再構成することができる。フィルタアレイ１１０が配置される位置は任意であるが、フィルタアレイ１１０の符号化パターンが拡散しすぎて消失しない位置が選択され得る。
　以上の処理により、イメージセンサ１６０によって取得された圧縮画像１０から、ハイパースペクトル画像２０を復元することができる。
　＜２．検査システム＞
　次に、上記の撮像システムを利用した検査システムの例を説明する。
　図５は、検査システム１０００の構成例を模式的に示す図である。この検査システム１０００は、撮像装置１００と、画像処理装置２００と、表示装置３００と、コンベア４００とを備える。図５に示す例における表示装置３００はディスプレイである。ディスプレイに代えて、またはディスプレイに加えて、スピーカまたはランプなどの装置が設けられていてもよい。コンベア４００は、ベルトコンベアである。ベルトコンベアに加えて、異常のある対象物７０を除去するピッキング装置が設けられていてもよい。
　検査対象である対象物７０は、コンベア４００のベルトの上に載せられ、搬送される。対象物７０は、例えば工業製品または食品などの任意の物品である。検査システム１０００は、対象物７０のハイパースペクトル画像を取得し、その画像情報に基づいて、対象物７０の正常性を判定する。例えば、検査システム１０００は、対象物７０に混入した異物の有無を検出する。検出される異物は、例えば特定の金属、プラスチック、虫、ゴミ、または毛髪などの任意の物であり得る。異物は、これらの物に限らず、対象物７０において品質が劣化した部位であってもよい。例えば対象物７０が食品である場合、食品の腐敗した部位が異物として検出されてもよい。検査システム１０００は、異物を検出した場合、表示装置３００またはスピーカなどの出力装置に異物を検出したことを示す情報を出力したり、異物を含む対象物７０をピッキング装置で除去したりすることができる。
　撮像装置１００は、前述のハイパースペクトル撮像が可能なカメラである。撮像装置１００は、コンベア４００上を連続して流れてくる対象物７０を撮影することにより、前述の圧縮画像を生成する。画像処理装置２００は、例えばパーソナルコンピュータ、サーバコンピュータ、またはラップトップコンピュータなどの任意のコンピュータであり得る。画像処理装置２００は、撮像装置１００によって生成された圧縮画像に基づいて前述の式（２）に基づく復元処理を行うことにより、複数の波長バンドのそれぞれについての復元画像を生成することができる。画像処理装置２００は、それらの復元画像に基づいて、対象物７０の正常性（例えば異物または異常の有無）を判定し、判定結果を表示装置３００に出力することができる。
　なお、図５に示す検査システム１０００の構成は一例に過ぎない。撮像システムは、検査に限らず、対象物のスペクトル情報を取得する任意の用途で使用され得る。撮像システムは、例えばスマートフォンまたはタブレットコンピュータなどの携帯端末に実装されてもよい。スマートフォンまたはタブレットコンピュータに内蔵されているカメラおよびプロセッサと、符号化マスクとして機能するフィルタアレイを備えるアタッチメントとを組み合わせて、上記の撮像システムと同様の機能を実現してもよい。
　＜３．復元誤差の推定＞
　次に、復元画像の誤差を推定するための構成および動作の例を説明する。なお、以下に説明する誤差の推定方法は一例にすぎず、種々の変形が可能である。
　＜３－１．評価関数に基づく誤差推定＞
　図６は、波長バンドごとの復元画像を生成し、その誤差を推定する画像処理装置２００の構成例を示す図である。画像処理装置２００は、撮像装置１００および表示装置３００に接続されて使用される。画像処理装置２００は、信号処理回路２１０と、記憶装置２５０とを備える。信号処理回路２１０は、画像復元モジュール２１２と、誤差推定モジュール２１４とを含む。画像復元モジュール２１２は、撮像装置１００によって生成された圧縮画像に基づく演算（例えば、前述の式（２）に示す演算）を行うことにより、復元画像を生成する。誤差推定モジュール２１４は、復元画像の誤差を推定し、推定結果を示す信号を出力する。推定結果を示す信号は、表示装置３００に送られる。表示装置３００は、推定された誤差を示す情報を表示する。
　信号処理回路２１０は、１つ以上のプロセッサを含む。信号処理回路２１０は、画像復元モジュール２１２として機能するプロセッサと、誤差推定モジュール２１４として機能するプロセッサとを別々に含んでいてもよい。あるいは、信号処理回路２１０は、画像復元モジュール２１２および誤差推定モジュール２１４の両方の機能を有する１つのプロセッサを有していてもよい。信号処理回路２１０は、記憶装置２５０に格納されたコンピュータプログラムを実行することによって画像復元モジュール２１２および誤差推定モジュール２１４の機能を実現してもよい。
　記憶装置２５０は、１つ以上の記憶媒体を含む。各記憶媒体は、例えば半導体メモリ、磁気記憶媒体、または光学記憶媒体などの、任意の記憶媒体であり得る。記憶装置２５０は、撮像装置１００が備えるフィルタアレイ１１０の光透過特性を示す復元テーブルを予め記憶している。復元テーブルは、符号化マスクとして機能するフィルタアレイ１１０の光透過特性を示す符号化情報の一例である。復元テーブルは、例えば式（２）における行列Ｈを示すテーブル形式のデータであり得る。記憶装置２５０は、画像復元モジュール２１２によって生成された復元画像のデータも記憶する。図６には示されていないが、記憶装置２５０は、撮像装置１００によって生成された圧縮画像のデータ、および信号処理回路２１０によって実行されるコンピュータプログムも記憶する。これらのデータは、複数の記憶媒体に分散されて記憶されていてもよい。
　図７は、信号処理回路２１０の動作の例を示すフローチャートである。この例では、まず、信号処理回路２１０における画像復元モジュール２１２が、撮像装置１００によって生成された圧縮画像を取得する（ステップＳ１１０）。信号処理回路２１０は、圧縮画像を、撮像装置１００から直接取得してもよいし、記憶装置２５０を介して取得してもよい。次に、画像復元モジュール２１２は、圧縮画像と、記憶装置２５０に格納された復元テーブルに基づく復元処理を実行し、復元画像を生成する（ステップＳ１２０）。復元処理は、例えば前述の式（２）に示す演算を含む処理であり得る。画像復元モジュール２１２は、再帰的な反復演算を行うことにより、式（２）における括弧内の評価関数を最小にするｆを、復元画像を表すベクトルとして生成することができる。次に、信号処理回路２１０における誤差推定モジュール２１４は、復元画像の誤差を推定し（ステップＳ１３０）、推定した誤差（以下、「復元誤差」と称する）を示す信号を出力する（ステップＳ１４０）。このとき、復元画像を示す信号も出力され得る。誤差推定モジュール２１４は、圧縮画像、復元画像、および復元テーブル（すなわち符号化情報）に基づき、復元誤差を推定する。例えば、圧縮画像、復元画像、および復元テーブルに基づいて計算される評価関数の値に基づいて復元誤差を推定することができる。評価関数は、例えば上記の式（２）における括弧内の関数であり得る。信号処理回路２１０は、復元画像を示すベクトルｆの解が収束したときの評価関数の値、すなわち評価関数が最小になったときの評価関数の値に基づいて復元誤差を推定することができる。評価関数は、上記の式（２）における括弧内の関数に限らず、システムの構成によって異なり得る。特許文献２に示すシステムのように、複数の異なる撮像条件で取得される画像を合成した画像に基づいて高解像度の画像を復元するシステムに本実施形態の技術を適用してもよい。その場合には、特許文献２の式（９）における括弧内の関数が評価関数として用いられ得る。
　実際に被写体を撮影する場合には「正解」を定義することが現実的に難しいため、正解からの乖離の度合いを示す誤差を正確に求めることはできない。しかし、使用している計算方法、アルゴリズム、および評価関数が復元誤差とどのように関係しているかは、ある程度推測することができる。例えば、理想的な撮影画像と正解画像とをソフトウェア上で準備し、それらの画像に基づいて、評価関数と復元誤差との関係を検証することができる。
　演算によって推定された復元画像と正解画像との誤差は、例えば平均二乗誤差（Ｍｅａｎ　Ｓｑｕａｒｅ　Ｅｒｒｏｒ：ＭＳＥ）によって表され得る。ＭＳＥは、以下の式（３）で表される。
Figure JPOXMLDOC01-appb-M000003
 ここで、ｎおよびｍはそれぞれ画像の縦および横の画素数を、ｆi,jは正解画像のｉ行ｊ列の画素値を、Ｉi,jは推定された復元画像のｉ行ｊ列の画素値を表す。各画像は、例えば各画素の値が８ビットの数値（０から２５５）で表現される８ビット画像であり得る。誤差は、ＭＳＥに限らず、例えばＲｏｏｔ　ＭＳＥ（ＲＭＳＥ）、Ｐｅａｋ－Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ－Ｒａｔｉｏ（ＰＳＮＲ）、Ｍｅａｎ　Ａｂｓｏｌｕｔｅ　Ｅｒｒｏｒ（ＭＡＥ）などの、他の誤差評価指標で表すこともできる。
　スパース再構成において、前述の式（２）または特許文献２における式（９）に示されるような評価関数の最小化問題を解くことによってデータを復元することができる。そのような方法が用いられる理由は、自然界に存在する被写体の多くが、スパース性を有しているからである。スパース性を有する被写体については、離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）等の正則化項が小さくなる。スパース性を利用する復元処理においては、最小化問題がどの程度正確に解けたかが復元誤差を決定する要因の一つとなり、最小化問題において用いられる評価関数と復元誤差の間には強い相関関係がある。したがって、評価関数の値に基づいて誤差を推定することができる。
　図８は、異なる３種類の被写体についての評価関数の値と復元誤差との関係の例を示す図である。この例では、図８に示す３種類の被写体について、波長バンド数を１０として、上記の式（２）に示される復元演算を行った。式（２）の括弧内の関数を評価関数Ｑとし、正則化項として、トータルバリエーション（ＴＶ）を採用した。図８のグラフは、それぞれの被写体についての評価関数Ｑと、復元画像と正解画像との誤差を表すＭＳＥとの関係を示している。被写体によって評価関数ＱとＭＳＥとの関係は異なるが、いずれの被写体においてもＱが一意に定まると、ＭＳＥを一意に決定することができる。
　したがって、図８のグラフに示すような関数またはテーブルのデータを予め記録しておくことにより、そのデータに基づいて、評価関数ＱからＭＳＥなどの誤差を求めることができる。検査対象の被写体が複数種類ある場合には、想定される被写体ごとに、評価関数Ｑと、ＭＳＥなどの復元誤差との関係を規定するテーブルまたは関数などのデータが、予め記憶装置２５０に記録され得る。信号処理回路２１０は、当該データに基づいて、復元画像の誤差を評価関数Ｑの値から求めることができる。信号処理回路２１０は、誤差を、ＭＳＥ等の誤差評価指標値で表現してもよいし、Ａ、Ｂ、Ｃ等の記号、「高」、「中」、「低」等の表示、または「良い」、「普通」、「悪い」等の文言などの形式で表現してもよい。
　上記の式（２）または特許文献２における式（９）に示されるような、正則化項を有する評価関数の計算は、撮像装置によって取得された圧縮画像と、復元画像と、符号化マスクの光透過特性を示す符号化情報が得られている場合に可能になる。一方、特許文献３に開示されているようなＣＮＮを利用することもできる。特許文献３には評価関数が明示されていないが、圧縮画像と、復元画像と、符号化情報（例えば特許文献３におけるmeasurement vector）とに基づいて、推定された復元画像の確からしさを評価するための評価関数を定義することができる。復元処理においては、定義された評価関数の値から、復元画像の誤差を求めることができる。
　このように、符号化マスクを用いた撮像によって取得された圧縮画像と、復元処理によって推定された復元画像と、符号化マスクの光透過特性を示す符号化情報とに基づく評価関数に基づいて、復元画像の誤差を推定することができる。本実施形態によれば、被写体のスペクトルデータまたは画像データを予め入手していない場合であっても、復元処理において生じた誤差を推定することができる。
　なお、信号処理回路２１０は、復元画像の推定および誤差の推定を、取得した画像の全領域について行ってもよいし、画像の一部の領域について行ってもよい。上記の式（２）に示されるような評価関数は、取得画像またはその一部の領域について一意に定められる。そのため、取得画像のうち、例えば検査対象の被写体に対応する一部の領域のみに基づいて復元画像の推定および誤差の推定を行ってもよい。なお、評価関数から推定される誤差は空間的な情報を有し得るが、波長的な情報を有しない。このため、画像内のある領域（すなわち複数の画素から構成される領域）においては、全ての波長バンドについて共通の誤差が推定され出力される。
　＜３－２．既知の透過特性との比較に基づく誤差推定＞
　図９は、復元誤差を推定する画像処理装置２００の他の構成例を示すブロック図である。この例では、復元対象である対象被写体と、既知の反射スペクトルを有する参照被写体とを含むシーンが撮像装置１００によって撮像される。記憶装置２５０は、参照被写体のスペクトルを示す参照情報（図９において「比較用スペクトル」と表記）を記憶する。撮像装置１００は、対象被写体と参照被写体とを含むシーンを符号化マスクを用いて撮像することによって圧縮画像を生成する。信号処理回路２１０は、復元処理を行った後、記憶装置２５０に記録された比較用スペクトルを読み出し、復元画像における参照被写体に相当する領域のスペクトルと、比較用スペクトルとの差に基づき、誤差を推定する。
　図１０は、図９の例において撮影されるシーンの一例を示す図である。この例における対象被写体はペン５０であり、参照被写体はカラーチャートにおける赤領域６０Ｒ、緑領域６０Ｇ、および青領域６０Ｂである。なお、参照被写体は、赤領域６０Ｒ、緑領域６０Ｇ、および青領域６０Ｂに限らず、任意の色の領域であってもよい。参照被写体として、１つの色の領域が指定されてもよいし、複数の色の領域が指定されてもよい。参照被写体として使用される１つ以上の領域の反射スペクトルのデータが比較用スペクトルとして予め記憶装置２５０に記録される。反射スペクトルのデータは、例えば、予め設定された対象波長域に含まれる複数の波長バンドのそれぞれの値のデータであり得る。信号処理回路２１０は、復元画像から、参照被写体に相当する領域のデータを抽出し、抽出したデータが示す各波長バンドの値と、予め記憶装置２５０に記録された比較用スペクトルにおける対応する波長バンドの値との差に基づいて誤差を計算する。例えば、復元画像のうち、参照被写体に相当する領域のデータが示す各波長バンドの値と、予め記憶装置２５０に記録された比較用スペクトルにおける対応する波長バンドの値との差の二乗を全ての波長バンドにわたって積算した値を誤差とすることができる。図１０に示すように複数の領域を参照被写体とする場合、領域ごとに計算した誤差の値の合計または平均値を最終的な誤差の値としてもよい。
　なお、上記の例では、参照被写体のスペクトルを示す参照情報として、比較用スペクトルのデータが予め記録されるが、参照被写体を示す参照画像が代わりに記録されていてもよい。参照画像は、ＲＧＢの色情報を有するカラー画像でもよいし、４以上の波長バンドの情報を有する画像でもよい。信号処理回路２１０は、参照画像と、復元画像における参照被写体を示す領域との比較に基づき、誤差を推定することができる。例えば、参照画像と、復元画像における対応する領域とのＭＳＥなどの誤差評価指標値を参照画像が情報を有するバンド毎に計算し、それらの合計値を誤差としてもよい。
　参照被写体は、カラーチャートに限らず、既知のスペクトルを有する任意の物体であり得る。例えば、既知のスペクトルを有する色見本、白板、または分光光度計等の計測器を用いてスペクトルが測定された透明でない物品等を、広く参照被写体として用いることができる。参照被写体として用いられるカラーチャート、色見本、または白板などの物品は、撮像装置１００、画像処理装置２００、または画像処理装置２００によって実行されるソフトウェアとセットで販売され得る。参照被写体のスペクトル、すなわち比較用スペクトルは、工場で校正された値として記憶装置２５０に記憶された状態で撮像装置１００、画像処理装置２００、または画像処理装置２００のソフトウェアが販売されてもよい。あるいは、初回起動時にユーザが測定することで比較用スペクトルが記憶装置２５０に記憶されてもよい。
　また、図１１に示すように、背景６４を参照被写体として同様の処理を行ってもよい。この場合、背景６４の反射スペクトルが予め計測および記録される。信号処理回路２１０は、復元処理において当該背景のスペクトル情報を用いて復元画像の誤差を推定する。
　スペクトルに代えて空間周波数が既知の参照被写体を用いて誤差を推定してもよい。その場合、記憶装置２５０は、参照被写体のスペクトルを示す参照情報を記憶する。信号処理回路２１０は、復元画像における参照被写体に相当する領域の空間周波数と、参照情報が示す空間周波数との差に基づき、誤差を推定する。
　図１２は、画像間の空間周波数の差に基づいて誤差を推定する場合において撮影されるシーンの一例を示す図である。この例では、撮像装置１００は、対象被写体であるペン５０と、参照被写体である解像力チャート６２とを同時に撮像する。解像力チャート６２の空間周波数は既知であり、その空間周波数を示す参照情報が予め記憶装置２５０に記録される。この場合に記録される参照情報は、例えば、解像力チャートを示す参照画像の横方向および縦方向の少なくとも一方についての１つ以上の空間周波数の値を含み得る。空間周波数の値は、例えば、参照画像に高速フーリエ変換などの変換処理を実行することによって取得され得る。信号処理回路２１０は、復元画像から参照被写体に相当する領域を抽出し、抽出した領域について、例えば高速フーリエ変換などの変換処理を行う。これにより、復元画像の横方向および縦方向の少なくとも一方について、１つ以上の空間周波数の値を得ることができる。信号処理回路２１０は、参照画像における空間周波数の値と、復元画像の参照被写体に相当する領域における対応する空間周波数の値との差に基づいて、誤差を推定することができる。なお、信号処理回路２１０は、参照画像についての変調伝達関数（ＭＴＦ）の計算値と、復元画像における参照被写体に相当する領域についてのＭＴＦの計算値との比較に基づいて誤差を推定してもよい。
　図１３は、画像間の空間周波数の差に基づいて誤差を推定する場合において撮影されるシーンの他の例を示す図である。この例では、既知の空間周波数を有する背景６６が参照被写体として用いられる。図１３に示す背景６６は、横方向に一定の空間周波数を有するストライプ柄を有する。この場合、信号処理回路２１０は、復元画像における背景６６に相当する領域の横方向の空間周波数と、予め用意された参照画像の横方向の空間周波数との差に基づいて復元誤差を推定する。この場合も、信号処理回路２１０は、既知の背景６６を示す参照画像についてのＭＴＦまたはＦＦＴなどの計算値と、復元画像における背景６６に相当する領域についてのＭＴＦまたはＦＦＴなどの計算値との差に基づいて誤差を推定することができる。
　上記の各例において、スペクトルまたは空間周波数が既知である物品または背景（すなわち参照被写体）は、撮影領域内に常に配置または表示されていてもよいし、一定時間おき、または必要な時にのみ配置または表示されてもよい。例えば、１日に一度または１週間に一度など、定期的なメンテナンスまたは校正を行うときにのみ、参照被写体を対象被写体と同時に撮影し、復元誤差の発生を確認してもよい。復元誤差は、撮像装置１００の経年劣化または不具合によって発生する場合がある。このため、メンテナンスまたは校正の際に上記の復元誤差の推定処理を行うことにより、撮像装置１００の劣化または不具合の有無を確認することができる。
　＜４．復元誤差の表示例＞
　次に、復元誤差の表示のいくつかの例を説明する。
　＜４－１．誤差が閾値を超える場合の警告表示＞
　図１４は、推定された復元誤差が所定の閾値を超えた場合に警告を表示する機能を有するユーザインタフェース（ＵＩ）の例を示す図である。図１４の例では、表示装置３００の画面左上に圧縮画像、画面下に複数の波長バンドのそれぞれについての復元画像（分光画像とも呼ぶ）、画面右上にスペクトル情報が表示される。
　この例では、５０ｎｍの幅をもつ比較的広いバンドごとに復元画像が表示されている。表示される復元画像のバンドの幅はこの例に限定されず、任意に設定され得る。信号処理回路２１０は、例えば５ｎｍのような比較的狭いバンドごとに復元処理を行い、連続する複数のバンドの復元画像を合成して１つの比較的広いバンドの復元画像を生成して表示装置３００に表示させてもよい。
　図１４の例におけるスペクトル情報は、圧縮画像内の矩形の指定領域９０について取得されたスペクトルを示す。指定領域９０は、例えばユーザによって指定され得る。図１４の例では、指定領域９０は、複数の画素を含む領域であるが、１点が指定されてもよい。スペクトル情報における曲線は、波長ごとに、指定領域９０における画素値を平均化した値を示す。スペクトル情報における灰色の部分は、指定領域９０における各波長の画素値の最小値から最大値までの範囲、または標準偏差などの、スペクトルの空間的なばらつきを示す。空間的なばらつきは、例えば照明の当たり方または被写体の形状に起因して生じ得る。本実施形態では、スペクトルの空間的なばらつきとは独立して、前述のいずれかの方法で復元誤差が推定される。信号処理回路２１０は、推定された復元誤差が閾値を超えていた場合、図１４に示すような警告９２を表示装置３００に表示させ、ユーザに再測定または処理の中断を促す。
　図１５は、警告を表示するシステムの構成例を示すブロック図である。この例では、記憶装置２５０は、復元誤差として許容する値の最大値を閾値として記憶する。信号処理回路２１０は、この閾値を参照し、復元誤差が閾値よりも大きい場合に表示装置３００に警告を表示装置３００に表示させる。図９の例のように、スペクトルの比較に基づいて誤差が推定される場合には、記憶装置２５０は、比較用スペクトルのデータも記憶する。また、空間周波数の比較に基づいて誤差が推定される場合には、記憶装置２５０は、参照被写体の空間周波数のデータも記憶する。
　図１６は、この例における信号処理回路２１０の動作を示すフローチャートである。ステップＳ１１０からＳ１３０は、図７に示す対応する動作と同じである。図１６の例では、ステップＳ１３０の復元誤差推定の後、信号処理回路２１０は、復元誤差が閾値を超えるか否かを判定する（ステップＳ２１０）。復元誤差が閾値を超えない場合、信号処理回路２１０は、復元画像を出力する（ステップＳ２２０）。復元誤差が閾値を超える場合、信号処理回路２１０は、表示装置３００に、警告を表示させる（ステップＳ２３０）。このような動作により、復元誤差が閾値を超える場合にユーザに再測定または処理の中断を促すことができる。
　＜４－２．誤差を数値で表示＞
　図１７は、推定された誤差を数値として表示するＵＩの例を示す。この例では、信号処理回路２１０は、推定した復元誤差を示す数値８０を、表示装置３００に表示させる。図１７の例では、指定領域９０における波長バンドごとのＭＳＥの値の平均値が復元誤差として表示されている。ＭＳＥに限らず、他の誤差指標値、または、Ａ、Ｂ、Ｃ等の記号、「高」、「中」、「低」等の表示、または「良い」、「普通」、「悪い」等の文言などの形式で誤差を表現してもよい。このように推定された復元誤差が画面に表示されることにより、ユーザは、表示されている復元結果の妥当性を評価することができる。
　＜４－３．誤差をスペクトルに重ねて表示＞
　図１８は、推定された誤差をスペクトルに重畳する形式で表示するＵＩの例を示す。この例では、画面右上のスペクトル情報が表示される部分において、指定領域９０におけるスペクトルの空間的なばらつきが灰色で表示され、推定された復元誤差がエラーバー９４で表示されている。複数の画素を含む指定領域９０の代わりに、圧縮画像中の１点が指定されてもよい。その場合には、スペクトルの空間的なばらつきを示す灰色の表示は表示されない。しかし、１点が指定される場合でも、復元誤差は推定され、エラーバー９４などの形式で表示され得る。信号処理回路２１０は、空間的なスペクトルのばらつきと、復元演算によって生じる推定誤差とを互いに独立して算出する。それらの大小関係については、一方が他方よりも大きい場合もあれば、波長バンド毎に大小関係が入れ替わる場合もある。
　この例では、空間的なスペクトルのばらつきと、復元演算によって生じる推定誤差とが分けて表示される。これにより、ユーザは、スペクトルのばらつきが大きい場合に、そのばらつきをもたらす要因が、照明または測定光学系によるものか、復元処理の誤差によるものかを確認することができる。
　なお、評価関数は、取得される圧縮画像または圧縮画像における複数の画素を含む一部の領域について一意に定められる。このため、評価関数から推定される誤差は波長に関する情報をもたない。図１８に示される例では、全波長バンドについて共通の誤差値が計算されるため、表示されるエラーバー９４の幅は、バンドによらず一定である。
　図１８の例では、エラーバー９４を用いて推定誤差が表示されるが、他の形式、例えば半透明の領域を用いた表現などで推定誤差が表示されてもよい。
　＜５．復元誤差の経時変化に基づくエラー発生時期の予測＞
　図１９は、推定された復元誤差の経時変化に基づいて復元誤差が閾値を超えてエラーとして検出される時期を予測する機能を有するＵＩの例を示す図である。この例では、信号処理回路２１０は、推定した誤差を記憶装置２５０に記録し、誤差の経時変化に基づいて、誤差が閾値を超える時期を予測し、予測した時期を示す信号を出力する。信号処理回路２１０は、例えば、復元処理を行うたびに復元誤差を推定し、推定した復元誤差を日時の情報とともに記憶装置２５０に記録してもよい。信号処理回路１２０は、復元誤差の値を、例えば一日などの所定の期間ごとに平均化した値を、日付の情報とともに記録してもよい。信号処理回路１２０は、復元誤差の経時的な変化の傾向に基づいて、復元誤差が閾値を超える日を予測し、その日をエラー予測日または校正推奨日として表示装置３００に表示させてもよい。図１９の例では、測定日、誤差として算出されたＭＳＥの値、および校正推奨日の情報を含む表が表示されている。この例のように、推定された復元誤差を測定の日または日時と紐づけることにより、誤差のログを記録し、誤差が閾値を超える日時を予測することができる。なお、誤差のログおよび誤差が閾値を超える予測時期は、図２０に示すようにグラフの形式で表示されてもよい。
　図２１は、推定した誤差の経時変化に基づいてエラー発生時期を予測する画像処理装置２００の構成を示すブロック図である。この例では、信号処理回路２１０は、誤差を推定する度に、記憶装置２５０に誤差のログを記憶させる。誤差のログは、例えば、図２２に示すように、日付と推定された誤差（例えばＭＳＥ、ＲＭＳＥ、ＰＳＮＲなどの誤差指標値）の情報を含む形式で記録され得る。信号処理回路２１０は、日々記録する誤差の経時変化の傾向に基づき、誤差が閾値を超える時期を予測し、予測時期を示す情報を表示装置３００に表示させる。なお、予測時期を示す情報は、ユーザが使用する携帯端末などのコンピュータに通知されてもよい。
　なお、以下のような場合も本開示に含まれる。
　（１）実施形態に記載されたように、圧縮画像１０のデータｇの要素数はｎ×ｍであり、圧縮画像１０から復元される復元画像のデータｆは要素数ｎ×ｍ×Ｎであり得る。換言すれば、復元画像は、圧縮画像が含む信号数よりも多くの信号数を含み得る。
　（２）信号処理回路２１０によって推定される復元誤差は、正解画像を用いて算出された誤差とは異なっていてもよい。正解画像は、圧縮画像１０から復元する手法とは異なる手法によって取得される画像であり得る。例えば、通常のカラーカメラで取得される画像であってもよく、また、シミュレーションによって生成される画像であってもよい。
　（３）圧縮画像および復元画像は、複数の光学フィルタを含む符号化マスクを用いた撮像とは異なる方法で撮像されることによって生成されてもよい。
　例えば、撮像装置１００の構成として、イメージセンサ１６０に加工を施すことでイメージセンサの受光特性を画素ごとに変化させてもよく、当該加工が施されたイメージセンサ１６０を用いた撮像によって、圧縮画像が生成されてもよい。すなわち、実質的にフィルタアレイ１１０がイメージセンサに内蔵されている構成の撮像装置によって、圧縮画像が生成されてもよい。この場合、符号化情報はイメージセンサの受光特性に対応する情報となる。
　また、光学系１４０の少なくとも一部にメタレンズ等の光学素子が導入されることで、光学系１４０の光学特性が空間的かつ波長的に変化され、スペクトル情報が圧縮される構成であってもよく、当該構成を含む撮像装置によって圧縮画像が生成されてもよい。この場合、符号化情報は、メタレンズ等の光学素子の光学特性に対応する情報となる。このように、フィルタアレイ１１０を用いた構成とは異なる構成の撮像装置１００を用いることによって、入射光の強度を波長ごとに変調し、圧縮画像および復元画像を生成し、復元画像の復元誤差を推定してもよい。
　換言すると、光応答特性が互いに異なる複数の受光領域を含む撮像装置の光応答特性に対応する符号化情報を記憶する記憶装置と、前記撮像装置によって生成された圧縮画像および前記符号化情報に基づいて、前記圧縮画像が含む信号数よりも多くの信号数を含む復元画像を生成し、前記復元画像の誤差を推定し、前記誤差を示す信号を出力する信号処理回路と、を備える画像処理装置も本開示に含まれる。
　上述のとおり、光応答特性は、イメージセンサの受光特性に対応していてもよく、また、光学素子の光学特性に対応していてもよい。
　本開示の技術は、例えば、多波長または高解像度の画像を取得するカメラおよび測定機器に有用である。本開示の技術は、例えば、生体・医療・美容向けセンシング、食品の異物・残留農薬検査システム、リモートセンシングシステムおよび車載センシングシステムにも応用できる。
　１０　　　圧縮画像
　２０　　　復元画像
　５０　　　対象被写体
　６０Ｒ　　参照被写体（赤）
　６０Ｇ　　参照被写体（緑）
　６０Ｂ　　参照被写体（青）
　６２　　　参照被写体（解像力チャート）
　６４　　　参照被写体（背景）
　６６　　　参照被写体（背景）
　７０　　　対象物
　１００　　撮像装置
　１１０　　フィルタアレイ
　１４０　　光学系
　１６０　　イメージセンサ
　２００　　画像処理装置
　２１０　　信号処理回路
　２１２　　画像復元部
　２１４　　誤差推定部
　２５０　　記憶装置
　３００　　表示装置
　４００　　コンベア
　１０００　撮像システム

Claims (17)

  1. 　２次元的に配列された光透過特性の異なる複数の光学フィルタを含む符号化マスクの光透過特性を示す符号化情報を記憶する記憶装置と、
    　前記符号化マスクを用いた撮像によって生成された圧縮画像および前記符号化情報に基づいて、前記圧縮画像が含む信号数よりも多くの信号数を含む復元画像を生成し、前記復元画像の誤差を推定し、前記誤差を示す信号を出力する信号処理回路と、
    を備える、画像処理装置。
  2. 　前記信号処理回路は、前記圧縮画像、前記復元画像、および前記符号化情報に基づき、前記誤差を推定する、請求項１に記載の画像処理装置。
  3. 　前記信号処理回路は、前記圧縮画像、前記復元画像、および前記符号化情報に基づく評価関数の値に基づいて前記誤差を推定する、請求項１または２に記載の画像処理装置。
  4. 　前記記憶装置は、参照被写体を示す参照画像をさらに記憶し、
    　前記圧縮画像は、前記参照被写体と、復元対象である対象被写体とを含むシーンを前記符号化マスクを用いて撮像することによって生成され、
    　前記信号処理回路は、前記参照画像と、前記復元画像における前記参照被写体を示す領域との比較に基づき、前記誤差を推定する、
    　請求項１または２に記載の画像処理装置。
  5. 　前記記憶装置は、参照被写体のスペクトルを示す参照情報をさらに記憶し、
    　前記圧縮画像は、前記参照被写体と、復元対象である対象被写体とを含むシーンを前記符号化マスクを用いて撮像することによって生成され、
    　前記信号処理回路は、前記復元画像における前記参照被写体に相当する領域のスペクトルと、前記参照情報が示す前記スペクトルとの差に基づき、前記誤差を推定する、
    　請求項１または２に記載の画像処理装置。
  6. 　前記記憶装置は、参照被写体の空間周波数を示す参照情報をさらに記憶し、
    　前記圧縮画像は、前記参照被写体と、復元対象である対象被写体とを含むシーンを前記符号化マスクを用いて撮像することによって生成され、
    　前記信号処理回路は、前記復元画像における前記参照被写体に相当する領域の空間周波数と、前記参照情報が示す前記空間周波数との差に基づき、前記誤差を推定する、
    　請求項１または２に記載の画像処理装置。
  7. 　前記参照情報は、前記参照被写体を含むシーンを前記符号化マスクを用いて撮像することによって取得された画像に基づいて生成される、請求項５または６に記載の画像処理装置。
  8. 　前記信号処理回路は、前記誤差の大きさが閾値を超えた場合に警告を出力する、請求項１から７のいずれかに記載の画像処理装置。
  9. 　前記信号処理回路は、推定した前記誤差を記録し、前記誤差の経時変化に基づいて、前記誤差が閾値を超える時期を予測し、予測した前記時期を示す信号を出力する、請求項１から８のいずれかに記載の画像処理装置。
  10. 　前記複数の光学フィルタは、互いに異なる分光透過率を有し、
    　前記復元画像は、複数の波長バンドのそれぞれの画像情報を含む、
    　請求項１から９のいずれかに記載の画像処理装置。
  11. 　前記信号処理回路は、表示装置に、前記復元画像における、前記誤差と、画素値の空間的なばらつきとを、区別可能な態様で表示させる、請求項１から１０のいずれかに記載の画像処理装置。
  12. 　推定された前記誤差は、正解画像を用いて算出された誤差とは異なる、請求項１から１１に記載の画像処理装置。
  13. 　請求項１から１２のいずれかに記載の画像処理装置と、
    　前記符号化マスクと、
    　イメージセンサと、
    を備える撮像システム。
  14. 　プロセッサによって実行される方法であって、
    　２次元的に配列された光透過特性の異なる複数の光学フィルタを含む符号化マスクの光透過特性を示す符号化情報を取得することと、
    　前記符号化マスクを用いた撮像によって生成された圧縮画像を取得することと、
    　前記符号化情報に基づいて、前記圧縮画像が含む信号数よりも多くの信号数を含む復元画像を生成することと、
    　前記復元画像の誤差を推定することと、
    　前記誤差を示す信号を出力することと、
    を含む方法。
  15. 　プロセッサによって実行されるコンピュータプログラムであって、
    　前記プロセッサに、
    　２次元的に配列された光透過特性の異なる複数の光学フィルタを含む符号化マスクの光透過特性を示す符号化情報を取得することと、
    　前記符号化マスクを用いた撮像によって生成された圧縮画像を取得することと、
    　前記符号化情報に基づいて、前記圧縮画像が含む信号数よりも多くの信号数を含む復元画像を生成することと、
    　前記復元画像の誤差を推定することと、
    　前記誤差を示す信号を出力することと、
    を実行させる、コンピュータプログラム。
  16. 　光応答特性が互いに異なる複数の受光領域を含む撮像装置の光応答特性に対応する符号化情報を記憶する記憶装置と、
    　前記撮像装置によって生成された圧縮画像および前記符号化情報に基づいて、前記圧縮画像が含む信号数よりも多くの信号数を含む復元画像を生成し、前記復元画像の誤差を推定し、前記誤差を示す信号を出力する信号処理回路と、
    を備える、画像処理装置。
  17. 　前記撮像装置は光学素子を介した光を受光し、
    　前記符号化情報は、前記光学素子の光学特性に対応する情報である、請求項１６に記載の画像処理装置。
PCT/JP2022/017373 2021-04-28 2022-04-08 画像処理装置、撮像システム、および復元画像の誤差を推定する方法 WO2022230640A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202280027332.1A CN117178290A (zh) 2021-04-28 2022-04-08 图像处理装置、摄像系统及估计复原图像的误差的方法
JP2023517415A JPWO2022230640A1 (ja) 2021-04-28 2022-04-08
EP22795555.6A EP4332877A1 (en) 2021-04-28 2022-04-08 Image processing device, image capturing system, and method for estimating error in restored image
US18/482,065 US20240037798A1 (en) 2021-04-28 2023-10-06 Image processing apparatus, imaging system, and method for estimating error in reconstructed images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-075808 2021-04-28
JP2021075808 2021-04-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/482,065 Continuation US20240037798A1 (en) 2021-04-28 2023-10-06 Image processing apparatus, imaging system, and method for estimating error in reconstructed images

Publications (1)

Publication Number Publication Date
WO2022230640A1 true WO2022230640A1 (ja) 2022-11-03

Family

ID=83847495

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/017373 WO2022230640A1 (ja) 2021-04-28 2022-04-08 画像処理装置、撮像システム、および復元画像の誤差を推定する方法

Country Status (5)

Country Link
US (1) US20240037798A1 (ja)
EP (1) EP4332877A1 (ja)
JP (1) JPWO2022230640A1 (ja)
CN (1) CN117178290A (ja)
WO (1) WO2022230640A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106142A1 (ja) * 2021-12-08 2023-06-15 パナソニックＩｐマネジメント株式会社 信号処理方法、プログラム、およびシステム
WO2024053302A1 (ja) * 2022-09-08 2024-03-14 パナソニックＩｐマネジメント株式会社 情報処理方法および撮像システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
WO2018155046A1 (ja) * 2017-02-21 2018-08-30 株式会社日立製作所 医用撮像装置、画像処理方法及びプログラム
US20190340497A1 (en) 2016-12-09 2019-11-07 William Marsh Rice University Signal Recovery Via Deep Convolutional Networks
JP6672070B2 (ja) 2016-05-17 2020-03-25 キヤノン株式会社 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
US9599511B2 (en) 2014-11-19 2017-03-21 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus comprising coding element and spectroscopic system comprising the imaging apparatus
JP6672070B2 (ja) 2016-05-17 2020-03-25 キヤノン株式会社 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
US20190340497A1 (en) 2016-12-09 2019-11-07 William Marsh Rice University Signal Recovery Via Deep Convolutional Networks
WO2018155046A1 (ja) * 2017-02-21 2018-08-30 株式会社日立製作所 医用撮像装置、画像処理方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106142A1 (ja) * 2021-12-08 2023-06-15 パナソニックＩｐマネジメント株式会社 信号処理方法、プログラム、およびシステム
WO2024053302A1 (ja) * 2022-09-08 2024-03-14 パナソニックＩｐマネジメント株式会社 情報処理方法および撮像システム

Also Published As

Publication number Publication date
US20240037798A1 (en) 2024-02-01
JPWO2022230640A1 (ja) 2022-11-03
CN117178290A (zh) 2023-12-05
EP4332877A1 (en) 2024-03-06

Similar Documents

Publication Publication Date Title
JP6952277B2 (ja) 撮像装置および分光システム
JP6064290B2 (ja) 撮像装置、分光システム、および分光方法
WO2022230640A1 (ja) 画像処理装置、撮像システム、および復元画像の誤差を推定する方法
US9070218B2 (en) Reconstructing an image of a scene captured using a compressed sensing device
WO2021192891A1 (ja) 信号処理方法、信号処理装置、および撮像システム
WO2021246192A1 (ja) 信号処理方法、信号処理装置、および撮像システム
WO2022163421A1 (ja) 検査対象に含まれる異物を検出する方法および装置
JP6945195B2 (ja) 光学フィルタ、光検出装置、および光検出システム
JP2016130727A (ja) 撮像装置
EP4092397A1 (en) Optical filter array, optical detection device, and optical detection system
JP7457952B2 (ja) 光検出装置、光検出システム、およびフィルタアレイ
WO2021241171A1 (ja) フィルタアレイおよび光検出システム
JP2016090290A (ja) 撮像装置、分光システム、および分光方法
WO2024053302A1 (ja) 情報処理方法および撮像システム
WO2023106143A1 (ja) 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
WO2023106142A1 (ja) 信号処理方法、プログラム、およびシステム
WO2024043009A1 (ja) 信号処理方法および信号処理装置
JP2024020922A (ja) 復元画像の評価方法および撮像システム、
WO2023286613A1 (ja) フィルタアレイ、光検出装置、および光検出システム
JP7122636B2 (ja) フィルタアレイおよび光検出システム
WO2022168594A1 (ja) スペクトルデータキューブを改変する方法および装置
CN118251898A (zh) 在生成分光图像的系统中使用的装置及滤光器阵列、生成分光图像的系统以及滤光器阵列的制造方法
CN116762330A (zh) 改变光谱数据立方体的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22795555

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023517415

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2022795555

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022795555

Country of ref document: EP

Effective date: 20231128