WO2023176492A1 - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
WO2023176492A1
WO2023176492A1 PCT/JP2023/007936 JP2023007936W WO2023176492A1 WO 2023176492 A1 WO2023176492 A1 WO 2023176492A1 JP 2023007936 W JP2023007936 W JP 2023007936W WO 2023176492 A1 WO2023176492 A1 WO 2023176492A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light source
subject
processing device
light
Prior art date
Application number
PCT/JP2023/007936
Other languages
English (en)
French (fr)
Inventor
系子 湯川
基樹 八子
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2023176492A1 publication Critical patent/WO2023176492A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/40—Measuring the intensity of spectral lines by determining density of a photograph of the spectrum; Spectrography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Definitions

  • the present disclosure relates to an imaging system.
  • spectral information of a large number of narrow wavelength bands (hereinafter also simply referred to as “bands”), for example, several dozen bands, each has a narrow band, this is not possible with conventional RGB images that have only three bands of information. It becomes possible to understand the detailed physical properties of the object. Cameras that capture images in many such wavelength bands are called “hyperspectral cameras.” Hyperspectral cameras are used in various fields such as food testing, biological testing, drug development, and mineral component analysis.
  • Patent Document 1 discloses an image analysis device for analyzing the distribution of substances in biological tissues.
  • the image analysis device acquires a plurality of sample images by irradiating and photographing biological tissue with light in N wavelength bands selected from a predetermined wavelength range. Sample data based on a plurality of sample images and material teacher data are compared to generate material distribution data in the tissue.
  • Patent Document 1 discloses normalizing the intensity of light reflected on the surface of a sample based on the intensity of light reflected on the surface of a reference member such as a white board.
  • Patent Document 2 discloses an example of a hyperspectral imaging device that uses compressed sensing.
  • Compressed sensing is a technology that restores more data than the observed data by assuming that the data distribution of the observed object is sparse in a certain space (for example, frequency space).
  • the imaging device disclosed in Patent Document 2 includes an encoding element, which is an array of a plurality of optical filters having different spectral transmittances, on an optical path connecting an object and an image sensor.
  • the imaging device can generate images of each of a plurality of wavelength bands in one imaging by performing a restoration calculation based on a compressed image obtained by imaging using an encoding element.
  • the light source may be adjusted to satisfy good lighting conditions. Every time the light source was adjusted, it was necessary to obtain spectral information of the subject for calibration, such as a white board.
  • the present disclosure provides an imaging system and method that can save labor in the imaging process after adjusting the light source.
  • An imaging system includes a light source, an imaging device that photographs a subject illuminated with light from the light source and generates image data, and a processing device.
  • the image data includes image information of each of four or more bands, or information of a compressed image obtained by compressing the image information of the four or more bands into one image.
  • the processing device determines whether pixel values of a plurality of pixels in the image data satisfy a predetermined condition, and if the predetermined condition is not satisfied, the processing device determines whether or not the pixel values of a plurality of pixels in the image data satisfy a predetermined condition, and if the predetermined condition is not satisfied, the processing device
  • the illumination conditions by the light source are changed under the condition that the spectral shape of the light source does not change.
  • the general or specific aspects of the present disclosure may be implemented in a system, apparatus, method, integrated circuit, computer program or recording medium such as a computer readable recording disk, and the system, apparatus, method, integrated circuit, It may be realized by any combination of a computer program and a recording medium.
  • the computer-readable recording medium includes, for example, a non-volatile recording medium such as a CD-ROM (Compact Disc-Read Only Memory).
  • a device may be composed of one or more devices. When the device is composed of two or more devices, the two or more devices may be arranged within one device, or may be arranged separately into two or more separate devices.
  • the term "device" may refer not only to one device, but also to a system of multiple devices.
  • FIG. 1 is a block diagram showing a schematic configuration of an imaging system.
  • FIG. 2 is a flowchart illustrating an example of a processing method executed by a processing device.
  • FIG. 3 is a diagram schematically illustrating an example configuration of an imaging system according to an exemplary embodiment of the present disclosure.
  • FIG. 4A is a flowchart illustrating an example of a method for generating a hyperspectral image.
  • FIG. 4B is a flowchart illustrating a variation of the method shown in FIG. 4A.
  • FIG. 5 is a flowchart illustrating an example of a method for determining the specified range.
  • FIG. 6A is a diagram illustrating an example of the data structure of a hyperspectral image.
  • FIG. 6B is a diagram showing another example of the data structure of a hyperspectral image.
  • FIG. 6C is a diagram showing still another example of the data structure of a hyperspectral image.
  • FIG. 7 is a flowchart showing a modification of the method shown in FIG.
  • FIG. 8 is a block diagram showing a configuration example of an imaging system.
  • FIG. 9 is a flowchart illustrating another example of a hyperspectral image generation method.
  • FIG. 10 is a flowchart illustrating another example of a method for determining the specified range.
  • FIG. 11 is a block diagram showing another example of the configuration of the imaging system.
  • FIG. 12A is a diagram schematically showing a configuration example of an imaging device.
  • FIG. 12B is a diagram schematically showing another configuration example of the imaging device.
  • FIG. 12A is a diagram schematically showing a configuration example of an imaging device.
  • FIG. 12C is a diagram schematically showing still another configuration example of the imaging device.
  • FIG. 12D is a diagram schematically showing still another configuration example of the imaging device.
  • FIG. 13A is a diagram schematically showing an example of a filter array.
  • FIG. 13B is a diagram illustrating an example of the spatial distribution of light transmittance of each of a plurality of wavelength bands included in the target wavelength range.
  • FIG. 13C is a diagram showing an example of the spectral transmittance of area A1 included in the filter array shown in FIG. 13A.
  • FIG. 13D is a diagram showing an example of the spectral transmittance of area A2 included in the filter array shown in FIG. 13A.
  • FIG. 13A is a diagram schematically showing still another configuration example of the imaging device.
  • FIG. 13A is a diagram schematically showing an example of a filter array.
  • FIG. 13B is a diagram illustrating an example of the spatial distribution of light transmittance of each of a plurality of wavelength bands included
  • FIG. 14A is a diagram for explaining an example of the relationship between a target wavelength range and a plurality of wavelength bands included therein.
  • FIG. 14B is a diagram for explaining another example of the relationship between a target wavelength range and a plurality of wavelength bands included therein.
  • FIG. 15A is a diagram for explaining the characteristics of spectral transmittance in a certain area of the filter array.
  • FIG. 15B is a diagram showing the results of averaging the spectral transmittance shown in FIG. 13A for each wavelength band.
  • all or part of a circuit, unit, device, member, or part, or all or part of a functional block in a block diagram may be, for example, a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (large scale integration). ) may be implemented by one or more electronic circuits.
  • An LSI or IC may be integrated into one chip, or may be configured by combining a plurality of chips.
  • functional blocks other than the memory element may be integrated into one chip.
  • it is called LSI or IC, but the name changes depending on the degree of integration, and it may also be called system LSI, VLSI (very large scale integration), or ULSI (ultra large scale integration).
  • FPGAs Field Programmable Gate Arrays
  • RLDs Reconfigurable Logic Devices
  • circuit, unit, device, member, or section can be executed by software processing.
  • the software is recorded on one or more non-transitory storage media such as ROM, optical disk, hard disk drive, etc., and when the software is executed by a processor, the functions specified in the software are executed. Executed by processing units and peripheral devices.
  • a system or apparatus may include one or more non-transitory storage media on which software is recorded, a processing unit, and necessary hardware devices, such as interfaces.
  • a collection of data or signals representing an image that is, data or signals representing the respective pixel values of a plurality of pixels in the image, may be simply referred to as an "image.”
  • One method of adjusting the brightness at the position of the subject is to adjust control parameters such as current or voltage for driving the light source.
  • control parameters such as current or voltage for driving the light source.
  • a method may be considered in which the direction of the light source is changed to adjust the brightness at the position of the subject.
  • the above operation can be performed by, for example, photographing a calibration object such as a white board and obtaining information on its brightness distribution and spectrum.
  • the illumination condition may be a condition regarding the amount of light emitted to a subject to be inspected or analyzed or to a calibration subject such as a white board.
  • the lighting conditions include, for example, the distance between the light source and the subject, the duty ratio of the current, voltage, or PWM (Pulse Width Modulation) signal used to drive the light source, or the ND (Neutral Neutral Control) placed between the light source and the subject.
  • Density can be defined by parameters such as filter attenuation rate.
  • the present inventors have discovered that there is a parameter range in which the spectral shape of light at the position of the subject does not change significantly and can be treated as approximately constant. For example, if the distance between the light source and the subject is changed without changing the direction of the light source, there is a range of distances where the spectral shape of the light at the subject position does not change significantly and can be treated as approximately constant.
  • the range of parameters such as distance in advance and adjusting the parameters within that range, it is possible to adjust the brightness without having to retake a photo of a calibration subject such as a white board.
  • spectral shape means the shape of a spectrum (i.e., wavelength distribution of light intensity) in which the intensity of each wavelength band is normalized by the intensity of a certain reference wavelength band.
  • intensity of each wavelength band in an unstandardized spectrum is sometimes called “spectral intensity.” It is interpreted that the spectral shapes are the same between a certain spectrum and a spectrum in which the intensity of each wavelength band in the spectrum is uniformly multiplied by a constant.
  • FIG. 1 is a block diagram showing a schematic configuration of an imaging system according to one aspect of the present disclosure.
  • the imaging system includes a light source 50, an imaging device 100, and a processing device 200.
  • the imaging device 100 photographs a subject illuminated with light from the light source 50 and generates image data.
  • the image data includes image information of each of four or more bands, or information of a compressed image obtained by compressing the image information of each of four or more bands into one image.
  • the processing device 200 determines whether the pixel values of a plurality of pixels in the image data satisfy a predetermined condition. If the predetermined condition is not met, the processing device 200 changes the illumination conditions by the light source 50 under the condition that the spectral shape of the light from the light source 50 at the position of the subject does not change.
  • FIG. 2 is a flowchart illustrating an example of a processing method executed by the processing device 200.
  • the processing device 200 acquires image data generated by the imaging device 100.
  • the image data is data that includes image information of each of four or more bands, or data that includes information of a compressed image obtained by compressing the image information of four or more bands into one image.
  • Each of the four or more bands may be, for example, a relatively narrow wavelength range included in a preset target wavelength range.
  • the target wavelength range W can be set to various ranges depending on the application.
  • the target wavelength range W may be, for example, a visible light wavelength range from about 400 nm to about 700 nm, a near-infrared wavelength range from about 700 nm to about 2500 nm, or another wavelength range. It's okay.
  • Each band may be a wavelength range with a predetermined width, such as 5 nm, 10 nm, 20 nm, or 50 nm.
  • the widths of the four or more bands may be the same or different.
  • image data including image information of four or more bands may be referred to as a "hyperspectral image.”
  • a hyperspectral image may include image information of 10 or more bands, 30 or more bands, or 50 or more bands, for example.
  • Image data including compressed image information can be generated by imaging using an optical element called an encoding element described in Patent Document 2, for example. The entire disclosure content of Patent Document 2 is incorporated herein by reference.
  • image data including compressed image information may be simply referred to as a "compressed image.”
  • a compressed image is a monochrome image in which image information of four or more bands is compressed. As will be described later, the image of each band can be restored by a restoration calculation based on the compressed image and data indicating the spatial distribution of spectral transmittance of the encoding element.
  • step S12 the processing device 200 determines whether the pixel values of a plurality of pixels in the acquired image data satisfy a predetermined condition. If the predetermined condition is not met, the process advances to step S13. If the predetermined conditions are met, the process advances to step S14. Specific examples of the conditions will be described later.
  • the processing device 200 changes the illumination conditions by the light source 50 under the condition that the spectral shape of the light at the position of the subject does not change.
  • the processing device 200 can change the illumination condition by changing the parameters that define the illumination condition within a specified range in which the spectral shape at the position of the subject does not change.
  • the parameters include, for example, the distance between the light source 50 and the subject, the current, voltage, or duty ratio of the PWM signal for driving the light source 50, or the attenuation rate of an ND filter placed between the light source 50 and the subject. It can be a parameter to be determined. Thereby, the brightness at the position of the subject can be changed while maintaining the spectral shape.
  • step S13 After step S13, return to step S12.
  • the processing device 200 changes the lighting conditions until a predetermined condition is satisfied in step S12. If the predetermined condition is satisfied, the process proceeds to step S14, and the processing device 200 determines the illumination condition as the current condition.
  • the spectral shape does not change does not mean that the spectral shape does not change at all, but means that the change in the spectral shape is within an allowable range depending on the purpose or use. Changes in the spectral shape can be evaluated based on the angle or inner product between vectors, assuming that the spectrum is a vector with dimensions of the number of bands N (N is an integer of 4 or more). For example, if the angle between two N-dimensional vectors representing two spectra is less than a reference value, it can be said that the shapes of both spectra are the same.
  • the reference value may be a relatively small value, such as 1°, 3°, 5°, or 10°. Details of the method for evaluating the magnitude of change in spectral shape based on the angle between vectors will be described later.
  • the imaging system may further include an adjustment device that adjusts the distance between the light source 50 and the subject. If the predetermined condition is not satisfied, the processing device 200 may change the illumination condition by causing the adjustment device to change the distance between the light source 50 and the subject within a specified range. In that case, the processing device 200 determines the distance between the light source 50 and the subject as a parameter that defines the illumination condition.
  • the "specified range” is a parameter range in which the spectral shape of the light from the light source 50 can be considered to be approximately constant at the position of the subject.
  • the prescribed range may be determined in advance by photographing using a calibration object such as a white board, for example.
  • the prescribed range may be stored in advance in a storage device inside or outside the processing device 200.
  • the processing device 200 may be configured to vary the lighting conditions by varying the parameter within the defined range based on the defined range stored in the storage device. For example, when changing the illumination condition by changing the distance between the light source 50 and the subject, the processing device 200 controls the adjustment device to change the distance within a specified range.
  • the brightness can be adjusted while maintaining the spectral shape of the illumination light at the position of the subject. Therefore, it is possible to omit the work of reacquiring spectrum information of a calibration object such as a white board, which was conventionally necessary after adjusting the brightness. This makes it possible to more efficiently acquire spectrum information of the subject.
  • the "predetermined condition” is, for example, that the pixel value of each of a plurality of pixels in the image data (hereinafter also simply referred to as "image") generated by the imaging device 100 is within a predetermined range.
  • This may include conditions such as: That is, determining whether the pixel values of the plurality of pixels satisfy a predetermined condition may include determining whether the pixel value of each of the plurality of pixels is within a predetermined range.
  • the predetermined range is, for example, a range in which pixel saturation of the image sensor included in the imaging device 100 does not occur (i.e., not too bright) and a good S/N ratio can be obtained (i.e., not too dark), and is set in advance. can be done.
  • the pixel values of each of the plurality of pixels are within a predetermined range does not necessarily mean that the pixel values of all pixels in the image data are within the predetermined range. That is, "a plurality of pixels” does not necessarily mean all pixels in the image data, but may mean some pixels. For example, a condition may be set that the pixel values of a preset percentage (80%, 60%, 40%, etc.) of pixels are within a predetermined range.
  • the “predetermined condition” is a condition in which a contrast value calculated from the pixel values of a plurality of pixels in image data generated by the imaging device 100 exceeds a threshold value, in place of or in addition to the above condition. May contain. That is, determining whether the pixel values of the plurality of pixels satisfy the above condition includes determining whether the contrast value calculated from the pixel values of the plurality of pixels exceeds the threshold value. Good too.
  • the contrast value is, for example, an index value representing the degree of spread of pixel values in a histogram of an image (that is, a graph representing the relationship between pixel values and the frequency of pixel values).
  • the contrast value can be quantitatively determined using, for example, the half-width in the histogram of the image, the difference between the maximum pixel value and the minimum pixel value, the variance, or the standard deviation.
  • the contrast of a plurality of pixels included in a compressed image reflects randomness in encoding for each wavelength band during imaging. Therefore, by increasing the contrast, it is possible to improve the encoding performance, and it is possible to improve the convergence of the solution in the restoration calculation, which will be described later. Therefore, when determining whether or not a predetermined condition is satisfied for image data including compressed image information, images of each band are restored from the compressed image by imposing a condition that the contrast value exceeds a threshold value. Restoration errors in processing can be reduced.
  • the processing device 200 repeats the operation of changing the parameter defining the illumination condition within the specified range until the predetermined condition is satisfied. It may be configured as follows. According to such a configuration, parameters such as the distance between the light source 50 and the subject can be automatically adjusted so that the subject is illuminated with appropriate brightness. For example, if a predetermined condition is not met, the processing device 200 is configured to cause the adjustment device to repeat an operation of changing the distance between the light source 50 and the subject within a predetermined range until the predetermined condition is met. may have been done.
  • the adjustment device may be configured to change the distance between the light source 50 and the subject without changing the direction of the light source 50.
  • the adjustment device may include an actuator such as a linear actuator that translates the light source 50 away from or closer to the subject.
  • the distance between the light source 50 and the subject can be adjusted while the direction of the light source 50 is fixed. This makes it easy to adjust the brightness while maintaining the spectral shape of the light illuminating the subject.
  • the processing device 200 may adjust the brightness at the subject position by changing the control parameters for driving the light source 50. That is, if the predetermined condition is not satisfied in step 12, the processing device 200 changes the illumination condition by changing the control parameter for driving the light source 50 within a predetermined range. It may be configured as follows.
  • the control parameters for driving the light source 50 differ depending on the configuration of the light source 50. If the light source 50 is, for example, a light emitting diode (LED), the control parameter may be the current, voltage, or duty ratio of the PWM signal to drive the LED.
  • the imaging system may further include a mechanism for inserting one ND filter selected from a plurality of ND filters between the light source 50 and the subject. If the predetermined condition is not met, the processing device 200 may change the illumination condition by causing the mechanism to change the ND filter inserted between the light source 50 and the subject.
  • One ND filter to be used is selected from a plurality of ND filters having different light attenuation rates or transmittances. According to such a configuration, the brightness can be changed by replacing the ND filter without changing the spectral shape at the position of the subject.
  • the imaging device 100 may be configured to generate image data that includes image information for each of four or more bands.
  • the imaging device 100 may be configured to spatially separate light for each wavelength using a spectroscopic element such as a prism or a grating to obtain images of each band.
  • the imaging device 100 may include a plurality of optical filters, each having a transmission wavelength range corresponding to one of a plurality of bands, in front of the image sensor.
  • Such an imaging device 100 may be configured to generate images of each band based on intensity information of light transmitted through each optical filter.
  • the imaging device 100 may include four or more image sensors each corresponding to four or more bands. In that case, each image sensor generates an image of a corresponding band.
  • the imaging device 100 may be a hyperspectral camera that generates image data including image information for each of 10 or more or 100 or more bands, for example.
  • the imaging device 100 may be configured to generate image data that includes compressed image information in which image information of four or more bands is compressed into one image.
  • Such an imaging device 100 may have a configuration similar to that of the imaging device 100 disclosed in Patent Document 2, for example.
  • the imaging device 100 includes an optical element that changes the spatial distribution of the intensity of light from a subject for each wavelength, and an image sensor that receives the light that has passed through the optical element and generates image data that includes compressed image information.
  • the optical element may be, for example, a filter array including a plurality of optical filters arranged in a two-dimensional plane.
  • the spectral transmittances of the plurality of optical filters in the filter array are different from each other, and the spectral transmittance of each of the plurality of optical filters can be designed to exhibit a plurality of maximum values. According to such a configuration, it is possible to generate a compressed image in which the image information of each of the four or more bands can be restored by a restoration process based on compressed sensing.
  • the processing device 200 is configured to execute processing for generating images of each of the four or more bands based on the compressed image. can be done.
  • the processing device 200 includes a compressed image, data indicating the spatial distribution of spectral transmittance of an optical element such as a filter array, and a spectrum of illumination light obtained by photographing a calibration object (for example, a white board) in advance. and spectral data indicating the spatial distribution of the four or more bands.
  • the processing device 200 may generate other image data including image information of each of four or more bands based on the image data including information of the compressed image output from the image sensor. Further, the processing device 200 executes processing for generating images of each of the four or more bands based on the compressed image when the predetermined condition is satisfied, and The configuration may be such that the process is not executed if the process is not executed. According to such a configuration, an image of each band is generated when the pixel values of the compressed image satisfy favorable conditions. Therefore, images of each of four or more bands can be generated with high quality.
  • the process of generating images of each of four or more bands based on the compressed image is not limited to the processing device 200, and may be executed by the processor of the imaging device 100.
  • the imaging device 100 uses an optical element such as the filter array described above, an image sensor that receives light that has passed through the optical element, and images of each of four or more bands based on signals output from the image sensor. and a processor that generates image data including information.
  • the processor first generates a compressed image based on the signal output from the image sensor.
  • the processor performs processing based on the compressed image and data reflecting the spatial distribution of the spectral transmittance of the optical element and the spatial distribution of the spectrum of the light from the light source 50, thereby converting the four or more bands. may be configured to generate images of each of the.
  • the predetermined condition is such that each pixel value of a plurality of pixels in each image of the four or more bands is It may also include a condition that it is within a predetermined range. Instead of or in addition to this condition, the predetermined condition includes a condition that a contrast value calculated from a plurality of pixel values in each image of the four or more bands exceeds a threshold value. Good too.
  • the imaging system may further include a storage device that stores data indicating a defined range of the parameter that defines the illumination condition.
  • the specified range represents a parameter range in which the spectral shape at the position of the subject does not change.
  • the processing device 200 may be configured to change the illumination condition by changing the parameter within a specified range based on data indicating the specified range.
  • the processing device 200 may be configured to cause the adjustment device to change the distance between the light source 50 and the subject within a specified range based on data indicating the specified range of the distance between the light source 50 and the subject.
  • the imaging system may further include a stage having a support surface that supports the subject.
  • the adjustment device may include a linear actuator that changes the distance between the light source 50 and the subject by moving the light source 50 in a direction perpendicular to the support surface of the stage.
  • the processing device 200 calculates the parameters based on the relationship between the calibration image data generated by the imaging device 100 photographing the calibration subject illuminated by light from the light source 50 and the parameters that define the illumination conditions. A prescribed range may be determined.
  • the processing device 200 causes the adjustment device to generate calibration image data in the imaging device 100 while changing parameters that define illumination conditions, and changes the spectral shape of the calibration subject specified based on the calibration image data.
  • a range of parameters whose amount is smaller than a predetermined amount may be determined as the specified range.
  • the processing device 200 may perform the following operations before photographing the subject. - Acquire calibration image data generated by the imaging device 100 photographing a calibration subject illuminated by light from the light source 50. - Determine whether the pixel values of a plurality of pixels in the calibration image data satisfy the above-mentioned predetermined conditions. - If a predetermined condition is satisfied, spectrum data of the subject for calibration is generated based on the image data for calibration, and is stored in the storage device. - If the predetermined conditions are not met, the parameters that define the illumination conditions are changed within the specified range.
  • spectrum data of a calibration object (for example, a white board) can be acquired under good lighting conditions.
  • the spectral data of the calibration object is used in the process of generating images of each of four or more bands based on the compressed image.
  • the processing device 200 instructs the user to change the illumination condition instead of changing the illumination condition by the light source 50.
  • a warning prompting the user may be output on a display device or an audio output device.
  • a warning may be displayed on a display device or an audio output device to prompt you to change the distance between the light source 50 and the subject or the brightness of the light source 50, or to replace the ND filter inserted between the light source 50 and the subject. You may also output it.
  • Such functionality could prompt the user to manually change the lighting conditions.
  • a processing method is executed by one or more processors that execute a plurality of instructions recorded in one or more memories.
  • the method includes an imaging apparatus 100 that generates image data by photographing a subject illuminated with light from a light source 50, wherein the image data includes image information of each of four or more bands, or image information of each of the four or more bands.
  • the image data including the information of the compressed image obtained by compressing the image information of the above bands as one image is acquired from the imaging device 100, and the pixel values of the plurality of pixels in the image data satisfy a predetermined condition. and if the condition is not met, changing the illumination conditions by the light source 50 under conditions where the spectral shape of the light from the light source 50 at the position of the subject does not change. and, including.
  • FIG. 3 is a diagram schematically illustrating an example configuration of an imaging system 1000 according to an exemplary embodiment of the present disclosure.
  • the imaging system 1000 includes an imaging device 100, an illumination device 120, an adjustment device 130, a processing device 200, a stage 190, and a support 150.
  • Stage 190 has a flat support surface (an upper surface in this example), on which object 270 is placed.
  • the support body 150 has a structure that is fixed to the stage 190 and extends in a direction perpendicular to the support surface of the stage 190.
  • the support body 150 supports the imaging device 100, the illumination device 120, and the adjustment device 130.
  • the imaging device 100 includes an image sensor 160.
  • the lighting device 120 includes two light sources 122.
  • Adjustment device 130 includes a mechanism for adjusting the distance between light source 122 and subject 270.
  • Processing device 200 is a computer that includes one or more processors and one or more memories. The processing device 200 controls the adjustment device 130 based on image data output from the imaging device 100.
  • the adjustment device 130 in the example of FIG. 3 has a mechanism that moves each of the illumination device 120 and the imaging device 100 in a direction perpendicular to the support surface of the stage 190 (hereinafter sometimes referred to as the “height direction”). Be prepared. Adjustment device 130 may include an actuator (eg, a linear actuator) that includes one or more motors. The actuator may be configured to change the distance between the light source 122 and the subject 270 using, for example, an electric motor, hydraulic pressure, or pneumatic pressure. In the example shown in FIG. 3, the adjustment device 130 can change the position of not only the illumination device 120 but also the imaging device 100. The adjustment device 130 does not need to include a mechanism for changing the position of the imaging device 100. The adjustment device 130 also includes a measuring device that measures the distance between the stage 190 and the light source 122.
  • an actuator eg, a linear actuator
  • the actuator may be configured to change the distance between the light source 122 and the subject 270 using, for example, an electric motor, hydraulic pressure, or pneumatic pressure.
  • the support body 150 in the example of FIG. 3 is provided with a scale indicating the height from the support surface of the stage 190. Based on the scale, the positions of the imaging device 100 and the light source 122 in the height direction can be known.
  • the imaging device 100 may be, for example, a camera that generates image data including information on images of each of four or more bands.
  • the imaging device 100 may be configured to generate a hyperspectral image that includes image information for each of ten or more bands, for example.
  • the imaging device 100 may be a camera that generates image data that includes compressed image information in which image information of each of four or more bands is compressed into one image, as disclosed in Patent Document 2. There may be.
  • Image data of each of four or more bands can be restored from compressed image data by the restoration process based on compressed sensing. A specific example of the restoration process based on compressed sensing will be described later.
  • the imaging device 100 photographs a subject 270 illuminated with light from the light source 122, and compresses image information of each of four or more bands, or compresses image information of four or more bands into one image. Generate image data that includes image information.
  • the imaging device 100 may acquire still images or moving images. A specific example of the configuration of the imaging device 100 will be described later.
  • the illumination device 120 is a device that includes at least one light source 122 and illuminates the subject 270 on the stage 190.
  • the light emitted from the light source 122 can be, for example, visible light, infrared light, or ultraviolet light.
  • "light” refers to electromagnetic waves that include not only visible light but also infrared and ultraviolet light.
  • two light sources 122 are arranged on both sides of the imaging device 100, but the number and arrangement of the light sources 122 are not limited to this example and can be changed as appropriate.
  • the processing device 200 has a function as a controller that controls the light source 122, the imaging device 100, and the adjustment device 130.
  • the processing device 200 instructs the light source 122 to turn on, and instructs the imaging device 100 to take a picture.
  • the processing device 200 further causes the adjustment device 130 to adjust the distance between the light source 122 and the subject 270 based on the image data of the subject 270 output from the imaging device 100. Specifically, the processing device 200 first determines whether the pixel values of a plurality of pixels in the image data satisfy a predetermined condition. If the condition is not met, the processing device 200 causes the adjustment device 130 to change the distance between the light source 122 and the subject 270 within a specified range.
  • the processing device 200 repeats the operation of causing the adjustment device 130 to change the distance between the light source 122 and the subject 270 by a certain distance within a specified range until the condition is met. In this manner, in this embodiment, the processing device 200 changes the illumination conditions by the light source 122 by changing the distance between the light source 122 and the subject 270.
  • the specified range is determined based on calibration image data obtained by the imaging device 100 photographing a calibration subject such as a white board.
  • the processing device 200 determines the specified range based on the relationship between the calibration image data and the distance between the light source 122 and the calibration subject. Specifically, the processing device 200 causes the adjustment device 130 to cause the imaging device 100 to generate calibration image data while changing the distance between the light source 122 and the calibration subject. For example, the processing device 200 determines, as the prescribed range, a range of distances in which the spectral shape of the calibration subject identified based on the calibration image data can be considered constant.
  • the processing device 200 may determine, as the specified range, a distance range in which the spectral shape of the calibration subject can be considered constant and the luminance falls within a predetermined range.
  • the processing device 200 stores the determined specified range in a storage device such as a memory within the processing device 200, for example.
  • FIG. 4A is a flowchart illustrating an example of a method for generating a hyperspectral image using the imaging system 1000 in this embodiment.
  • the imaging device 100 generates a compressed image in which image information of a plurality of bands (for example, 10 to 100 or more) constituting a hyperspectral image is compressed into one image.
  • the imaging device 100 generates a compressed image by photographing through a filter array including a plurality of optical filters.
  • Each of the plurality of optical filters has an individual spectral transmittance, and the spectral transmittance of each filter has a maximum value at a plurality of wavelengths.
  • Spectral transmittance indicates the wavelength dependence of transmittance and is also referred to as transmission spectrum.
  • the processing device 200 restores a hyperspectral image based on the generated compressed image, data on the spectral transmittance of each filter in the filter array, and data on the spectrum of light from the light source 122 at the position of the subject.
  • data on the spectrum of light from the light source 122 at the position of the subject is obtained by photographing a white board, which is a calibration subject.
  • the method shown in FIG. 4A includes step S100 of acquiring spectral data of a white board, which is a subject for calibration, and step S200 of generating a hyperspectral image of the subject using the spectral data of the white board.
  • Step S100 includes steps S101 to S107.
  • Step S200 includes steps S201 to S206.
  • step S101 the imaging device 100 and the light source 122 are placed at an initial position a predetermined distance away from the white board placed on the stage 190.
  • the arrangement of the imaging device 100 and the light source 122 to the initial position may be performed by the adjustment device 130 under the control of the processing device 200. Alternatively, the user may manually place the imaging device 100 and the light source 122 at the initial position.
  • step S102 the imaging parameters of the imaging device 100 are determined. Specifically, parameters such as exposure time and gain that affect the brightness of the acquired image are determined. These parameters may be set, for example, according to input from the user, or may be automatically set to appropriate values.
  • step S103 the imaging device 100 photographs the white board placed on the stage 190 to obtain a compressed image. Photographing may be performed, for example, according to a user's operation or an instruction from the processing device 200.
  • step S104 the processing device 200 determines whether the pixel value of each of the plurality of pixels included in the obtained compressed image is within a predetermined range.
  • the predetermined range is a range in which a good hyperspectral image can be restored based on the compressed image, and is recorded in advance in a storage device such as a memory of the processing device 200.
  • the upper limit of the predetermined range may be determined, for example, based on the upper limit of the amount of light received by the photodetecting element of the image sensor. When the upper limit is exceeded, the pixel value becomes a constant value, and a difference in pixel values that exceeds the upper limit cannot be detected. In that case, it becomes difficult to obtain a correct restored image for the portion with pixel values above the upper limit.
  • the lower limit of the predetermined range is the lower limit of pixel values at which a restored image with small errors can be obtained by the restoration calculation.
  • the lower the pixel value is, the greater the influence of noise becomes, making it difficult to obtain an accurate restored image through restoration calculations.
  • the upper limit of the predetermined range may be set, for example, to a value close to 100% of the maximum pixel value, and the lower limit may be set, for example, to a value from 20% to 50% or more of the maximum pixel value.
  • the processing device 200 may determine whether the pixel values of all pixels included in the compressed image are within a predetermined range. Alternatively, the processing device 200 determines whether the pixel values of a predetermined percentage (for example, 80%, 70%, or 60%) of the pixels included in the compressed image are within a predetermined range. You may. Such a determination makes it possible to avoid a situation where the processing does not proceed further when the pixel values of a small number of pixels in the compressed image are outside a predetermined range.
  • a predetermined percentage for example, 80%, 70%, or 60%
  • step S104 determines whether the determination in step S104 is No. If the determination in step S104 is Yes, the process advances to step S106.
  • step S105 the processing device 200 causes the adjustment device 130 to change the distance between the light source 122 and the white board within a specified range without changing the direction (that is, the angle) of the light source 122.
  • the processing device 200 causes the adjustment device 130 to change the position of the light source 122 in the height direction upward or downward by a preset unit length.
  • the process returns to step S103, and the compressed image of the white board is again acquired by the imaging device 100.
  • the operations from steps S103 to S105 are repeated until it is determined Yes in step S104.
  • the processing device 200 may return the light source 122 to the initial position and perform the same operation while moving the light source 122 by unit length in the opposite direction. If the determination in step S104 is not YES at any position within the specified range, the processing device 200 may stop the operation of the adjustment device 130 and output a warning to an external device such as a display.
  • the processing device 200 changes the height of the light source 122 within a specified range, but if the determination in step S104 does not become Yes even if the height of the light source 122 reaches the upper or lower limit of the specified range, the height of the light source 122 is changed beyond the specified range.
  • the light source 122 may be moved. If the determination in step S104 is Yes at a position where the light source 122 is outside the specified range, the processing device 200 may output a warning including information indicating the position.
  • step S104 If it is determined in step S104 that the pixel value of each of the plurality of pixels included in the compressed image of the white board is within a predetermined range, the process proceeds to step S106.
  • step S106 the processing device 200 restores the hyperspectral image from the compressed image of the white board. Details of the restoration process will be described later.
  • This provides spectrum data of the white board.
  • the spectrum data of the white board may be data indicating the reflected light intensity of each pixel in each image of a plurality of bands.
  • the processing device 200 stores the spectrum data of the white board in the storage device.
  • the storage device may be any storage device, such as a memory within the processing device 200 or a storage external to the processing device 200.
  • spectrum data of the white board can be acquired.
  • the spectral data of the white board is used to remove the influence of background light in the subsequent operation of acquiring a hyperspectral image of the subject. Note that although a white board is used as the calibration subject in this embodiment, a calibration subject other than the white board may be used.
  • the distance between the light source 122 and the subject is adjusted within a specified range that is narrower than the movable range of the light source 122 by the adjustment device 130.
  • a range in which the spectral shape of light at the position of the subject does not change significantly is determined in advance. Changes in the spectral shape can be evaluated based on the angle or inner product between vectors, assuming that the spectrum is a vector with dimensions equal to the number of wavelength band divisions N. For example, if the angle between two N-dimensional vectors representing spectra is less than a threshold value, the shapes of the spectra can be treated as being the same. A specific example of the method for determining the specified range will be described later.
  • the spectral data stored in step S107 can be used in common without being changed. That is, when changing the distance between the light source and the subject within a specified range, there is no need to acquire spectrum data of the white board again. In contrast, in the conventional method, when the distance between the light source and the subject is changed, it is necessary to acquire spectrum data of the white board again.
  • the work of reacquiring spectrum data of the white board (or other calibration object) is omitted. can. Thereby, it is possible to more efficiently acquire a hyperspectral image of the subject.
  • step S200 the operation of acquiring a hyperspectral (HS) image of a subject in step S200 will be described.
  • HS hyperspectral
  • an operation can be performed to acquire a hyperspectral image of the object to be inspected.
  • the brightness of the subject is adjusted. This is because objects have unique colors and reflection spectra vary depending on the object, so even if the brightness is appropriate for a white board, it may be too dark for the object.
  • step S201 a subject to be inspected is placed on the stage 190. If a white board is placed on the stage 190, the subject is placed after removing the white board.
  • step S202 the imaging device 100 photographs the subject and obtains a compressed image. Photographing may be performed, for example, according to a user's operation or an instruction from the processing device 200.
  • step S203 the processing device 200 determines whether the pixel values of a plurality of pixels included in the obtained compressed image are within a predetermined range.
  • the predetermined range is set in advance as a range in which a good hyperspectral image can be restored based on the compressed image.
  • the processing device 200 determines that the pixel values of not all pixels included in the compressed image but a predetermined percentage (for example, 80%, 70%, or 60%) of the pixels are within a predetermined range. It may also be determined whether the pixel values of a plurality of pixels included in the obtained compressed image are within a predetermined range.
  • a predetermined percentage for example, 80%, 70%, or 60%
  • step S203 determines whether the determination in step S203 is No. If the determination in step S203 is Yes, the brightness adjustment is finished and the process proceeds to step S205.
  • step S204 the processing device 200 causes the adjustment device 130 to change the distance between the light source 122 and the subject within a specified range.
  • This operation is similar to the operation in step S105.
  • the processing device 200 causes the adjustment device 130 to change the position of the light source 122 in the height direction upward or downward by a preset unit length.
  • the process returns to step S202, and the compressed image of the subject is again acquired by the imaging device 100.
  • the operations from steps S202 to S204 are repeated until it is determined Yes in step S203. Note that as a result of the light source 122 moving upward or downward by a unit length from the initial position, the upper or lower limit of the specified range may be reached.
  • the processing device 200 may return the light source 122 to the initial position and perform the same operation while moving the light source 122 by unit length in the opposite direction. If the determination in step S203 is not YES at any position within the specified range, the processing device 200 may stop the operation of the adjustment device 130 and output a warning to an external device such as a display.
  • the warning may include a message recommending starting over from the operation of acquiring spectrum data of the white board in step S100.
  • step S203 determines whether the determination in step S203 is Yes within the specified range. If the determination in step S203 is not Yes within the specified range, the processing device 200 changes the control parameters such as the current or voltage for driving the light source 122 within a range in which the spectral shape does not change. Adjustments may be made so that the determination in step S203 is Yes.
  • step S203 If it is determined in step S203 that the pixel value of the pixel included in the compressed image of the subject is within a predetermined range, the process advances to step S205.
  • step S205 the processing device 200 restores a hyperspectral image from the compressed image of the subject. This process is similar to the process in step S106, and details of the restoration process will be described later.
  • step S206 the processing device 200 reads the white board spectral data stored in step S107 from the storage device, and calculates the value of each pixel of each band in the hyperspectral image restored in step S205 by comparing the values of each pixel in each band with the corresponding values in the white board spectral data. Divide by the value. As a result, a hyperspectral image in which the influence of the luminance distribution of light from the light source 122 is removed is obtained. Processing device 200 stores this hyperspectral image in a storage device. The processing device 200 may display this hyperspectral image on a display.
  • a hyperspectral image of the subject can be efficiently acquired.
  • the conventional method it was necessary to obtain spectrum data of the white board each time the power of the light emitted from the light source 122 or the direction or position of the light source 122 was changed in order to adjust the brightness at the position of the subject.
  • Such work is extremely troublesome, and improvements have been required.
  • the thickness of the subject and the white board are generally different, so in order to make the distance from the light source the same, it is necessary to make adjustments to cancel the difference in thickness each time the subject and the white board are changed.
  • step S203 if the determination is No in step S203, the distance between the light source and the subject is changed within a specified range in which the spectral shape does not change, so the task is to acquire the spectral data of the white board anew. can be omitted. Therefore, compared to conventional methods, it is possible to efficiently acquire a hyperspectral image of a subject.
  • step S206 it is possible to continue acquiring the hyperspectral image of the subject without acquiring the spectrum data of the white board again. For example, it is also possible to generate a hyperspectral moving image by continuously capturing images.
  • a hyperspectral image of the subject is generated by performing the operations included in step S200 after acquiring spectrum data of the white board through the operations included in step S100.
  • a hyperspectral image of the subject may be generated by first performing the operations in step S200 except for step S206, and then spectrum data of the white board may be acquired by the operations included in step S100.
  • the final hyperspectral image may then be generated by dividing each pixel value of each band image in the hyperspectral image by the corresponding value in the spectral data of the white board. Even in that case, the distance between the light source and the subject and the distance between the light source and the white board are changed within a specified range in which the spectral shape at the subject position does not change.
  • FIG. 4B is a flowchart showing a modification of the method shown in FIG. 4A. In the example shown in FIG. 4B, whether the light amount is appropriate is evaluated based on the hyperspectral image rather than the compressed image.
  • the method shown in FIG. 4B includes step S150 of acquiring spectral data of the white board, and step S250 of acquiring a hyperspectral image of the subject.
  • step S150 and step S100 in FIG. 4A is that step S106 is performed after step S103, and step S154 is performed after step S106 instead of step S104.
  • step S250 and step S200 in FIG. 4A is that step S205 is performed after step S202, and step S253 is performed after step S205 instead of step S203.
  • steps S101 to S103 in the example of FIG. 4B are the same as the example of FIG. 4A.
  • step S103 the process proceeds to step S106, and the processing device 200 restores a hyperspectral image from the compressed image of the white board.
  • the restoration method is the same as the example shown in FIG. 4A, and details will be described later.
  • the processing device 200 determines whether the pixel value of each of the plurality of pixels included in the hyperspectral image of the white board is within a predetermined range.
  • This processing may be performed for each image of a plurality of bands that make up the hyperspectral image. That is, when a hyperspectral image includes a first image corresponding to the first band and a second image corresponding to the second band, the pixel value of each of the plurality of pixels included in the first image is set to a predetermined value. It can be determined whether the pixel value is within the range, and whether the pixel value of each of the plurality of pixels included in the second image is within the predetermined range.
  • the predetermined range may be different for each band, that is, each wavelength range.
  • the processing device 200 may determine whether the pixel values of all pixels in the image of each band included in the hyperspectral image of the white board are within a predetermined range. Alternatively, the processing device 200 may cause the pixel values of a predetermined percentage (for example, 80%, 70%, or 60%, etc.) of the pixels in each band image included in the hyperspectral image to fall within a predetermined range. It may be determined whether or not there is one. Alternatively, it may be determined whether the pixel values of some or all of the pixels in the image of some bands instead of all the bands included in the hyperspectral image are within a predetermined range.
  • a predetermined percentage for example, 80%, 70%, or 60%, etc.
  • step S154 determines whether the determination in step S154 is No. If the determination in step S154 is No, the process proceeds to step S105, and the distance between the light source 122 and the white board is changed within the specified range. After that, the process returns to step S103, and the compressed image of the white board is acquired again. The operations in steps S103, S106, S154, and S105 are repeated until it is determined Yes in step S154.
  • step S154 If it is determined Yes in step S154, the process proceeds to step S107, and the processing device 200 stores the spectrum data of the white board in the storage device.
  • step S107 it becomes possible to acquire a hyperspectral image of the subject in step S250.
  • steps S201 and S202 are the same as the example in FIG. 4A.
  • the process proceeds to step S205, and the processing device 200 restores a hyperspectral image from the compressed image of the subject.
  • the processing device 200 determines whether the pixel value of each of the plurality of pixels included in the hyperspectral image of the subject is within a predetermined range. This processing may be performed for each image of a plurality of bands that make up the hyperspectral image. The predetermined range may be different for each band, that is, each wavelength range. This process is similar to the process in step S154. Similarly to step S154, the processing device 200 processes not all pixels in the image of each band included in the hyperspectral image, but a predetermined percentage (for example, 80%, 70%, or 60%) of the pixels. It may be determined whether the value is within a predetermined range. Alternatively, it may be determined whether the pixel values of some or all of the pixels in the image of some bands instead of all the bands included in the hyperspectral image are within a predetermined range.
  • a predetermined percentage for example, 80%, 70%, or 60%
  • step S253 If the determination in step S253 is No, the process proceeds to step S204, and the distance between the light source 122 and the subject is changed within the specified range. Thereafter, the process returns to step S202, and a compressed image of the subject is acquired again. The operations of steps S202, S205, S253, and S204 are repeated until it is determined Yes in step S253.
  • step S253 If it is determined Yes in step S253, the process proceeds to step S206, and the processing device 200 divides the value of each pixel in each band in the hyperspectral image of the subject by the corresponding value in the spectrum data of the white board. As a result, a hyperspectral image in which the influence of the luminance distribution of light from the light source 122 is removed is obtained.
  • step S150 and step S250 may be reversed. That is, a hyperspectral image of the subject may be generated by first performing the operations in step S250 except for step S206, and then spectral data of the white board may be acquired by the operations included in step S100. Then, the final hyperspectral image may be generated by dividing each pixel value of each band image in the hyperspectral image of the subject by the corresponding value in the spectral data of the white board.
  • step S106 in the example shown in FIG. 4A
  • step S154 shown in FIG.
  • the process may proceed to S107.
  • step S205 in the example shown in FIG. 4A
  • step S253 shown in FIG. 4B is performed, and if it is determined No in step S253, the process proceeds to step S204, and if it is determined Yes in step S253, the operation is performed in step S253 shown in FIG. 4B.
  • the process may proceed to step S206.
  • the processing device 200 may determine whether the amount of light or the brightness is appropriate based on at least one of the compressed image and the hyperspectral image. That is, the processing device 200 may determine whether the amount of light or brightness is appropriate based on the compressed image, the hyperspectral image, or the compressed image and the hyperspectral image.
  • step S203 or S253 it is determined whether the pixel value of each of the plurality of pixels included in the image of each band in the compressed image or hyperspectral image is within a predetermined range. In place of or in addition to this determination, a determination may be made based on the contrast of the image. For example, when the contrast value calculated from the pixel values of a plurality of pixels in the image of each band in the compressed image or the hyperspectral image exceeds a threshold value, the processing device 200 processes each of the images of each band in the hyperspectral image of the subject. A process of dividing the pixel value by a corresponding value in the spectrum data of the white board and outputting the result may be performed.
  • the contrast value is an index value that represents the degree of spread of pixel values in a histogram that represents the relationship between pixel values and the frequency of pixel values.
  • the contrast value can be quantitatively determined based on, for example, the half-width in the histogram of the image, the difference between the maximum pixel value and the minimum pixel value, the variance, or the standard deviation.
  • a contrast value may be calculated in step S203 in FIG. 4A or step S253 in FIG. 4B. If the contrast value does not exceed the threshold value, the process proceeds to step S204, and the distance between the light source 122 and the white board may be adjusted within a specified range.
  • the contrast for each wavelength band of the plurality of pixels included in the compressed image corresponds to randomness in encoding for each wavelength band. Therefore, by increasing the contrast, encoding performance can be improved and solution convergence can be improved. Therefore, when determining whether or not a predetermined condition is satisfied for image data including compressed image information, images of each band are restored from the compressed image by imposing a condition that the contrast value exceeds a threshold value. Restoration errors in processing can be reduced. This makes it possible to generate even better hyperspectral images.
  • the imaging device 100 generates a compressed image
  • the processing device 200 restores a hyperspectral image from the compressed image.
  • the imaging device 100 itself may be configured to generate a hyperspectral image. That is, the imaging device 100 may be a hyperspectral camera. In that case, the imaging device 100 is not limited to a camera that generates a hyperspectral image through processing based on compressed sensing using the filter array described above. Imaging device 100 may be a camera that generates hyperspectral images in other ways.
  • a hyperspectral image can be obtained, for example, by imaging using a spectroscopic element such as a prism or a grating.
  • a hyperspectral image can be obtained by separating light from an object into bands using a prism or grating and detecting the separated light band by band.
  • a hyperspectral image of the white board may be acquired by the imaging device 100 instead of the operations of steps S103 and S106 shown in FIG. 4B.
  • the imaging device 100 may acquire a hyperspectral image of the subject.
  • the prescribed range can be determined, for example, by searching for the upper and lower limits of a range in which the change in the spectral shape of the light from the light source 122 is sufficiently small.
  • the defined range is determined before the operation shown in FIG. 4A or 4B is performed.
  • FIG. 5 is a flowchart illustrating an example of a method for determining the specified range.
  • the imaging device 100 acquires a compressed image from which a hyperspectral image can be restored, as in the example of FIG. 4A.
  • Processing device 200 restores a hyperspectral image based on the compressed image.
  • the method shown in FIG. 5 includes operations from steps S301 to S316. The operation of each step will be explained below.
  • step S301 the imaging device 100 and the light source 122 are placed at a position a predetermined distance from the white board (hereinafter referred to as the "initial position"). This operation may be performed manually by the user, or may be performed by the adjustment device 130 based on a command from the processing device 200.
  • step S302 the processing device 200 causes the imaging device 100 to perform photographing and obtain a compressed image of the white board.
  • step S303 the processing device 200 restores the hyperspectral image from the compressed image acquired in step S302. This restoration process is similar to the process in step S106 shown in FIG. 4A.
  • step S304 the processing device 200 causes the adjustment device 130 to increase the position of the light source 122 in the height direction by a predetermined amount (for example, 0.5 mm, 1 cm, 2 cm, etc.). As a result, the distance between the light source 122 and the white board increases by a predetermined amount (also referred to as "unit length").
  • a predetermined amount for example, 0.5 mm, 1 cm, 2 cm, etc.
  • step S305 the processing device 200 causes the imaging device 100 to perform photography again and obtain a compressed image of the white board.
  • step S306 the processing device 200 restores the hyperspectral image from the compressed image acquired in step S305.
  • This restoration process is also similar to the process in step S106 shown in FIG. 4A.
  • step S307 the processing device 200 compares the hyperspectral image restored in step S303 and the hyperspectral image restored in step S306, and compares the state in which the light source 122 is at the initial position and the position after the change. It is determined whether there is a change in the spectral shape depending on the time.
  • Whether there is a change in the spectral shape can be determined using, for example, the Spectral Angle Mapper (SAM) method.
  • SAM Spectral Angle Mapper
  • An example of a method for determining the presence or absence of a change in spectral shape using the SAM method will be described below.
  • FIG. 6A is a diagram illustrating an example of the data structure of a hyperspectral image.
  • the hyperspectral image is expressed as a collection of N images 20W 1 , 20W 2 , . . . , 20W N.
  • Hyperspectral image data having such a structure is called a "hyperspectral data cube.”
  • N is the total number of wavelength bands included in the target wavelength range, and is an integer of 4 or more.
  • the k-th image 20W k corresponds to the k-th wavelength band ⁇ k .
  • the center wavelength ⁇ k of the k-th wavelength band is used as a reference symbol representing the k-th wavelength band.
  • the pixel value be pk ij .
  • the hyperspectral image can be expressed by the following N n ⁇ m matrices.
  • the hyperspectral image is not limited to a three-dimensional array data structure as shown in FIG. 6A, but also has a two-dimensional array data structure as shown in FIG. 6B, or a one-dimensional array data structure as shown in FIG. 6C. You can leave it there.
  • FIG. 6B information on images of N wavelength bands are arranged in the horizontal direction, and pixel values of n ⁇ m pixels in the images of each wavelength band are arranged in the vertical direction.
  • the pixel values of all pixels of images of all wavelength bands are arranged in one line. In this way, the data structure of the hyperspectral image is arbitrary.
  • a hyperspectral image can be thought of as an image having pixel values for each of the N wavelength bands for each pixel.
  • the pixel value of each pixel can be expressed as an N-dimensional vector.
  • the N-dimensional vector is a vector having pixel values of each of N bands as components.
  • the pixel value of the pixel in the i-th row and j-th column can be expressed by the following N-dimensional vector.
  • a change in the spectrum at a certain pixel can be evaluated based on the angle between the vector before the change and the vector after the change at the pixel.
  • the vectors before and after the change of the pixel in the i-th row and j-th column are the following vectors a ij and b ij , respectively.
  • p1k ij represents the pixel value before the change in the k-th band of the pixel in the i-th row and j-th column
  • p2k ij represents the pixel value after the change in the k-th band of the pixel in the i-th row and j-th column.
  • the angle formed by vector a ij and vector b ij is represented by ⁇ ij below.
  • the processing device 200 calculates the integrated value T or It may be determined that the spectrum shape has changed when the average value A is greater than or equal to a threshold value.
  • the integrated value T and the average value A are expressed by the following formulas.
  • the processing device 200 may determine that the spectral shape has changed when the absolute value of the spectral angle at one or more representative pixels in the hyperspectral image is greater than or equal to a threshold value.
  • the threshold may be set to a value such as 1°, 3°, or 5°.
  • the threshold value is set to an appropriate value depending on the purpose or use.
  • step S307 If it is determined in step S307 that there is no change in the spectrum shape, the process proceeds to step S308.
  • step S308 the processing device 200 stores the changed height position of the light source 122 in the storage device as being within the specified range. Thereafter, the process returns to step S304, and the processing device 200 causes the adjustment device 130 to increase the height position of the light source 122 by a predetermined amount again. Thereafter, the acquisition of the compressed image in step S305, the restoration of the hyperspectral image in step S306, and the determination in step S307 are performed again. The operations from steps S304 to S308 are repeated until it is determined in step S307 that there has been a change in the spectrum shape. If it is determined that there has been a change in the spectrum shape, the process advances to step S309.
  • step S309 the processing device 200 causes the storage device to store the position in the height direction of the light source 122 immediately before the position is changed in step S304 as the upper limit of the specified range.
  • step S309 the processing device 200 performs the same operation as above while moving the light source 122 downward from the initial position.
  • step S310 the processing device 200 causes the adjustment device 130 to move the light source 122 to the initial position.
  • step S311 the processing device 200 causes the adjustment device 130 to reduce the position of the light source 122 in the height direction by a predetermined amount. This reduces the distance between the light source 122 and the white board by a predetermined amount (ie, unit length).
  • step S312 the processing device 200 causes the imaging device 100 to perform photographing and obtain a compressed image of the white board.
  • step S313 the processing device 200 restores the hyperspectral image from the compressed image acquired in step S312.
  • step S314 the processing device 200 compares the hyperspectral image restored in step S303 with the hyperspectral image restored in step S313, and compares the state in which the light source 122 is at the initial position and the position after the change. It is determined whether there is a change in the spectral shape depending on the time.
  • the determination method is the same as the method in step S307.
  • step S314 If it is determined in step S314 that there is no change in the spectrum shape, the process advances to step S315.
  • step S315 the processing device 200 stores the changed height position of the light source 122 in the storage device as being within the specified range. Thereafter, the process returns to step S311, and the processing device 200 causes the adjustment device 130 to reduce the height position of the light source 122 by a predetermined amount again. Thereafter, the acquisition of the compressed image in step S312, the restoration of the hyperspectral image in step S313, and the determination in step S314 are performed again. The operations from steps S311 to S315 are repeated until it is determined in step S314 that there has been a change in the spectrum shape. If it is determined that there has been a change in the spectrum shape, the process advances to step S316.
  • step S316 the processing device 200 causes the storage device to store the position in the height direction of the light source 122 immediately before the position is changed in step S311 as the lower limit of the specified range.
  • the processing device 200 does not proceed to step S309, and even if the initial position of the light source 122 is changed and the processing shown in FIG. 5 is performed. good.
  • the processing device 200 repeats the process of generating a hyperspectral image while changing the height direction position of the light source 122, and the spectral shape changes. You may also search for the lower and upper limits of the distance range.
  • the processing device 200 first determines the upper limit of the specified range and then determines the lower limit, but conversely, it may first set the lower limit and then determine the upper limit. In that case, the order of the operations from steps S304 to S309 and the operations from steps S311 to S316 will be reversed.
  • the imaging device 100 acquires a compressed image, and the processing device 200 generates a hyperspectral image based on the compressed image.
  • the present invention is not limited to such a configuration; for example, the imaging device 100 may be configured to generate a hyperspectral image by itself. An example of a method for determining the prescribed range in this case will be described below with reference to FIG.
  • FIG. 7 is a flowchart illustrating an example of a method for determining the prescribed range of the distance between the light source 122 and the subject when the imaging device 100 acquires a hyperspectral image.
  • the flowchart shown in FIG. 7 differs from the flowchart shown in FIG. 5 in that steps S302 and S303 are replaced with step S352, steps S305 and S306 are replaced with step S355, and steps S312 and S313 are replaced with step S362.
  • steps S352, S355, and S362 the imaging device acquires a hyperspectral image instead of a compressed image. Except for this point, the operation shown in FIG. 7 is the same as the operation shown in FIG. 5.
  • an appropriate prescribed range can be determined.
  • FIG. 8 is a block diagram illustrating an example configuration of an imaging system 1000 that executes the above method.
  • An imaging system 1000 shown in FIG. 8 includes an imaging device 100, a lighting device 120, an adjustment device 130, a processing device 200, and a display device 300.
  • Illumination device 120 includes one or more light sources 122.
  • the adjustment device 130 includes a mechanism such as an actuator that adjusts the distance between the light source 122 and the subject.
  • the display device 300 is, for example, a display (monitor) such as a liquid crystal or an organic LED (OLED), and displays the results of processing by the processing device 200.
  • the imaging device 100 in this example is a camera that generates a compressed image that is a source for restoring a hyperspectral image.
  • the processing device 200 restores a hyperspectral image from the compressed image output from the imaging device 100.
  • the processing device 200 may be directly connected to the imaging device 100, the lighting device 120, the adjustment device 130, and the display device 300, or may be indirectly connected to them via a wired and/or wireless network. Good too.
  • the functions of the processing device 200 may be distributed among multiple devices. For example, at least some of the functions of the processing device 200 may be performed by an external computer such as a cloud server.
  • the processing device 200 shown in FIG. 8 includes a light source controller 202, an imaging controller 204, a first processing circuit 212, a second processing circuit 214, and a memory 216.
  • the light source controller 202 controls turning on, turning off, and light emission intensity of the light source 122 in the lighting device 120.
  • the imaging controller 204 controls the operation of the imaging device 100.
  • the imaging controller 204 sets, for example, the exposure time and gain of the imaging device 100.
  • the first processing circuit 212 determines whether the brightness of the subject is appropriate based on the image data output from the imaging device 100, and controls the adjustment device 130 based on the determination result.
  • the adjustment device 130 adjusts the brightness of the subject to an appropriate range by changing the position of the light source 122 in accordance with control from the first processing circuit 212.
  • the first processing circuit 212 also causes the display device 300 to display processing results such as a hyperspectral image generated based on the compressed image.
  • the second processing circuit 214 performs restoration processing based on the compressed image and generates a hyperspectral image.
  • the second processing circuit 214 is a circuit independent of the first processing circuit 212, but both may be realized by one circuit.
  • One such circuit may also function as light source controller 202 and imaging controller 204.
  • the memory 216 is a storage device that stores computer programs executed by the first processing circuit 212 and the second processing circuit 214 and various data generated in the process of processing.
  • the memory 216 stores data indicating the above-mentioned prescribed distance range, data indicating the spectral transmittance of the filter array in the imaging device 100, spectral data indicating a hyperspectral image of the white board, and the like.
  • parameters of the imaging device 100 are first set from an external input device via the input interface (I/F) 221.
  • Parameters include, for example, exposure time and gain.
  • the parameters can be set, for example, in response to a user's operation using an input device.
  • a white board was set up on the stage and filming began.
  • Photography may be performed in response to an instruction from an external input device via the input interface 221.
  • compressed image data is output from the imaging device 100.
  • the compressed image data is sent to a first processing circuit 212 and a second processing circuit 214.
  • the second processing circuit 214 generates a hyperspectral image based on the compressed image.
  • the generated hyperspectral image is sent to the first processing circuit 212.
  • information indicating the distance between the light source 122 and the white board is sent from the adjustment device 130 to the first processing circuit 212 via the input interface 222 .
  • the first processing circuit 212 evaluates the brightness distribution of the white board based on the input distance information and the compressed image and/or the hyperspectral image, for example, through the process of step S104 shown in FIG. 4A or step S154 shown in FIG. 4B. .
  • the first processing circuit 212 causes the adjustment device 130 to change the distance between the light source 122 and the white board so that the brightness distribution is optimized.
  • the first processing circuit 212 sends control signals to the regulating device 130 via the interface 223 .
  • Adjustment device 130 changes the position of light source 122 within a preset prescribed range in response to the control signal. Thereby, the optimum distance between the light source 122 and the white board or the optimum position of the light source 122 is determined.
  • a hyperspectral image of the whiteboard is acquired when the distance between the light source 122 and the whiteboard is at the optimal distance, it becomes possible to acquire a hyperspectral image of the subject.
  • the user removes the white board from the stage and places the subject on the stage. The same operation as above is performed for the subject as well. That is, the distance between the light source 122 and the subject is adjusted so that the brightness is optimized. A compressed image is acquired with the optimal distance.
  • the first processing circuit 212 may determine the optimal distance from the optimal values of the brightness of the white board and the subject based on the relational expression between distance and brightness.
  • a white board was set up on the stage and filming began.
  • Compressed image data is output from the imaging device 100 to the first processing circuit 212 and the second processing circuit 214.
  • the second processing circuit 214 generates a hyperspectral image of the white board based on the compressed image.
  • the hyperspectral image is sent to the first processing circuit 212.
  • distance information between the light source 122 and the white board is sent from the adjustment device 130 to the first processing circuit 212 via the input interface 222.
  • the first processing circuit 212 evaluates the change in the spectral shape from the spectral shape when the light source 122 is in the initial position based on the distance information and the compressed image and/or the hyperspectral image.
  • the first processing circuit 212 determines the upper and lower limits of the specified range of distance within which the spectral shape does not change, using the procedure shown in FIG. 5 or 7.
  • the position of the light source 122 is automatically adjusted by the processing device 200 and the adjustment device 130, but this adjustment may also be performed manually by the user.
  • the imaging system may include a mechanism that can manually adjust the distance, instead of the adjustment device 130 that automatically adjusts the distance between the light source 122 and the white board.
  • First processing circuit 212 may be configured to display the compressed image and/or hyperspectral image on display device 300. The user may visually judge the brightness of the displayed image and, if the brightness is not appropriate, manually adjust the distance between the light source 122 and the white board.
  • the processing device 200 may display information on the prescribed range on the display device 300. If the pixel value of each of the plurality of pixels included in the compressed image or hyperspectral image of the white board or subject is not within the predetermined range, the user manually adjusts the pixel value so that it falls within the predetermined range displayed on the display device 300. The distance between the light source 122 and the white board or subject may be changed.
  • the mechanism for manually adjusting the distance between the light source 122 and the subject may be designed in advance so that its movable range falls within a specified range. According to such a design, it is possible to avoid the distance from falling outside the specified range, making it easier to set the lighting conditions to a suitable state.
  • the specified range may be determined in advance by the manufacturer of the imaging system, and instructions such as "Please perform white plate correction within this specified range" may be given in a manual or the like.
  • the user can set the lighting conditions to the optimum state by adjusting the distance between the light source 122 and the subject within a specified range according to the instructions.
  • These methods of manually adjusting illumination conditions are not limited to configurations in which the distance between the light source 122 and the subject is adjusted, but can be similarly applied to configurations in which illumination conditions are adjusted by adjusting other parameters described below. .
  • the processing device 200 changes the illumination conditions by changing the distance between the light source 122 and the white board and the distance between the light source 122 and the subject, but the present invention is not limited thereto.
  • lighting conditions may be changed by changing control parameters such as current or voltage for driving light source 122. Even in that case, the processing device 200 changes the illumination conditions so that the brightness distribution at the position of the subject does not change.
  • FIG. 9 is a flowchart illustrating an example of a method for generating a hyperspectral image when illumination conditions are changed by changing control parameters for driving a light source.
  • the control parameter is a current for driving the light source 122 (hereinafter sometimes referred to as "driving current").
  • the control parameter is not limited to current, but may be a voltage for driving the light source 122.
  • the control parameter may be the duty ratio of the PWM signal.
  • the method shown in FIG. 9 includes step S170 of acquiring spectral data of the white board, and step S270 of acquiring a hyperspectral image of the subject.
  • Step S170 differs from step S100 shown in FIG. 4A in that step S173 is added between step S102 and step S103, and step S105 is replaced with step S175.
  • Step S270 differs from step S100 shown in FIG. 4A in that step S204 is replaced with step S274.
  • the main points different from the example of FIG. 4A will be explained below.
  • the illumination conditions are changed by changing the drive current of the light source 122 instead of changing the distance between the light source 122 and the subject.
  • the processing device 200 sets the drive current of the light source 122 to an initial value. If the processing device 200 determines in step S104 that the pixel values of the plurality of pixels included in the compressed image of the white board do not satisfy the predetermined condition, the processing device 200 proceeds to step S175 and changes the drive current of the light source 122 within a specified range. . For example, the drive current is increased or decreased by a predetermined amount.
  • step S203 determines in step S203 that the pixel values of the plurality of pixels included in the compressed image of the subject do not satisfy the predetermined condition
  • the processing device 200 proceeds to step S274 and adjusts the drive current of the light source 122 within the specified range. Change with .
  • the specified range in this example is a current range in which the shape of the spectrum of light from the light source 122 can be considered to be approximately constant at the position of the subject.
  • Processing device 200 may be configured to vary the drive current by varying the voltage for driving light source 122, for example.
  • the method shown in FIG. 9 can also efficiently acquire a hyperspectral image of a subject.
  • the processing device 200 determines whether the illumination conditions are appropriate for the compressed image, but as in the example of FIG. 4B, the processing device 200 may also determine whether the illumination conditions are appropriate for the hyperspectral image. good. That is, even in the example of FIG. 9 in which control parameters such as the drive current or drive voltage of the light source 122 are adjusted, a modification similar to the modification from FIG. 4A to FIG. 4B is possible.
  • FIG. 10 is a flowchart illustrating an example of a method for determining the specified range of the drive current of the light source 122.
  • steps S301, S304, S308, S309, S310, S311, S315, and S316 in FIG. 5 are replaced with steps S501, S504, S508, S509, S510, S511, S515, and S516, respectively.
  • the basic flow is the same as the example shown in FIG.
  • the prescribed range is determined by increasing or decreasing the driving current of the light source 122 by a predetermined amount and determining whether the spectrum shape changes each time.
  • the specified range of the drive current of the light source 122 is determined, but the specified range of other control parameters such as the drive voltage or the duty ratio of the PWM signal can also be determined in a similar manner.
  • the illumination conditions may be changed by a method different from these methods under conditions where the spectral shape at the position of the subject does not change.
  • the illumination conditions may be changed by changing a neutral density filter such as an ND filter that may be placed between the light source 122 and the subject (or a calibration subject such as a white board). In this case as well, the neutral density filter is changed so that the spectral shape at the subject position does not change before and after the change.
  • the imaging system may include a mechanism 135 that inserts one neutral density filter selected from a plurality of neutral density filters 136 having different transmittances between the light source 122 and the subject.
  • Mechanism 135 may include a device such as an actuator that inserts or removes each neutral density filter 136 from the optical path from light source 122 to the subject in response to commands from processing device 200.
  • the processing device 200 causes the mechanism 135 to perform a dimming operation inserted between the light source 122 and the subject when the pixel values of a plurality of pixels in the compressed image or the hyperspectral image do not satisfy a predetermined condition.
  • the filter 136 it may be configured to change the lighting conditions.
  • Each of the plurality of neutral density filters 136 may be a filter whose transmittance has small wavelength dependence and small in-plane unevenness.
  • the distance between the light source 122 and the subject (or the height of the light source 122) in the operation shown in FIG. 4A or 4B and FIG. 5 or 7 is changed. Instead of adjustment, the operation of replacing the neutral density filter 136 may be performed.
  • the neutral density filter 136 may be changed automatically or manually.
  • the processing device 200 changes the neutral density filter 136 to be a candidate for switching.
  • the display device 300 may display information specifying the . This allows the user to know which neutral density filter to switch to.
  • FIG. 12A is a diagram schematically showing a configuration example of the imaging device 100 that acquires a compressed image and an example of processing by the processing device 200.
  • This imaging device 100 has the same configuration as the imaging device disclosed in Patent Document 2.
  • the imaging device 100 includes an optical system 140, a filter array 110, and an image sensor 160.
  • Optical system 140 and filter array 110 are arranged on the optical path of light incident from object 70, which is a subject.
  • Filter array 110 in the example of FIG. 10A is placed between optical system 140 and image sensor 160.
  • an apple is illustrated as an example of the target object 70.
  • the object 70 is not limited to an apple, but may be any object.
  • the image sensor 160 generates data of a compressed image 10 in which information of a plurality of wavelength bands is compressed as a two-dimensional monochrome image.
  • the processing device 200 generates data representing a plurality of images corresponding one-to-one to a plurality of wavelength bands included in a predetermined target wavelength range, based on data of the compressed image 10 generated by the image sensor 160. As described above, the number of wavelength bands included in the target wavelength range is set to N (N is an integer of 4 or more).
  • restored image 20W 1 N images generated based on the compressed image are referred to as restored image 20W 1 , restored image 20W 2 , ..., restored image 20W N , and these are collectively referred to as "hyperspectral image 20". There are things to do.
  • the filter array 110 in this embodiment is an array of a plurality of light-transmitting filters arranged in rows and columns.
  • the plurality of filters include a plurality of types of filters having different wavelength dependencies of spectral transmittance, that is, light transmittance.
  • the filter array 110 modulates the intensity of incident light for each wavelength and outputs the modulated light. This process by filter array 110 is referred to as "encoding", and filter array 110 is sometimes referred to as "encoding element”.
  • the filter array 110 is placed near or directly above the image sensor 160.
  • “nearby” means that the image of light from the optical system 140 is close enough to be formed on the surface of the filter array 110 in a somewhat clear state.
  • “Directly above” means that the two are so close that there is almost no gap between them.
  • Filter array 110 and image sensor 160 may be integrated.
  • the optical system 140 includes at least one lens. Although optical system 140 is shown as one lens in FIG. 12A, optical system 140 may be a combination of multiple lenses. Optical system 140 forms an image on the imaging surface of image sensor 160 via filter array 110.
  • the filter array 110 may be placed apart from the image sensor 160.
  • 12B to 12D are diagrams showing a configuration example of the imaging device 100 in which the filter array 110 is placed apart from the image sensor 160.
  • filter array 110 is arranged between optical system 140 and image sensor 160 and at a position away from image sensor 160.
  • FIG. 12C filter array 110 is placed between object 70 and optical system 140.
  • the imaging device 100 includes two optical systems 140A and 140B, with the filter array 110 disposed between them.
  • an optical system including one or more lenses may be placed between the filter array 110 and the image sensor 160.
  • the image sensor 160 is a monochrome photodetection device having a plurality of photodetection elements (also referred to as "pixels" in this specification) arranged two-dimensionally.
  • the image sensor 160 may be, for example, a CCD (Charge-Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor) sensor, or an infrared array sensor.
  • the photodetecting element includes, for example, a photodiode.
  • Image sensor 160 does not necessarily have to be a monochrome type sensor.
  • a color type sensor may be used.
  • a color type sensor includes multiple red (R) filters that transmit red light, multiple green (G) filters that transmit green light, and multiple blue (B) filters that transmit blue light.
  • the color type sensor may further include a plurality of IR filters that transmit infrared rays. Further, a color type sensor may include a plurality of transparent filters that transmit all red, green, and blue light. By using a color type sensor, the amount of information regarding wavelength can be increased, and the accuracy of reconstructing the hyperspectral image 20 can be improved.
  • the wavelength range to be acquired may be arbitrarily determined, and is not limited to the visible wavelength range, but may be an ultraviolet, near-infrared, mid-infrared, or far-infrared wavelength range.
  • Processing device 200 may be a computer with one or more processors and one or more storage media, such as memory.
  • the processing device 200 generates data of a plurality of restored images 20W 1 , 20W 2 , . . . 20W N based on the compressed image 10 acquired by the image sensor 160.
  • FIG. 13A is a diagram schematically showing an example of the filter array 110.
  • Filter array 110 has a plurality of regions arranged two-dimensionally. In this specification, the area may be referred to as a "cell.”
  • Optical filters having individually set spectral transmittances are arranged in each region.
  • the spectral transmittance is expressed by a function T( ⁇ ), where the wavelength of incident light is ⁇ .
  • the spectral transmittance T( ⁇ ) can take a value of 0 or more and 1 or less.
  • the filter array 110 has 48 rectangular areas arranged in 6 rows and 8 columns. This is just an example, and in actual applications, more areas may be provided. The number may be approximately the same as the number of pixels of the image sensor 160, for example. The number of filters included in the filter array 110 is determined depending on the application, for example, in the range of several tens to tens of millions.
  • FIG. 13B is a diagram showing an example of the spatial distribution of the transmittance of light in each of the wavelength bands W 1 , W 2 , . . . , W N included in the target wavelength range.
  • the difference in shading in each region represents the difference in transmittance. The lighter the area, the higher the transmittance, and the darker the area, the lower the transmittance.
  • the spatial distribution of light transmittance differs depending on the wavelength band.
  • FIGS. 13C and 13D are diagrams showing examples of spectral transmittances of area A1 and area A2 included in filter array 110 shown in FIG. 13A, respectively.
  • the spectral transmittance of area A1 and the spectral transmittance of area A2 are different from each other. In this way, the spectral transmittance of the filter array 110 differs depending on the region. However, the spectral transmittances of all regions do not necessarily have to be different. In the filter array 110, at least some of the plurality of regions have different spectral transmittances.
  • Filter array 110 includes two or more filters with different spectral transmittances.
  • the number of spectral transmittance patterns in the plurality of regions included in the filter array 110 may be equal to or greater than the number N of wavelength bands included in the target wavelength range.
  • the filter array 110 may be designed such that half or more of the regions have different spectral transmittances.
  • the target wavelength range W can be set to various ranges depending on the application.
  • the target wavelength range W may be, for example, a visible light wavelength range from about 400 nm to about 700 nm, a near-infrared wavelength range from about 700 nm to about 2500 nm, or a near-ultraviolet wavelength range from about 10 nm to about 400 nm.
  • the target wavelength range W may be a wavelength range such as mid-infrared or far-infrared. In this way, the wavelength range used is not limited to the visible light range.
  • "light” refers to all radiation including not only visible light but also infrared and ultraviolet light.
  • N is an arbitrary integer greater than or equal to 4, and each wavelength range obtained by dividing the target wavelength range W into N equal parts is defined as a wavelength band W 1 , W 2 , . . . , W N .
  • the plurality of wavelength bands included in the target wavelength range W may be set arbitrarily.
  • the bandwidth may be made non-uniform depending on the wavelength band.
  • the bandwidth differs depending on the wavelength band, and there is a gap between two adjacent wavelength bands. In this way, the plurality of wavelength bands can be determined arbitrarily.
  • FIG. 15A is a diagram for explaining the characteristics of spectral transmittance in a certain region of the filter array 110.
  • the spectral transmittance has a plurality of maximum values P1 to P5 and a plurality of minimum values with respect to wavelengths within the target wavelength range W.
  • the light transmittance within the target wavelength range W is normalized so that the maximum value is 1 and the minimum value is 0.
  • the spectral transmittance has maximum values in wavelength ranges such as wavelength band W 2 and wavelength band W N-1 .
  • the spectral transmittance of each region can be designed to have maximum values in at least two of the wavelength bands W 1 , W 2 , . . . W N .
  • local maximum values P1, P3, P4, and P5 are 0.5 or more.
  • the filter array 110 transmits a large amount of components in a certain wavelength range, and does not transmit as much components in other wavelength ranges. For example, for light in k wavelength bands out of N wavelength bands, the transmittance is greater than 0.5, and for light in the remaining N ⁇ k wavelength bands, the transmittance is 0.5. It can be less than k is an integer satisfying 2 ⁇ k ⁇ N. If the incident light is white light that evenly contains wavelength components of all visible light, the filter array 110 divides the incident light into areas that have multiple intensity peaks that are discrete with respect to wavelength. The multi-wavelength light is then superimposed and output.
  • FIG. 15B is a diagram showing, as an example, the result of averaging the spectral transmittance shown in FIG. 15A for each wavelength band W 1 , W 2 , . . . , W N.
  • the averaged transmittance is obtained by integrating the spectral transmittance T( ⁇ ) for each wavelength band and dividing it by the bandwidth of that wavelength band.
  • the transmittance value averaged for each wavelength band is defined as the transmittance in that wavelength band.
  • the transmittance is outstandingly high in three wavelength ranges with maximum values P1, P3, and P5. In particular, the transmittance exceeds 0.8 in two wavelength ranges with maximum values P3 and P5.
  • a gray scale transmittance distribution is assumed in which the transmittance of each region can take any value between 0 and 1.
  • a binary scale transmittance distribution may be adopted in which the transmittance of each region can take either a value of approximately 0 or approximately 1.
  • each region transmits most of the light in at least two of the wavelength ranges included in the target wavelength range, and transmits most of the light in the remaining wavelength ranges. I won't let you.
  • "most" refers to approximately 80% or more.
  • a part of all the cells, for example half of the cells, may be replaced with a transparent area.
  • Such a transparent region transmits each light of the wavelength bands W 1 , W 2 , . . . W N included in the target wavelength range W with a similar high transmittance, for example, 80% or more.
  • the plurality of transparent regions may be arranged in a checkerboard pattern, for example. That is, in the two arrangement directions of the plurality of regions in the filter array 110, regions whose light transmittances differ depending on the wavelength and transparent regions may be arranged alternately.
  • Such data indicating the spatial distribution of spectral transmittance of the filter array 110 is obtained in advance based on design data or actual measurement calibration, and is stored in a storage medium included in the processing device 200. This data is used for calculation processing described later.
  • the filter array 110 may be configured using, for example, a multilayer film, an organic material, a diffraction grating structure, or a fine structure containing metal.
  • a multilayer film for example, a dielectric multilayer film or a multilayer film including a metal layer can be used.
  • at least one of the thickness, material, and lamination order of each multilayer film is formed to be different for each cell. This makes it possible to achieve different spectral characteristics depending on the cell.
  • By using a multilayer film sharp rises and falls in spectral transmittance can be realized.
  • a structure using organic materials can be realized by containing different pigments or dyes depending on the cell, or by stacking different types of materials.
  • a configuration using a diffraction grating structure can be realized by providing diffraction structures with different diffraction pitches or depths for each cell.
  • a fine structure containing metal it can be manufactured using spectroscopy based on the plasmon effect.
  • the processing device 200 reconstructs a multi-wavelength hyperspectral image 20 based on the compressed image 10 output from the image sensor 160 and the spatial distribution characteristics of transmittance for each wavelength of the filter array 110.
  • multi-wavelength means, for example, more wavelength ranges than the three color wavelength ranges of RGB acquired by a normal color camera.
  • the number of wavelength ranges can be, for example, about 4 to 100.
  • the number of wavelength ranges is referred to as the "number of bands.” Depending on the application, the number of bands may exceed 100.
  • the data to be obtained is the data of the hyperspectral image 20, and this data is designated as f.
  • f is data obtained by integrating data f 1 , f 2 , . . . , f N of N bands.
  • Data f may be expressed in various formats, as shown in FIG. 6A, FIG. 6B, or FIG. 6C.
  • the horizontal direction of the image is the x direction
  • the vertical direction of the image is the y direction.
  • each of the data f 1 , f 2 , ..., f N has n ⁇ m pixel values. . Therefore, the data f is data with the number of elements n ⁇ m ⁇ N.
  • the number of elements of the data g of the compressed image 10 encoded and multiplexed by the filter array 110 is n ⁇ m.
  • Data g can be expressed by the following equation (1).
  • Equation (1) represents hyperspectral image data expressed as a one-dimensional vector, as shown in FIG. 6C.
  • Each of f 1 , f 2 , . . . , f N has n ⁇ m elements. Therefore, the vector on the right side is a one-dimensional vector of n ⁇ m ⁇ N rows and 1 column.
  • the compressed image data g is calculated as a one-dimensional vector of n ⁇ m rows and 1 column.
  • the matrix H represents a transformation that encodes and intensity modulates each component f 1 , f 2 , . Therefore, H is a matrix with n ⁇ m rows and n ⁇ m ⁇ N columns. Equation (1) can also be expressed as follows.
  • pg ij is the i-th row and j-th Represents the pixel value of a column.
  • the processing device 200 uses the redundancy of the image included in the data f to find a solution using a compressed sensing technique. Specifically, the desired data f is estimated by solving Equation (2) below.
  • f' represents the estimated data of f.
  • the first term in parentheses in the above equation represents the amount of deviation between the estimation result Hf and the acquired data g, a so-called residual term.
  • the second term in parentheses is a regularization term or stabilization term.
  • Equation (2) means finding f that minimizes the sum of the first term and the second term.
  • the function in parentheses in equation (2) is called an evaluation function.
  • the processing device 200 can converge the solution through recursive iterative operations and calculate f that minimizes the evaluation function as the final solution f'.
  • the first term in parentheses in Equation (2) means an operation to calculate the sum of squares of the difference between the acquired data g and Hf obtained by converting f in the estimation process using matrix H.
  • the second term ⁇ (f) is a constraint in the regularization of f, and is a function reflecting the sparse information of the estimated data. This function has the effect of smoothing or stabilizing the estimated data.
  • the regularization term may be represented by, for example, a discrete cosine transform (DCT), a wavelet transform, a Fourier transform, or a total variation (TV) of f. For example, when total variation is used, stable estimated data can be obtained that suppresses the influence of noise on the observed data g.
  • DCT discrete cosine transform
  • TV total variation
  • the sparsity of the object 70 in the space of each regularization term differs depending on the texture of the object 70.
  • a regularization term may be selected that makes the texture of the object 70 sparser in the space of regularization terms.
  • multiple regularization terms may be included in the calculation.
  • ⁇ is a weighting coefficient. The larger the weighting coefficient ⁇ , the greater the amount of redundant data to be reduced, and the higher the compression ratio. The smaller the weighting coefficient ⁇ , the weaker the convergence to a solution.
  • the weighting coefficient ⁇ is set to an appropriate value that allows f to converge to some extent and not cause overcompression.
  • the image encoded by the filter array 110 is acquired in a blurred state on the imaging surface of the image sensor 160. Therefore, the hyperspectral image 20 can be reconstructed by retaining this blur information in advance and reflecting the blur information in the matrix H described above.
  • the blur information is expressed by a point spread function (PSF).
  • PSF is a function that defines the degree of spread of a point image to surrounding pixels. For example, when a point image corresponding to one pixel on an image spreads to an area of k ⁇ k pixels around that pixel due to blur, the PSF is a group of coefficients that indicates the influence on the pixel value of each pixel in that area. , that is, can be defined as a matrix.
  • the hyperspectral image 20 can be reconstructed by reflecting the effect of blurring of the coding pattern due to PSF on the matrix H.
  • a position may be selected where the coding pattern of filter array 110 is too diffused and disappears.
  • the hyperspectral image 20 can be restored from the compressed image 10 acquired by the image sensor 160.
  • the processing device 200 restores the hyperspectral image 20 based on the data of the compressed image 10 output from the image sensor 160.
  • a processor in the imaging device 100 may perform the process of restoring the hyperspectral image 20.
  • a processor corresponding to the second processing circuit 214 in the processing device 200 shown in FIG. 8 is built into the imaging device 100.
  • the processor generates hyperspectral image data 20 based on the compressed image data 10 output from the image sensor 160.
  • a processor corresponding to the second processing circuit 214 shown in FIG. 8 may be installed in an external computer such as a cloud server that communicates with the imaging device 100 or the processing device 200 via a network. In that case, the external computer generates hyperspectral image 20 data based on the compressed image 10 data acquired from the imaging device 100 and transmits it to the processing device 200 .
  • the compressed image and the restored image may be generated by imaging using a method different from imaging using the filter array 110 including the plurality of optical filters described above, that is, the encoding element.
  • the light receiving characteristics of the image sensor 160 may be changed for each pixel by processing the image sensor 160.
  • a compressed image can be generated by imaging using the image sensor 160 that has undergone the processing. That is, the compressed image may be generated by an imaging device configured such that the filter array 110 is built into the image sensor 160.
  • the encoded information corresponds to the light receiving characteristics of the image sensor 160.
  • the optical characteristics of the optical system 140 change spatially and wavelength-wise, thereby compressing the spectral information. It's okay.
  • a compressed image can also be generated by an imaging device including this configuration.
  • the encoded information is information corresponding to the optical characteristics of an optical element such as a metalens. In this way, the intensity of the incident light may be modulated for each wavelength using the imaging device 100 having a configuration different from the configuration using the filter array 110, and a compressed image and a restored image may be generated.
  • the number of signals included in the compressed image also includes a configuration that generates a restored image that includes a larger number of signals than the number of pixels (for example, the number of pixels).
  • the photoresponse characteristics may correspond to the light receiving characteristics of the image sensor, or may correspond to the optical characteristics of the optical element.
  • the imaging device If the first data set does not satisfy a first predetermined condition, causing the light source to irradiate a second light under a second radiation condition, and causing the imaging device to photograph the subject irradiated with the second light; thereby causing the imaging device to generate four or more second data sets each including a plurality of pixel values, a first value indicating a magnitude of change in spectral shape determined based on the four or more first data sets and the four or more second data sets is smaller than a threshold;
  • the four or more first data sets correspond to four or more wavelength ranges,
  • the four or more second data sets correspond to the four or more wavelength ranges, Method.
  • the method may include not causing the light source to irradiate the second light under the second radiation condition when the four or more first data sets satisfy the first predetermined condition.
  • each of the four or more first data sets includes n ⁇ m pixel values;
  • Each of the four or more second data sets includes n ⁇ m pixel values, The number of the first data sets and the number of the second data sets are N,
  • the first value may be ⁇ (absolute value of the angle 11 )+...+(absolute value of the angle nm ) ⁇ /(n ⁇ m).
  • the imaging device includes four or more image sensors I 1 , ... I N corresponding to the four or more wavelength ranges
  • the four or more image sensors I 1 , ..., I N correspond to the four or more first data sets f 11 , ... f 1N , respectively
  • the four or more image sensors I 1 , ..., I N respectively correspond to the four or more second data sets f 21 , ... f 2N
  • the image sensor I1 includes pixels s1 11 , . . . , pixels s1 1m , . . . , pixels s1 n1 , .
  • the image sensor IN includes pixels sN 11 , . . . , pixels sN 1m , . . .
  • pixels sN n1 , . . . , pixels sN nm corresponds to the pixel value p11 11 and the pixel value p21 11 ,...
  • the pixel s1 1m corresponds to the pixel value p11 1m and the pixel value p21 1m ,...
  • the pixel s1 n1 corresponds to the pixel value p11 n1 and the pixel value p21 n1 ,...
  • the pixel s1 nm corresponds to the pixel value p11 nm and the pixel value p21 nm , ...,
  • the pixel sN 11 corresponds to the pixel value p1N 11 and the pixel value p2N 11 ,...
  • the pixel sN 1m corresponds to the pixel value p1N 1m and the pixel value p2N 1m ,...
  • the pixel sN n1 corresponds to the pixel value p1N n1 and the pixel value p2N n1 ,...
  • the pixel sN nm may correspond to the pixel value p1N nm and the pixel value p2N nm .
  • the four or more light transmittance characteristics corresponding to each of the four or more filters are different from each other, and the four or more light transmittance characteristics include a target wavelength range including four or more wavelength ranges.
  • first data which is a light transmittance of the imaging device; and if the first data does not satisfy a first predetermined condition, causing the light source to emit second light under a second radiation condition; to photograph the subject irradiated with the second light, thereby causing the imaging device to generate second data including a plurality of pixel values, Changes in spectral shape determined based on four or more first data sets generated based on the first data and four or more second data sets generated based on the second data.
  • the first value indicating the size is smaller than the threshold;
  • the four or more first data sets correspond to the four or more wavelength ranges,
  • the four or more second data sets correspond to the four or more wavelength ranges, Method.
  • the method may include not causing the light source to emit the second light under the second radiation condition when the first data satisfies the first predetermined condition.
  • each of the four or more first data sets includes n ⁇ m pixel values;
  • Each of the four or more second data sets includes n ⁇ m pixel values, The number of the first data sets and the number of the second data sets are N,
  • the four or more first data sets are f 11 ,..., f 1N ,
  • the four or more second data sets are f 21 ,..., f 2N ,
  • f 1N (p1N 11 ...p1N 1m ...p1N n1 ...p1N nm ) T
  • f21 (p21 11 ...p21 1m ...p21 n1 ...p21 nm ) T
  • f22 (p22 11 ...p22 1m ...p22 n1 ...p22 nm ) T ,...
  • f 2N (p2N 11 ...p2N 1m ...p2N n1 ...p2N nm ) T ,
  • Each of p11 11 , ..., p2N nm is a pixel value,
  • the first value is the absolute value of the angle 11 formed by (p11 11 p12 11 ...p1N 11 ) and (p21 11 p22 11 ...p2N 11 ),..., (p11 nm p12 nm ...p1N It may be determined based on the absolute value of the angle nm formed by (p21 nm , p22 nm ...p2N nm ).
  • the first value may be ⁇ (absolute value of the angle 11 )+...+(absolute value of the angle nm ) ⁇ /(n ⁇ m).
  • the imaging device includes an image sensor, the image sensor includes n ⁇ m pixels p 11 ...p 1m ...p n1 ...p nm ;
  • the pixel p11 corresponds to the pixel value pg1 11 and the pixel value pg2 11
  • the pixel p1m corresponds to the pixel value pg1 1m and the pixel value pg21 1m
  • the pixel p n1 may correspond to the pixel value pg1 n1 and the pixel value pg2 n1
  • pixel p nm may correspond to the pixel value pg1 nm and the pixel value pg2 nm .
  • FIG. 1 a light source and An imaging device that generates image data by photographing a subject illuminated with light from the light source, wherein the image data includes image information of each of four or more bands, or images of the four or more bands.
  • an imaging device including information of a compressed image in which the information is compressed as one image;
  • a processing device Equipped with The processing device includes: determining whether pixel values of a plurality of pixels in the image data satisfy a predetermined condition; If the predetermined condition is not met, changing the illumination conditions by the light source under conditions where the spectral shape of the light from the light source at the position of the subject does not change; Imaging system.
  • the processing device causes the adjustment device to repeat an operation of changing the distance between the light source and the subject within the specified range until the condition is met.
  • Imaging system according to technique 2.
  • the processing device changes the illumination condition by changing a control parameter for driving the light source within a predetermined range when the predetermined condition is not satisfied. imaging system.
  • Determining whether the pixel values of the plurality of pixels satisfy the predetermined condition includes determining whether the pixel value of each of the plurality of pixels is within a predetermined range.
  • the imaging system according to any one of techniques 1 to 5.
  • Determining whether the pixel values of the plurality of pixels satisfy the predetermined condition includes determining whether a contrast value calculated from the pixel values of the plurality of pixels exceeds a threshold value. , the imaging system according to any one of Techniques 1 to 5.
  • the image data includes information about the compressed image
  • the processing device executes processing for generating images of each of the four or more bands based on the compressed image if the predetermined condition is satisfied.
  • Imaging system according to any one of techniques 1 to 7.
  • the imaging device includes: an optical element that changes the spatial distribution of the intensity of light from the subject for each wavelength; an image sensor that receives light that has passed through the optical element and generates the image data that includes information about the compressed image;
  • the imaging device includes: an optical element that changes the spatial distribution of the intensity of light from the subject for each wavelength; an image sensor that receives light that has passed through the optical element and outputs the image data including information about the compressed image; Equipped with The processing device according to any one of techniques 1 to 5, wherein the processing device generates other image data including image information of each of the four or more bands based on the image data output from the image sensor. Imaging system.
  • Determining whether the pixel values of the plurality of pixels satisfy the predetermined condition includes determining whether the pixel value of each of the plurality of pixels in each image of the four or more bands is within a predetermined range.
  • Determining whether or not the pixel values of the plurality of pixels satisfy the predetermined condition includes determining whether the contrast value calculated from the pixel values of the plurality of pixels in each image of the four or more bands exceeds a threshold value.
  • the optical element includes a plurality of optical filters arranged in a two-dimensional plane, the spectral transmittances of the plurality of optical filters are different from each other, and the spectral transmittance of each of the plurality of optical filters has a plurality of maximum values.
  • the imaging system according to technique 9 or 11, which shows.
  • the adjustment device includes a linear actuator that changes the distance between the light source and the subject by moving the light source in a direction perpendicular to the support surface of the stage.
  • the imaging system according to any one of techniques 2 to 4.
  • the processing device is configured to determine the subject based on the relationship between the calibration image data generated by the imaging device photographing the calibration subject illuminated by light from the light source and the parameters that define the illumination conditions. determining a prescribed range of the parameter in which the spectral shape at the position does not change; changing the illumination condition by changing the parameter within the specified range; The imaging system according to any one of techniques 1 to 16.
  • the processing device includes: causing the imaging device to generate the calibration image data while changing the parameters; The imaging system according to technique 17, wherein a range of the parameter in which an amount of change in the spectral shape of the calibration subject specified based on the calibration image data is smaller than a predetermined amount is determined as the specified range.
  • the processing device before photographing the subject, obtaining calibration image data generated by the imaging device photographing a calibration subject illuminated by light from the light source; determining whether pixel values of a plurality of pixels in the calibration image data satisfy the predetermined condition; If the predetermined condition is met, generating spectrum data of the calibration subject based on the calibration image data and storing it in a storage device; If the predetermined condition is not met, changing the parameter defining the illumination condition within a specified range;
  • the imaging system according to any one of techniques 1 to 18.
  • FIG. 20 A method performed by one or more processors executing a plurality of instructions stored in one or more memories, the method comprising: An imaging device that generates image data by photographing a subject illuminated with light from a light source, the image data being image information of each of four or more bands, or image information of the four or more bands. obtaining the image data from the imaging device, including information on a compressed image that is compressed as one image; determining whether pixel values of a plurality of pixels in the image data satisfy a predetermined condition; If the predetermined condition is not met, changing the illumination conditions by the light source under conditions where the spectral shape of the light from the light source at the position of the subject does not change; method including.
  • the technology of the present disclosure can be widely used in cameras and measuring instruments that acquire multi-wavelength images, such as hyperspectral cameras.
  • the technology of the present disclosure can be applied, for example, to applications such as line inspection in a factory, where slight color changes are identified and quality is evaluated.
  • Compressed image 20 Hyperspectral image 70 Object 100 Imaging device 110 Filter array 120 Illumination device 122 Light source 130 Adjustment device 140 Optical system 150 Support 160 Image sensor 170 Object 190 Stage 200 Processing device 270 Subject 300 Display device 1000 Imaging system

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

撮像システムは、光源と、前記光源からの光で照明された被写体を撮影して画像データを生成する撮像装置であって、前記画像データは、４つ以上のバンドのそれぞれの画像情報、または前記４つ以上のバンドの画像情報が１つの画像として圧縮された圧縮画像の情報を含む、撮像装置と、処理装置とを備える。前記処理装置は、前記画像データにおける複数の画素の画素値が所定の条件を満たしているか否かを判定し、前記所定の条件が満たされていない場合、前記被写体の位置における前記光源からの光のスペクトル形状が変化しない条件下で、前記光源による照明条件を変化させる。

Description

撮像システム
　本開示は、撮像システムに関する。
　各々が狭帯域である多数の波長バンド（以下、単に「バンド」とも称する。）、例えば数十バンドのスペクトル情報を活用することにより、従来の３バンドの情報のみを有するＲＧＢ画像では不可能であった対象物の詳細な物性の把握が可能になる。そのような多くの波長バンドの画像を取得するカメラは、「ハイパースペクトルカメラ」と呼ばれる。ハイパースペクトルカメラは、食品検査、生体検査、医薬品開発、および鉱物の成分分析などの様々な分野で利用されている。
　特許文献１は、生物の組織における物質の分布を分析するための画像解析装置を開示している。当該画像解析装置は、所定の波長域から選ばれるＮ個の波長バンドの光で生物の組織を照射して撮影することによって複数の試料画像を取得する。複数の試料画像に基づく試料データと物質の教師データとを比較して、組織における物質の分布データが生成される。特許文献１は、白板などの参照部材の表面で反射された光の強度に基づいて、サンプルの表面で反射された光の強度を正規化することを開示している。
　特許文献２は、圧縮センシングを利用したハイパースペクトル撮像装置の例を開示している。圧縮センシングは、観測対象のデータ分布が、ある空間（例えば周波数空間）においてスパース（疎）であると仮定することで、観測されたデータよりも多くのデータを復元する技術である。特許文献２に開示された撮像装置は、対象物とイメージセンサとを結ぶ光路上に、分光透過率（spectral transmittance）が互いに異なる複数の光学フィルタのアレイである符号化素子を備える。当該撮像装置は、符号化素子を用いた撮像によって取得された圧縮画像に基づく復元演算により、１回の撮像で複数の波長バンドの各々の画像を生成することができる。
国際公開第２０１５／１９９０６７号 米国特許第９５９９５１１号明細書
　光源からの光で被写体を照明して撮影を行うハイパースペクトル撮像システムにおいては、良好な照明条件を満足するために光源の調整が行われることがある。光源の調整が行われるたびに、白板などの校正用の被写体のスペクトル情報を取得する必要があった。
　本開示は、光源の調整後の撮影プロセスを省力化することが可能な撮像システムおよび方法を提供する。
　本開示の一態様に係る撮像システムは、光源と、前記光源からの光で照明された被写体を撮影して画像データを生成する撮像装置と、処理装置とを備える。前記画像データは、４つ以上のバンドのそれぞれの画像情報、または前記４つ以上のバンドの画像情報が１つの画像として圧縮された圧縮画像の情報を含む。前記処理装置は、前記画像データにおける複数の画素の画素値が所定の条件を満たしているか否かを判定し、前記所定の条件が満たされていない場合、前記被写体の位置における前記光源からの光のスペクトル形状が変化しない条件下で、前記光源による照明条件を変化させる。
　本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意の組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Compact Disc‐Read Only Memory）等の不揮発性の記録媒体を含む。装置は、１つ以上の装置で構成され得る。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよいし、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲において、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
　本開示の一態様によれば、光源の調整後の撮影プロセスを省力化することができる。
図１は、撮像システムの概略構成を示すブロック図である。 図２は、処理装置によって実行される処理方法の一例を示すフローチャートである。 図３は、本開示の例示的な実施形態による撮像システムの構成例を模式的に示す図である。 図４Ａは、ハイパースペクトル画像の生成方法の一例を示すフローチャートである。 図４Ｂは、図４Ａに示す方法の変形例を示すフローチャートである。 図５は、規定範囲を決定する方法の一例を示すフローチャートである。 図６Ａは、ハイパースペクトル画像のデータ構造の一例を示す図である。 図６Ｂは、ハイパースペクトル画像のデータ構造の他の例を示す図である。 図６Ｃは、ハイパースペクトル画像のデータ構造のさらに他の例を示す図である。 図７は、図５に示す方法の変形例を示すフローチャートである。 図８は、撮像システムの構成例を示すブロック図である。 図９は、ハイパースペクトル画像の生成方法の他の例を示すフローチャートである。 図１０は、規定範囲を決定する方法の他の例を示すフローチャートである。 図１１は、撮像システムの他の構成例を示すブロック図である。 図１２Ａは、撮像装置の構成例を模式的に示す図である。 図１２Ｂは、撮像装置の他の構成例を模式的に示す図である。 図１２Ｃは、撮像装置のさらに他の構成例を模式的に示す図である。 図１２Ｄは、撮像装置のさらに他の構成例を模式的に示す図である。 図１３Ａは、フィルタアレイの例を模式的に示す図である。 図１３Ｂは、対象波長域に含まれる複数の波長バンドのそれぞれの光の透過率の空間分布の一例を示す図である。 図１３Ｃは、図１３Ａに示すフィルタアレイに含まれる領域Ａ１の分光透過率の例を示す図である。 図１３Ｄは、図１３Ａに示すフィルタアレイに含まれる領域Ａ２の分光透過率の例を示す図である。 図１４Ａは、対象波長域と、それに含まれる複数の波長バンドとの関係の一例を説明するための図である。 図１４Ｂは、対象波長域と、それに含まれる複数の波長バンドとの関係の他の例を説明するための図である。 図１５Ａは、フィルタアレイのある領域における分光透過率の特性を説明するための図である。 図１５Ｂは、図１３Ａに示す分光透過率を、波長バンドごとに平均化した結果を示す図である。
　本開示において、回路、ユニット、装置、部材もしくは部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（large scale integration）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（very large scale integration）、もしくはＵＬＳＩ（ultra large scale integration）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field Programmable Gate Array）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるＲＬＤ（reconfigurable logic device）も同じ目的で使うことができる。
　さらに、回路、ユニット、装置、部材または部の全部または一部の機能または動作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（processor）によって実行されたときに、そのソフトウェアで特定された機能が処理装置および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置、および必要とされるハードウェアデバイス、例えばインタフェースを備えていてもよい。
　本明細書において、画像を示すデータまたは信号、すなわち、画像における複数の画素のそれぞれの画素値を表すデータまたは信号の集合を、単に「画像」と称することがある。
　（本開示の基礎となった知見）
　光源を備えたハイパースペクトル撮像システムにおいては、被写体で反射された光または被写体を透過した光のスペクトル情報を取得するために、光源からどのようなスペクトルの光が放射されているのかを知ることが重要である。また、撮影環境または被写体の特性によっては、放射される光のスペクトルを調整する必要性が生じる場合がある。例えば、イメージセンサの画素飽和が生じない（すなわち明るすぎない）輝度で被写体を照明するように光源を調整する必要がある場合がある。一方、暗すぎる照明条件では、イメージセンサの本来の信号と比較してノイズが支配的になるため、被写体を適切な輝度で照明し、良好な信号雑音比（Ｓ／Ｎ比）を得ることが重要である。
　被写体の位置における輝度を調整する方法の一つに、光源を駆動するための電流または電圧などの制御パラメータを調整する方法がある。あるいは、光源の向きを変化させて被写体の位置における輝度を調整する方法も考えられる。
　上記のような方法で輝度を調整する場合、一般的には、調整のたびに被写体の位置における光の輝度分布およびスペクトルの情報を取得する作業が必要になる。これは、光源を駆動するための電流および／または電圧を変更したり、光源の向きを変化させたりすると、一般的に、被写体の位置における輝度分布が変化するからである。上記の作業は、例えば白板などの校正用被写体を撮影して、その輝度分布およびスペクトルの情報を取得することによって行われ得る。
　本発明者らは、被写体の位置における光のスペクトル形状が変化しない条件下で、光源による照明条件を変化させることにより、白板などの校正用被写体を撮影する作業を改めて行うことなく、被写体の位置での輝度の調整が可能であることを見出した。照明条件は、検査または分析の対象物である被写体または白板などの校正用被写体に放射される光量に関する条件であり得る。照明条件は、例えば、光源と被写体との距離、光源を駆動するための電流、電圧、もしくはＰＷＭ（Pulse Width Modulation）信号のデューティ比、または、光源と被写体との間に配置されるＮＤ（Neutral Density）フィルタの減衰率等のパラメータによって規定され得る。本発明者らは、被写体の位置における光のスペクトル形状が大きく変化せず、ほぼ一定として扱うことができるパラメータの範囲が存在することを見出した。例えば、光源の向きを変化させずに光源と被写体との距離を変化させた場合、被写体の位置における光のスペクトル形状が大きく変化せず、ほぼ一定として扱うことができる距離の範囲が存在する。そのような距離などのパラメータの範囲を予め特定しておき、当該パラメータをその範囲内で調整することにより、白板などの校正用被写体を撮影する作業を改めて行うことなく、輝度調整が可能である。以上の知見に基づき、本発明者らは、以下に例示する本開示の実施形態の構成に想到した。
　ここで、「スペクトル形状」とは、ある基準の波長バンドの強度で各波長バンドの強度が規格化されたスペクトル（すなわち光強度の波長分布）の形状を意味する。これに対し、規格化されていないスペクトルにおける各波長バンドの強度を「スペクトル強度」と呼ぶことがある。あるスペクトルと、当該スペクトルにおける各波長バンドの強度が一律に定数倍されたスペクトルとの間では、スペクトル形状は同一であると解釈される。
　以下、本開示の実施形態の概要を説明する。
　図１は、本開示の一態様に係る撮像システムの概略構成を示すブロック図である。撮像システムは、光源５０と、撮像装置１００と、処理装置２００とを備える。撮像装置１００は、光源５０からの光で照明された被写体を撮影して画像データを生成する。画像データは、４つ以上のバンドのそれぞれの画像情報、または４つ以上のバンドのそれぞれの画像情報が１つの画像として圧縮された圧縮画像の情報を含む。処理装置２００は、画像データにおける複数の画素の画素値が所定の条件を満たしているか否かを判定する。所定の条件が満たされていない場合、処理装置２００は、被写体の位置における光源５０からの光のスペクトル形状が変化しない条件下で、光源５０による照明条件を変化させる。
　図２は、処理装置２００によって実行される処理方法の一例を示すフローチャートである。
　ステップＳ１１において、処理装置２００は、撮像装置１００によって生成された画像データを取得する。画像データは、４つ以上のバンドのそれぞれの画像情報を含むデータ、または４つ以上のバンドの画像情報が１つの画像として圧縮された圧縮画像の情報を含むデータである。４つ以上のバンドのそれぞれは、例えば予め設定された対象波長域に含まれる比較的狭い波長域であり得る。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば、約４００ｎｍから約７００ｎｍの可視光の波長域であってもよいし、約７００ｎｍから約２５００ｎｍの近赤外線の波長域であってもよいし、他の波長域であってもよい。各バンドは、例えば５ｎｍ、１０ｎｍ、２０ｎｍ、または５０ｎｍなどの、所定の幅を持つ波長域であり得る。４つ以上のバンドの幅は、同一でもよいし異なっていてもよい。以下の説明において、４つ以上のバンドのそれぞれの画像情報を含む画像データを「ハイパースペクトル画像」と称することがある。ハイパースペクトル画像は、例えば１０以上、３０以上、または５０以上のバンドの画像情報を含んでいてもよい。圧縮画像の情報を含む画像データは、例えば特許文献２に記載されている符号化素子と呼ばれる光学素子を用いた撮像によって生成され得る。特許文献２の開示内容の全体を本明細書に援用する。以下の説明において、圧縮画像の情報を含む画像データを単に「圧縮画像」と呼ぶことがある。圧縮画像は、４つ以上のバンドの画像情報が圧縮されたモノクロ画像である。後述するように、圧縮画像と、符号化素子の分光透過率の空間分布を示すデータとに基づく復元演算により、各バンドの画像を復元することができる。
　ステップＳ１２において、処理装置２００は、取得した画像データにおける複数の画素の画素値が所定の条件を満たしているか否かを判定する。所定の条件が満たされていない場合、ステップＳ１３に進む。所定の条件が満たされている場合、ステップＳ１４に進む。当該条件の具体例については後述する。
　ステップＳ１３において、処理装置２００は、被写体の位置における光のスペクトル形状が変化しない条件下で、光源５０による照明条件を変化させる。処理装置２００は、照明条件を規定するパラメータを、被写体の位置におけるスペクトル形状が変化しない規定範囲内で変更することにより、照明条件を変化させることができる。パラメータは、例えば、光源５０と被写体との距離、光源５０を駆動するための電流、電圧、もしくはＰＷＭ信号のデューティ比、または、光源５０と被写体との間に配置されるＮＤフィルタの減衰率を定めるパラメータであり得る。これにより、スペクトル形状を維持したまま、被写体の位置における輝度を変化させることができる。
　ステップＳ１３の後、ステップＳ１２に戻る。処理装置２００は、ステップＳ１２において所定の条件が満たされるまで、照明条件を変化させる。所定の条件が満たされると、ステップＳ１４に進み、処理装置２００は、照明条件を現在の条件で確定する。
　「スペクトル形状が変化しない」とは、スペクトル形状が全く変化しないことを意味するのではなく、スペクトル形状の変化が、目的または用途に応じた許容範囲内に収まっていることを意味する。スペクトル形状の変化は、スペクトルをバンド数Ｎ（Ｎは４以上の整数）の次元をもつベクトルであるものとして、ベクトル間の角度または内積に基づいて評価され得る。例えば、２つのスペクトルを表す２つのＮ次元ベクトル間の角度が基準値未満であれば、両者のスペクトル形状が同一であるといえる。基準値は、例えば１°、３°、５°、または１０°などの比較的小さい値であり得る。ベクトル間の角度に基づいてスペクトル形状の変化の大きさを評価する方法の詳細については後述する。
　撮像システムは、光源５０と被写体との距離を調整する調整装置をさらに備えていてもよい。処理装置２００は、上記所定の条件が満たされていない場合、調整装置に、光源５０と被写体との距離を規定範囲内で変化させることによって照明条件を変化させてもよい。その場合、処理装置２００は、光源５０と被写体との距離を、照明条件を規定するパラメータとして決定する。
　ここで、「規定範囲」は、被写体の位置において、光源５０からの光のスペクトル形状がほぼ一定であると考えることができるパラメータの範囲である。規定範囲は、例えば白板などの校正用被写体を用いた撮影によって事前に決定され得る。規定範囲は、処理装置２００の内部または外部の記憶装置に予め記憶され得る。処理装置２００は、記憶装置に記憶された規定範囲に基づいてパラメータを規定範囲内で変化させることによって照明条件を変化させるように構成され得る。例えば、光源５０と被写体との距離を変化させることによって照明条件を変化させる場合、処理装置２００は、当該距離を規定範囲内で変化させるように調整装置を制御する。
　上記の構成によれば、被写体の位置における照明光のスペクトル形状を維持しながら、輝度を調整することができる。このため、輝度を調整した後に従来必要であった白板などの校正用被写体のスペクトル情報を改めて取得する作業を省略することができる。これにより、被写体のスペクトル情報をより効率的に取得することが可能になる。
　上記の構成において、「所定の条件」は、例えば、撮像装置１００によって生成された画像データ（以下、単に「画像」とも称する。）における複数の画素の各々の画素値が所定の範囲内にあるという条件を含み得る。すなわち、複数の画素の画素値が所定の条件を満たしているか否かを判定することは、複数の画素の各々の画素値が所定の範囲内にあるか否かを判定することを含み得る。所定の範囲は、例えば、撮像装置１００に含まれるイメージセンサの画素飽和が生じず（すなわち明るすぎず）、かつ良好なＳ／Ｎ比が得られる（すなわち暗すぎない）範囲であり、予め設定され得る。なお、「複数の画素の各々の画素値が所定の範囲内にある」とは、画像データにおける全ての画素の画素値が所定の範囲内にあることを意味するとは限らない。すなわち、「複数の画素」は、画像データにおける全ての画素を意味するとは限らず、一部の画素を意味する場合もある。例えば、予め設定された割合（８０％、６０％、または４０％など）の画素の画素値が所定の範囲内にあるという条件が設定されてもよい。
　「所定の条件」は、上記の条件に代えて、または上記の条件に加えて、撮像装置１００によって生成された画像データにおける複数の画素の画素値から計算されるコントラスト値が閾値を超えるという条件を含んでいてもよい。すなわち、複数の画素の画素値が上記条件を満たしているか否かを判定することは、複数の画素の画素値から計算されるコントラスト値が閾値を超えるか否かを判定することを含んでいてもよい。コントラスト値は、例えば、画像のヒストグラム（すなわち、画素値と画素値の頻度との関係を表すグラフ）における画素値の広がりの程度を表す指標値である。コントラスト値は、例えば、画像のヒストグラムにおける半値幅、最大画素値と最小画素値との差、分散、または標準偏差などを指標として、定量的に決定され得る。圧縮画像に含まれる複数の画素のコントラストは、撮像時の波長バンド毎の符号化におけるランダム性を反映する。したがって、コントラストを大きくすることにより、符号化性能を高くすることができ、後述する復元演算における解の収束性を向上させることができる。よって、圧縮画像の情報を含む画像データについて所定の条件を満たしているか否かを判定する場合には、コントラスト値が閾値を超えるという条件を課すことにより、圧縮画像から各バンドの画像を復元する処理における復元誤差を低減することができる。
　図２に示すように、処理装置２００は、ステップＳ１２において所定の条件が満たされていない場合、照明条件を規定するパラメータを規定範囲内で変化させる動作を、上記所定の条件が満たされるまで繰り返すように構成されていてもよい。そのような構成によれば、被写体を適切な輝度で照明するように光源５０と被写体との距離などのパラメータを自動で調整することが可能である。例えば、処理装置２００は、所定の条件が満たされていない場合、調整装置に、光源５０と被写体との距離を規定範囲内で変化させる動作を、上記所定の条件が満たされるまで繰り返すように構成されていてもよい。
　調整装置は、光源５０の向きを変化させることなく、光源５０と被写体との距離を変化させるように構成され得る。例えば、調整装置は、光源５０を被写体から遠ざける方向または被写体に近付ける方向に並進移動させるリニアアクチュエータなどのアクチュエータを含み得る。そのような構成により、光源５０の向きを固定したまま、光源５０と被写体との距離を調整することができる。これにより、被写体を照明する光のスペクトル形状を維持しながら輝度を調整することが容易になる。
　処理装置２００は、光源５０と被写体との距離を変化させる代わりに、光源５０を駆動するための制御パラメータを変化させることによって被写体の位置での輝度を調整してもよい。すなわち、処理装置２００は、ステップ１２において上記所定の条件が満たされていない場合、光源５０を駆動するための制御パラメータを、予め定められた範囲内で変化させることにより、照明条件を変化させるように構成されていてもよい。光源５０を駆動するための制御パラメータは、光源５０の構成によって異なる。光源５０が例えば発光ダイオード（ＬＥＤ）である場合、制御パラメータは、ＬＥＤを駆動するための電流、電圧、またはＰＷＭ信号のデューティ比であり得る。
　撮像システムは、光源５０と被写体との間に、複数のＮＤフィルタから選択される１つのＮＤフィルタを挿入する機構をさらに備えていてもよい。処理装置２００は、上記所定の条件が満たされていない場合、上記機構に、光源５０と被写体との間に挿入されるＮＤフィルタを変更させることにより、照明条件を変化させてもよい。光の減衰率あるいは透過率の異なる複数のＮＤフィルタの中から、使用する１つのＮＤフィルタが選択される。そのような構成によれば、ＮＤフィルタの交換によって、被写体の位置におけるスペクトル形状を変化させることなく、輝度を変化させることができる。
　撮像装置１００は、４つ以上のバンドのそれぞれの画像情報を含む画像データを生成するように構成され得る。例えば、撮像装置１００は、プリズムまたはグレーティングなどの分光素子を用いて波長ごとに光を空間的に分離して各バンドの画像を取得するように構成されていてもよい。あるいは、撮像装置１００は、イメージセンサの前面に、各々が複数のバンドの１つに対応する透過波長域を有する複数の光学フィルタを備えていてもよい。そのような撮像装置１００は、各光学フィルタを透過した光の強度情報に基づいて、各バンドの画像を生成するように構成され得る。撮像装置１００は、４つ以上のバンドにそれぞれ対応する４つ以上のイメージセンサを含んでいてもよい。その場合、各イメージセンサが、対応するバンドの画像を生成する。撮像装置１００は、例えば１０以上または１００以上のバンドのそれぞれの画像情報を含む画像データを生成するハイパースペクトルカメラであってもよい。
　撮像装置１００は、４つ以上のバンドのそれぞれの画像情報が１つの画像として圧縮された圧縮画像の情報を含む画像データを生成するように構成されていてもよい。そのような撮像装置１００は、例えば特許文献２に開示された撮像装置１００と同様の構成を備えていてもよい。例えば、撮像装置１００は、被写体からの光の強度の空間分布を波長ごとに変化させる光学素子と、当該光学素子を通過した光を受けて圧縮画像の情報を含む画像データを生成するイメージセンサとを備えていてもよい。光学素子は、例えば２次元平面内に配置された複数の光学フィルタを含むフィルタアレイであってもよい。フィルタアレイにおける複数の光学フィルタの分光透過率は互いに異なり、複数の光学フィルタのそれぞれの分光透過率は、複数の極大値を示すように設計され得る。そのような構成によれば、圧縮センシングに基づく復元処理によって上記４つ以上のバンドのそれぞれの画像情報を復元することが可能な圧縮画像を生成することができる。
　撮像装置１００が圧縮画像の情報を含む画像データを生成する構成において、処理装置２００は、圧縮画像に基づいて上記４つ以上のバンドのそれぞれの画像を生成するための処理を実行するように構成され得る。その場合、処理装置２００は、圧縮画像と、フィルタアレイなどの光学素子の分光透過率の空間分布を示すデータと、予め校正用被写体（例えば白板）を撮影することによって取得された照明光のスペクトルの空間分布を示すスペクトルデータとに基づいて、上記４つ以上のバンドのそれぞれの画像を生成するように構成され得る。
　このように、処理装置２００は、イメージセンサから出力された圧縮画像の情報を含む画像データに基づいて、４つ以上のバンドのそれぞれの画像情報を含む他の画像データを生成してもよい。また、処理装置２００は、上記所定の条件が満たされている場合に、圧縮画像に基づいて上記４つ以上のバンドのそれぞれの画像を生成するための処理を実行し、上記所定の条件が満たされていない場合には当該処理を実行しないように構成されていてもよい。そのような構成によれば、圧縮画像の画素値が良好な条件を満たす場合に各バンドの画像が生成される。このため、４つ以上のバンドのそれぞれの画像を高い品質で生成することができる。
　圧縮画像に基づいて４つ以上のバンドのそれぞれの画像を生成する処理は、処理装置２００に限らず、撮像装置１００のプロセッサが実行してもよい。その場合、撮像装置１００は、上記のフィルタアレイなどの光学素子と、光学素子を通過した光を受けるイメージセンサと、イメージセンサから出力された信号に基づいて、４つ以上のバンドのそれぞれの画像情報を含む画像データを生成するプロセッサとを備え得る。その場合、プロセッサは、まず、イメージセンサから出力された信号に基づいて圧縮画像を生成する。次に、プロセッサは、当該圧縮画像と、光学素子の分光透過率の空間分布および光源５０からの光のスペクトルの空間分布を反映したデータとに基づく処理を行うことにより、上記４つ以上のバンドのそれぞれの画像を生成するように構成され得る。
　撮像装置１００が上記４つ以上のバンドのそれぞれの画像情報を含む画像データを生成する場合、上記所定の条件は、上記４つ以上のバンドのそれぞれの画像における複数の画素のそれぞれの画素値が所定の範囲内にあるという条件を含んでいてもよい。この条件に代えて、またはこの条件に加えて、上記所定の条件は、上記４つ以上のバンドのそれぞれの画像における複数の画素値から計算されるコントラスト値が閾値を超えるという条件を含んでいてもよい。
　撮像システムは、上記照明条件を規定するパラメータの規定範囲を示すデータを記憶する記憶装置をさらに備え得る。当該規定範囲は、被写体の位置におけるスペクトル形状が変化しないパラメータの範囲を表す。処理装置２００は、上記規定範囲を示すデータに基づいて、上記パラメータを規定範囲内で変化させることにより、照明条件を変化させるように構成され得る。例えば、処理装置２００は、光源５０と被写体との距離の規定範囲を示すデータに基づいて、調整装置に、光源５０と被写体との距離を規定範囲内で変化させるように構成され得る。
　撮像システムは、被写体を支持する支持面を有するステージをさらに備えていてもよい。調整装置は、光源５０をステージの支持面に垂直な方向に移動させることによって光源５０と被写体との距離を変化させるリニアアクチュエータを備えていてもよい。
　処理装置２００は、光源５０からの光によって照明された校正用被写体を撮像装置１００が撮影することによって生成した校正用画像データと、照明条件を規定するパラメータとの関係に基づいて、当該パラメータの規定範囲を決定してもよい。
　処理装置２００は、調整装置に、照明条件を規定するパラメータを変化させながら、撮像装置１００に校正用画像データを生成させ、校正用画像データに基づいて特定される校正用被写体のスペクトル形状の変化量が所定量よりも小さいパラメータの範囲を、規定範囲として決定してもよい。
　処理装置２００は、被写体の撮影の前に、以下の動作を行ってもよい。
・光源５０からの光によって照明された校正用被写体を撮像装置１００が撮影することによって生成した校正用画像データを取得する。
・校正用画像データにおける複数の画素の画素値が上記所定の条件を満たしているか否かを判定する。
・所定の条件が満たされている場合、校正用画像データに基づいて、校正用被写体のスペクトルデータを生成して記憶装置に記憶させる。
・所定の条件が満たされていない場合、照明条件を規定するパラメータを、規定範囲内で変化させる。
　上記の動作により、校正用被写体（例えば白板）のスペクトルデータを良好な照明条件で取得することができる。校正用被写体のスペクトルデータは、圧縮画像に基づいて４つ以上のバンドのそれぞれの画像を生成する処理において用いられる。
　処理装置２００は、撮像装置１００によって生成された画像データにおける複数の画素の画素値が所定の条件を満たしていない場合、光源５０による照明条件を変化させる代わりに、照明条件を変化させるようにユーザに促す警告を表示装置または音声出力装置に出力させてもよい。例えば、光源５０と被写体との距離または光源５０の明るさを変化させたり、光源５０と被写体との間に挿入されるＮＤフィルタを交換したりすることを促す警告を表示装置または音声出力装置に出力させてもよい。そのような機能により、ユーザが手動で照明条件を変化させるように促すことができる。
　本開示の他の態様に係る処理方法は、一又は複数のメモリに記録された複数の命令を実行する一又は複数のプロセッサによって実行される。前記方法は、光源５０からの光で照明された被写体を撮影して画像データを生成する撮像装置１００であって、前記画像データは、４つ以上のバンドのそれぞれの画像情報、または前記４つ以上のバンドの画像情報が１つの画像として圧縮された圧縮画像の情報を含む、撮像装置１００から前記画像データを取得することと、前記画像データにおける複数の画素の画素値が所定の条件を満たしているか否かを判定することと、前記条件が満たされていない場合、前記被写体の位置における前記光源５０からの光のスペクトル形状が変化しない条件下で、前記光源５０による照明条件を変化させることと、を含む。
　以下、本開示の例示的な実施形態をより詳細に説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示すものである。以下の実施形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する趣旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、同一または類似の構成要素に対して同一の符号が付されている。重複する説明は省略または簡略化される場合がある。
　（実施形態）
　図３は、本開示の例示的な実施形態による撮像システム１０００の構成例を模式的に示す図である。撮像システム１０００は、撮像装置１００と、照明装置１２０と、調整装置１３０と、処理装置２００と、ステージ１９０と、支持体１５０とを備える。ステージ１９０は、平坦な支持面（この例では上面）を有し、その上に被写体２７０が配置される。支持体１５０は、ステージ１９０に固定され、ステージ１９０の支持面に垂直な方向に延びた構造を有する。支持体１５０は、撮像装置１００、照明装置１２０、および調整装置１３０を支持する。撮像装置１００は、イメージセンサ１６０を備える。照明装置１２０は、２つの光源１２２を備える。光源１２２の個数は２個に限らず、１個または３個以上であってもよい。調整装置１３０は、光源１２２と被写体２７０との距離を調整するための機構を備える。処理装置２００は、１つ以上のプロセッサおよび１つ以上のメモリを備えるコンピュータである。処理装置２００は、撮像装置１００から出力される画像データに基づいて調整装置１３０を制御する。
　図３の例における調整装置１３０は、照明装置１２０および撮像装置１００のそれぞれを、ステージ１９０の支持面に垂直な方向（以下、「高さ方向」と称することがある。）に移動させる機構を備える。調整装置１３０は、１つ以上のモータを含むアクチュエータ（例えばリニアアクチュエータ）を備え得る。アクチュエータは、例えば電動モータ、油圧、または空圧を利用して、光源１２２と被写体２７０との距離を変化させるように構成され得る。図３に示す例では、調整装置１３０は、照明装置１２０だけでなく撮像装置１００の位置を変化させることができる。調整装置１３０は、撮像装置１００の位置を変化させる機構を備えていなくてもよい。調整装置１３０は、ステージ１９０と光源１２２との距離を計測する計測器も備えている。
　図３の例における支持体１５０には、ステージ１９０の支持面からの高さを示す目盛が設けられている。目盛に基づいて撮像装置１００および光源１２２の高さ方向における位置を知ることができる。
　撮像装置１００は、例えば４つ以上のバンドのそれぞれの画像の情報を含む画像データを生成するカメラであり得る。撮像装置１００は、例えば１０以上のバンドのそれぞれの画像の情報を含むハイパースペクトル画像を生成するように構成され得る。あるいは、撮像装置１００は、特許文献２に開示されているような、４つ以上のバンドのそれぞれの画像の情報が１つの画像として圧縮された圧縮画像の情報を含む画像データを生成するカメラであってもよい。圧縮センシングに基づく復元処理により、圧縮画像のデータから、４つ以上のバンドのそれぞれの画像データを復元することができる。圧縮センシングに基づく復元処理の具体例については後述する。撮像装置１００は、光源１２２からの光で照明された被写体２７０を撮影して、４つ以上のバンドのそれぞれの画像情報、または４つ以上のバンドの画像情報が１つの画像として圧縮された圧縮画像の情報を含む画像データを生成する。撮像装置１００は、静止画像を取得してもよいし、動画像を取得してもよい。撮像装置１００の具体的な構成例については、後述する。
　照明装置１２０は、少なくとも１つの光源１２２を含む装置であり、ステージ１９０上の被写体２７０を照明する。光源１２２から出射される光は、例えば可視光、赤外線、または紫外線であり得る。なお、本明細書においては、可視光に限らず、赤外線および紫外線を含む電磁波を「光」と称する。図３に示す例では、２つの光源１２２が、撮像装置１００の両側に配置されているが、光源１２２の個数および配置はこの例に限定されず、適宜変更が可能である。
　処理装置２００は、光源１２２、撮像装置１００、および調整装置１３０を制御するコントローラとしての機能を有する。処理装置２００は、光源１２２に点灯を指示し、撮像装置１００に撮影を指示する。処理装置２００は、さらに、撮像装置１００から出力された被写体２７０の画像データに基づいて、調整装置１３０に、光源１２２と被写体２７０との距離を調整させる。具体的には、処理装置２００は、まず、画像データにおける複数の画素の画素値が所定の条件を満たしているか否かを判定する。当該条件が満たされていない場合、処理装置２００は、調整装置１３０に、光源１２２と被写体２７０との距離を、規定範囲内で変化させる。例えば、処理装置２００は、当該条件が満たされていない場合、調整装置１３０に光源１２２と被写体２７０との距離を規定範囲内で一定の距離だけ変化させる動作を、上記条件が満たされるまで繰り返す。このように、本実施形態では、処理装置２００は、光源１２２と被写体２７０との距離を変化させることにより、光源１２２による照明条件を変化させる。
　規定範囲は、白板などの校正用被写体を撮像装置１００が撮影することによって取得した校正用画像データに基づいて決定される。例えば、処理装置２００は、校正用画像データと、光源１２２と校正用被写体との距離との関係に基づいて規定範囲を決定する。具体的には、処理装置２００は、調整装置１３０に、光源１２２と校正用被写体との距離を変化させながら、撮像装置１００に校正用画像データを生成させる。処理装置２００は、例えば、校正用画像データに基づいて特定される校正用被写体のスペクトル形状が一定とみなせる距離の範囲を規定範囲として決定する。あるいは、処理装置２００は、校正用被写体のスペクトル形状が一定とみなすことができ、かつ、輝度が所定の範囲内に収まる距離の範囲を規定範囲として決定してもよい。処理装置２００は、決定した規定範囲を、例えば処理装置２００内のメモリなどの記憶装置に記憶させる。
　［光源の位置調整］
　図４Ａは、本実施形態における撮像システム１０００を用いたハイパースペクトル画像の生成方法の一例を示すフローチャートである。図４Ａの例では、撮像装置１００は、ハイパースペクトル画像を構成する複数（例えば１０から１００、またはそれ以上）のバンドの画像情報が１つの画像として圧縮された圧縮画像を生成する。撮像装置１００は、特許文献２に開示されているように、複数の光学フィルタを含むフィルタアレイを通して撮影を行うことにより、圧縮画像を生成する。複数の光学フィルタの各々は、個別の分光透過率を有し、各フィルタの分光透過率は複数の波長において極大値を有する。分光透過率は、透過率の波長依存性を示し、透過スペクトルとも称する。処理装置２００は、生成された圧縮画像と、フィルタアレイにおける各フィルタの分光透過率のデータと、被写体の位置における光源１２２からの光のスペクトルのデータとに基づいてハイパースペクトル画像を復元する。図４Ａの例において、被写体の位置における光源１２２からの光のスペクトルのデータは、校正用被写体である白板を撮影することによって取得される。
　図４Ａに示す方法は、校正用被写体である白板のスペクトルデータを取得するステップＳ１００と、白板のスペクトルデータを用いて被写体のハイパースペクトル画像を生成するステップＳ２００とを含む。ステップＳ１００は、ステップＳ１０１からＳ１０７を含む。ステップＳ２００は、ステップＳ２０１からＳ２０６を含む。
　ステップＳ１０１において、ステージ１９０に配置された白板から所定の距離だけ離れた初期位置に撮像装置１００および光源１２２が配置される。撮像装置１００および光源１２２の初期位置への配置は、処理装置２００の制御のもとで調整装置１３０によって実行され得る。あるいは、ユーザが手動で撮像装置１００および光源１２２を初期位置に配置してもよい。
　ステップＳ１０２において、撮像装置１００の撮影パラメータが決定される。具体的には、取得される画像の輝度に影響する露光時間およびゲインなどのパラメータが決定される。これらのパラメータは、例えばユーザからの入力に従って設定されてもよいし、自動で適切な値に設定されてもよい。
　ステップＳ１０３において、撮像装置１００は、ステージ１９０に配置された白板を撮影して圧縮画像を取得する。撮影は、例えばユーザによる操作または処理装置２００からの指示に従って実行され得る。
　ステップＳ１０４において、処理装置２００は、取得された圧縮画像に含まれる複数の画素の各々の画素値が所定の範囲内にあるか否かを判定する。所定の範囲は、圧縮画像に基づいて良好なハイパースペクトル画像を復元できる範囲であり、処理装置２００のメモリなどの記憶装置に予め記録されている。所定の範囲の上限は、例えば、イメージセンサの光検出素子が区別できる受光量の上限に基づいて決定され得る。上限を超えると、画素値が一定の値になり、上限以上の画素値の差を検出できなくなる。その場合、上限以上の画素値の部分に関して正しい復元画像を得ることが困難になる。一方、所定の範囲の下限は、復元演算によって誤差の小さい復元画像を得ることができる画素値の下限値である。画素値が低いほど、ノイズの影響が相対的に大きくなるため、復元演算で正確な復元画像を得ることが困難になる。下限値を設定することにより、ノイズに由来する復元演算の誤差が一定以下であることを担保することができる。所定の範囲の上限は例えば画素値の最大値の１００％に近い値、下限は例えば画素値の最大値の２０％から５０％以上の値に設定され得る。そのような範囲を設定することにより、輝度レンジの幅を大きくし、輝度の差を見分けやすくすることができる。処理装置２００は、圧縮画像に含まれる全ての画素の画素値が所定の範囲内にあるか否かを判定してもよい。あるいは、処理装置２００は、圧縮画像に含まれる画素のうち、所定の割合（例えば、８０％、７０％、または６０％など）の画素の画素値が所定の範囲内にあるか否かを判定してもよい。そのような判定により、圧縮画像における少数の画素の画素値が所定の範囲から外れている場合に処理が先に進まないといった事態を回避することができる。
　ステップＳ１０４における判定がＮｏの場合、ステップＳ１０５に進む。ステップＳ１０４における判定がＹｅｓの場合、ステップＳ１０６に進む。
　ステップＳ１０５において、処理装置２００は、調整装置１３０に、光源１２２の向き（すなわち角度）を変化させることなく、光源１２２と白板との距離を規定範囲内で変更させる。例えば、処理装置２００は、調整装置１３０に、光源１２２の高さ方向の位置を、上方向または下方向に予め設定された単位長さだけ変化させる。その後、ステップＳ１０３に戻り、撮像装置１００によって白板の圧縮画像が再度取得される。ステップＳ１０３からＳ１０５の動作が、ステップＳ１０４においてＹｅｓと判定されるまで繰り返される。なお、光源１２２が初期位置から上方向または下方向に単位長さずつ移動した結果、ステップＳ１０４においてＹｅｓと判定されることなく、光源１２２と白板との距離が規定範囲の上限または下限に達することがある。その場合、処理装置２００は、光源１２２を初期位置に戻し、それまでとは反対の方向に光源１２２を単位長さずつ移動させながら同様の動作を行ってもよい。規定範囲のいずれの位置でもステップＳ１０４の判定がＹｅｓにならない場合、処理装置２００は、調整装置１３０の動作を停止し、ディスプレイなどの外部の装置に警告を出力してもよい。
　図４Ａの例では、処理装置２００は、光源１２２の高さを規定範囲内で変化させるが、規定範囲の上限または下限に達してもステップＳ１０４の判定がＹｅｓにならない場合、規定範囲を超えて光源１２２を移動させてもよい。処理装置２００は、光源１２２が規定範囲外の位置においてステップＳ１０４の判定がＹｅｓになった場合、その位置を示す情報を含む警告を出力してもよい。
　ステップＳ１０４において、白板の圧縮画像に含まれる複数の画素の各々の画素値が所定の範囲内にあると判定された場合、ステップＳ１０６に進む。ステップＳ１０６において、処理装置２００は、白板の圧縮画像からハイパースペクトル画像を復元する。復元処理の詳細については後述する。これにより、白板のスペクトルデータが得られる。白板のスペクトルデータは、複数のバンドのそれぞれの画像における各画素の反射光強度を示すデータであり得る。
　続くステップＳ１０７において、処理装置２００は、白板のスペクトルデータを記憶装置に記憶させる。記憶装置は、例えば処理装置２００内のメモリ、または処理装置２００の外部のストレージ等の任意の記憶装置であり得る。
　以上のステップＳ１０１からＳ１０７により、白板のスペクトルデータを取得することができる。白板のスペクトルデータは、以後の被写体のハイパースペクトル画像を取得する動作において、背景光（バックグラウンド光）の影響を除去するために用いられる。なお、本実施形態では白板が校正用被写体として用いられるが、白板以外の校正用被写体が用いられてもよい。
　本実施形態では、光源１２２と被写体との距離が、調整装置１３０による光源１２２の可動範囲よりも狭い規定範囲内で調整される。規定範囲として、被写体の位置における光のスペクトル形状が大きく変化しない範囲が予め決定される。スペクトル形状の変化は、スペクトルを波長バンドの分割数Ｎの次元をもつベクトルであるものとして、ベクトル間の角度または内積に基づいて評価され得る。例えば、スペクトルを表す２つのＮ次元ベクトル間の角度が閾値未満であれば、両者のスペクトル形状が同一であるものとして処理することができる。規定範囲を決定する方法の具体例については後述する。スペクトル形状が大きく変化しない規定範囲内で光源１２２と被写体との距離を変化させる限り、ステップＳ１０７で記憶されたスペクトルデータは、変更することなく共通して使用できる。すなわち、規定範囲内で光源と被写体との距離を変化させる場合、白板のスペクトルデータを改めて取得する必要はない。これに対し、従来の方法では、光源と被写体との距離を変化させた場合に白板のスペクトルデータを再度取得する必要があった。本実施形態では、スペクトル形状が大きく変化しない規定範囲を予め決定しておき、その範囲内で距離を変化させることにより、白板（または他の校正用被写体）のスペクトルデータを改めて取得する作業を省略できる。これにより、被写体のハイパースペクトル画像をより効率的に取得することが可能である。
　続いて、ステップＳ２００における被写体のハイパースペクトル（ＨＳ）画像を取得する動作を説明する。白板のスペクトルデータが取得されると、検査対象の被写体のハイパースペクトル画像を取得する動作が可能になる。ステップＳ２００においては、被写体の輝度の調整が行われる。これは、被写体は特有の色を有し、反射スペクトルが被写体によって異なるため、白板においては適切な輝度であっても被写体にとっては暗すぎたりすることがあるからである。
　まずステップＳ２０１において、ステージ１９０に検査対象の被写体を配置する。ステージ１９０に白板が配置されている場合は白板を取り除いてから被写体を配置する。
　ステップＳ２０２において、撮像装置１００は、被写体を撮影して圧縮画像を取得する。撮影は、例えばユーザによる操作または処理装置２００からの指示に従って実行され得る。
　ステップＳ２０３において、処理装置２００は、取得された圧縮画像に含まれる複数の画素の画素値が所定の範囲内にあるか否かを判定する。この処理は、ステップＳ１０４における処理と同様である。所定の範囲は、前述のとおり、圧縮画像に基づいて良好なハイパースペクトル画像を復元できる範囲として予め設定される。ステップＳ１０４と同様、処理装置２００は、圧縮画像に含まれる全ての画素ではなく、そのうちの所定の割合（例えば、８０％、７０％、または６０％など）の画素の画素値が所定の範囲内にあるか否かを判定してもよい。
　ステップＳ２０３における判定がＮｏの場合、ステップＳ２０４に進む。ステップＳ２０３における判定がＹｅｓの場合、輝度の調整を終了してステップＳ２０５に進む。
　ステップＳ２０４において、処理装置２００は、調整装置１３０に、光源１２２と被写体との距離を規定範囲内で変更させる。この動作は、ステップＳ１０５の動作と同様である。例えば、処理装置２００は、調整装置１３０に、光源１２２の高さ方向の位置を、上方向または下方向に予め設定された単位長さだけ変化させる。その後、ステップＳ２０２に戻り、撮像装置１００によって被写体の圧縮画像が再度取得される。ステップＳ２０２からＳ２０４の動作が、ステップＳ２０３においてＹｅｓと判定されるまで繰り返される。なお、光源１２２が初期位置から上方向または下方向に単位長さずつ移動した結果、規定範囲の上限または下限に達することがある。その場合、処理装置２００は、光源１２２を初期位置に戻し、それまでとは反対の方向に単位長さずつ移動させながら同様の動作を行ってもよい。規定範囲のいずれの位置でもステップＳ２０３の判定がＹｅｓにならない場合、処理装置２００は、調整装置１３０の動作を停止し、ディスプレイなどの外部の装置に警告を出力してもよい。警告は、ステップＳ１００における白板のスペクトルデータを取得する動作からやり直すことを推奨するメッセージを含んでいてもよい。
　また、規定範囲内においてステップＳ２０３の判定がＹｅｓにならなかった場合、処理装置２００は、光源１２２を駆動する電流または電圧などの制御パラメータを、スペクトル形状が変化しない範囲内で変化させることによって、ステップＳ２０３の判定がＹｅｓになるように調整してもよい。
　ステップＳ２０３において、被写体の圧縮画像に含まれる画素の画素値が所定の範囲内にあると判定された場合、ステップＳ２０５に進む。ステップＳ２０５において、処理装置２００は、被写体の圧縮画像からハイパースペクトル画像を復元する。この処理は、ステップＳ１０６の処理と同様であり、復元処理の詳細については後述する。
　続くステップＳ２０６において、処理装置２００は、ステップＳ１０７で記憶された白板のスペクトルデータを記憶装置から読み出し、ステップＳ２０５で復元したハイパースペクトル画像における各バンドの各画素の値を、白板のスペクトルデータにおける対応する値で除算する。これにより、光源１２２からの光の輝度分布の影響が除去されたハイパースペクトル画像が得られる。処理装置２００は、このハイパースペクトル画像を記憶装置に記憶させる。処理装置２００は、このハイパースペクトル画像をディスプレイに表示させてもよい。
　以上の動作により、被写体のハイパースペクトル画像を効率的に取得することができる。従来の方法に従えば、被写体の位置における輝度を調整するために光源１２２からの出射光のパワーまたは光源１２２の向きもしくは位置を変更するたびに、白板のスペクトルデータを取得する必要があった。言い換えれば、従来の方法では、白板のスペクトルデータの取得と被写体のスペクトルデータの取得とを交互に繰り返す必要があった。そのような作業は、非常に面倒であり、改善が求められていた。例えば、被写体の厚さと白板の厚さとは一般に異なるため、光源からの距離を同一にするため、被写体と白板とを変更するたびに両者の厚さの差をキャンセルするための調整が必要であった。これに対し、本実施形態においては、ステップＳ２０３においてＮｏと判定された場合、光源と被写体との距離を、スペクトル形状が変化しない規定範囲内で変更するため、白板のスペクトルデータを改めて取得する作業を省略することができる。このため、従来の方法と比較して、被写体のハイパースペクトル画像を効率的に取得することが可能である。
　ステップＳ２０６の後は、白板のスペクトルデータを改めて取得することなく、被写体のハイパースペクトル画像の取得を継続して行うことができる。例えば、撮影を連続的に行ってハイパースペクトル動画像を生成することも可能である。
　図４Ａに示す例においては、ステップＳ１００に含まれる動作によって白板のスペクトルデータを取得した後に、ステップＳ２００に含まれる動作を実行することで被写体のハイパースペクトル画像が生成される。しかし、これらの順番は逆であってもよい。すなわち、先にステップＳ２００のうち、ステップＳ２０６を除く動作を実行することで被写体のハイパースペクトル画像を生成し、その後にステップＳ１００に含まれる動作によって白板のスペクトルデータを取得してもよい。そして、ハイパースペクトル画像における各バンドの画像の各画素値を、白板のスペクトルデータにおける対応する値で除算することによって、最終的なハイパースペクトル画像を生成してもよい。その場合においても、光源と被写体との距離、および光源と白板との距離は、被写体の位置でのスペクトル形状が変化しない規定範囲内で変更される。
　図４Ａの例では、圧縮画像に基づいて白板または被写体の位置における光量が適正か否かが評価されるが、この評価をハイパースペクトル画像に基づいて行ってもよい。以下、そのような方法の一例を説明する。
　図４Ｂは、図４Ａに示す方法の変形例を示すフローチャートである。図４Ｂに示す例では、圧縮画像ではなく、ハイパースペクトル画像に基づいて光量が適正か否かが評価される。
　図４Ｂに示す方法は、白板のスペクトルデータを取得するステップＳ１５０と、被写体のハイパースペクトル画像を取得するステップＳ２５０とを含む。ステップＳ１５０と図４ＡにおけるステップＳ１００との相違点は、ステップＳ１０６がステップＳ１０３の次に行われ、ステップＳ１０４の代わりにステップＳ１５４がステップＳ１０６の次に行われる点にある。また、ステップＳ２５０と図４ＡにおけるステップＳ２００との相違点は、ステップＳ２０５がステップＳ２０２の次に行われ、ステップＳ２０３の代わりにステップＳ２５３がステップＳ２０５の次に行われる点にある。以下、図４Ａの例とは異なる点を主に説明する。
　図４Ｂの例におけるステップＳ１０１からＳ１０３の動作は、図４Ａの例と同じである。ステップＳ１０３の後、ステップＳ１０６に進み、処理装置２００は、白板の圧縮画像からハイパースペクトル画像を復元する。復元の方法は図４Ａの例と同じであり、詳細は後述する。
　続くステップＳ１５４において、処理装置２００は、白板のハイパースペクトル画像に含まれる複数の画素の各々の画素値が所定の範囲内にあるか否かを判定する。この処理は、ハイパースペクトル画像を構成する複数のバンドの各々の画像について行われ得る。すなわち、ハイパースペクトル画像が第１のバンドに対応する第１画像と、第２のバンドに対応する第２画像を含む場合、第１の画像に含まれる複数の画素の各々の画素値が所定の範囲内にあるか否かが判定され、かつ第２の画像に含まれる複数の画素の各々の画素値が所定の範囲内にあるか否かが判定され得る。バンドすなわち波長域ごとに所定の範囲が異なっていてもよい。処理装置２００は、白板のハイパースペクトル画像に含まれる各バンドの画像における全ての画素の画素値が所定の範囲内にあるか否かを判定してもよい。あるいは、処理装置２００は、ハイパースペクトル画像に含まれる各バンドの画像における画素のうち、所定の割合（例えば、８０％、７０％、または６０％など）の画素の画素値が所定の範囲内にあるか否かを判定してもよい。また、ハイパースペクトル画像に含まれる全てのバンドではなく一部のバンドの画像における一部または全部の画素の画素値が所定の範囲内にあるか否かを判定してもよい。
　ステップＳ１５４における判定がＮｏの場合、ステップＳ１０５に進み、光源１２２と白板との距離が規定範囲内で変更される。その後、ステップＳ１０３に戻り、白板の圧縮画像が再度取得される。ステップＳ１０３、Ｓ１０６、Ｓ１５４、Ｓ１０５の動作が、ステップＳ１５４においてＹｅｓと判定されるまで繰り返される。
　ステップＳ１５４においてＹｅｓと判定されると、ステップＳ１０７に進み、処理装置２００は、白板のスペクトルデータを記憶装置に記憶させる。
　ステップＳ１０７の後、ステップＳ２５０における被写体のハイパースペクトル画像の取得が可能となる。
　ステップＳ２０１およびＳ２０２の動作は、図４Ａの例と同じである。ステップＳ２０２の後、ステップＳ２０５に進み、処理装置２００は、被写体の圧縮画像からハイパースペクトル画像を復元する。
　続くステップＳ２５３において、処理装置２００は、被写体のハイパースペクトル画像に含まれる複数の画素の各々の画素値が所定の範囲内にあるか否かを判定する。この処理は、ハイパースペクトル画像を構成する複数のバンドの各々の画像について行われ得る。バンドすなわち波長域ごとに所定の範囲が異なっていてもよい。この処理は、ステップＳ１５４の処理と同様である。ステップＳ１５４と同様、処理装置２００は、ハイパースペクトル画像に含まれる各バンドの画像における全ての画素ではなく、そのうちの所定の割合（例えば、８０％、７０％、または６０％など）の画素の画素値が所定の範囲内にあるか否かを判定してもよい。また、ハイパースペクトル画像に含まれる全てのバンドではなく一部のバンドの画像における一部または全部の画素の画素値が所定の範囲内にあるか否かを判定してもよい。
　ステップＳ２５３における判定がＮｏの場合、ステップＳ２０４に進み、光源１２２と被写体との距離が規定範囲内で変更される。その後、ステップＳ２０２に戻り、被写体の圧縮画像が再度取得される。ステップＳ２０２、Ｓ２０５、Ｓ２５３、Ｓ２０４の動作が、ステップＳ２５３においてＹｅｓと判定されるまで繰り返される。
　ステップＳ２５３においてＹｅｓと判定されると、ステップＳ２０６に進み、処理装置２００は、被写体のハイパースペクトル画像における各バンドの各画素の値を、白板のスペクトルデータにおける対応する値で割る。これにより、光源１２２からの光の輝度分布の影響が除去されたハイパースペクトル画像が得られる。
　図４Ｂに示す例において、ステップＳ１５０の動作とステップＳ２５０（ステップＳ２０６を除く）の動作の順序は逆であってもよい。すなわち、先にステップＳ２５０のうち、ステップＳ２０６を除く動作を実行することで被写体のハイパースペクトル画像を生成し、その後にステップＳ１００に含まれる動作によって白板のスペクトルデータを取得してもよい。そして、被写体のハイパースペクトル画像における各バンドの画像の各画素値を、白板のスペクトルデータにおける対応する値で除算することによって、最終的なハイパースペクトル画像を生成してもよい。
　以上のように、圧縮画像の代わりにハイパースペクトル画像に基づいて光量が適正か否かを評価した場合でも、図４Ａの例と同様の効果を得ることができる。なお、圧縮画像およびハイパースペクトル画像の両方に基づいて、光量が適正か否かを評価してもよい。例えば、図４Ａに示す例におけるステップＳ１０６の後、図４Ｂに示すステップＳ１５４の動作を行い、ステップＳ１５４においてＮｏと判定された場合にステップＳ１０５に進み、ステップＳ１５４においてＹｅｓと判定された場合にステップＳ１０７に進むようにしてもよい。同様に、図４Ａに示す例におけるステップＳ２０５の後、図４Ｂに示すステップＳ２５３の動作を行い、ステップＳ２５３においてＮｏと判定された場合にステップＳ２０４に進み、ステップＳ２５３においてＹｅｓと判定された場合にステップＳ２０６に進むようにしてもよい。このように、処理装置２００は、圧縮画像およびハイパースペクトル画像の少なくとも一方に基づいて、光量または輝度が適正か否かを判定してもよい。すなわち、処理装置２００は、圧縮画像、ハイパースペクトル画像、または、圧縮画像及びハイパースペクトル画像に基づいて、光量または輝度が適正か否かを判定してもよい。
　上記の各例では、ステップＳ２０３またはＳ２５３において、圧縮画像またはハイパースペクトル画像における各バンドの画像に含まれる複数の画素の各々の画素値が所定の範囲内にあるか否かが判定される。この判定に代えて、またはこの判定に加えて、画像のコントラストに基づく判定が行われてもよい。例えば、処理装置２００は、圧縮画像またはハイパースペクトル画像における各バンドの画像における複数の画素の画素値から計算されるコントラスト値が閾値を超える場合に、被写体のハイパースペクトル画像における各バンドの画像の各画素の値を白板のスペクトルデータにおける対応する値で除算して出力する処理を行ってもよい。コントラスト値は、画素値と画素値の頻度との関係を表すヒストグラムにおける画素値の広がりの程度を表す指標値である。コントラスト値は、例えば、画像のヒストグラムにおける半値幅、最大画素値と最小画素値との差、分散、または標準偏差などに基づいて、定量的に決定され得る。図４ＡにおけるステップＳ２０３、または図４ＢにおけるステップＳ２５３において、コントラスト値が計算され得る。コントラスト値が閾値を超えない場合、ステップＳ２０４に進み、光源１２２と白板との距離が規定範囲内で調整され得る。
　圧縮画像に含まれる複数の画素の波長バンド毎のコントラストは、波長バンド毎の符号化におけるランダム性に相当する。したがって、コントラストを大きくすることにより、符号化性能を高くすることができ、解の収束性を向上させることができる。よって、圧縮画像の情報を含む画像データについて所定の条件を満たしているか否かを判定する場合には、コントラスト値が閾値を超えるという条件を課すことにより、圧縮画像から各バンドの画像を復元する処理における復元誤差を低減することができる。これにより、さらに良好なハイパースペクトル画像を生成することが可能になる。
　上記の各例では、撮像装置１００は圧縮画像を生成し、処理装置２００は圧縮画像からハイパースペクトル画像を復元する。このような構成に代えて、撮像装置１００自身がハイパースペクトル画像を生成するように構成されていてもよい。すなわち、撮像装置１００は、ハイパースペクトルカメラであってもよい。その場合、撮像装置１００は、上記のフィルタアレイを用いた圧縮センシングに基づく処理によってハイパースペクトル画像を生成するカメラに限定されない。撮像装置１００は、他の方法でハイパースペクトル画像を生成するカメラであってもよい。ハイパースペクトル画像は、例えばプリズムまたはグレーティングなどの分光素子を用いた撮像によって取得することができる。プリズムを用いる場合、対象物からの光がプリズムを通過すると、当該光はプリズムの出射面から波長に応じた出射角で出射される。グレーティングを用いる場合、対象物からの光がグレーティングに入射すると、当該光は波長に応じた回折角で回折される。対象物からの光をプリズムまたはグレーティングによってバンドごとに分離し、分離された光をバンドごとに検出することにより、ハイパースペクトル画像を得ることができる。
　圧縮センシング方式とは異なる方式のハイパースペクトルカメラが用いられる場合、図４Ｂに示すステップＳ１０３およびＳ１０６の動作の代わりに、撮像装置１００による白板のハイパースペクトル画像の取得が行われ得る。同様に、図４Ｂに示すステップＳ２０２およびＳ２０５の動作の代わりに、撮像装置１００による被写体のハイパースペクトル画像の取得が行われ得る。
　［規定範囲の決定］
　次に、光源１２２と対象物との距離の規定範囲を決定する方法の例を説明する。規定範囲は、例えば、光源１２２からの光のスペクトル形状の変化が十分に小さい範囲の上限と下限とを探索する方法で決定され得る。規定範囲は、図４Ａまたは図４Ｂに示す動作が行われる前に決定される。
　図５は、規定範囲を決定する方法の一例を示すフローチャートである。この例では、撮像装置１００は、図４Ａの例と同様、ハイパースペクトル画像を復元可能な圧縮画像を取得する。処理装置２００は、圧縮画像に基づいてハイパースペクトル画像を復元する。図５に示す方法は、ステップＳ３０１からＳ３１６の動作を含む。以下、各ステップの動作を説明する。
　ステップＳ３０１において、白板から所定の距離の位置（以下、「初期位置」と呼ぶ。）に、撮像装置１００および光源１２２が配置される。この動作は、ユーザが手動で行ってもよいし、処理装置２００からの指令に基づいて調整装置１３０が行ってもよい。
　ステップＳ３０２において、処理装置２００は撮像装置１００に撮影を実行させ、白板の圧縮画像を取得させる。
　ステップＳ３０３において、処理装置２００は、ステップＳ３０２で取得された圧縮画像からハイパースペクトル画像を復元する。この復元処理は、図４Ａに示すステップＳ１０６の処理と同様である。
　ステップＳ３０４において、処理装置２００は、調整装置１３０に、光源１２２の高さ方向の位置を所定量（例えば、０．５ｍｍ、１ｃｍ、２ｃｍなど）だけ増加させる。これにより、光源１２２と白板との距離が所定量（「単位長さ」とも呼ぶ。）だけ増加する。
　ステップＳ３０５において、処理装置２００は、再度、撮像装置１００に撮影を実行させ、白板の圧縮画像を取得させる。
　ステップＳ３０６において、処理装置２００は、ステップＳ３０５で取得された圧縮画像からハイパースペクトル画像を復元する。この復元処理も、図４Ａに示すステップＳ１０６の処理と同様である。
　ステップＳ３０７において、処理装置２００は、ステップＳ３０３で復元されたハイパースペクトル画像と、ステップＳ３０６で復元されたハイパースペクトル画像とを比較して、光源１２２が初期位置にあるときと変更後の位置にあるときとで、スペクトル形状に変化があるか否かを判定する。
　スペクトル形状に変化があるか否かは、例えば、Spectral Angle Mapper（ＳＡＭ）法を用いて判定され得る。以下、ＳＡＭ法によるスペクトル形状の変化の有無の判定方法の例を説明する。
　図６Ａは、ハイパースペクトル画像のデータ構造の一例を示す図である。図６Ａの例では、ハイパースペクトル画像は、Ｎ個の画像２０Ｗ１，２０Ｗ２，・・・，２０ＷＮの集合体として表現される。このような構造を有するハイパースペクトル画像のデータは「ハイパースペクトルデータキューブ」と呼ばれる。ここでＮは、対象波長域に含まれる波長バンドの総数であり、４以上の整数である。ｋ＝１，２，・・・，Ｎとして、第ｋの画像２０Ｗｋは、第ｋの波長バンドλｋに対応する。ここでは、第ｋの波長バンドの中心波長λｋを、第ｋの波長バンドを表す参照符号として用いる。画像２０Ｗ１，２０Ｗ２，・・・，２０ＷＮのそれぞれの、横方向の画素数をｍ、縦方向の画素数をｎとし、第ｋの画像２０Ｗｋにおける第ｉ行第ｊ列の画素の画素値をｐｋｉｊとする。すると、ハイパースペクトル画像は、以下のＮ個のｎ×ｍ行列で表現することができる。
　なお、ハイパースペクトル画像は、図６Ａに示すような３次元配列のデータ構造に限らず、例えば図６Ｂに示すような２次元配列、または図６Ｃに示すような１次元配列のデータ構造を有していてもよい。図６Ｂの例では、Ｎ個の波長バンドの画像の情報が横方向に並び、各波長バンドの画像におけるｎ×ｍ画素の画素値が縦方向に並んでいる。図６Ｃの例では、全ての波長バンドの画像の全画素の画素値が１列に並んでいる。このように、ハイパースペクトル画像のデータ構造は任意である。
　ハイパースペクトル画像は、画素ごとにＮ個の波長バンドのそれぞれの画素値を有する画像であると考えることができる。各画素の画素値は、Ｎ次元ベクトルとして表現され得る。当該Ｎ次元ベクトルは、Ｎ個のバンドのそれぞれの画素値を成分にもつベクトルである。具体的には、第ｉ行第ｊ列の画素の画素値は、以下のＮ次元ベクトルで表現され得る。
　ある画素におけるスペクトルの変化は、当該画素における変化前のベクトルと変化後のベクトルとのなす角度によって評価することができる。例えば、第ｉ行第ｊ列の画素の変化前および変化後のベクトルを、それぞれ以下のベクトルａｉｊおよびｂｉｊであるとする。
ここで、ｐ１ｋｉｊは、第ｉ行第ｊ列の画素のｋ番目のバンドの変化前の画素値を表し、ｐ２ｋｉｊは、第ｉ行第ｊ列の画素のｋ番目のバンドの変化後の画素値を表す。ベクトルａｉｊとベクトルｂｉｊとのなす角度は、以下のθｉｊで表される。
　変化前後の２つのベクトルの角度θｉｊをすべての画素について求めることにより、スペクトルの変化の２次元分布の情報を得ることができる。当該角度が０°である場合、その画素における両者のスペクトル形状は等しい。当該角度の絶対値が０°よりも大きい場合、その画素における両者のスペクトル形状は異なる。実際には、計測誤差に起因して、両者のスペクトル形状が等しい場合であっても、当該角度の絶対値が０°よりも大きくなることがある。また、撮像装置１００に由来する誤差に加えて、要求されるハイパースペクトル画像の品質または誤差の許容範囲は撮影対象によって様々である。このため、処理装置２００は、ハイパースペクトル画像における複数の画素の各々における変化前後のスペクトルを表す２つのベクトルの角度θｉｊ（以下、「スペクトル角」とも称する。）の絶対値の積算値Ｔまたは平均値Ａが閾値以上である場合に、スペクトル形状が変化したと判定してもよい。積算値Ｔおよび平均値Ａは、以下の式で表される。
あるいは、処理装置２００は、ハイパースペクトル画像における代表的な１つまたは複数の画素におけるスペクトル角の絶対値が閾値以上である場合に、スペクトル形状が変化したと判定してもよい。閾値は、例えば１°、３°、または５°などの値に設定され得る。閾値は、目的または用途に応じて適切な値に設定される。
　ステップＳ３０７において、スペクトル形状に変化がないと判定されると、ステップＳ３０８に進む。ステップＳ３０８において、処理装置２００は、変更後の光源１２２の高さ位置を規定範囲内として記憶装置に記憶させる。その後、ステップＳ３０４に戻り、処理装置２００は、調整装置１３０に、再び光源１２２の高さ位置を所定量だけ増加させる。その後、ステップＳ３０５における圧縮画像の取得、ステップＳ３０６におけるハイパースペクトル画像の復元、およびステップＳ３０７における判定が再度行われる。ステップＳ３０４からＳ３０８の動作が、ステップＳ３０７においてスペクトル形状に変化があったと判定されるまで繰り返される。スペクトル形状に変化があったと判定されると、ステップＳ３０９に進む。
　ステップＳ３０９において、処理装置２００は、ステップＳ３０４において位置を変更する直前の光源１２２の高さ方向の位置を規定範囲の上限として記憶装置に記憶させる。
　ステップＳ３０９の後、処理装置２００は、光源１２２を初期位置から下方向に移動させながら、上記と同様の動作を行う。
　ステップＳ３１０において、処理装置２００は、調整装置１３０に、光源１２２を初期位置に移動させる。
　ステップＳ３１１において、処理装置２００は、調整装置１３０に、光源１２２の高さ方向の位置を所定量だけ減少させる。これにより、光源１２２と白板との距離が所定量（すなわち単位長さ）だけ減少する。
　ステップＳ３１２において、処理装置２００は、撮像装置１００に撮影を実行させ、白板の圧縮画像を取得させる。
　ステップＳ３１３において、処理装置２００は、ステップＳ３１２で取得された圧縮画像からハイパースペクトル画像を復元する。
　ステップＳ３１４において、処理装置２００は、ステップＳ３０３で復元されたハイパースペクトル画像と、ステップＳ３１３で復元されたハイパースペクトル画像とを比較して、光源１２２が初期位置にあるときと変更後の位置にあるときとで、スペクトル形状に変化があるか否かを判定する。判定方法は、ステップＳ３０７における方法と同じである。
　ステップＳ３１４において、スペクトル形状に変化がないと判定されると、ステップＳ３１５に進む。ステップＳ３１５において、処理装置２００は、変更後の光源１２２の高さ位置を規定範囲内として記憶装置に記憶させる。その後、ステップＳ３１１に戻り、処理装置２００は、調整装置１３０に、再び光源１２２の高さ位置を所定量だけ減少させる。その後、ステップＳ３１２における圧縮画像の取得、ステップＳ３１３におけるハイパースペクトル画像の復元、およびステップＳ３１４における判定が再度行われる。ステップＳ３１１からＳ３１５の動作が、ステップＳ３１４においてスペクトル形状に変化があったと判定されるまで繰り返される。スペクトル形状に変化があったと判定されると、ステップＳ３１６に進む。
　ステップＳ３１６において、処理装置２００は、ステップＳ３１１において位置を変更する直前の光源１２２の高さ方向の位置を規定範囲の下限として記憶装置に記憶させる。
　以上の動作により、スペクトル形状が一定とみなせる光源１２２と被写体との距離の規定範囲を決定することができる。
　なお、１回目のステップＳ３０４からＳ３０７の動作でスペクトル形状が変化した場合、処理装置２００は、ステップＳ３０９に進まず、光源１２２の初期位置を変更した上で、図５に示す処理を行ってもよい。あるいは、１回目のステップＳ３０４からＳ３０７の動作でスペクトル形状が変化した場合、処理装置２００は、光源１２２の高さ方向の位置を変化させながらハイパースペクトル画像を生成する処理を繰り返し、スペクトル形状が変化しない距離の範囲の下限と上限とを探索してもよい。
　図５に示す例では、処理装置２００は、規定範囲の上限を先に決定した後、下限を決定するが、反対に、下限を先に設定した後、上限を決定してもよい。その場合、ステップＳ３０４からＳ３０９の動作と、ステップＳ３１１からＳ３１６の動作の順序が入れ替わることになる。
　図５に示す例では、撮像装置１００は圧縮画像を取得し、処理装置２００は圧縮画像に基づいてハイパースペクトル画像を生成する。そのような形態に限らず、例えば撮像装置１００が自らハイパースペクトル画像を生成するように構成されていてもよい。以下、図７を参照しながら、その場合における規定範囲の決定方法の例を説明する。
　図７は、撮像装置１００がハイパースペクトル画像を取得する場合における光源１２２と被写体との距離の規定範囲を決定する方法の例を示すフローチャートである。図７に示すフローチャートは、ステップＳ３０２およびＳ３０３がステップＳ３５２に置き換わり、ステップＳ３０５およびＳ３０６がステップＳ３５５に置き換わり、ステップＳ３１２およびＳ３１３がステップＳ３６２に置き換わっている点で図５に示すフローチャートとは異なる。図７の例では、ステップＳ３５２、Ｓ３５５、およびＳ３６２において、撮像装置は、圧縮画像ではなく、ハイパースペクトル画像を取得する。この点を除き、図７に示す動作は、図５に示す動作と同じである。図７の例においても図５の例と同様に、適切な規定範囲を決定することができる。
　［撮像システムの構成例］
　図８は、上記の方法を実行する撮像システム１０００の構成例を示すブロック図である。図８に示す撮像システム１０００は、撮像装置１００と、照明装置１２０と、調整装置１３０と、処理装置２００と、表示装置３００とを備える。照明装置１２０は、１つ以上の光源１２２を含む。調整装置１３０は、光源１２２と被写体との距離を調整するアクチュエータなどの機構を備える。表示装置３００は、例えば液晶または有機ＬＥＤ（ＯＬＥＤ）などのディスプレイ（モニタ）であり、処理装置２００による処理の結果を表示する。この例における撮像装置１００は、ハイパースペクトル画像を復元するための元となる圧縮画像を生成するカメラである。処理装置２００は、撮像装置１００から出力された圧縮画像からハイパースペクトル画像を復元する。処理装置２００は、撮像装置１００、照明装置１２０、調整装置１３０、および表示装置３００と直接接続されていてもよいし、有線および／または無線のネットワークを介してそれらと間接的に接続されていてもよい。また、処理装置２００の機能が複数の装置に分散されていてもよい。例えば、処理装置２００の少なくとも一部の機能が、クラウドサーバなどの外部コンピュータによって実行されてもよい。
　図８に示す処理装置２００は、光源コントローラ２０２と、撮像コントローラ２０４と、第１処理回路２１２と、第２処理回路２１４と、メモリ２１６とを備える。
　光源コントローラ２０２は、照明装置１２０における光源１２２の点灯、消灯、および発光強度を制御する。
　撮像コントローラ２０４は、撮像装置１００の動作を制御する。撮像コントローラ２０４は、例えば、撮像装置１００の露光時間およびゲインなどを設定する。
　第１処理回路２１２は、撮像装置１００から出力された画像データに基づいて被写体の輝度が適正であるか否かを判定し、判定結果に基づいて調整装置１３０を制御する。調整装置１３０は、第１処理回路２１２からの制御に応じて光源１２２の位置を変化させることにより、被写体の輝度を適正な範囲に調整する。第１処理回路２１２はまた、圧縮画像に基づいて生成されたハイパースペクトル画像などの処理の結果を表示装置３００に表示させる。
　第２処理回路２１４は、圧縮画像に基づく復元処理を行い、ハイパースペクトル画像を生成する。本実施形態では、第２処理回路２１４は第１処理回路２１２とは独立した回路であるが、両者が１つの回路によって実現されていてもよい。そのような１つの回路は、光源コントローラ２０２および撮像コントローラ２０４の機能も兼ねていてもよい。
　メモリ２１６は、第１処理回路２１２および第２処理回路２１４が実行するコンピュータプログラム、および処理の過程で生成される各種のデータを記憶する記憶装置である。メモリ２１６は、前述の距離の規定範囲を示すデータ、撮像装置１００におけるフィルタアレイの分光透過率を示すデータ、および白板のハイパースペクトル画像を示すスペクトルデータなどを記憶する。
　＜光源の位置調整時の動作の例＞
　光源１２２の位置を調整する場合、まず、入力インタフェース（Ｉ／Ｆ）２２１を介して外部の入力装置から、撮像装置１００のパラメータの設定が行われる。パラメータは、例えば露光時間およびゲインを含む。パラメータは、例えばユーザによる入力装置を用いた操作に応じて設定され得る。
　その後、ステージに白板が設置され、撮影が開始される。撮影は、入力インタフェース２２１を介した外部の入力装置からの指示に応答して行われ得る。撮影により、撮像装置１００から圧縮画像のデータが出力される。圧縮画像のデータは、第１処理回路２１２および第２処理回路２１４に送られる。第２処理回路２１４は、圧縮画像に基づいてハイパースペクトル画像を生成する。生成されたハイパースペクトル画像は第１処理回路２１２に送られる。一方、入力インタフェース２２２を介して調整装置１３０から光源１２２と白板との距離を示す情報が第１処理回路２１２に送られる。
　第１処理回路２１２は、入力された距離情報と、圧縮画像および／またはハイパースペクトル画像とに基づき、例えば図４Ａに示すステップＳ１０４または図４Ｂに示すステップＳ１５４の処理によって白板の輝度分布を評価する。第１処理回路２１２は、輝度分布が最適になるように光源１２２と白板との距離を調整装置１３０に変化させる。第１処理回路２１２は、インタフェース２２３を介して調整装置１３０に制御信号を送る。調整装置１３０は、制御信号に応答して、光源１２２の位置を、予め設定された規定範囲内で変化させる。これにより、光源１２２と白板との最適な距離または光源１２２の最適な位置が確定される。
　光源１２２と白板との距離が最適距離にあるときの白板のハイパースペクトル画像が取得されると、被写体のハイパースペクトル画像の取得が可能となる。ユーザは、白板をステージから取り除き、被写体をステージに設置する。被写体についても上記と同様の動作が行われる。すなわち、輝度が最適になるように、光源１２２と被写体との距離が調整される。距離が最適な状態で圧縮画像が取得される。
　なお、光の明るさは光源からの距離の２乗に反比例する。このため、第１処理回路２１２は、距離と明るさの関係式に基づいて、白板および被写体の明るさの最適値から最適距離を決定してもよい。
　＜規定範囲を決定する動作の例＞
　規定範囲を決定する場合、まず、入力インタフェース２２１を介して撮像装置１００の露光時間およびゲインなどのパラメータが設定される。
　続いてステージに白板が設置され、撮影が開始される。撮像装置１００から、圧縮画像のデータが第１処理回路２１２および第２処理回路２１４に出力される。第２処理回路２１４は圧縮画像に基づいて白板のハイパースペクトル画像を生成する。ハイパースペクトル画像は第１処理回路２１２に送られる。
　一方、入力インタフェース２２２を介して、調整装置１３０から光源１２２と白板との距離情報が第１処理回路２１２に送られる。第１処理回路２１２は、距離情報と、圧縮画像および／またはハイパースペクトル画像とに基づいて、光源１２２が初期位置にある場合におけるスペクトル形状からのスペクトル形状の変化を評価する。第１処理回路２１２は、図５または図７に示す手順で、スペクトル形状が変化しない距離の規定範囲の上限および下限を決定する。
　＜手動による照明条件の調整＞
　本実施形態では、処理装置２００および調整装置１３０によって光源１２２の位置が自動で調整されるが、この調整はユーザによって手動で行われてもよい。その場合、撮像システムは、自動で光源１２２と白板との距離を調整する調整装置１３０に代えて、手動で距離を調整可能な機構を備え得る。第１処理回路２１２は、圧縮画像および／またはハイパースペクトル画像を表示装置３００に表示させるように構成され得る。ユーザは、表示された画像の明るさを目視で判断して、輝度が適切でない場合、手動で光源１２２と白板との距離を調整してもよい。
　また、処理装置２００は、光源１２２と被写体との距離の規定範囲を決定した後、その規定範囲の情報を表示装置３００に表示させてもよい。白板または被写体の圧縮画像またはハイパースペクトル画像に含まれる複数の画素の各々の画素値が所定の範囲内でない場合に、ユーザは、表示装置３００に表示された規定範囲内に収まるように、手動で光源１２２と白板または被写体との距離を変更してもよい。
　光源１２２と被写体との距離を手動で調整するための機構は、その可動範囲が規定範囲内に収まるように予め設計されていてもよい。そのような設計によれば、距離が規定範囲外になることを回避できるため、照明条件を好適な状態に設定しやすくなる。
　また、規定範囲は、撮像システムのメーカーが予め決定し、マニュアル等で「この規定範囲内で白板補正を行ってください。」などと指示されていてもよい。ユーザは、その指示に従い、光源１２２と被写体との距離を規定範囲内で調整することで、照明条件を最適な状態に設定することができる。
　手動で照明条件を調整するこれらの方法は、光源１２２と被写体との距離を調整する構成に限らず、後述する他のパラメータを調整することによって照明条件を調整する形態においても同様に適用され得る。
　［照明条件を変更する方法の他の例］
　上記の実施形態においては、処理装置２００は、光源１２２と白板との距離、および光源１２２と被写体との距離を変更することによって照明条件を変更するが、これに限定されない。例えば、光源１２２を駆動するための電流または電圧などの制御パラメータを変更することによって照明条件を変更してもよい。その場合においても、処理装置２００は、被写体の位置における輝度分布が変化しないように照明条件を変化させる。
　図９は、光源を駆動するための制御パラメータを変更することによって照明条件を変更する場合におけるハイパースペクトル画像の生成方法の一例を示すフローチャートである。図９の例では、制御パラメータは、光源１２２を駆動するための電流（以下、「駆動電流」と称することがある。）である。制御パラメータは、電流に限らず、光源１２２を駆動するための電圧であってもよい。あるいは、光源１２２が例えばＰＷＭ信号によって駆動されるＬＥＤなどの光源である場合には、制御パラメータは、ＰＷＭ信号のデューティ比であってもよい。
　図９に示す方法は、白板のスペクトルデータを取得するステップＳ１７０と、被写体のハイパースペクトル画像を取得するステップＳ２７０とを含む。ステップＳ１７０は、ステップＳ１０２とステップＳ１０３との間にステップＳ１７３が追加され、ステップＳ１０５がステップＳ１７５に置き換わっている点で、図４Ａに示すステップＳ１００と異なる。ステップＳ２７０は、ステップＳ２０４がステップＳ２７４に置き換わっている点で、図４Ａに示すステップＳ１００と異なる。以下、図４Ａの例とは異なる主な点を説明する。
　図９の例では、光源１２２と被写体との距離を変更する代わりに、光源１２２の駆動電流を変更することによって照明条件が変更される。処理装置２００は、ステップＳ１７３において、光源１２２の駆動電流を初期値に設定する。処理装置２００は、ステップＳ１０４において、白板の圧縮画像に含まれる複数の画素の画素値が所定の条件を満たさないと判定すると、ステップＳ１７５に進み、光源１２２の駆動電流を規定範囲内で変更する。例えば、駆動電流を所定量だけ増加または減少させる。同様に、処理装置２００は、ステップＳ２０３において、被写体の圧縮画像に含まれる複数の画素の画素値が所定の条件を満たさないと判定すると、ステップＳ２７４に進み、光源１２２の駆動電流を規定範囲内で変更する。この例における規定範囲は、被写体の位置において、光源１２２からの光のスペクトルの形状がほぼ一定であると考えることができる電流の範囲である。処理装置２００は、例えば光源１２２を駆動するための電圧を変化させることによって駆動電流を変化させるように構成され得る。図９に示す方法によっても、図４Ａに示す方法と同様に、被写体のハイパースペクトル画像を効率的に取得することができる。
　図９の例では、処理装置２００は、圧縮画像に関して照明条件が適切か否かを判定するが、図４Ｂの例のように、ハイパースペクトル画像に関して照明条件が適切か否かを判定してもよい。すなわち、光源１２２の駆動電流または駆動電圧などの制御パラメータを調整する図９の例においても、図４Ａから図４Ｂへの変形と同様の変形が可能である。
　図１０は、光源１２２の駆動電流の規定範囲を決定する方法の一例を示すフローチャートである。図１０に示すフローチャートでは、図５におけるステップＳ３０１、Ｓ３０４、Ｓ３０８、Ｓ３０９、Ｓ３１０、Ｓ３１１、Ｓ３１５、Ｓ３１６が、それぞれ、ステップＳ５０１、Ｓ５０４、Ｓ５０８、Ｓ５０９、Ｓ５１０、Ｓ５１１、Ｓ５１５、Ｓ５１６に置き換わっている。基本的な流れは、図５に示す例と同様である。図１０の例では、光源１２２の駆動電流を所定量ずつ増加または減少させ、その都度、スペクトル形状が変化するか否かを判定することで、規定範囲が決定される。この例では、光源１２２の駆動電流の規定範囲が決定されるが、駆動電圧またはＰＷＭ信号のデューティ比などの他の制御パラメータの規定範囲についても同様の方法で決定することができる。
　上記の実施形態においては、（Ａ）光源１２２と白板との距離、および光源１２２と被写体との距離を規定範囲内で変更する方法、または（Ｂ）光源１２２を駆動するための制御パラメータを規定範囲内で変更する方法により、照明条件が変更される。これらの方法とは異なる方法によって、被写体の位置におけるスペクトル形状が変化しない条件下で、照明条件を変化させてもよい。例えば、光源１２２と被写体（または白板などの校正用被写体）との間に配置され得るＮＤフィルタなどの減光フィルタを変更することによって照明条件を変更してもよい。この場合も、変更前後において、被写体の位置でのスペクトル形状が変化しないように減光フィルタの変更が行われる。撮像システムは、例えば図１１に示すように、光源１２２と被写体との間に、透過率の異なる複数の減光フィルタ１３６から選択される１つの減光フィルタを挿入する機構１３５を備え得る。機構１３５は、処理装置２００からの指令に応答して各減光フィルタ１３６を光源１２２から被写体への光路上に挿入したり光路上から外したりするアクチュエータ等の装置を含み得る。そのような形態では、処理装置２００は、圧縮画像またはハイパースペクトル画像における複数の画素の画素値が所定の条件を満たさない場合、機構１３５に、光源１２２と被写体との間に挿入される減光フィルタ１３６を変更させることにより、照明条件を変化させるように構成され得る。複数の減光フィルタ１３６の各々は、いずれも透過率の波長依存性が小さく、かつ面内むらの小さいフィルタであり得る。減光フィルタ１３６を変更することによって照明条件を変化させる形態においては、図４Ａまたは図４Ｂ、および図５または図７に示す動作における光源１２２と被写体との距離（または光源１２２の高さ）の調整に代えて、減光フィルタ１３６を交換する動作が行われ得る。減光フィルタ１３６の変更は、自動で行われてもよいし、手動で行われてもよい。減光フィルタ１３６の変更が手動で行われる形態では、例えば、図４Ａまたは図４Ｂに示すステップＳ１０４またはＳ２０３でＮｏと判定された場合に、処理装置２００は、切り替えの候補となる減光フィルタ１３６を特定する情報を表示装置３００に表示させてもよい。これにより、ユーザは、どの減光フィルタに切り替えればよいかを知ることができる。
　［圧縮センシングに基づくハイパースペクトル画像の生成］
　次に、圧縮画像を取得する撮像装置１００の構成、および圧縮センシングに基づくハイパースペクトル画像の生成方法の例をより詳細に説明する。
　図１２Ａは、圧縮画像を取得する撮像装置１００の構成例および処理装置２００による処理の例を模式的に示す図である。この撮像装置１００は、特許文献２に開示された撮像装置と同様の構成を備える。撮像装置１００は、光学系１４０と、フィルタアレイ１１０と、イメージセンサ１６０とを備える。光学系１４０およびフィルタアレイ１１０は、被写体である対象物７０から入射する光の光路上に配置される。図１０Ａの例におけるフィルタアレイ１１０は、光学系１４０とイメージセンサ１６０との間に配置されている。
　図１２Ａには、対象物７０の一例として、リンゴが例示されている。対象物７０は、リンゴに限らず、任意の物体であり得る。イメージセンサ１６０は、複数の波長バンドの情報が２次元のモノクロ画像として圧縮された圧縮画像１０のデータを生成する。処理装置２００は、イメージセンサ１６０が生成した圧縮画像１０のデータに基づいて、所定の対象波長域に含まれる複数の波長バンドに１対１に対応する複数の画像を示すデータを生成する。前述のように、対象波長域に含まれる波長バンドの数をＮ（Ｎは４以上の整数）とする。以下の説明において、圧縮画像に基づいて生成されるＮ個の画像を、復元画像２０Ｗ１、復元画像２０Ｗ２、・・・、復元画像２０ＷＮと称し、これらを「ハイパースペクトル画像２０」と総称することがある。
　本実施形態におけるフィルタアレイ１１０は、行および列状に配列された透光性を有する複数のフィルタのアレイである。複数のフィルタは、分光透過率、すなわち光透過率の波長依存性が互いに異なる複数種類のフィルタを含む。フィルタアレイ１１０は、入射光の強度を波長ごとに変調して出力する。フィルタアレイ１１０によるこの過程を「符号化」と称し、フィルタアレイ１１０を「符号化素子」と称することがある。
　図１２Ａに示す例において、フィルタアレイ１１０は、イメージセンサ１６０の近傍または直上に配置されている。ここで「近傍」とは、光学系１４０からの光の像がある程度鮮明な状態でフィルタアレイ１１０の面上に形成される程度に近接していることを意味する。「直上」とは、ほとんど隙間が生じない程両者が近接していることを意味する。フィルタアレイ１１０およびイメージセンサ１６０は一体化されていてもよい。
　光学系１４０は、少なくとも１つのレンズを含む。図１２Ａでは、光学系１４０が１つのレンズとして示されているが、光学系１４０は複数のレンズの組み合わせであってもよい。光学系１４０は、フィルタアレイ１１０を介して、イメージセンサ１６０の撮像面上に像を形成する。
　フィルタアレイ１１０は、イメージセンサ１６０から離れて配置されていてもよい。図１２Ｂから図１２Ｄは、フィルタアレイ１１０がイメージセンサ１６０から離れて配置されている撮像装置１００の構成例を示す図である。図１２Ｂの例では、フィルタアレイ１１０が、光学系１４０とイメージセンサ１６０との間で且つイメージセンサ１６０から離れた位置に配置されている。図１２Ｃの例では、フィルタアレイ１１０が対象物７０と光学系１４０との間に配置されている。図１２Ｄの例では、撮像装置１００が２つの光学系１４０Ａおよび１４０Ｂを備え、それらの間にフィルタアレイ１１０が配置されている。これらの例のように、フィルタアレイ１１０とイメージセンサ１６０との間に１つ以上のレンズを含む光学系が配置されていてもよい。
　イメージセンサ１６０は、２次元的に配列された複数の光検出素子（本明細書において、「画素」とも呼ぶ。）を有するモノクロタイプの光検出装置である。イメージセンサ１６０は、例えばＣＣＤ（Charge-Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ、または赤外線アレイセンサであり得る。光検出素子は、例えばフォトダイオードを含む。イメージセンサ１６０は、必ずしもモノクロタイプのセンサである必要はない。例えば、カラータイプのセンサを用いてもよい。カラータイプのセンサは、例えば、赤色の光を透過する複数の赤（Ｒ）フィルタ、緑色の光を透過する複数の緑（Ｇ）フィルタ、および青色の光を透過する複数の青（Ｂ）フィルタを含み得る。カラータイプのセンサは、さらに、赤外線を透過する複数のＩＲフィルタを含んでいてもよい。また、カラータイプのセンサは、赤色、緑色、青色の全ての光を透過する複数の透明フィルタを含んでいてもよい。カラータイプのセンサを使用することで、波長に関する情報量を増やすことができ、ハイパースペクトル画像２０の再構成の精度を向上させることができる。取得対象の波長範囲は任意に決定してよく、可視の波長範囲に限らず、紫外、近赤外、中赤外、または遠赤外の波長範囲であってもよい。
　処理装置２００は、１つ以上のプロセッサと、メモリ等の１つ以上の記憶媒体とを備えるコンピュータであり得る。処理装置２００は、イメージセンサ１６０によって取得された圧縮画像１０に基づいて、複数の復元画像２０Ｗ１、２０Ｗ２、・・・２０ＷＮのデータを生成する。
　図１３Ａは、フィルタアレイ１１０の例を模式的に示す図である。フィルタアレイ１１０は、２次元的に配列された複数の領域を有する。本明細書では、当該領域を、「セル」と称することがある。各領域には、個別に設定された分光透過率を有する光学フィルタが配置されている。分光透過率は、入射光の波長をλとして、関数Ｔ（λ）で表される。分光透過率Ｔ（λ）は、０以上１以下の値を取り得る。
　図１３Ａに示す例では、フィルタアレイ１１０は、６行８列に配列された４８個の矩形領域を有する。これはあくまで例示であり、実際の用途では、これよりも多くの領域が設けられ得る。その数は、例えばイメージセンサ１６０の画素数と同程度であってもよい。フィルタアレイ１１０に含まれるフィルタ数は、例えば数十から数千万の範囲で用途に応じて決定される。
　図１３Ｂは、対象波長域に含まれる波長バンドＷ１、Ｗ２、・・・、ＷＮのそれぞれの光の透過率の空間分布の一例を示す図である。図１３Ｂに示す例では、各領域の濃淡の違いは、透過率の違いを表している。淡い領域ほど透過率が高く、濃い領域ほど透過率が低い。図１３Ｂに示すように、波長バンドによって光透過率の空間分布が異なっている。
　図１３Ｃおよび図１３Ｄは、それぞれ、図１３Ａに示すフィルタアレイ１１０に含まれる領域Ａ１および領域Ａ２の分光透過率の例を示す図である。領域Ａ１の分光透過率と領域Ａ２の分光透過率とは、互いに異なる。このように、フィルタアレイ１１０の分光透過率は、領域によって異なる。ただし、必ずしもすべての領域の分光透過率が異なっている必要はない。フィルタアレイ１１０では、複数の領域の少なくとも一部の領域の分光透過率が互いに異なっている。フィルタアレイ１１０は、分光透過率が互いに異なる２つ以上のフィルタを含む。ある例では、フィルタアレイ１１０に含まれる複数の領域の分光透過率のパターンの数は、対象波長域に含まれる波長バンドの数Ｎと同じか、それ以上であり得る。フィルタアレイ１１０は、半数以上の領域の分光透過率が異なるように設計されていてもよい。
　図１４Ａおよび図１４Ｂは、対象波長域Ｗと、それに含まれる波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係を説明するための図である。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば、約４００ｎｍから約７００ｎｍの可視光の波長域、約７００ｎｍから約２５００ｎｍの近赤外線の波長域、または約１０ｎｍから約４００ｎｍの近紫外線の波長域であり得る。あるいは、対象波長域Ｗは、中赤外または遠赤外などの波長域であってもよい。このように、使用される波長域は可視光域とは限らない。本明細書では、可視光に限らず、赤外線および紫外線を含む放射全般を「光」と称する。
　図１４Ａに示す例では、Ｎを４以上の任意の整数として、対象波長域ＷをＮ等分したそれぞれの波長域を波長バンドＷ１、Ｗ２、・・・、ＷＮとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数の波長バンドは任意に設定してもよい。例えば、波長バンドによって帯域幅を不均一にしてもよい。隣接する波長バンドの間にギャップまたは重なりがあってもよい。図１４Ｂに示す例では、波長バンドによって帯域幅が異なり、且つ隣接する２つの波長バンドの間にギャップがある。このように、複数の波長バンドの決め方は任意である。
　図１５Ａは、フィルタアレイ１１０のある領域における分光透過率の特性を説明するための図である。図１５Ａに示す例では、分光透過率は、対象波長域Ｗ内の波長に関して、複数の極大値Ｐ１からＰ５、および複数の極小値を有する。図１５Ａに示す例では、対象波長域Ｗ内での光透過率の最大値が１、最小値が０となるように正規化されている。図１５Ａに示す例では、波長バンドＷ２、および波長バンドＷＮ－１などの波長域において、分光透過率が極大値を有している。このように、各領域の分光透過率は、波長バンドＷ１、Ｗ２、・・・ＷＮのうち、少なくとも２つの複数の波長域において極大値を有するように設計され得る。図１５Ａの例では、極大値Ｐ１、Ｐ３、Ｐ４、およびＰ５は０．５以上である。
　このように、各領域の光透過率は、波長によって異なる。したがって、フィルタアレイ１１０は、入射する光のうち、ある波長域の成分を多く透過させ、他の波長域の成分をそれほど透過させない。例えば、Ｎ個の波長バンドのうちのｋ個の波長バンドの光については、透過率が０．５よりも大きく、残りのＮ－ｋ個の波長域の光については、透過率が０．５未満であり得る。ｋは、２≦ｋ＜Ｎを満たす整数である。仮に入射光が、すべての可視光の波長成分を均等に含む白色光であった場合には、フィルタアレイ１１０は、入射光を領域ごとに、波長に関して離散的な複数の強度のピークを有する光に変調し、これらの多波長の光を重畳して出力する。
　図１５Ｂは、一例として、図１５Ａに示す分光透過率を、波長バンドＷ１、Ｗ２、・・・、ＷＮごとに平均化した結果を示す図である。平均化された透過率は、分光透過率Ｔ（λ）を波長バンドごとに積分してその波長バンドの帯域幅で除算することによって得られる。本明細書では、このように波長バンドごとに平均化した透過率の値を、その波長バンドにおける透過率とする。この例では、極大値Ｐ１、Ｐ３およびＰ５をとる３つの波長域において、透過率が突出して高くなっている。特に、極大値Ｐ３およびＰ５をとる２つの波長域において、透過率が０．８を超えている。
　図１３Ａから図１３Ｄに示す例では、各領域の透過率が０以上１以下の任意の値をとり得るグレースケールの透過率分布が想定されている。しかし、必ずしもグレースケールの透過率分布にする必要はない。例えば、各領域の透過率がほぼ０またはほぼ１のいずれかの値を取り得るバイナリスケールの透過率分布を採用してもよい。バイナリスケールの透過率分布では、各領域は、対象波長域に含まれる複数の波長域のうちの少なくとも２つの波長域の光の大部分を透過させ、残りの波長域の光の大部分を透過させない。ここで「大部分」とは、概ね８０％以上を指す。
　全セルのうちの一部、例えば半分のセルを、透明領域に置き換えてもよい。そのような透明領域は、対象波長域Ｗに含まれる波長バンドＷ１、Ｗ２、・・・ＷＮのそれぞれの光を同程度の高い透過率、例えば８０％以上の透過率で透過させる。そのような構成では、複数の透明領域は、例えば市松（checkerboard）状に配置され得る。すなわち、フィルタアレイ１１０における複数の領域の２つの配列方向において、光透過率が波長によって異なる領域と、透明領域とが交互に配列され得る。
　このようなフィルタアレイ１１０の分光透過率の空間分布を示すデータは、設計データまたは実測キャリブレーションに基づいて事前に取得され、処理装置２００が備える記憶媒体に格納される。このデータは、後述する演算処理に利用される。
　フィルタアレイ１１０は、例えば、多層膜、有機材料、回折格子構造、または金属を含む微細構造を用いて構成され得る。多層膜を用いる場合、例えば、誘電体多層膜または金属層を含む多層膜が用いられ得る。この場合、セルごとに各多層膜の厚さ、材料、および積層順序の少なくとも１つが異なるように形成される。これにより、セルによって異なる分光特性を実現できる。多層膜を用いることにより、分光透過率におけるシャープな立ち上がりおよび立下りを実現できる。有機材料を用いた構成は、セルによって含有する顔料または染料が異なるようにしたり、異種の材料を積層させたりすることによって実現され得る。回折格子構造を用いた構成は、セルごとに異なる回折ピッチまたは深さの回折構造を設けることによって実現され得る。金属を含む微細構造を用いる場合は、プラズモン効果による分光を利用して作製され得る。
　次に、処理装置２００による信号処理の例を説明する。処理装置２００は、イメージセンサ１６０から出力された圧縮画像１０、およびフィルタアレイ１１０の波長ごとの透過率の空間分布特性に基づいて、多波長のハイパースペクトル画像２０を再構成する。ここで多波長とは、例えば通常のカラーカメラで取得されるＲＧＢの３色の波長域よりも多くの波長域を意味する。この波長域の数は、例えば４から１００程度の数であり得る。この波長域の数を、「バンド数」と称する。用途によっては、バンド数は１００を超えていてもよい。
　求めたいデータはハイパースペクトル画像２０のデータであり、そのデータをｆとする。バンド数をＮとすると、ｆは、Ｎ個のバンドのデータｆ１、ｆ２、・・・、ｆＮを統合したデータである。データｆは、図６Ａ、図６Ｂ、または図６Ｃに示すように、様々な形式で表現され得る。ここで、図１２Ａに示すように、画像の横方向をｘ方向、画像の縦方向をｙ方向とする。求めるべき画像データのｘ方向の画素数をｍとし、ｙ方向の画素数をｎとすると、データｆ１、ｆ２、・・・、ｆＮの各々は、ｎ×ｍ個の画素値を有する。したがって、データｆは要素数ｎ×ｍ×Ｎのデータである。一方、フィルタアレイ１１０によって符号化および多重化されて取得される圧縮画像１０のデータｇの要素数はｎ×ｍである。データｇは、以下の式（１）によって表すことができる。
　式（１）におけるｆは、図６Ｃに示すように、１次元ベクトルとして表現されたハイパースペクトル画像のデータを表している。ｆ１、ｆ２、・・・、ｆＮの各々は、ｎ×ｍ個の要素を有する。したがって、右辺のベクトルは、ｎ×ｍ×Ｎ行１列の１次元ベクトルである。圧縮画像のデータｇは、ｎ×ｍ行１列の１次元ベクトルとして計算される。行列Ｈは、ベクトルｆの各成分ｆ１、ｆ２、・・・、ｆＮを波長バンドごとに異なる符号化情報で符号化および強度変調し、それらを加算する変換を表す。したがって、Ｈは、ｎ×ｍ行ｎ×ｍ×Ｎ列の行列である。式（１）は、以下のように表すこともできる。
　ｇ＝（ｐg１１・・・ｐg１ｍ・・・ｐgｎ１・・・ｐgｎｍ）Ｔ＝Ｈ（ｆ１・・・ｆＮ）Ｔここで、ｐｇｉｊは、圧縮画像１０の第ｉ行第ｊ列の画素値を表す。
　ベクトルｇと行列Ｈが与えられれば、式（１）の逆問題を解くことにより、データｆを算出することができそうである。しかし、求めるデータｆの要素数ｎ×ｍ×Ｎが取得データｇの要素数ｎ×ｍよりも多いため、この問題は不良設定問題であり、このままでは解くことができない。そこで、処理装置２００は、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の式（２）を解くことにより、求めるデータｆが推定される。
　ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値または二乗和平方根等を残差項としてもよい。括弧内の第２項は、正則化項または安定化項である。式（２）は、第１項と第２項との和を最小化するｆを求めることを意味する。式（２）における括弧内の関数を評価関数と呼ぶ。処理装置２００は、再帰的な反復演算によって解を収束させ、評価関数を最小にするｆを、最終的な解ｆ’として算出することができる。
　式（２）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによって変換したＨｆとの差の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。この関数は、推定データを滑らかまたは安定にする効果をもたらす。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）などによって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象物７０のスパース性は、対象物７０のテキスチャによって異なる。対象物７０のテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数である。重み係数τが大きいほど冗長的なデータの削減量が多くなり、圧縮する割合が高まる。重み係数τが小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。
　なお、図１２Ｂおよび図１２Ｃの構成においては、フィルタアレイ１１０によって符号化された像は、イメージセンサ１６０の撮像面上でボケた状態で取得される。したがって、予めこのボケ情報を保有しておき、そのボケ情報を前述の行列Ｈに反映させることにより、ハイパースペクトル画像２０を再構成することができる。ここで、ボケ情報は、点拡がり関数（Point Spread Function：ＰＳＦ）によって表される。ＰＳＦは、点像の周辺画素への拡がりの程度を規定する関数である。例えば、画像上で１画素に相当する点像が、ボケによってその画素の周囲のｋ×ｋ画素の領域に広がる場合、ＰＳＦは、その領域内の各画素の画素値への影響を示す係数群、すなわち行列として規定され得る。ＰＳＦによる符号化パターンのボケの影響を、行列Ｈに反映させることにより、ハイパースペクトル画像２０を再構成することができる。フィルタアレイ１１０が配置される位置は任意であるが、フィルタアレイ１１０の符号化パターンが拡散しすぎて消失しない位置が選択され得る。
　以上の処理により、イメージセンサ１６０によって取得された圧縮画像１０から、ハイパースペクトル画像２０を復元することができる。
　上記の例では、処理装置２００がイメージセンサ１６０から出力された圧縮画像１０のデータに基づいてハイパースペクトル画像２０を復元する。処理装置２００の代わりに、撮像装置１００におけるプロセッサがハイパースペクトル画像２０を復元する処理を行ってもよい。その場合、図８に示す処理装置２００における第２処理回路２１４に相当するプロセッサが、撮像装置１００に内蔵される。当該プロセッサは、イメージセンサ１６０から出力された圧縮画像１０のデータに基づいて、ハイパースペクトル画像２０のデータを生成する。また、図８に示す第２処理回路２１４に相当するプロセッサが、撮像装置１００または処理装置２００とネットワークを介して通信するクラウドサーバ等の外部コンピュータに搭載されていてもよい。その場合、外部コンピュータが、撮像装置１００から取得した圧縮画像１０のデータに基づいてハイパースペクトル画像２０のデータを生成して処理装置２００に送信する。
　［撮像装置の他の構成例］
　次に、撮像装置１００の他の構成例を説明する。
　圧縮画像および復元画像は、上記の複数の光学フィルタを含むフィルタアレイ１１０すなわち符号化素子を用いた撮像とは異なる方法で撮像されることによって生成されてもよい。
　例えば、撮像装置１００の構成として、イメージセンサ１６０に加工を施すことでイメージセンサ１６０の受光特性を画素ごとに変化させてもよい。当該加工が施されたイメージセンサ１６０を用いた撮像によっても、上記の例と同様に、圧縮画像を生成することができる。すなわち、フィルタアレイ１１０がイメージセンサ１６０に内蔵されている構成の撮像装置によって、圧縮画像が生成されてもよい。この場合、符号化情報はイメージセンサ１６０の受光特性に対応する。
　また、光学系１４０の少なくとも一部にメタレンズ等の光学素子が導入されることで、光学系１４０の光学特性が空間的かつ波長的に変化し、それによってスペクトル情報が圧縮される構成を採用してもよい。当該構成を含む撮像装置によっても圧縮画像を生成することができる。この場合、符号化情報は、メタレンズ等の光学素子の光学特性に対応する情報となる。このように、フィルタアレイ１１０を用いた構成とは異なる構成の撮像装置１００を用いて、入射光の強度を波長ごとに変調し、圧縮画像および復元画像を生成してもよい。
　換言すると、光応答特性が互いに異なる複数の受光領域を含む撮像装置の光応答特性に対応する符号化情報と、撮像装置１００によって生成された圧縮画像とに基づいて、圧縮画像が含む信号数（例えば画素数）よりも多くの信号数を含む復元画像を生成する構成も本開示に含まれる。上述のとおり、光応答特性は、イメージセンサの受光特性に対応していてもよく、また、光学素子の光学特性に対応していてもよい。
　（付記１）
　本開示は、上述した実施形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施形態に施したもの、当業者が思いつく各種変形を各変形例に施したもの、異なる実施形態における構成要素を組み合わせて構築される形態、異なる変形例における構成要素を組み合わせて構築される形態、任意の実施形態における構成要素と任意の変形例における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。
　（付記２）
　本開示の実施の形態の変形例は以下に示すようなものであってもよい。
　（ａ）一又は複数のメモリに記録された複数の命令を実行する一又は複数のプロセッサによって実行される方法であって、
　前記方法は、
　光源に第１放射条件で第１光を放射させること、
　撮像装置に前記第１光が照射された被写体を撮影させ、これにより、前記撮像装置に、各々が複数の画素値を含む４つ以上の第１データセットを生成させること、および
　前記４つ以上の第１データセットが第１の所定条件を満たしていない場合、前記光源に第２放射条件で第２光を照射させ、前記撮像装置に前記第２光が照射された前記被写体を撮影させ、これにより、前記撮像装置に、各々が複数の画素値を含む４つ以上の第２データセットを生成させること、を含み、
　前記４つ以上の第１データセットと前記４つ以上の第２データセットに基づいて決定されるスペクトル形状の変化の大きさを示す第１値は閾値よりも小さく、
　前記４つ以上の第１データセットは、４つ以上の波長域に対応し、
　前記４つ以上の第２データセットは、前記４つ以上の波長域に対応する、
　方法。
　（ｂ）前記方法は、前記４つ以上の第１データセットが前記第１の所定条件を満たす場合、前記光源に前記第２放射条件で前記第２光を照射させないことを含んでもよい。
　（ｃ）前記４つ以上の第１データセットのそれぞれはｎ×ｍ個の画素値を含み、
　前記４つ以上の第２データセットのそれぞれはｎ×ｍ個の画素値を含み、
　前記第１データセットの数、および前記第２データセットの数をＮとし、
　前記４つ以上の第１データセットをｆ１１、・・・、ｆ１Ｎ、
　前記４つ以上の第２データセットをｆ２１、・・・、ｆ２Ｎとすると、
　ｆ１１＝（ｐ11１１・・・ｐ11１ｍ・・・ｐ11ｎ１・・・ｐ11ｎｍ）Ｔ、
　ｆ１２＝（ｐ12１１・・・ｐ12１ｍ・・・ｐ12ｎ１・・・ｐ12ｎｍ）Ｔ、
　・・・、
　ｆ１Ｎ＝（ｐ1N１１・・・ｐ1N１ｍ・・・ｐ1Nｎ１・・・ｐ1Nｎｍ）Ｔ、
　ｆ２１＝（ｐ21１１・・・ｐ21１ｍ・・・ｐ21ｎ１・・・ｐ21ｎｍ）Ｔ、
　ｆ２２＝（ｐ22１１・・・ｐ22１ｍ・・・ｐ22ｎ１・・・ｐ22ｎｍ）Ｔ、
　・・・、
　ｆ２Ｎ＝（ｐ2N１１・・・ｐ2N１ｍ・・・ｐ2Nｎ１・・・ｐ2Nｎｍ）Ｔであり、
　ｐ11１１、・・・、ｐ2Nｎｍのそれぞれは画素値であり、
　前記第１値は、(ｐ11１１ ｐ12１1・・・ｐ1N１１)と(ｐ21１１ ｐ22１１・・・ｐ2N１１)のなす角度の絶対値、・・・、(ｐ11ｎｍ ｐ12ｎｍ・・・ｐ1Nｎｍ)と(ｐ21ｎｍ ｐ22ｎｍ・・・ｐ2Nｎｍ)のなす角度の絶対値に基づいて決定されてもよい。
　（ｄ）前記第１値は、｛（前記角度１１の絶対値）＋・・・＋（前記角度ｎｍの絶対値）｝／（ｎ×ｍ）であってもよい。
　（ｅ）前記撮像装置は前記４つ以上の波長域に対応する４つ以上のイメージセンサＩ１、・・・ＩＮを含み、
　前記４つ以上のイメージセンサＩ１、・・・、ＩＮは前記４つ以上の第１データセットｆ１１、・・・ｆ１Ｎと、それぞれ対応し、
　前記４つ以上のイメージセンサＩ１、・・・、ＩＮは前記４つ以上の第２データセットｆ２１、・・・ｆ２Ｎと、それぞれ対応し、
　前記イメージセンサＩ１は画素ｓ1１１、・・・、画素ｓ1１ｍ、・・・、画素ｓ1ｎ１、・・・、画素ｓ1ｎｍを含み、・・・、
　前記イメージセンサＩＮは画素ｓN１１、・・・、画素ｓN１ｍ、・・・、画素ｓNｎ１、・・・、画素ｓNｎｍを含み、
　前記画素ｓ1１１は前記画素値ｐ11１１と前記画素値ｐ21１１と対応し、・・・、
　前記画素ｓ1１ｍは前記画素値ｐ11１ｍと前記画素値ｐ21１ｍと対応し、・・・、
　前記画素ｓ1ｎ１は前記画素値ｐ11ｎ１と前記画素値ｐ21ｎ１と対応し、・・・、
　前記画素ｓ1ｎｍは前記画素値ｐ11ｎｍと前記画素値ｐ21ｎｍと対応し、
　・・・、
　前記画素ｓN１１は前記画素値ｐ1N１１と前記画素値ｐ2N１１と対応し、・・・、
　前記画素ｓN１ｍは前記画素値ｐ1N１ｍと前記画素値ｐ2N１ｍと対応し、・・・、
　前記画素ｓNｎ１は前記画素値ｐ1Nｎ１と前記画素値ｐ2Nｎ１と対応し、・・・、
　前記画素ｓNｎｍは前記画素値ｐ1Nｎｍと前記画素値ｐ2Nｎｍと対応してもよい。
　（付記３）
　本開示の実施の形態の変形例は下記に示すようなものであってもよい。
　（ａ）一又は複数のメモリに記録された複数の命令を実行する一又は複数のプロセッサによって実行される方法であって、
　前記方法は
　光源に第１放射条件で第１光を放射させ、
　フィルタアレイを備える撮像装置に前記第１光が照射された被写体を撮影させ、これにより、前記撮像装置に複数の画素値を含む第１データを生成させることであって、前記フィルタアレイは４つ以上のフィルタを含み、前記４つ以上のフィルタのそれぞれに対応する４つ以上の光透過率特性は互いに異なり、前記４つ以上の光透過率特性は４つ以上の波長域を含む対象波長域に対する光透過率である、第１データを生成させること、および
　前記第１データが第１の所定条件を満たしていない場合、前記光源に第２放射条件で第２光を照射させ、前記撮像装置に前記第２光が照射された前記被写体を撮影させ、これにより、前記撮像装置に、複数の画素値を含む第２データを生成させること、を含み、
　前記第１データに基づいて生成される４つ以上の第１データセットと、前記第２データに基づいて生成される４つ以上の第２データセットとに基づいて決定されるスペクトル形状の変化の大きさを示す第１値は閾値よりも小さく、
　前記４つ以上の第１データセットは、前記４つ以上の波長域に対応し、
　前記４つ以上の第２データセットは、前記４つ以上の波長域に対応する、
　方法。
　（ｂ）前記方法は、前記第１データが前記第１の所定条件を満たす場合、前記光源に前記第２放射条件で前記第２光を照射させないことを含んでもよい。
　（ｃ）前記４つ以上の第１データセットのそれぞれはｎ×ｍ個の画素値を含み、
　前記４つ以上の第２データセットのそれぞれはｎ×ｍ個の画素値を含み、
　前記第１データセットの数、および前記第２データセットの数をＮとし、
　前記４つ以上の第１データセットをｆ１１、・・・、ｆ１Ｎ、
　前記４つ以上の第２データセットをｆ２１、・・・、ｆ２Ｎ、
　前記第１データをｇ１、
　前記第２データをｇ２とすると、
　ｇ１＝（ｐg1１１・・・ｐg1１ｍ・・・ｐg1ｎ１・・・ｐg1ｎｍ）Ｔ＝Ｈ（ｆ１１・・・ｆ１Ｎ）Ｔ、
　ｇ２＝（ｐg2１１・・・ｐg2１ｍ・・・ｐg2ｎ１・・・ｐg2ｎｍ）Ｔ＝Ｈ（ｆ２１・・・ｆ２Ｎ）Ｔ、
　ｐg1１１、・・・、ｐg1１ｍ、・・・、ｐg1ｎ１、・・・、ｐg1ｎｍ、ｐg2１１、・・・、ｐg2１ｍ、・・・、ｐg2ｎ１、・・・、ｐg2ｎｍのそれぞれは画素値、
　前記Ｈはｎ×ｍ行ｎ×ｍ×Ｎ列の行列であり、
　ｆ１１＝（ｐ11１１・・・ｐ11１ｍ・・・ｐ11ｎ１・・・ｐ11ｎｍ）Ｔ、
　ｆ１２＝（ｐ12１１・・・ｐ12１ｍ・・・ｐ12ｎ１・・・ｐ12ｎｍ）Ｔ、・・・、
　ｆ１Ｎ＝（ｐ1N１１・・・ｐ1N１ｍ・・・ｐ1Nｎ１・・・ｐ1Nｎｍ）Ｔ、
　ｆ２１＝（ｐ21１１・・・ｐ21１ｍ・・・ｐ21ｎ１・・・ｐ21ｎｍ）Ｔ、
　ｆ２２＝（ｐ22１１・・・ｐ22１ｍ・・・ｐ22ｎ１・・・ｐ22ｎｍ）Ｔ、・・・、
　ｆ２Ｎ＝（ｐ2N１１・・・ｐ2N１ｍ・・・ｐ2Nｎ１・・・ｐ2Nｎｍ）Ｔであり、
　ｐ11１１、・・・、ｐ2Nｎｍのそれぞれは画素値であり、
　前記第１値は、(ｐ11１１ ｐ12１1・・・ｐ1N１１)と(ｐ21１１ ｐ22１１・・・ｐ2N１１)のなす角度１１の絶対値、・・・、(ｐ11ｎｍ ｐ12ｎｍ・・・ｐ1Nｎｍ)と(ｐ21ｎｍｐ22ｎｍ・・・ｐ2Nｎｍ)のなす角度ｎｍの絶対値に基づいて決定されてもよい。
　（ｄ）前記第１値は、｛（前記角度１１の絶対値）＋・・・＋（前記角度ｎｍの絶対値）｝／（ｎ×ｍ）であってもよい。
　（ｅ）前記撮像装置はイメージセンサを含み、前記イメージセンサはｎ×ｍ個の画素ｐ１１・・・ｐ１ｍ・・・ｐｎ１・・・ｐｎｍを含み、
　前記画素ｐ１１は前記画素値ｐg1１１及び前記画素値ｐg2１１に対応し、・・・、前記画素ｐ１ｍは前記画素値ｐg1１ｍ及び前記画素値ｐg21１ｍに対応し、・・・、前記画素ｐｎ１は前記画素値ｐg1ｎ１及び前記画素値ｐg2ｎ１に対応し、・・・、画素ｐｎｍは前記画素値ｐg1ｎｍ及び前記画素値ｐg2ｎｍに対応してもよい。
　（付記４）
　以上の実施の形態の記載により、以下の技術が開示される。
　［技術１］
　光源と、
　前記光源からの光で照明された被写体を撮影して画像データを生成する撮像装置であって、前記画像データは、４つ以上のバンドのそれぞれの画像情報、または前記４つ以上のバンドの画像情報が１つの画像として圧縮された圧縮画像の情報を含む、撮像装置と、
　処理装置と、
を備え、
　前記処理装置は、
　前記画像データにおける複数の画素の画素値が所定の条件を満たしているか否かを判定し、
　前記所定の条件が満たされていない場合、前記被写体の位置における前記光源からの光のスペクトル形状が変化しない条件下で、前記光源による照明条件を変化させる、
　撮像システム。
　［技術２］
　前記光源と前記被写体との距離を調整する調整装置をさらに備え、
　前記処理装置は、前記所定の条件が満たされていない場合、前記調整装置に、前記光源と前記被写体との距離を規定範囲内で変化させることにより、前記照明条件を変化させる、
　技術１に記載の撮像システム。
　［技術３］
　前記処理装置は、前記所定の条件が満たされていない場合、前記調整装置に、前記光源と前記被写体との距離を、前記規定範囲内で変化させる動作を、前記条件が満たされるまで繰り返させる、技術２に記載の撮像システム。
　［技術４］
　前記調整装置は、前記光源の向きを変化させることなく、前記光源と前記被写体との距離を変化させる、技術２または３に記載の撮像システム。
　［技術５］
　前記処理装置は、前記所定の条件が満たされていない場合、前記光源を駆動するための制御パラメータを、予め定められた範囲内で変化させることにより、前記照明条件を変化させる、技術１に記載の撮像システム。
　［技術６］
　前記複数の画素の画素値が前記所定の条件を満たしているか否かを判定することは、前記複数の画素の各々の画素値が所定の範囲内にあるか否かを判定することを含む、技術１から５のいずれかに記載の撮像システム。
　［技術７］
　前記複数の画素の画素値が前記所定の条件を満たしているか否かを判定することは、前記複数の画素の画素値から計算されるコントラスト値が閾値を超えるか否かを判定することを含む、技術１から５のいずれかに記載の撮像システム。
　［技術８］
　前記画像データは、前記圧縮画像の情報を含み、
　前記処理装置は、前記所定の条件が満たされている場合、前記圧縮画像に基づいて、前記４つ以上のバンドのそれぞれの画像を生成するための処理を実行する、
　技術１から７のいずれかに記載の撮像システム。
　［技術９］
　前記撮像装置は、
　　前記被写体からの光の強度の空間分布を波長ごとに変化させる光学素子と、
　　前記光学素子を通過した光を受けて前記圧縮画像の情報を含む前記画像データを生成するイメージセンサと、
を備える、技術８に記載の撮像システム。
　［技術１０］
　前記画像データは、前記４つ以上のバンドのそれぞれの画像情報を含む、技術１から５のいずれかに記載の撮像システム。
　［技術１１］
　前記撮像装置は、
　　前記被写体からの光の強度の空間分布を波長ごとに変化させる光学素子と、
　　前記光学素子を通過した光を受けて前記圧縮画像の情報を含む前記画像データを出力するイメージセンサと、
を備え、
　前記処理装置は、前記イメージセンサから出力された前記画像データに基づいて、前記４つ以上のバンドのそれぞれの画像情報を含む他の画像データを生成する、技術１から５のいずれかに記載の撮像システム。
　［技術１２］
　前記複数の画素の画素値が前記所定の条件を満たしているか否かを判定することは、前記４つ以上のバンドのそれぞれの画像における複数の画素の各々の画素値が所定の範囲内にあるか否かを判定することを含む、技術１０または１１に記載の撮像システム。
　［技術１３］
　前記複数の画素の画素値が前記所定の条件を満たしているか否かを判定することは、前記４つ以上のバンドのそれぞれの画像における複数の画素の画素値から計算されるコントラスト値が閾値を超えるか否かを判定することを含む、技術１０または１１に記載の撮像システム。
　［技術１４］
　前記光学素子は、２次元平面内に配置された複数の光学フィルタを含み、前記複数の光学フィルタの分光透過率は互いに異なり、前記複数の光学フィルタのそれぞれの前記分光透過率は複数の極大値を示す、技術９または１１に記載の撮像システム。
　［技術１５］
　前記照明条件を規定するパラメータの規定範囲を示すデータを記憶する記憶装置をさらに備え、
　前記処理装置は、前記データに基づいて、前記パラメータを前記規定範囲内で変化させることにより、前記照明条件を変化させる、技術１から１４のいずれかに記載の撮像システム。
　［技術１６］
　前記被写体を支持する支持面を有するステージをさらに備え、
　前記調整装置は、前記光源を前記ステージの前記支持面に垂直な方向に移動させることによって前記光源と前記被写体との距離を変化させるリニアアクチュエータを備える、
　技術２から４のいずれかに記載の撮像システム。
　［技術１７］
　前記処理装置は、前記光源からの光によって照明された校正用被写体を前記撮像装置が撮影することによって生成した校正用画像データと、前記照明条件を規定するパラメータとの関係に基づいて、前記被写体の位置における前記スペクトル形状が変化しない前記パラメータの規定範囲を決定し、
　前記パラメータを前記規定範囲内で変化させることにより、前記照明条件を変化させる、
　技術１から１６のいずれかに記載の撮像システム。
　［技術１８］
　前記処理装置は、
　前記パラメータを変化させながら、前記撮像装置に前記校正用画像データを生成させ、
　前記校正用画像データに基づいて特定される前記校正用被写体のスペクトル形状の変化量が所定量よりも小さい前記パラメータの範囲を、前記規定範囲として決定する、技術１７に記載の撮像システム。
　［技術１９］
　前記処理装置は、前記被写体の撮影の前に、
　前記光源からの光によって照明された校正用被写体を前記撮像装置が撮影することによって生成した校正用画像データを取得し、
　前記校正用画像データにおける複数の画素の画素値が前記所定の条件を満たしているか否かを判定し、
　前記所定の条件が満たされている場合、前記校正用画像データに基づいて、前記校正用被写体のスペクトルデータを生成して記憶装置に記憶させ、
　前記所定の条件が満たされていない場合、前記照明条件を規定するパラメータを、規定範囲内で変化させる、
　技術１から１８のいずれかに記載の撮像システム。
　［技術２０］
　一又は複数のメモリに記録された複数の命令を実行する一又は複数のプロセッサによって実行される方法であって、
　光源からの光で照明された被写体を撮影して画像データを生成する撮像装置であって、前記画像データは、４つ以上のバンドのそれぞれの画像情報、または前記４つ以上のバンドの画像情報が１つの画像として圧縮された圧縮画像の情報を含む、撮像装置から前記画像データを取得することと、
　前記画像データにおける複数の画素の画素値が所定の条件を満たしているか否かを判定することと、
　前記所定の条件が満たされていない場合、前記被写体の位置における前記光源からの光のスペクトル形状が変化しない条件下で、前記光源による照明条件を変化させることと、
　を含む方法。
　本開示の技術は、例えばハイパースペクトルカメラなどの多波長の画像を取得するカメラおよび測定機器に広く利用可能である。本開示の技術は、例えば、工場内のライン検査などの、わずかな色の変化を識別して品質を評価する用途などに適用することができる。
　１０　　圧縮画像
　２０　　ハイパースペクトル画像
　７０　　対象物
　１００　撮像装置
　１１０　フィルタアレイ
　１２０　照明装置
　１２２　光源
　１３０　調整装置
　１４０　光学系
　１５０　支持体
　１６０　イメージセンサ
　１７０　対象物
　１９０　ステージ
　２００　処理装置
　２７０　被写体
　３００　表示装置
　１０００　撮像システム

Claims (20)

  1. 　光源と、
    　前記光源からの光で照明された被写体を撮影して画像データを生成する撮像装置であって、前記画像データは、４つ以上のバンドのそれぞれの画像情報、または前記４つ以上のバンドの画像情報が１つの画像として圧縮された圧縮画像の情報を含む、撮像装置と、
    　処理装置と、
    を備え、
    　前記処理装置は、
    　前記画像データにおける複数の画素の画素値が所定の条件を満たしているか否かを判定し、
    　前記所定の条件が満たされていない場合、前記被写体の位置における前記光源からの光のスペクトル形状が変化しない条件下で、前記光源による照明条件を変化させる、
    　撮像システム。
  2. 　前記光源と前記被写体との距離を調整する調整装置をさらに備え、
    　前記処理装置は、前記所定の条件が満たされていない場合、前記調整装置に、前記光源と前記被写体との距離を規定範囲内で変化させることにより、前記照明条件を変化させる、
    　請求項１に記載の撮像システム。
  3. 　前記処理装置は、前記所定の条件が満たされていない場合、前記調整装置に、前記光源と前記被写体との距離を、前記規定範囲内で変化させる動作を、前記条件が満たされるまで繰り返させる、請求項２に記載の撮像システム。
  4. 　前記調整装置は、前記光源の向きを変化させることなく、前記光源と前記被写体との距離を変化させる、請求項２に記載の撮像システム。
  5. 　前記処理装置は、前記所定の条件が満たされていない場合、前記光源を駆動するための制御パラメータを、予め定められた範囲内で変化させることにより、前記照明条件を変化させる、請求項１に記載の撮像システム。
  6. 　前記複数の画素の画素値が前記所定の条件を満たしているか否かを判定することは、前記複数の画素の各々の画素値が所定の範囲内にあるか否かを判定することを含む、請求項１から５のいずれかに記載の撮像システム。
  7. 　前記複数の画素の画素値が前記所定の条件を満たしているか否かを判定することは、前記複数の画素の画素値から計算されるコントラスト値が閾値を超えるか否かを判定することを含む、請求項１から５のいずれかに記載の撮像システム。
  8. 　前記画像データは、前記圧縮画像の情報を含み、
    　前記処理装置は、前記所定の条件が満たされている場合、前記圧縮画像に基づいて、前記４つ以上のバンドのそれぞれの画像を生成するための処理を実行する、
    　請求項１から５のいずれかに記載の撮像システム。
  9. 　前記撮像装置は、
    　　前記被写体からの光の強度の空間分布を波長ごとに変化させる光学素子と、
    　　前記光学素子を通過した光を受けて前記圧縮画像の情報を含む前記画像データを生成するイメージセンサと、
    を備える、請求項８に記載の撮像システム。
  10. 　前記画像データは、前記４つ以上のバンドのそれぞれの画像情報を含む、請求項１に記載の撮像システム。
  11. 　前記撮像装置は、
    　　前記被写体からの光の強度の空間分布を波長ごとに変化させる光学素子と、
    　　前記光学素子を通過した光を受けて前記圧縮画像の情報を含む前記画像データを出力するイメージセンサと、
    を備え、
    　前記処理装置は、前記イメージセンサから出力された前記画像データに基づいて、前記４つ以上のバンドのそれぞれの画像情報を含む他の画像データを生成する、請求項１に記載の撮像システム。
  12. 　前記複数の画素の画素値が前記所定の条件を満たしているか否かを判定することは、前記４つ以上のバンドのそれぞれの画像における複数の画素の各々の画素値が所定の範囲内にあるか否かを判定することを含む、請求項１０または１１に記載の撮像システム。
  13. 　前記複数の画素の画素値が前記所定の条件を満たしているか否かを判定することは、前記４つ以上のバンドのそれぞれの画像における複数の画素の画素値から計算されるコントラスト値が閾値を超えるか否かを判定することを含む、請求項１０または１１に記載の撮像システム。
  14. 　前記光学素子は、２次元平面内に配置された複数の光学フィルタを含み、前記複数の光学フィルタの分光透過率は互いに異なり、前記複数の光学フィルタのそれぞれの前記分光透過率は複数の極大値を示す、請求項１１に記載の撮像システム。
  15. 　前記照明条件を規定するパラメータの規定範囲を示すデータを記憶する記憶装置をさらに備え、
    　前記処理装置は、前記データに基づいて、前記パラメータを前記規定範囲内で変化させることにより、前記照明条件を変化させる、請求項１、１０、１１のいずれかに記載の撮像システム。
  16. 　前記被写体を支持する支持面を有するステージをさらに備え、
    　前記調整装置は、前記光源を前記ステージの前記支持面に垂直な方向に移動させることによって前記光源と前記被写体との距離を変化させるリニアアクチュエータを備える、
    　請求項２から４のいずれかに記載の撮像システム。
  17. 　前記処理装置は、前記光源からの光によって照明された校正用被写体を前記撮像装置が撮影することによって生成した校正用画像データと、前記照明条件を規定するパラメータとの関係に基づいて、前記被写体の位置における前記スペクトル形状が変化しない前記パラメータの規定範囲を決定し、
    　前記パラメータを前記規定範囲内で変化させることにより、前記照明条件を変化させる、
    　請求項１から５、１０、１１のいずれかに記載の撮像システム。
  18. 　前記処理装置は、
    　前記パラメータを変化させながら、前記撮像装置に前記校正用画像データを生成させ、
    　前記校正用画像データに基づいて特定される前記校正用被写体のスペクトル形状の変化量が所定量よりも小さい前記パラメータの範囲を、前記規定範囲として決定する、請求項１７に記載の撮像システム。
  19. 　前記処理装置は、前記被写体の撮影の前に、
    　前記光源からの光によって照明された校正用被写体を前記撮像装置が撮影することによって生成した校正用画像データを取得し、
    　前記校正用画像データにおける複数の画素の画素値が前記所定の条件を満たしているか否かを判定し、
    　前記所定の条件が満たされている場合、前記校正用画像データに基づいて、前記校正用被写体のスペクトルデータを生成して記憶装置に記憶させ、
    　前記所定の条件が満たされていない場合、前記照明条件を規定するパラメータを、規定範囲内で変化させる、
    　請求項１から５、１０、１１のいずれかに記載の撮像システム。
  20. 　一又は複数のメモリに記録された複数の命令を実行する一又は複数のプロセッサによって実行される方法であって、
    　光源からの光で照明された被写体を撮影して画像データを生成する撮像装置であって、前記画像データは、４つ以上のバンドのそれぞれの画像情報、または前記４つ以上のバンドの画像情報が１つの画像として圧縮された圧縮画像の情報を含む、撮像装置から前記画像データを取得することと、
    　前記画像データにおける複数の画素の画素値が所定の条件を満たしているか否かを判定することと、
    　前記所定の条件が満たされていない場合、前記被写体の位置における前記光源からの光のスペクトル形状が変化しない条件下で、前記光源による照明条件を変化させることと、
    　を含む方法。
PCT/JP2023/007936 2022-03-17 2023-03-03 撮像システム WO2023176492A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2022-042294 2022-03-17
JP2022042294 2022-03-17
JP2023-021203 2023-02-14
JP2023021203 2023-02-14

Publications (1)

Publication Number Publication Date
WO2023176492A1 true WO2023176492A1 (ja) 2023-09-21

Family

ID=88022999

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/007936 WO2023176492A1 (ja) 2022-03-17 2023-03-03 撮像システム

Country Status (1)

Country Link
WO (1) WO2023176492A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0953988A (ja) * 1995-08-10 1997-02-25 Fuji Electric Co Ltd 液体の着色測定装置
JP2002197448A (ja) * 2000-12-15 2002-07-12 Mitsutoyo Corp 画像計測システム及びその方法、並びにそれに用いられる記録媒体、搬送波送信装置及び搬送波受信装置
JP2003065963A (ja) * 2001-08-27 2003-03-05 Dainippon Printing Co Ltd 平坦面の画像入力方法及び装置
US20060108502A1 (en) * 2003-09-09 2006-05-25 Bernard Petrillo Microscope light regulator
JP2008170437A (ja) * 2002-07-26 2008-07-24 Olympus Corp 画像処理システム
JP2012213466A (ja) * 2011-03-31 2012-11-08 Canon Inc 光干渉断層撮影装置、光干渉断層撮影装置の制御方法、プログラムおよび眼科システム
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
CN212031293U (zh) * 2020-05-15 2020-11-27 广东省农业科学院农产品公共监测中心 一种目标自适应可见近红外检测光源姿态调节装置
JP2021018086A (ja) * 2019-07-18 2021-02-15 レボックス株式会社 光学系設計情報管理システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0953988A (ja) * 1995-08-10 1997-02-25 Fuji Electric Co Ltd 液体の着色測定装置
JP2002197448A (ja) * 2000-12-15 2002-07-12 Mitsutoyo Corp 画像計測システム及びその方法、並びにそれに用いられる記録媒体、搬送波送信装置及び搬送波受信装置
JP2003065963A (ja) * 2001-08-27 2003-03-05 Dainippon Printing Co Ltd 平坦面の画像入力方法及び装置
JP2008170437A (ja) * 2002-07-26 2008-07-24 Olympus Corp 画像処理システム
US20060108502A1 (en) * 2003-09-09 2006-05-25 Bernard Petrillo Microscope light regulator
JP2012213466A (ja) * 2011-03-31 2012-11-08 Canon Inc 光干渉断層撮影装置、光干渉断層撮影装置の制御方法、プログラムおよび眼科システム
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
JP2021018086A (ja) * 2019-07-18 2021-02-15 レボックス株式会社 光学系設計情報管理システム
CN212031293U (zh) * 2020-05-15 2020-11-27 广东省农业科学院农产品公共监测中心 一种目标自适应可见近红外检测光源姿态调节装置

Similar Documents

Publication Publication Date Title
CN105791640B (zh) 摄像装置
US10101206B2 (en) Spectral imaging method and system
JP2015100127A (ja) 多重化イメージング
JP2016156801A (ja) 撮像装置および分光システム
WO2021192891A1 (ja) 信号処理方法、信号処理装置、および撮像システム
US8976240B2 (en) Spatially-varying spectral response calibration data
WO2021246192A1 (ja) 信号処理方法、信号処理装置、および撮像システム
WO2022163421A1 (ja) 検査対象に含まれる異物を検出する方法および装置
CN113454511B (zh) 显微图像的压缩获取
WO2021171905A1 (ja) 撮像装置
EP2406618A2 (en) Apparatus and method for measuring haze of sheet materials or other materials
JP7457952B2 (ja) 光検出装置、光検出システム、およびフィルタアレイ
US20240037798A1 (en) Image processing apparatus, imaging system, and method for estimating error in reconstructed images
US20240119645A1 (en) Signal processing apparatus and signal processing method
WO2023176492A1 (ja) 撮像システム
WO2021145054A1 (ja) 光学フィルタアレイ、光検出装置、および光検出システム
Barnard et al. Camera calibration for color research
JP2016090290A (ja) 撮像装置、分光システム、および分光方法
Schöberl et al. Building a high dynamic range video sensor with spatially nonregular optical filtering
WO2024053302A1 (ja) 情報処理方法および撮像システム
CN112823509B (zh) 用于估计成像设备的曝光时间的方法和系统
JP2024020922A (ja) 復元画像の評価方法および撮像システム、
WO2024043009A1 (ja) 信号処理方法および信号処理装置
WO2023106143A1 (ja) 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
WO2023286613A1 (ja) フィルタアレイ、光検出装置、および光検出システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23770450

Country of ref document: EP

Kind code of ref document: A1