WO2016111308A1 - マルチスペクトル撮像装置 - Google Patents

マルチスペクトル撮像装置 Download PDF

Info

Publication number
WO2016111308A1
WO2016111308A1 PCT/JP2016/050219 JP2016050219W WO2016111308A1 WO 2016111308 A1 WO2016111308 A1 WO 2016111308A1 JP 2016050219 W JP2016050219 W JP 2016050219W WO 2016111308 A1 WO2016111308 A1 WO 2016111308A1
Authority
WO
WIPO (PCT)
Prior art keywords
wavelength
image sensor
imaging
function
light
Prior art date
Application number
PCT/JP2016/050219
Other languages
English (en)
French (fr)
Inventor
平本　政夫
Original Assignee
平本　政夫
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平本　政夫 filed Critical 平本　政夫
Priority to JP2016568734A priority Critical patent/JP6224275B2/ja
Priority to JP2016139208A priority patent/JP6339133B2/ja
Publication of WO2016111308A1 publication Critical patent/WO2016111308A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Definitions

  • the present application relates to a multispectral technique capable of measuring a reflection spectral characteristic of a subject from an image acquired by imaging the subject.
  • Patent Document 2 introduces a multispectral camera that can reduce the number of optical filters to be used by optimally designing the optical filters.
  • Patent Document 3 discloses an apparatus including a one-dimensional imaging device, a beam splitter that splits light incident through a lens, and a tunable filter that selectively transmits light in an arbitrary wavelength band. With such a configuration, it is disclosed that images in various wavelength bands can be obtained without using a mechanism for replacing an optical filter.
  • Patent Document 4 introduces a technique for obtaining a color image of good quality using a single plate type color image pickup device provided with standard RGB color filters and other color filters.
  • This disclosure provides multi-spectral technology with a different approach from conventional technology.
  • An embodiment of the present disclosure provides a multispectral imaging apparatus that does not require a mechanical mechanism and can improve sensitivity.
  • One aspect of the multispectral imaging device of the present disclosure is disposed between an image sensor, an optical system disposed to form an image of a subject on an imaging surface of the image sensor, and the subject and the image sensor.
  • a wavelength selection filter capable of changing the wavelength dependence of the light transmittance; and the wavelength selection filter connected to the wavelength selection filter and the image sensor, while changing the wavelength dependence of the light transmittance of the wavelength selection filter.
  • the comprehensive or specific aspect described above may be realized by a system, a method, an integrated circuit, a computer program, or a recording medium. Alternatively, it may be realized by any combination of a system, an apparatus, a method, an integrated circuit, a computer program, and a recording medium.
  • the spectral characteristic (the wavelength dependence of the light intensity) of the incident light to the image sensor can be changed before being received.
  • multispectral imaging with higher sensitivity than before can be realized without using a complicated mechanical mechanism.
  • Embodiment 1 is a configuration diagram of a multispectral imaging apparatus according to Embodiment 1 of the present disclosure. It is the figure which showed typically a mode that it images on an image pick-up element through the imaging lens and wavelength selection filter in Embodiment 1 of this indication. It is an external view of the wavelength selection filter in Embodiment 1 and Embodiment 2 of this indication. It is a spectral characteristic figure of the multilayer filter which is a part of wavelength selection filter in Embodiment 1 and Embodiment 2 of this indication. It is a spectral characteristic figure of the transmittance pattern according to the cosine function of the wavelength selection filter in Embodiment 1 of this indication. It is a spectral characteristic figure of the transmittance pattern according to the sine function of the filter.
  • FIG. 6 is a flowchart of imaging and signal processing simulation in Embodiment 1 and Embodiment 2 of the present disclosure. It is a spectral characteristic figure which combined the spectral characteristic of the optical system containing the light source and lens in Embodiment 1 and Embodiment 2 of this indication, and the spectral sensitivity of an image sensor.
  • FIG. 7 is a reflection spectral characteristic diagram of Macbeth color checkers No. 13 to No. 15 made by X-Rite, which are used as subjects in Embodiment 1 of the present disclosure.
  • FIG. 6 is a reflection spectral characteristic diagram of Macbeth color checkers No. 16 to No. 18. It is a spectral characteristic figure of a photographic subject computed in Embodiment 1 of this indication.
  • FIG. 10 is a first diagram for describing a spatial distribution of light transmittance of a liquid crystal panel 2b in Embodiment 3.
  • FIG. 10 is a first diagram for describing a spatial distribution of light transmittance of a liquid crystal panel 2b in Embodiment 3.
  • FIG. 10 is a second diagram for explaining the spatial distribution of light transmittance of the liquid crystal panel 2b in the third embodiment. It is a figure which shows the example of the spectral transmittance characteristic of the wavelength selection filter 2 implement
  • FIG. 10 is a second diagram for explaining the spatial distribution of light transmittance of the liquid crystal panel 2b in the third embodiment. It is a figure which shows the example of the spectral transmittance characteristic of the wavelength selection filter 2 implement
  • the embodiment of the present disclosure provides a new multispectral imaging technique that can solve the above-described problems.
  • the embodiments of the multispectral imaging apparatus of the present disclosure have the same basic principle, but are roughly divided into two forms.
  • an image is picked up using an optical filter capable of changing transmission spectral characteristics between a subject and an image sensor (image sensor), and reflection spectral characteristics of the subject are calculated from the acquired image information.
  • This is the desired form.
  • the second mode is a mode in which a reflection spectral characteristic of a subject is obtained by calculation from image information obtained by imaging using a light source capable of changing the irradiation spectral characteristic.
  • the irradiation spectral characteristic means a characteristic of irradiation light intensity for each wavelength.
  • the reflection spectral characteristic means a characteristic of reflected light intensity for each wavelength.
  • the transmission spectral characteristic (or spectral transmission characteristic) is expressed as a function of wavelength indicating light transmittance.
  • the irradiation spectral characteristic is expressed as a function of wavelength indicating the irradiation light intensity.
  • the reflection spectral characteristic is expressed as a function of wavelength indicating reflected light intensity.
  • a multispectral imaging apparatus is disposed between an image sensor, an optical system arranged to form an image of a subject on an imaging surface of the image sensor, and the subject and the image sensor.
  • a wavelength selection filter capable of changing the wavelength dependence of the light transmittance; and the wavelength selection filter connected to the wavelength selection filter and the image sensor, while changing the wavelength dependence of the light transmittance of the wavelength selection filter.
  • a multispectral imaging device is an image sensor, an optical system arranged to form an image of a subject on the imaging surface of the image sensor, and an illumination device that irradiates the subject with light.
  • An illumination device capable of changing the wavelength dependence of the emission intensity, and connected to the illumination apparatus and the image sensor, and a plurality of times by the image sensor while changing the wavelength dependence of the emission intensity of the illumination apparatus.
  • a function indicating the reflection spectral characteristic at one point of the subject is developed by an orthogonal function system by calculation using a plurality of pixel signals.
  • Kino and a signal processing circuit for obtaining the expansion coefficients.
  • the former is for manipulating the spectral characteristics of incident light
  • the latter is for manipulating the spectral characteristics of illumination for imaging.
  • the pixel signal means an electrical signal (photoelectric conversion signal) output from each photodetection cell (including a photodiode, for example) included in the image sensor.
  • the basic principle of multispectral imaging in an embodiment of the present disclosure will be described using the former configuration as an example.
  • the function is expressed as a shift wavelength X (0 ⁇ 0) X (W) is used to express F (X).
  • F (X) can be approximated by a finite Fourier series expressed by Equation 1.
  • the shift wavelength X may be simply expressed as the wavelength X.
  • Equation 1 a (i) and b (i) in Equation 1 are represented by Equation 2 and Equation 3 below, and i is an integer from 0 to a preset maximum natural number N.
  • the imaging lens system is provided with a wavelength selection filter that can periodically change the spectral characteristic of the transmitted light with respect to the wavelength change (for example, cosine function or sine function), and transmit spectroscopy. Take images while changing the characteristics.
  • the Fourier coefficients a (i) and b (i) can be calculated based on the pixel signal of the image sensor.
  • the multispectral camera performs the first imaging with the transmission spectral characteristic constant in the predetermined wavelength band W (for example, 100% transmission at any wavelength). Then, the pixel signal Sd becomes a signal value proportional to ⁇ F (X) dX, and a (0) can be calculated by the calculation of Sd ⁇ (2 / W). Furthermore, the spectral transmission characteristics (transmittance characteristics) of the wavelength selection filter are changed to characteristics such as (1/2) (1 + cos (2 ⁇ iX / W)) or (1/2) (1 + sin (2 ⁇ iX / W).
  • the pixel signal Sa is ⁇ (1/2) (1 + cos (2 ⁇ iX / W)) F (X) dX or ⁇ (1/2) (1 + sin (2 ⁇ iX / W)) F ( X)
  • the signal value is proportional to dX, and if (2Sa ⁇ Sd) ⁇ (2 / W) is calculated using the pixel signal Sa and the pixel signal Sd of the first imaging result, a ( i) or b (i) can be calculated.
  • the reflection spectroscopy of the subject Characteristics can be calculated on a pixel basis.
  • the above is the basic principle of an embodiment of the present disclosure.
  • the above basic principle is not limited to the case of using a wavelength selection filter, but is the same in the case of using a light source capable of changing the irradiation spectral characteristics. That is, if the light source is adjusted so that the intensity of the emitted light is constant at any wavelength, the pixel signal Sd proportional to ⁇ F (X) dX can be obtained. Also, adjust the light source so that the intensity spectrum of the emitted light is, for example, (1/2) (1 + cos (2 ⁇ iX / W)) or (1/2) (1 + sin (2 ⁇ iX / W).
  • FIG. 1 is a configuration diagram of a multispectral imaging apparatus according to this embodiment.
  • This imaging apparatus includes a broadband optical filter 9, an imaging lens (optical system) 1, a wavelength selection filter 2, an imaging element (image sensor) 3, a signal generation / reception circuit 4, a liquid crystal controller 5, an image A processing circuit 6, an image memory 7, and a signal output unit 8 are provided.
  • the broadband optical filter 9 is a filter that transmits only light in a predetermined wavelength band.
  • the broadband optical filter 9 transmits only light having a wavelength of 380 nm to 760 nm, and cuts light in other wavelength ranges (including ultraviolet rays and infrared rays).
  • the broadband optical filter 9 is disposed in front of the optical system 1.
  • the optical system 1 is an imaging optical system including at least one lens.
  • the optical system 1 collects incident light and forms an image of a subject on the imaging surface of the imaging device 3.
  • the wavelength selection filter 2 includes a multilayer filter 2a having a plurality of portions that respectively transmit a plurality of colors (represented as rainbow colors) included in visible light, and a liquid crystal panel 2b.
  • the multilayer filter 2a has a characteristic that the transmission wavelength changes like a rainbow in one direction.
  • the liquid crystal panel 2b includes a plurality of liquid crystal cells, and the light transmittance can be changed for each cell.
  • the liquid crystal controller 5 is a control circuit that changes the light transmittance of the liquid crystal panel 2b for each location.
  • the liquid crystal controller 5 can adjust the light transmittance by applying a voltage to each liquid crystal cell.
  • the image sensor 3 may be an arbitrary image sensor such as a CMOS type or a CCD type.
  • the image sensor 3 has a plurality of light detection cells (for example, including photodiodes). Each photodetection cell outputs an electrical signal (pixel signal) corresponding to the amount of received light by photoelectric conversion. As a result, the image sensor 3 outputs an image signal corresponding to the image of the light transmitted through the wavelength selection filter 2.
  • the signal generation / reception circuit 4 receives an image signal from the image sensor 3 and generates a signal for driving the image sensor 3 and transmits it to the image sensor 13.
  • the signal generation / reception circuit 4 can be composed of an LSI such as a CMOS driver, for example.
  • the image processing circuit 6 transmits the image signal from the signal generation / reception circuit 4 to the image memory 7 and reads and processes the image signal from the image memory 7.
  • the image processing circuit 6 can be realized by a combination of a signal processing circuit such as a known signal processor (DSP) and software for executing image processing. Alternatively, the image processing circuit 6 may be configured by dedicated hardware.
  • the image memory 7 can be a known semiconductor memory such as DRAM or SRAM.
  • the signal output unit (output interface) 8 outputs a signal from the image processing circuit 6 to the outside.
  • FIG. 2 is a diagram schematically showing a state in which light from a subject passes through the imaging lens 1 and the wavelength selection filter 2 and forms an image on the imaging unit (imaging surface) 3a of the imaging device 3.
  • the formed image is photoelectrically converted by the image pickup device 3 to become an electric signal, and is recorded in the image memory via the signal generation / reception circuit 4 and the image processing circuit 6.
  • FIG. 3 is a diagram schematically showing the appearance of the wavelength selection filter 2.
  • the rainbow-color multilayer filter 2a and the liquid crystal panel 2b are overlapped.
  • the multilayer filter 2a in this embodiment does not change the spectral characteristics in the y direction (corresponding to the vertical direction of the image), but the transmission wavelength is continuous in the x direction (corresponding to the horizontal direction of the image) according to the position. To change.
  • FIG. 4 shows an example of the spectral transmission characteristics of the multilayer filter 2a.
  • the actual multilayer filter 2a may further include a portion of a larger number of transmission wavelength bands.
  • the multilayer filter 2a is a narrow band narrow optical filter at a certain position in the horizontal direction (x direction).
  • the transmission wavelength band at the position also changes continuously. In practice, this change is discrete, but it can be considered continuous by reducing the amount of change in the transmission wavelength band.
  • the peak transmittance of the transmission wavelength at each position is almost 100% (value of 1.0 in the figure).
  • the transmission wavelength band of the multilayer filter 2a may be designed to monotonously increase or decrease with respect to the x coordinate, and a plurality of striped portions each having a specific transmission wavelength band are randomly in the x direction. May be arranged. In the latter case, the entire wavelength band can be designed to be covered almost continuously as a whole.
  • a multilayer filter whose transmission wavelength band changes two-dimensionally, not limited to one dimension, may be used.
  • the multilayer filter 2a for example, a linear variable bandpass filter manufactured by Edmund Optics, a linear variable filter manufactured by Nikon, or the like can be suitably used.
  • the imaging device 3 can select and receive the wavelength of incident light.
  • FIG. 5A and 5B show transmission spectral characteristic patterns of the wavelength selective filter 2 in the present embodiment.
  • FIG. 5A shows eight transmittance patterns of 1 to 8 periods according to the cosine function in the wavelength band of 0.38 ⁇ m to 0.76 ⁇ m (380 nm to 760 nm).
  • FIG. 5B shows eight transmittance patterns of 1 to 8 periods according to the sine function in the same wavelength band.
  • the transmission spectral characteristic pattern of the wavelength selection filter 2 is a total of 17 patterns.
  • the pattern that transmits 100% light in the wavelength band is called PTN0
  • the pattern shown in FIG. 5A is called PTN1, PTN2,..., PTN8 in order from the long cycle to the short cycle
  • the pattern shown in FIG. These are called PTN9, PTN10,..., PTN16 in order from the long cycle to the short cycle.
  • X represents a shift wavelength from the reference wavelength (0.38 ⁇ m in this embodiment).
  • Pn (X) in each pattern is approximately expressed as follows.
  • the subject is photographed each time the transmission spectral characteristic of the wavelength selection filter 2 is changed from PTN0 to PTN16.
  • the Fourier coefficient (Formulas 2 and 3) of the function F (X) shown in FIG. 1 can be estimated from the acquired pixel signal.
  • F (X) can be estimated by calculating the Fourier series expansion shown on the right side of Equation 1 using these Fourier coefficients.
  • F (X) itself indicates the reflection spectral characteristic of the subject.
  • the light emitted from the light source has a specific spectrum, and external light may exist. Therefore, the intensity of the light applied to the subject has wavelength dependency. Therefore, by dividing the obtained F (X) by a function O (X) indicating the spectral characteristics of the light source or the like for each wavelength, a function indicating the reflection spectral characteristics of the subject can be obtained.
  • FIG. 6 is a flowchart showing a flow of operations of the multispectral imaging apparatus in the present embodiment.
  • the operation of the present embodiment will be described by taking a simulation using a plurality of color samples as an example.
  • the light source was a halogen lamp with a color temperature of 5100K.
  • FIG. 7 shows spectral characteristics combining the spectral sensitivities of the light source, the optical system including the lens, and the imaging device 3. This characteristic is called an imaging optical spectral characteristic and is represented by O (X).
  • X is a shift wavelength from 380 nm, and in this embodiment, the wavelength band is 380 nm to 760 nm, so that the possible value is 0 to 380 nm.
  • the subject is a color sample of Macbeth Color Checker No. 13 to No. 18 manufactured by X-Rite. These reflection spectral characteristics are represented by F (X). These color samples No13 to No18 are blue (B), green (G), red (R), yellow (Ye), magenta (Mg), and cyan (Cy) in numerical order. 8A and 8B show the reflection spectral characteristics of these color samples.
  • FIG. 8A shows the reflection spectral characteristics of No. 13 to No. 15 and is represented by a solid line, a broken line, and an alternate long and short dash line in numerical order.
  • FIG. 8B shows the reflection spectral characteristics of No. 16 to No. 18 and is represented by a solid line, a broken line, and an alternate long and short dash line in numerical order.
  • the liquid crystal controller 5 changes the transmission spectral characteristic pattern of the wavelength selection filter 2 from PTN0 to PTN16 and picks up an image with the image pickup device 3.
  • These image signal values are E (0) to E (16).
  • step S1 a discrete integration operation of their spectral characteristics and the spectral characteristics of O (X) and PTN0 to PTN16 is performed. Thereby, relative pixel signal values E (0) to E (16) are calculated for each color sample (step S1).
  • the Fourier coefficients a (0) to a (8) and b of each color sample are calculated from the pixel signal values E (0) to E (16) using the following expressions 4, 5 and 6.
  • (1) to b (8) are calculated (step S2).
  • i is an integer of 1-8.
  • 1 ⁇ 2 of the wavelength band W is calculated as ⁇ .
  • the reflection spectral characteristic F (X) of the subject is represented by the Fourier series shown in Equation 1. (Step S3). However, since W / 2 is calculated as ⁇ in this calculation, the following Fourier series is used.
  • the calculated F (X) is the spectrum of the captured image, which includes the influence of the imaging optical spectral characteristic O (X) described above. Therefore, as a fourth step, F (X) is further divided by O (X) to calculate the spectral characteristics of the subject (step S4). This division is performed for each numerical data for every 10 nm, for example.
  • FIG. 9A shows the calculated spectral characteristics of the subject.
  • FIG. 9B shows actual spectral characteristics of the color checker that is the subject.
  • a thick solid line is blue (calculation result: Cal_No13, actual characteristic: No13)
  • a thick broken line is green (calculation result: Cal_No14, actual characteristic: No14)
  • a thick one-dot chain line is red (calculation).
  • the spectral characteristic value at a specific wavelength specified in advance is taken out from the calculated spectral characteristic of the subject, the specific wavelength image using the data as the pixel signal, and the average value of the pixel signal are calculated, and the pixel values are calculated.
  • a black and white image as a signal is output from the signal output unit 8 to the outside (step S5). Only one of the specific wavelength image and the monochrome image may be generated and output. The black and white image may be generated not from the average value of the pixel signals but from only the sum value or the pixel signal of PTN0.
  • each transmission spectral characteristic pattern (FIG. 5A and FIG. 5B) of the wavelength selection filter 2 has a plurality of spectral transmittance peaks, so that conventional RGB having only one spectral transmittance peak. Light utilization is higher than filters. Therefore, the brightness of the output black and white image can be increased.
  • the multispectral imaging apparatus of the present embodiment captures an image while changing the transmission spectral characteristic pattern of the wavelength selection filter 2, and uses the pixel signal obtained by the imaging to calculate the reflection spectral characteristic at each point of the subject image.
  • the spectral characteristics of the subject image can be calculated in units of pixels.
  • it has the advantage that the brightness of the captured image obtained from the imaging device is high.
  • the transmission spectral characteristic patterns of the wavelength selection filter 2 are the cosine transmission spectral characteristic patterns PTN1 to PTN8 and the sinusoidal transmission spectral characteristic patterns PTN9 to PTN16.
  • the present invention is not limited to this. is not.
  • only a cosine transmission spectral characteristic pattern may be used, and the number of patterns is not limited to 16.
  • Fourier cosine series expansion can be used instead of Equations 1 to 3.
  • spectral characteristic waveform (AC component) of the subject it is not necessary to use the PTN0 pattern.
  • the wavelength band to be measured is designed to be 380 nm to 760 nm.
  • the present invention is not limited to this, and a wider wavelength band or a narrower wavelength band may be used.
  • a wavelength band such as near infrared rays or near ultraviolet rays may be used.
  • the term “light” is used not only for visible light but also for all electromagnetic waves including infrared rays and ultraviolet rays.
  • the reflection spectral characteristic F (X) of the subject is represented by the Fourier series expansion shown in Equation 1, but not limited to the Fourier series expansion, F (X) is expanded using another orthogonal function system. Also good. Even in such a case, if the expansion coefficient can be calculated by arithmetic processing using the plurality of output pixel signals, the reflection spectral characteristics of the subject can be obtained.
  • FIG. 10 is a diagram illustrating a configuration of the multispectral imaging apparatus according to the present embodiment.
  • the present embodiment does not include the wavelength selection filter 2 in the imaging optical system, but is disposed in front of the imaging light source 10 instead. Others are the same as the first embodiment, and the processing is the same.
  • the imaging light source is, for example, a halogen lamp that includes a color temperature conversion filter and is adjusted to a color temperature of 5100K.
  • the imaging apparatus of the present embodiment includes a light source 10 for photographing, and there is no light source that illuminates a subject other than the light source 10.
  • the light source 10 and the wavelength selection filter 2 constitute an illumination device.
  • the configuration of the imaging apparatus is basically the same as that of the first embodiment and the signal processing is also the same, the same effect as in the case of the first embodiment can be obtained.
  • the wavelength selection filter 2 is arranged in front of the imaging light source 10, and the configuration and signal processing are the same as those of the first embodiment.
  • the spectral characteristics of the subject image can be calculated in units of pixels, and the brightness of the captured image obtained from the imaging device is high.
  • a halogen lamp is used as the imaging light source.
  • a high-pressure discharge lamp for a projector such as a mercury lamp or a metal halide lamp
  • the irradiation spectral characteristics in the present embodiment can be controlled by a combination of a high-pressure discharge lamp and a liquid crystal panel provided in the high-intensity projector.
  • an array of white light emitting diodes (LEDs) may be used.
  • the illumination for multispectral analysis can also be realized by a combination of a white LED array and a wavelength selection filter such as a linear variable filter. By controlling the light emission power of each LED, the same function as when using a liquid crystal panel can be realized.
  • the light source 10 itself may operate so as to switch the state of a plurality of irradiation spectral characteristics.
  • a light source 10 can be realized by, for example, an array of a plurality of light emitting diodes (LEDs) having different emission wavelength ranges.
  • FIG. 11 is a diagram schematically showing an example of the illumination device 10 having the LED array as described above.
  • the illumination device 10 has a plurality of LEDs 10a.
  • the plurality of LEDs 10a are arranged two-dimensionally (in a matrix) at regular intervals, but may be arranged one-dimensionally.
  • Each LED 10a may be a white LED, or may be an LED designed to maximize light emission intensity (light emission power) at a specific wavelength set for each LED 10a (that is, LEDs having different emission colors).
  • the irradiation spectral characteristics as shown in FIGS. 5A and 5B are realized by using together with the multilayer filter described above and adjusting the emission intensity of each LED.
  • Each LED 10 a is controlled by the control circuit 20.
  • the control circuit 20 By individually controlling the emission intensity of each of the plurality of white LEDs or the plurality of LEDs 10a having different emission colors, the same control as in the case of using the wavelength selection filter 2 is possible.
  • the number of the plurality of LEDs 10a is arbitrary, and may be several hundred to several tens of thousands, for example, or more.
  • the illumination device of the present disclosure may have a plurality of white light sources such as white LEDs instead of having the wavelength selection filter including the liquid crystal panel.
  • a plurality of light sources having a maximum emission intensity for a specific wavelength may be included.
  • the multispectral imaging apparatus of the present embodiment is different from that of the first embodiment in the structure of the multilayer filter 2a in the wavelength selection filter 2 and the mechanism for generating the periodic function shown in FIGS. 5A and 5B.
  • the other configuration is the same as that of the first embodiment.
  • a description will be given focusing on differences from the first embodiment.
  • the multilayer filter 2a in the present embodiment is not a rainbow filter described above, but a filter whose cutoff wavelength continuously changes in one direction. More specifically, the multilayer filter 2a has a plurality of strip-shaped portions (long and narrow portions extending in the y direction) arranged in the x direction shown in FIG. Each band-like portion has a unique cutoff wavelength, and light having a wavelength longer than the cutoff wavelength passes well, but light having a wavelength smaller than the cutoff wavelength does not pass much.
  • the multilayer filter 2a of this embodiment has a characteristic that the cutoff wavelength monotonously increases with an increase in the x coordinate. Each band is thin, and the rate of change of the transmission wavelength with respect to the x coordinate is so small that it can be regarded as being substantially continuous.
  • the multilayer filter 2a for example, a long-pass filter that hardly transmits light having a wavelength shorter than the cutoff wavelength and transmits much light having a wavelength equal to or greater than the cutoff wavelength is used.
  • each band portion in the multilayer filter 2a does not transmit much light having a wavelength longer than the cutoff wavelength, and has a characteristic of transmitting light having a wavelength equal to or shorter than the cutoff wavelength.
  • cutoff wavelength means that the transmittance of light having a wavelength equal to or greater than that wavelength is relatively high, and the transmittance of light having a wavelength smaller than that wavelength is relatively low. It means the wavelength when the transmittance of light having a wavelength or longer than that wavelength is relatively low and the transmittance of light having a wavelength shorter than that wavelength is relatively high.
  • FIG. 12 is a diagram showing an example of spectral transmission characteristics of the multilayer filter 2a in the present embodiment.
  • the broken line in FIG. 12 shows an example of the spectral transmission characteristics of some strip portions.
  • FIG. 4 shows an example where the cutoff wavelengths are 400 nm, 450 nm, 500 nm, 550 nm, 600 nm, 650 nm, and 700 nm from the left side of FIG.
  • the actual multilayer filter 2a further includes portions of a large number of transmission wavelength bands.
  • the multilayer filter 2a is an elongated (band-like) optical filter that transmits only light having a wavelength or longer at a certain position in the horizontal direction (x direction).
  • the transmission wavelength band at the position is also continuous (actually discrete, but it can be considered continuous by reducing the amount of change in the transmission wavelength band). Change.
  • the peak transmittance of the transmission wavelength at each position is almost 100% (value of 1.0 in the figure).
  • the transmission wavelength band of the multilayer filter 2a may be designed to monotonously increase or decrease with respect to the x coordinate, and a plurality of striped portions each having a specific transmission wavelength band are randomly in the x direction. May be arranged. In the latter case, the entire wavelength band can be designed to be covered almost continuously as a whole.
  • a multilayer filter whose transmission wavelength band changes two-dimensionally, not limited to one dimension, may be used. Further, as the multilayer filter 2a, a short pass filter that does not transmit much light larger than the cutoff wavelength and transmits light below the cutoff wavelength well may be used instead of the long pass filter.
  • the multilayer filter 2a for example, an Edmund Optics linear variable edge filter (long pass filter or short pass filter), a DELTA linear variable filter (long wave pass filter or short wave pass filter), or the like is preferably used. Can do.
  • imaging is performed a plurality of times by changing the spatial distribution of the light transmittance of the liquid crystal panel 2b.
  • FIG. 13A is a diagram for explaining the principle in the present embodiment.
  • FIG. 13A illustrates two minute regions (referred to as region A and region B) adjacent to each other in the x direction in the multilayer filter 2a.
  • the cutoff wavelength of region A is 540 nm
  • the cutoff wavelength of region B is 550 nm.
  • the difference between the spectral characteristics when the region A is in a light-transmitting state and the region B is in a light-shielding state and the spectral properties when the region A is in a light-shielding state and the region B is in a light-transmitting state is as shown in FIG. 13B.
  • the characteristics are similar to those of a band pass filter that transmits light of 540 nm to 550 nm. Therefore, the pixel signal obtained when the region A is set in the light-shielded state and the region B is set in the light-transmitted state is subtracted from the pixel signal obtained when the region A is set in the light-transmitting state and the region B is in the light-shielded state.
  • the obtained signal is substantially the same as the pixel signal obtained when imaging is performed using such a narrow-band bandpass filter.
  • the imaging apparatus of the present embodiment performs imaging at least twice, and controls the liquid crystal panel 2b so that the position of the light transmission state and the position of the light shielding state are switched in each imaging. Furthermore, when the difference calculation is performed, the light transmission characteristics of the liquid crystal panel 2b are obtained so that the same result as that obtained when the wavelength selective filter of the first embodiment having the spectral transmission characteristics shown in FIGS. 5A and 5B is used can be obtained. Be controlled.
  • FIG. 14A and 14B are diagrams for explaining the spatial distribution of the light transmittance of the liquid crystal panel 2b in the present embodiment.
  • the liquid crystal panel 2b in the present embodiment has a light transmittance that varies in the x direction, but has a constant light transmittance in the y direction.
  • the light transmittance of the liquid crystal panel 2b is expressed as a function T (x) with respect to the coordinate x.
  • T (x) is referred to as a periodic function shown as a solid line in FIG. 14A (referred to as a first periodic function) and a periodic function shown as a solid line in FIG. 14B (referred to as a second periodic function).
  • T (x) is referred to as a periodic function shown as a solid line in FIG. 14A (referred to as a first periodic function) and a periodic function shown as a solid line in FIG. 14B (referred to as a second periodic function).
  • the product is referred to as a periodic function shown as a solid line in FIG.
  • T (x) is referred to as a periodic function (referred to as a third periodic function) indicated by a broken line in FIG. 14A and a periodic function (referred to as a fourth periodic function) indicated as a broken line in FIG. 14B. )
  • the third periodic function is a function obtained by shifting the first periodic function by about a half period
  • the fourth periodic function is a function obtained by shifting the second periodic function by about a half period of the first periodic function. is there.
  • the second periodic function and the fourth periodic function are desired periodic functions corresponding to the spectral transmission characteristics shown in FIGS. 5A and 5B. That is, the second periodic function and the fourth periodic function are not only the sinusoidal function having the longest period shown in FIG. 14B but also the sinusoidal function having a shorter period and the cosine function having various periods. Imaging is performed a plurality of times while sequentially switching.
  • the second periodic function and the fourth periodic function have longer periods than the first periodic function and the second periodic function, respectively.
  • the wavelength selection filter 2 has a spectral transmission characteristic that is a product of the transmission characteristic indicated by the solid line in FIG. 14A and the transmission characteristic according to the sine function indicated by the solid line in FIG. 14B.
  • the image is picked up once, and further picked up after making the spectral transmission characteristic of the product of the transmission characteristic shown by the broken line in FIG. 14A and the transmission characteristic according to the sine function shown by the broken line in FIG. 14B.
  • the difference image is an image that has passed through an optical filter (wavelength selection filter of the first embodiment) having a sine characteristic shown in FIGS. 5A and 5B.
  • the image sensor 3 of the present embodiment can receive light by selecting the wavelength of incident light.
  • Such two imaging operations are not limited to the long-period sine function shown in FIG. 14B, but are similarly performed for each of a shorter-period sine function and various cosine functions.
  • FIG. 15 shows an example of spectral transmittance characteristics of the wavelength selective filter 2 realized in the first imaging.
  • This spectral transmittance characteristic and the spectral transmittance characteristic shifted by a half wavelength realized in the second imaging function complementarily by the above difference calculation, and an image captured through a desired optical filter can be calculated.
  • the second periodic function and the fourth periodic function are, for example, 17 periodic functions shown in FIGS. 5A and 5B (functions whose transmittance is almost constant regardless of wavelength).
  • the pixel signal described with reference to FIG. 6 is obtained by performing 17 sets of imaging and performing a difference calculation of two pixel signals obtained by 2 imagings of each set. Signals corresponding to E (0) to E (16) are obtained. If these signals are used, the same processing as in the first embodiment can be applied.
  • the wavelength selection filter 2 includes the multilayer filter 2a in which a plurality of portions each having a different cutoff wavelength are arranged, and the liquid crystal translucent plate disposed so as to overlap the multilayer filter. 2b.
  • the control circuit liquid crystal controller 5 changes the wavelength dependence of the light transmittance of the wavelength selection filter 2 by changing the spatial distribution of the light transmittance of the liquid crystal light transmitting plate 2b.
  • the cutoff wavelengths of a plurality of portions in the multilayer filter 2a monotonously increase or decrease in one direction (in this embodiment, the x direction).
  • the control circuit controls the liquid crystal translucent plate 2b and the image sensor so as to perform imaging at least twice (typically, 2n times where n is a positive integer).
  • the function in the x direction of the light transmittance of the liquid crystal translucent plate 2b at the time of the first imaging is the product of the first periodic function and the second periodic function having a period longer than the first periodic function.
  • the function of the light transmittance of the liquid crystal translucent plate 2b at the time of the second imaging in the x direction is a third periodic function obtained by shifting the first periodic function by a half period
  • the second periodic function is a half function. It is represented by the product of the fourth periodic function shifted by the period.
  • the signal processing circuit (image processing circuit 6) outputs the first pixel signal output from one pixel of the image sensor 3 by the first imaging and the pixel of the image sensor 3 by the second imaging.
  • the expansion coefficient when the function indicating the reflection spectral characteristic at one point of the object is expanded in the orthogonal function system is obtained by the calculation including the difference calculation with the second pixel signal.
  • the liquid crystal panel 2b has a transmittance distribution represented by the product of the first periodic function and the second periodic function and the product of the third periodic function and the fourth periodic function.
  • the present invention is not limited to this.
  • it may be controlled so as to have a transmittance distribution represented by the product of the first periodic function and the fourth periodic function and the product of the second periodic function and the third periodic function.
  • the same signal processing as in the first embodiment can be applied by photographing twice and using the pixel signal of the difference image as the pixel signal in the first embodiment.
  • the above processing may be combined, and the signal of each pixel of an image obtained by photographing four times and adding two difference images may be used as a pixel signal. In that case, the same signal processing as in the first embodiment can be applied.
  • Various modifications described in the first embodiment can be similarly applied to the present embodiment.
  • the configuration of the present embodiment can be combined with the configuration of the second embodiment. That is, as shown in FIG. 10, the wavelength selection filter 2 may be disposed in front of the light source 10. Various modifications described in the second embodiment can be similarly applied.
  • the present disclosure includes the multispectral imaging device and the illumination device described in the following items.
  • An image sensor An optical system arranged to form an image of a subject on the imaging surface of the image sensor;
  • a wavelength selection filter disposed between the subject and the image sensor and capable of changing the wavelength dependence of light transmittance;
  • the wavelength selection filter and the image sensor are connected to the wavelength selection filter and the image sensor, and the image sensor performs imaging a plurality of times while changing the wavelength dependence of the light transmittance of the wavelength selection filter.
  • a control circuit to control;
  • a signal processing circuit connected to the image sensor, wherein a reflection spectral characteristic at one point of the subject is obtained by calculation using a plurality of pixel signals sequentially output from one pixel of the image sensor by the plurality of times of imaging.
  • a multispectral imaging device is arranged to form an image of a subject on the imaging surface of the image sensor.
  • the wavelength selective filter includes a multilayer filter in which a plurality of portions each transmitting light of a specific wavelength band different from each other are arranged, and a liquid crystal light transmitting plate arranged so as to overlap the multilayer filter,
  • the control circuit changes the wavelength dependence of the light transmittance of the wavelength selective filter by changing a spatial distribution of the light transmittance of the liquid crystal translucent plate.
  • Item 2 The multispectral imaging apparatus according to Item 1.
  • the wavelength selective filter has a multilayer filter in which a plurality of portions each having a different cutoff wavelength are arranged, and a liquid crystal light transmitting plate arranged to overlap the multilayer filter,
  • the control circuit changes the wavelength dependence of the transmittance of the wavelength selective filter by changing a spatial distribution of the light transmittance of the liquid crystal translucent plate.
  • Item 2. The multispectral imaging apparatus according to Item 1.
  • the cut-off wavelengths of the plurality of portions in the multilayer filter monotonously increase or decrease in one direction
  • the control circuit controls the liquid crystal translucent plate and the image sensor so as to perform imaging at least twice
  • the function of the light transmittance of the liquid crystal light transmission plate at the time of the first imaging with respect to the direction is a first periodic function and a second periodic function having a longer period than the first periodic function.
  • the function of the light transmittance of the liquid crystal light transmission plate at the time of the second imaging with respect to the direction is a third periodic function obtained by shifting the first periodic function by a half period, and the second periodic function.
  • the signal processing circuit includes a first pixel signal output from one pixel of the image sensor by the first imaging and a second pixel signal output from the pixel of the image sensor by the second imaging.
  • the expansion coefficient when the function indicating the reflection spectral characteristic at one point of the subject is expanded in an orthogonal function system by calculation including the difference calculation with the pixel signal of Item 5.
  • An image sensor An optical system arranged to form an image of a subject on the imaging surface of the image sensor; An illumination device for irradiating the subject with light, the illumination device capable of changing the wavelength dependence of emission intensity; and A control circuit that is connected to the illumination device and the image sensor, and controls the illumination device and the image sensor so that the image sensor performs multiple imaging while changing the wavelength dependence of the emission intensity of the illumination device.
  • a signal processing circuit connected to the image sensor, wherein a reflection spectral characteristic at one point of the subject is obtained by calculation using a plurality of pixel signals sequentially output from one pixel of the image sensor by the plurality of times of imaging.
  • the lighting device includes a light source, a multilayer filter in which a plurality of portions each transmitting light of a specific wavelength band different from each other are arranged, and a liquid crystal translucent plate arranged to overlap the multilayer filter.
  • the control circuit changes the wavelength dependence of the transmittance of the wavelength selective filter by changing a spatial distribution of the light transmittance of the liquid crystal translucent plate.
  • Item 8 The multispectral imaging apparatus according to Item 6 or 7, wherein the emission intensity at the time of imaging is expressed by a periodic function of wavelength in a predetermined wavelength band.
  • Item 9 The multispectral imaging apparatus according to Item 3 or 8, wherein a reciprocal of the period of the periodic function is an integer multiple of 1 / W, where W is a width of the predetermined wavelength band.
  • Item 10 The multispectral imaging device according to Item 3, 8, or 9, wherein the periodic function is represented using a cosine function or a sine function having an independent variable as a wavelength.
  • the wavelength selective filter has a multilayer filter in which a plurality of portions each having a different cutoff wavelength are arranged, and a liquid crystal light transmitting plate arranged to overlap the multilayer filter,
  • the control circuit changes the wavelength dependence of the transmittance of the wavelength selective filter by changing a spatial distribution of the light transmittance of the liquid crystal translucent plate.
  • Item 7. The multispectral imaging apparatus according to Item 6.
  • the cut-off wavelengths of the plurality of portions in the multilayer filter monotonously increase or decrease in one direction
  • the control circuit controls the liquid crystal translucent plate and the image sensor so as to perform imaging at least twice
  • the function of the light transmittance of the liquid crystal light transmission plate at the time of the first imaging with respect to the direction is a first periodic function and a second periodic function having a longer period than the first periodic function.
  • the function of the light transmittance of the liquid crystal light transmission plate at the time of the second imaging with respect to the direction is a third periodic function obtained by shifting the first periodic function by a half period, and the second periodic function.
  • the signal processing circuit includes a first pixel signal output from one pixel of the image sensor by the first imaging and a second pixel signal output from the pixel of the image sensor by the second imaging.
  • the expansion coefficient when the function indicating the reflection spectral characteristic at one point of the subject is expanded in an orthogonal function system by calculation including the difference calculation with the pixel signal of Item 12.
  • Item 14 The lighting device according to Item 13, comprising a plurality of light sources having different wavelengths with the maximum emission intensity.
  • the multispectral imaging apparatus of the present invention is effective for all solid-state cameras mainly using a solid-state imaging device.
  • it can be used for consumer cameras such as digital still cameras and digital video cameras, and industrial surveillance cameras.

Abstract

　マルチスペクトル撮像装置は、イメージセンサと、前記イメージセンサの撮像面に像を形成するように配置された光学系と、被写体と前記イメージセンサとの間に配置され、光透過率の波長依存性を変化させることが可能な波長選択フィルタと、前記波長選択フィルタの前記光透過率の波長依存性を変化させながら前記イメージセンサで複数回の撮像を行うように前記波長選択フィルタおよび前記イメージセンサを制御する制御回路と、前記複数回の撮像によって前記イメージセンサの１つの画素から順次出力された複数の画素信号を用いた演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める信号処理回路とを備える。

Description

マルチスペクトル撮像装置
　本願は、被写体を撮像することによって取得した画像から被写体の反射分光特性を計測できるマルチスペクトル技術に関する。
　近年、ＣＣＤやＣＭＯＳ等の撮像素子を用いたデジタルカメラの高機能化や高性能化には目を見張るものがある。特に、半導体製造技術の急速な進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の多画素化および駆動回路の高集積化が図られ、撮像素子の画質が大幅に改善されている。また、撮像素子の超小型化も実現されている。
　最近では、カラー画質の改善も著しい。通常の赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の３原色フィルタを用いたカラー撮像以外に、多数の色フィルタを用いて撮像することにより、被写体のカラー画像の品質を向上させることが行われている。例えば、特許文献１の中で紹介されているマルチスペクトルカメラは、ＣＣＤの前に分光特性が異なる多数の光学フィルタを装備し、各光学フィルタを機械的に入れ替えながら撮像する。これにより、撮像によって取得した各画像から被写体の詳細な色情報やスペクトル情報を得ることができる。
　特許文献２は、光学フィルタを最適設計することにより、用いる光学フィルタの数を削減できるマルチスペクトルカメラを紹介している。
　特許文献３は、１次元の撮像素子と、レンズを通して入射した光を分光するビームスプリッタと、任意の波長帯域の光を選択して透過させるチューナブルフィルタとを備える装置を開示している。そのような構成により、光学フィルタを入れ替える機構を用いずとも様々な波長帯域における画像が得られることが開示されている。
　さらに特許文献４は、標準的なＲＧＢの色フィルタとそれら以外の色フィルタとを備える単板式のカラー撮像素子を用いて品質の良いカラー画像を得る技術を紹介している。
特開２００５－１８１０３８号公報 特開２０１０－１２２０８０号公報 特開２０１２－１３８６５２号公報 特開２００８－１３６２５１号公報
　本開示は、従来の技術とは異なるアプローチのマルチスペクトル技術を提供する。本開示のある実施形態は、機械的な機構が不要で、感度も向上できるマルチスペクトル撮像装置を提供する。
　本開示のマルチスペクトル撮像装置の一態様は、イメージセンサと、前記イメージセンサの撮像面に被写体の像を形成するように配置された光学系と、前記被写体と前記イメージセンサとの間に配置され、光透過率の波長依存性を変化させることが可能な波長選択フィルタと、前記波長選択フィルタおよび前記イメージセンサに接続され、前記波長選択フィルタの前記光透過率の波長依存性を変化させながら前記イメージセンサで複数回の撮像を行うように前記波長選択フィルタおよび前記イメージセンサを制御する制御回路と、前記イメージセンサに接続された信号処理回路であって、前記複数回の撮像によって前記イメージセンサの１つの画素から順次出力された複数の画素信号を用いた演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める信号処理回路と、を備える。
　上記の包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム、又は、記録媒体で実現されてもよい。あるいは、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意の組み合わせで実現されてもよい。
　本開示の実施形態におけるマルチスペクトル撮像装置によれば、イメージセンサへの入射光の分光特性（光強度の波長依存性）を受光する前に変えることができる。これにより、例えば複雑な機械的機構を用いることなく、従来よりも高感度なマルチスペクトル撮像を実現できる。
本開示の実施形態１におけるマルチスペクトル撮像装置の構成図である。 本開示の実施形態１における結像レンズと波長選択フィルタを通して撮像素子に結像される様子を模式的に示した図である。 本開示の実施形態１および実施形態２における波長選択フィルタの外観図である。 本開示の実施形態１および実施形態２における波長選択フィルタの一部である多層膜フィルタの分光特性図である。 本開示の実施形態１における波長選択フィルタの余弦関数に従った透過率パターンの分光特性図である。 同フィルタの正弦関数に従った透過率パターンの分光特性図である。 本開示の実施形態１および実施形態２における撮像及び信号処理シミュレーションの流れ図である。 本開示の実施形態１および実施形態２における光源及びレンズを含む光学系の分光特性と撮像素子の分光感度を合わせた分光特性図である。 本開示の実施形態１で被写体として用いたＸ－Ｒｉｔｅ社製のマクベスカラーチェッカーＮｏ１３～Ｎｏ１５の反射分光特性図である。 マクベスカラーチェッカーＮｏ１６～Ｎｏ１８の反射分光特性図である。 本開示の実施形態１における算出した被写体の分光特性図である。 被写体であるカラーチェッカの実際の分光特性図である。 本開示の実施形態２におけるマルチスペクトル撮像装置の構成図である。 ＬＥＤアレイを有する照明装置１０の例を模式的に示す図である。 実施形態３における多層膜フィルタ２ａの分光透過特性の例を示す図である。 実施形態３における原理を説明するための第１の図である。 実施形態３における原理を説明するための第２の図である。 実施形態３における液晶パネル２ｂの光透過率の空間分布を説明するための第１の図である。 実施形態３における液晶パネル２ｂの光透過率の空間分布を説明するための第２の図である。 実施形態３において１回の撮像において実現される波長選択フィルタ２の分光透過率特性の例を示す図である。
　以下、本開示の実施形態を説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似する構成要素については、同じ参照符号を付している。
　特許文献１および特許文献２に開示されている従来技術では、複数の光学フィルタを入れ替える機械的な機構が必要である。そのため、撮像装置のサイズが大きくなり、また機械部分を定期的に保守しなければならないという課題がある。特許文献３に開示されている従来技術では、１次元の撮像素子を用いているため、２次元画像を得るには１次元の撮像素子を画素配列方向に対して垂直方向に移動（以下、スキャンとも呼ぶ）させる機械的な機構が必要であり、上記のように保守上の課題がある。また、特許文献４に開示されている従来技術では、標準的なＲＧＢの色フィルタとそれら以外の色フィルタとが、各々特定の１つの（狭い）波長帯域の光のみを透過させるため、さらなる感度向上は期待できないという課題がある。
　本開示の実施形態は、上記の課題を解決し得る新たなマルチスペクトル撮像技術を提供する。
　本開示のマルチスペクトル撮像装置の実施形態は、基本原理は同じであるが、大別して２つの形態に分けられる。第１の形態は、被写体と撮像素子（イメージセンサ）との間において、透過分光特性を変化させることのできる光学フィルタを用いて撮像し、取得した画像情報から、被写体の反射分光特性を演算によって求める形態である。第２の形態は、照射分光特性を変化させることのできる光源を用いて撮像し、取得した画像情報から、被写体の反射分光特性を演算によって求める形態である。本明細書において、透過分光特性（または分光透過特性）とは、波長ごとの光透過率の特性（依存性）を意味する。照射分光特性とは、波長ごとの照射光強度の特性を意味する。反射分光特性とは、波長ごとの反射光強度の特性を意味する。透過分光特性（または分光透過特性）は、光透過率を示す波長の関数で表される。照射分光特性は、照射光強度を示す波長の関数で表される。反射分光特性は、反射光強度を示す波長の関数で表される。
　上記の２形態は、より具体的には、以下の構成をもつ。
　第１の形態に係るマルチスペクトル撮像装置は、イメージセンサと、前記イメージセンサの撮像面に被写体の像を形成するように配置された光学系と、前記被写体と前記イメージセンサとの間に配置され、光透過率の波長依存性を変化させることが可能な波長選択フィルタと、前記波長選択フィルタおよび前記イメージセンサに接続され、前記波長選択フィルタの前記光透過率の波長依存性を変化させながら前記イメージセンサで複数回の撮像を行うように前記波長選択フィルタおよび前記イメージセンサを制御する制御回路と、前記イメージセンサに接続された信号処理回路であって、前記複数回の撮像によって前記イメージセンサの１つの画素から順次出力された複数の画素信号を用いた演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める信号処理回路と、を備える。
　第２の形態に係るマルチスペクトル撮像装置は、イメージセンサと、前記イメージセンサの撮像面に被写体の像を形成するように配置された光学系と、前記被写体に光を照射する照明装置であって、発光強度の波長依存性を変化させることが可能な照明装置と、前記照明装置および前記イメージセンサに接続され、前記照明装置の前記発光強度の波長依存性を変化させながら前記イメージセンサで複数回の撮像を行うように前記照明装置および前記イメージセンサを制御する制御回路と、前記イメージセンサに接続された信号処理回路であって、前記複数回の撮像によって前記イメージセンサの１つの画素から順次出力された複数の画素信号を用いた演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める信号処理回路と、を備える。
　すなわち前者は入射光の分光特性を操作するものであり、後者は撮像用の照明の分光特性を操作するものである。なお、画素信号とは、イメージセンサが有する各光検出セル（例えばフォトダイオードを含む）から出力される電気信号（光電変換信号）を意味する。
　ここで、前者の構成を例に、本開示のある実施形態におけるマルチスペクトル撮像の基本原理を説明する。被写体のある１点からの反射光エネルギーを表す波長の関数が、所定の波長帯域λ１～λ２（但しλ２－λ１＝Ｗ）で存在するとして、その関数を波長λ１からのシフト波長Ｘ（０≦Ｘ≦Ｗ）を用いてＦ（Ｘ）で表す。すると、Ｆ（Ｘ）は式１で示される有限のフーリエ級数で近似できる。なお、シフト波長Ｘを、以下では単に波長Ｘと表現する場合がある。
Figure JPOXMLDOC01-appb-M000001
　但し、式１におけるａ（ｉ）、ｂ（ｉ）は下記の式２、式３で表され、ｉは０から予め設定された最大自然数Ｎまでの整数である。式１におけるΣはｉ＝１からｉ＝Ｎまでの総和を表す。また、式２、式３における積分範囲はＸ＝０～Ｗである。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　式２および式３で示すa(i)およびb(i)を撮像素子の画素信号から作り出すことができれば、被写体の反射分光特性（被写体から反射される光の強度の波長依存性）を近似的に算出できる。そこで、本実施形態では、結像レンズ系に透過光の分光特性を波長変化に対して周期的に（例えば余弦関数的または正弦関数的に）変化させることのできる波長選択フィルタを入れ、透過分光特性を変えながら撮像する。これにより、撮像素子の画素信号に基づいて、フーリエ係数a(i)およびb(i)を算出できる。
　例えば、マルチスペクトルカメラは、上記所定の波長帯域Ｗにおいて透過分光特性を一定（例えば、どの波長も１００％透過）にして第１回目の撮像を行う。すると、画素信号Sdは∫F(X)dXに比例した信号値となり、Sd×(2/Ｗ)の演算により、a(0)を算出できる。さらに、波長選択フィルタの分光透過特性（透過率特性）を(1/2)(1+cos(2πiX/W))あるいは(1/2)(1+sin(2πiX/W)のような特性に変えて撮像すれば、画素信号Saは∫(1/2)(1+cos(2πiX/W))F(X)dXあるいは∫(1/2)(1+sin(2πiX/W))F(X)dXに比例した信号値となる。この画素信号Saと第１回目の撮像結果の画素信号Sdとを用いて、(2Sa-Sd)×(2/W)の演算を行えば、a(i)あるいはb(i)が算出できる。
　このように、波長選択フィルタ（即ち光入射手段）の分光透過特性を変えて複数回撮像し、撮像した画像信号を用いてa(i)、b(i)を算出すれば、被写体の反射分光特性を画素単位で算出できる。
　以上が本開示の一実施形態の基本原理である。上記の基本原理は、波長選択フィルタを用いる場合に限らず、照射分光特性を変えることのできる光源を用いる場合も同様である。すなわち、出射光の強度がどの波長についても一定値になるように光源を調整して撮像すれば、∫F(X)dXに比例した画素信号Sdが得られる。また、出射光の強度のスペクトルが、例えば(1/2)(1+cos(2πiX/W))または(1/2)(1+sin(2πiX/W)になるように光源を調整して撮像すれば、∫(1/2)(1+cos(2πiX/W))F(X)dX、または∫(1/2)(1+sin(2πiX/W))F(X)dXに比例した画素信号Saが得られる。これらの画素信号SaおよびSdを用いた演算により、フーリエ係数a(i)およびb(i)を算出できる。以下、この基本原理を利用した、本開示のより具体的な実施形態を説明する。
　（実施形態１）
　まず本開示の第１の実施形態におけるマルチスペクトル撮像装置を説明する。図１は本実施形態におけるマルチスペクトル撮像装置の構成図である。この撮像装置は、広帯域光学フィルタ９と、結像レンズ（光学系）１と、波長選択フィルタ２と、撮像素子（イメージセンサ）３と、信号発生／受信回路４と、液晶コントローラ５と、画像処理回路６と、画像メモリー７と、信号出力部８と、を備えている。
　広帯域光学フィルタ９は、所定の波長帯域の光のみを透過させるフィルタである。広帯域光学フィルタ９は、本実施形態では３８０ｎｍ～７６０ｎｍの光のみを透過させ、他の波長域の光（紫外線および赤外線を含む。）をカットする。広帯域光学フィルタ９は、光学系１の前に配置されている。
　光学系１は、少なくとも１つのレンズを含む結像光学系である。光学系１は、入射光を集光し、撮像素子３の撮像面に被写体の像を形成する。
　波長選択フィルタ２は、可視光に含まれる複数の色（レインボー色と表現する。）の光をそれぞれ透過させる複数の部分を有する多層膜フィルタ２ａと、液晶パネル２ｂとを有する。多層膜フィルタ２ａは、一方向に透過波長が虹のように変化する特性を有している。液晶パネル２ｂは、複数の液晶セルを含み、セルごとに光透過率を変化させることができる。多層膜フィルタ２ａと液晶パネル２ｂとの組み合わせにより、波長選択フィルタ２を透過する光の分光分布（光強度の波長依存性）を自由に変化させることができる。
　液晶コントローラ５は、液晶パネル２ｂの光透過率を場所ごとに変化させる制御回路である。液晶コントローラ５は、各液晶セルに電圧を印加することによってその光透過率を調整できる。
　撮像素子３は、例えばＣＭＯＳ型またはＣＣＤ型等の任意のイメージセンサであり得る。撮像素子３は、複数の光検出セル（例えばフォトダイオードを含む。）を有している。各光検出セルは、光電変換によって受光量に応じた電気信号（画素信号）を出力する。これにより、撮像素子３は、波長選択フィルタ２を透過した光による像に応じた画像信号を出力する。
　信号発生／受信回路４は、撮像素子３からの画像信号を受信すると共に撮像素子３等を駆動するための信号を発生して撮像素子１３に送信する。信号発生／受信回路４は、例えばＣＭＯＳドライバなどのＬＳＩから構成され得る。画像処理回路６は、信号発生／受信回路４からの画像信号を画像メモリー７に送信すると共に画像メモリー７からの画像信号を読み出して処理する。画像処理回路６は、例えば公知の信号処理プロセッサ（ＤＳＰ）などの信号処理回路と、画像処理を実行するソフトウェアとの組み合わせによって実現され得る。あるいは、画像処理回路６は、専用のハードウェアから構成されていてもよい。画像メモリー７は、例えばＤＲＡＭまたはＳＲＡＭ等の公知の半導体メモリーであり得る。信号出力部（出力インターフェース）８は、画像処理回路６からの信号を外部に出力する。
　図２は被写体からの光が結像レンズ１、波長選択フィルタ２を透過して撮像素子３の撮像部（撮像面）３ａに結像される様子を模式的に示した図である。結像された画像は撮像素子３で光電変換され電気信号になり、信号発生／受信回路４および画像処理回路６を介して画像メモリーに記録される。
　図３は波長選択フィルタ２の外観を模式的に示す図である。レインボー色の多層膜フィルタ２ａと液晶パネル２ｂは重ねられている。本実施形態における多層膜フィルタ２ａはｙ方向（画像の垂直方向に相当）には分光特性が変化しないが、ｘ方向（画像の水平方向に相当）にはその位置に応じて透過波長が連続的に変化する。
　図４は、多層膜フィルタ２ａの分光透過特性の例を示す。図４では、１４個の透過波長帯域のみを例示しているが、実際の多層膜フィルタ２ａは、さらに多数の透過波長帯域の部分を含み得る。多層膜フィルタ２ａは、水平方向（ｘ方向）のある位置では狭帯域の細長い光学フィルタであるといえる。その位置が水平方向に連続的に変わると当該位置の透過波長帯域も連続的に変化する。なお、実際にはこの変化は離散的であるが、透過波長帯域の変化量を小さくすることにより、連続的であるとみなせる。本実施形態では、少なくとも波長帯域３８０ｎｍ～７６０ｎｍでは各々の位置で当該透過波長のピーク透過率はほぼ１００％（図では１．０の値）である。多層膜フィルタ２ａの透過波長帯域は、ｘ座標に対して単調に増加または減少するように設計してもよいし、各々が特定の透過波長帯域を有する複数のストライプ状の部分がｘ方向にランダムに配列されていてもよい。後者の場合も、全体として上記の波長帯域の全域がほぼ連続的にカバーされるように設計され得る。一次元に限らず、２次元的に透過波長帯域が変化する多層膜フィルタを利用してもよい。
　多層膜フィルタ２ａとして、例えば、エドモンド・オプティクス社のリニア可変バンドパスフィルタや、ニコン社のリニアバリアブルフィルタ等を好適に用いることができる。
　このような多層膜フィルタ２ａに密接させて液晶パネル２ｂを配置することにより、撮像素子３は、入射光の波長を選択して受光することができる。
　図５Ａおよび図５Ｂは、本実施形態における波長選択フィルタ２の透過分光特性パターンを示す。図５Ａは波長帯域０．３８μｍ～０．７６μｍ（３８０ｎｍ～７６０ｎｍ）において、余弦関数に従った１周期から８周期の８つの透過率パターンを示している。図５Ｂは同波長帯域において、正弦関数に従った１周期から８周期の８つの透過率パターンを示している。なお、図５Ａおよび図５Ｂに示す１６の透過分光特性パターン以外に、上記波長帯域において１００％光を透過させるパターンもある。よって、波長選択フィルタ２の透過分光特性パターンは総計１７パターンである。ここで、上記波長帯域において１００％光を透過させるパターンをＰＴＮ０と呼び、図５Ａに示すパターンを長周期から短周期の順にＰＴＮ１、ＰＴＮ２、・・・、ＰＴＮ８と呼び、図５Ｂに示すパターンを長周期から短周期の順にＰＴＮ９、ＰＴＮ１０、・・・、ＰＴＮ１６と呼ぶことにする。
　ここで、波長選択フィルタ２におけるＰＴＮｎ（ｎ＝０，１，・・・１６）の光透過率を表す波長の関数をＰｎ（Ｘ）と表現する。Ｘは、前述のように、基準波長（本実施形態では０．３８μｍ）からのシフト波長を表す。各パターンにおけるＰｎ（Ｘ）は、近似的に以下のように表される。なお、Ｗは、広帯域光学フィルタ９が透過させる光の波長帯域を示し、本実施形態では０．３８（＝０．７６－０．３８）μｍである。
　　ＰＴＮ０：　Ｐ０（Ｘ）＝１
　　ＰＴＮ１：　Ｐ１（Ｘ）＝（１／２）（１＋ｃｏｓ（２πＸ／Ｗ））
　　ＰＴＮ２：　Ｐ２（Ｘ）＝（１／２）（１＋ｃｏｓ（４πＸ／Ｗ））
　　ＰＴＮ３：　Ｐ３（Ｘ）＝（１／２）（１＋ｃｏｓ（６πＸ／Ｗ））
　　ＰＴＮ４：　Ｐ４（Ｘ）＝（１／２）（１＋ｃｏｓ（８πＸ／Ｗ））
　　ＰＴＮ５：　Ｐ５（Ｘ）＝（１／２）（１＋ｃｏｓ（１０πＸ／Ｗ））
　　ＰＴＮ６：　Ｐ６（Ｘ）＝（１／２）（１＋ｃｏｓ（１２πＸ／Ｗ））
　　ＰＴＮ７：　Ｐ７（Ｘ）＝（１／２）（１＋ｃｏｓ（１４πＸ／Ｗ））
　　ＰＴＮ８：　Ｐ８（Ｘ）＝（１／２）（１＋ｃｏｓ（１６πＸ／Ｗ））
　　ＰＴＮ９：　Ｐ９（Ｘ）＝（１／２）（１＋ｓｉｎ（２πＸ／Ｗ））
　　ＰＴＮ１０：　Ｐ１１（Ｘ）＝（１／２）（１＋ｓｉｎ（４πＸ／Ｗ））
　　ＰＴＮ１１：　Ｐ１２（Ｘ）＝（１／２）（１＋ｓｉｎ（６πＸ／Ｗ））
　　ＰＴＮ１２：　Ｐ１３（Ｘ）＝（１／２）（１＋ｓｉｎ（８πＸ／Ｗ））
　　ＰＴＮ１３：　Ｐ１４（Ｘ）＝（１／２）（１＋ｓｉｎ（１０πＸ／Ｗ））
　　ＰＴＮ１４：　Ｐ１５（Ｘ）＝（１／２）（１＋ｓｉｎ（１２πＸ／Ｗ））
　　ＰＴＮ１５：　Ｐ１６（Ｘ）＝（１／２）（１＋ｓｉｎ（１４πＸ／Ｗ））
　　ＰＴＮ１６：　Ｐ１７（Ｘ）＝（１／２）（１＋ｓｉｎ（１６πＸ／Ｗ））
　本実施形態では、波長選択フィルタ２の透過分光特性をＰＴＮ０からＰＴＮ１６まで変化させながら、その都度被写体を撮影する。これにより、取得した画素信号から、図１に示す関数Ｆ（Ｘ）のフーリエ係数（式２、３）を推定できる。それらのフーリエ係数を用いて式１の右辺に示すフーリエ級数展開を計算することにより、Ｆ（Ｘ）を推定できる。被写体に照射される光が波長によらず一定の強度である場合はＦ（Ｘ）そのものが被写体の反射分光特性を示す。しかし、一般に、光源から出射される光は、特有のスペクトルをもち、さらに外部光が存在し得るため、被写体に照射される光の強度は波長依存性を有する。このため、求めたＦ（Ｘ）を、光源等の分光特性を示す関数Ｏ（Ｘ）で波長毎に除算することにより、被写体の反射分光特性を示す関数を求めることができる。
　以下、本実施形態のマルチスペクトル撮像装置の動作を説明する。
　図６は、本実施形態におけるマルチスペクトル撮像装置の動作の流れを示すフローチャートである。ここでは、複数の色見本を用いたシミュレーションを例に、本実施形態の動作を説明する。撮像条件として、光源は色温度５１００Ｋのハロゲン灯とした。図７は、光源、レンズを含む光学系、および撮像素子３の分光感度を合わせた分光特性を示している。この特性を撮像光学分光特性と呼び、Ｏ（Ｘ）で表す。但し、Ｘは３８０ｎｍからのシフト波長で、本実施形態では波長帯域３８０ｎｍ～７６０ｎｍであることから、その取り得る値は０～３８０ｎｍである。
　被写体はＸ－Ｒｉｔｅ社製のマクベスカラーチェッカーＮｏ１３～Ｎｏ１８の色見本である。これらの反射分光特性をＦ（Ｘ）で表す。これらの色見本Ｎｏ１３～Ｎｏ１８は、番号順に青（Ｂ）、緑（Ｇ）、赤（Ｒ）、黄（Ｙｅ）、マゼンタ（Ｍｇ）、シアン（Ｃｙ）である。図８Ａおよび図８Ｂは、それらの色見本の反射分光特性を示している。図８ＡはＮｏ１３～Ｎｏ１５の反射分光特性を示し、番号順に実線、破線、一点鎖線で表している。図８ＢはＮｏ１６～Ｎｏ１８の反射分光特性を示し、番号順に実線、破線、一点鎖線で表している。
　図１における構成において、液晶コントローラ５（制御回路）は、波長選択フィルタ２の透過分光特性パターンをＰＴＮ０～ＰＴＮ１６まで変えて撮像素子３によって撮像する。それらの画像信号値をＥ（０）～Ｅ（１６）とする。
　まず第１ステップとして、Ｎｏ１３～Ｎｏ１８の６個の色見本を撮像したとして、それらの分光特性と、Ｏ（Ｘ）及びＰＴＮ０～ＰＴＮ１６の分光特性との離散的な積分演算を行う。これにより、各色見本に関して相対的な画素信号値Ｅ（０）～Ｅ（１６）を算出する（ステップＳ１）。実際の計算では、例えば１０ｎｍ毎の数値データを用いて離散的な積分を行い、１つの色見本につき１７個の信号値を算出する。従って、総計６×１７＝１０２個の信号値を算出する。
　次に第２のステップとして、以下の式４、式５と式６を用いて画素信号値Ｅ（０）～Ｅ（１６）から各色見本のフーリエ係数ａ（０）～ａ（８）とｂ（１）～ｂ（８）とを算出する（ステップＳ２）。但し、式５および式６において、ｉは１以上８以下の整数である。なお、以下の計算では波長帯域Ｗの１／２をπとして計算している。
　（式４）ａ(０)＝E(0)/π
　（式５）ａ(ｉ)＝(2E(i)－E(0))/π
　（式６）ｂ(ｉ)＝(2E(i+8)－E(0))/π
　次に第３ステップとして、算出したフーリエ係数ａ（０）～ａ（８）とｂ（１）～ｂ（８）を用いて、被写体の反射分光特性Ｆ（Ｘ）を式１に示すフーリエ級数で表す（ステップＳ３）。ただし、本計算ではＷ／２をπとして計算しているため、以下のフーリエ級数を用いる。
Figure JPOXMLDOC01-appb-M000004
　算出されたＦ（Ｘ）は撮像画像のスペクトルであるが、これには上記で説明した撮像光学分光特性Ｏ（Ｘ）の影響が含まれている。そこで、第４ステップとして、Ｆ（Ｘ）をさらにＯ（Ｘ）で除算し、被写体の分光特性を算出する（ステップＳ４）。この除算は、例えば１０ｎｍ毎の数値データのそれぞれについて行われる。
　図９Ａは、算出した被写体の分光特性を示している。図９Ｂは、被写体であるカラーチェッカの実際の分光特性を示している。図９Ａおよび図９Ｂの中で、太い実線は青（算出結果：Ｃａｌ＿Ｎｏ１３、実際の特性：Ｎｏ１３）、太い破線は緑（算出結果：Ｃａｌ＿Ｎｏ１４、実際の特性：Ｎｏ１４）、太い一点鎖線は赤（算出結果：Ｃａｌ＿Ｎｏ１５、実際の特性：Ｎｏ１５）、細い実線は黄（算出結果：Ｃａｌ＿Ｎｏ１６、実際の特性：Ｎｏ１６）、細い破線はマゼンタ（算出結果：Ｃａｌ＿Ｎｏ１７、実際の特性：Ｎｏ１７）、細い一点鎖線はシアン（算出結果：Ｃａｌ＿Ｎｏ１８、実際の特性：Ｎｏ１８）のカラーチェッカの分光特性を表している。図９Ａおよび図９Ｂにおいて波長範囲は４００ｎｍ～７００ｎｍであるが、算出した被写体の分光特性はカラーチェッカの実際の分光特性と概ね同じであることがわかる。
　最後に、算出した被写体の分光特性から、予め指定された特定の波長における分光特性値を取り出し、それらのデータを画素信号とした特定波長画像と、画素信号の平均値を算出し、それらを画素信号とした白黒画像とを信号出力部８から外部に出力する（ステップＳ５）。なお、特定波長画像および白黒画像の一方のみを生成・出力してもよい。白黒画像は、画素信号の平均値ではなく、合算値またはＰＴＮ０の画素信号のみから生成してもよい。
　このように、画像処理回路６から信号出力部８を介して特定波長画像と白黒画像とが出力される。指定波長を変えることにより、設定された計測波長帯域内の任意の波長についての画像を得ることができる。また、波長選択フィルタ２の各透過分光特性パターン（図５Ａおよび図５Ｂ）は、分光透過率のピークを複数有しているため、分光透過率のピークを１つしか有していない従来のＲＧＢフィルタよりも光利用率が高い。それ故、出力される白黒画像の明度を高くすることができる。
　以上のように、本実施形態のマルチスペクトル撮像装置は、波長選択フィルタ２の透過分光特性パターンを変えながら撮像し、撮像によって取得した画素信号を用いて被写体画像の各点における反射分光特性をフーリエ級数で表現することにより、画素単位で被写体画像の分光特性を算出できる。また、撮像装置から得られる撮像画像の明度が高いという長所も有する。
　なお、本実施形態では、波長選択フィルタ２の透過分光特性パターンを余弦的な透過分光特性のパターンＰＴＮ１～ＰＴＮ８と正弦的な透過分光特性のパターンＰＴＮ９～ＰＴＮ１６にしたが、これに限定されるものではない。例えば、余弦的な透過分光特性のパターンだけでも良く、またパターン数も１６に限定するものではない。余弦的な透過分光特性のパターンだけを利用する場合は、式１～式３に代えて、フーリエ余弦級数展開が利用され得る。さらに、被写体の分光特性の波形（交流成分）だけを計測するのであれば、ＰＴＮ０のパターンを用いる必要はない。加えて、透過分光特性のパターンに関して、ＰＴＮ１～ＰＴＮ１６では分光特性のピークを１．０（１００％透過）、アンダーピークを０（０％透過）と変調性の高い特性にしたが、これに限るものではない。ピークとアンダーピークとの差が小さい変調性の低い特性でも問題はない。さらに、本実施形態では、計測対象の波長帯域を３８０ｎｍ～７６０ｎｍに設計したが、これに限るものではなく、さらに範囲の広い波長帯域またはさらに範囲の狭い波長帯域であっても構わない。可視光に限らず、近赤外線または近紫外線などの波長帯域を用いてもよい。本明細書では、可視光に限らず、赤外線および紫外線を含む電磁波全般について、「光」の用語を用いる。
　本実施形態では、被写体の反射分光特性Ｆ（Ｘ）を式１に示すフーリエ級数展開で表したが、フーリエ級数展開に限らず、他の直交関数系を用いてＦ（Ｘ）を展開してもよい。その場合でも、出力された複数の画素信号を用いた演算処理によって展開係数を算出することができる場合には、被写体の反射分光特性を求めることができる。
　（実施形態２）
　次に本発明の第２の実施形態のマルチスペクトル撮像装置を説明する。
　図１０は、本実施形態におけるマルチスペクトル撮像装置の構成を示す図である。本実施形態は、上記第１の実施形態と比べて、波長選択フィルタ２が撮像光学系に無く、その代わりに撮像用光源１０の前に配置されている。その他は第１の実施形態と同じ構成で処理も同じである。なお、撮像用光源は、例えば色温度変換フィルタを内部に含み、色温度５１００Ｋに調整されたハロゲン灯である。本実施形態の撮像装置は撮影用光源１０を備え、この光源１０以外に被写体を照らす光源はない。本実施形態では、光源１０と波長選択フィルタ２とが照明装置を構成する。
　本実施形態では、撮像装置の構成が第１の実施形態と基本的に同じであり、また信号処理も同じであるため、第１の実施形態の場合と同様に効果が得られる。
　以上のように、本実施形態のマルチスペクトル撮像装置は、撮像用光源１０の前に波長選択フィルタ２が配置され、その他は第１の実施形態と構成および信号処理が同じである。画素単位で被写体画像の分光特性を算出でき、また撮像装置から得られる撮像画像の明度が高いという長所も有する。
　なお、本実施形態では、撮像用光源としてハロゲン灯を用いたが、これに限定するものではなく、他の光源でも問題はない。例えばプロジェクタ用の高圧放電ランプ（水銀ランプ、メタルハライドランプ等）を用いてもよい。高輝度プロジェクタが備える高圧放電ランプおよび液晶パネルの組み合わせにより、本実施形態における照射分光特性の制御が可能である。あるいは、白色発光ダイオード（ＬＥＤ）のアレイを用いてもよい。白色ＬＥＤアレイと、リニア可変フィルタ等の波長選択フィルタとの組み合わせによってもマルチスペクトル解析用の照明を実現できる。各ＬＥＤの発光パワーを制御することにより、液晶パネルを用いた場合と同様の機能を実現できる。
　さらに、波長選択フィルタ２を用いる代わりに、光源１０自身が複数の照射分光特性の状態を切り替えるように動作してもよい。そのような光源１０は、例えば発光波長域の異なる複数の発光ダイオード（ＬＥＤ）の配列によって実現され得る。
　図１１は、上記のようなＬＥＤアレイを有する照明装置１０の例を模式的に示す図である。照明装置１０は、複数のＬＥＤ１０ａを有する。この例では、複数のＬＥＤ１０ａは、二次元的に（行列状に）等間隔で配列されているが、一次元的に配列されていてもよい。各ＬＥＤ１０ａは、白色ＬＥＤでもよいし、それぞれに設定された特定の波長において発光強度（発光パワー）が最大になるように設計されたＬＥＤ（すなわち、個々に発光色の異なるＬＥＤ）でもよい。白色ＬＥＤを用いる場合、前述の多層膜フィルタと併用し、各ＬＥＤの発光強度を調整することにより、図５Ａおよび図５Ｂに示すような照射分光特性が実現される。発光色の異なる複数のＬＥＤを用いる場合は、多層膜フィルタは不要である。各ＬＥＤ１０ａは、制御回路２０によって制御される。複数の白色ＬＥＤの各々または発光色の異なる複数のＬＥＤ１０ａの各々の発光強度を個別に制御することにより、波長選択フィルタ２を用いた場合と同様の制御が可能である。なお、複数のＬＥＤ１０ａの数は任意であり、例えば数百から数万、場合によってはそれ以上であってもよい。
　このように、本開示の照明装置は、液晶パネルを含む波長選択フィルタを有する代わりに、白色ＬＥＤなどの複数の白色光源を有していてもよい。あるいは、液晶パネルおよび多層膜フィルタを含む波長選択フィルタを有する代わりに、特定の波長について発光強度が最大である複数の光源を有していてもよい。
　（実施形態３）
　次に、本開示の第３の実施形態を説明する。
　本実施形態のマルチスペクトル撮像装置は、波長選択フィルタ２における多層膜フィルタ２ａの構成および図５Ａおよび図５Ｂに示す周期関数を作り出す仕組みが実施形態１のものとは異なっている。それ以外の構成は実施形態１と同じである。以下、実施形態１と異なる点を中心に説明する。
　本実施形態における多層膜フィルタ２ａは、前述のレインボーフィルタではなく、一方向に連続的に遮断波長が変化するフィルタである。より具体的には、多層膜フィルタ２ａは、図３に示すｘ方向に並ぶ複数の帯状の部分（ｙ方向に長い細長い部分）を有する。各帯状部分は、固有の遮断波長をもち、遮断波長以上の波長の光はよく通すが、遮断波長よりも小さい波長の光はあまり通さない。本実施形態の多層膜フィルタ２ａは、遮断波長がｘ座標の増加に対して単調増加するような特性を有している。各帯状部分は細く、その透過波長のｘ座標に対する変化率は、実質的に連続的とみなせるほど小さい。多層膜フィルタ２ａには、例えば遮断波長よりも波長の短い光は殆ど透過させず、遮断波長以上の波長をもつ光を多く透過させるロングパスフィルタが用いられる。なお、後述するように、多層膜フィルタ２ａにおける各帯状部分は、遮断波長よりも波長の長い光をあまり透過させず、遮断波長以下の波長をもつ光をよく透過させる特性を有していてもよい。このように、本明細書において「遮断波長」とは、その波長以上の波長の光の透過率が相対的に高く、その波長よりも小さい波長の光の透過率が相対的に低い場合の当該波長、または、その波長よりも長い波長の光の透過率が相対的に低く、その波長以下の波長の光の透過率が相対的に高い場合の当該波長を意味する。
　図１２は、本実施形態における多層膜フィルタ２ａの分光透過特性の例を示す図である。図１２における破線は、一部の帯状部分の分光透過特性の例を示している。図４の左側から遮断波長が400nm、450nm、500nm、550nm、600nm、650nm、700nmの場合の例を示している。図１２では、７個の透過波長帯域のみを例示しているが、実際の多層膜フィルタ２ａは、さらに多数の透過波長帯域の部分を含む。多層膜フィルタ２ａは、水平方向（ｘ方向）のある位置ではある波長以上の光のみを透過させる細長い（帯状の）光学フィルタである。その位置が水平方向に連続的に変わると当該位置の透過波長帯域も連続的（実際には離散的であるが、透過波長帯域の変化量を小さくすることにより、連続的であるとみなせる）に変化する。本実施形態では、少なくとも波長帯域３８０ｎｍ～７６０ｎｍでは各々の位置で当該透過波長のピーク透過率はほぼ１００％（図では１．０の値）である。多層膜フィルタ２ａの透過波長帯域は、ｘ座標に対して単調に増加または減少するように設計してもよいし、各々が特定の透過波長帯域を有する複数のストライプ状の部分がｘ方向にランダムに配列されていてもよい。後者の場合も、全体として上記の波長帯域の全域がほぼ連続的にカバーされるように設計され得る。一次元に限らず、２次元的に透過波長帯域が変化する多層膜フィルタを利用してもよい。また、多層膜フィルタ２ａとして、ロングパスフィルタの代わりに、遮断波長よりも大きい光をあまり透過させず、遮断波長以下の光をよく透過させるショートパスフィルタを用いてもよい。
　多層膜フィルタ２ａとして、例えば、エドモンド・オプティクス社のリニア可変エッジフィルタ（ロングパスフィルタまたはショートパスフィルタ）や、DELTA社のリニアバリアブルフィルタ（ロングウェーブパスフィルタまたはショートウェーブパスフィルタ）等を好適に用いることができる。
　本実施形態では、このような多層膜フィルタ２ａを用いて、液晶パネル２ｂの光透過率の空間分布を変えて複数回の撮像を行う。その複数回の撮像によって得られる画素信号間の差分演算を行うことにより、実施形態１の波長選択フィルタを用いた場合と同等の効果を得ることができる。この点について以下に説明する。
　図１３Ａは、本実施形態における原理を説明するための図である。図１３Ａは、多層膜フィルタ２ａのうち、ｘ方向に隣接する２つの微小領域（領域Ａおよび領域Ｂと称する。）を例示している。領域Ａの遮断波長は５４０ｎｍであり、領域Ｂの遮断波長は５５０ｎｍである。領域Ａを透光状態にし、領域Ｂを遮光状態にした場合の分光特性と、領域Ａを遮光状態にし、領域Ｂを透光状態にした場合の分光特性との差は、図１３Ｂに示すように、５４０ｎｍ～５５０ｎｍの光を透過させるバンドパスフィルタと同様の特性になる。よって、領域Ａを透光状態にし、領域Ｂを遮光状態にして撮像した場合に得られる画素信号から、領域Ａを遮光状態にし、領域Ｂを透光状態にした場合に得られる画素信号を減算した信号は、そのような狭帯域のバンドパスフィルタを用いて撮像した場合に得られる画素信号と概ね同じになる。
　このことから、本実施形態の撮像装置は、少なくとも２回の撮像を行い、各撮像で、透光状態にする位置と遮光状態にする位置とを入れ替えるように、液晶パネル２ｂを制御する。さらに、差分演算を行った場合に図５Ａおよび図５Ｂに示す分光透過特性を有する実施形態１の波長選択フィルタを用いた場合と同等の結果が得られるように、液晶パネル２ｂの透光特性が制御される。
　図１４Ａおよび図１４Ｂは、本実施形態における液晶パネル２ｂの光透過率の空間分布を説明するための図である。本実施形態における液晶パネル２ｂは、ｘ方向には光透過率が変化するが、ｙ方向には一定の光透過率を有する。ここで、液晶パネル２ｂの光透過率を座標ｘについての関数Ｔ（ｘ）として表す。第１回目の撮像時には、Ｔ（ｘ）は、図１４Ａの実線に示す周期関数（第１の周期関数と称する。）と、図１４Ｂの実線に示す周期関数（第２の周期関数と称する。）との積で表される。第２回目の撮像時には、Ｔ（ｘ）は、図１４Ａの破線に示す周期関数（第３の周期関数と称する。）と、図１４Ｂの破線に示す周期関数（第４の周期関数と称する。）との積で表される。第３の周期関数は、第１の周期関数を約半周期ずらした関数であり、第４の周期関数は、第２の周期関数を、第１の周期関数の約半周期分ずらした関数である。第２の周期関数および第４の周期関数は、図５Ａおよび図５Ｂに示す各分光透過特性に対応する所望の周期関数である。すなわち、第２の周期関数および第４の周期関数は、図１４Ｂに示す最も周期の長い正弦的な関数のみならず、より短い周期の正弦的な関数、および様々な周期の余弦的な関数に順次切り替わりながら複数回の撮像が行われる。第２の周期関数および第４の周期関数は、それぞれ、第１の周期関数および第２の周期関数よりも長い周期を有する。
　このように、本実施形態の撮像装置は、波長選択フィルタ２を図１４Ａの実線で示す透過率特性と図１４Ｂの実線で示す正弦関数に従った透過率特性との積の分光透過特性にした上で１度撮像し、さらに図１４Ａの破線で示す透過率特性と図１４Ｂの破線で示す正弦関数に従った透過率特性との積の分光透過特性にした上で撮像する。それら２つの撮像によって取得される画像の差分画像を算出すると、その差分画像は、概ね図５Ａ、５Ｂに示す正弦特性を有する光学フィルタ（実施形態１の波長選択フィルタ）を介した画像になる。すなわち、本実施形態の撮像素子３は、入射光の波長を選択して受光することができる。このような２回の撮像は、図１４Ｂに示す長周期の正弦的関数に限らず、より短い周期の正弦的関数および様々な周期の余弦的関数のそれぞれについても同様に行われる。
　図１５は、第１回目の撮像において実現される波長選択フィルタ２の分光透過率特性の例を示している。この分光透過率特性と、第２回目の撮像において実現される半波長ずれた分光透過率特性とが、上記差分演算によって相補的に機能し、所望の光学フィルタを介して撮像した画像を算出できる。このような２回の撮像を１セットとして、第２の周期関数および第４の周期関数を、例えば図５Ａおよび図５Ｂに示す１７個の周期関数（透過率が波長によらずほぼ一定の関数を含む。）に対応するように変更して１７セットの撮像を行い、各セットの２回の撮像で得られる２つの画素信号の差分演算を行えば、図６を参照して説明した画素信号Ｅ（０）～Ｅ（１６）に相当する信号が得られる。それらの信号を用いれば、実施形態１と同様の処理を適用できる。
　以上のように、本実施形態では、波長選択フィルタ２は、各々が異なる遮断波長を有する複数の部分が配列された多層膜フィルタ２ａと、当該多層膜フィルタに重ねて配置された液晶透光板２ｂとを有する。制御回路（液晶コントローラ５）は、液晶透光板２ｂの光透過率の空間分布を変化させることにより、波長選択フィルタ２の光透過率の波長依存性を変化させる。
　より詳細には、多層膜フィルタ２ａにおける複数の部分の遮断波長は、一方向（本実施形態ではｘ方向）に単調に増加または減少する。制御回路は、少なくとも２回（典型的には、ｎを正の整数として２ｎ回）の撮像を行うように、液晶透光板２ｂおよびイメージセンサを制御する。第１回目の撮像時における液晶透光板２ｂの光透過率の、ｘ方向についての関数は、第１の周期関数と、第１の周期関数よりも周期の長い第２の周期関数との積で表される。第２回目の撮像時における液晶透光板２ｂの光透過率の、ｘ方向についての関数は、第１の周期関数を半周期ずらした第３の周期関数と、前記第２の周期関数を半周期ずらした第４の周期関数との積で表される。信号処理回路（画像処理回路６）は、第１回目の撮像によってイメージセンサ３の１つの画素から出力された第１の画素信号と、第２回目の撮像によってイメージセンサ３の前記画素から出力された第２の画素信号との差分演算を含む演算により、被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める。
　なお、上記の例では、液晶パネル２ｂは、第１の周期関数と第２の周期関数との積、および第３の周期関数と第４の周期関数との積で表される透過率分布になるように制御されるが、これに限定されない。例えば、第１の周期関数と第４の周期関数との積、および第２の周期関数と第３の周期関数との積で表される透過率分布になるように制御されてもよい。いずれの例においても、２回撮影し、差分画像の画素信号を実施形態１における画素信号として、実施形態１と同じ信号処理を適用できる。あるいは、上記の処理を複合して、４回撮影し、２つの差分画像を合算した画像の各ピクセルの信号を画素信号としてもよい。その場合も、実施形態１と同じ信号処理を適用できる。実施形態１について説明した各種の変形例は、本実施形態にも同様に適用できる。
　本実施形態の構成は、実施形態２の構成と組み合わせることもできる。すなわち、図１０に示すように、波長選択フィルタ２を光源１０の前方に配置してもよい。実施形態２において説明した様々な変形例は、同様に適用可能である。
　以上のように、本開示は、以下の項目に記載のマルチスペクトル撮像装置および照明装置を含む。
　［項目１］
　イメージセンサと、
　前記イメージセンサの撮像面に被写体の像を形成するように配置された光学系と、
　前記被写体と前記イメージセンサとの間に配置され、光透過率の波長依存性を変化させることが可能な波長選択フィルタと、
　前記波長選択フィルタおよび前記イメージセンサに接続され、前記波長選択フィルタの前記光透過率の波長依存性を変化させながら前記イメージセンサで複数回の撮像を行うように前記波長選択フィルタおよび前記イメージセンサを制御する制御回路と、
　前記イメージセンサに接続された信号処理回路であって、前記複数回の撮像によって前記イメージセンサの１つの画素から順次出力された複数の画素信号を用いた演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める信号処理回路と、
を備えるマルチスペクトル撮像装置。
　［項目２］
　前記波長選択フィルタは、各々が異なる特定の波長帯域の光を透過させる複数の部分が配列された多層膜フィルタと、前記多層膜フィルタに重ねて配置された液晶透光板とを有し、
　前記制御回路は、前記液晶透光板の光透過率の空間分布を変化させることにより、前記波長選択フィルタの前記光透過率の波長依存性を変化させる、
項目１に記載のマルチスペクトル撮像装置。
　［項目３］
　各回の撮像時における前記波長選択フィルタの前記光透過率は、所定の波長帯域において波長の周期関数で表される、項目１または２に記載のマルチスペクトル撮像装置。
　［項目４］
　前記波長選択フィルタは、各々が異なる遮断波長を有する複数の部分が配列された多層膜フィルタと、前記多層膜フィルタに重ねて配置された液晶透光板とを有し、
　前記制御回路は、前記液晶透光板の光透過率の空間分布を変化させることにより、前記波長選択フィルタの前記透過率の波長依存性を変化させる、
項目１に記載のマルチスペクトル撮像装置。
　［項目５］
　前記多層膜フィルタにおける前記複数の部分の前記遮断波長は、一方向に単調に増加または減少し、
　前記制御回路は、少なくとも２回の撮像を行うように、前記液晶透光板および前記イメージセンサを制御し、
　第１回目の撮像時における前記液晶透光板の光透過率の、前記方向についての関数は、第１の周期関数と、前記第１の周期関数よりも周期の長い第２の周期関数との積で表され、
　第２回目の撮像時における前記液晶透光板の光透過率の、前記方向についての関数は、前記第１の周期関数を半周期ずらした第３の周期関数と、前記第２の周期関数を前記第１の周期関数の半周期分ずらした第４の周期関数との積で表され、
　前記信号処理回路は、前記第１回目の撮像によって前記イメージセンサの１つの画素から出力された第１の画素信号と、前記第２回目の撮像によって前記イメージセンサの前記画素から出力された第２の画素信号との差分演算を含む演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める、
項目４に記載のマルチスペクトル撮像装置。
　［項目６］
　イメージセンサと、
　前記イメージセンサの撮像面に被写体の像を形成するように配置された光学系と、
　前記被写体に光を照射する照明装置であって、発光強度の波長依存性を変化させることが可能な照明装置と、
　前記照明装置および前記イメージセンサに接続され、前記照明装置の前記発光強度の波長依存性を変化させながら前記イメージセンサで複数回の撮像を行うように前記照明装置および前記イメージセンサを制御する制御回路と、
　前記イメージセンサに接続された信号処理回路であって、前記複数回の撮像によって前記イメージセンサの１つの画素から順次出力された複数の画素信号を用いた演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める信号処理回路と、
を備えるマルチスペクトル撮像装置。
　［項目７］
　前記照明装置は、光源と、各々が異なる特定の波長帯域の光を透過させる複数の部分が配列された多層膜フィルタと、前記多層膜フィルタに重ねて配置された液晶透光板とを有し、
　前記制御回路は、前記液晶透光板の光透過率の空間分布を変化させることにより、前記波長選択フィルタの前記透過率の波長依存性を変化させる、
項目６に記載のマルチスペクトル撮像装置。
　［項目８］
　各回の撮像時における前記発光強度は、所定の波長帯域において波長の周期関数で表される、項目６または７に記載のマルチスペクトル撮像装置。
　［項目９］
　前記所定の波長帯域の幅をＷとするとき、前記周期関数の周期の逆数は、１／Ｗの整数倍である、項目３または８に記載のマルチスペクトル撮像装置。
　［項目１０］
　前記周期関数は、独立変数を波長とする余弦関数または正弦関数を用いて表される、項目３、８、または９に記載のマルチスペクトル撮像装置。
　［項目１１］
　前記波長選択フィルタは、各々が異なる遮断波長を有する複数の部分が配列された多層膜フィルタと、前記多層膜フィルタに重ねて配置された液晶透光板とを有し、
　前記制御回路は、前記液晶透光板の光透過率の空間分布を変化させることにより、前記波長選択フィルタの前記透過率の波長依存性を変化させる、
項目６に記載のマルチスペクトル撮像装置。
　［項目１２］
　前記多層膜フィルタにおける前記複数の部分の前記遮断波長は、一方向に単調に増加または減少し、
　前記制御回路は、少なくとも２回の撮像を行うように、前記液晶透光板および前記イメージセンサを制御し、
　第１回目の撮像時における前記液晶透光板の光透過率の、前記方向についての関数は、第１の周期関数と、前記第１の周期関数よりも周期の長い第２の周期関数との積で表され、
　第２回目の撮像時における前記液晶透光板の光透過率の、前記方向についての関数は、前記第１の周期関数を半周期ずらした第３の周期関数と、前記第２の周期関数を前記第１の周期関数の半周期分ずらした第４の周期関数との積で表され、
　前記信号処理回路は、前記第１回目の撮像によって前記イメージセンサの１つの画素から出力された第１の画素信号と、前記第２回目の撮像によって前記イメージセンサの前記画素から出力された第２の画素信号との差分演算を含む演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める、
項目１１に記載のマルチスペクトル撮像装置。
　［項目１３］
　項目６に記載のマルチスペクトル撮像装置において用いられる照明装置であって、各回の撮像時における前記発光強度が、所定の波長帯域において波長の周期関数で表される、照明装置。
　［項目１４］
　発光強度が最大である波長が互いに異なる複数の光源を有する項目１３に記載の照明装置。
　本発明のマルチスペクトル撮像装置は、主に固体撮像素子を用いた固体カメラの全てに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラ等の民生用カメラや産業用の監視カメラ等に利用可能である。
１　結像レンズ
２　波長選択フィルタ
２ａ　多層膜フィルタ
２ｂ　液晶パネル
３　撮像素子
３ａ　撮像部
４　信号発生／受信回路
５　液晶コントローラ
６　画像処理回路
７　画像メモリー
８　信号出力部
９　広帯域光学フィルタ
１０　撮像用光源

Claims (14)

  1. 　イメージセンサと、
    　前記イメージセンサの撮像面に被写体の像を形成するように配置された光学系と、
    　前記被写体と前記イメージセンサとの間に配置され、光透過率の波長依存性を変化させることが可能な波長選択フィルタと、
    　前記波長選択フィルタおよび前記イメージセンサに接続され、前記波長選択フィルタの前記光透過率の波長依存性を変化させながら前記イメージセンサで複数回の撮像を行うように前記波長選択フィルタおよび前記イメージセンサを制御する制御回路と、
    　前記イメージセンサに接続された信号処理回路であって、前記複数回の撮像によって前記イメージセンサの１つの画素から順次出力された複数の画素信号を用いた演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める信号処理回路と、
    を備えるマルチスペクトル撮像装置。
  2. 　前記波長選択フィルタは、各々が異なる特定の波長帯域の光を透過させる複数の部分が配列された多層膜フィルタと、前記多層膜フィルタに重ねて配置された液晶透光板とを有し、
    　前記制御回路は、前記液晶透光板の光透過率の空間分布を変化させることにより、前記波長選択フィルタの前記光透過率の波長依存性を変化させる、
    請求項１に記載のマルチスペクトル撮像装置。
  3. 　各回の撮像時における前記波長選択フィルタの前記光透過率は、所定の波長帯域において波長の周期関数で表される、請求項１または２に記載のマルチスペクトル撮像装置。
  4. 　前記波長選択フィルタは、各々が異なる遮断波長を有する複数の部分が配列された多層膜フィルタと、前記多層膜フィルタに重ねて配置された液晶透光板とを有し、
    　前記制御回路は、前記液晶透光板の光透過率の空間分布を変化させることにより、前記波長選択フィルタの前記透過率の波長依存性を変化させる、
    請求項１に記載のマルチスペクトル撮像装置。
  5. 　前記多層膜フィルタにおける前記複数の部分の前記遮断波長は、一方向に単調に増加または減少し、
    　前記制御回路は、少なくとも２回の撮像を行うように、前記液晶透光板および前記イメージセンサを制御し、
    　第１回目の撮像時における前記液晶透光板の光透過率の、前記方向についての関数は、第１の周期関数と、前記第１の周期関数よりも周期の長い第２の周期関数との積で表され、
    　第２回目の撮像時における前記液晶透光板の光透過率の、前記方向についての関数は、前記第１の周期関数を半周期ずらした第３の周期関数と、前記第２の周期関数を前記第１の周期関数の半周期分ずらした第４の周期関数との積で表され、
    　前記信号処理回路は、前記第１回目の撮像によって前記イメージセンサの１つの画素から出力された第１の画素信号と、前記第２回目の撮像によって前記イメージセンサの前記画素から出力された第２の画素信号との差分演算を含む演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める、
    請求項４に記載のマルチスペクトル撮像装置。
  6. 　イメージセンサと、
    　前記イメージセンサの撮像面に被写体の像を形成するように配置された光学系と、
    　前記被写体に光を照射する照明装置であって、発光強度の波長依存性を変化させることが可能な照明装置と、
    　前記照明装置および前記イメージセンサに接続され、前記照明装置の前記発光強度の波長依存性を変化させながら前記イメージセンサで複数回の撮像を行うように前記照明装置および前記イメージセンサを制御する制御回路と、
    　前記イメージセンサに接続された信号処理回路であって、前記複数回の撮像によって前記イメージセンサの１つの画素から順次出力された複数の画素信号を用いた演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める信号処理回路と、
    を備えるマルチスペクトル撮像装置。
  7. 　前記照明装置は、光源と、各々が異なる特定の波長帯域の光を透過させる複数の部分が配列された多層膜フィルタと、前記多層膜フィルタに重ねて配置された液晶透光板とを有し、
    　前記制御回路は、前記液晶透光板の光透過率の空間分布を変化させることにより、前記波長選択フィルタの前記透過率の波長依存性を変化させる、
    請求項６に記載のマルチスペクトル撮像装置。
  8. 　各回の撮像時における前記発光強度は、所定の波長帯域において波長の周期関数で表される、請求項６または７に記載のマルチスペクトル撮像装置。
  9. 　前記所定の波長帯域の幅をＷとするとき、前記周期関数の周期の逆数は、１／Ｗの整数倍である、請求項３または８に記載のマルチスペクトル撮像装置。
  10. 　前記周期関数は、独立変数を波長とする余弦関数または正弦関数を用いて表される、請求項３、８、または９に記載のマルチスペクトル撮像装置。
  11. 　前記波長選択フィルタは、各々が異なる遮断波長を有する複数の部分が配列された多層膜フィルタと、前記多層膜フィルタに重ねて配置された液晶透光板とを有し、
    　前記制御回路は、前記液晶透光板の光透過率の空間分布を変化させることにより、前記波長選択フィルタの前記透過率の波長依存性を変化させる、
    請求項６に記載のマルチスペクトル撮像装置。
  12. 　前記多層膜フィルタにおける前記複数の部分の前記遮断波長は、一方向に単調に増加または減少し、
    　前記制御回路は、少なくとも２回の撮像を行うように、前記液晶透光板および前記イメージセンサを制御し、
    　第１回目の撮像時における前記液晶透光板の光透過率の、前記方向についての関数は、第１の周期関数と、前記第１の周期関数よりも周期の長い第２の周期関数との積で表され、
    　第２回目の撮像時における前記液晶透光板の光透過率の、前記方向についての関数は、前記第１の周期関数を半周期ずらした第３の周期関数と、前記第２の周期関数を前記第１の周期関数の半周期分ずらした第４の周期関数との積で表され、
    　前記信号処理回路は、前記第１回目の撮像によって前記イメージセンサの１つの画素から出力された第１の画素信号と、前記第２回目の撮像によって前記イメージセンサの前記画素から出力された第２の画素信号との差分演算を含む演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める、
    請求項１１に記載のマルチスペクトル撮像装置。
  13. 　請求項６に記載のマルチスペクトル撮像装置において用いられる照明装置であって、各回の撮像時における前記発光強度が、所定の波長帯域において波長の周期関数で表される、照明装置。
  14. 　発光強度が最大である波長が互いに異なる複数の光源を有する請求項１３に記載の照明装置。
PCT/JP2016/050219 2015-01-07 2016-01-06 マルチスペクトル撮像装置 WO2016111308A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016568734A JP6224275B2 (ja) 2015-01-07 2016-01-06 マルチスペクトル撮像装置
JP2016139208A JP6339133B2 (ja) 2015-01-07 2016-07-14 マルチスペクトル照明装置および撮像システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015001538 2015-01-07
JP2015-001538 2015-01-07

Publications (1)

Publication Number Publication Date
WO2016111308A1 true WO2016111308A1 (ja) 2016-07-14

Family

ID=56355994

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/050219 WO2016111308A1 (ja) 2015-01-07 2016-01-06 マルチスペクトル撮像装置

Country Status (2)

Country Link
JP (2) JP6224275B2 (ja)
WO (1) WO2016111308A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018175377A1 (en) * 2017-03-24 2018-09-27 Axon Dx, Llc Spectral imaging apparatus and methods
JP2018156208A (ja) * 2017-03-15 2018-10-04 キヤノン株式会社 解析装置、撮像装置、解析方法、および、プログラム
WO2019072867A3 (de) * 2017-10-09 2019-07-04 Osram Opto Semiconductors Gmbh Halbleiterlichtquelle, betriebsverfahren und spektrometer
JP2019211769A (ja) * 2018-06-06 2019-12-12 ヴァイアヴィ・ソリューションズ・インコーポレイテッドＶｉａｖｉ Ｓｏｌｕｔｉｏｎｓ Ｉｎｃ． 液晶選択可能バンドパスフィルタ
WO2020179628A1 (ja) * 2019-03-04 2020-09-10 コニカミノルタ株式会社 分光装置
CN113008368A (zh) * 2020-05-25 2021-06-22 中国科学院长春光学精密机械与物理研究所 多光谱信息获取装置及获取方法
CN114041085A (zh) * 2019-06-11 2022-02-11 富士胶片株式会社 摄像装置
CN116222779A (zh) * 2023-03-09 2023-06-06 重庆大学 一种可调谐高光谱重构成像方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6917824B2 (ja) * 2017-08-09 2021-08-11 シチズン時計株式会社 分光測定装置及び分光測定方法
CA3130336A1 (en) 2020-09-10 2022-03-10 Saco Technologies Inc. Light shaping assembly having a two-dimensional array of light sources and a fresnel lens

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000152254A (ja) * 1998-11-05 2000-05-30 Nippon Hoso Kyokai <Nhk> 波長選択型液晶カメラ装置
JP2001099710A (ja) * 1999-09-28 2001-04-13 Fuji Photo Film Co Ltd マルチバンド画像の分光反射率のスペクトル推定方法およびスペクトル推定システム
WO2006005044A2 (en) * 2004-06-30 2006-01-12 Digital Optics Corporation Spectrally diverse spectrometer and associated methods
JP2008298722A (ja) * 2007-06-04 2008-12-11 Toppan Printing Co Ltd 分光反射率取得方法、分光反射率取得装置、および分光反射率取得プログラム
JP2010286291A (ja) * 2009-06-10 2010-12-24 Hioki Ee Corp 赤外線分光器および赤外線分光測定装置
JP2012181086A (ja) * 2011-03-01 2012-09-20 21 Aomori Sangyo Sogo Shien Center スペクトル測定装置およびスペクトル測定方法
WO2014063117A1 (en) * 2012-10-19 2014-04-24 Hypermed Imaging, Inc. Single-sensor hyperspectral imaging device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4379233A (en) * 1981-05-27 1983-04-05 Trebor Industries, Inc. Optical arrangement for quantitative analysis instrument utilizing pulsed radiation emitting diodes
JPH0785034B2 (ja) * 1986-05-15 1995-09-13 ミノルタ株式会社 分光測定センサ
EP1208367A4 (en) * 1999-08-06 2007-03-07 Cambridge Res & Instrmnt Inc DEVICE FOR SPECTRAL FIGURE
JP2006528353A (ja) * 2003-07-18 2006-12-14 ケミマジ コーポレーション 多重波長式作像用分光器のための方法および装置
JP6003248B2 (ja) * 2012-06-05 2016-10-05 株式会社ニコン 分光装置および分光感度解析装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000152254A (ja) * 1998-11-05 2000-05-30 Nippon Hoso Kyokai <Nhk> 波長選択型液晶カメラ装置
JP2001099710A (ja) * 1999-09-28 2001-04-13 Fuji Photo Film Co Ltd マルチバンド画像の分光反射率のスペクトル推定方法およびスペクトル推定システム
WO2006005044A2 (en) * 2004-06-30 2006-01-12 Digital Optics Corporation Spectrally diverse spectrometer and associated methods
JP2008298722A (ja) * 2007-06-04 2008-12-11 Toppan Printing Co Ltd 分光反射率取得方法、分光反射率取得装置、および分光反射率取得プログラム
JP2010286291A (ja) * 2009-06-10 2010-12-24 Hioki Ee Corp 赤外線分光器および赤外線分光測定装置
JP2012181086A (ja) * 2011-03-01 2012-09-20 21 Aomori Sangyo Sogo Shien Center スペクトル測定装置およびスペクトル測定方法
WO2014063117A1 (en) * 2012-10-19 2014-04-24 Hypermed Imaging, Inc. Single-sensor hyperspectral imaging device

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018156208A (ja) * 2017-03-15 2018-10-04 キヤノン株式会社 解析装置、撮像装置、解析方法、および、プログラム
EP3602490A4 (en) * 2017-03-24 2020-05-27 Axon DX, LLC SPECTRAL IMAGING APPARATUS AND METHODS
WO2018175377A1 (en) * 2017-03-24 2018-09-27 Axon Dx, Llc Spectral imaging apparatus and methods
US10962478B2 (en) 2017-03-24 2021-03-30 Axon Dx, Llc Spectral imaging apparatus and methods
US11371883B2 (en) 2017-10-09 2022-06-28 Osram Oled Gmbh Semiconductor light source, operating method and spectrometer
WO2019072867A3 (de) * 2017-10-09 2019-07-04 Osram Opto Semiconductors Gmbh Halbleiterlichtquelle, betriebsverfahren und spektrometer
JP2019211769A (ja) * 2018-06-06 2019-12-12 ヴァイアヴィ・ソリューションズ・インコーポレイテッドＶｉａｖｉ Ｓｏｌｕｔｉｏｎｓ Ｉｎｃ． 液晶選択可能バンドパスフィルタ
JP7157006B2 (ja) 2018-06-06 2022-10-19 ヴァイアヴィ・ソリューションズ・インコーポレイテッド 液晶選択可能バンドパスフィルタ
WO2020179628A1 (ja) * 2019-03-04 2020-09-10 コニカミノルタ株式会社 分光装置
CN114041085A (zh) * 2019-06-11 2022-02-11 富士胶片株式会社 摄像装置
CN114041085B (zh) * 2019-06-11 2023-04-04 富士胶片株式会社 摄像装置
CN113008368A (zh) * 2020-05-25 2021-06-22 中国科学院长春光学精密机械与物理研究所 多光谱信息获取装置及获取方法
CN116222779A (zh) * 2023-03-09 2023-06-06 重庆大学 一种可调谐高光谱重构成像方法
CN116222779B (zh) * 2023-03-09 2023-09-15 重庆大学 一种可调谐高光谱重构成像方法

Also Published As

Publication number Publication date
JP2017122703A (ja) 2017-07-13
JP6224275B2 (ja) 2017-11-01
JPWO2016111308A1 (ja) 2017-05-25
JP6339133B2 (ja) 2018-06-06

Similar Documents

Publication Publication Date Title
JP6224275B2 (ja) マルチスペクトル撮像装置
US10605661B2 (en) Image capturing with filters of overlapping passbands
JP5976676B2 (ja) レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法
JP5857227B2 (ja) 画像処理装置および内視鏡
CN102007761B (zh) 用于图像传感器的同心曝光序列
JP6322939B2 (ja) 撮像システム及び色検査システム
JP2011199798A (ja) 物理情報取得装置、固体撮像装置、物理情報取得方法
WO2005046248A1 (ja) マルチスペクトル画像撮影装置
US11045081B2 (en) Endoscope system
CN108700472A (zh) 使用相对的滤光器掩模进行相位检测自动聚焦
US8705153B2 (en) Original reading apparatus reading image from original
JP2009257919A (ja) 固体撮像装置、撮像システム及び検知装置
JP2008145386A (ja) 距離画像取得装置及び方法
JP4669889B2 (ja) 分光測色装置及び分光測色方法
RU2447471C2 (ru) Цветная последовательная вспышка для получения цифровых изображений
JP2024514493A (ja) 多重化照明を利用したスナップショット型高精度マルチスペクトルイメージングシステムおよびその方法
JP2015053578A (ja) カラー撮像装置及びカラー撮像方法
JP2006177812A (ja) 二次元分光輝度計
JP3944693B2 (ja) 膜厚測定装置
JP6341335B2 (ja) 二次元測色装置
CN113366366B (zh) 内窥镜系统
JP2010276469A (ja) 画像処理装置及び測距装置の画像処理方法
JP6679289B2 (ja) 処理装置、処理システム、撮像装置、処理方法、処理プログラムおよび記録媒体
JP6692749B2 (ja) マルチスペクトルカメラ
JP5890953B2 (ja) 検査装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16735047

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016568734

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16735047

Country of ref document: EP

Kind code of ref document: A1