WO2016031922A1 - マルチスペクトルカメラ - Google Patents

マルチスペクトルカメラ Download PDF

Info

Publication number
WO2016031922A1
WO2016031922A1 PCT/JP2015/074256 JP2015074256W WO2016031922A1 WO 2016031922 A1 WO2016031922 A1 WO 2016031922A1 JP 2015074256 W JP2015074256 W JP 2015074256W WO 2016031922 A1 WO2016031922 A1 WO 2016031922A1
Authority
WO
WIPO (PCT)
Prior art keywords
nth
photoelectric conversion
multispectral camera
transmittance
camera according
Prior art date
Application number
PCT/JP2015/074256
Other languages
English (en)
French (fr)
Inventor
平本　政夫
Original Assignee
平本　政夫
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平本　政夫 filed Critical 平本　政夫
Priority to JP2016545616A priority Critical patent/JP6692749B2/ja
Publication of WO2016031922A1 publication Critical patent/WO2016031922A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Definitions

  • the present invention relates to a multispectral technique capable of measuring reflection spectral characteristics of a subject in units of pixels from an image acquired by imaging the subject.
  • Patent Document 2 introduces a multispectral camera that can reduce the number of optical filters to be used by optimally designing the optical filters.
  • Patent Document 3 discloses a mechanism for replacing an optical filter by using a one-dimensional imaging device, a beam splitter that splits light incident through a lens, and a tunable filter that selectively transmits light in an arbitrary wavelength band. This paper introduces technologies that can obtain images in various wavelength bands without using.
  • Patent Document 4 introduces a technique for obtaining a color image of good quality using a single plate type color image pickup device provided with standard RGB color filters and other color filters.
  • the present invention provides a multispectral technique with a different approach from the prior art.
  • An embodiment of the present invention provides a multispectral camera that does not require a mechanical mechanism, can cope with movement of a subject, and can improve sensitivity.
  • a multispectral camera is an imaging element in which a plurality of pixel units are two-dimensionally arranged on an imaging surface, and each pixel unit is from 1 to N (N is an integer of 2 or more).
  • Each of the light sensing cells outputs a photoelectric conversion signal corresponding to the amount of light received, and is arranged to face the imaging element and the first to Nth light sensing cells, respectively.
  • N optical filters each having one or more transmittance peaks or underpeaks in a predetermined wavelength band, and the total number of peaks combined with the number of peaks and the number of underpeaks is different.
  • the transmittance Y of each of the first to Nth optical filters changes periodically with respect to the change of the variable Z associated with the wavelength ⁇ in the predetermined wavelength band.
  • the signal processing circuit includes N photoelectric conversion signals from the first to Nth photosensitive cells, N types of periodic functions having the independent variable as the variable Z, and the variable for the minute change in the wavelength ⁇ .
  • the spectral characteristic of the captured image is calculated using the change value of Z.
  • a multispectral camera includes a compound eye optical system including N + 1 (N is an integer of 2 or more) optical systems and one or more transmittance peaks or underpeaks in a predetermined wavelength band.
  • the first to Nth optical filters having different total peak numbers including the number of the peaks and the number of the underpeaks, and the first to Nth optical filters facing the first to Nth optical filters, respectively.
  • Each of the photosensitive cells outputs a photoelectric conversion signal corresponding to the amount of received light, and processes the photoelectric conversion signals output from the first to Nth photosensitive cells.
  • a signal processing circuit is an integer of 2 or more optical systems and one or more transmittance peaks or underpeaks in a predetermined wavelength band.
  • the first to Nth optical filters having different total peak numbers including the number of the peaks and the number of the underpeaks, and the first to Nth optical filters facing the first to Nth optical filters, respectively.
  • Each of the photosensitive cells outputs a photoelectric conversion signal corresponding to the amount of received light, and processes the photoelectric conversion signals
  • the transmittance Y of each of the first to Nth optical filters changes periodically with respect to the change of the variable Z related to the wavelength ⁇ in the predetermined wavelength band, and the first to Nth optical filters
  • the optical filter is disposed to face each of N optical systems of the N + 1 optical systems in the compound eye optical system, and the imaging element further includes any of the first to Nth optical filters.
  • Non-filtered light-sensitive cell groups that are not arranged to face each other, or transmittance averaged light in which optical filters having transmittances between the peak and under peak in the first to Nth optical filters are arranged to face each other
  • the signal processing circuit includes N types of photoelectric conversion signals from the first to Nth photosensitive cell groups and a photoelectric conversion signal from the non-filtered photosensitive cell group or the transmittance. average Using the photoelectric conversion signal from the photosensitive cell group, N types of periodic functions having the variable Z as the variable Z, and the change value of the variable Z with respect to the minute change of the wavelength ⁇ , spectral characteristics of the captured image are obtained. calculate.
  • the multispectral camera of one embodiment of the present invention it is possible to eliminate the need for a mechanical mechanism that replaces the optical filter or scans the image sensor, and thus can cope with the movement of the subject.
  • the imaging element uses an optical filter having a plurality of peaks in transmittance in a predetermined wavelength band, the sensitivity can be made higher than when a conventional color filter such as RGB is used.
  • the signal from each photosensitive cell contains a large amount of color information, the reflected light spectrum of the subject can be approximated by combining these signals.
  • (A) is a plan view of a pixel basic unit of the image sensor in Embodiment 1 of the present invention
  • (b) is a cross-sectional view taken along line AA ′
  • (c) is a cross-sectional view taken along line BB ′
  • (d) Is a cross-sectional view taken along the line CC ′.
  • (A) is a spectral characteristic diagram of the simulated color filters 1a to 1d in the first embodiment of the present invention
  • (b) is a spectral characteristic diagram of the simulated color filters 1e to 1h.
  • (A) is a characteristic diagram showing original data obtained by extracting only the variation component of the transmittance of the color filter 1a according to Embodiment 1 of the present invention, data obtained by variable conversion with respect to the variation component, and cosine function (cos) data.
  • (B) is a similar characteristic diagram regarding the color filter 1b
  • (c) is a similar characteristic diagram regarding the color filter 1c
  • (d) is a similar characteristic diagram regarding the color filter 1d.
  • (A) is a characteristic diagram showing original data obtained by extracting only the variation component of the transmittance of the color filter 1e according to the first embodiment of the present invention, data obtained by variable conversion of the variation component, and cosine function (cos) data.
  • FIG. 3 is a spectral characteristic diagram in which the spectral characteristics of an optical system including a light source and a lens, excluding the color filter according to Embodiment 1 of the present invention, and the spectral sensitivity of an image sensor are combined. It is a flowchart of imaging and signal processing simulation in Embodiment 1 of the present invention.
  • (A) is a diagram showing values of pixels E (0) to E (8) of the image sensor in Embodiment 1 of the present invention, and (b) is a calculated Fourier coefficient a (0) to a (8). It is the figure which showed the value of.
  • (A) is a spectral characteristic diagram of a subject calculated in the first embodiment of the present invention
  • (b) is a spectral characteristic diagram of a color checker that is a subject. It is a spectral characteristic figure of the color filter hold
  • (A) is a top view of the image pick-up element containing the compound-eye optical system in Embodiment 3 of this invention, (b) is AA 'sectional drawing, (c) is BB' sectional drawing, (d) is CC 'sectional drawing. It is. It is a block diagram of the multispectral camera in Embodiment 3 of this invention. It is the figure which showed typically a mode that it images on an image pick-up through the broadband optical filter and nine imaging lens in Embodiment 3 of this invention. It is a figure which shows the modification of Embodiment 3 of this invention.
  • the multispectral camera according to the first embodiment of the present invention has an image pickup device having N + 1 (N is an integer of 2 or more) photosensitive cells as a basic unit of pixel, and the basic unit (hereinafter referred to as “pixel unit”).
  • N is an integer of 2 or more
  • pixel unit the basic unit
  • Each of the N light-sensitive cells in the “opposite” is opposed to one optical filter (hereinafter also referred to as “color filter”). That is, N optical filters are respectively arranged to face N photosensitive cells in each basic unit.
  • Each of the N optical filters has one or more transmittance peaks or under peaks in a predetermined wavelength band (for example, 380 nm to 760 nm).
  • the N optical filters differ in the total number of peaks obtained by combining the number of transmittance peaks and the number of under peaks. That is, the basic unit of the pixel is composed of N pixels in which a color filter is arranged on the photosensitive cell and one pixel in which no color filter is arranged.
  • peak refers to one continuous partial band whose transmittance exceeds the average value in the predetermined wavelength band (in which the transmittance is equal to or lower than the average value). No) means that the transmittance is maximized. On the other hand, “under peak” means that the transmittance is minimized within one continuous partial band in which the transmittance is below the above average value (in which the transmittance does not exceed the average value). To do.
  • All color filters have, for example, a peak at the lower limit wavelength of the predetermined wavelength band and a peak or under peak at the upper limit wavelength of the predetermined wavelength band.
  • the first color filter may be an optical filter having a total peak number of two having one peak and one under peak between predetermined wavelength bands.
  • the second color filter may be an optical filter having a total peak number of 3 having two peaks and one under peak between predetermined wavelength bands.
  • the third color filter may be an optical filter having a total peak number of 4 having two peaks and two under peaks between predetermined wavelength bands.
  • the i-th (i is an integer greater than or equal to 1 and less than or equal to N) optical filter has a total peak number of i + 1.
  • the N color filters have a feature that the total number of peaks increases by one as the number of codes increases.
  • the light transmission characteristics of each color filter have variability with respect to the wavelength.
  • a pixel in which the first color filter is arranged is referred to as a first pixel
  • a pixel in which the second color filter is arranged is referred to as a second pixel.
  • the code number of the color filter is matched with the code number of the pixel.
  • a pixel may be referred to as a photosensitive cell.
  • the pixel not provided with the color filter when the pixel signal is analyzed for each basic unit of the pixel, the pixel not provided with the color filter generates a signal obtained by photoelectrically converting all the light in the predetermined wavelength band.
  • the first pixel generates a signal obtained by photoelectrically converting light including a particularly large light component in one specific (relatively narrow) wavelength band among all the light components in a predetermined wavelength band, and the second pixel , A signal obtained by photoelectrically converting light including particularly a large amount of light components in two specific (relatively narrow) wavelength bands out of all the light components in a predetermined wavelength band is generated.
  • the i-th pixel (i is an integer of 1 or more and N or less) is light that contains a particularly large amount of light components in i specific (relatively narrow) wavelength bands out of all light components in a predetermined wavelength band.
  • the signal of the pixel without the color filter in the predetermined wavelength band is considered to have a direct current component of the subject's light reflectance.
  • the signals of the first to Nth pixels are considered to have a part of the DC component and N types of AC components in the light reflectance distribution of the subject. Therefore, using these signals, it is possible to approximate the light reflectance of the subject in the form of a finite Fourier series. This approximation method is the approach of this embodiment.
  • the function is expressed as a shift wavelength X (0 ⁇ 0) from the wavelength ⁇ 1.
  • X (W) is used to express F (X).
  • F (X) is a function that is defined only in the range of 0 ⁇ X ⁇ W.
  • F (X) is an even function, and that the expansion is performed with a Fourier cosine series.
  • F (X) can be approximated by a finite Fourier cosine series expressed by Equation 1.
  • the shift wavelength X may be simply expressed as the wavelength X.
  • each color filter of the image sensor needs to have spectral characteristics that change in a cosine manner with respect to a change in wavelength.
  • Such a color filter is a rather special optical filter. This embodiment also relieves the peculiarity of such a color filter, and the spectral characteristics of the color filter to be used need not necessarily change in a cosine manner with respect to a change in wavelength.
  • G (X) has an average transmission ratio Ka (hereinafter also referred to as transmittance) when the maximum value of the light transmittance is 1, and the transmittance varies depending on the wavelength.
  • a component also referred to as an AC component
  • G (X) Ka + (PP / 2) AC (X)
  • the transmission ratio is Kd.
  • the characteristic is shown by a broken line in FIG.
  • the signal Sd of the pixel without the color filter is expressed by the following Expression 3
  • the signal Sa of the pixel with the color filter is expressed by the Expression 4.
  • Expression 5 is derived from Expression 3 and Expression 4. It can be seen that the intensity of the light when the reflected light from the subject is attenuated by the AC component of the color filter is obtained by calculating the pixel signal.
  • Equation 2 If AC (X) of any color filter is a cosine function, the Fourier coefficient shown in Equation 2 can be obtained, and the reflection spectral characteristic F (X) of the subject can be calculated from Equation 1 using the result. However, when the spectral characteristics of each color filter have variability as shown in FIG. 1 and have an AC component that is not a cosine function, Equations 2 and 1 cannot be used.
  • the reflection spectral characteristic of the subject can be calculated even if a change in the spectral characteristic of the color filter is not represented by a cosine function.
  • the certain condition is that, in any color filter, the AC component AC (X) of the spectral characteristic is close to a cosine function with respect to the change of the variable Z related to the wavelength X. If this condition is satisfied, the left side of Equation 5 is Can be approximated.
  • Z ′ dZ / dX
  • Expression 5 is expressed by Expression 6.
  • Equation 6 means that the Fourier coefficient of (F (Z) / Z ′) is obtained by calculation using the pixel signals Sa and Sd. As a result, a result obtained by expanding (F (Z) / Z ′) to a finite Fourier series is obtained, by multiplying the expanded result by Z ′, and further converting F (Z) to F (X). The reflection spectral characteristic of the subject can be obtained.
  • the image sensor of the multispectral camera in this embodiment will be described.
  • an imaging device having a plurality of pixel units arranged two-dimensionally on the imaging surface is used.
  • the pixel unit is a basic unit of pixels in the image sensor, and includes a plurality of photosensitive cells.
  • FIG. 2 shows the basic unit of pixels of the image sensor.
  • FIG. 2A is a plan view showing a basic unit of a pixel.
  • the basic configuration is 9 pixels, 3 pixels in the horizontal direction and 3 pixels in the vertical direction.
  • a color filter is not disposed on the central pixel, and a color filter is disposed on the other pixels.
  • 2B, 2C, and 2D are a cross-sectional view taken along line A-A ', a cross-sectional view taken along line B-B', and a cross-sectional view taken along line C-C 'in FIG. As shown in FIG.
  • the multispectral camera of the present embodiment has nine photosensitive cells 2a, 2b, 2c, 2d, 2e, 2f, 2g, 2h, 2z arranged in 3 rows and 3 columns. And eight color filters 1a, 1b, 1c, 1d, 1e, 1f, 1g, 1h.
  • the color filters 1a, 1b, 1c, 1d, 1e, 1f, 1g, and 1h face the photosensitive cells 2a, 2b, 2c, 2d, 2e, 2f, 2g, and 2h, respectively. In this specification, such a facing relationship may be expressed as “corresponding”.
  • the photosensitive cell 2z is located at the center of the pixel unit, and there is no color filter thereon.
  • Each photosensitive cell has a light receiving element such as a photodiode that outputs a photoelectric conversion signal (also referred to as a pixel signal) according to the amount of light received.
  • a photoelectric conversion signal also referred to as a pixel signal
  • Image formation on the image sensor is photoelectrically converted through a color filter or directly in a light sensitive cell.
  • the photoelectric conversion signal from each photosensitive cell is omitted in FIG. 2, it is read out from the image sensor as an electrical signal through the wiring layer.
  • the color filters 1a to 1h are one-layer titanium oxide films, but the film thicknesses are different from each other.
  • the measurement wavelength band of the subject is set to 380 nm to 760 nm, and the film thicknesses of the color filters 1a to 1h are designed.
  • the design condition is that light vertically enters the color filters 1a to 1h and is photoelectrically converted by the photosensitive cells 2a to 2h and 2z through the silicon oxide film 31, and the upper part of the color filters 1a to 1h has a refractive index of 1.
  • each color filter is formed of a titanium-based oxide film having a refractive index of 2.5, and the lower part of the color filters 1a to 1h is a silicon oxide film 3 having a refractive index of 1.47.
  • the thicknesses of the color filters 1a, 1b, 1c, 1d, 1e, 1f, 1g, and 1h are 76 nm, 152 nm, 228 nm, 304 nm, 380 nm, 456 nm, 532 nm, and 608 nm, respectively.
  • the above film thickness is an integral multiple of the basic film thickness of 76 nm.
  • the transmission characteristics of all the color filters have a peak at 380 nm, and have a peak or under peak at 760 nm.
  • FIG. 3A shows the simulation results of the spectral characteristics of the color filters 1a to 1d
  • FIG. 3B shows the simulation results of the spectral characteristics of the color filters 1e to 1h.
  • These color filters have variability with respect to wavelength in the transmission ratio when the maximum value of the light transmittance is 1.
  • the total number of peaks and under peaks in the spectral characteristics of each color filter is 2 in the wavelength band 380 nm to 760 nm, 2 for the color filter 1a, 3 for the color filter 1b, 4 for the color filter 1c, and 1 for the color filter 1d.
  • each color filter For the transmission ratio of each color filter, they repeatedly vary with increasing wavelength, but their period is not constant. However, it can be a constant period for another variable related to wavelength.
  • the wavelength is ⁇
  • the transmittance of each color filter is Y.
  • Z expressed by a quadratic function of ⁇ shown in Equations 7 and 8 (Z is a shift wavelength from the wavelength of 380 nm) is an independent variable. Then, the fluctuation component of the transmittance Y can be approximated by a cosine function.
  • FIG. 4A shows the data of the color filter 1a
  • FIG. 4B shows the data of the color filter 1b
  • FIG. 4C shows the data of the color filter 1c
  • FIG. 4D shows the data of the color filter 1d
  • 5A shows the data of the color filter 1e
  • FIG. 5B shows the data of the color filter 1f
  • FIG. 5C shows the data of the color filter 1g
  • FIG. 5D shows the data of the color filter 1h. Represents the data.
  • the solid line indicates the original data of the transmittance variation component of the color filter
  • the broken line indicates the variable-converted data regarding the variation component
  • the one-dot chain line indicates the cosine function (cos) data.
  • the variation component of the transmittance of each color filter is represented by a variable Z related to the wavelength ⁇ , so that it can be seen that the distribution is almost similar to a distribution represented by a cosine function.
  • changing approximately like a periodic function is expressed as “periodically changing”.
  • a periodic change in this specification does not necessarily mean a periodic change in a strict sense.
  • Pixels in which the color filters 1a to 1h are arranged in this order are referred to as first to eighth pixels, and their pixel signals are represented by E (1) to E (8).
  • a pixel in which no color filter is arranged is referred to as a ninth pixel, and the pixel signal is represented by E (0).
  • the symbols shown in FIG. 1 are used as they are for the characteristics of each color filter and the spectral characteristics of the pixels where no color filter is arranged.
  • the pixel signals E (0) and E (1) to E (8) are expressed using the shift wavelength X from the lower limit wavelength 380 nm and the function F (X) indicating the reflection spectral characteristics of the subject. And represented by the following formulas 9 and 10.
  • AC (1, X) to AC (8, X) are functions of characteristics indicated by solid lines in FIGS. 4 (a) to 4 (d) and FIGS. 5 (a) to 5 (d) in order. is there.
  • Equation 11 is obtained from Equation 9 and Equation 10.
  • Equation 11 can be expressed by Equation 12.
  • a (0) is (2 / W) ⁇ (F (Z) / Z ′) dZ, which is (2 / W) ⁇ F (X) dX
  • a (0) is expressed by Expression 14 using Expression 9.
  • a (i) where i ⁇ 1 is expressed by Expression 15 using Expression 13 based on Expression 2.
  • the Fourier coefficient is calculated using the pixel signal of the image sensor, and the reflection spectral characteristic of the subject can be approximately calculated by using the Fourier series expansion of Equation 1 and multiplication by Z ′.
  • FIG. 6 is a configuration diagram of the multispectral camera in the present embodiment.
  • the multispectral camera includes an imaging lens 11, a broadband optical filter 12, an image sensor 13, a signal generation / reception unit 14, an image processing unit 15, an image memory 16, and a signal output unit 17. Yes.
  • the imaging lens 11 is depicted as a single lens in FIG. 6, but may be a combination of a plurality of lenses.
  • the broadband optical filter 12 is designed to transmit only light having a wavelength band of 380 nm to 760 nm.
  • the image sensor 13 is a CMOS type image sensor in the present embodiment, but may be another type of image sensor such as a CCD.
  • the signal generation / reception unit 14 receives an image signal from the image sensor 13 and sends a signal for driving the image sensor 13 to the image sensor 13.
  • the signal generation / reception unit 14 may be composed of an LSI such as a CMOS driver, for example.
  • the image processing unit 15 transmits the image signal from the signal generation / reception unit 14 to the image memory 16 and reads and processes the image signal from the image memory 16.
  • the image processing unit 15 can be realized, for example, by a combination of a signal processing circuit such as a known digital signal processor (DSP) and software that executes image processing in the present embodiment. Alternatively, the image processing unit 15 may be configured by dedicated hardware.
  • the signal processing in the present embodiment is executed by a signal processing circuit in the image processing unit 15.
  • the image memory 16 can be constituted by a known semiconductor memory such as DRAM or SRAM.
  • the signal output unit 17 outputs the signal from the image processing unit 15 to the outside.
  • FIG. 7 is a diagram schematically showing a state in which light from a subject passes through the imaging lens 11 and the broadband optical filter 12 and is imaged on the imaging unit (imaging surface) 13 a of the imaging device 13.
  • the formed image is photoelectrically converted by the image sensor 13 to become an electric signal, which is recorded in the image memory 16 via the signal generation / reception unit 14 and the image processing unit 15.
  • the image processing unit 15 reads the image information recorded in the image memory 16 for each basic unit of the pixel and performs signal processing.
  • imaging and signal processing simulation for calculating the spectral characteristics of a subject when imaging color samples of Macbeth Color Checker No. 13 to No. 18 manufactured by X-Rite will be described below.
  • the color samples are blue (B), green (G), red (R), yellow (Ye), magenta (Mg), and cyan (Cy) in the order of No13 to No18.
  • Their reflection spectral characteristics are shown in FIG.
  • FIG. 4A shows the reflection spectral characteristics of No. 13 to No. 15 and is represented by a solid line, a broken line, and an alternate long and short dash line in numerical order.
  • FIG. 5B shows the reflection spectral characteristics of No. 16 to No. 18 and is represented by a solid line, a broken line, and an alternate long and short dash line in numerical order.
  • FIG. 9 shows the spectral characteristics of the optical system including the light source and lens, excluding the color filter, and the spectral sensitivity of the image sensor.
  • This characteristic is called an imaging optical spectral characteristic and is represented by O (X).
  • X is a shift wavelength from 380 nm.
  • Ka 0.79
  • PP 0.347
  • Kd were 0.96 based on FIG.
  • the calculated signal values E (0) to E (8) are multiplied by the correction coefficient Kg (S2).
  • the waveform dashed line in the figure
  • the waveform when the wavelength ⁇ is converted into the variable Z (the broken line in the figure) is an ideal cosine function waveform (FIG. This is performed in order to correct an error caused by being lower than the middle one-dot chain line).
  • each signal is multiplied by a correction coefficient Kg to slightly amplify the signal.
  • the correction coefficient Kg is 1.025.
  • the result of multiplying the correction coefficient Kg is newly set as signal values E (0) to E (8), and the Fourier coefficients a (0) to a (8) of each color sample using Expressions 14 and 15. ) Is calculated (S3).
  • FIG. 11A shows signal values E (0) to E (8) after being multiplied by the correction coefficient Kg
  • FIG. 11B shows the calculated Fourier coefficients a (0) to a (8).
  • these numerical values are relative values in calculation.
  • F (Z) / Z ′ is expanded into a Fourier series using the calculated Fourier coefficients a (0) to a (8) (S4).
  • F (Z (X)) that is, F (X) is calculated by multiplying the expanded Fourier series by Z '(S5).
  • the calculated F (X) is the spectrum of the captured image, which includes the imaging optical spectral characteristics described above. Therefore, in the sixth step, F (X) is further divided by O (X) to calculate the spectral characteristics of the subject (S6).
  • FIG. 12A shows the calculated spectral characteristics of the subject
  • FIG. 12B shows the actual spectral characteristics of the color checker that is the subject.
  • the thick solid line is blue (calculation result: Cal_No13, actual characteristic: No13)
  • the thick broken line is green (calculation result: Cal_No14, actual characteristic: No14)
  • thin solid line is yellow (calculation result: Cal_No16, actual characteristic: No16)
  • thin broken line is magenta (calculation result: Cal_No17, actual characteristic: No17)
  • thin A one-dot chain line represents a spectral characteristic of a color checker of cyan (calculation result: Cal_No18, actual characteristic: No18).
  • the wavelength range is 400 nm to 700 nm, but it can be seen that the calculated spectral characteristics of the subject are substantially the same as the spectral characteristics of the color checker.
  • spectral characteristic values at pre-specified wavelengths are extracted, and a specific wavelength image using these data as pixel signals and the average value of the pixel signals for each basic unit of the pixel are calculated. Then, a black and white image using these as pixel signals is output to the outside from the signal output unit 17 (S7). In this way, the specific wavelength image and the monochrome image are output from the image processing unit 15 via the signal output unit 17. All images within the set measurement wavelength band can be obtained by changing the designated wavelength.
  • a number of color filters having a plurality of spectral transmittance peaks are arranged in the pixels of the image sensor 13, so that the conventional monochrome image has only one spectral transmittance peak.
  • the light utilization rate is higher than when RGB filters are used, and therefore the brightness of the image is high.
  • N 8
  • the number of peaks and the number of under peaks are set as follows.
  • First to eighth optical filters having different total peak numbers are used.
  • the transmittance Y is periodic with respect to the change of the variable Z associated with the wavelength ⁇ . Changes.
  • any of the first to eighth photosensitive cells, and the first to eighth optical filters, in which the first to eighth filters are arranged correspondingly (opposed), are disposed.
  • An image sensor is used in which the unfiltered light-sensitive cell that is not used is a pixel unit.
  • a change value (Z ′ dZ / dX) of the variable Z with respect to the minute change of the wavelength ⁇ (equivalent to the minute change of the shift wavelength X)
  • the periodic functions AC (1, X) to AC (8, X) of can be used to calculate the spectral characteristics of the captured image (that is, the intensity distribution for each wavelength).
  • the reflection spectral characteristic of the subject can be calculated by dividing the calculated spectral characteristic by the spectral characteristic of the imaging optical system.
  • the captured image obtained from the camera has a high brightness.
  • the i-th (i is an integer of 1 or more and N or less) optical filter has a total peak number of i + 1.
  • the N types of periodic functions used in the calculation are N cosine functions cos (iZ) having a frequency that is an integral multiple of 1 to N times a predetermined frequency.
  • cosine function cos (i ⁇ Z / W) is used.
  • Z may be a variable related to the wavelength ⁇
  • the above-described ⁇ Z / W may be expressed as Z again. it can.
  • the aforementioned cosine function is expressed as cos (iZ).
  • the signal processing circuit in the image processing unit 15 sets E (0) as the photoelectric conversion signal of the non-filter photosensitive cell and E (i) as the photoelectric conversion signal of the i-th photosensitive cell.
  • the result a (0) obtained by multiplying the constant k1 (2 / WKd in the above example) and the result obtained by multiplying E (i) by the second constant k2 (2 in the above example)
  • the cosine function cos (iZ) is subtracted from the result a (i) obtained by subtracting the result (2 (Ka / Kd) in the above example) obtained by multiplying the third constant and further dividing by the fourth constant (PP).
  • a (0) and a (1) cos (Z) to a (N) cos (NZ) are added to each other using the multiplied a (i) cos (iZ).
  • the reflection spectral characteristic of the subject is calculated by multiplying the change value of the variable Z with respect to the minute change of.
  • the signal processing circuit corrects the signal value by multiplying the photoelectric conversion signal from the first to Nth photosensitive cells by a fifth constant (Kg). Also good.
  • the basic unit of pixels is 9 ⁇ 3 ⁇ 3 pixels, but is not limited to this.
  • U ⁇ V U and V are mutually different natural numbers
  • integer pixels are used as a basic unit.
  • a pixel in which a color filter is not arranged filter-free photosensitive cell related to the calculation of the DC component of the spectral characteristic in the basic unit of the pixel. May not be included. In that case, the number of photosensitive cells included in the pixel unit and the number of optical filters opposed to them coincide.
  • a transmittance averaged photosensitive cell in which optical filters having transmittances between the peak and under peak in the first to Nth optical filters are arranged to face each other is included. You can leave.
  • the refractive index varies greatly depending on the wavelength. In such a material, the average transmittance of the peak and the under peak is increased on the long wavelength side.
  • a filter having an average transmittance of all peaks and all under peaks may be provided.
  • the color filter is not limited to a single layer film, and may be composed of a plurality of layers.
  • the configuration of the color filter is arbitrary.
  • the approximate expression is expressed by Expression 7 and Expression 8, but the present invention is not limited to this, and another approximate expression using a spline function or the like may be used. There is no.
  • a micro lens is not disposed in each pixel in the present embodiment, but a micro lens may be disposed in order to improve the sensitivity of the image sensor.
  • the signal processing in the camera the signal is processed for each basic unit of the pixel, but the pixel signal of the adjacent basic unit may also be used to prevent false color.
  • the signal processing circuit may perform signal processing for each pixel unit and generate interpolation information using a photoelectric conversion signal from an adjacent pixel unit.
  • the measurement wavelength band is designed to be 380 nm to 760 nm.
  • the present invention is not limited to this, and a wider wavelength band may be used.
  • the color filter is not implicitly colored and the refractive index is constant regardless of the wavelength, but in actuality, it is slightly colored and has a peak on the short wavelength side because the refractive index slightly changes depending on the wavelength.
  • the difference in underpeak changes or the average transmittance decreases. Therefore, after the sixth step (S6) of the above processing, the reflection spectral characteristics of the subject may be further corrected using correction coefficients corresponding to these problems.
  • Such a correction coefficient is set so as to cancel out the influence due to the attenuation of the light transmittance in the short wavelength region and the influence due to the difference in the amplitude of the transmittance depending on the wavelength.
  • the present embodiment has the same image sensor and camera configuration as the first embodiment, but has spectral characteristic data of three types of color filters for creating a color image in the image processing unit.
  • the spectral characteristics of these color filters are shown in FIG.
  • the dotted line is the spectral characteristic of the R (red) filter
  • the broken line is the spectral characteristic of the G (green) filter
  • the dashed line is the spectral characteristic of the B (blue) filter.
  • the processing up to the calculation of the spectral characteristics of the subject is the same as in the first embodiment. Thereafter, the spectral characteristics of the subject are multiplied by the spectral characteristics of the color filter, and the R signal, G signal, and B signal are obtained. It has processing to calculate. After the processing, a color image is created from the calculated RGB signals and output from the signal output unit to the outside. Normally, a color camera that outputs a color image requires an infrared cut filter, but this embodiment has a feature that an infrared cut filter is not required. Also, the transmittance of the color filter usually cannot take a negative value, but in the present embodiment, the transmittance of the color filter has a partial negative characteristic. A preferable color image can be produced. However, if the result of calculation as an RGB signal is a negative signal, a process for forcibly setting the signal value to 0 is performed.
  • the multispectral camera according to the present embodiment has spectral characteristic data of three types of color filters inside, and a color signal can be generated by multiplying the calculated spectral characteristics of the subject. . That is, the signal processing circuit in the present embodiment uses the data indicating the spectral characteristics of the plurality of color filters to perform an integral operation on the calculated function indicating the spectral characteristics of the captured image and the function indicating the spectral characteristics of the color filter. Thus, a color signal is calculated.
  • a color image can be generated without using an infrared cut filter.
  • a color filter having negative spectral characteristics can be used for calculation. For this reason, there is an effect that it is possible to provide a color image with an unprecedented color reproduction range.
  • the spectral characteristic data of three types of color filters are held in the camera.
  • the present invention is not limited to this, and spectral characteristic data of four or more types of color filters may be held.
  • the spectral characteristic data of each color filter is stored in a recording medium such as a memory in the camera, and the signal processing circuit can read the data and perform the above processing.
  • the multispectral camera according to the present embodiment is an embodiment in that the imaging surface of the imaging device is divided into a plurality of imaging regions, and a plurality of optical systems (for example, lenses) are arranged facing the imaging regions. Different from 1 and 2.
  • Each imaging region includes a large number of photosensitive cells (referred to as photosensitive cell groups).
  • N optical filters are respectively arranged between N imaging areas of the imaging areas and N optical systems facing the imaging areas. These N optical filters have the same characteristics as the N optical filters (color filters) described in the first and second embodiments.
  • the multispectral camera in the present embodiment photographs one subject using a plurality of optical systems.
  • An imaging device including a compound-eye optical system in which N + 1 optical systems are arranged and N + 1 photosensitive cell groups (the above-described imaging regions) on the premise that substantially the same captured image can be obtained through each optical system.
  • at least N optical filters are respectively arranged corresponding to a plurality of optical systems included in the compound-eye optical system.
  • Each optical filter has at least one transmittance peak or under peak in a predetermined wavelength band (for example, 380 nm to 760 nm), like the optical filter in the first embodiment.
  • the first to Nth optical filters (color filters) differ in the total number of peaks obtained by adding the number of peaks and the number of underpeaks.
  • N images captured through N types of color filters and one image captured without passing through the color filters are obtained. If attenuation by the color filter is not considered, they are all assumed to be the same image.
  • the transmittance of the N types of color filters may attenuate as a whole as the wavelength becomes shorter.
  • an optical filter having an attenuation characteristic similar to the attenuation characteristic hereinafter referred to as an averaging filter
  • an averaging filter an optical filter having an attenuation characteristic similar to the attenuation characteristic
  • an averaging filter may be arranged to face the optical system in which no color filter is arranged.
  • an image through an averaging filter is also obtained. It can be said that the averaging filter has a transmittance intermediate between the peak and the under peak in the first to Nth color filters.
  • the photosensitive cell group that receives the light transmitted through the averaging filter is referred to as “transmittance averaged photosensitive cell group”.
  • a photosensitive cell group that receives incident light without passing through any filter is referred to as an “unfiltered photosensitive cell group”.
  • Nth pixel is a general term for the Nth pixel group, and may refer to a pixel at the same position in the image.
  • the first to Nth pixels are pixels at the same position in each image.
  • the pixels at the same position in the image represent the first to Nth pixels and the pixels at the same position in the pixel group in which no color filter is arranged.
  • FIG. 14 shows the structure of the image sensor 13.
  • FIG. 14A is a plan view of the image sensor 13 including a compound eye optical system.
  • the image pickup device of this embodiment has nine imaging lenses 20 in total, three in the horizontal direction and three in the vertical direction.
  • a color filter is disposed directly below the eight imaging lenses 20 among them.
  • FIG. 14B shows a cross section taken along line A-A ′ in FIG. 14A
  • FIG. 2C shows a cross section taken along line B-B ′
  • FIG. 14D shows a cross section taken along line C-C ′.
  • FIG. 14B shows a cross section taken along line A-A ′ in FIG. 14A
  • FIG. 2C shows a cross section taken along line B-B ′
  • FIG. 14D shows a cross section taken along line C-C ′.
  • the image sensor 13 includes color filters 1a, 1b, 1c, 1d, 1e, 1f, 1g, and 1h, and photosensitive cell groups 2a, 2b, 2c, 2d, 2e, 2f, 2g, and 2h. 2z.
  • a plurality of photosensitive cell groups 2a to 2z are two-dimensionally arranged on the surface of the image sensor 13. As can be seen from the figure, there is no color filter on the photosensitive cell group 2z.
  • the photosensitive cell group 2z directly photoelectrically converts an image formed by the imaging lens.
  • Image formation on the image sensor 13 is photoelectrically converted through the color filters 1a to 1h or directly in the light sensitive cells.
  • the photoelectric conversion signal is read out as an electrical signal from the image sensor through the wiring layer.
  • the subject is sufficiently away from the image sensor 13, and the images in the photosensitive cell groups 2a to 2z by the nine imaging lenses 20 are almost the same if the difference in transmission characteristics of the optical filters 1a to 1h is ignored. .
  • the photosensitive cell groups 2a to 2z have the same number of pixels and the same size. That is, the images read from these light sensitive cell groups are almost the same.
  • the image processing unit may perform processing for correcting image distortion caused by the optical distortion.
  • the color filters 1a to 1h according to the present embodiment have the same characteristics as the color filters 1a to 1h according to the first and second embodiments although they are different in size.
  • pixels at the same place in the photosensitive cell groups 2a to 2h are referred to as first to eighth pixels, and their pixel signals are represented by E (1) to E (8).
  • the pixel at the same location in the photosensitive cell group 2z is referred to as a ninth pixel, and the pixel signal is represented by E (0).
  • the processing of Expressions 9 to 15 described in the first embodiment can be applied as it is, and the reflection spectral characteristics of the subject can be calculated approximately.
  • FIG. 15 is a configuration diagram of the multispectral camera in the present embodiment.
  • the multispectral camera of the present embodiment has the same configuration as that of the first and second embodiments except that nine optical filters 1 and nine imaging lenses 20 are arranged facing the image sensor 13. . For this reason, the description of the overlapping components is omitted.
  • FIG. 16 is a diagram schematically showing a state in which light from a subject passes through the broadband optical filter 12 and the nine imaging lenses 20 and is imaged on the imaging unit 13a of the imaging device 13.
  • the imaging unit is virtually divided into nine imaging regions (2a to 2h and 2z) corresponding to the nine imaging lenses 20.
  • the formed image is photoelectrically converted by the image sensor 13 to become an electric signal, which is recorded in the image memory 16 via the signal generation / reception unit 14 and the image processing unit 15.
  • the image processing unit 15 reads the image information recorded in the image memory 16 for each of the nine virtual imaging areas of the pixels and performs signal processing. This signal processing is the same as the processing described in the first embodiment. Further, the processing described in the second embodiment may be applied.
  • the multispectral camera according to the present embodiment has a compound-eye optical system including nine optical systems, one or more transmittance peaks or under peaks in a predetermined wavelength band, and the number of the peaks.
  • the first to eighth optical filters having different total peak numbers including the number of the under peaks are used.
  • the transmittance Y is periodic with respect to the monotonically increasing variable Z associated with the wavelength ⁇ .
  • any of the first to eighth photosensitive cell groups in which the first to eighth filters are arranged correspondingly, and the first to eighth optical filters are arranged.
  • An image sensor having no filter-free photosensitive cell group is used.
  • the spectral characteristic of the captured image can be calculated. Further, the reflection spectral characteristic of the subject can be calculated by dividing the calculated spectral characteristic by the spectral characteristic of the imaging optical system. Further, since an optical filter having a plurality of transmittance peaks is used, the captured image obtained from the camera has an advantage of high brightness.
  • a compound eye optical system using nine 3 ⁇ 3 lenses and eight color filters are used, but the present invention is not limited to this.
  • a configuration may be adopted in which a concave lens array 22 including a concave lens without a color filter and eight concave lenses each having the color filters 1a to 1h are arranged on the front surface of a normal monocular black-and-white camera 21.
  • the concave lens array 22 may include a decentered concave lens.
  • when there is distortion due to the concave lens at a plurality of positions of the image or when the image position is shifted it is necessary to correct those images.
  • a relatively large imaging lens 23 can be disposed between the concave lens array 22 and the image sensor 13 as shown in FIG.
  • Such an imaging lens 23 focuses the light spread by each concave lens onto the pixel region on the image sensor corresponding to the concave lens.
  • the reason why the concave lens is decentered is that an image is appropriately formed in the imaging region corresponding to the concave lens by optically shifting the imaging position.
  • a configuration in which nine convex lens arrays including a convex lens without a color filter and eight convex lenses each having the color filters 1a to 1h are arranged on the front surface of a normal monocular black-and-white camera may be used.
  • the convex lens is decentered in order to form an image appropriately in the imaging region corresponding to the convex lens by optically shifting the imaging position.
  • the present disclosure includes the multispectral cameras described in the following items.
  • An imaging device in which a plurality of pixel units are two-dimensionally arranged on the imaging surface, each pixel unit including first to Nth (N is an integer of 2 or more) photosensitive cells, An image sensor that outputs a photoelectric conversion signal corresponding to the amount of received light; and 1st to Nth optical filters disposed respectively facing the first to Nth photosensitive cells, each having one or more transmittance peaks or underpeaks in a predetermined wavelength band And the first to Nth optical filters having different total peak numbers in which the number of peaks and the number of underpeaks are combined, A signal processing circuit for processing photoelectric conversion signals output from the first to Nth photosensitive cells; With The transmittance Y of each of the first to Nth optical filters periodically changes with respect to the change of the variable Z related to the wavelength ⁇ in the predetermined wavelength band, The signal processing circuit includes N photoelectric conversion signals from the first to Nth photosensitive cells, N types of periodic functions having the independent variable as the variable Z, and the variable for the minute change in the wavelength ⁇ .
  • the pixel unit may be an unfiltered photosensitive cell that is not arranged corresponding to any of the first to Nth photosensitive cells and the first to Nth optical filters, or the first to Nth photosensitive cells.
  • a transmittance averaged photosensitive cell in which an optical filter having a transmittance intermediate between the peak and the under peak in the optical filter is disposed;
  • a band transmission filter that transmits only light of a predetermined wavelength band;
  • the signal processing circuit captures spectral characteristics of a captured image calculated using the N photoelectric conversion signals acquired by imaging through the band-pass filter, excluding the first to Nth optical filters.
  • Item 3 The multispectral camera according to item 1 or 2, wherein the spectral characteristic of the captured image excluding the influence of the imaging optical system is calculated by dividing by the spectral characteristic of the optical system.
  • the i-th (i is an integer greater than or equal to 1 and less than or equal to N) optical filter has a total peak number of i + 1, and the N types of periodic functions have a predetermined frequency.
  • Item 4 The multispectral camera according to any one of Items 1 to 3, which is N cosine functions cos (iZ) having any one of integer multiples of 1 to N times.
  • the signal processing circuit has E (0) as the photoelectric conversion signal of the non-filtered photosensitive cell or the transmittance averaged photosensitive cell, and E (i) as the photoelectric conversion signal of the i-th photosensitive cell.
  • E (0) as the photoelectric conversion signal of the non-filtered photosensitive cell or the transmittance averaged photosensitive cell
  • E (i) as the photoelectric conversion signal of the i-th photosensitive cell.
  • the signal processing circuit corrects photoelectric conversion signals from the first to Nth photosensitive cells by multiplying photoelectric conversion signals from the first to Nth photosensitive cells by a fifth constant.
  • Item 6 The multispectral camera according to item 5.
  • Item 8 The multispectral camera according to Item 7, wherein the signal processing circuit performs signal processing for each pixel unit and generates interpolation information using a photoelectric conversion signal from an adjacent pixel unit.
  • Item 9 The multispectral camera according to Item 7 or 8, wherein the imaging device has a plurality of microlenses arranged for each pixel unit.
  • the signal processing circuit uses data indicating spectral characteristics of a plurality of color filters to perform an integral operation on the calculated function indicating the spectral characteristics of the captured image and the function indicating the spectral characteristics of the color filter.
  • the multispectral camera according to any one of items 1 to 9, which calculates a color signal.
  • a compound eye optical system including N + 1 (N is an integer of 2 or more) optical systems; 1st to Nth optical filters having one or more transmittance peaks or underpeaks in a predetermined wavelength band, and having different total peaks combined with the number of peaks and the number of underpeaks;
  • An imaging device having first to Nth photosensitive cell groups opposed to the first to Nth optical filters, each of the photosensitive cells outputting a photoelectric conversion signal corresponding to the amount of received light;
  • the transmittance Y of each of the first to Nth optical filters periodically changes with respect to the change of the variable Z related to the wavelength ⁇ in the predetermined wavelength band,
  • the first to Nth optical filters are respectively arranged to face N optical systems of the N + 1 optical systems in the compound eye optical system,
  • the image pickup device further includes an unfiltered photosensitive cell group in which none of the first to Nth optical filters are arranged to face each other, or an intermediate between a peak
  • a transmittance averaged photosensitive cell group disposed oppositely with an optical filter having a transmittance of The signal processing circuit includes N types of photoelectric conversion signals from the first to Nth photosensitive cell groups, a photoelectric conversion signal from the non-filter photosensitive cell group, or the transmittance averaged photosensitive cell group.
  • a spectral characteristic of the captured image is calculated using a photoelectric conversion signal of N, a periodic function of N types having an independent variable as the variable Z, and a change value of the variable Z with respect to a minute change of the wavelength ⁇ . Multispectral camera.
  • a band transmission filter that transmits only light of a predetermined wavelength band;
  • the signal processing circuit has the first to Nth optical filters for the spectral characteristics of the captured image calculated using the N types of photoelectric conversion signals acquired by imaging through the band pass filter.
  • Item 12 The multispectral camera according to Item 11, wherein when the transmittance peak or under peak attenuates or increases with respect to wavelength change, the spectral characteristic of the captured image in which the attenuation or increase is corrected is calculated.
  • a band transmission filter that transmits only light of a predetermined wavelength band;
  • the signal processing circuit captures spectral characteristics of a captured image calculated using the N types of photoelectric conversion signals acquired by imaging through the band-pass filter, excluding the first to Nth optical filters.
  • Item 13 The multispectral camera according to item 11 or 12, wherein the spectral characteristic of the captured image excluding the influence of the imaging optical system is calculated by dividing by the spectral characteristic of the optical system.
  • the i-th (i is an integer greater than or equal to 1 and less than or equal to N) optical filter has a total peak number of i + 1, and the N types of periodic functions have a predetermined frequency.
  • Item 4 The multispectral camera according to any one of Items 1 to 3, which is N cosine functions cos (iZ) having any one of integer multiples of 1 to N times.
  • the signal processing circuit has E (0) as the photoelectric conversion signal of the unfiltered photosensitive cell, and E (i) as the photoelectric conversion signal of the i-th photosensitive cell.
  • E (0) as the photoelectric conversion signal of the unfiltered photosensitive cell
  • E (i) as the photoelectric conversion signal of the i-th photosensitive cell.
  • the result a (0) obtained by multiplying E (0) by the first constant k1 and the result obtained by multiplying E (0) by the third constant are subtracted from the result obtained by multiplying E (i) by the second constant k2.
  • the signal processing circuit corrects photoelectric conversion signals from the first to Nth photosensitive cells by multiplying photoelectric conversion signals from the first to Nth photosensitive cells by a fifth constant.
  • Item 19 The multispectral camera according to Item 18, wherein the plurality of convex lenses includes a decentered convex lens.
  • Item 21 The multispectral camera according to Item 20, wherein the plurality of concave lenses includes a decentered concave lens.
  • the signal processing circuit uses data indicating spectral characteristics of a plurality of color filters to perform an integral operation on the calculated function indicating the spectral characteristics of the captured image and the function indicating the spectral characteristics of the color filter.
  • Item 22 The multispectral camera according to any one of Items 11 to 21, which calculates a color signal.
  • the multispectral camera of the present invention is effective for all solid-state cameras mainly using a solid-state imaging device.
  • it can be used for consumer cameras such as digital still cameras and digital video cameras, and industrial surveillance cameras.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

　マルチスペクトルカメラは、透過率のピーク数とアンダーピーク数を合わせた総ピーク数が異なる第１～第Ｎ（Ｎは２以上の整数）の光学フィルタを有し、各光学フィルタは、波長λと各々の透過率Ｙとの関係において、前記波長λと関係付けた変数Ｚの変化に対して前記透過率Ｙが周期的に変化する特性を有する。

Description

マルチスペクトルカメラ
　本発明は、被写体を撮像することによって取得した画像から画素単位で被写体の反射分光特性を計測できるマルチスペクトル技術に関する。
　近年、ＣＣＤやＣＭＯＳ等の撮像素子を用いたデジタルカメラの高機能化や高性能化には目を見張るものがある。特に、半導体製造技術の急速な進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の多画素化および駆動回路の高集積化が図られ、撮像素子の画質が大幅に改善されている。また、撮像素子の超小型化も実現されている。
　最近では、カラー画質の改善も著しい。通常の赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の３原色フィルタを用いたカラー撮像以外に、多数の色フィルタを用いて撮像することにより、被写体のカラー画像の品質を向上させることが行われている。例えば、特許文献１の中で紹介されているマルチスペクトルカメラは、ＣＣＤの前に分光特性が異なる多数の光学フィルタを装備し、各光学フィルタを機械的に入れ替えながら撮像する。これにより、撮像によって取得した各画像から被写体の詳細な色情報やスペクトル情報を得ることができる。
　また、特許文献２は、光学フィルタを最適設計することにより、用いる光学フィルタの数を削減できるマルチスペクトルカメラを紹介している。
　特許文献３は、１次元の撮像素子と、レンズを通して入射した光を分光するビームスプリッタと、任意の波長帯域の光を選択して透過させるチューナブルフィルタとを用いることにより、光学フィルタを入れ替える機構を用いずとも様々な波長帯域における画像が得られる技術を紹介している。
　さらに特許文献４は、標準的なＲＧＢの色フィルタとそれら以外の色フィルタとを備える単板式のカラー撮像素子を用いて品質の良いカラー画像を得る技術を紹介している。
特開２００５－１８１０３８号公報 特開２０１０－１２２０８０号公報 特開２０１２－１３８６５２号公報 特開２００８－１３６２５１号公報
　特許文献１および特許文献２に開示されている従来技術では、複数の光学フィルタを入れ替える機械的な機構が必要である。そのため、撮像装置のサイズが大きくなり、また機械部分を定期的に保守しなければならないという課題がある。特許文献３に開示されている従来技術では、１次元の撮像素子を用いているため、２次元画像を得るには１次元の撮像素子を画素配列方向に対して垂直方向に移動（以下、スキャンとも呼ぶ）させる機械的な機構が必要である。さらに、被写体が静止していなければ、撮像結果がブレを有する２次元画像になるという課題がある。また、特許文献４に開示されている従来技術では、使用される標準的なＲＧＢの色フィルタとそれら以外の色フィルタとが、各々特定の１つの（狭い）波長帯域の光のみを透過させるため、さらなる感度向上は期待できないという課題がある。
　本発明は、従来の技術とは異なるアプローチのマルチスペクトル技術を提供する。本発明のある実施形態は、機械的な機構が不要で、被写体の動きにも対応でき、感度も向上できるマルチスペクトルカメラを提供する。
　本発明の一態様に係るマルチスペクトルカメラは、複数の画素単位が撮像面に２次元的に配列された撮像素子であって、各画素単位は第１から第Ｎ（Ｎは２以上の整数）の光感知セルを含み、各光感知セルは受光量に応じた光電変換信号を出力する、撮像素子と、前記第１から第Ｎの光感知セルにそれぞれ対向して配置された第１から第Ｎの光学フィルタであって、各々が所定の波長帯域において透過率のピークまたはアンダーピークを１つ以上有し、且つ前記ピークの数と前記アンダーピークの数とを合わせた総ピーク数が異なる第１から第Ｎの光学フィルタと、前記第１から第Ｎの光感知セルから出力された光電変換信号を処理する信号処理回路と、を備える。前記第１から第Ｎの光学フィルタの各々の透過率Ｙは、前記所定の波長帯域における波長λと関係付けられた変数Ｚの変化に対して周期的に変化する。前記信号処理回路は、前記第１から第Ｎの光感知セルからのＮ個の光電変換信号と、独立変数を前記変数ＺとするＮ種類の周期関数と、前記波長λの微小変化に対する前記変数Ｚの変化値とを用いて、撮像画像の分光特性を算出する。
　本発明の他の態様に係るマルチスペクトルカメラは、Ｎ＋１個（Ｎは２以上の整数）の光学系を含む複眼光学系と、所定の波長帯域において透過率のピークまたはアンダーピークを１つ以上有し、且つ前記ピークの数と前記アンダーピークの数とを合わせた総ピーク数が異なる第１から第Ｎの光学フィルタと、前記第１から第Ｎの光学フィルタにそれぞれ対向する第１から第Ｎの光感知セル群を有し、各光感知セルは受光量に応じた光電変換信号を出力する、撮像素子と、前記第１から第Ｎの光感知セルから出力された光電変換信号を処理する信号処理回路と、を備える。前記第１から第Ｎの光学フィルタの各々の透過率Ｙは、前記所定の波長帯域における波長λと関係付けられた変数Ｚの変化に対して周期的に変化し、前記第１から第Ｎの光学フィルタは、前記複眼光学系における前記Ｎ＋１個の光学系のうちのＮ個の光学系にそれぞれ対向して配置され、前記撮像素子は、さらに前記第１から第Ｎの光学フィルタのいずれもが対向して配置されていない無フィルタ光感知セル群、または前記第１から第Ｎの光学フィルタにおけるピークとアンダーピークの中間の透過率を有する光学フィルタが対向して配置された透過率平均化光感知セル群を有し、前記信号処理回路は、前記第１から第Ｎの光感知セル群からのＮ種類の光電変換信号と、前記無フィルタ光感知セル群からの光電変換信号または前記透過率平均化光感知セル群からの光電変換信号と、独立変数を前記変数ＺとするＮ種類の周期関数と、前記波長λの微小変化に対する前記変数Ｚの変化値とを用いて、撮像画像の分光特性を算出する。
　本発明の一態様に係るマルチスペクトルカメラによれば、光学フィルタの入れ替えや撮像素子をスキャンさせる機械的な機構を不要にできるため、被写体の動きにも対応できる。また、撮像素子は、所定の波長帯域において透過率が複数のピークを有する光学フィルタを用いているため、従来のＲＧＢ等の色フィルタを用いた場合よりも感度を高くすることができる。加えて、各光感知セルからの信号が多数の色情報を含んでいるため、それらの信号を合成することにより、被写体の反射光スペクトルを概算できる。
本発明の実施形態における色フィルタの代表的な分光特性概要図である。 （ａ）は本発明の実施形態１における撮像素子の画素基本単位の平面図であり、（ｂ）はＡ－Ａ’線断面図、（ｃ）はＢ－Ｂ’線断面図、（ｄ）はＣ－Ｃ’線断面図である。 （ａ）は本発明の実施形態１におけるシミュレートした色フィルタ１ａ～１ｄの分光特性図であり、（ｂ）はシミュレートした色フィルタ１ｅ～１ｈの分光特性図である。 （ａ）は本発明の実施形態１における色フィルタ１ａの透過率の変動成分だけを抽出した元データ、該変動成分に関して変数変換したデータ、余弦関数（ｃｏｓ）データを示す特性図で、（ｂ）は色フィルタ１ｂに関する上記同様の特性図で、（ｃ）は色フィルタ１ｃに関する上記同様の特性図で、（ｄ）は色フィルタ１ｄに関する上記同様の特性図である。 （ａ）は本発明の実施形態１における色フィルタ１ｅの透過率の変動成分だけを抽出した元データ、該変動成分に関して変数変換したデータ、余弦関数（ｃｏｓ）データを示す特性図で、（ｂ）は色フィルタ１ｆに関する上記同様の特性図で、（ｃ）は色フィルタ１ｇに関する上記同様の特性図で、（ｄ）は色フィルタ１ｈに関する上記同様の特性図である。 本発明の実施形態１におけるマルチスペクトルカメラの構成図である。 本発明の実施形態１における結像レンズと広帯域光学フィルタを通して撮像素子に結像される様子を模式的に示した図である。 （ａ）は本発明の実施形態１で被写体として用いたＸ－Ｒｉｔｅ社製のマクベスカラーチェッカーＮｏ１３～Ｎｏ１５の反射分光特性図であり、（ｂ）はマクベスカラーチェッカーＮｏ１６～Ｎｏ１８の反射分光特性図である。 本発明の実施形態１における色フィルタを除く、光源及びレンズを含む光学系の分光特性と撮像素子の分光感度を合わせた分光特性図である。 本発明の実施形態１における撮像及び信号処理シミュレーションの流れ図である。 （ａ）は本発明の実施形態１における撮像素子の画素Ｅ（０）～Ｅ（８）の値を示した図であり、（ｂ）は算出したフーリエ係数ａ（０）～ａ（８）の値を示した図である。 （ａ）は本発明の実施形態１における算出した被写体の分光特性図であり、（ｂ）は被写体であるカラーチェッカの分光特性図である。 本発明の実施形態２におけるカメラ内に保持した色フィルタの分光特性図である。 （ａ）は本発明の実施形態３における複眼光学系を含む撮像素子の平面図であり、（ｂ）はＡＡ’断面図、（ｃ）はＢＢ’断面図、（ｄ）はＣＣ’断面図である。 本発明の実施形態３におけるマルチスペクトルカメラの構成図である。 本発明の実施形態３における広帯域光学フィルタと９つの結像レンズを通して撮像素子に結像される様子を模式的に示した図である。 本発明の実施形態３の変形例を示す図である。
　（実施形態１）
　本発明の第１の実施形態におけるマルチスペクトルカメラは、Ｎ＋１個（Ｎは２以上の整数）の光感知セルを画素の基本単位とする撮像素子を有し、その基本単位（以下、「画素単位」とも称する）の中のＮ個の光感知セルの各々は、１つの光学フィルタ（以下、「色フィルタ」と称することもある。）に対向する。すなわち、各基本単位の中のＮ個の光感知セルに対向してＮ個の光学フィルタがそれぞれ配置される。それらＮ個の光学フィルタの各々は、所定の波長帯域（例えば、３８０ｎｍ～７６０ｎｍ）において透過率のピークあるいはアンダーピークを１つ以上有する。さらに、Ｎ個の光学フィルタは、透過率のピークの数とアンダーピークの数とを合わせた総ピーク数が異なる。すなわち、画素の基本単位は、光感知セル上に色フィルタが配置されたＮ個の画素と、色フィルタが配置されていない１つの画素とから構成される。
　本明細書において、「ピーク」とは、上記所定の波長帯域のうち、透過率がその波長帯域における平均値を超える１つの連続した部分帯域内（その中では透過率が平均値以下になることはない）で透過率が最大になる点を意味する。一方、「アンダーピーク」とは、透過率が上記平均値を下回る１つの連続した部分帯域内（その中では透過率が平均値以上になることはない）で透過率が最小になる点を意味する。
　全ての色フィルタは、例えば所定波長帯域の下限波長でピークを有し、所定波長帯域の上限波長でピークあるいはアンダーピークを有する。例えば、Ｎ個の色フィルタのうち、第１の色フィルタは所定波長帯域間でピークとアンダーピークを１つずつ有する総ピーク数２つの光学フィルタであり得る。第２の色フィルタは所定波長帯域間で２つのピークと１つのアンダーピークを有する総ピーク数３つの光学フィルタであり得る。第３の色フィルタは所定波長帯域間で２つのピークと２つのアンダーピークを有する総ピーク数４つの光学フィルタであり得る。以下、同様に、第ｉ（ｉは１以上でＮ以下の整数）の光学フィルタは総ピーク数がｉ＋１である。このように、Ｎ個の色フィルタは、その符番数の増加と共に総ピーク数が１つずつ増加する特徴がある。各色フィルタの光透過特性は、波長に対して変動性を有する。
　それら色フィルタを介して受光する各画素について、以下では、第１の色フィルタが配置された画素を第１の画素、第２の色フィルタが配置された画素を第２の画素というように、色フィルタの符番と画素の符番を一致させている。また、本明細書では画素を光感知セルと呼ぶこともある。
　以上の画素構成から、画素信号に関して画素の基本単位毎に分析すると、色フィルタを配置していない画素は、所定波長帯域の全ての光を光電変換した信号を発生する。第１の画素は、所定波長帯域の全ての光成分のうちの１つの特定の（比較的狭い）波長帯域の光成分を特に多く含む光を光電変換した信号を発生し、第２の画素は、所定波長帯域の全ての光成分のうちの２つの特定の（比較的狭い）波長帯域の光成分を特に多く含む光を光電変換した信号を発生する。このように第ｉの画素は（ｉは１以上Ｎ以下の整数）、所定波長帯域の全ての光成分のうちのｉ個の特定の（比較的狭い）波長帯域の光成分を特に多く含む光を光電変換した信号を発生する。
　波長を独立変数、被写体の光反射率を従属変数とした関数を考えた場合、所定波長帯域において、色フィルタを配置していない画素の信号は被写体の光反射率の直流成分を有すると考えられる。一方、第１～第Ｎの画素の信号は、上記直流成分の一部と被写体の光反射率分布におけるＮ種類の交流成分を有すると考えられる。従って、それらの信号を用いると、被写体の光反射率を有限のフーリエ級数の形式で近似させることが可能である。この近似手法が本実施形態のアプローチである。
　ここで、本実施形態の基本原理について説明する。被写体のある１点からの反射光エネルギーを表す波長の関数が、所定の波長帯域λ１～λ２（但しλ２－λ１＝Ｗ）で存在するとして、その関数を波長λ１からのシフト波長Ｘ（０≦Ｘ≦Ｗ）を用いてＦ（Ｘ）で表す。Ｆ（Ｘ）は、０≦Ｘ≦Ｗの範囲でのみ定義される関数であるが、以下の説明ではＦ（Ｘ）が偶関数であるものと仮定して、フーリエ余弦級数で展開することを考える。すると、Ｆ（Ｘ）は式１で示される有限のフーリエ余弦級数で近似できる。なお、シフト波長Ｘを、以下では単に波長Ｘと表現する場合がある。
Figure JPOXMLDOC01-appb-M000001
　但し、式１におけるａ（ｉ）は下記の式２で表され、ｉは０から予め設定された最大自然数Ｍまでの整数である。また、式２における積分範囲はＸ＝０～Ｗである。
Figure JPOXMLDOC01-appb-M000002
　式２で示すａ（ｉ）が撮像素子の画素信号から作り出すことができれば、被写体の反射分光特性を近似的に算出できる。しかしながら、そのためには撮像素子の各色フィルタが、波長の変化に対して余弦的に変化する分光特性を有する必要がある。そのような色フィルタはかなり特殊な光学フィルタと言える。本実施形態は、このような色フィルタの特殊性を緩和するものでもあり、用いる色フィルタの分光特性が波長の変化に対して必ずしも余弦的に変化するものでなくても良い。
　例えば、撮像素子の画素上に配置された色フィルタの１つが図１の実線で示される分光特性を有していたとして、その特性がＧ（Ｘ）で表されるとする。Ｇ（Ｘ）は、光透過率の最大値を１とした場合の透過比率（以下では透過率と呼ぶ場合もある）が平均的にＫａであり、さらに波長によって透過率が変動し、その変動成分（交流成分とも言う）をその極大値と極小値との差ＰＰを用いて（ＰＰ／２）×ＡＣ（Ｘ）で表されるとする。すなわち、Ｇ（Ｘ）＝Ｋａ＋（ＰＰ／２）ＡＣ（Ｘ）で表現される。また、色フィルタを配置していない画素では、撮像素子の表面の光反射等で受光量が若干低下し、透過比率はＫｄであるとする。参考までに、図１ではその特性を破線で表している。
　被写体からの光が１００％光電変換されるとすると、色フィルタを配置していない画素の信号Ｓｄは以下の式３で表され、色フィルタを配置した画素の信号Ｓａは式４で表される。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　式３、式４から、式５が導かれる。被写体からの反射光が色フィルタの交流成分によって減衰した場合の光の強度が画素信号の演算で求められることがわかる。
Figure JPOXMLDOC01-appb-M000005
　いずれの色フィルタのＡＣ（Ｘ）も余弦関数であれば、式２に示すフーリエ係数を求めることができ、その結果を用いて式１から被写体の反射分光特性Ｆ（Ｘ）を算出でき得る。しかし、各色フィルタの分光特性が図１のような変動性はあっても余弦関数でない交流成分を有している場合、式２及び式１を利用することは出来ない。
　本実施形態はこの問題を解決したものであり、ある条件を満たせば色フィルタの分光特性における変動が余弦関数で表されなくとも、被写体の反射分光特性を算出できる。そのある条件とは、いずれの色フィルタにおいても、分光特性の交流成分ＡＣ（Ｘ）が波長Ｘと関係付けられた変数Ｚの変化に対して、余弦関数に近くなるということである。もしこの条件が成立すれば、式５の左辺は、
Figure JPOXMLDOC01-appb-M000006
 と近似できる。Ｚ'＝ｄＺ／ｄＸとすると、式５は式６で表される。
Figure JPOXMLDOC01-appb-M000007
　式６は、（Ｆ（Ｚ）／Ｚ'）のフーリエ係数を画素信号ＳａおよびＳｄを用いた演算で求められることを意味している。これにより、（Ｆ（Ｚ）／Ｚ'）を有限のフーリエ級数に展開した結果が得られ、その展開結果にＺ'を乗算し、さらにＦ（Ｚ）をＦ（Ｘ）に変換することにより、被写体の反射分光特性を求めることができる。
　以上が本実施形態の基本原理である。以下、その基本原理をもとに本実施形態の具体例を説明する。
　まず本実施形態におけるマルチスペクトルカメラの撮像素子について説明する。本実施形態では、撮像面に２次元的に配列された複数の画素単位を有する撮像素子が用いられる。画素単位は、撮像素子における画素の基本単位であり、複数の光感知セルを含む。
　図２は、撮像素子の画素の基本単位を示している。図２（ａ）は画素の基本単位を示す平面図である。本実施形態では、水平方向に３画素、垂直方向に３画素の９画素を基本構成としている。その中心の画素上には色フィルタが配置されておらず、その他の画素の上には色フィルタが配置されている。図２（ｂ）、（ｃ）、（ｄ）は、それぞれ、図２（ａ）におけるＡ－Ａ’線断面図、Ｂ－Ｂ’線断面図、Ｃ－Ｃ’線断面図である。図２に示されているように、本実施形態のマルチスペクトルカメラは、３行３列に配列された９個の光感知セル２ａ、２ｂ、２ｃ、２ｄ、２ｅ、２ｆ、２ｇ、２ｈ、２ｚと、８枚の色フィルタ１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈとを備えている。色フィルタ１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈは、それぞれ、光感知セル２ａ、２ｂ、２ｃ、２ｄ、２ｅ、２ｆ、２ｇ、２ｈに対向している。本明細書では、このように対向した関係にあることを、「対応する」と表現することがある。光感知セル２ｚは、画素単位の中心に位置しており、その上には色フィルタが存在しない。各光感知セルは、受光量に応じた光電変換信号（画素信号ともいう）を出力するフォトダイオード等の受光素子を有している。これらの光感知セルは、シリコン基板３に形成され、シリコン酸化膜３１を介して複数の色フィルタと対向している。
　撮像素子への結像は、色フィルタを通して、あるいは直接光感知セルで光電変換される。各光感知セルからの光電変換信号は、図２では省略されているが、配線層を通して撮像素子から電気信号として読み出される。
　ここで、色フィルタ１ａ～１ｈについて説明する。色フィルタ１ａ～１ｈは１層のチタン系酸化膜であるが、膜厚が互いに異なる。本実施形態では、被写体の計測波長帯域を３８０ｎｍ～７６０ｎｍとして、色フィルタ１ａ～１ｈの膜厚を設計している。その設計条件は、色フィルタ１ａ～１ｈに光が垂直に入射し、シリコン酸化膜３１を通して光感知セル２ａ～２ｈ、２ｚで光電変換されるものとし、色フィルタ１ａ～１ｈの上部は屈折率１．０の空気層で、各色フィルタは屈折率２．５のチタン系酸化膜で形成され、色フィルタ１ａ～１ｈの下部は屈折率１．４７のシリコン酸化膜３であるということである。このような設計条件で、色フィルタ１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈの膜厚を、それぞれ７６ｎｍ、１５２ｎｍ、２２８ｎｍ、３０４ｎｍ、３８０ｎｍ、４５６ｎｍ、５３２ｎｍ、６０８ｎｍとしている。以上の膜厚は、基本膜厚７６ｎｍの整数倍である。その結果、波長帯域３８０ｎｍ～７６０ｎｍでは、全ての色フィルタの透過特性は３８０ｎｍでピークを有し、７６０ｎｍではピークあるいはアンダーピークを有する。
　図３（ａ）に色フィルタ１ａ～１ｄの分光特性のシミュレーション結果を、図３（ｂ）に色フィルタ１ｅ～１ｈの分光特性のシミュレーション結果を示す。これらの色フィルタは光透過率の最大値を１とした場合の透過比率において波長に対して変動性を有する。また、各色フィルタの分光特性におけるピークとアンダーピークを合わせた総数は、波長帯域３８０ｎｍ～７６０ｎｍにおいて、色フィルタ１ａは２つ、色フィルタ１ｂは３つ、色フィルタ１ｃは４つ、色フィルタ１ｄは５つ、色フィルタ１ｅは６つ、色フィルタ１ｆは７つ、色フィルタ１ｇは８つ、色フィルタ１ｈは９つである。
　各色フィルタの透過比率について、波長の増加と共にそれらは繰り返し変動するが、それらの周期は一定ではない。しかしながら、波長と関係付けた別な変数に対しては一定周期になり得る。本実施形態では、波長をλ、各色フィルタの透過率をＹとし、例えば式７、式８で示すλの２次関数で表したＺ（Ｚは波長３８０ｎｍからのシフト波長とする）を独立変数とすると、透過率Ｙの変動成分は余弦関数で近似できる。
　（式７）(Ｚ＋380)＝λ－(65／19.6)×(λ－520)2＋65 [380≦λ≦520ｎｍの場合]
　（式８）(Ｚ＋380)＝λ－(65／57.6)×(λ－520)2＋65 [520≦λ≦760ｎｍの場合]
　図４及び図５に、各色フィルタの透過率の変動成分だけを抽出した元データと、該変動成分に関して式７と式８を用いて変数変換したデータと、余弦関数（ｃｏｓ）のデータとを示す。図４（ａ）は色フィルタ１ａのデータを、図４（ｂ）は色フィルタ１ｂのデータを、図４（ｃ）は色フィルタ１ｃのデータを、図４（ｄ）は色フィルタ１ｄのデータを、図５（ａ）は色フィルタ１ｅのデータを、図５（ｂ）は色フィルタ１ｆのデータを、図５（ｃ）は色フィルタ１ｇのデータを、図５（ｄ）は色フィルタ１ｈのデータを表している。いずれの図においても、実線が色フィルタの透過率変動成分の元データ、破線が当該変動成分に関して変数変換したデータ、１点鎖線が余弦関数（ｃｏｓ）データを示している。図４及び図５からわかるように、各色フィルタの透過率の変動成分は波長λと関係付けられた変数Ｚで表されることにより、概ね余弦関数で表される分布に近いことがわかる。このように、本明細書においては、近似的に周期関数のように変化することを「周期的に変化する」と表現する。本明細書における周期的な変化は、必ずしも厳密な意味での周期的変化を意味しない。
　次に撮像素子の画素信号について説明する。色フィルタ１ａ～１ｈの順でそれらが配置された画素を第１～第８の画素と称し、それらの画素信号をＥ（１）～Ｅ（８）で表す。また、色フィルタが配置されていない画素を第９の画素と称し、その画素信号をＥ（０）で表す。
　以下の説明において、各色フィルタの特性および色フィルタを配置していない画素の分光特性に関して、図１で記した記号をそのまま用いる。波長帯域３８０ｎｍ～７６０ｎｍにおいて、下限波長３８０ｎｍからのシフト波長Ｘと被写体の反射分光特性を示す関数Ｆ（Ｘ）を用いて、画素信号Ｅ（０）、Ｅ（１）～Ｅ（８）を表すと、以下の式９、式１０で表される。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
　但し、ＡＣ（ｉ，Ｘ）の入力変数について、ｉは色フィルタ１ａ～１ｈの順に付番した数値（１～８）で、Ｘは上記の波長である。すなわち、ＡＣ（１，Ｘ）～ＡＣ（８，Ｘ）は、順に図４（ａ）～図４（ｄ）、図５（ａ）～図５（ｄ）の実線で示される特性の関数である。
　式９及び式１０から式１１が得られる。
Figure JPOXMLDOC01-appb-M000010
　ＡＣ（ｉ，Ｘ）は、図４及び図５に示されているように、余弦関数で近似できるとして、式１１は式１２で表すことができる。
Figure JPOXMLDOC01-appb-M000011
　Ｚ'＝ｄＺ／ｄＸとすると、式１２は式１３で表される。
Figure JPOXMLDOC01-appb-M000012
　Ｆ（Ｚ）／Ｚ'のフーリエ係数について、ａ（０）は（２／Ｗ）∫（Ｆ（Ｚ）／Ｚ'）ｄＺであるが、それは（２／Ｗ）∫Ｆ（Ｘ）ｄＸと同じである。このため、ａ（０）は、式９を用いて式１４で表される。一方、ｉ≧１のａ（ｉ）は、式２をもとに式１３を用いて式１５で表される。
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
　式１４、式１５で得られるフーリエ係数から、Ｆ（Ｚ）／Ｚ'は式１６に示すフーリエ級数で近似的に展開できる。その結果にＺ'の値を乗算すれば、Ｆ（Ｚ（Ｘ））すなわちＦ（Ｘ）が求まる。
Figure JPOXMLDOC01-appb-M000015
　以上のように、撮像素子の画素信号を用いてフーリエ係数を算出し、それらを用いて、式１のフーリエ級数展開とＺ'の乗算により被写体の反射分光特性を近似的に算出できる。
　次に本実施形態におけるマルチスペクトルカメラの構成とカメラ内の信号処理について説明する。図６は本実施形態におけるマルチスペクトルカメラの構成図である。このマルチスペクトルカメラは、結像レンズ１１と、広帯域光学フィルタ１２と、撮像素子１３と、信号発生／受信部１４と、画像処理部１５と、画像メモリー１６と、信号出力部１７とを備えている。結像レンズ１１は、図６では単一のレンズとして描かれているが、複数のレンズの組み合わせであってもよい。広帯域光学フィルタ１２は、本実施形態では波長帯域３８０ｎｍ～７６０ｎｍの光のみ透過させるように設計されている。撮像素子１３は本実施形態ではＣＭＯＳ型の撮像素子であるが、ＣＣＤなどの他の種類のイメージセンサでもよい。信号発生／受信部１４は、撮像素子１３からの画像信号を受信すると共に撮像素子１３を駆動するための信号を撮像素子１３に送る。信号発生／受信部１４は、例えばＣＭＯＳドライバなどのＬＳＩから構成され得る。画像処理部１５は信号発生／受信部１４からの画像信号を画像メモリー１６に送信すると共に画像メモリー１６からの画像信号を読み出して処理する。画像処理部１５は、例えば公知のデジタル信号処理プロセッサ（ＤＳＰ）などの信号処理回路と、本実施形態における画像処理を実行するソフトウェアとの組合せによって実現され得る。あるいは、画像処理部１５は、専用のハードウェアから構成されていてもよい。本実施形態における信号処理は、画像処理部１５における信号処理回路によって実行される。画像メモリー１６は、例えばＤＲＡＭやＳＲＡＭなどの公知の半導体メモリーによって構成され得る。信号出力部１７は画像処理部１５からの信号を外部に出力する。
　被写体からの光のうち、結像レンズ１１と広帯域光学フィルタ１２により、波長帯域３８０ｎｍ～７６０ｎｍの光のみが透過し、撮像素子の撮像部（撮像面）に結像される。図７は被写体からの光が結像レンズ１１、広帯域光学フィルタ１２を透過して撮像素子１３の撮像部（撮像面）１３ａに結像される様子を模式的に示した図である。結像された画像は撮像素子１３で光電変換され電気信号になり、信号発生／受信部１４、画像処理部１５を介して画像メモリー１６に記録される。
　画像処理部１５は画像メモリー１６に記録された画像情報を画素の基本単位ごとに読み出し、信号処理を行う。一例として、以下にＸ－Ｒｉｔｅ社製のマクベスカラーチェッカーＮｏ１３～Ｎｏ１８の色見本を撮像した場合の被写体の分光特性を算出する撮像及び信号処理シミュレーションを説明する。なお、上記色見本はＮｏ１３～Ｎｏ１８の順に青（Ｂ）、緑（Ｇ）、赤（Ｒ）、黄（Ｙｅ）、マゼンタ（Ｍｇ）、シアン（Ｃｙ）である。それらの反射分光特性を図８に示す。同図（ａ）はＮｏ１３～Ｎｏ１５の反射分光特性を示し、番号順に実線、破線、一点鎖線で表している。同図（ｂ）はＮｏ１６～Ｎｏ１８の反射分光特性を示し、番号順に実線、破線、一点鎖線で表している。
　撮像条件は以下のとおりである。光源は色温度５１００Ｋのハロゲン灯を用いた。色フィルタを除く、光源、レンズを含む光学系と撮像素子の分光感度を合わせた分光特性を図９に示す。この特性を撮像光学分光特性と呼び、Ｏ（Ｘ）で表す。但し、Ｘは３８０ｎｍからのシフト波長である。本実施形態では波長帯域３８０ｎｍ～７６０ｎｍの範囲を対象にしていることから、Ｘの取り得る値は０～３８０ｎｍである。また色フィルタを含む撮像素子に関する係数について、図３をもとにＫａ＝０．７９、ＰＰ＝０．３４７とし、Ｋｄは０．９６とした。
　以下に、図１０を参照しながら、シミュレーションの流れを説明する。但し、事前処理として式７及び式８を波長λで微分し、λ＝３８０＋ＸとしてＺ’（＝ｄＺ／ｄＸ）を算出しておく。
　まず第１ステップとして、Ｎｏ１３～Ｎｏ１８の各色見本を撮像したとして、それらの分光特性と、撮像光学分光特性Ｏ（Ｘ）と、各色フィルタの分光透過特性との離散的な積分演算を行い、各色見本に関して相対的な信号値Ｅ（０）～Ｅ（８）を算出する（Ｓ１）。実際の計算では１０ｎｍ毎の数値データを用いて離散的な積分を行い、１つの色見本につき９個の信号値を算出する。従って、総計６×９＝５４個の信号値を算出する。
　次に第２のステップとして、算出した信号値Ｅ（０）～Ｅ（８）に補正係数Ｋｇを掛ける（Ｓ２）。これは図４、図５からわかるように各色フィルタの透過率と波長の関係において、波長λを変数Ｚに変数変換した場合の波形（図中の破線）が理想とする余弦関数の波形（図中の１点鎖線）より低いことに起因する誤差を補正するために行われる。波長λを変数Ｚに変数変換した場合の波形（図中の破線）が理想とする余弦関数の波形（図中の１点鎖線）より低いため、信号値Ｅ（０）～Ｅ（８）は理想とする信号値より小さいと考えられる。そこで信号を若干増幅すべく補正係数Ｋｇを各信号に掛ける。本実施形態ではその補正係数Ｋｇを１．０２５とした。
　第３のステップとして、補正係数Ｋｇを掛けた結果を新たに信号値Ｅ（０）～Ｅ（８）とし、式１４、式１５を用いて各色見本のフーリエ係数ａ（０）～ａ（８）を算出する（Ｓ３）。図１１（ａ）に補正係数Ｋｇを掛けた後の信号値Ｅ（０）～Ｅ（８）を示し、図１１（ｂ）に算出したフーリエ係数ａ（０）～ａ（８）を示す。但し、これらの数値は計算上の相対値である。
　第４ステップとして、算出したフーリエ係数ａ（０）～ａ（８）を用いて、Ｆ（Ｚ）／Ｚ’をフーリエ級数に展開する（Ｓ４）。第５ステップとして、展開されたフーリエ級数にＺ’を掛けて、Ｆ（Ｚ（Ｘ））すなわちＦ（Ｘ）を算出する（Ｓ５）。算出されたＦ（Ｘ）は撮像画像のスペクトルであるが、これには上記で説明した撮像光学分光特性を含んでいる。そこで、第６ステップでＦ（Ｘ）をさらにＯ（Ｘ）で除算し、被写体の分光特性を算出する（Ｓ６）。
　算出した被写体の分光特性を図１２（ａ）に示し、被写体であるカラーチェッカの実際の分光特性を図１２（ｂ）に示す。図１２（ａ）および（ｂ）の中で、太い実線は青（算出結果：Ｃａｌ＿Ｎｏ１３、実際の特性：Ｎｏ１３）、太い破線は緑（算出結果：Ｃａｌ＿Ｎｏ１４、実際の特性：Ｎｏ１４）、太い一点鎖線は赤（算出結果：Ｃａｌ＿Ｎｏ１５、実際の特性：Ｎｏ１５）、細い実線は黄（算出結果：Ｃａｌ＿Ｎｏ１６、実際の特性：Ｎｏ１６）、細い破線はマゼンタ（算出結果：Ｃａｌ＿Ｎｏ１７、実際の特性：Ｎｏ１７）、細い一点鎖線はシアン（算出結果：Ｃａｌ＿Ｎｏ１８、実際の特性：Ｎｏ１８）のカラーチェッカの分光特性を表している。図１２において波長範囲は４００ｎｍ～７００ｎｍであるが、算出した被写体の分光特性はカラーチェッカの分光特性と概ね同じであることがわかる。
　最後に、算出した被写体の分光特性から、予め指定された波長における分光特性値を取り出し、それらのデータを画素信号とした特定波長画像と、画素の基本単位毎に画素信号の平均値を算出し、それらを画素信号とした白黒画像とを、信号出力部１７から外部に出力する（Ｓ７）。このようにして、画像処理部１５から信号出力部１７を介して特定波長画像と白黒画像が出力される。指定波長を変えることにより、設定された計測波長帯域内の全ての画像を得ることができる。また、出力される白黒画像については、撮像素子１３の画素には分光透過率のピークを複数有する色フィルタが多数配置されているため、分光透過率のピークを１つしか有していない従来のＲＧＢフィルタを用いた場合よりも光利用率が高く、それ故、画像の明度が高い。
　以上のように、本実施形態のマルチスペクトルカメラでは、Ｎ＝８として、所定の波長帯域において透過率のピークあるいはアンダーピークを１つ以上有し、且つ前記ピークの数と前記アンダーピークの数を合わせた総ピーク数が異なる第１～第８の光学フィルタが用いられる。前記第１～第８のフィルタは、前記所定の波長帯域における波長λと各々の透過率Ｙとの関係において、前記波長λと関係付けられた変数Ｚの変化に対して前記透過率Ｙが周期的に変化する。さらに、前記第１～第８のフィルタ夫々が対応（対向）して配置された第１の光感知セル～第８の光感知セルと、前記第１～第８の光学フィルタのいずれも配置されていない無フィルタ光感知セルとを画素単位とする撮像素子が用いられる。前記無フィルタ光感知セル及び前記第１の光感知セル～第８の光感知セルからの９個の光電変換信号Ｅ（０）～Ｅ（８）と、独立変数を前記変数Ｚとする８種類の周期関数ＡＣ（１，Ｘ）～ＡＣ（８，Ｘ）と、前記波長λの微小変化（シフト波長Ｘの微小変化と等価）に対する前記変数Ｚの変化値（Ｚ’＝ｄＺ／ｄＸ）とを用いて、撮像画像の分光特性（すなわち、波長ごとの強度分布）を算出できる。さらに、算出した分光特性を撮像光学系の分光特性で除算することにより、被写体の反射分光特性を算出できる。また、透過率のピークを複数有する光学フィルタが用いられるため、カメラから得られる撮像画像の明度が高いという長所を有する。
　本実施形態では、特に、第１から第Ｎの光学フィルタのうち、第ｉ（ｉは１以上でＮ以下の整数）の光学フィルタは総ピーク数がｉ＋１である。そして、演算に用いられるＮ種類の周期関数は、所定周波数の１倍からＮ倍までの整数倍の周波数のいずれかを有するＮ個の余弦関数ｃｏｓ（ｉＺ）である。なお、前述の説明では、余弦関数ｃｏｓ（ｉπＺ／Ｗ）という表現を用いたが、Ｚは波長λと関係づけられた変数であればよいため、前述のπＺ／Ｗを改めてＺと表すことができる。このように書き替えると、前述の余弦関数はｃｏｓ（ｉＺ）と表される。
　画像処理部１５における信号処理回路は、無フィルタ光感知セルの光電変換信号をＥ（０）、前記第ｉの光感知セルの光電変換信号をＥ（ｉ）として、Ｅ（０）に第１の定数ｋ１（前述の例では、２／ＷＫｄ）を乗算した結果ａ（０）と、Ｅ（ｉ）に第２の定数ｋ２（前述の例では２）を乗算した結果からＥ（０）に第３の定数を乗算した結果（前述の例では、２（Ｋａ／Ｋｄ））を減算し、さらに第４の定数（ＰＰ）で除算した結果ａ（ｉ）に前記余弦関数ｃｏｓ（ｉＺ）を乗算したａ（ｉ）ｃｏｓ（ｉＺ）と、を用いて、ａ（０）とａ（１）ｃｏｓ（Ｚ）～ａ（Ｎ）ｃｏｓ（ＮＺ）の全てとを加算した結果に、前記波長λの微小変化に対する前記変数Ｚの変化値を乗算することにより、被写体の反射分光特性を算出する。
　信号処理回路は、図１０のステップＳ２に示すように、前記第１から第Ｎの光感知セルからの光電変換信号に第５の定数（Ｋｇ）を乗算することによって、信号値を補正してもよい。
　なお、本実施形態では画素の基本単位を３×３の９画素としたが、これに限定されるものではない。例えば、Ｕ×Ｖ（Ｕ、Ｖは、互いに異なる自然数）の整数画素を基本単位にしても問題ない。さらに、被写体の分光特性の波形（交流成分）だけを計測するのであれば、画素の基本単位に、分光特性の直流成分の算出に関係する、色フィルタが配置されない画素（無フィルタ光感知セル）を含まなくても良い。その場合、画素単位に含まれる光感知セルの数と、それらに対向する光学フィルタの数とは、一致する。また、上記無フィルタ光感知セルの代わりに、第１～第Ｎの光学フィルタにおけるピークとアンダーピークの中間の透過率を有する光学フィルタが対向して配置された透過率平均化光感知セルを含んでいても良い。高屈折率材料では、波長によって屈折率が大きく変化する。そのような材料では、ピークとアンダーピークの平均の透過率が長波長側で高くなる。その影響を除去するため、全ピークおよび全アンダーピークの平均の透過率を有するフィルタを設けてもよい。また、色フィルタについても単層膜に限らず、複数層の膜で構成してもよい。透過率において総ピーク数が異なる光学フィルタ群を有し、全ての光学フィルタが波長λと各々の透過率Ｙの関係において、波長λと関係付けた変数Ｚの変化に対して透過率Ｙが周期的に変化すれば、色フィルタの構成は任意である。加えて、変数Ｚと波長λの関係に関して、本実施形態では式７と式８で近似表現したが、これに限定するものではなく、スプライン関数等を用いた別な近似式を用いても問題はない。また、撮像素子の構造に関して、本実施形態では各画素にマイクロレンズを配置していないが、撮像素子の感度向上のためにマイクロレンズを配置してもよい。また、カメラ内の信号処理に関して、画素の基本単位毎に信号を処理したが、隣接する基本単位の画素信号も使い、偽色の防止を図っても構わない。このように、信号処理回路は、画素単位ごとに信号処理を行うとともに、隣接する画素単位からの光電変換信号を利用して補間情報を生成してもよい。さらに、本実施形態では、計測波長帯域を３８０ｎｍ～７６０ｎｍに設計したが、これに限るものではなく、さらに範囲の広い波長帯域であっても構わない。また上記説明では、暗黙に色フィルタ自体着色がなく、屈折率も波長に関係なく一定としたが、実際は微妙に着色し、屈折率が波長により若干変化することが原因で短波長側においてピークとアンダーピークの差が変化する、あるいは平均的な透過率が下がる等の問題がある。そこで上記処理の第６ステップ（Ｓ６）の後で、それらの問題に対応する補正係数を用いて、被写体の反射分光特性をさらに補正してもよい。そのような補正係数は、短波長の領域における光の透過率の減衰による影響と、透過率の振幅が波長によって異なることによる影響とを打ち消すように設定される。
　（実施形態２）
　次に本発明の第２の実施形態を説明する。本実施形態は、上記第１の実施形態と撮像素子やカメラの構成は同じであるが、画像処理部にカラー画像を作成するための３種類の色フィルタの分光特性データを有している。それら色フィルタの分光特性を図１３に示す。同図において、点線がＲ（赤）フィルタの分光特性、破線がＧ（緑）フィルタの分光特性、１点鎖線がＢ（青）フィルタの分光特性である。
　本実施形態では、被写体の分光特性を算出する処理までは第１の実施形態と同じで、その後、被写体の分光特性に上記色フィルタの分光特性を掛け合わせ、Ｒ信号、Ｇ信号、Ｂ信号を算出する処理を有する。該処理の後、算出されたＲＧＢ信号からカラー画像を作り出し、信号出力部から外部に出力する。通常、カラー画像を出力するカラーカメラでは、赤外カットフィルタが必要であるが、本実施形態では、赤外カットフィルタを必要としないという特長がある。また、色フィルタについても、通常、透過率が負の値を取ることはできないが、本実施形態では、色フィルタの透過率において部分的に負の特性を有しており、その結果、視感度上好ましいカラー画像を作ることができる。但し、ＲＧＢ信号として算出した結果、負信号になれば、強制的に信号値を０にする処理を入れる。
　以上のように、本実施形態のマルチスペクトルカメラでは、内部に３種類の色フィルタの分光特性データを有し、算出した被写体の分光特性にそれらを掛け合わせることにより、カラー信号を作ることができる。すなわち、本実施形態における信号処理回路は、複数の色フィルタの分光特性を示すデータを用いて、算出した撮像画像の分光特性を示す関数と色フィルタの分光特性を示す関数とを積分演算することにより、カラー信号を算出する。赤外カットフィルタを用いることなくカラー画像を生成できるという利点がある。また、負の分光特性を有する色フィルタも計算上利用可能である。このため、これまでにない色再現の範囲が広いカラー画像を提供できるという効果も有する。
　なお、本実施形態では、３種類の色フィルタの分光特性データをカメラ内部に保持したが、これに限るものではなく、４種類以上の色フィルタの分光特性データを保持しても構わない。各色フィルタの分光特性データは、カメラ内のメモリ等の記録媒体に格納され、信号処理回路がそのデータを読み出して上記処理が行われ得る。
　（実施形態３）
　続いて、第３の実施形態を説明する。本実施形態におけるマルチスペクトルカメラは、撮像素子における撮像面が複数の撮像領域に分かれており、それらの撮像領域に対向して複数の光学系（例えばレンズ）が配置されている点で、実施形態１、２と異なる。各撮像領域は、多数の光感知セル（光感知セル群と称する。）を含む。撮像領域の数をＮ＋１個とすると、そのうちのＮ個の撮像領域と、それらに対向するＮ個の光学系との間に、Ｎ個の光学フィルタがそれぞれ配置されている。それらのＮ個の光学フィルタは、実施形態１、２において説明したＮ個の光学フィルタ（色フィルタ）と同様の特性を有する。
　本実施形態におけるマルチスペクトルカメラは、１つの被写体を複数の光学系を用いて撮影する。各々の光学系を介してほぼ同一の撮影画像が得られることを前提として、Ｎ＋１個の光学系が配列された複眼光学系と、Ｎ＋１の光感知セル群（上記の撮像領域）を含む撮像素子と、少なくともＮ個の光学フィルタとが用いられる。それら光学フィルタは、複眼光学系に含まれる複数の光学系にそれぞれ対応して配置される。各光学フィルタは、実施形態１における光学フィルタと同様、所定の波長帯域（例えば、３８０ｎｍ～７６０ｎｍ）において透過率のピークあるいはアンダーピークを１つ以上有する。第１～第Ｎの光学フィルタ（色フィルタ）は、前記ピークの数と前記アンダーピークの数を合わせた総ピーク数が異なっている。すなわち、被写体を撮像した場合、Ｎ種類の色フィルタを介して撮像されたＮ個の画像と色フィルタを介さず撮影された１つの画像とが得られる。色フィルタによる減衰を考慮しなければ、それらは全て同一の画像であるものとする。但し、Ｎ種類の色フィルタの透過率は、波長が短くなるにつれて全体的に減衰する場合がある。そのような場合は、当該減衰特性と同様の減衰特性を有する光学フィルタ（以下、平均化フィルタと呼ぶ）を色フィルタが配置されていない光学系に対向して配置してもよい。その場合、平均化フィルタを介した画像も得られる。平均化フィルタは、第１～第Ｎの色フィルタにおけるピークとアンダーピークの中間の透過率を有するといえる。平均化フィルタを透過した光を受ける光感知セル群を、「透過率平均化光感知セル群」と称する。一方、平均化フィルタが配置されない場合、いずれのフィルタも介さずに入射する光を受ける光感知セル群を、「無フィルタ光感知セル群」と称する。
　以下の説明において、第Ｎの画素という表現は第Ｎの画素群の総称である一方、画像内の同一位置の画素を指す場合もある。この場合、第１から第Ｎの画素は、それぞれの画像内の同一位置の画素である。ここで、画像内の同一位置の画素は、第１から第Ｎの画素と、色フィルタを配置していない画素群における同一位置の画素とを表す。
　以下、本実施形態の詳細を説明する。
　まず本実施形態におけるマルチスペクトルカメラの撮像素子について説明する。本実施形態では９つの光学系から成る複眼光学系を有する２次元の撮像素子が用いられる。図１４は、撮像素子１３の構造を示している。図１４（ａ）は複眼光学系を含む撮像素子１３の平面図である。本実施形態の撮像素子は水平方向に３つ、垂直方向に３つの合計９つの結像レンズ２０を有している。その内の８つの結像レンズ２０の直下には色フィルタが配置されている。図１４（ａ）におけるＡ－Ａ’線断面を図１４（ｂ）に、Ｂ－Ｂ’線断面を図２（ｃ）に、Ｃ－Ｃ’線断面を図１４（ｄ）に示す。図１４に示すように、撮像素子１３は、色フィルタ１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈと、光感知セル群２ａ、２ｂ、２ｃ、２ｄ、２ｅ、２ｆ、２ｇ、２ｈ、２ｚとを有する。撮像素子１３の表面には複数の光感知セル群２ａ～２ｚが２次元状に配列されている。なお、同図から分かるように光感知セル群２ｚ上には色フィルタが無い。光感知セル群２ｚは結像レンズによる画像を直接光電変換する。
　撮像素子１３への結像は、色フィルタ１ａ～１ｈを通して、あるいは直接光感知セルで光電変換される。図１４では省略されているが、光電変換信号は、配線層を通して撮像素子から電気信号として読み出される。なお、被写体は撮像素子１３から十分離れており、９つの結像レンズ２０による光感知セル群２ａ～２ｚにおける画像は、光学フィルタ１ａ～１ｈの透過特性の違いを無視すれば、ほぼ同一である。さらに光感知セル群２ａ～２ｚは同じ画素数で同じサイズを有する。すなわち、それらの光感知セル群から読み出された画像もほぼ同一である。もし複眼光学系の個々の光学系に光学的な歪みがある場合は、それに起因する画像の歪を補正する処理を画像処理部（信号処理回路）が行ってもよい。本実施形態における色フィルタ１ａ～１ｈは、実施形態１、２における色フィルタ１ａ～１ｈとサイズは異なるが同じ特性を有する。
　次に撮像素子１３の画素信号について説明する。ここでは、光感知セル群２ａ～２ｈの順にそれら光感知セル群における同一場所の画素を第１～第８の画素と称し、それらの画素信号をＥ（１）～Ｅ（８）で表す。また、光感知セル群２ｚにおける上記同一場所の画素を第９の画素と称し、その画素信号をＥ（０）で表す。すると、実施形態１において説明した式９～式１５の処理がそのまま適用でき、被写体の反射分光特性を近似的に算出できる。
　次に、本実施形態におけるマルチスペクトルカメラの構成とカメラ内の信号処理について説明する。図１５は、本実施形態におけるマルチスペクトルカメラの構成図である。本実施形態のマルチスペクトルカメラは、撮像素子１３に対向して９個の光学フィルタ１および９個の結像レンズ２０が配置されている点を除き、実施形態１、２と同様の構成を有する。このため、重複する構成要素の説明は省略する。
　被写体からの光のうち、広帯域光学フィルタ１２により、波長帯域３８０ｎｍ～７６０ｎｍの光のみが透過し、９つの結像レンズ２０により撮像素子１３の撮像部（撮像面）に結像される。図１６は被写体からの光が広帯域光学フィルタ１２、９つの結像レンズ２０を透過して撮像素子１３の撮像部１３ａに結像される様子を模式的に示した図である。なお、撮像部は９つの結像レンズ２０に対応して、仮想的に９つの撮像領域（２ａ～２ｈと２ｚ）に分割される。結像された画像は撮像素子１３で光電変換され電気信号になり、信号発生／受信部１４、画像処理部１５を介して画像メモリー１６に記録される。
　画像処理部１５は画像メモリー１６に記録された画像情報を画素の仮想的な９つの撮像領域毎に読み出し、信号処理を行う。この信号処理は、実施形態１において説明した処理と同じである。また、実施形態２において説明した処理を適用してもよい。
　以上のように、本実施形態のマルチスペクトルカメラでは、９つの光学系から成る複眼光学系と、所定の波長帯域において透過率のピークあるいはアンダーピークを１つ以上有し、且つ前記ピークの数と前記アンダーピークの数を合わせた総ピーク数が異なる第１～第８の光学フィルタとが用いられる。前記第１～第８のフィルタは、前記所定の波長帯域における波長λと各々の透過率Ｙの関係において、前記波長λと関係付けた変数Ｚの単調増加に対して前記透過率Ｙが周期的に変化する。さらに、前記第１～第８のフィルタ夫々が対応して配置された第１の光感知セル群～第８の光感知セル群と、前記第１～第８の光学フィルタのいずれも配置されていない無フィルタ光感知セル群とを有する撮像素子が用いられる。前記無フィルタ光感知セル及び前記第１の光感知セル～第８の光感知セルからの９個の光電変換信号と、独立変数を前記変数ＺとするＮ種類の周期関数と、前記波長λの微小変化に対する前記変数Ｚの変化値とを用いて、撮像画像の分光特性を算出できる。さらに、算出した分光特性を撮像光学系の分光特性で除算することにより、被写体の反射分光特性を算出できる。また、透過率のピークを複数有する光学フィルタが用いられるため、カメラから得られる撮像画像としても明度が高いという長所を有する。
　なお、本実施形態では３×３の９つのレンズを用いた複眼光学系と８つの色フィルタとを用いたが、これに限定されるものではない。例えば、図１７に示すように、通常の単眼白黒カメラ２１の前面に、色フィルタが無い凹レンズと色フィルタ１ａ～１ｈが各々装着された８つの凹レンズとを含む凹レンズアレイ２２を配置した構成でも良い。凹レンズアレイ２２は、偏心のある凹レンズを含んでいてもよい。但し、そのような構成において、画像の複数個所で凹レンズによる歪みが有る場合や画像位置がずれる場合、それらの画像補正を行う必要がある。このような構成では、図１７に示すように、凹レンズアレイ２２と撮像素子１３との間に比較的大型の結像レンズ２３が配置され得る。このような結像レンズ２３は、各凹レンズによって広がった光を、その凹レンズに対応する撮像素子上の画素領域に集束させる。なお、凹レンズに偏心を持たせるのは、光学的に結像の位置をずらすことにより、その凹レンズに対応する撮像領域内に適切に像を形成するためである。その他の例として、通常の単眼白黒カメラの前面に、色フィルタが無い凸レンズと色フィルタ１ａ～１ｈが各々装着された８つの凸レンズとを含む９つの凸レンズアレイを配置した構成でも良い。但し、その場合、画像の複数個所で凸レンズによる歪みが有る場合や画像位置がずれる場合、それらの画像補正を行う必要がある。この場合も、凸レンズに偏心を持たせるのは、光学的に結像の位置をずらすことにより、その凸レンズに対応する撮像領域内に適切に像を形成するためである。
　以上のように、本開示は、以下の項目に記載のマルチスペクトルカメラを含む。
　［項目１］
　複数の画素単位が撮像面に２次元的に配列された撮像素子であって、各画素単位は第１から第Ｎ（Ｎは２以上の整数）の光感知セルを含み、各光感知セルは受光量に応じた光電変換信号を出力する、撮像素子と、
　前記第１から第Ｎの光感知セルにそれぞれ対向して配置された第１から第Ｎの光学フィルタであって、各々が所定の波長帯域において透過率のピークまたはアンダーピークを１つ以上有し、且つ前記ピークの数と前記アンダーピークの数とを合わせた総ピーク数が異なる第１から第Ｎの光学フィルタと、
　前記第１から第Ｎの光感知セルから出力された光電変換信号を処理する信号処理回路と、
を備え、
　前記第１から第Ｎの光学フィルタの各々の透過率Ｙは、前記所定の波長帯域における波長λと関係付けられた変数Ｚの変化に対して周期的に変化し、
　前記信号処理回路は、前記第１から第Ｎの光感知セルからのＮ個の光電変換信号と、独立変数を前記変数ＺとするＮ種類の周期関数と、前記波長λの微小変化に対する前記変数Ｚの変化値とを用いて、撮像画像の分光特性を算出する、
マルチスペクトルカメラ。
　［項目２］
　前記画素単位は、前記第１から第Ｎの光感知セルと、前記第１から第Ｎの光学フィルタのいずれにも対応して配置されていない無フィルタ光感知セルまたは前記第１から第Ｎの光学フィルタにおけるピークとアンダーピークの中間の透過率を有する光学フィルタが配置された透過率平均化光感知セルとを含み、
　前記信号処理回路は、前記無フィルタ光感知セルまたは前記透過率平均化光感知セルからの光電変換信号をさらに用いて、前記分光特性を算出する、項目１に記載のマルチスペクトルカメラ。
　［項目３］
　所定の波長帯域の光のみ透過させる帯域透過フィルタをさらに備え、
　前記信号処理回路は、前記帯域透過フィルタを介した撮像によって取得された前記Ｎ個の光電変換信号を用いて算出された撮像画像の分光特性を、前記第１から第Ｎの光学フィルタを除く撮像光学系の分光特性で除算することにより、前記撮像光学系の影響を除いた撮像画像の分光特性を算出する、項目１または２に記載のマルチスペクトルカメラ。
　［項目４］
　前記第１から第Ｎの光学フィルタのうち、第ｉ（ｉは１以上でＮ以下の整数）の光学フィルタは前記総ピーク数がｉ＋１であって、前記Ｎ種類の周期関数は、所定周波数の１倍からＮ倍までの整数倍の周波数のいずれかを有するＮ個の余弦関数ｃｏｓ（ｉＺ）である、項目１から３のいずれかに記載のマルチスペクトルカメラ。
　［項目５］
　前記信号処理回路は、前記無フィルタ光感知セルまたは前記透過率平均化光感知セルの光電変換信号をＥ（０）、前記第ｉの光感知セルの光電変換信号をＥ（ｉ）として、
　Ｅ（０）に第１の定数ｋ１を乗算した結果ａ（０）と、Ｅ（ｉ）に第２の定数ｋ２を乗算した結果からＥ（０）に第３の定数を乗算した結果を減算し、さらに第４の定数を除算した結果ａ（ｉ）に前記余弦関数ｃｏｓ（ｉＺ）を乗算したａ（ｉ）ｃｏｓ（ｉＺ）と、を用いて、
　ａ（０）とａ（１）ｃｏｓ（Ｚ）～ａ（Ｎ）ｃｏｓ（ＮＺ）の全てとを加算した結果に前記波長λの微小変化に対する前記変数Ｚの変化値を乗算することにより、前記撮像画像の前記分光特性を算出する、項目２に記載のマルチスペクトルカメラ。
　［項目６］
　前記信号処理回路は、前記第１から第Ｎの光感知セルからの光電変換信号に第５の定数を乗算することにより、前記第１から第Ｎの光感知セルからの光電変換信号を補正する、項目５に記載のマルチスペクトルカメラ。
　［項目７］
　各画素単位において、前記無フィルタ光感知セルまたは前記透過率平均化光感知セルを中心に、その周辺に前記第１から第Ｎの光感知セルが配置されている、項目２、５、または６のいずれかに記載のマルチスペクトルカメラ。
　［項目８］
　前記信号処理回路は、前記画素単位ごとに信号処理を行うと共に、隣接する画素単位からの光電変換信号を利用して補間情報も生成する、項目７に記載のマルチスペクトルカメラ。
　［項目９］
　前記撮像素子は、前記画素単位ごとに配置された複数のマイクロレンズを有する、項目７または８に記載のマルチスペクトルカメラ。
　［項目１０］
　前記信号処理回路は、複数の色フィルタの分光特性を示すデータを用いて、算出した前記撮像画像の前記分光特性を示す関数と前記色フィルタの分光特性を示す関数とを積分演算することにより、カラー信号を算出する、項目１から９のいずれかに記載のマルチスペクトルカメラ。
　［項目１１］
　Ｎ＋１個（Ｎは２以上の整数）の光学系を含む複眼光学系と、
　所定の波長帯域において透過率のピークまたはアンダーピークを１つ以上有し、且つ前記ピークの数と前記アンダーピークの数とを合わせた総ピーク数が異なる第１から第Ｎの光学フィルタと、
　前記第１から第Ｎの光学フィルタにそれぞれ対向する第１から第Ｎの光感知セル群を有し、各光感知セルは受光量に応じた光電変換信号を出力する、撮像素子と、
　前記第１から第Ｎの光感知セルから出力された光電変換信号を処理する信号処理回路と、
を備え、
　前記第１から第Ｎの光学フィルタの各々の透過率Ｙは、前記所定の波長帯域における波長λと関係付けられた変数Ｚの変化に対して周期的に変化し、
　前記第１から第Ｎの光学フィルタは、前記複眼光学系における前記Ｎ＋１個の光学系のうちのＮ個の光学系にそれぞれ対向して配置され、
　前記撮像素子は、さらに前記第１から第Ｎの光学フィルタのいずれもが対向して配置されていない無フィルタ光感知セル群、または前記第１から第Ｎの光学フィルタにおけるピークとアンダーピークの中間の透過率を有する光学フィルタが対向して配置された透過率平均化光感知セル群を有し、
　前記信号処理回路は、前記第１から第Ｎの光感知セル群からのＮ種類の光電変換信号と、前記無フィルタ光感知セル群からの光電変換信号または前記透過率平均化光感知セル群からの光電変換信号と、独立変数を前記変数ＺとするＮ種類の周期関数と、前記波長λの微小変化に対する前記変数Ｚの変化値とを用いて、撮像画像の分光特性を算出する、
マルチスペクトルカメラ。
　［項目１２］
　所定の波長帯域の光のみ透過させる帯域透過フィルタをさらに備え、
　前記信号処理回路は、前記帯域透過フィルタを介した撮像によって取得された前記Ｎ種類の光電変換信号を用いて算出された撮像画像の分光特性に対して、前記第１から第Ｎの光学フィルタの透過率のピークまたはアンダーピークが波長変化に対して減衰または増加する場合、前記減衰または増加を補正した撮像画像の分光特性を算出する、項目１１に記載のマルチスペクトルカメラ。
　［項目１３］
　所定の波長帯域の光のみ透過させる帯域透過フィルタをさらに備え、
　前記信号処理回路は、前記帯域透過フィルタを介した撮像によって取得された前記Ｎ種類の光電変換信号を用いて算出された撮像画像の分光特性を、前記第１から第Ｎの光学フィルタを除く撮像光学系の分光特性で除算することにより、前記撮像光学系の影響を除いた撮像画像の分光特性を算出する、項目１１または１２に記載のマルチスペクトルカメラ。
　［項目１４］
　前記第１から第Ｎの光学フィルタのうち、第ｉ（ｉは１以上でＮ以下の整数）の光学フィルタは前記総ピーク数がｉ＋１であって、前記Ｎ種類の周期関数は、所定周波数の１倍からＮ倍までの整数倍の周波数のいずれかを有するＮ個の余弦関数ｃｏｓ（ｉＺ）である、項目１から３のいずれかに記載のマルチスペクトルカメラ。
　［項目１５］
　前記信号処理回路は、前記無フィルタ光感知セルの光電変換信号をＥ（０）、前記第ｉの光感知セルの光電変換信号をＥ（ｉ）として、
　Ｅ（０）に第１の定数ｋ１を乗算した結果ａ（０）と、Ｅ（ｉ）に第２の定数ｋ２を乗算した結果からＥ（０）に第３の定数を乗算した結果を減算し、さらに第４の定数を除算した結果ａ（ｉ）に前記余弦関数ｃｏｓ（ｉＺ）を乗算したａ（ｉ）ｃｏｓ（ｉＺ）と、を用いて、
　ａ（０）とａ（１）ｃｏｓ（Ｚ）～ａ（Ｎ）ｃｏｓ（ＮＺ）の全てとを加算した結果に前記波長λの微小変化に対する前記変数Ｚの変化値を乗算することにより、前記撮像画像の前記分光特性を算出する、項目１１または１２に記載のマルチスペクトルカメラ。
　［項目１６］
　前記信号処理回路は、前記第１から第Ｎの光感知セルからの光電変換信号に第５の定数を乗算することにより、前記第１から第Ｎの光感知セルからの光電変換信号を補正する、項目１５に記載のマルチスペクトルカメラ。
　［項目１７］
　前記信号処理回路は、前記複眼光学系における各光学系によって形成される画像の歪みを補正した上で、前記撮像画像の分光特性を算出する、項目１１から１６のいずれかに記載のマルチスペクトルカメラ。
　［項目１８］
　前記複眼光学系は、複数の凸レンズを含む、項目１１から１７のいずれかに記載のマルチスペクトルカメラ。
　［項目１９］
　前記複数の凸レンズは、偏心のある凸レンズを含む、項目１８に記載のマルチスペクトルカメラ。
　［項目２０］
　前記複眼光学系は、複数の凹レンズと、１つの凸レンズとを含む、項目１１から１７のいずれかに記載のマルチスペクトルカメラ。
　［項目２１］
　前記複数の凹レンズは、偏心のある凹レンズを含む、項目２０に記載のマルチスペクトルカメラ。
　［項目２２］
　前記信号処理回路は、複数の色フィルタの分光特性を示すデータを用いて、算出した前記撮像画像の前記分光特性を示す関数と前記色フィルタの分光特性を示す関数とを積分演算することにより、カラー信号を算出する、項目１１から２１のいずれかに記載のマルチスペクトルカメラ。
　本発明のマルチスペクトルカメラは、主に固体撮像素子を用いた固体カメラの全てに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラ等の民生用カメラや産業用の監視カメラ等に利用可能である。
　　１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈ　色フィルタ
　　２ａ、２ｂ、２ｃ、２ｄ、２ｅ、２ｆ、２ｇ、２ｈ、２ｚ　光感知セル
　　３　シリコン基板
　１１　結像レンズ
　１２　広帯域光学フィルタ
　１３　撮像素子
　１３ａ　撮像部（撮像面）
　１４　信号発生／受信部
　１５　画像処理部
　１６　画像メモリー
　１７　信号出力部
　２０　（複眼）結像レンズ
　２１　単眼白黒カメラ
　２２　凹レンズアレイ
　２３　結像レンズ
　３１　シリコン酸化膜

Claims (22)

  1. 　複数の画素単位が撮像面に２次元的に配列された撮像素子であって、各画素単位は第１から第Ｎ（Ｎは２以上の整数）の光感知セルを含み、各光感知セルは受光量に応じた光電変換信号を出力する、撮像素子と、
    　前記第１から第Ｎの光感知セルにそれぞれ対向して配置された第１から第Ｎの光学フィルタであって、各々が所定の波長帯域において透過率のピークまたはアンダーピークを１つ以上有し、且つ前記ピークの数と前記アンダーピークの数とを合わせた総ピーク数が異なる第１から第Ｎの光学フィルタと、
    　前記第１から第Ｎの光感知セルから出力された光電変換信号を処理する信号処理回路と、
    を備え、
    　前記第１から第Ｎの光学フィルタの各々の透過率Ｙは、前記所定の波長帯域における波長λと関係付けられた変数Ｚの変化に対して周期的に変化し、
    　前記信号処理回路は、前記第１から第Ｎの光感知セルからのＮ個の光電変換信号と、独立変数を前記変数ＺとするＮ種類の周期関数と、前記波長λの微小変化に対する前記変数Ｚの変化値とを用いて、撮像画像の分光特性を算出する、
    マルチスペクトルカメラ。
  2. 　前記画素単位は、前記第１から第Ｎの光感知セルと、前記第１から第Ｎの光学フィルタのいずれにも対応して配置されていない無フィルタ光感知セルまたは前記第１から第Ｎの光学フィルタにおけるピークとアンダーピークの中間の透過率を有する光学フィルタが配置された透過率平均化光感知セルとを含み、
    　前記信号処理回路は、前記無フィルタ光感知セルまたは前記透過率平均化光感知セルからの光電変換信号をさらに用いて、前記分光特性を算出する、請求項１に記載のマルチスペクトルカメラ。
  3. 　所定の波長帯域の光のみ透過させる帯域透過フィルタをさらに備え、
    　前記信号処理回路は、前記帯域透過フィルタを介した撮像によって取得された前記Ｎ個の光電変換信号を用いて算出された撮像画像の分光特性を、前記第１から第Ｎの光学フィルタを除く撮像光学系の分光特性で除算することにより、前記撮像光学系の影響を除いた撮像画像の分光特性を算出する、請求項１または２に記載のマルチスペクトルカメラ。
  4. 　前記第１から第Ｎの光学フィルタのうち、第ｉ（ｉは１以上でＮ以下の整数）の光学フィルタは前記総ピーク数がｉ＋１であって、前記Ｎ種類の周期関数は、所定周波数の１倍からＮ倍までの整数倍の周波数のいずれかを有するＮ個の余弦関数ｃｏｓ（ｉＺ）である、請求項１から３のいずれかに記載のマルチスペクトルカメラ。
  5. 　前記信号処理回路は、前記無フィルタ光感知セルまたは前記透過率平均化光感知セルの光電変換信号をＥ（０）、前記第ｉの光感知セルの光電変換信号をＥ（ｉ）として、
    　Ｅ（０）に第１の定数ｋ１を乗算した結果ａ（０）と、Ｅ（ｉ）に第２の定数ｋ２を乗算した結果からＥ（０）に第３の定数を乗算した結果を減算し、さらに第４の定数を除算した結果ａ（ｉ）に前記余弦関数ｃｏｓ（ｉＺ）を乗算したａ（ｉ）ｃｏｓ（ｉＺ）と、を用いて、
    　ａ（０）とａ（１）ｃｏｓ（Ｚ）～ａ（Ｎ）ｃｏｓ（ＮＺ）の全てとを加算した結果に前記波長λの微小変化に対する前記変数Ｚの変化値を乗算することにより、前記撮像画像の前記分光特性を算出する、請求項２に記載のマルチスペクトルカメラ。
  6. 　前記信号処理回路は、前記第１から第Ｎの光感知セルからの光電変換信号に第５の定数を乗算することにより、前記第１から第Ｎの光感知セルからの光電変換信号を補正する、請求項５に記載のマルチスペクトルカメラ。
  7. 　各画素単位において、前記無フィルタ光感知セルまたは前記透過率平均化光感知セルを中心に、その周辺に前記第１から第Ｎの光感知セルが配置されている、請求項２、５、または６のいずれかに記載のマルチスペクトルカメラ。
  8. 　前記信号処理回路は、前記画素単位ごとに信号処理を行うと共に、隣接する画素単位からの光電変換信号を利用して補間情報も生成する、請求項７に記載のマルチスペクトルカメラ。
  9. 　前記撮像素子は、前記画素単位ごとに配置された複数のマイクロレンズを有する、請求項７または８に記載のマルチスペクトルカメラ。
  10. 　前記信号処理回路は、複数の色フィルタの分光特性を示すデータを用いて、算出した前記撮像画像の前記分光特性を示す関数と前記色フィルタの分光特性を示す関数とを積分演算することにより、カラー信号を算出する、請求項１から９のいずれかに記載のマルチスペクトルカメラ。
  11. 　Ｎ＋１個（Ｎは２以上の整数）の光学系を含む複眼光学系と、
    　所定の波長帯域において透過率のピークまたはアンダーピークを１つ以上有し、且つ前記ピークの数と前記アンダーピークの数とを合わせた総ピーク数が異なる第１から第Ｎの光学フィルタと、
    　前記第１から第Ｎの光学フィルタにそれぞれ対向する第１から第Ｎの光感知セル群を有し、各光感知セルは受光量に応じた光電変換信号を出力する、撮像素子と、
    　前記第１から第Ｎの光感知セルから出力された光電変換信号を処理する信号処理回路と、
    を備え、
    　前記第１から第Ｎの光学フィルタの各々の透過率Ｙは、前記所定の波長帯域における波長λと関係付けられた変数Ｚの変化に対して周期的に変化し、
    　前記第１から第Ｎの光学フィルタは、前記複眼光学系における前記Ｎ＋１個の光学系のうちのＮ個の光学系にそれぞれ対向して配置され、
    　前記撮像素子は、さらに前記第１から第Ｎの光学フィルタのいずれもが対向して配置されていない無フィルタ光感知セル群、または前記第１から第Ｎの光学フィルタにおけるピークとアンダーピークの中間の透過率を有する光学フィルタが対向して配置された透過率平均化光感知セル群を有し、
    　前記信号処理回路は、前記第１から第Ｎの光感知セル群からのＮ種類の光電変換信号と、前記無フィルタ光感知セル群からの光電変換信号または前記透過率平均化光感知セル群からの光電変換信号と、独立変数を前記変数ＺとするＮ種類の周期関数と、前記波長λの微小変化に対する前記変数Ｚの変化値とを用いて、撮像画像の分光特性を算出する、
    マルチスペクトルカメラ。
  12. 　所定の波長帯域の光のみ透過させる帯域透過フィルタをさらに備え、
    　前記信号処理回路は、前記帯域透過フィルタを介した撮像によって取得された前記Ｎ種類の光電変換信号を用いて算出された撮像画像の分光特性に対して、前記第１から第Ｎの光学フィルタの透過率のピークまたはアンダーピークが波長変化に対して減衰または増加する場合、前記減衰または増加を補正した撮像画像の分光特性を算出する、請求項１１に記載のマルチスペクトルカメラ。
  13. 　所定の波長帯域の光のみ透過させる帯域透過フィルタをさらに備え、
    　前記信号処理回路は、前記帯域透過フィルタを介した撮像によって取得された前記Ｎ種類の光電変換信号を用いて算出された撮像画像の分光特性を、前記第１から第Ｎの光学フィルタを除く撮像光学系の分光特性で除算することにより、前記撮像光学系の影響を除いた撮像画像の分光特性を算出する、請求項１１または１２に記載のマルチスペクトルカメラ。
  14. 　前記第１から第Ｎの光学フィルタのうち、第ｉ（ｉは１以上でＮ以下の整数）の光学フィルタは前記総ピーク数がｉ＋１であって、前記Ｎ種類の周期関数は、所定周波数の１倍からＮ倍までの整数倍の周波数のいずれかを有するＮ個の余弦関数ｃｏｓ（ｉＺ）である、請求項１から３のいずれかに記載のマルチスペクトルカメラ。
  15. 　前記信号処理回路は、前記無フィルタ光感知セルの光電変換信号をＥ（０）、前記第ｉの光感知セルの光電変換信号をＥ（ｉ）として、
    　Ｅ（０）に第１の定数ｋ１を乗算した結果ａ（０）と、Ｅ（ｉ）に第２の定数ｋ２を乗算した結果からＥ（０）に第３の定数を乗算した結果を減算し、さらに第４の定数を除算した結果ａ（ｉ）に前記余弦関数ｃｏｓ（ｉＺ）を乗算したａ（ｉ）ｃｏｓ（ｉＺ）と、を用いて、
    　ａ（０）とａ（１）ｃｏｓ（Ｚ）～ａ（Ｎ）ｃｏｓ（ＮＺ）の全てとを加算した結果に前記波長λの微小変化に対する前記変数Ｚの変化値を乗算することにより、前記撮像画像の前記分光特性を算出する、請求項１１または１２に記載のマルチスペクトルカメラ。
  16. 　前記信号処理回路は、前記第１から第Ｎの光感知セルからの光電変換信号に第５の定数を乗算することにより、前記第１から第Ｎの光感知セルからの光電変換信号を補正する、請求項１５に記載のマルチスペクトルカメラ。
  17. 　前記信号処理回路は、前記複眼光学系における各光学系によって形成される画像の歪みを補正した上で、前記撮像画像の分光特性を算出する、請求項１１から１６のいずれかに記載のマルチスペクトルカメラ。
  18. 　前記複眼光学系は、複数の凸レンズを含む、請求項１１から１７のいずれかに記載のマルチスペクトルカメラ。
  19. 　前記複数の凸レンズは、偏心のある凸レンズを含む、請求項１８に記載のマルチスペクトルカメラ。
  20. 　前記複眼光学系は、複数の凹レンズと、１つの凸レンズとを含む、請求項１１から１７のいずれかに記載のマルチスペクトルカメラ。
  21. 　前記複数の凹レンズは、偏心のある凹レンズを含む、請求項２０に記載のマルチスペクトルカメラ。
  22. 　前記信号処理回路は、複数の色フィルタの分光特性を示すデータを用いて、算出した前記撮像画像の前記分光特性を示す関数と前記色フィルタの分光特性を示す関数とを積分演算することにより、カラー信号を算出する、請求項１１から２１のいずれかに記載のマルチスペクトルカメラ。
PCT/JP2015/074256 2014-08-28 2015-08-27 マルチスペクトルカメラ WO2016031922A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016545616A JP6692749B2 (ja) 2014-08-28 2015-08-27 マルチスペクトルカメラ

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-173761 2014-08-28
JP2014173761 2014-08-28
JP2015147859 2015-07-27
JP2015-147859 2015-07-27

Publications (1)

Publication Number Publication Date
WO2016031922A1 true WO2016031922A1 (ja) 2016-03-03

Family

ID=55399806

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/074256 WO2016031922A1 (ja) 2014-08-28 2015-08-27 マルチスペクトルカメラ

Country Status (2)

Country Link
JP (1) JP6692749B2 (ja)
WO (1) WO2016031922A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018085679A (ja) * 2016-11-25 2018-05-31 平本　政夫 マルチスペクトル撮像装置
JP2018098341A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
CN115615548A (zh) * 2022-10-13 2023-01-17 哈尔滨工业大学 一种多角度多光谱立体成像模组及模组设计方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116698189B (zh) * 2023-06-06 2024-03-29 北京理工大学长三角研究院(嘉兴) 一种感算一体仿生复眼传感器及构建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004228662A (ja) * 2003-01-20 2004-08-12 Minolta Co Ltd 撮像装置
JP2010122080A (ja) * 2008-11-20 2010-06-03 Hiroaki Kodera 分光画像推定方法および装置
JP2010193380A (ja) * 2009-02-20 2010-09-02 Olympus Corp 撮影装置、色変換処理装置、サーバ情報処理装置、クライアント情報処理装置、およびサーバ情報処理装置における画像データ処理方法、およびクライアント情報処理装置における色変換処理方法
JP2010532869A (ja) * 2007-07-09 2010-10-14 ボリーメディアコミュニケーションズ（シンチェン）カンパニーリミテッド マルチスペクトルセンシング装置及びその製造方法
JP2013106217A (ja) * 2011-11-15 2013-05-30 Panasonic Corp 奥行き推定撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004228662A (ja) * 2003-01-20 2004-08-12 Minolta Co Ltd 撮像装置
JP2010532869A (ja) * 2007-07-09 2010-10-14 ボリーメディアコミュニケーションズ（シンチェン）カンパニーリミテッド マルチスペクトルセンシング装置及びその製造方法
JP2010122080A (ja) * 2008-11-20 2010-06-03 Hiroaki Kodera 分光画像推定方法および装置
JP2010193380A (ja) * 2009-02-20 2010-09-02 Olympus Corp 撮影装置、色変換処理装置、サーバ情報処理装置、クライアント情報処理装置、およびサーバ情報処理装置における画像データ処理方法、およびクライアント情報処理装置における色変換処理方法
JP2013106217A (ja) * 2011-11-15 2013-05-30 Panasonic Corp 奥行き推定撮像装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018085679A (ja) * 2016-11-25 2018-05-31 平本　政夫 マルチスペクトル撮像装置
JP2018098341A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
WO2018110569A1 (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
US11044446B2 (en) 2016-12-13 2021-06-22 Sony Semiconductor Solutions Corporation Imaging device and electronic apparatus
US11483525B2 (en) 2016-12-13 2022-10-25 Sony Semiconductor Solutions Corporation Imaging device and electronic apparatus
CN115615548A (zh) * 2022-10-13 2023-01-17 哈尔滨工业大学 一种多角度多光谱立体成像模组及模组设计方法
CN115615548B (zh) * 2022-10-13 2024-05-28 哈尔滨工业大学 一种多角度多光谱立体成像模组及模组设计方法

Also Published As

Publication number Publication date
JP6692749B2 (ja) 2020-05-13
JPWO2016031922A1 (ja) 2017-06-15

Similar Documents

Publication Publication Date Title
JP5106256B2 (ja) 撮像装置
EP1860887B1 (en) Image capturing device and method
US8339489B2 (en) Image photographing apparatus, method and medium with stack-type image sensor, complementary color filter, and white filter
JP5055643B2 (ja) 撮像素子および画像撮像装置
KR101353778B1 (ko) 고체 촬상 장치 및 카메라 모듈
WO2012026051A1 (ja) 固体撮像素子および撮像装置
JP2007074635A (ja) 画像入力装置および固体撮像素子
JP6131546B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2008306070A (ja) 固体撮像素子及び信号演算方法
JP5698875B2 (ja) カラー撮像素子および撮像装置
JP6039558B2 (ja) 固体撮像装置
WO2016031922A1 (ja) マルチスペクトルカメラ
JP2009257919A (ja) 固体撮像装置、撮像システム及び検知装置
JPWO2005117453A1 (ja) 撮像装置
JP5171004B2 (ja) 画像処理装置、内視鏡装置、及び画像処理プログラム
JP5621054B2 (ja) カラー撮像素子
JP2015226299A (ja) 画像入力装置
WO2012144162A1 (ja) ３次元撮像装置、光透過部、画像処理装置、およびプログラム
JP2003258220A (ja) 撮像素子及び撮像装置
JP2008085807A (ja) 画像処理装置、内視鏡装置、及び画像処理プログラム
JP4825239B2 (ja) カラー撮像装置
JP2009278577A5 (ja)
JP6640555B2 (ja) カメラシステム
WO2015064274A1 (ja) 撮像素子
JP5054659B2 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15836370

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016545616

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15836370

Country of ref document: EP

Kind code of ref document: A1