WO2016052101A1 - 撮像装置および画像データ生成プログラム - Google Patents

撮像装置および画像データ生成プログラム Download PDF

Info

Publication number
WO2016052101A1
WO2016052101A1 PCT/JP2015/075505 JP2015075505W WO2016052101A1 WO 2016052101 A1 WO2016052101 A1 WO 2016052101A1 JP 2015075505 W JP2015075505 W JP 2015075505W WO 2016052101 A1 WO2016052101 A1 WO 2016052101A1
Authority
WO
WIPO (PCT)
Prior art keywords
wavelength
filter
filters
types
image data
Prior art date
Application number
PCT/JP2015/075505
Other languages
English (en)
French (fr)
Inventor
潤弥 萩原
祐介 ▲高▼梨
清茂 芝崎
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Publication of WO2016052101A1 publication Critical patent/WO2016052101A1/ja
Priority to US15/471,377 priority Critical patent/US10021357B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0235—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using means for replacing an element by another, for replacing a filter or a grating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0264—Electrical interface; User interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/007—Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light
    • G02B26/008—Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light in the form of devices for effecting sequential colour changes, e.g. colour wheels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/006—Filter holders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to an imaging apparatus and an image data generation program.
  • this type of imaging system captures an object that reflects a specific wavelength band using a wavelength filter that passes a wider wavelength band including the specific wavelength band, a minute band within the specific wavelength band The intensity of the spectrum at is difficult to be reflected in the image. As a result, color discrimination in the subject image may be difficult.
  • the imaging system captures an object that reflects a specific wavelength band using a wavelength filter that passes only a part of the wavelength band within the specific wavelength band, the object of the partial wavelength band Only the luminous flux can be reflected in the image. Even in this case, as a result, color discrimination in the subject image may be difficult.
  • the imaging apparatus has a light receiving sensitivity in a wavelength band from 600 nm to 2500 nm, receives a subject light beam and outputs a pixel signal, and a wavelength band that passes the subject light beam.
  • each of the wavelength filters that pass through each includes n wavelength filters (n is a natural number of 4 or more) including a wavelength band having light receiving sensitivity, and a plurality of photoelectric conversion units according to a predetermined condition.
  • m is a natural number greater than or equal to 3 and less than n
  • the image data generation program has a light receiving sensitivity in a wavelength band from 600 nm to 2500 nm, receives a subject light beam, and outputs a pixel signal, and passes the subject light beam.
  • This is an image data generation program used for an imaging apparatus that includes n wavelength filters (n is a natural number of 4 or more) including wavelength bands that have different wavelength bands and pass through each wavelength band.
  • the combination is determined so that the wavelength band through which each passes is included in the effective wavelength band determined in advance.
  • FIG. 1 is a cross-sectional view of a main part of a single-lens reflex camera 200 according to the present embodiment.
  • the single-lens reflex camera 200 functions as an imaging device by combining a lens unit 210 that is a photographing lens and a camera unit 230 that is a camera body.
  • the lens unit 210 includes a lens group 211 arranged along the optical axis 201.
  • the lens group 211 includes a focus lens 212 and a zoom lens 213.
  • An aperture 214 is also arranged along the optical axis 201.
  • the lens unit 210 includes a lens system control unit 216 that controls and calculates the lens unit 210 such as driving of the focus lens 212 and the diaphragm 214.
  • the lens system control unit 216 executes various operations in response to a control signal from a camera system control unit 245 described later.
  • Each element constituting the lens unit 210 is supported by the lens barrel 217.
  • the lens unit 210 includes a lens mount 218 at a connection portion with the camera unit 230, and engages with the camera mount 231 included in the camera unit 230 to be integrated with the camera unit 230.
  • Each of the lens mount 218 and the camera mount 231 includes an electrical connection portion in addition to a mechanical engagement portion, and realizes power supply from the camera unit 230 to the lens unit 210 and mutual communication.
  • the camera unit 230 includes a main mirror 232 that reflects a subject image incident from the lens unit 210 and a focus plate 234 on which the subject image reflected by the main mirror 232 is formed.
  • the main mirror 232 rotates around the rotation axis 233 and can take a state of being obliquely provided in the subject light flux centered on the optical axis 201 and a state of being retracted from the subject light flux.
  • the main mirror 232 is provided obliquely in the subject light flux.
  • the focus plate 234 is disposed at a position conjugate with the light receiving surface of the image sensor 243.
  • the subject image formed on the focus plate 234 is converted into an erect image by the pentaprism 235 and observed by the user through the eyepiece optical system 236.
  • An AE sensor 237 is disposed above the exit surface of the pentaprism 235, and detects the luminance distribution of the subject image.
  • the region near the optical axis 201 of the main mirror 232 in the oblique state is formed as a half mirror, and a part of the incident light beam passes therethrough.
  • the passed light beam is reflected by the sub mirror 238 that operates in conjunction with the main mirror 232 and guided to the AF optical system 239.
  • the subject luminous flux that has passed through the AF optical system 239 enters the AF sensor 240.
  • the AF sensor 240 detects a phase difference signal from the received subject light beam.
  • the AF sensor 240 is configured to focus in the near infrared.
  • the sub mirror 238 retracts from the subject light beam in conjunction with the main mirror 232 when the main mirror 232 retracts from the subject light beam.
  • a focal plane shutter 241 and an image sensor 243 are arranged along the optical axis 201 behind the main mirror 232 provided obliquely.
  • the focal plane shutter 241 takes an open state when the subject light flux is guided to the image sensor 243, and takes a shielding state at other times.
  • the imaging element 243 is a near-infrared photoelectric conversion element such as a CMOS sensor, for example, and converts a subject image formed on the light receiving surface into a pixel signal.
  • the image sensor 243 has a plurality of pixels arranged two-dimensionally. Each of the plurality of pixels includes a photoelectric conversion unit that receives a subject light beam and outputs a pixel signal, and a wavelength filter provided corresponding to the photoelectric conversion unit. Details of the wavelength filter will be described later.
  • an image sensor including an InGaAs material can be used as the image sensor 243.
  • the photoelectric conversion unit of the image sensor 243 has sensitivity in a wavelength band from 900 nm to 1700 nm out of 800 nm to 2500 nm which is a near infrared band.
  • the imaging element 243 can have light receiving sensitivity in a wavelength band from 600 nm to 2500 nm including a part of a visible band by using other materials.
  • the image processing unit 246 mounted on the main substrate 244 processes the pixel signal photoelectrically converted by the image sensor 243 into image data in accordance with a command from the camera system control unit 245.
  • the image processing unit 246 and the camera system control unit 245 cooperate with each other to output a pixel signal output from the photoelectric conversion unit that has received the subject luminous flux that has passed through one of the m types of wavelength filters among the plurality of photoelectric conversion units. It plays the role of an image data generation unit that generates image data using.
  • m is a natural number of 3 or more and less than n
  • n is a natural number of 4 or more.
  • the combination of the m types of wavelength filters is determined according to a predetermined condition.
  • the image processing unit 246 converts pixel signals in the near-infrared (that is, invisible) wavelength band into pixel signals in the visible wavelength band, and generates full-color image data.
  • color image data is referred to as “NIR-R′G′B ′ converted image data” and is converted into a color image to be displayed based on the color image data, that is, a visible display system.
  • the color image may be referred to as “NIR-R′G′B ′ converted image”.
  • the camera memory 249 mounted on the main board 244 records a program for controlling the single-lens reflex camera 200, various parameters, and the like.
  • the camera memory 249 stores information relating to a combination of wavelength filters that satisfy conditions described later as predetermined conditions.
  • the camera memory 249 stores information indicating wavelength filters included in a broad-type filter set, which will be described later, and information indicating wavelength filters included in a narrow-type filter set, as a table.
  • the main board 244 is further equipped with a camera system control unit 245 that is an MPU that controls the system of the camera unit 230 in an integrated manner.
  • the camera system control unit 245 manages the camera sequence and performs input / output processing of each component. Further, the camera system control unit 245 serves as a reception unit that receives a user's specification.
  • a display unit 247 such as a liquid crystal monitor is disposed on the back of the camera unit 230.
  • the image data processed by the image processing unit 246, that is, NIR-R′G′B ′ converted image data is transmitted to the display unit 247 and displayed.
  • the user can see the NIR-R′G′B ′ converted image displayed on the display unit 247.
  • the display unit 247 also displays menu screens for various settings. The user can select a combination of wavelength filters via the operation member while checking the menu screen displayed on the display unit 247.
  • the camera unit 230 houses a detachable secondary battery 248 and supplies power to the lens unit 210 as well as the camera unit 230.
  • FIG. 2 is an explanatory diagram of a wavelength filter disposed on each photoelectric conversion unit of the image sensor 243.
  • the wavelength bands through which the subject luminous flux passes in various wavelength filters are different from each other.
  • Various wavelength filters have a wavelength band that allows the subject luminous flux to pass in the near infrared.
  • Various wavelength filters are provided on the light receiving surfaces of the plurality of photoelectric conversion units in a one-to-one correspondence with the plurality of photoelectric conversion units.
  • any one of an IR 1 filter, an IR 2 filter, an IR 3 filter, an IR 4 filter, an IR 5 filter, and an IR 6 filter is provided on each photoelectric conversion unit.
  • a line in which IR 1 filter, IR 2 filter, and IR 3 filter are repeatedly arranged in this order, and a line in which IR 4 filter, IR 5 filter, and IR 6 filter are repeatedly arranged in this order; Are alternately provided in the column direction. Note that the arrangement of the wavelength filters is not limited to this example.
  • IR filter when the above-described six filters are not particularly distinguished, that is, when any one is indicated, it may be simply referred to as “IR filter”.
  • IR 1-6 filters When six filters are collectively shown, they may be referred to as “IR 1-6 filters”.
  • IR 1-3 filter When the three filters of the IR 1 filter, the IR 2 filter, and the IR 3 filter are collectively shown as “IR 1-3 filter”, the IR 4 filter, the IR 5 filter, and the IR 6 filter 3
  • two filters when collectively shown, they may be referred to as “IR 4-6 filters”.
  • the IR 1 filter, the IR 2 filter, and the IR 3 filter are combinations that satisfy the conditions that will be described later. In this specification, this combination is referred to as a broad-type filter set. Similarly, the IR 4 filter, the IR 5 filter, and the IR 6 filter are combinations that satisfy the conditions to be described later, and in this specification, this combination is referred to as a narrow type filter set.
  • Each of the IR 1-3 filters is associated with a different visible wavelength band. Similarly, each IR 4-6 filter is associated with a different visible wavelength band.
  • the wavelength bands of the IR 1 filter and the IR 4 filter are associated with the blue wavelength band
  • the wavelength bands of the IR 2 filter and the IR 5 filter are associated with the green wavelength band
  • the IR 3 filter and the IR 6 The wavelength band of the filter is associated with the red wavelength band.
  • each of the plurality of pixels arranged two-dimensionally includes any one of the IR 1-6 filters in a discrete manner. Therefore, it can be said that the image sensor 243 detects the incident subject luminous flux separately into the respective wavelength bands. In other words, the image sensor 243 performs photoelectric conversion by separating the subject image formed on the light receiving surface into six near-infrared wavelength bands.
  • the camera system control unit 245 determines a combination with reference to the table according to the setting. That is, it determines which pixel signal of the pixel corresponding to which filter set is used.
  • the pixel value of the pixel corresponding to the other filter set is once removed and calculated by interpolation processing using the pixel values of the surrounding pixels.
  • the image processing unit 246 may receive pixel signals of all pixels, or may receive only pixel signals of pixels corresponding to the determined filter set.
  • FIG. 3 is a diagram for explaining the types of filter sets.
  • FIG. 3A shows the characteristics of a broad type filter set
  • FIG. 3B shows the characteristics of a narrow type filter set.
  • the horizontal axis indicates the wavelength [nm]
  • the vertical axis indicates the transmittance [%].
  • the solid line indicates the wavelength characteristic of the IR 1 filter
  • the broken line indicates the wavelength characteristic of the IR 2 filter
  • the alternate long and short dash line indicates the wavelength characteristic of the IR 3 filter.
  • the solid line indicates the wavelength characteristic of the IR 4 filter
  • the broken line indicates the wavelength characteristic of the IR 5 filter
  • the alternate long and short dash line indicates the wavelength characteristic of the IR 6 filter. It represents that the light having a higher transmittance reaches the photodiode constituting the photoelectric conversion unit.
  • the waveforms of their wavelength characteristics are generally the same, and their transmission wavelength bands are different from each other. .
  • the half width of each of the IR 1-3 filters is substantially the same. Note that “substantially the same” includes a case where the difference is a slight difference and can be regarded as the same although it is not exactly the same due to a manufacturing error of the IR 1-3 filter. As described above, if the waveforms of the wavelength characteristics of the IR 1-3 filters are generally equal, noise components due to gain can be suppressed when performing color conversion processing described later.
  • the IR 1 filter has a peak on the shortest wavelength side among the IR 1-3 filters, and the peak wavelength P1 is about 1080 nm.
  • the peak wavelength P1 is the center wavelength of the half width in the IR 1 filter.
  • the IR 2 filter has a peak between the peak of the IR 1 filter and the peak of the IR 3 filter, and its peak wavelength P2 is about 1330 nm.
  • the IR 3 filter has a peak on the longest wavelength side of the IR 1-3 filter, and its peak wavelength P3 is about 1600 nm.
  • the broad type filter set covers the entire region from 900 nm to 1700 nm, which is the sensitivity band of the photoelectric conversion unit, by the IR 1 filter, the IR 2 filter, and the IR 3 filter.
  • the waveforms of their wavelength characteristics are generally the same, and their wavelength bands are different from each other.
  • the full width at half maximum of each IR 4-6 filter is substantially the same. Substantially the same meaning is as already explained.
  • the IR 4 filter has a peak on the shortest wavelength side among the IR 4-6 filters, and the peak wavelength P4 is about 1280 nm.
  • the IR 5 filter has a peak between the peak of the IR 4 filter and the peak of the IR 6 filter, and the peak wavelength P5 is about 1430 nm.
  • the IR 6 filter has a peak on the longest wavelength side in the IR 4-6 filter, and its peak wavelength P6 is about 1580 nm.
  • the wavelength bandwidth of each IR 4-6 filter included in the narrow type filter set is narrower than the wavelength bandwidth of each IR 1-3 filter included in the broad type filter set.
  • the half width w broad of the IR 1 filter is about 300 nm
  • the half width w narrow of the IR 4 filter is about 150 nm.
  • the narrow type filter set covers a specific range of 900 nm to 1700 nm.
  • the IR 4 filter, IR 5 filter, and IR 6 filter cover a range from about 1100 nm to about 1800 nm.
  • FIG. 4 is a diagram for explaining the conditions of the wavelength filter included in the filter set.
  • the horizontal axis indicates the wavelength [nm], and the vertical axis indicates the transmittance [%].
  • a narrow type filter set will be described as an example, but the same applies to a broad type filter set.
  • the image processing unit 246 converts a near-infrared wavelength band pixel signal into a visible wavelength band pixel signal. At this time, if each of the wavelength bands of the IR 4-6 filter is discrete, there is a band in which subject information cannot be acquired in the wavelength band covered by the narrow type filter set. Then, when the image processing unit 246 generates NIR-R′G′B ′ converted image data, it is difficult to accurately express the color.
  • Each of P4 to P6 indicates a peak wavelength as described above. (P5-P4) ⁇ w1, w2 (P6-P5) ⁇ w2, w3
  • the wavelength band of the IR 4 filter and the wavelength band of the IR 6 filter also have some overlapping portions without being discrete.
  • a part of the wavelength band on the shortest wavelength side and a part of the wavelength band on the longest wavelength side overlap each other.
  • the shortest wavelength side indicates that the peak wavelength is the shortest wavelength side
  • the longest wavelength side indicates that the peak wavelength is the longest wavelength side. Therefore, there is an intersection point p3 between the waveform of the IR 4 filter and the waveform of the IR 6 filter.
  • the transmittance at the intersection p3 is preferably 10% or more.
  • each waveform of the IR 4-6 filter is provided with a skirt portion that is gently inclined and extended in a region where the transmittance is 20% or less. Furthermore, the IR 5 filter between the IR 4 filter and the IR 6 filter similarly overlaps with the IR 4 filter and the IR 6 filter, respectively. Thus, each of the IR 4-6 filters will overlap each other over a wider wavelength band.
  • the wavelength on the shortest wavelength side having a transmittance of 1% or more in the IR 4 filter is X1
  • the wavelength on the longest wavelength side having a transmittance of 1% or more in the IR 6 filter is X2
  • X1 to X2 It is preferable that all IR 4-6 filters have a transmittance of 1% or more in the effective wavelength band that is in the range.
  • the pixel provided with the IR 4 filter has a certain degree of sensitivity in the wavelength band 112 as well as the wavelength band 111, and further has some sensitivity in the wavelength band 113.
  • a pixel provided with an IR 6 filter has a certain degree of sensitivity in the wavelength band 112 as well as in the wavelength band 113, and also has some sensitivity in the wavelength band 111.
  • a pixel provided with an IR 5 filter has a certain degree of sensitivity in both the wavelength band 111 and the wavelength band 113 together with the wavelength band 112.
  • the vertical axis indicates the transmittance, that is, the characteristics of the wavelength filter alone, but the same can be said even if the vertical axis is replaced with spectral sensitivity.
  • the spectral sensitivity determined by the combination of the wavelength filter and the photoelectric conversion unit may be 50% or more at the intersections p1 and p2 of adjacent wavelength bands, or may be 1% or more in the effective wavelength band.
  • the image processing unit 246 In generating the NIR-R′G′B ′ converted image data, the image processing unit 246 not only associates each of the IR 4-6 filters with different visible wavelength bands, but also converts each of the IR 4-6 filters. Using the pixel signal in the wavelength band, the pixel signal in the visible wavelength band is converted. For example, a pixel signal in the wavelength band of the IR 4 filter is converted into a pixel signal in the visible wavelength band by using the pixel signal in the wavelength band of the IR 5 filter and the pixel signal in the wavelength band of the IR 6 filter in addition to the pixel signal. Convert. As described above, by using pixel signals in all wavelength bands of the IR 4-6 filter, it is possible to perform color expression with high resolution.
  • the image processing unit 246 performs color conversion processing by performing a matrix operation as described below.
  • Each of R ′, G ′, and B ′ represents a pixel signal after conversion from near infrared to visible
  • NIR1 represents a pixel signal in the IR 4 filter wavelength band
  • NIR2 represents a wavelength of the IR 5 filter.
  • NIR3 denotes a pixel signal of the wavelength band of IR 6 filters.
  • a1, a2, a3, b1, b2, b3, c1, c2, and c3 are coefficients for color conversion.
  • R ′ a1 ⁇ NIR1 + b1 ⁇ NIR2 + c1 ⁇ NIR3
  • G ′ a2 ⁇ NIR1 + b2 ⁇ NIR2 + c2 ⁇ NIR3
  • B ′ a3 ⁇ NIR1 + b3 ⁇ NIR2 + c3 ⁇ NIR3
  • all IR 4-6 filters have a transmittance of 1% or more in the effective wavelength band, but at least the IR 4 filter on the shortest wavelength side is preferred.
  • the wavelength band of the IR 6 filter on the longest wavelength side may overlap at the peak wavelength of the wavelength band.
  • the IR 6 filter has a transmittance of 1% or more at the peak wavelength of about 1280 nm in the wavelength band of the IR 4 filter.
  • the wavelength band of the IR 4 filter on the shortest wavelength side may overlap.
  • the IR 4 filter has a transmittance of 1% or more at about 1580 nm which is the peak wavelength of the wavelength band of the IR 6 filter. Even in such a combination, the IR 4-6 filters overlap each other over at least the wavelength band including the respective peak wavelengths, so that multi-color expression is possible.
  • FIG. 5 is a diagram for explaining the spectrum of the subject and the NIR-R'G'B 'converted image.
  • the horizontal axis indicates the wavelength [nm], and the vertical axis indicates the spectral intensity.
  • the subject will be described taking salt, sugar, and synthetic sweeteners as examples.
  • the solid line indicates the salt spectrum
  • the alternate long and short dash line indicates the sugar spectrum
  • the alternate long and two short dashes line indicates the spectrum of the synthetic sweetener.
  • the salt has a spectral intensity over a wide range in the near-infrared wavelength band. More specifically, the spectral intensity of the salt rises from around 0 to over 3000 from 900 nm to around 1300 nm, and falls from just over 3000 to around 0 near 1300 nm to around 1700 nm. In particular, from about 1300 nm to about 1600 nm, it gradually descends from a little over 3000 to about 2000, and then suddenly falls from around 1600 nm.
  • the spectral intensity of sugar rises from around 0 to around 3000 from 900 nm to around 1300 nm, and falls from around 3000 to around 0 around 1300 nm to around 1700 nm. More specifically, it rapidly drops from around 3000 to around 500 from around 1300 nm to around 1450 nm, stays on the whole from around 1400 nm to around 1500 nm, and falls abruptly from around 1650 nm to around 1700 nm.
  • the spectral intensity of the synthetic sweetener rises from around 0 to over 2500 from 900 nm to around 1300 nm, and falls from around 2500 to around 0 from around 1300 nm to around 1700 nm. More specifically, it falls sharply from around 2500 to around 500 from around 1300 nm to around 1500 nm, and gradually falls from around 1500 nm to around 1700 nm.
  • the single-lens reflex camera 200 captures the three subjects described above and generates NIR-R'G'B 'converted image data
  • the difference in filter set is that the generated NIR-R'G'B' converted image Explain how it affects the data.
  • salt, sugar, and synthetic sweetener are all recognized as white in an RGB image that is a color image generated from a pixel signal in a visible wavelength band.
  • the spectral intensity of the salt covers a wide range of near-infrared wavelength bands. Since salt is reflected relatively uniformly in the near-infrared wavelength band, it is recognized as white even in the NIR-R′G′B ′ converted image.
  • the spectral intensities of sugar and synthetic sweeteners are not significantly different from the spectral intensities of salts from 900 nm to around 1300 nm, but are greatly different from the spectral intensities of salts after around 1300 nm.
  • the NIR-R′G′B ′ converted image is recognized as a blue system color as a whole.
  • an RGB image based on information in the visible wavelength band is based on information in the near-infrared wavelength band, even if it is not possible to distinguish between salt, sugar and synthetic sweeteners.
  • these can be easily color discriminated. Further, it can be expected that the difference in structure of each subject can be easily distinguished by color discrimination.
  • the spectrum intensity waveform of sugar and the spectrum intensity waveform of synthetic sweetener are not the same.
  • the spectral intensity of the synthetic sweetener is larger than the spectral intensity of sugar
  • the spectral intensity of sugar is that of the synthetic sweetener. It is larger than the spectral intensity. Therefore, sugar and synthetic sweetener are recognized as different blue color.
  • a wavelength band including a range from about 1400 nm to about 1700 nm is received by a pixel provided with an IR 3 filter.
  • the salt has a spectral intensity over a wide range in the near-infrared wavelength band, it is recognized as white in the NIR-R′G′B ′ converted image as in the case of using the broad type filter set.
  • the peak wavelengths of the spectral intensities of sugar and synthetic sweetener are around 1300 nm, sugar and synthetic sweeteners are shown in the NIR-R′G′B ′ converted image as in the case of using a broad type filter set. Is recognized as a blue color.
  • the transmission wavelength band is more limited, so that a difference in spectral intensity in a minute band is easily reflected, and as a result, an image that is easy to distinguish colors is obtained.
  • the spectral intensity of sugar decreases at shorter wavelengths than the spectral intensity of synthetic sweeteners, sugar is recognized as purple (blue containing red) in the NIR-R'G'B 'converted image.
  • synthetic sweeteners are recognized as blue-green (blue with more green). Therefore, the user can easily distinguish between sugar and synthetic sweetener as well as salt and sugar and synthetic sweetener.
  • the single-lens reflex camera 200 of the present embodiment even in such a case, it is possible to generate image data that allows easy color discrimination of a plurality of subjects using information in the near-infrared wavelength band. . Furthermore, the single-lens reflex camera 200 can change the combination of wavelength filters according to the subject by appropriately receiving setting information regarding the combination of wavelength filters from the user. Further, as described with reference to FIGS.
  • NIR-R'G'B 'conversion is easy to distinguish colors by focusing on the wavelength band where there is a difference in spectral intensity, rather than using the entire near-infrared wavelength band. Image data can be obtained.
  • FIG. 6 is a diagram for explaining the spectrum of another subject and the NIR-R'G'B 'converted image.
  • the horizontal axis represents wavelength [nm], and the vertical axis represents normalized spectral intensity. Description will be made by taking oil and water as examples of subjects.
  • the solid line shows the spectrum of oil and the broken line shows the spectrum of water. Both oil and water are recognized as colorless and transparent in the RGB image.
  • the oil has a spectral intensity over a wide range of near-infrared wavelength bands. More specifically, the spectral intensity of the oil slightly increases between about 900 nm and 1350 nm between about 1150 nm and about 1200 nm, but generally increases and increases from about 0.1 to about 1 . From around 1350 nm to around 1700 nm, it once rises between around 1410 nm and around 1480 nm, but it is generally lowered and falls from around 1 to around 0.1.
  • the spectral intensity of water rises from a little less than 0.2 to around 1 from 900 nm to around 1100 nm. From around 1100 nm to around 1400 nm, it once rises between around 1150 nm and around 1270 nm, but it is generally lowered and falls from around 1 to around 0.2. From about 1400 nm to about 1700 nm, it is almost flat, and slightly decreases between about 1650 nm and 1700.
  • the difference in filter set is that the generated NIR-R'G'B' converted image Explain how it affects the data.
  • the spectral intensity of oil is relatively wide in the near infrared wavelength band. Therefore, the oil is recognized as a color close to white in the NIR-R′G′B ′ converted image.
  • the spectral intensity of water rapidly rises to around 1100 nm and falls sharply around 1250 nm, so that there is a large difference between the spectral intensity of oil in the band up to around 1100 nm and the band around 1200 nm. Since the spectral intensity corresponding to the wavelength band of the IR 2 filter and the IR 3 filter is relatively small, water is recognized as a blue color in the NIR-R′G′B ′ conversion image.
  • NIR-R′G based on information in the near-infrared wavelength band
  • these can be easily color discriminated.
  • the transmission wavelength band is more limited, and as a result, an image that is easy to be color discriminated is obtained.
  • the spectral intensity also changes depending on the amount of oil and water. Therefore, the difference in the amount of oil and water can be expressed by the color of the NIR-R′G′B ′ converted image. In other words, the amount of oil and water can be detected.
  • FIG. 7 is a cross-sectional view of a main part of another single-lens reflex camera 400.
  • the single-lens reflex camera 400 includes a filter unit 300, an actuator 310, and a rotation shaft 311 in addition to the configuration of the single-lens reflex camera 200 described with reference to FIG.
  • the filter unit 300 is disposed between the focus lens 212 and the zoom lens 213 so as to intersect the optical axis 201.
  • the camera system control unit 245 determines the combination with reference to the table according to the setting by the user. Then, the wavelength filters included in the determined combination are sequentially arranged in the range of the subject luminous flux, and the photographing operation is performed in synchronization with each arrangement.
  • the filter unit 300 includes n types of wavelength filters each having a different wavelength band through which the subject luminous flux passes.
  • n types of wavelength filters each having a different wavelength band through which the subject luminous flux passes.
  • six types of wavelength filters IR 1-6 filters, are provided as wavelength filters.
  • the filter unit 300 since the filter unit 300 includes a wavelength filter, no wavelength filter is formed on each photoelectric conversion of the image sensor 243.
  • the actuator 310 rotates the filter unit 300 around the rotation axis 311.
  • FIG. 8 is a diagram for explaining the configuration of the filter unit 300.
  • 8A is a front view seen from the direction of the optical axis 201
  • FIG. 8B is a side view.
  • the filter unit 300 includes a holding frame 301 that holds the wavelength filter.
  • the holding frame 301 has a circular shape as a whole, and is provided with six openings of approximately the same size as the subject light flux at symmetrical positions that are spaced from each other by 60 degrees about the rotation axis 311.
  • the holding frame 301 is supported so as to be rotatable in the direction of the arrow shown in the drawing.
  • a gear 306 is provided on the entire outer periphery of the holding frame 301. The gear 306 meshes with the drive gear of the actuator 310.
  • the wavelength filter is stretched in each of the six openings. That is, each of the six wavelength filters has approximately the same size as the subject light flux.
  • an IR 1 filter is stretched in the upper center of the six openings, and from there, the IR 2 filter, the IR 3 filter, the IR 4 filter, the IR 5 filter, and the IR 6 filter are clockwise. Each is stretched in turn.
  • the camera system control unit 245 rotates the filter unit 300 by driving the actuator 310 via the lens system control unit 216.
  • any of the IR 1-6 filters can be arranged in the subject luminous flux centered on the optical axis 201.
  • the camera system control unit 245 determines the combination, the camera system control unit 245 controls the driving of the actuator 310 according to the determined combination.
  • an IR 1 filter, an IR 2 filter, and an IR 3 filter are sequentially arranged on the subject luminous flux.
  • the camera system control unit 245 executes an imaging operation in synchronization with each arrangement of the IR 1-3 filters. That is, the imaging operation is executed three times.
  • an IR 4 filter, an IR 5 filter, and an IR 6 filter are sequentially arranged on the subject luminous flux.
  • the camera system control unit 245 executes an imaging operation in synchronization with the arrangement of each IR 4-6 filter.
  • the image processing unit 246 sequentially acquires three pieces of image data corresponding to the filter set from the image sensor 243.
  • IR 1 filter plane image data, IR 2 filter plane image data, and IR 3 filter plane which are image data corresponding to each wavelength band of the IR 1-3 filter Get image data.
  • the image processing unit 246 performs color conversion processing by performing the above-described matrix operation using the IR 1 filter plane image data, the IR 2 filter plane image data, and the IR 3 filter plane image data.
  • IR 4 filter plane image data, IR 5 filter plane image data, and IR 6 filter plane which are image data corresponding to each wavelength band of the IR 4-6 filter Get image data.
  • the image processing unit 246 performs color conversion processing by performing the above-described matrix operation using the IR 4 filter plane image data, the IR 5 filter plane image data, and the IR 6 filter plane image data.
  • pixel signals corresponding to the respective wavelength bands of the IR 1-3 filter or pixel signals corresponding to the respective wavelength bands of the IR 4-6 filter are obtained for all the pixels. Therefore, it is not necessary to perform the above-described interpolation process.
  • the plate part which forms six openings among the holding frames 301 is formed with a non-transmissive member. Furthermore, it is preferable to treat the surface with a light shielding member such as flocked paper. Such measures can be expected to block stray light in the lens barrel.
  • the broad type filter set and the narrow type filter set shown in FIG. 3 are given as examples of the filter set.
  • various other types of filter sets such as the broad type filter set and the narrow type filter set.
  • a narrow type filter set will be described as an example, but the same applies to a broad type filter set.
  • these wavelength bands may be shifted in the long wavelength direction or the short wavelength direction while maintaining the waveform of each wavelength characteristic of the IR 4-6 filter. Further, as shown below, the waveform of the wavelength characteristic may be changed.
  • 9 and 10 are diagrams for explaining other narrow type filter sets.
  • 9 (a) to 9 (d), 10 (a), and 10 (b) show the characteristics of other narrow type filter sets, respectively.
  • the horizontal axis indicates the wavelength [nm]
  • the vertical axis indicates the transmittance [%].
  • the waveform of their wavelength characteristics is generally the same as in the narrow type filter set described in FIG.
  • the wavelength bands are substantially the same and are different from each other.
  • the full width at half maximum of each IR 4-6 filter is substantially the same.
  • the transmittance of the IR 5 filter and the transmittance of the IR 6 filter are reversed from around 800 nm to around 1000 nm. That is, the transmittance of the IR 5 filter is smaller than the transmittance of the IR 6 filter.
  • the transmittance of the IR 4 filter and the transmittance of the IR 5 filter are reversed. That is, the transmittance of the IR 4 filter is larger than the transmittance of the IR 5 filter.
  • the magnitude relationship of the transmittance of the IR 4-6 filter may be reversed in a specific band.
  • the waveforms of their wavelength characteristics are generally the same, and their wavelength bands are different from each other.
  • the half width of the IR 4-6 filter the half width of the IR 4 filter is the largest, and the half width of the IR 5 filter is the smallest.
  • the half widths of the IR 4-6 filters may be different from each other. However, from the viewpoint of suppressing noise components due to gain, it is preferable that the difference in the half-value widths of the IR 4-6 filters is small.
  • the secondary peak wavelength of the IR 6 filter exists at the peak wavelength of the IR 4 filter.
  • the transmittance of the IR 5 filter and the transmittance of the IR 6 filter are reversed from around 700 nm to around 900 nm. That is, the transmittance of the IR 5 filter is smaller than the transmittance of the IR 6 filter.
  • the secondary peak wavelength of the IR 4 filter exists at the peak wavelength of the IR 6 filter.
  • the transmittance of the IR 5 filter and the transmittance of the IR 6 filter are reversed from around 1300 nm to around 1500 nm. That is, the transmittance of the IR 5 filter is smaller than the transmittance of the IR 6 filter.
  • each of the IR 4-6 filters may have a secondary peak wavelength at the peak wavelength of the other IR filters. Furthermore, the magnitude relationship of the transmittance of the IR 4-6 filter may be reversed in a specific band.
  • the transmittance at the intersection of the IR 4 filter and the IR 5 filter, and the transmittance at the intersection of the IR 5 filter and the IR 6 filter Is different.
  • the difference in transmittance at each intersection is small.
  • the waveforms of their wavelength characteristics are generally the same, and their wavelength bands are different from each other.
  • the half width of the IR 4-6 filter the half width of the IR 4 filter is the largest, and the half width of the IR 5 filter is the smallest.
  • the transmittance of the IR 5 filter and the transmittance of the IR 6 filter are reversed from around 850 nm to around 920 nm, and further reversed again from around 750 nm to around 850 nm.
  • the transmittance of the IR 5 filter is smaller than that of the IR 6 filter, and from around 750 nm to around 850 nm, the transmittance of the IR 5 filter is more than that of the IR 6 filter. Is also getting bigger.
  • the magnitude relationship of the transmittance of the IR 4-6 filter may be reversed a plurality of times.
  • the shortest wavelength having a transmittance of 1% or more in the wavelength filter on the shortest wavelength side is X1
  • the transmittance in the wavelength filter on the longest wavelength side is 1% or more.
  • X2 is defined as the effective wavelength band
  • the range of X1 to X2 is defined as the effective wavelength band. Since the spectral component outside the effective wavelength band becomes a noise component when generating the image data, it is preferably removed.
  • FIG. 11 is a diagram illustrating a method for removing components outside the effective wavelength band.
  • FIG. 11A shows the characteristics of a narrow type filter set. The horizontal axis indicates the wavelength [nm], and the vertical axis indicates the transmittance [%]. As shown in the figure, the IR 6 filter has a transmittance of more than 1% near 1450 nm to 1650 nm, that is, outside the effective wavelength band (see the ellipse a1 portion).
  • FIG. 11B shows the characteristics of the bandpass filter. The horizontal axis indicates the wavelength [nm], and the vertical axis indicates the transmittance [%]. The bandpass filter is set according to the effective wavelength band shown in FIG.
  • the bandpass filter passes a wavelength band from about 650 nm to about 1400 nm.
  • FIG. 11C shows the characteristics of a narrow type filter set after the band-pass filter shown in FIG. 11B is applied. As shown in the figure, the transmittance of the IR 6 filter is sufficiently reduced by the band-pass filter from around 1450 nm to around 1650 nm, that is, outside the effective wavelength band (see the ellipse a2 portion). As described above, the noise component can be removed by using the bandpass filter corresponding to the effective wavelength band.
  • the range between the shortest wavelength X1 having a transmittance of 1% or more in the wavelength filter on the shortest wavelength side and the longest wavelength X2 having a transmittance of 1% or more on the wavelength filter on the longest wavelength side is not limited to this range.
  • the shortest wavelength having a transmittance of 5% or more in the wavelength filter on the shortest wavelength side is X1
  • the longest wavelength having a transmittance of 5% or more in the wavelength filter on the longest wavelength side is X2
  • a range from X1 to X2 May be the effective wavelength band.
  • the wavelength filter that mainly passes the wavelength band on the short wavelength side of the near infrared is exemplified as the wavelength filter, but a wavelength filter that passes the wavelength band on the long wavelength side can also be used. . An example of this will be described below.
  • FIG. 12 is a diagram for explaining the near-infrared spectrum of the six components. Specifically, the spectra of soybean, rice, protein, starch, water, and lipid in the range of 1100 nm to 2500 nm are shown. The horizontal axis indicates the wavelength [nm], and the vertical axis indicates the absorbance.
  • the peak wavelength of water is about 1935 nm. Therefore, water in the subject can be detected by using a wavelength filter that passes a wavelength band near 1935 nm, for example, a range of 1900 nm to 2100 nm, as the wavelength filter.
  • a wavelength filter that passes a wavelength band excluding a wavelength band around 1935 nm for example, a range of 1600 nm to 1800 nm, the influence of light absorption by water in the subject is suppressed, and NIR-R ′ that is easy to distinguish colors.
  • G′B ′ converted image data can be generated.
  • the peak wavelengths of the lipids are about 2305 nm and about 2345 nm. Therefore, lipids in the subject can be detected by using a wavelength filter that passes a wavelength band around 2305 nm and around 2345 nm, for example, a range of 2200 nm to 2400 nm, as the wavelength filter.
  • NIR-R′G′B ′ converted image data that is easy to distinguish colors is generated by using a wavelength band in which the difference in spectrum of each subject is relatively large.
  • NIR-R′G′B ′ converted image data that can be easily color- discriminated can be generated by using a band excluding a band where the influence of light absorption is large.
  • the camera system control unit 245 determines the combination with reference to the table. However, the combination may be determined according to the selection of any m types of wavelength filters by the user.
  • the camera system control unit 245 may analyze the subject by pre-capture and automatically determine a combination according to the analysis result.
  • the camera system control unit 245 may select a broad type filter set when the spectrum of the subject is not specified.
  • the image processing unit 246 generates NIR-R′G′B ′ converted image data using a pixel signal of a pixel associated with a wavelength filter belonging to one of a broad type and a narrow type. Also good.
  • the pixel value of the pixel associated with the other is used as the second process.
  • NIR-R′G′B ′ converted image data may be generated.
  • the reading control unit of the image sensor 243 may read only the pixel signal corresponding to one of the broad type and the narrow type and output the pixel signal to the image processing unit 246 instead of reading the pixel signals of all the pixels. .
  • the image processing unit 246 may add pixel signals of a plurality of pixels associated with wavelength filters in different wavelength bands. For example, the pixel signal of the pixel associated with the wavelength filter whose wavelength band is in the range of 1100 nm to 1500 nm and the pixel signal of the pixel associated with the wavelength filter whose wavelength band is in the range of 1300 nm to 1700 nm are added. . Then, the pixel signal of the pixel associated with the wavelength filter whose wavelength band is in the range of 1100 nm to 1700 nm can be obtained approximately. Thereby, the kind of wavelength filter can be increased substantially.
  • the IR 1-6 filter that passes the near-infrared wavelength band is used as the wavelength filter, but a filter that passes the wavelength band on the longer wavelength side than the near-infrared may be used. A filter on the shorter wavelength side than the wavelength band may be used.
  • the image sensor 243 is appropriately determined so as to have sensitivity in the wavelength band of the wavelength filter used. Further, the imaging element 243 may be provided with a near-infrared wavelength filter and an RGB color filter mixedly.
  • each of the broad type and narrow type filter sets includes three wavelength filters having different wavelength bands, but may include four filter sets having different wavelength bands.
  • a broad type and a narrow type three or more types may be used.
  • a standard type filter set having a wavelength bandwidth between a broad type and a narrow type may be provided.
  • the type of filter set may be one, and in this case, the filter set includes four or more wavelength filters having different wavelength bands.
  • the image processing unit 246 can generate NIR-R′G′B ′ converted image data using pixel signals of pixels corresponding to at least three of the four or more wavelength filters.
  • each image sensor 243 is arranged, but a plurality of image sensors 243 may be arranged according to the number of wavelength filters. If the above-mentioned example is used, six image sensors 243 will be arranged. Each of the six image pickup devices 243 is formed with a single different IR filter among the IR 1-6 filters. By guiding the subject light flux to each of the six image sensors 243, pixel signals in six wavelength bands can be obtained for all pixels. Specifically, five half mirrors and one of the six image sensors 243 are arranged along the optical axis, and the remaining five image sensors 243 correspond to each of the five half mirrors. What is necessary is just to arrange
  • a single-lens reflex camera has been described as an example of an imaging apparatus.
  • the above-described aspect is not limited to a single-lens reflex camera and can be applied to various imaging apparatuses.
  • the present invention can be applied to medical devices, food inspection devices, and the like.
  • a wavelength filter that passes a non-visible wavelength band is taken as an example, but the same applies to a wavelength filter that passes a visible wavelength band.
  • a wavelength filter having a narrow wavelength band for passing the subject light flux it is preferable to use a wavelength filter having a narrow wavelength band for passing the subject light flux.
  • 200 single lens reflex camera 201 optical axis, 210 lens unit, 211 lens group, 212 focus lens, 213 zoom lens, 214 aperture, 216 lens system control unit, 217 lens barrel, 218 lens mount, 230 camera unit, 231 camera mount 232 main mirror, 233 rotation axis, 234 focus plate, 235 pentaprism, 236 eyepiece optical system, 237 AE sensor, 238 sub mirror, 239 AF optical system, 240 AF sensor, 241 focal plane shutter, 243 image sensor, 244 main substrate 245 Camera system control unit 246 Image processing unit 247 Display unit 248 Secondary battery 249 Camera memory 300 Filter unit 301 Holding frame 306 gear, 310 actuator, 311 rotary shaft, 400 single-lens reflex camera

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Human Computer Interaction (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Optical Filters (AREA)

Abstract

　６００ｎｍから２５００ｎｍの波長帯域に受光感度を有する複数の光電変換部と、被写体光束を通過させる波長帯がそれぞれ異なり、かつ、それぞれが通過させる波長帯域が受光感度を有する波長帯域を含むｎ種類（ｎは４以上の自然数）の波長フィルタと、複数の光電変換部のうち予め定められた条件によって組合せが決定されるｍ種類（ｍは３以上ｎ未満の自然数）の波長フィルタのいずれかを通過した被写体光束を受光した光電変換部から出力された画素信号を用いて画像データを生成する画像データ生成部とを備え、ｍ種類の波長フィルタのそれぞれの波長帯域のうち最も短波長側の波長帯域と最も長波長側の波長帯域とが重複し、かつ、ｍ種類の波長フィルタのそれぞれが通過させる波長帯域が予め決定される有効波長帯域を含むように組合せが決定される撮像装置を提供する。

Description

撮像装置および画像データ生成プログラム
　本発明は、撮像装置および画像データ生成プログラムに関する。
　互いに中心波長が異なる非可視の３波長帯のそれぞれを可視の３原色（ＲＧＢ）に割り当てる撮像システムが知られている。
［先行技術文献］
［特許文献］
　　［特許文献１］国際公開番号ＷＯ２００７／０８３４３７号公報
　この種の撮像システムが、特定の波長帯域を反射する被写体を、当該特定の波長帯域を含む、より広い波長帯域を通過させる波長フィルタを用いて撮像した場合に、特定の波長帯域内の微小帯域でのスペクトルの強弱は画像に反映され難くなる。結果として、被写体画像における色弁別が困難になる場合がある。一方で、撮像システムが、特定の波長帯域を反射する被写体を、当該特定の波長帯域内の一部の波長帯域のみを通過させる波長フィルタを用いて撮像した場合に、一部の波長帯域の被写体光束しか画像に反映させることができなくなる。この場合にも、結果として、被写体画像における色弁別が困難になる場合がある。
　本発明の第１の態様における撮像装置は、６００ｎｍから２５００ｎｍの波長帯域に受光感度を有し、被写体光束を受光して画素信号を出力する複数の光電変換部と、被写体光束を通過させる波長帯域がそれぞれ異なり、かつ、それぞれが通過させる波長帯域が受光感度を有する波長帯域を含むｎ種類（ｎは４以上の自然数）の波長フィルタと、複数の光電変換部のうち、予め定められた条件によって組合せが決定されたｍ種類（ｍは３以上ｎ未満の自然数）の波長フィルタのいずれかを通過した被写体光束を受光した光電変換部から出力された画素信号を用いて画像データを生成する画像データ生成部とを備え、ｍ種類の波長フィルタのそれぞれの波長帯域のうち、最も短波長側の波長帯域と最も長波長側の波長帯域とが重複し、かつ、ｍ種類の波長フィルタのそれぞれが通過させる波長帯域が予め決定される有効波長帯域を含むように組合せが決定される。
　本発明の第２の態様における画像データ生成プログラムは、６００ｎｍから２５００ｎｍの波長帯域に受光感度を有し、被写体光束を受光して画素信号を出力する複数の光電変換部と、被写体光束を通過させる波長帯域がそれぞれ異なり、かつ、それぞれが通過させる波長帯域が受光感度を有する波長帯域を含むｎ種類（ｎは４以上の自然数）の波長フィルタとを備える撮像装置に用いられる画像データ生成プログラムであって、複数の光電変換部のうち、予め定められた条件によって組合せが決定されたｍ種類（ｍは３以上ｎ未満の自然数）の波長フィルタを選択する選択ステップと、ｍ種類の波長フィルタのいずれかを通過した被写体光束を受光した光電変換部から出力された画素信号を用いて画像データを生成する画像データ生成ステップとをコンピュータに実行させ、ｍ種類の波長フィルタのそれぞれの波長帯域のうち、最も短波長側の波長帯域と最も長波長側の波長帯域とが重複し、かつ、ｍ種類の波長フィルタのそれぞれが通過させる波長帯域が予め決定される有効波長帯域を含むように組合せが決定される。
　なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係る一眼レフカメラの要部断面図である。 撮像素子の各光電変換部上に配置された波長フィルタを説明する図である。 フィルタセットの種類を説明する図である。 フィルタセットに含まれる波長フィルタの条件を説明する図である。 被写体のスペクトルとＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像を説明する図である。 他の被写体のスペクトルとＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像を説明する図である。 他の一眼レフカメラの要部断面図である。 フィルタユニットの構成を説明する図である。 他のナロータイプのフィルタセットを説明する図である。 他のナロータイプのフィルタセットを説明する図である。 有効帯域外の成分を除去する方法を説明する図である。 ６つの成分の近赤外におけるスペクトルを説明する図である。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は請求の範囲にかかる発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、本実施形態に係る一眼レフカメラ２００の要部断面図である。一眼レフカメラ２００は、撮影レンズであるレンズユニット２１０とカメラボディであるカメラユニット２３０とが組み合わされて撮像装置として機能する。
　レンズユニット２１０は、光軸２０１に沿って配列されたレンズ群２１１を備える。レンズ群２１１には、フォーカスレンズ２１２、ズームレンズ２１３が含まれる。また、光軸２０１に沿って、絞り２１４も配列される。
　レンズユニット２１０は、フォーカスレンズ２１２および絞り２１４の駆動などのレンズユニット２１０の制御および演算を司るレンズシステム制御部２１６を備える。レンズシステム制御部２１６は、後述するカメラシステム制御部２４５からの制御信号を受けて各種動作を実行する。レンズユニット２１０を構成する各要素は、レンズ鏡筒２１７に支持されている。
　また、レンズユニット２１０は、カメラユニット２３０との接続部にレンズマウント２１８を備え、カメラユニット２３０が備えるカメラマウント２３１と係合して、カメラユニット２３０と一体化する。レンズマウント２１８およびカメラマウント２３１はそれぞれ、機械的な係合部の他に電気的な接続部も備え、カメラユニット２３０からレンズユニット２１０への電力の供給および相互の通信を実現している。
　カメラユニット２３０は、レンズユニット２１０から入射される被写体像を反射するメインミラー２３２と、メインミラー２３２で反射された被写体像が結像するピント板２３４を備える。メインミラー２３２は、回転軸２３３周りに回転して、光軸２０１を中心とする被写体光束中に斜設される状態と、被写体光束から退避する状態を取り得る。ピント板２３４側へ被写体像を導く場合には、メインミラー２３２は被写体光束中に斜設される。また、ピント板２３４は、撮像素子２４３の受光面と共役の位置に配置されている。
　ピント板２３４で結像した被写体像は、ペンタプリズム２３５で正立像に変換され、接眼光学系２３６を介してユーザに観察される。また、ペンタプリズム２３５の射出面上方にはＡＥセンサ２３７が配置されており、被写体像の輝度分布を検出する。
　斜設状態におけるメインミラー２３２の光軸２０１の近傍領域は、ハーフミラーとして形成されており、入射される光束の一部が通過する。通過した光束は、メインミラー２３２と連動して動作するサブミラー２３８で反射されて、ＡＦ光学系２３９へ導かれる。ＡＦ光学系２３９を通過した被写体光束は、ＡＦセンサ２４０へ入射される。ＡＦセンサ２４０は、受光した被写体光束から位相差信号を検出する。本実施形態においては、ＡＦセンサ２４０は、近赤外でピントを合わせるように構成されている。なお、サブミラー２３８は、メインミラー２３２が被写体光束から退避する場合は、メインミラー２３２に連動して被写体光束から退避する。
　斜設されたメインミラー２３２の後方には、光軸２０１に沿って、フォーカルプレーンシャッタ２４１、撮像素子２４３が配列されている。フォーカルプレーンシャッタ２４１は、撮像素子２４３へ被写体光束を導くときに開放状態を取り、その他のときに遮蔽状態を取る。
　撮像素子２４３は、例えばＣＭＯＳセンサなどの近赤外用の光電変換素子であり、受光面で結像した被写体像を画素信号に変換する。撮像素子２４３は、２次元的に配列された複数の画素を有する。複数の画素のそれぞれは、被写体光束を受光して画素信号を出力する光電変換部と、当該光電変換部に対応して設けられた波長フィルタとを備える。波長フィルタの詳細は後述する。撮像素子２４３として、ＩｎＧａＡｓ系材料を含む撮像素子を用いることができる。本実施形態においては、撮像素子２４３の光電変換部は、近赤外の帯域である８００ｎｍから２５００ｎｍのうち、９００ｎｍから１７００ｎｍの波長帯域に感度を有する。なお、撮像素子２４３は、他の材料を用いることにより、可視の帯域の一部を含む６００ｎｍから２５００ｎｍの波長帯域に受光感度を有することができる。
　メイン基板２４４に搭載された画像処理部２４６は、カメラシステム制御部２４５からの指令に従って、撮像素子２４３で光電変換された画素信号を画像データに処理する。画像処理部２４６とカメラシステム制御部２４５は、協働して、複数の光電変換部のうち、ｍ種類の波長フィルタのいずれかを通過した被写体光束を受光した光電変換部から出力された画素信号を用いて画像データを生成する画像データ生成部の役割を担う。ここで、ｍは３以上ｎ未満の自然数であり、ｎは４以上の自然数である。詳しくは後述するが、ｍ種類の波長フィルタは、予め定められた条件によって組合せが決定される。また、詳しくは後述するが、画像処理部２４６は、近赤外（すなわち非可視）の波長帯域の画素信号を可視の波長帯域の画素信号に変換してフルカラーの画像データを生成する。本明細書では、このようなカラー画像データを「ＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像データ」と記し、当該カラー画像データを基に表示されるカラー画像、すなわち、可視の表示系に変換されたカラー画像を「ＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像」と記す場合がある。
　メイン基板２４４に搭載されたカメラメモリ２４９は、一眼レフカメラ２００を制御するプログラム、各種パラメータなどを記録する。カメラメモリ２４９は、予め定められた条件として、後述する条件を満たす波長フィルタの組合せに関する情報を記憶する。本実施形態においては、カメラメモリ２４９は、後述するブロードタイプのフィルタセットに含まれる波長フィルタを示す情報、およびナロータイプのフィルタセットに含まれる波長フィルタを示す情報をテーブルとして記憶している。
　メイン基板２４４には、さらに、カメラユニット２３０のシステムを統合的に制御するＭＰＵであるカメラシステム制御部２４５が搭載されている。カメラシステム制御部２４５は、カメラシーケンスを管理すると共に、各構成要素の入出力処理等を行う。また、カメラシステム制御部２４５は、ユーザの指定を受け付ける受付部の役割を担う。
　カメラユニット２３０の背面には、液晶モニタ等による表示部２４７が配設されている。画像処理部２４６で処理された画像データ、すなわちＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像データは、表示部２４７に送信されて表示される。ユーザは、表示部２４７に表示されたＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像を見ることができる。表示部２４７には、各種設定のためのメニュー画面も表示される。ユーザは、表示部２４７に表示されたメニュー画面を確認しながら、操作部材を介して波長フィルタの組合せを選択することができる。また、カメラユニット２３０には、着脱可能な二次電池２４８が収容され、カメラユニット２３０に限らず、レンズユニット２１０にも電力を供給する。
　図２は、撮像素子２４３の各光電変換部上に配置された波長フィルタの説明図である。波長フィルタの種類は４種類以上である。本実施形態においては、波長フィルタの種類は６種類である。各種の波長フィルタにおける、被写体光束を通過させる波長帯域は、互いに異なる。各種の波長フィルタは、近赤外に被写体光束を通過させる波長帯域を有する。各種の波長フィルタは、複数の光電変換部に１対１に対応して、複数の光電変換部の受光面に設けられている。本実施形態においては、図示されるように、ＩＲ１フィルタ、ＩＲ２フィルタ、ＩＲ３フィルタ、ＩＲ４フィルタ、ＩＲ５フィルタ、およびＩＲ６フィルタのいずれかが、各光電変換部上に設けられている。より詳細には、ＩＲ１フィルタ、ＩＲ２フィルタ、およびＩＲ３フィルタがこの順序で繰り返し配置された行と、ＩＲ４フィルタ、ＩＲ５フィルタ、およびＩＲ６フィルタがこの順序で繰り返し配置された行とが、列方向に交互に設けられている。なお、波長フィルタの配列は、本例に限られない。
　本明細書では、上述の６つのフィルタを特に区別しない場合、つまり任意の１つを示す場合に、単に「ＩＲフィルタ」と記す場合がある。６つのフィルタを纏めて示す場合には、「ＩＲ１－６フィルタ」と記す場合がある。また、ＩＲ１フィルタ、ＩＲ２フィルタ、およびＩＲ３フィルタの３つのフィルタを纏めて示す場合には、「ＩＲ１－３フィルタ」と記し、ＩＲ４フィルタ、ＩＲ５フィルタ、およびＩＲ６フィルタの３つのフィルタを纏めて示す場合には、「ＩＲ４－６フィルタ」と記す場合がある。
　詳しくは後述するが、ＩＲ１フィルタ、ＩＲ２フィルタ、およびＩＲ３フィルタは、後述する条件を満たす組合せであり、本明細書では、この組合せをブロードタイプのフィルタセットと記す。同様に、ＩＲ４フィルタ、ＩＲ５フィルタ、およびＩＲ６フィルタは、後述する条件を満たす組合せであり、本明細書では、この組合せをナロータイプのフィルタセットと記す。ＩＲ１－３フィルタのそれぞれは、互いに異なる可視の波長帯域に対応付けられる。同様に、ＩＲ４－６フィルタのそれぞれは、互いに異なる可視の波長帯域に対応付けられる。本実施形態においては、ＩＲ１フィルタおよびＩＲ４フィルタの波長帯域は青色波長帯域に対応付けられ、ＩＲ２フィルタおよびＩＲ５フィルタの波長帯域は緑色波長帯域に対応付けられ、ＩＲ３フィルタおよびＩＲ６フィルタの波長帯域は赤色波長帯域に対応付けられる。
　各画素が感度を有する波長帯域は、それぞれに設けられたＩＲフィルタによって規制される。規制される波長帯域の詳細は後述する。撮像素子２４３の全体としては、２次元的に配列された複数の画素のそれぞれが離散的にＩＲ１－６フィルタのいずれかを備えることになる。したがって、撮像素子２４３は、入射する被写体光束をそれぞれの波長帯域に分離して検出すると言える。換言すれば、撮像素子２４３は、受光面に結像する被写体像を近赤外の６つの波長帯域に分離して光電変換する。
　本実施形態においては、ブロードタイプおよびナロータイプのどちらのフィルタセットを使用するか、すなわち、どちらのフィルタセットに対応する画素の画素信号を用いるかは、ユーザにより予め設定されている。カメラシステム制御部２４５は、設定に従って、テーブルを参照して組合せを決定する。すなわち、どちらのフィルタセットに対応する画素の画素信号を用いるかを決定する。その後、画像処理部２４６は、カメラシステム制御部２４５により決定された組合せに従って、全画素の画素信号のうち、ブロードタイプのフィルタセットおよびナロータイプのフィルタセットのいずれか一方に対応する画素の画素信号を用いて、ＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像データを生成する。この場合に、他方のフィルタセットに対応する画素の画素値は、一旦除去された上で、周辺画素の画素値を用いて補間処理により算出される。なお、画像処理部２４６は、全画素の画素信号を受信してもよいし、決定されたフィルタセットに対応する画素の画素信号のみを受信してもよい。
　図３は、フィルタセットの種類を説明する図である。図３（ａ）は、ブロードタイプのフィルタセットの特性を示し、図３（ｂ）は、ナロータイプのフィルタセットの特性を示す。図３（ａ）、図３（ｂ）において、横軸は波長［ｎｍ］を示し、縦軸は透過率［％］を示す。図３（ａ）において、実線はＩＲ１フィルタの波長特性を示し、破線はＩＲ２フィルタの波長特性を示し、一点鎖線はＩＲ３フィルタの波長特性を示す。図３（ｂ）において、実線はＩＲ４フィルタの波長特性を示し、破線はＩＲ５フィルタの波長特性を示し、一点鎖線はＩＲ６フィルタの波長特性を示す。透過率が高い波長の光ほど、光電変換部を構成するフォトダイオードに到達することを表す。
　図３（ａ）に示すように、ＩＲ１フィルタ、ＩＲ２フィルタ、およびＩＲ３フィルタにおいては、それらの波長特性の波形は全体的に略同一であり、かつ、それらの透過波長帯域は互いに異なる。ＩＲ１－３フィルタのそれぞれの半値幅は実質的に同一である。なお、実質的に同一とは、ＩＲ１－３フィルタの製造誤差等により、厳密には同一にならないものの、その差が微差であり、同一とみなせる場合を含む。以上のように、ＩＲ１－３フィルタのそれぞれの波長特性の波形が全体的に等しければ、後述する色変換処理を施す場合に、ゲインによるノイズ成分を抑制することができる。また、ＩＲ１フィルタはＩＲ１－３フィルタの中で最も短波長側にピークを有し、そのピーク波長Ｐ１は約１０８０ｎｍである。なお、ピーク波長Ｐ１は、ＩＲ１フィルタにおける半値幅の中央の波長である。ＩＲ２フィルタはＩＲ１フィルタのピークとＩＲ３フィルタのピークとの間にピークを有し、そのピーク波長Ｐ２は約１３３０ｎｍである。ＩＲ３フィルタはＩＲ１－３フィルタの中で最も長波長側にピークを有し、そのピーク波長Ｐ３は約１６００ｎｍである。ブロードタイプのフィルタセットは、ＩＲ１フィルタ、ＩＲ２フィルタ、およびＩＲ３フィルタによって、光電変換部の感度帯である９００ｎｍから１７００ｎｍの全域をカバーする。
　図３（ｂ）に示すように、ＩＲ４フィルタ、ＩＲ５フィルタ、およびＩＲ６フィルタにおいては、それらの波長特性の波形は全体的に略同一であり、かつ、それらの波長帯域は互いに異なる。ＩＲ４－６フィルタのそれぞれの半値幅は実質的に同一である。実質的に同一の意味は、既に説明した通りである。また、ＩＲ４フィルタはＩＲ４－６フィルタの中で最も短波長側にピークを有し、そのピーク波長Ｐ４は約１２８０ｎｍである。ＩＲ５フィルタはＩＲ４フィルタのピークとＩＲ６フィルタのピークとの間にピークを有し、そのピーク波長Ｐ５は約１４３０ｎｍである。ＩＲ６フィルタはＩＲ４－６フィルタの中で最も長波長側にピークを有し、そのピーク波長Ｐ６は約１５８０ｎｍである。
　図示されるように、ナロータイプのフィルタセットに含まれる各ＩＲ４－６フィルタの波長帯域幅は、ブロードタイプのフィルタセットに含まれる各ＩＲ１－３フィルタの波長帯域幅よりも狭い。例えば、半値幅を比較すると、ＩＲ１フィルタの半値幅ｗｂｒｏａｄが３００ｎｍ程度であるのに対し、ＩＲ４フィルタの半値幅ｗｎａｒｒｏｗは１５０ｎｍ程度である。ナロータイプのフィルタセットは、９００ｎｍから１７００ｎｍのうち特定の範囲をカバーする。本実施形態においては、ＩＲ４フィルタ、ＩＲ５フィルタ、およびＩＲ６フィルタによって、１１００ｎｍ付近から１８００ｎｍ付近の範囲をカバーする。
　図４は、フィルタセットに含まれる波長フィルタの条件を説明する図である。横軸は波長［ｎｍ］を示し、縦軸は透過率［％］を示す。ここでは、ナロータイプのフィルタセットを例に挙げて説明するが、ブロードタイプのフィルタセットに対しても同様のことが言える。
　上述したように、画像処理部２４６は、近赤外の波長帯域の画素信号を可視の波長帯域の画素信号に変換する。このとき、ＩＲ４－６フィルタの波長帯域のそれぞれが離散的であれば、ナロータイプのフィルタセットがカバーする波長帯域において、被写体情報を取得できない帯域が存在することになる。そうすると、画像処理部２４６がＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像データを生成する場合に、正確に色を表現することは困難である。
　本実施形態においては、図示されるように、互いに隣り合う波長帯域であるＩＲ４フィルタとＩＲ５フィルタ、および、ＩＲ５フィルタとＩＲ６フィルタは十分な重なり部分を有している。互いに隣り合う波長帯域の交点ｐ１、ｐ２においては、透過率が５０％以上であることが好ましい。また、ＩＲ４－６フィルタのそれぞれの半値幅をｗ１、ｗ２、ｗ３とする場合に、下記の条件を満足することが好ましい。なお、Ｐ４－Ｐ６のそれぞれは、既に説明した通り、ピーク波長を示す。
　（Ｐ５－Ｐ４）≦ｗ１，ｗ２
　（Ｐ６－Ｐ５）≦ｗ２，ｗ３
　一方、ＩＲ４フィルタの波長帯域とＩＲ６フィルタの波長帯域も、離散することなく、多少の重なり部分を有している。換言すると、ナロータイプのフィルタセットのそれぞれの波長帯域のうち、最も短波長側の波長帯域の一部と、最も長波長側の波長帯域の一部とが、互いに重複している。なお、最も短波長側とは、ピーク波長が最も短波長側であることを示し、最も長波長側とは、ピーク波長が最も長波長側であることを示す。したがって、ＩＲ４フィルタの波形とＩＲ６フィルタの波形との交点ｐ３が存在している。この交点ｐ３における透過率は、１０％以上であることが望ましい。さらに、ＩＲ４－６フィルタのそれぞれの波形では、透過率が２０％以下の領域において、緩やかに傾斜して延伸する裾部分が設けられている。さらに、ＩＲ４フィルタとＩＲ６フィルタの間にあるＩＲ５フィルタも同様に、ＩＲ４フィルタ、ＩＲ６フィルタとそれぞれ重複している。したがって、ＩＲ４－６フィルタのそれぞれは、より広範囲の波長帯域にわたって互いに重複することになる。ＩＲ４フィルタにおける１％以上の透過率を有する最も短波長側の波長をＸ１、ＩＲ６フィルタにおける１％以上の透過率を有する最も長波長側の波長をＸ２とする場合に、Ｘ１からＸ２の範囲である有効波長帯域において、ＩＲ４－６フィルタは全て１％以上の透過率を有することが好ましい。結果として、ＩＲ４フィルタが設けられた画素は、波長帯域１１１と共に波長帯域１１２にもある程度の感度を有し、さらに波長帯域１１３にも多少の感度を有することになる。同様に、ＩＲ６フィルタが設けられた画素は、波長帯域１１３と共に波長帯域１１２にもある程度の感度を有し、さらに波長帯域１１１にも多少の感度を有する。ＩＲ５フィルタが設けられた画素は、波長帯域１１２と共に波長帯域１１１にも波長帯域１１３にもある程度の感度を有する。
　以上の説明では、縦軸に透過率、すなわち波長フィルタ単独の特性を示したが、縦軸を分光感度に置き換えても同様のことが言える。例えば、波長フィルタと光電変換部の組合せにより定まる分光感度が、互いに隣り合う波長帯域の交点ｐ１、ｐ２において５０％以上であってもよいし、有効波長帯域において１％以上であってもよい。
　画像処理部２４６は、ＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像データを生成するに当たり、ＩＲ４－６フィルタのそれぞれを互いに異なる可視の波長帯域に対応付けるだけでなく、ＩＲ４－６フィルタのそれぞれの波長帯域の画素信号を用いて、可視の波長帯域の画素信号に変換する。例えば、ＩＲ４フィルタの波長帯域の画素信号を、当該画素信号に加えてＩＲ５フィルタの波長帯域の画素信号およびＩＲ６フィルタの波長帯域の画素信号を用いて、可視の波長帯域の画素信号に変換する。このように、ＩＲ４－６フィルタの全ての波長帯域の画素信号を用いることにより、分解能の高い色表現をすることができる。一例として、画像処理部２４６は、以下に示すように、マトリクス演算を施すことにより色変換処理を行う。なお、Ｒ'、Ｇ'、およびＢ'のそれぞれは、近赤外から可視へ変換後の画素信号を示し、ＮＩＲ１はＩＲ４フィルタの波長帯域の画素信号を示し、ＮＩＲ２はＩＲ５フィルタの波長帯域の画素信号を示し、ＮＩＲ３はＩＲ６フィルタの波長帯域の画素信号を示す。ａ１、ａ２、ａ３、ｂ１、ｂ２、ｂ３、ｃ１、ｃ２、ｃ３は色変換用の係数である。
　Ｒ' ＝ ａ１× ＮＩＲ１ ＋ｂ１× ＮＩＲ２ ＋ｃ１×ＮＩＲ３
　Ｇ' ＝ ａ２× ＮＩＲ１ ＋ｂ２× ＮＩＲ２ ＋ｃ２×ＮＩＲ３
　Ｂ' ＝ ａ３× ＮＩＲ１ ＋ｂ３× ＮＩＲ２ ＋ｃ３×ＮＩＲ３
　上記式において、ＩＲ４－６フィルタが設けられた画素に感度があると、Ｒ'Ｇ'Ｂ'をＮＩＲ１－３の全てを用いて変換することができるので、ＩＲ４－６フィルタのそれぞれの波長帯域が重複する範囲が広いほど、より多色での色表現が可能になる。
　色表現の分解能を高めるために、上述したように、有効波長帯域においてＩＲ４－６フィルタは全て１％以上の透過率を有することが好ましいが、少なくとも、最も短波長側であるＩＲ４フィルタの波長帯域のピーク波長において、最も長波長側であるＩＲ６フィルタの波長帯域が重複していてもよい。具体的には、ＩＲ４フィルタの波長帯域のピーク波長である約１２８０ｎｍにおいて、ＩＲ６フィルタが１％以上の透過率を有する。一方、少なくとも、最も長短波長側であるＩＲ６フィルタの波長帯域のピーク波長において、最も短波長側であるＩＲ４フィルタの波長帯域が重複していてもよい。具体的には、ＩＲ６フィルタの波長帯域のピーク波長である約１５８０ｎｍにおいて、ＩＲ４フィルタが１％以上の透過率を有する。このような組み合わせでも、ＩＲ４－６フィルタは、少なくともそれぞれのピーク波長を含む範囲の波長帯域にわたって互いに重複するので、多色での色表現が可能になる。
　図５は、被写体のスペクトルとＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像を説明する図である。横軸は波長［ｎｍ］を示し、縦軸はスペクトル強度を示す。被写体として塩、砂糖、合成甘味料を例に挙げて説明する。実線は塩のスペクトルを示し、一点鎖線は砂糖のスペクトルを示し、二点鎖線は合成甘味料のスペクトルを示す。
　図示されるように、塩は、近赤外の波長帯域の広範囲にわたってスペクトル強度を有している。より詳細には、塩のスペクトル強度は、９００ｎｍから１３００ｎｍ付近にかけて０付近から３０００強まで上昇し、１３００ｎｍ付近から１７００ｎｍ付近にかけて３０００強から０付近まで下降する。特に、１３００ｎｍ付近から１６００ｎｍ付近にかけて３０００強から２０００付近まで緩やかに下降し、１６００ｎｍ付近から急激に下降する。
　砂糖のスペクトル強度は、９００ｎｍから１３００ｎｍ付近にかけて０付近から３０００付近まで上昇し、１３００ｎｍ付近から１７００ｎｍ付近にかけて３０００付近から０付近まで下降する。より詳細には、１３００ｎｍ付近から１４５０ｎｍ付近にかけて３０００付近から５００付近まで急激に下降し、１４００ｎｍ付近から１５００ｎｍ付近にかけて全体的に横ばいで推移し、１６５０ｎｍ付近から１７００ｎｍ付近にかけて急激に下降する。
　合成甘味料のスペクトル強度は、９００ｎｍから１３００ｎｍ付近にかけて０付近から２５００強まで上昇し、１３００ｎｍ付近から１７００ｎｍ付近にかけて２５００強から０付近まで下降する。より詳細には、１３００ｎｍ付近から１５００ｎｍ付近にかけて２５００強から５００付近まで急激に下降し、１５００ｎｍ付近から１７００ｎｍ付近にかけて緩やかに下降する。
　一眼レフカメラ２００が以上説明した３つの被写体を撮像しＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像データを生成する場合に、フィルタセットの違いが、生成されるＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像データにどのような影響を及ぼすかを説明する。なお、塩、砂糖、および合成甘味料は、可視の波長帯域の画素信号から生成されたカラー画像であるＲＧＢ画像においては、全て白色として認識される。
　まず、ブロードタイプのフィルタセットを用いる場合を説明する。上述のように、塩のスペクトル強度は、近赤外の波長帯域の広範囲にわたる。塩は、近赤外の波長帯域において比較的一様に反射するので、ＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像においても白色として認識される。一方、砂糖および合成甘味料のスペクトル強度は、９００ｎｍから１３００ｎｍ付近にかけては塩のスペクトル強度とは大きな差はないものの、１３００ｎｍ付近以降では塩のスペクトル強度とは大きな差がある。ＩＲ２フィルタおよびＩＲ３フィルタの波長帯域に相当するスペクトル強度が相対的に小さいので、ＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像において全体的に青系統の色として認識される。以上のように、可視の波長帯域の情報を基にしたＲＧＢ画像では、塩と、砂糖および合成甘味料とを色弁別することができなくても、近赤外の波長帯域の情報を基にしたＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像では、これらを容易に色弁別することができる。また、色弁別により各被写体の構造の違いも区別し易くなることが期待できる。
　上述のように、砂糖のスペクトル強度の波形と合成甘味料のスペクトル強度の波形とは、同一ではない。例えば、１４００ｎｍ付近から１５００ｎｍ付近の範囲では、合成甘味料のスペクトル強度が砂糖のスペクトル強度よりも大きくなっているのに対し、１５００ｎｍ付近から１７００ｎｍ付近の範囲では、砂糖のスペクトル強度が合成甘味料のスペクトル強度よりも大きくなっている。したがって、砂糖と合成甘味料は、互いに異なる青系統の色として認識される。ただし、ブロードタイプのフィルタセットが使用される場合には、ＩＲ３フィルタが設けられた画素では、１４００ｎｍ付近から１７００ｎｍ付近の範囲を含む波長帯域が受光される。すなわち、１４００ｎｍ付近から１５００ｎｍ付近の範囲、または１５００ｎｍ付近から１７００ｎｍ付近の範囲に絞った波長帯域のみが受光されるわけではない。したがって、上述のような微小な波長帯域でのスペクトル強度の差異は反映され難く、結果として、色弁別し難い画像となる場合がある。
　次に、ナロータイプのフィルタセットを用いる場合を説明する。塩は近赤外の波長帯域の広範囲にわたってスペクトル強度を有しているので、ブロードタイプのフィルタセットを用いる場合と同様に、ＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像においても白色として認識される。また、砂糖および合成甘味料のスペクトル強度のピーク波長は１３００ｎｍ付近であるので、ブロードタイプのフィルタセットを用いる場合と同様に、砂糖および合成甘味料はＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像において全体的に青系統の色として認識される。ただし、ナロータイプのフィルタセットが使用される場合には、透過波長帯域がより制限されるので、微小な帯域でのスペクトル強度の差異が反映され易く、結果として、色弁別し易い画像となる。具体的には、砂糖のスペクトル強度は合成甘味料のスペクトル強度よりも短波長側で低下するので、砂糖はＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像において紫（赤をより含んだ青）として認識され、合成甘味料は青緑（緑をより含んだ青）として認識される。したがって、ユーザは、塩と、砂糖および合成甘味料とを容易に色弁別することはもちろんのこと、砂糖と合成甘味料とを比較的容易に色弁別することができる。
　ユーザが自身の目で複数の被写体を直接見る場合、すなわち複数の被写体を可視の波長帯域で捉える場合には、複数の被写体が同じような色であれば、複数の被写体を色弁別することは困難である。本実施形態の一眼レフカメラ２００によれば、そのような場合であっても、近赤外の波長帯域の情報を用いて、複数の被写体の色弁別が容易な画像データを生成することができる。さらに、一眼レフカメラ２００は、波長フィルタの組合せに関する設定情報をユーザから適宜受け付けることにより、被写体に応じて波長フィルタの組合せを変更することができる。また、図５および図６で説明したように、色弁別の観点から、それぞれの被写体のスペクトルの差が比較的大きな波長帯域の情報を使用することが好ましい。特に、被写体のスペクトルによっては、近赤外の波長帯域の全域を利用するのではなく、スペクトル強度に差が存在する波長帯域に絞ることにより、色弁別し易いＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像データを得ることができる。
　図６は、他の被写体のスペクトルとＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像を説明する図である。横軸は波長［ｎｍ］を示し、縦軸は正規化されたスペクトル強度を示す。被写体として油および水を例に挙げて説明する。実線は油のスペクトルを示し、破線は水のスペクトルを示す。なお、油および水は、ＲＧＢ画像においてどちらも無色透明として認識される。
　図示されるように、油は、近赤外の波長帯域の広範囲にわたってスペクトル強度を有している。より詳細には、油のスペクトル強度は、９００ｎｍから１３５０ｎｍ付近にかけては、１１５０ｎｍ付近から１２００ｎｍ付近の間で若干下降するものの、全体的には上昇しており、０．１付近から１付近まで上昇する。１３５０ｎｍ付近から１７００ｎｍ付近にかけては、１４１０ｎｍ付近から１４８０付近ｎｍの間で一旦上昇するものの、全体的には下降しており、１付近から０．１付近まで下降する。
　水のスペクトル強度は、９００ｎｍから１１００ｎｍ付近にかけて０．２弱から１付近まで上昇する。１１００ｎｍ付近から１４００ｎｍ付近にかけては、１１５０ｎｍ付近から１２７０ｎｍ付近の間で一旦上昇するものの、全体的には下降しており、１付近から０．２付近まで下降する。１４００ｎｍ付近から１７００ｎｍ付近にかけては、略横ばいに推移し、１６５０ｎｍ付近から１７００の間で若干下降する。
　一眼レフカメラ２００が以上説明した２つの被写体を撮像しＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像データを生成する場合に、フィルタセットの違いが、生成されるＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像データにどのような影響を及ぼすかを説明する。
　まず、ブロードタイプのフィルタセットを用いる場合を説明する。上述のように、油のスペクトル強度は、近赤外の波長帯域において比較的広範囲にわたる。したがって、油はＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像において白色に近い色として認識される。一方、水のスペクトル強度は、１１００ｎｍ付近まで急激に上昇し、１２５０ｎｍ付近以降に急激に下降するので、１１００ｎｍ付近までの帯域および１２００ｎｍ付近以降の帯域において油のスペクトル強度とは大きな差がある。ＩＲ２フィルタおよびＩＲ３フィルタの波長帯域に相当するスペクトル強度が相対的に小さいので、水はＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像において全体的に青系統の色として認識される。以上のように、可視の波長帯域の情報を基にしたＲＧＢ画像では、油と水を色弁別することができなくても、近赤外の波長帯域の情報を基にしたＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像では、これらを容易に色弁別することができる。
　次に、ナロータイプのフィルタセットを用いる場合を説明する。油は近赤外の波長帯域において比較的広範囲にわたってスペクトル強度を有しているので、ブロードタイプのフィルタセットを用いる場合と同様に、ＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像において白色に近い色として認識される。水のスペクトル強度においては１２８０ｎｍ付近に最もスペクトル強度が強い帯域が存在するので、ブロードタイプのフィルタセットを用いる場合と同様に、ＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像において全体的に青系統の色として認識される。さらに、上述したように、ナロータイプのフィルタセットが使用される場合には、透過波長帯域がより制限されるので、結果として、色弁別し易い画像となる。なお、油および水の量によってもスペクトル強度は変化する。したがって、油および水の量の違いをＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像の色により表現することができる。換言すると、油および水の量を検出することができる。
　図７は、他の一眼レフカメラ４００の要部断面図である。一眼レフカメラ４００は、図１で説明した一眼レフカメラ２００の構成に加えて、フィルタユニット３００、アクチュエータ３１０および回転軸３１１を有する。フィルタユニット３００は、フォーカスレンズ２１２とズームレンズ２１３の間に、光軸２０１に交差して配設される。カメラシステム制御部２４５は、ユーザによる設定に従って、テーブルを参照して組合せを決定する。そして、決定した組合せに含まれる波長フィルタを被写体光束の範囲に順に配置すると共に、それぞれの配置に同期して撮影動作を行う。
　フィルタユニット３００は、被写体光束を通過させる波長帯域がそれぞれ異なるｎ種類の波長フィルタを備える。ここでは、図１で説明した一眼レフカメラ２００の構成と同様に、波長フィルタとしてＩＲ１－６フィルタの６種類の波長フィルタを備える。本例の一眼レフカメラ４００では、フィルタユニット３００が波長フィルタを備えるので、撮像素子２４３の各光電変換上には、波長フィルタが形成されていない。アクチュエータ３１０は、フィルタユニット３００を回転軸３１１周りに回転させる。
　図８は、フィルタユニット３００の構成を説明する図である。図８（ａ）は光軸２０１方向から見た正面図であり、図８（ｂ）は側面図である。
　フィルタユニット３００は、波長フィルタを保持する保持枠３０１を備える。保持枠３０１は、全体として円形を成し、回転軸３１１を中心として互いに６０度の間隔を成す対称位置に、被写体光束と略同じ大きさの６つの開口を備えている。保持枠３０１は、図示する矢印方向へ回転自在に支持されている。保持枠３０１の外周部には、ギア３０６が全周にわたって設けられている。ギア３０６は、アクチュエータ３１０の駆動ギアと噛合する。
　波長フィルタは、６つの開口のそれぞれに張設される。すなわち、６つの波長フィルタのそれぞれは、被写体光束と略同じ大きさである。本例においては、６つの開口のうち中央上部の開口にＩＲ１フィルタが張設され、そこから時計回りに、ＩＲ２フィルタ、ＩＲ３フィルタ、ＩＲ４フィルタ、ＩＲ５フィルタ、およびＩＲ６フィルタのそれぞれが順に張設される。
　カメラシステム制御部２４５は、レンズシステム制御部２１６を介して、アクチュエータ３１０の駆動によりフィルタユニット３００を回転させる。これにより、ＩＲ１－６フィルタのいずれかを、光軸２０１を中心とする被写体光束中に配設することができる。カメラシステム制御部２４５は、組合せを決定すると、決定した組合せに応じてアクチュエータ３１０の駆動を制御する。ブロードタイプのフィルタセットを用いて被写体を撮影するときには、ＩＲ１フィルタ、ＩＲ２フィルタ、ＩＲ３フィルタを順に被写体光束に配置させる。カメラシステム制御部２４５は、ＩＲ１－３フィルタのそれぞれの配置に同期して撮像動作を実行する。すなわち、３回撮像動作を実行する。同様に、ナロータイプのフィルタセットを用いて被写体を撮影するときには、ＩＲ４フィルタ、ＩＲ５フィルタ、ＩＲ６フィルタを順に被写体光束に配置させる。カメラシステム制御部２４５は、ＩＲ４－６フィルタのそれぞれの配置に同期して撮像動作を実行する。
　画像処理部２４６は、フィルタセットに応じた３つの画像データを撮像素子２４３から順次取得する。ブロードタイプのフィルタセットを用いて被写体が撮影されたときには、ＩＲ１－３フィルタのそれぞれの波長帯域に対応した画像データであるＩＲ１フィルタプレーン画像データ、ＩＲ２フィルタプレーン画像データ、ＩＲ３フィルタプレーン画像データを取得する。画像処理部２４６は、ＩＲ１フィルタプレーン画像データ、ＩＲ２フィルタプレーン画像データ、およびＩＲ３フィルタプレーン画像データを用いて、上述したマトリクス演算を行うことにより、色変換処理を行う。ナロータイプのフィルタセットを用いて被写体が撮影されたときには、ＩＲ４－６フィルタのそれぞれの波長帯域に対応した画像データであるＩＲ４フィルタプレーン画像データ、ＩＲ５フィルタプレーン画像データ、ＩＲ６フィルタプレーン画像データを取得する。画像処理部２４６は、ＩＲ４フィルタプレーン画像データ、ＩＲ５フィルタプレーン画像データ、およびＩＲ６フィルタプレーン画像データを用いて、上述したマトリクス演算を行うことにより、色変換処理を行う。フィルタユニット３００を用いた構成によれば、全ての画素に関して、ＩＲ１－３フィルタのそれぞれの波長帯域に対応した画素信号、またはＩＲ４－６フィルタのそれぞれの波長帯域に対応した画素信号を得ることができるので、上述の補間処理をしなくてもよい。
　なお、保持枠３０１のうち、６つの開口を形成するプレート部分は非透過部材で形成することが好ましい。さらには、植毛紙等の遮光部材で表面を処理することが好ましい。このような対策により、鏡筒内の迷光を遮断することが期待できる。
　以上の説明においては、フィルタセットとして、図３に示したブロードタイプのフィルタセットおよびナロータイプのフィルタセットを例に挙げたが、ブロードタイプのフィルタセットおよびナロータイプのフィルタセットには他にも種々のバリエーションが存在する。ここでは、ナロータイプのフィルタセットを例に挙げて説明するが、ブロードタイプのフィルタセットに対しても同様のことが言える。例えば、ＩＲ４－６フィルタのそれぞれの波長特性の波形を維持しつつ、それらの波長帯域を長波長方向、または短波長方向にずらしてもよい。さらに、以下に示すように、波長特性の波形を変化させてもよい。
　図９および図１０は、他のナロータイプのフィルタセットを説明する図である。図９（ａ）から（ｄ）、図１０（ａ）、（ｂ）はそれぞれ、他のナロータイプのフィルタセットの特性を示す。各図において、横軸は波長［ｎｍ］を示し、縦軸は透過率［％］を示す。
　図９（ａ）に示す、ＩＲ４フィルタ、ＩＲ５フィルタ、およびＩＲ６フィルタにおいては、図３（ｂ）で説明したナロータイプのフィルタセットと同様に、それらの波長特性の波形は全体的に略同一であり、かつ、それらの波長帯域は互いに異なる。ＩＲ４－６フィルタのそれぞれの半値幅は実質的に同一である。ただし、８００ｎｍ付近から１０００ｎｍ付近において、ＩＲ５フィルタの透過率とＩＲ６フィルタの透過率とが逆転している。すなわち、ＩＲ５フィルタの透過率は、ＩＲ６フィルタの透過率よりも小さくなっている。同様に、１３２０ｎｍ付近から１４５０ｎｍ付近において、ＩＲ４フィルタの透過率とＩＲ５フィルタの透過率とが逆転している。すなわち、ＩＲ４フィルタの透過率は、ＩＲ５フィルタの透過率よりも大きくなっている。以上のように、ＩＲ４－６フィルタの透過率の大小関係は、特定の帯域において逆転してもよい。
　図９（ｂ）に示す、ＩＲ４フィルタ、ＩＲ５フィルタ、およびＩＲ６フィルタにおいては、それらの波長特性の波形は全体的に略同一であり、かつ、それらの波長帯域は互いに異なる。ただし、ＩＲ４－６フィルタの半値幅に着目すると、ＩＲ４フィルタの半値幅が最も大きく、ＩＲ５フィルタの半値幅が最も小さくなっている。以上のように、ＩＲ４－６フィルタのそれぞれの半値幅は互いに異なってもよい。ただし、ゲインによるノイズ成分を抑制するという観点からは、ＩＲ４－６フィルタのそれぞれの半値幅の差異は小さい方が好ましい。
　図９（ｃ）に示す、ＩＲ４フィルタ、ＩＲ５フィルタ、およびＩＲ６フィルタにおいては、ＩＲ４フィルタのピーク波長に、ＩＲ６フィルタの２次ピーク波長が存在する。また、７００ｎｍ付近から９００ｎｍ付近において、ＩＲ５フィルタの透過率とＩＲ６フィルタの透過率とが逆転している。すなわち、ＩＲ５フィルタの透過率は、ＩＲ６フィルタの透過率よりも小さくなっている。
　図９（ｄ）に示す、ＩＲ４フィルタ、ＩＲ５フィルタ、およびＩＲ６フィルタにおいては、ＩＲ６フィルタのピーク波長に、ＩＲ４フィルタの２次ピーク波長が存在する。また、１３００ｎｍ付近から１５００ｎｍ付近において、ＩＲ５フィルタの透過率とＩＲ６フィルタの透過率とが逆転している。すなわち、ＩＲ５フィルタの透過率は、ＩＲ６フィルタの透過率よりも小さくなっている。
　図９（ｃ）、（ｄ）に示されるように、ＩＲ４－６フィルタのそれぞれは、他のＩＲフィルタのピーク波長に、２次ピーク波長を有してもよい。さらに、ＩＲ４－６フィルタの透過率の大小関係は、特定の帯域において逆転してもよい。
　図１０（ａ）に示す、ＩＲ４フィルタ、ＩＲ５フィルタ、およびＩＲ６フィルタにおいては、ＩＲ４フィルタとＩＲ５フィルタの交点における透過率と、ＩＲ５フィルタとＩＲ６フィルタの交点における透過率とが異なっている。ただし、ゲインによるノイズ成分を抑制するという観点からは、各交点における透過率の差異は小さい方が好ましい。
　図１０（ｂ）に示す、ＩＲ４フィルタ、ＩＲ５フィルタ、およびＩＲ６フィルタにおいては、それらの波長特性の波形は全体的に略同一であり、かつ、それらの波長帯域は互いに異なる。ただし、ＩＲ４－６フィルタの半値幅に着目すると、ＩＲ４フィルタの半値幅が最も大きく、ＩＲ５フィルタの半値幅が最も小さくなっている。また、８５０ｎｍ付近から９２０ｎｍ付近において、ＩＲ５フィルタの透過率とＩＲ６フィルタの透過率とが逆転し、さらに、７５０ｎｍ付近から８５０ｎｍ付近において、再度逆転している。すなわち、８５０ｎｍ付近から９２０ｎｍ付近において、ＩＲ５フィルタの透過率は、ＩＲ６フィルタの透過率よりも小さくなり、７５０ｎｍ付近から８５０ｎｍ付近において、ＩＲ５フィルタの透過率は、ＩＲ６フィルタの透過率よりも大きくなっている。以上のように、ＩＲ４－６フィルタの透過率の大小関係は、複数回逆転してもよい。
　以上の説明では、フィルタセットに含まれる波長フィルタのうち、最も短波長側の波長フィルタにおける１％以上の透過率を有する最短波長をＸ１、最も長波長側の波長フィルタにおける１％以上の透過率を有する最長波長をＸ２とし、Ｘ１からＸ２の範囲を有効波長帯域と定義したが、有効波長帯域外で再度１％よりも大きな透過率を有する場合がある。有効波長帯域外のスペクトル成分は画像データを生成するにあたってノイズ成分になるので、除去されることが好ましい。
　図１１は、有効波長帯域外の成分を除去する方法を説明する図である。図１１（ａ）は、ナロータイプのフィルタセットの特性を示す。横軸は波長［ｎｍ］を示し、縦軸は透過率［％］を示す。図示されるように、ＩＲ６フィルタは、１４５０ｎｍ付近から１６５０ｎｍ付近、すなわち有効波長帯域外において、１％よりも大きな透過率を有する（楕円ａ１部分を参照）。図１１（ｂ）は、バンドパスフィルタの特性を示す。横軸は波長［ｎｍ］を示し、縦軸は透過率［％］を示す。バンドパスフィルタは、図１１（ａ）で示した有効波長帯域に応じて設定される。具体的には、バンドパスフィルタは、６５０ｎｍ付近から１４００ｎｍ付近の波長帯域を通過させる。図１１（ｃ）は、図１１（ｂ）で示したバンドパスフィルタを施した後のナロータイプのフィルタセットの特性を示す。図示されるように、バンドパスフィルタによって、ＩＲ６フィルタの透過率は、１４５０ｎｍ付近から１６５０ｎｍ付近、すなわち有効波長帯域外において、十分に小さくなる（楕円ａ２部分を参照）。以上のように、有効波長帯域に応じたバンドパスフィルタを用いることにより、ノイズ成分を除去することができる。
　以上の説明では、最も短波長側の波長フィルタにおける１％以上の透過率を有する最短波長Ｘ１と、最も長波長側の波長フィルタにおける１％以上の透過率を有する最長波長Ｘ２との間の範囲を有効波長帯域としたが、有効波長帯域はこの範囲に限らない。例えば、最も短波長側の波長フィルタにおける５％以上の透過率を有する最短波長をＸ１、最も長波長側の波長フィルタにおける５％以上の透過率を有する最長波長をＸ２とし、Ｘ１からＸ２の範囲を有効波長帯域としてもよい。以上の説明では、波長フィルタとして近赤外のうちの主に短波長側の波長帯域を通過させる波長フィルタを例に挙げたが、長波長側の波長帯域を通過させる波長フィルタを用いることもできる。その例を以下に説明する。
　図１２は、６つの成分の近赤外におけるスペクトルを説明する図である。具体的には、１１００ｎｍから２５００ｎｍの範囲における大豆、米、タンパク質、デンプン、水、および脂質のスペクトルを示す。横軸は波長［ｎｍ］を示し、縦軸は吸光度を示す。
　楕円ａ３部分に示されるように、１１００ｎｍから２５００ｎｍの範囲においては、水のピーク波長は約１９３５ｎｍである。したがって、波長フィルタとして１９３５ｎｍ近辺の波長帯域、例えば１９００ｎｍから２１００ｎｍの範囲を通過させる波長フィルタを用いることにより、被写体中の水を検出することができる。一方、１９３５ｎｍ近辺の波長帯域を除く波長帯域、例えば１６００ｎｍから１８００ｎｍの範囲を通過させる波長フィルタを用いることにより、被写体中の水による吸光の影響を抑制して、色弁別のし易いＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像データを生成することができる。
　楕円ａ４部分に示されるように、１１００ｎｍから２５００ｎｍの範囲においては、脂質のピーク波長は約２３０５ｎｍおよび約２３４５ｎｍである。したがって、波長フィルタとして約２３０５ｎｍおよび約２３４５ｎｍ近辺の波長帯域、例えば２２００ｎｍから２４００ｎｍの範囲を通過させる波長フィルタを用いることにより、被写体中の脂質を検出することができる。一方、２３０５ｎｍおよび２３４５ｎｍ近辺の波長帯域を除く波長帯域、例えば２０００ｎｍから２２００ｎｍの範囲を通過させる波長フィルタを用いることにより、被写体中の脂質による吸光の影響を抑制して、色弁別のし易いＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像データを生成することができる。
　ここでは詳細な説明を省略するが、大豆、米、タンパク質、およびデンプンについても同様のことが言える。すなわち、それぞれのピーク波長近辺の波長帯域を通過させる波長フィルタを用いれば、被写体中の該当成分を検出することができ、比較的吸光度が低い波長帯域の波長フィルタを用いれば、被写体中の該当成分による吸光の影響を抑制して、色弁別のし易いＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像データを生成することができる。
　図５および図６では、それぞれの被写体のスペクトルの差が比較的大きな波長帯域を使用することにより、色弁別し易いＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像データを生成したが、図１２で説明したように、吸光の影響が大きい帯域を除いた帯域を使用することにより、色弁別し易いＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像データを生成することもできる。
　以上の説明では、カメラシステム制御部２４５は、テーブルを参照して組合せを決定したが、ユーザによる、任意のｍ種類の波長フィルタの選択に応じて組合せを決定してもよい。カメラシステム制御部２４５は、プリキャプチャにより被写体を解析し、解析結果に応じて自動的に組合せを決定してもよい。カメラシステム制御部２４５は、被写体のスペクトルが特定されていない場合に、ブロードタイプのフィルタセットを選択してもよい。画像処理部２４６は、第１の処理として、ブロードタイプおよびナロータイプの一方に属する波長フィルタが対応付けられた画素の画素信号を用いてＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像データを生成してもよい。そして、このＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像データが色弁別に適していない旨のユーザ入力を受け付けた場合に、第２の処理として、他方が対応付けられた画素の画素値を用いてＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像データを生成してもよい。また、撮像素子２４３の読出し制御部は、全画素の画素信号を読み出すのではなく、ブロードタイプおよびナロータイプの一方に対応する画素の画素信号のみを読み出し、画像処理部２４６に出力してもよい。
　画像処理部２４６は、互いに異なる波長帯域の波長フィルタが対応付けられた複数の画素の画素信号を加算してもよい。例えば、波長帯域が１１００ｎｍから１５００ｎｍの範囲である波長フィルタに対応付けられた画素の画素信号と、波長帯域が１３００ｎｍから１７００ｎｍの範囲である波長フィルタに対応付けられた画素の画素信号とを加算する。そうすると、波長帯域が１１００ｎｍから１７００ｎｍの範囲である波長フィルタに対応付けられた画素の画素信号を近似的に得ることができる。これにより、波長フィルタの種類を実質的に増やすことができる。
　以上の説明では、波長フィルタとして近赤外の波長帯域を通過するＩＲ１－６フィルタを用いたが、近赤外よりも長波長側の波長帯域を通過するフィルタを用いてもよいし、可視の波長帯域よりも短波長側のフィルタを用いてもよい。撮像素子２４３は、用いられる波長フィルタの波長帯域に感度を有するように適宜決定される。また、撮像素子２４３には、近赤外の波長フィルタとＲＧＢカラーフィルタとが混在して設けられてもよい。
　以上の説明では、ブロードタイプおよびナロータイプのそれぞれのフィルタセットは、互いに波長帯域が異なる３つの波長フィルタを含んだが、互いに波長帯域が異なる４つのフィルタセットを含んでもよい。また、フィルタセットの種類はブロードタイプとナロータイプの２種類であったが、３種類以上でもよい。例えば、ブロードタイプとナロータイプの間の波長帯域幅を有するスタンダードタイプのフィルタセットを設けてもよい。さらに、フィルタセットの種類は１種類でもよく、この場合には、当該フィルタセットは互いに波長帯域が異なる４つ以上の波長フィルタを含む。画像処理部２４６は、４つ以上の波長フィルタのうちの少なくとも３つの波長フィルタに対応する画素の画素信号を用いてＮＩＲ－Ｒ'Ｇ'Ｂ'変換画像データを生成することができる。
　以上の説明では、撮像素子２４３が１つだけ配置されたが、波長フィルタの数に合わせて複数配置されてもよい。上述の例を用いれば、６つの撮像素子２４３が配置される。６つの撮像素子２４３のそれぞれには、ＩＲ１－６フィルタのうちの互いに異なる単一のＩＲフィルタが形成されている。６つの撮像素子２４３のそれぞれに被写体光束を導くことにより、全画素について６つの波長帯域の画素信号を得ることができる。具体的には、光軸に沿って５つのハーフミラーと６つのうちの１つの撮像素子２４３とを配置し、残りの５つの撮像素子２４３を５つのハーフミラーのそれぞれに対応するように、光軸２０１に対して垂直に配置すればよい。
　以上の実施形態においては、撮像装置として一眼レフカメラを例に挙げて説明したが、上述の態様は、一眼レフカメラに限らず様々な撮像装置に適用し得る。例えば、医療用装置、食品検査用装置等にも適用できる。また、以上の説明では、非可視の波長帯域を通過させる波長フィルタを例に挙げたが、可視の波長帯域を通過させる波長フィルタに対しても同様のことが言える。例えば、赤色を鮮明に表現する場合には、被写体光束を通過させる波長帯域が狭い波長フィルタを使用するとよい。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の撮影動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
２００　一眼レフカメラ、２０１　光軸、２１０　レンズユニット、２１１　レンズ群、２１２　フォーカスレンズ、２１３　ズームレンズ、２１４　絞り、２１６　レンズシステム制御部、２１７　レンズ鏡筒、２１８　レンズマウント、２３０　カメラユニット、２３１　カメラマウント、２３２　メインミラー、２３３　回転軸、２３４　ピント板、２３５　ペンタプリズム、２３６　接眼光学系、２３７　ＡＥセンサ、２３８　サブミラー、２３９　ＡＦ光学系、２４０　ＡＦセンサ、２４１　フォーカルプレーンシャッタ、２４３　撮像素子、２４４　メイン基板、２４５　カメラシステム制御部、２４６　画像処理部、２４７　表示部、２４８　二次電池、２４９、　カメラメモリ、３００　フィルタユニット、３０１　保持枠、３０６　ギア、３１０　アクチュエータ、３１１　回転軸、４００　一眼レフカメラ

Claims (11)

  1. 　６００ｎｍから２５００ｎｍの波長帯域に受光感度を有し、被写体光束を受光して画素信号を出力する複数の光電変換部と、
    　前記被写体光束を通過させる波長帯域がそれぞれ異なり、かつ、それぞれが通過させる前記波長帯域が前記受光感度を有する波長帯域を含むｎ種類（ｎは４以上の自然数）の波長フィルタと、
    　前記複数の光電変換部のうち、予め定められた条件によって組合せが決定されたｍ種類（ｍは３以上ｎ未満の自然数）の前記波長フィルタのいずれかを通過した前記被写体光束を受光した光電変換部から出力された前記画素信号を用いて画像データを生成する画像データ生成部と
    を備え、
    　ｍ種類の前記波長フィルタのそれぞれの前記波長帯域のうち、最も短波長側の波長帯域と最も長波長側の波長帯域とが重複し、かつ、ｍ種類の前記波長フィルタのそれぞれが通過させる前記波長帯域が予め決定される有効波長帯域を含むように前記組合せが決定される撮像装置。
  2. 　前記画像データ生成部は、前記画素信号を可視帯域に対応する画素信号として扱うことにより、可視画像としてのカラー画像を表す前記画像データを生成する請求項１に記載の撮像装置。
  3. 　ｍ種類の前記波長フィルタのそれぞれの前記波長帯域の半値幅が互いに等しいように前記組合せが決定される請求項１または請求項２に記載の撮像装置。
  4. 　ｎ種類の前記波長フィルタは、前記半値幅が互いに異なる少なくとも２つの前記組合せを含む請求項３に記載の撮像装置。
  5. 　ｍ種類のそれぞれの前記波長フィルタは、ｍ種類の前記波長フィルタのうち、最も短波長側の波長フィルタにおける、予め設定された透過率を有する最も短波長側の波長と、最も長波長側の波長フィルタにおける、予め設定された透過率を有する最も長波長側の波長との間の範囲を、前記有効波長帯域として通過させる請求項１から請求項４のいずれか１項に記載の撮像装置。
  6. 　ｍ種類の前記波長フィルタのそれぞれの前記波長帯域において、隣り合う波長帯域の交点の透過率は５０％以上である請求項１から請求項５のいずれか１項に記載の撮像装置。
  7. 　ユーザの指定を受け付ける受付部を備え、
    　前記指定に基づいて前記組合せが決定される請求項１から６のいずれか１項に記載の撮像装置。
  8. 　プリセットされた複数の組合せの中から選択されて前記組合せが決定される請求項１から７のいずれか１項に記載の撮像装置。
  9. 　前記波長フィルタが前記複数の光電変換部のそれぞれに対応して設けられた撮像素子を備え、
    　前記画像データ生成部は、前記撮像素子から出力された前記画素信号のうちｍ種類の前記波長フィルタに対応する画素信号を用いて前記画像データを生成する請求項１から８のいずれか１項に記載の撮像装置。
  10. 　前記複数の光電変換部を有する撮像素子と、
    　ｎ種類の前記波長フィルタを保持し、前記複数の光電変換部に到達する前記被写体光束を通過させるように１つの前記波長フィルタを選択的に配置するフィルタユニットと
    を備え、
    　前記画像データ生成部は、ｍ種類の前記波長フィルタがそれぞれ配置されて前記撮像素子から順次出力された前記画素信号を用いて前記画像データを生成する請求項１から８のいずれか１項に記載の撮像装置。
  11. 　６００ｎｍから２５００ｎｍの波長帯域に受光感度を有し、被写体光束を受光して画素信号を出力する複数の光電変換部と、前記被写体光束を通過させる波長帯域がそれぞれ異なり、かつ、それぞれが通過させる前記波長帯域が前記受光感度を有する波長帯域を含むｎ種類（ｎは４以上の自然数）の波長フィルタとを備える撮像装置に用いられる画像データ生成プログラムであって、
    　前記複数の光電変換部のうち、予め定められた条件によってｍ種類（ｍは３以上ｎ未満の自然数）の前記波長フィルタの組合せを決定する決定ステップと、
    　ｍ種類の前記波長フィルタのいずれかを通過した前記被写体光束を受光した光電変換部から出力された前記画素信号を用いて画像データを生成する画像データ生成ステップと
    をコンピュータに実行させ、
    　ｍ種類の前記波長フィルタのそれぞれの前記波長帯域のうち、最も短波長側の波長帯域と最も長波長側の波長帯域とが重複し、かつ、ｍ種類の前記波長フィルタのそれぞれが通過させる前記波長帯域が予め決定される有効波長帯域を含むように前記組合せが決定される画像データ生成プログラム。
PCT/JP2015/075505 2014-09-30 2015-09-08 撮像装置および画像データ生成プログラム WO2016052101A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/471,377 US10021357B2 (en) 2014-09-30 2017-03-28 Image capturing apparatus and method for generating image data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014201955A JP2017208585A (ja) 2014-09-30 2014-09-30 撮像装置および画像データ生成プログラム
JP2014-201955 2014-09-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/471,377 Continuation US10021357B2 (en) 2014-09-30 2017-03-28 Image capturing apparatus and method for generating image data

Publications (1)

Publication Number Publication Date
WO2016052101A1 true WO2016052101A1 (ja) 2016-04-07

Family

ID=55630144

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/075505 WO2016052101A1 (ja) 2014-09-30 2015-09-08 撮像装置および画像データ生成プログラム

Country Status (3)

Country Link
US (1) US10021357B2 (ja)
JP (1) JP2017208585A (ja)
WO (1) WO2016052101A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7443309B2 (ja) 2018-11-06 2024-03-05 富士フイルム株式会社 撮像レンズ及び撮像装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10228283B2 (en) * 2016-08-12 2019-03-12 Spectral Insights Private Limited Spectral imaging system
US9880330B1 (en) * 2016-09-06 2018-01-30 Abeam Technologies, Inc. Angle-insensitive spectral filter
US20210075978A1 (en) * 2017-09-15 2021-03-11 Kent Imaging Hybrid Visible and Near Infrared Imaging with an RGB Color Filter Array Sensor
JP6947021B2 (ja) * 2017-12-27 2021-10-13 株式会社リコー 画像処理方法、画像処理装置および画像処理システム
WO2021033787A1 (ko) * 2019-08-19 2021-02-25 한국전기연구원 단일 컬러 카메라를 이용하고 가시광선 및 근적외선 영상 동시 획득이 가능한 가시광선 및 근적외선 영상 제공 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0528129B2 (ja) * 1986-11-29 1993-04-23 Olympus Optical Co
JP2655571B2 (ja) * 1986-12-27 1997-09-24 オリンパス光学工業株式会社 撮像装置
JP2007075445A (ja) * 2005-09-15 2007-03-29 Olympus Medical Systems Corp 撮像システム
JP2008518229A (ja) * 2004-10-25 2008-05-29 アールピー ベンチャーズ テクノロジー オフィス アーベー マルチスペクトル及びハイパースペクトル撮像を行うシステム
JP2011050049A (ja) * 2009-07-30 2011-03-10 National Institute Of Advanced Industrial Science & Technology 画像撮影装置および画像撮影方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070027362A1 (en) * 2005-07-27 2007-02-01 Olympus Medical Systems Corp. Infrared observation system
JP5034953B2 (ja) 2006-01-20 2012-09-26 住友電気工業株式会社 撮像システム
IN2014CN02966A (ja) * 2011-11-04 2015-07-03 Imec
US20140084137A1 (en) * 2012-09-27 2014-03-27 Wilhelmus A. de Groot Switchable substrates for photography and video enhancement applications
KR102299714B1 (ko) * 2014-08-18 2021-09-08 삼성전자주식회사 컬러 필터 격리층을 구비하는 이미지 센서 및 상기 이미지 센서의 제조 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0528129B2 (ja) * 1986-11-29 1993-04-23 Olympus Optical Co
JP2655571B2 (ja) * 1986-12-27 1997-09-24 オリンパス光学工業株式会社 撮像装置
JP2008518229A (ja) * 2004-10-25 2008-05-29 アールピー ベンチャーズ テクノロジー オフィス アーベー マルチスペクトル及びハイパースペクトル撮像を行うシステム
JP2007075445A (ja) * 2005-09-15 2007-03-29 Olympus Medical Systems Corp 撮像システム
JP2011050049A (ja) * 2009-07-30 2011-03-10 National Institute Of Advanced Industrial Science & Technology 画像撮影装置および画像撮影方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7443309B2 (ja) 2018-11-06 2024-03-05 富士フイルム株式会社 撮像レンズ及び撮像装置

Also Published As

Publication number Publication date
JP2017208585A (ja) 2017-11-24
US20170272709A1 (en) 2017-09-21
US10021357B2 (en) 2018-07-10

Similar Documents

Publication Publication Date Title
WO2016052101A1 (ja) 撮像装置および画像データ生成プログラム
JP6455604B2 (ja) 撮像装置、撮像プログラムおよび撮像方法
JP7314976B2 (ja) 撮像装置及び撮像方法
JP4717363B2 (ja) マルチスペクトル画像撮影装置及びアダプタレンズ
JP5315574B2 (ja) 撮像装置
CN108700472A (zh) 使用相对的滤光器掩模进行相位检测自动聚焦
US11283993B2 (en) Image-capturing apparatus, image-capturing method, and image-capturing device
US20090201498A1 (en) Agile Spectrum Imaging Apparatus and Method
CN113099078B (zh) 摄像头模组、成像方法和成像装置
KR20090004310A (ko) 영상 생성 장치 및 방법
JP5159526B2 (ja) 眼底カメラ
JP2014185917A (ja) 撮像装置
JP6862989B2 (ja) レンズユニット及び撮像システム
WO2021153473A1 (ja) レンズ装置、撮像装置、光学部材、撮像方法、及び撮像プログラム
JP2013046850A (ja) 眼底カメラ
JP5499634B2 (ja) 撮像装置
JP2004157059A (ja) 撮像装置およびレンズ光学系
JP6529214B2 (ja) 撮像装置
JP5951306B2 (ja) 内視鏡用光源装置
WO2022209125A1 (ja) 撮像制御装置、撮像装置、撮像制御方法、及びプログラム
CN107924107B (zh) 摄像装置
WO2017051909A1 (ja) 画像処理装置、画像処理プログラム、撮像装置、および撮像プログラム
US20230319385A1 (en) Optical member, lens device, and imaging apparatus
JP7083912B2 (ja) 撮像素子、撮像装置、撮像方法およびプログラム
CN117322002A (zh) 固态成像装置和电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15847193

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 15847193

Country of ref document: EP

Kind code of ref document: A1