WO2016009925A1 - 撮像装置、及び解析装置 - Google Patents

撮像装置、及び解析装置 Download PDF

Info

Publication number
WO2016009925A1
WO2016009925A1 PCT/JP2015/069683 JP2015069683W WO2016009925A1 WO 2016009925 A1 WO2016009925 A1 WO 2016009925A1 JP 2015069683 W JP2015069683 W JP 2015069683W WO 2016009925 A1 WO2016009925 A1 WO 2016009925A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
filter
wavelength
signal
unit
Prior art date
Application number
PCT/JP2015/069683
Other languages
English (en)
French (fr)
Inventor
信義 粟屋
数也 石原
貴司 中野
満 名倉
夏秋　和弘
瀧本　貴博
雅代 内田
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to JP2016534391A priority Critical patent/JP6378767B2/ja
Priority to CN201580038421.6A priority patent/CN106537906B/zh
Publication of WO2016009925A1 publication Critical patent/WO2016009925A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/32—Transforming X-rays
    • H04N5/321—Transforming X-rays with video transmission of fluoroscopic images

Definitions

  • the present invention relates to an imaging device and an analysis device, and more particularly, to an imaging device and an analysis device used for observation of a biological material.
  • a biological material has a specific absorption wavelength with respect to light having a wavelength from near ultraviolet to near infrared. If the absorption wavelength peculiar to a biological substance to be observed (hereinafter referred to as observation target substance) is within the range of visible light, the state of the substance can be observed by color with the naked eye or a normal color camera. Examples of these include autumn leaves, colors that change depending on the maturity of the fruit, and discoloration due to skin tanning and spots.
  • the state of the observation target substance is colored. Cannot be observed separately.
  • a hyperspectral camera that receives light of an arbitrary wavelength and images it is known (Shippert, P. “Why use Hyperspectral Imagery,” Photogrammetric Engineering and Remote Sensing , 377-380 (2004) and Gowen, AA, O'Donnell, CP, Cullen, PJ, Downey, G., Frias, JM, “Hyperspectral imaging-an emergingerprocess analytical tool for food quality and safety control.”, Trends in Food Science and Technology 18, 590-598 (2007)).
  • the hyperspectral camera is equipped with a spectroscopic optical system using prisms, acoustooptic elements, liquid crystal rheofilters, etc., and images the reflection intensity of specific wavelength components from a wide range of wavelengths with a wavelength resolution of about 5 to 10 nm. .
  • the technology to take the wavelength range of the light source in the optical system according to the absorption wavelength of the observation target substance (Tatsuya Yoshida, Haruhiro Inoue, MD, Shinsuke Usui, MD, Hitoshi Satodate, Norio Fukami, Shin-ei Kudo, MD, “ Narrow-band imaging system with magnifying endoscopy for superficial esophageal lesions ”, Gastrointestinal Endoscopy, Vol.59, Issue2, February 2004, page 288) and an optical filter that transmits the absorption wavelength of the target substance on the filter side of the camera A technique for visualizing the image (see JP 2010-217882 A) has also been proposed.
  • the hyperspectral camera can identify the light absorption characteristics of the substance to be observed and observe its components and conditions, but it is limited to research applications due to its complicated mechanism and high cost.
  • the technique of the said nonpatent literature 3 and the patent document 1 has devised the color filter attached to the exterior of a light source or a camera, as an imaging device, R (Red), G (Green), B ( A color camera using a general color filter of Blue) is used. Therefore, only the change in the absorption spectrum of the observation target substance within the transmission wavelength range of the RGB filter can be observed.
  • the state of each observation target substance cannot be distinguished by color.
  • the object of the present invention is to provide a technique that is more versatile than before and can visualize the state of a substance to be observed.
  • the imaging device is a part of a visible light wavelength band that can be displayed on a display device, or a wavelength band outside the visible light wavelength band, and a specific wavelength corresponding to an absorption spectrum or a fluorescence spectrum of an observation target substance
  • a filter unit that transmits light in a band; a light receiving unit that receives light transmitted through the filter unit and converts the received light into an electrical signal; and a signal of the electrical signal converted by the light receiving unit
  • An image processing unit that converts a component into a visible light signal in the visible light wavelength band and outputs the visible light signal to the display device.
  • the versatility is higher than in the past, and the state of the observation target substance can be visualized.
  • FIG. 1 is a schematic diagram illustrating a configuration example of an imaging apparatus according to the first embodiment.
  • FIG. 2 is a functional block diagram of the imaging apparatus shown in FIG.
  • FIG. 3A is a schematic diagram illustrating a cross section of the imaging unit illustrated in FIG. 2.
  • FIG. 3B is a schematic diagram illustrating an arrangement example of the filter according to the first embodiment.
  • FIG. 4 is a diagram illustrating spectral characteristics of the imaging apparatus according to the first embodiment.
  • FIG. 5A is a diagram showing fluorescence spectra of dust and bacteria.
  • FIG. 5B is a diagram showing a fluorescence spectrum of cedar pollen.
  • FIG. 6A is a schematic diagram illustrating a cross section of an imaging unit according to the second embodiment.
  • FIG. 6B is a schematic diagram illustrating an arrangement example of a filter according to the second embodiment.
  • FIG. 7 is a diagram illustrating spectral characteristics of the imaging apparatus according to the second embodiment.
  • FIG. 8 is a diagram showing an absorption spectrum of chlorophyll.
  • FIG. 9 is a schematic diagram illustrating a configuration example of an imaging apparatus according to an application example of the second embodiment.
  • FIG. 10A is a schematic diagram illustrating a cross section of an imaging unit in the third embodiment.
  • FIG. 10B is a schematic diagram illustrating an arrangement example of a filter according to the third embodiment.
  • FIG. 11 is a diagram illustrating spectral characteristics of the imaging apparatus according to the third embodiment.
  • FIG. 12 is a functional block diagram of the imaging apparatus 1 in the fourth embodiment.
  • FIG. 13A is a schematic diagram illustrating a cross section of an imaging unit in the fourth embodiment.
  • FIG. 13B is a schematic diagram illustrating an arrangement example of a filter according to the fourth embodiment.
  • FIG. 14 is a diagram illustrating a configuration example of a dielectric multilayer film according to the fourth embodiment.
  • FIG. 15A is a diagram showing the spectral transmission characteristics of the filter of the fourth embodiment.
  • FIG. 15B is a diagram illustrating spectral characteristics of the imaging apparatus according to the fourth embodiment.
  • FIG. 16 is a schematic diagram illustrating a configuration example of an imaging apparatus according to an application example 1 of the fourth embodiment.
  • FIG. 17 is a schematic diagram illustrating a configuration example of an imaging apparatus according to Application Example 2 of the fourth embodiment.
  • FIG. 18A is a schematic diagram illustrating a cross section of an imaging unit in Modification Example (1).
  • FIG. 18B is a schematic diagram illustrating an arrangement example of the filter of the modification example (1).
  • FIG. 19A is a schematic diagram illustrating a cross section of an imaging unit in Modification Example (2).
  • FIG. 19B is a schematic diagram illustrating an arrangement example of the filter of the modification example (2).
  • FIG. 20 is a diagram showing absorption spectra of oxyhemoglobin and reduced hemoglobin.
  • An imaging apparatus is a part of a visible light wavelength band that can be displayed on a display device, or a wavelength band outside the visible light wavelength band, wherein the absorption spectrum or fluorescence spectrum of a substance to be observed
  • a filter unit that transmits light in a specific wavelength band, a light receiving unit that receives light transmitted through the filter unit, and converts the received light into an electrical signal; and the light receiving unit
  • An image processing unit that converts a signal component of the electrical signal into a visible light signal in the visible light wavelength band and outputs the visible light signal to the display device (first configuration).
  • the filter unit has a specific wavelength band corresponding to the absorption or fluorescence characteristics of the observation target substance in a part of the visible light wavelength band in the display device or in a wavelength band outside the visible light wavelength band. Transmit light.
  • the signal component of the electrical signal of the light that has passed through the filter unit is output to the display device by the image processing unit as a signal component in the visible light wavelength band in the display device. That is, even if the absorption or fluorescence wavelength of the observation target substance is a partial wavelength band of the visible light wavelength band or a wavelength band outside the visible light wavelength band, the visible light signal in the visible light wavelength band is displayed on the display device. be able to. Therefore, the state of each observation target substance can be visualized without providing a complicated optical system such as a hyperspectral camera.
  • the second configuration may further include a light source that irradiates the observation target substance with light including a wavelength in the specific wavelength band in the first configuration.
  • the third configuration may further include a light source that irradiates the observation target substance with excitation light in the first configuration.
  • the third configuration it is possible to visualize the change in the absorption of fluorescence in a specific wavelength band by the observation target substance more clearly than when no light source is used.
  • the filter unit includes a plurality of filters having different spectral transmission characteristics, and the plurality of filters include R (red) and G (green). , B (blue) color filter, and any two color filters of R (red), G (green), B (blue) color filters are laminated
  • the image processing unit includes: a difference between a signal component of light transmitted through the multilayer filter, a signal component of light transmitted through each of the plurality of color filters, and a signal component of light transmitted through the multilayer filter May be converted into the visible light signal.
  • the wavelength component of the multilayer filter that is, R (red)
  • the wavelength component of the multilayer filter that is, R (red)
  • the wavelength component of the multilayer filter that is, R (red)
  • G (green), and B (blue) color filters it is possible to output a visible light signal obtained by separating wavelength components in which transmission wavelength regions of arbitrary two color filters overlap. Therefore, the state of the observation target substance having light absorption or fluorescence characteristics in the transmission wavelength regions of the two color filters can be visualized more clearly.
  • the filter unit includes a plurality of filters having different spectral transmission characteristics, and the plurality of filters include R (red) and G (green). , B (blue) color filters, and a multilayer filter in which a plurality of dielectrics having different refractive indexes are stacked, and the transmission wavelength range of the multilayer filter is a near infrared wavelength range It is good also as including.
  • the multilayer filter can transmit light in the near-infrared wavelength region, even when the absorption wavelength of the observation target material is in the near-infrared wavelength region, The state can be visualized on the display device.
  • the transmission wavelength is limited by the selected organic material, but by using a dielectric, the transmission wavelength is selectively generated over the organic material by the dielectric material and the laminated structure. It becomes possible.
  • the sixth configuration may further include a display unit that displays a color image based on the visible light signal output from the image processing unit in any of the first to fifth configurations. According to the sixth configuration, the state of the observation target substance can be confirmed by a color image.
  • the arbitrary plurality of color filters include G (green) and B (blue) color filters, and the arbitrary two color filters include G (green) and It may be a B (blue) color filter.
  • the wavelength component in which the transmission wavelength regions of the G (green) and B (blue) color filters overlap is separated from the wavelength component transmitted through the G (green) and B (blue) color filters.
  • a visible light signal can be output.
  • the resolution of the wavelengths of G (green) and B (blue) is improved, and the state of the observation target substance having absorption or fluorescence characteristics in the wavelength range of G (green) and B (blue) is clearly visualized. Can do.
  • the plurality of arbitrary color filters include R (red) and G (green) color filters, and the two arbitrary color filters include R (red) and It may be a G (green) color filter.
  • the wavelength component in which the transmission wavelength ranges of the R (red) and G (green) color filters overlap is separated from the wavelength component transmitted through the R (red) and G (green) color filters.
  • a visible light signal can be output.
  • the arbitrary plurality of color filters include color filters of R (red), G (green), and B (blue), and the two arbitrary color filters are , R (red) and B (blue) color filters.
  • the ninth configuration light in the wavelength range where R (red) and B (blue) wavelength regions overlap and in each of the R (red), G (green), and B (blue) wavelength ranges is transmitted. Therefore, the state of the observation target substance and the observation target substance itself can be visualized.
  • the arbitrary plurality of color filters include R (red) and B (blue) color filters, and further includes a visible light cut filter in front of the filter unit. It is good as well. According to the tenth configuration, since the filter unit transmits only light in the near infrared wavelength region, the state of the observation target substance having an absorption wavelength in the near infrared wavelength region can be visualized more clearly.
  • An analysis device includes an imaging device having any one of the first to tenth configurations and a display device that displays an image based on a visible light signal output from the imaging device. (Eleventh configuration)
  • the imaging device has a specific wavelength band corresponding to the absorption or fluorescence characteristics of the observation target substance in a part of the visible light wavelength band in the display device or in a wavelength band outside the visible light wavelength band.
  • the light is transmitted, and the signal component of the electrical signal of the transmitted light is output to the display device as a visible light signal in the visible light wavelength band.
  • the display device displays an image based on a visible light signal output from the imaging device. Therefore, even if the absorption or fluorescence wavelength of the observation target substance is a partial wavelength band of the visible light wavelength band or a wavelength band outside the visible light wavelength band, it is displayed on the display device as a signal component in the visible light wavelength band. Can do. Therefore, the state of the observation target substance can be visualized and the state of the observation target substance can be observed without providing a complicated optical system such as a hyperspectral camera.
  • FIG. 1 is a schematic diagram illustrating a configuration example of an imaging apparatus according to the present embodiment.
  • FIG. 2 is a functional block diagram of the imaging apparatus 1 shown in FIG.
  • the configuration of the imaging apparatus will be described with reference to FIGS. 1 and 2.
  • the imaging device 1 includes an imaging unit 11, a light source 12, and an image processing unit 13.
  • the imaging unit 11 receives light in a specific wavelength band corresponding to the absorption spectrum or fluorescence spectrum of the observation target substance 3 for each pixel and converts it into an electrical signal.
  • the light source 12 irradiates the observation target substance 3 with light in a specific wavelength band.
  • the image processing unit 13 is electrically connected to the imaging unit 11 and the display device 2.
  • the image processing unit 13 converts the electrical signal for each pixel output from the imaging unit 11 into a signal in the visible light wavelength region (visible light signal) that can be displayed on the display device 2, and outputs the signal to the display device 2.
  • the display device 2 is composed of, for example, a liquid crystal display or an organic EL display.
  • the display device 2 includes a display panel including a plurality of R, G, and B pixels, and a drive circuit for driving the pixels (all not shown).
  • the display device 2 receives a visible light signal from the imaging device 1 and drives each pixel based on the visible light signal to display a color image.
  • the imaging unit 11 includes a filter unit 111 and a light receiving unit 112 for each pixel.
  • the filter unit 111 includes an organic filter 111a.
  • the organic filter 111a is configured by two arbitrary color filters among R, G, and B color filters using an organic pigment as a color material.
  • the light receiving unit 112 includes a signal processing unit 112a and a photoelectric conversion element 112b.
  • the photoelectric conversion element 112b is configured by a photodiode or the like, and accumulates electric charges according to the amount of incident light received.
  • the signal processing unit 112 a outputs an electrical signal corresponding to the amount of charge accumulated in the photoelectric conversion element 112 b to the image processing unit 13.
  • the signal processing unit 112a is provided for each pixel and an electric signal corresponding to the electric charge is output for each pixel.
  • the signal processing unit 112a may not be provided for each pixel.
  • the signal processing unit 112a transfers charges converted by the photoelectric conversion elements 112b of the pixels in the plurality of columns in parallel, and sequentially outputs electric signals corresponding to the charges in the columns to the image processing unit 13. Also good.
  • FIG. 3A is a cross-sectional view schematically showing a cross section of the imaging unit 11.
  • the imaging unit 11 is configured by stacking an organic filter 111a, a signal processing unit 112a, and a photoelectric conversion element 112b on each of the pixels 11p_1, 11p_2, and 11p_3.
  • the micro lens illustrated omitted which condenses the light from the observation object material 3 is arrange
  • the organic filter 111a transmits light in a specific wavelength band corresponding to the absorption spectrum or fluorescence spectrum of the observation target substance 3 out of the light collected by the microlens (not shown).
  • the observation target substance 3 has an absorption or fluorescence wavelength at 400 to 550 nm.
  • the organic filter 111a includes color filters 111a_G and 111a_B and a multilayer filter 111a_BG, and transmits light in a wavelength range of 350 to 650 nm.
  • the color filters 111a_G and 111a_B and the multilayer filter 111a_BG are referred to as filters 111a_G, 111a_B, and 111a_BG.
  • the filter 111a_G transmits light in a green wavelength band of 450 to 600 nm.
  • the filter 111a_B transmits light in the blue wavelength band of 350 to 500 nm.
  • the filter 111a_BG is configured by stacking a filter 111a_B on the filter 111a_G.
  • the filter 111a_BG transmits light in a wavelength band of 450 to 500 nm where the transmission wavelength ranges of the filter 111a_G and the filter 111a_B overlap.
  • the light collected by the microlens (not shown) is split by the filters 111a_G and 111a_B and the filter 111a_BG and enters the light receiving unit 112.
  • the filters 111a_G, 111a_B, and 111a_BG are arranged side by side for convenience of explanation
  • the filters 111a_G, 111a_BG, and 111a_B have a Bayer array (R ⁇ 1, G ⁇ 2). , B ⁇ 1). That is, as illustrated in FIG. 3B, in the pixel group in the imaging unit 11, the filter 111a_G is disposed in the pixel 11p_R corresponding to R in the Bayer array, and the filter 111a_BG is disposed in the pixel 11p_G corresponding to G in the Bayer array. In addition, the filter 111a_B is disposed in the pixel 11p_B corresponding to B in the Bayer array.
  • the light source 12 is composed of, for example, an LED (Light-Emitting-Diode), and irradiates light having a peak wavelength in the transmission wavelength region (350 to 600 nm) of the filter unit 111.
  • LED Light-Emitting-Diode
  • the image processing unit 13 is composed of, for example, a PC (Personal Computer) or the like, and includes a CPU (Central Processing Unit) (not shown) and a memory including a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the image processing unit 13 implements the functions of the signal conversion unit 131 and the display control unit 132 by executing a control program stored in the ROM.
  • the signal conversion unit 131 sets four pixels shown in FIG. 3B as one set, and converts the signal components of the pixels 11p_R, 11p_G, and 11p_B according to the following equations (1) to (3).
  • Ib ⁇ Ibg B (1)
  • Ibg G Formula (2)
  • Ig ⁇ Ibg R (3)
  • Ib is a signal component output from the pixel 11p_B in which the filter 111a_B is arranged.
  • the Ibg is a signal component output from the pixel 11p_G in which the filter 111a_BG is arranged.
  • the Ig is a signal component output from the pixel 11p_R in which the filter 111a_G is arranged.
  • the result obtained by subtracting the wavelength component transmitted through the filter 111a_BG, that is, the green wavelength component overlapping the blue wavelength band, from the blue wavelength component transmitted through the filter 111a_B is output as a B signal component in the display device 2. Further, the result of subtracting the wavelength component transmitted through the filter 111a_BG, that is, the blue wavelength component overlapping the green wavelength band, from the green wavelength component transmitted through the filter 111a_G is output as an R signal component in the display device 2. And the wavelength component which permeate
  • FIG. 4 is a diagram showing the spectral characteristics of each signal component after the conversion process.
  • a waveform indicated by a broken line represents an R signal component
  • a waveform indicated by an alternate long and short dash line represents a G signal component
  • a waveform indicated by a solid line represents a B signal component.
  • the spectral characteristic of the B signal component has a peak wavelength near 420 nm, and has wavelength ranges of 400 to 480 nm and 630 to 680 nm.
  • the spectral characteristic of the G signal component has a peak wavelength near 500 nm and a wavelength range of 450 to 550 nm.
  • the spectral characteristics of the R pixel have a peak wavelength near 550 nm and a wavelength range of 500 to 700 nm.
  • the transmission wavelength range of B and G overlaps at 450 to 500 nm, and this wavelength range has absorption or fluorescence characteristics depending on the state of the observation target substance 3.
  • the state of the observation target substance 3 cannot be distinguished by color.
  • the transmittance of G is higher than that of B. Therefore, absorption or fluorescence corresponding to the state of the observation target substance 3 in this wavelength region. Even when there is a characteristic, the state of the observation target substance 3 can be distinguished by color. Note that the spectral characteristics shown in FIG.
  • an infrared cut filter may be disposed in front of the imaging unit 11 so as not to transmit light in a wavelength region of 630 nm and after.
  • the display control unit 132 assigns each of the R, G, and B signal components converted by the signal conversion unit 131 to the R, G, and B wavelength bands in the display device 2. Then, the display control unit 132 outputs the assigned R, G, and B signal components as signals of the R, G, and B pixels in the display device 2.
  • FIG. 5A is a diagram showing the fluorescence spectrum of dust and bacteria.
  • the two-dot chain line shows the fluorescence spectrum of dust
  • the broken line and the solid line show the fluorescence spectra of Salmonella and Escherichia coli.
  • FIG. 5B shows a fluorescence spectrum of cedar pollen.
  • an LED that irradiates ultraviolet light having a peak wavelength in the vicinity of 350 to 370 nm is used as the light source 12. Thereby, each said observation object substance 3 can be excited.
  • the fluorescence characteristics of cedar pollen have a peak wavelength in the vicinity of 480 nm and a wavelength range of 450 to 700 nm. Therefore, the cedar pollen is represented by the G signal and the R signal in the imaging device 1, and an image of reddish green cedar pollen is displayed on the display device 2.
  • the dust fluorescence characteristic has a peak wavelength in the vicinity of 450 nm and a wavelength range of 400 to 470 nm. Accordingly, the dust is represented by the B signal component and the G signal component in the imaging device 1, and an image of bluish green dust is displayed on the display device 2.
  • bacteria such as Escherichia coli and Salmonella have a peak wavelength in the vicinity of 480 to 500 nm and a wavelength range of 450 to 550 nm as shown in FIG. 5A. Therefore, bacteria are represented by a G signal component, and an image of green bacteria is displayed on the display device 2.
  • rice may be imaged as the observation target material 3 to visualize the mature state of the rice.
  • Rice has different protein content depending on its maturity. It is known that the protein content has a high correlation between the ratio of the reflectance of chlorophyll near 400 to 460 nm and the reflectance of carotene near 460 to 510 nm.
  • the state of chlorophyll contained in rice can be represented in blue and the state of carotene contained in rice can be represented in green on the display device 2.
  • the state of protein contained in rice can be observed, and the maturity of rice can be estimated from the state of protein.
  • FIG. 6A is a cross-sectional view schematically showing a cross section of the imaging unit in the present embodiment.
  • the same components as those of the first embodiment are denoted by the same reference numerals as those of the first embodiment.
  • the observation target substance 3 has an absorption or fluorescence wavelength at 450 to 700 nm, and the filter unit in the imaging unit transmits light in the wavelength region of 450 to 700 nm.
  • the imaging unit 11A in the present embodiment includes a multilayer filter 111a_GR and color filters 111a_G and 111a_R as the organic filter 111a.
  • the multilayer filter 111a_GR and the color filters 111a_G and 111a_R are referred to as filters 111a_GR, 111a_G, and 111a_R.
  • the filter 111a_G transmits light having a wavelength band of 450 to 600 nm.
  • the filter 111a_R transmits light having a wavelength band of 550 to 700 nm.
  • the filter 111a_GR is configured by stacking a filter 111a_G on the filter 111a_R.
  • the filter 111a_GR transmits light in a wavelength band of 550 to 600 nm, in which transmission wavelengths of the filters 111a_G and 111a_R overlap. Therefore, the transmission wavelength range of the filter unit 111 in this example is 450 to 700 nm.
  • FIG. 6A shows an example of pixels in which filters 111a_GR, 111a_G, and 111a_R are arranged side by side for convenience of explanation, but the filters 111a_GR, 111a_G, and 111a_R are configured as Bayer arrays (R ⁇ 1, G ⁇ 2, B It shall be arranged corresponding to x1). That is, as illustrated in FIG. 6B, the filter 111a_R is disposed in the pixel 11p_R corresponding to R in the Bayer array, the filter 111a_GR is disposed in the pixel 11p_G corresponding to G in the Bayer array, and the pixel 11p_B corresponding to B in the Bayer array.
  • the filter 111a_G is disposed in
  • the light source 12 (see FIG. 2) in the present embodiment irradiates light having a peak wavelength in the transmission wavelength region (450 to 700 nm) of the filter unit 111.
  • the signal conversion unit 131 in the image processing unit 13 sets four pixels shown in FIG. 6B as one set, and the signal components of the pixels 11p_R, 11p_G, and 11p_B are expressed by the following equations (4) to (6). Convert.
  • Ig ⁇ Igr B Formula (4)
  • Igr G Formula (5)
  • Ir ⁇ Igr R (6)
  • Ir is a signal component output from the pixel 111a_R in which the filter 111a_R is arranged.
  • the Igr is a signal component output from the pixel 11p_G in which the filter 111a_GR is arranged.
  • the Ig is a signal component output from the pixel 11p_B in which the filter 111a_G is arranged.
  • the B signal component in the display device 2 is obtained by subtracting the wavelength component transmitted through the filter 111a_GR, that is, the red wavelength component overlapping the green wavelength band, from the green wavelength component transmitted through the filter 111a_G. And Further, a result obtained by subtracting a wavelength component transmitted through the filter 111a_GR, that is, a green wavelength component overlapping with the red wavelength band, from the red wavelength component transmitted through the filter 111a_R is set as an R signal component in the display device 2. Then, the wavelength component that has passed through the filter 111a_GR, that is, the wavelength component in which the red and green wavelength bands overlap is set as the G signal component in the display device 2.
  • FIG. 7 is a diagram showing the spectral characteristics of the signal component after the conversion process.
  • the waveform indicated by the broken line represents the R signal component
  • the waveform indicated by the alternate long and short dash line represents the G signal component
  • the waveform indicated by the solid line represents the B signal component.
  • the spectrum characteristic of the B signal component has a peak wavelength near 560 nm and a wavelength range of 480 to 600 nm.
  • the spectral characteristic of the G signal component has a peak wavelength near 590 nm and a wavelength region of 460 to 630 nm.
  • the spectral characteristic of the R signal component has a peak wavelength near 660 nm and a wavelength range of 580 to 700 nm.
  • FIG. 8 is a diagram showing an absorption spectrum of chlorophyll contained in plant leaves.
  • the absorption spectrum of chlorophyll has peak wavelengths around 420 nm and 680 nm. Since the peak wavelength of 680 nm of chlorophyll is included in the spectrum range of the R signal as shown in FIG. 7, the change in chlorophyll can be represented by the R signal component.
  • it is difficult to observe the color that changes slightly according to the state of the plant and the growth state of the fruit with the naked eye or a normal color camera by visualizing chlorophyll, the state of the plant and the growth state of the fruit are slightly Changes can be observed.
  • the observation target substance 3 may be irradiated with light corresponding to the absorption wavelength of chlorophyll for imaging.
  • FIG. 9 is a schematic diagram illustrating a configuration example of the imaging apparatus in this case.
  • the imaging apparatus 1A includes, as the light source 12, a light source 12A_1 composed of a white LED and a light source 12A_2 having a peak wavelength at 660 to 680 nm.
  • a long wavelength cut filter 14 that transmits light of, for example, 580 nm or less is installed in front of the light source 12A_1.
  • the red component of the light source is narrowed down to the wavelength component of the light emitted from the light source 12A_2. Since the absorption wavelength of the chlorophyll and the wavelength of the light source 12A_2 overlap, the change in the absorption of the red component light by the chlorophyll can be captured by the R signal component, and the change in the state of the plant can be displayed more clearly.
  • FIG. 10A is a cross-sectional view schematically showing a cross section of the imaging unit in the present embodiment.
  • the same components as those of the second embodiment are denoted by the same reference numerals as those of the first embodiment.
  • the observation target substance 3 has an absorption or fluorescence wavelength at 500 to 1000 nm
  • the filter unit in the imaging unit transmits light in the wavelength range of 500 to 1000 nm.
  • the imaging unit 11B in the present embodiment includes a multilayer filter 111a_BR and color filters 111a_G and 111a_R as the organic filter 111a.
  • the multilayer filter 111a_BR is a filter in which the filter 111a_B is stacked on the filter 111a_R, and transmits light having a wavelength band of 800 to 1000 nm that transmits both the filter 111a_B and the filter 111a_R.
  • the multilayer filter 111a_BR and the color filters 111a_G and 111a_R are referred to as filters 111a_BR, 111a_G, and 111a_R.
  • FIG. 10A shows an example of pixels in which the filters 111a_BR, 111a_G, and 111a_R are arranged side by side for convenience of explanation, but the filters 111a_BR, 111a_G, and 111a_R are configured as Bayer arrays (R ⁇ 1, G ⁇ 2, B It shall be arranged corresponding to x1). That is, as illustrated in FIG. 10B, the filter 111a_BR is disposed in the pixel 11p_R corresponding to R in the Bayer array, the filter 111a_R is disposed in the pixel 11p_G corresponding to G in the Bayer array, and the pixel 11p_B corresponding to B in the Bayer array.
  • the filter 111a_G is disposed in
  • the signal conversion unit 131 in the image processing unit 13 sets four pixels shown in FIG. 10B as one set, and the signal components of the pixels 11p_R, 11p_G, and 11p_B are expressed by the following equations (7) to (9). Convert.
  • Ig ⁇ Ibr B (7)
  • Ir ⁇ Ibr G (8)
  • Ibr R (9)
  • Ibr indicates a signal component output from the pixel 11p_R in which the filter 111a_BR is arranged.
  • the display device 2 obtains the result of subtracting the wavelength component transmitted through the filter 111a_BR, that is, the red and blue laminated wavelength components overlapping the green wavelength band, from the green wavelength component transmitted through the filter 111a_G. Let it be a B signal component. Further, the G signal component in the display device 2 is obtained by subtracting the wavelength component transmitted through the filter 111a_BR from the red wavelength component transmitted through the filter 111a_R, that is, the red and blue laminated wavelength components overlapping the red wavelength band. . Then, the wavelength component transmitted through the filter 111a_BR, that is, the wavelength component in which the red and blue wavelength bands overlap is set as the R signal component in the display device 2.
  • FIG. 11 is a diagram showing the spectral characteristics of each signal component after the conversion process.
  • the waveform indicated by the broken line represents the R signal component
  • the waveform indicated by the alternate long and short dash line represents the G signal component
  • the waveform indicated by the solid line represents the B signal component.
  • the spectrum characteristic of the B signal component has a peak wavelength near 540 nm and a wavelength range of 460 to 620 nm.
  • the spectral characteristic of the G signal component has a peak wavelength near 600 nm and a wavelength range of 580 to 780 nm.
  • the spectral characteristic of the R signal component has a peak wavelength in the vicinity of 800 nm and a wavelength range of 400 to 1000 nm.
  • the imaging device 1 in the present embodiment can be applied to observation of plant activity. Chlorophyll associated with plant pigments absorbs light in the red wavelength range and reflects light in the green wavelength range. In addition, the spongy tissue constituting the leaves and fruits of the plant reflects light in the near-infrared wavelength region. In other words, the reflectance of light in the red wavelength region changes due to changes in the chlorophyll content in the plant, and light in the near infrared wavelength region due to changes in the state of the spongy tissue that constitutes the leaves and fruits of the plant. The reflectance changes. Therefore, by imaging the plant with the imaging device 1, it is possible to observe the change in the chlorophyll content in the plant from the G signal component, and it is possible to observe the change in the state of the tissue from the R signal component.
  • an image representing a vegetation index NDVI (Normalized Difference Vegetation Index) may be displayed.
  • the vegetation index represents a normalized difference between the reflectance of light in the red wavelength range absorbed by chlorophyll and the reflectance of light in the near-infrared wavelength range reflected by a plant body or a structure constituting the fruit. Therefore, in this case, the image processing unit 13 performs the calculation of Expression (10) below using the electrical signal output from the imaging unit 11. Then, the display control unit 132 displays an image indicating the calculation result on the display device 2.
  • NDVI (Ibr ⁇ Ir) ⁇ (Ibr + Ir) (10) (-1 ⁇ NDVI ⁇ 1)
  • the signal components (Ibr, Ir) used for the NDVI calculation are signal components output from the pixel 11p_R and the pixel 11p_G (see FIG. 10B).
  • the image processing unit 13 calculates the vegetation index NDVI obtained by performing the calculation of the above formula (10) for the pixel 11p_R and the pixel 11p_G.
  • interpolation processing may be performed using the vegetation index NDVI of the pixel 11p_R and the pixel 11p_G, or a predetermined value may be set.
  • the display control unit 132 may output to the display device 2 monochrome image data obtained by performing monochrome conversion on the value of the vegetation index ( ⁇ 1 ⁇ NDVI ⁇ 1) of each pixel obtained by performing the above calculation. Or the display control part 132 may output the image data which represented the vegetation index NDVI of each pixel with the gradation of green or red according to the value to the display apparatus 2.
  • an image representing green NDVI using the reflectance of light in the green wavelength region absorbed by anthocyanins contained in plants may be displayed.
  • the signal conversion unit 131 uses the electrical signal output from the imaging unit 11 to perform the calculation of the following formula (11) for the pixel 11p_R and the pixel 11p_B.
  • the pixel 11p_G may perform interpolation processing using the green NDVI of the pixel 11p_R and the pixel 11p_B, or may set a predetermined value.
  • Green NDVI (Ibr ⁇ Ig) ⁇ (Ibr + Ig) (11)
  • the display control unit 132 may cause the display device 2 to display one of the vegetation index NDVI and green NDVI of each pixel in monochrome or gradation, or may display each of the vegetation index NDVI and green NDVI. Thereby, the change of content of the chlorophyll and anthocyanin in a plant is visualized, and the state of the plant which changes can be observed.
  • ⁇ Fourth embodiment> In the third embodiment described above, the example in which the filter unit 111 is configured to transmit the light in the red and near-infrared wavelength regions using the organic filter 111a has been described. In the present embodiment, a configuration example of a filter unit that transmits light in the infrared region will be described.
  • FIG. 12 is a functional block diagram of the imaging apparatus 1 in the present embodiment.
  • the filter unit 111C in the imaging unit 11C includes a dielectric multilayer film 111b in addition to the organic filter 111a.
  • FIG. 13A is a cross-sectional view schematically showing a cross section of the imaging unit 11C.
  • the same components as those of the third embodiment are denoted by the same reference numerals as those of the third embodiment.
  • the observation target substance 3 has an absorption or fluorescence wavelength at 400 to 1000 nm, and the imaging unit transmits light in the wavelength range of 400 to 1000 nm.
  • an organic filter 111a (111a_R, 111a_B) is disposed in each of the pixel 11p_31 and the pixel 11p_33, and a dielectric multilayer film (inorganic filter) 111b is disposed in the pixel 11p_32.
  • the organic filters 111a_R and 111a_B and the dielectric multilayer film 111b are referred to as filters 111a_R, 111a_B, and 111b.
  • the dielectric multilayer film 111b is configured by alternately laminating low refractive index dielectric films and high refractive index dielectric films.
  • Examples of the combination of the low refractive index dielectric film and the high refractive index dielectric film include silicon oxide (SiO 2 ) and titanium oxide (TiO 2 ), or SiO 2 and silicon nitride (Si 2 N 4). ).
  • FIG. 14 is a diagram illustrating the refractive index and film thickness of the SiO 2 film and the Si 2 N 4 film.
  • L0, L1,... L4 indicate SiO 2 films
  • H1, H2,... H4 indicate Si 2 N 4 .
  • the dielectric multilayer film 111b transmits light in a visible light wavelength region of 550 to 650 nm and a near infrared wavelength region of 900 nm or more.
  • FIG. 13A shows an example of pixels in which filters 111a_R, 111b, and 111a_B are arranged side by side for convenience of explanation, but the filters 111a_R, 111b, and 111a_B have Bayer arrays (R ⁇ 1, G ⁇ 2, B). It shall be arranged corresponding to x1). That is, as illustrated in FIG. 13B, the filter 111b is disposed in the pixel 11p_R corresponding to R in the Bayer array, the filter 111a_R is disposed in the pixel 11p_G corresponding to G in the Bayer array, and the pixel 11p_B corresponding to B in the Bayer array. The filter 111a_B is disposed in
  • FIG. 15A is a diagram showing the spectral transmission characteristics of the filter unit 111C.
  • the alternate long and short dash line indicates the spectral transmission characteristics of the pixel 11p_R
  • the broken line indicates the pixel 11p_G
  • the solid line indicates the spectral transmission characteristic of the pixel 11p_B.
  • the pixel 11p_R in which the filter 111b is disposed transmits light in the wavelength ranges of 500 to 600 nm and 900 to 1000 nm.
  • the pixel 11p_G in which the filter 111a_R is disposed transmits light in the wavelength region of 550 to 1000 nm.
  • the pixel 11p_B in which the filter 111a_B is disposed transmits light in the wavelength ranges of 400 to 550 nm and 800 to 1000 nm.
  • the signal conversion unit 131 in the image processing unit 13 sets the four pixels shown in FIG. 13B as one set, and the signal components of the pixels 11p_R, 11p_G, and 11p_B are expressed by the following equations (12) to (14). Convert.
  • the above Idm is a signal component output from the pixel 11p_R in which the filter 111b is arranged.
  • the result of subtracting the wavelength component transmitted through the filter 111a_B from the red wavelength component transmitted through the filter 111a_R is defined as the B signal component in the display device 2. Further, a result obtained by subtracting the wavelength component transmitted through the filter 111b from the wavelength component transmitted through the filter 111a_B is set as a G signal component in the display device 2. Then, the near-infrared wavelength component transmitted through the filter 111b is set as an R signal component in the display device 2.
  • the visible light cut filter that cuts light in the visible wavelength region of 700 nm or less in the imaging unit 11C. May be installed.
  • the observation target substance 3 may be imaged by irradiating light in the near infrared wavelength region from the light source 12 in a dark place. In short, it may be configured so that light in the wavelength region of visible light is not incident on the imaging unit 11C.
  • FIG. 15B is a diagram showing the spectral characteristics of the signal component after imaging the observation target substance 3 with the visible light cut filter installed and performing the conversion process.
  • the broken line represents the R signal component
  • the alternate long and short dash line represents the G signal component
  • the solid line represents the B signal component.
  • the spectrum characteristic of the B signal component has a peak wavelength near 700 nm and a wavelength range of 700 to 820 nm.
  • the spectral characteristic of the G signal component has a peak wavelength near 820 nm and a wavelength region of 750 to 900 nm.
  • the spectral characteristic of the R signal component has a peak wavelength near 920 nm and a wavelength range of 850 to 1000 nm.
  • the imaging device 1 in the present embodiment represents the absorption of light in the red to near-infrared wavelength region by the observation target substance 3 as R, G, and B signal components, and displays the R, G, and B signal components as a display device. By outputting to 2, it is possible to visualize the state of the observation target substance 3 having light absorption characteristics in the red to near-infrared wavelength region.
  • an imaging apparatus 1 will be described.
  • FIG. 16 is a schematic diagram illustrating a configuration example of an imaging apparatus according to this application example.
  • the imaging device 1D of the application example includes light sources 12_1 to 12_4 as the light source 12.
  • the light source 12_2 is configured by an LED having a peak wavelength of 750 nm.
  • the light source 12_3 is configured by an LED having a peak wavelength of 800 nm.
  • the light source 12_4 is configured by an LED having a peak wavelength of 930 nm.
  • the light source 12_1 is configured by a white LED.
  • Pork changes the absorption of light in the vicinity of wavelengths of 750 nm, 800 nm, and 930 nm depending on the content of oleic acid. Therefore, in this application example, each of the light sources 12_2 to 12_4 is turned on simultaneously to image the pork. Thereby, the image which expressed the absorption of each said wavelength by pork with each signal component of R, G, B can be displayed on the display apparatus 2.
  • FIG. That is, an image showing the content of oleic acid in pork is displayed with the absorption of light near 750 nm as B signal, the absorption of light near 800 nm as G signal, and the absorption of light near 930 nm as R signal.
  • the light absorption of the light source 12_1 by the pork is R, G, B
  • An image represented by each signal component, that is, a color image of pork may be displayed on the display device 2.
  • a nondestructive measurement method for measuring sugar content based on an absorption spectrum of infrared light of a fruit and a calibration curve created using the second derivative spectrum thereof has been used to measure the sugar content of the fruit.
  • the sugar content of the fruit is visualized by imaging the result of calculating the signal component of the peak wavelength of the second derivative spectrum and the signal component of the wavelength before and after the peak wavelength.
  • FIG. 17 is a schematic diagram illustrating a configuration example of the imaging apparatus 1 in the application example.
  • the light source 12 includes light sources 12_1 to 12_4 (hereinafter referred to as reference light source groups) having peak wavelengths of 918 nm, 996 nm, 882 nm, and 700 nm, respectively.
  • the light source 12 includes light sources 12_11, 12_21, 12_31, and 12_41 having wavelengths shorter than the reference light source group by a peak wavelength of 10 to 50 nm. That is, the peak wavelength of the light source 12_11 is 10 to 50 nm shorter than the peak wavelength 918 nm of the light source 12_1, and the peak wavelength of the light source 12_21 is 10 to 50 nm shorter than the peak wavelength 996 nm of the light source 12_2.
  • the peak wavelength of the light source 12_31 is 10 to 50 nm shorter than the peak wavelength 882 nm of the light source 12_3, and the peak wavelength of the light source 12_41 is 10 to 50 nm shorter than the peak wavelength 700 nm of the light source 12_4.
  • the light source 12 includes light sources 12_12, 12_22, 12_32, and 12_42 having wavelengths that are 10 to 50 nm longer than the reference light source group. That is, the peak wavelength of the light source 12_12 is 10 to 50 nm longer than the peak wavelength 918 nm of the light source 12_1, and the peak wavelength of the light source 12_22 is 10 to 50 nm longer than the peak wavelength 996 nm of the light source 12_2.
  • the peak wavelength of the light source 12_32 is 10 to 50 nm longer than the peak wavelength 882 nm of the light source 12_3, and the peak wavelength of the light source 12_42 is 10 to 50 nm longer than the peak wavelength 700 nm of the light source 12_4.
  • a first imaging process is performed in which the light source 12_1, the light source 12_3, and the light source 12_4 (hereinafter referred to as a first light source group) are turned on and imaged.
  • a second imaging process is performed in which the light source 12_11, the light source 12_31, and the light source 12_41 (hereinafter referred to as the second light source group), which have shorter peak wavelengths than the first light source group, are turned on and imaged.
  • a third imaging process is performed in which the light source 12_12, the light source 12_32, and the light source 12_42 (hereinafter referred to as a third light source group) having a peak wavelength longer than that of the first light source group are turned on and imaged. Further, a fourth imaging process for imaging by turning on the light source 12_2, a fifth imaging process for imaging by lighting the light source 12_21, and a sixth imaging process for imaging by lighting the light source 12_22 are sequentially performed.
  • the electrical signal for each pixel obtained by each of the first to third imaging processes is converted using the above equations (12) to (14), and the converted signals are converted into a first image signal, a second image signal, The third image signal is assumed.
  • the electrical signal for each pixel obtained by each of the fourth to sixth imaging processes is converted using the above equations (12) to (14), and the converted signals are converted into the first image signal and the second image.
  • the signal is the third image signal.
  • the image processing unit 13 performs the following equation (15) using the first to third image signals for each pixel obtained by the first to third imaging processes. Further, the following equation (15) is calculated using the first to third image signals for each pixel obtained by each of the fourth to sixth imaging processes. (First image signal) ⁇ 2 ⁇ (second image signal) + (third image signal) (15)
  • the wavelength component of light near 882 nm is output as a signal of the pixel 11p_G
  • the wavelength component of light near 700 nm is output as a signal of the pixel 11p_B
  • the wavelength components of light near 918 nm and 996 nm are output as signals of the pixel 11p_R.
  • the calculation result for the pixel 11p_R corresponds to the signal components of the second-order differential spectrum at 918 nm and 996 nm of the infrared light absorption spectrum of the fruit.
  • the calculation result for the pixel 11p_G corresponds to the signal component of the second derivative spectrum at 882 nm of the absorption spectrum of the infrared light of the fruit.
  • the calculation result for the pixel 11p_B corresponds to the signal component of the second derivative spectrum at 700 nm of the absorption spectrum of the fruit infrared light.
  • the calculation result based on the first to third image signals obtained in the first to third imaging processes is obtained for the pixel 11p_R.
  • the calculation results based on the first to third image signals obtained in the fourth to sixth imaging processes are obtained. Therefore, for the pixel 11p_G and the pixel 11p_B, the image processing unit 13 stores one calculation result for each pixel in the RAM, and for the pixel 11p_R, stores the calculation result for each wavelength in the RAM.
  • the image processing unit 13 outputs the calculation results of the pixels corresponding to each of the three wavelengths among the calculation results of 918 nm, 996 nm, 882 nm, and 700 nm to the display device 2. For example, the image processing unit 13 accepts selection of three wavelengths from the four wavelengths in the imaging device 1 and outputs the calculation result of each pixel corresponding to each of the accepted three wavelengths to the display device 2. Further, the image processing unit 13 may select three wavelengths according to the size of the calculation result for each pixel corresponding to each wavelength, and output the calculation result of the pixel corresponding to the selected wavelength to the display device 2. Good.
  • the tone-converted signal may be output to the display device 2.
  • the organic filter 111a of the third embodiment described above includes a color filter 111a_B instead of the color filter 111a_G.
  • the color filter 111a_R may be arranged in the pixel 11p_G
  • the color filter 111a_B may be arranged in the pixel 11p_B.
  • the signal conversion unit 131 calculates the expanded vegetation index EVI by performing the following equation (16) using the electrical signal output from each pixel shown in FIG. 18B.
  • the display control unit 132 may cause the display device 2 to display an image representing the expanded vegetation index EVI for each pixel with a contrast or gradation color according to the value.
  • EVI (Ibr ⁇ Ir) ⁇ (Ibr + C1 ⁇ Ir ⁇ C2 ⁇ Ib + 1) (16)
  • the filter unit 111 in the application example of the third embodiment may be configured as shown in FIG. 19A.
  • a color filter 111a_B is further provided as the organic filter 111a.
  • the filter 111a_R is disposed in the pixel 11p_R
  • the filter 111a_B is disposed in the pixel 11p_B.
  • the filter 111a_G and the filter 111a_BR are arranged in the pixel 11p_G, respectively.
  • the filter unit 111 can transmit light in the near-infrared and R, G, and B wavelength regions, and thus the pixels 11p_R and 11p_G in which the filters 111a_R, 111a_G, and 111a_B are arranged. , 11p_B can be displayed on the display device 2 based on the electrical signal transmitted.
  • the presence or absence of apple bruise damage may be visualized.
  • the slope of the regression line of the spectral reflectance of the apple in the wavelength range of 740 to 810 nm varies depending on whether or not the apple is bruised.
  • an LED having a peak wavelength of 810 nm and an LED having a peak wavelength of 740 nm are used as the light source 12 in the imaging device 1 to capture the reflected light of the apple.
  • the absorption spectrum at 740 nm is represented by the G signal component
  • the absorption spectrum at 810 nm is represented by the R signal (see FIG. 11). be able to.
  • the filter unit 111 includes a color filter 111a_G, a multilayer filter in which the color filter 111a_R and the first inorganic multilayer film are stacked, and a multilayer filter in which the color filter 111a_B and the second inorganic multilayer film are stacked.
  • the first inorganic multilayer film is configured to transmit 810 nm light
  • the second inorganic multilayer film is configured to transmit 740 nm light.
  • FIG. 20 is a diagram showing absorption spectra of oxyhemoglobin and reduced hemoglobin.
  • a waveform indicated by a broken line indicates an absorption spectrum of oxyhemoglobin
  • a waveform indicated by a solid line indicates an absorption spectrum of reduced hemoglobin.
  • the absorption of reduced hemoglobin is larger than that of oxidized hemoglobin in the wavelength region of 600 to 800 nm, and the absorption of oxidized hemoglobin is larger than that of reduced hemoglobin in the wavelength region of 800 nm or more. Therefore, in this case, as the light source 12, a light source having a peak wavelength of 660 nm and a light source having a peak wavelength of 850 nm are used.
  • absorption near 660 nm is represented by a G signal component
  • absorption at 850 nm is represented by an R signal component. That is, the oxygenated hemoglobin is displayed on the display device 2 as a green image, and the reduced hemoglobin is displayed as a red image. As a result, the ratio of reduced hemoglobin and oxygenated hemoglobin can be confirmed from the red and green images, and the state of oxygen saturation concentration in the blood can be observed.
  • the filters of the filter unit are arranged in the pixel 11p_R, the pixel 11p_G, and the pixel 11p_B in descending order of the transmission wavelength of the filter. It is not limited.
  • the pixels may be arranged in the pixel 11p_R, the pixel 11p_G, and the pixel 11p_B in ascending order of the transmission wavelength of the filter, and are not limited to the size of the transmission wavelength of the filter. It may be arranged in any of the pixels defined in the above.
  • each filter in the filter unit 111 may be arranged in a pixel corresponding to any of R, G, and B in the Bayer array.
  • the R, G, and B signal components output from the display control unit 132 of the image processing unit 13 are output to the display device 2, thereby observing the object.
  • R, G, and B signal components may be output to the display unit.
  • R, G, B in the display device 2 are obtained by calculating the results using the expressions (1) to (9) and the expressions (12) to (14).
  • the example of assigning R, G, and B colors as signal components has been described. For example, a predetermined calculation process is performed on the calculation result, and the color of R, G, and B in the display device 2 is determined. Allocation may be performed. Further, in the equations (1) to (9) and the equations (12) to (14), the B, G, and R signal components are assigned in order from the short wavelength component in the transmission wavelength range of the filter unit. It is not limited.
  • the colors in the display device 2 may be assigned according to the ease of understanding, such as assigning the R, B, and G signal components in order from the short wavelength component.
  • the wavelength component in the transmission wavelength region of the filter unit may be assigned to any signal component of R, G, B in the display device 2.
  • the present invention may be an analysis device including the imaging device 1 having the filter unit, the light receiving unit, and the image processing unit and the display device 2 in the first to fourth embodiments described above. Good.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Optical Filters (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

　従来よりも汎用性が高く、観察対象物質の状態を可視化し得る撮像装置を提供すること。撮像装置１は、フィルタ部１１１と、受光部１１２と、画像処理部１３とを有する。フィルタ部１１１は、分光透過特性が異なる複数のフィルタを有し、観察対象物質の吸光スペクトル又は蛍光スペクトルに応じた特定の波長帯域の光を透過させる。受光部１１２は、フィルタ部１１１で透過された光を受光し、受光した光を光電変換素子１１２ａによって電気信号に変換して出力する。画像処理部１３は、受光部１１２から出力された電気信号を可視光波長域の信号に変換して表示装置２へ出力する。

Description

撮像装置、及び解析装置
　本発明は、撮像装置及び解析装置に関し、特に、生体物質の観察に用いる撮像装置及び解析装置に関する。
　近年、農畜産物、植物、人体等の生体物質の成分や状態を測定するための分光学的手法が多く開発され、農業、医療、美容等の様々な分野で利用されている。生体物質は、近紫外から近赤外の波長の光に対して、特有の吸収波長を有する。観察対象となる生体物質（以下、観察対象物質）に特有の吸収波長が可視光の範囲内であれば、肉眼や通常のカラーカメラによって、その物質の状態を色によって観察することができる。このような例としては、紅葉、果実の成熟度によって変化する色、肌の日焼けやシミなどによる変色等が挙げられる。
　一方、観察対象物質の吸光波長が可視光領域以外の場合や、複数の観察対象物質の各吸光波長がカラーカメラにおける１つのカラーフィルタの透過波長域に含まれる場合、観察対象物質の状態を色によって区別して観察することができない。
　このような観察対象物質を可視化する技術としては、任意の波長の光を受光して画像化するハイパースペクトルカメラが知られている（Shippert, P. “Why use Hyperspectral Imagery,” Photogrammetric Engineering and Remote Sensing, 377-380 (2004)、及びGowen, A.A., O’Donnell, C.P., Cullen, P.J., Downey, G., Frias, J.M., “Hyperspectral imaging - an emerging process analytical tool for food quality and safety control.”, Trends in Food Science and Technology 18, 590-598 (2007)参照）。ハイパースペクトルカメラは、プリズム、音響光学素子、液晶レオフィルタ等を用いた分光光学系を備え、５～１０ｎｍ程度の波長分解能で広範囲の波長域の中から特定の波長成分の反射強度を画像化する。また、光学系における光源の波長域を観察対象物質の吸光波長に合わせて撮影する技術（Tatsuya Yoshida, Haruhiro Inoue, MD, Shinsuke Usui, MD, Hitoshi Satodate, Norio Fukami, Shin-ei Kudo, MD, “Narrow-band imaging system with magnifying endoscopy for superficial esophageal lesions”, Gastrointestinal Endoscopy、Vol.59, Issue2, February 2004, page 288参照）や、カメラのフィルタ側に観察対象物質の吸光波長を透過する光学フィルタを取り付けて可視化する技術（特開２０１０－２１７８８２号公報参照）等も提案されている。
　ハイパースペクトルカメラは、観察対象物質の光の吸収特性を特定し、その成分や状態を観察することができるが、機構が複雑で高価であるため研究用途に限られる。また、上記非特許文献３及び特許文献１の技術は、光源やカメラの外部に取り付けられたカラーフィルタに工夫を凝らしているが、イメージングデバイスとして、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の一般的なカラーフィルタを用いたカラーカメラが用いられている。そのため、ＲＧＢフィルタの透過波長域内における観察対象物質の吸収スペクトルの変化しか観察することができない。また、複数の観察対象物質の各吸光波長が１つのカラーフィルタの透過波長域に含まれる場合、各観察対象物質の状態を色によって区別することができない。
　本発明は、従来よりも汎用性が高く、観察対象物質の状態を可視化し得る技術を提供することを目的とする。
　本発明に係る撮像装置は、表示装置において表示可能な可視光波長帯域の一部、又は前記可視光波長帯域外の波長帯域であって、観察対象物質の吸光スペクトル又は蛍光スペクトルに応じた特定波長帯域の光を透過させるフィルタ部と、前記フィルタ部で透過された光を受光し、受光した光を電気信号に変換する撮像素子を有する受光部と、前記受光部で変換された電気信号の信号成分を、前記可視光波長帯域における可視光信号に変換して前記表示装置へ出力する画像処理部と、を備える。
　本発明の構成によれば、従来と比べて汎用性が高く、観察対象物質の状態を可視化することができる。
図１は、第１実施形態における撮像装置の構成例を示す模式図である。 図２は、図１に示す撮像装置の機能ブロック図である。 図３Ａは、図２に示す撮像部の断面を表す模式図である。 図３Ｂは、第１実施形態のフィルタの配置例を示す模式図である。 図４は、第１実施形態における撮像装置のスペクトル特性を示す図である。 図５Ａは、埃と細菌の蛍光スペクトルを示す図である。 図５Ｂは、スギ花粉の蛍光スペクトルを示す図である。 図６Ａは、第２実施形態における撮像部の断面を表す模式図である。 図６Ｂは、第２実施形態のフィルタの配置例を示す模式図である。 図７は、第２実施形態における撮像装置のスペクトル特性を示す図である。 図８は、クロロフィルの吸光スペクトルを示す図である。 図９は、第２実施形態の適用例の撮像装置の構成例を示す模式図である。 図１０Ａは、第３実施形態における撮像部の断面を表す模式図である。 図１０Ｂは、第３実施形態のフィルタの配置例を示す模式図である。 図１１は、第３実施形態における撮像装置のスペクトル特性を示す図である。 図１２は、第４実施形態における撮像装置１の機能ブロック図である。 図１３Ａは、第４実施形態における撮像部の断面を表す模式図である。 図１３Ｂは、第４実施形態のフィルタの配置例を示す模式図である。 図１４は、第４実施形態における誘電体多層膜の構成例を示す図である。 図１５Ａは、第４実施形態のフィルタの分光透過特性を示す図である。 図１５Ｂは、第４実施形態における撮像装置のスペクトル特性を示す図である。 図１６は、第４実施形態の適用例１の撮像装置の構成例を示す模式図である。 図１７は、第４実施形態の適用例２の撮像装置の構成例を示す模式図である。 図１８Ａは、変形例（１）における撮像部の断面を表す模式図である。 図１８Ｂは、変形例（１）のフィルタの配置例を示す模式図である。 図１９Ａは、変形例（２）における撮像部の断面を表す模式図である。 図１９Ｂは、変形例（２）のフィルタの配置例を示す模式図である。 図２０は、酸化ヘモグロビンと還元ヘモグロビンの吸光スペクトルを示す図である。
　本発明の一実施形態に係る撮像装置は、表示装置において表示可能な可視光波長帯域の一部、又は前記可視光波長帯域外の波長帯域であって、観察対象物質の吸光スペクトル又は蛍光スペクトルに応じた特定波長帯域の光を透過させるフィルタ部と、前記フィルタ部で透過された光を受光し、受光した光を電気信号に変換する撮像素子を有する受光部と、前記受光部で変換された電気信号の信号成分を、前記可視光波長帯域における可視光信号に変換して前記表示装置へ出力する画像処理部と、を備える（第１の構成）。
　第１の構成によれば、フィルタ部は、表示装置における可視光波長帯域の一部、又は、可視光波長帯域外の波長帯域において、観察対象物質の吸光又は蛍光特性に応じた特定波長帯域の光を透過させる。フィルタ部を透過した光の電気信号の信号成分は、画像処理部により、表示装置における可視光波長帯域の信号成分として表示装置へ出力される。つまり、観察対象物質の吸光又は蛍光波長が、可視光波長帯域の一部の波長帯域や可視光波長帯域外の波長帯域であっても、可視光波長帯域における可視光信号として表示装置に表示させることができる。そのため、ハイパースペクトルカメラのような複雑な光学系を備えることなく、各観察対象物質の状態を可視化することが可能となる。
　第２の構成は、第１の構成において、さらに、前記特定の波長帯域における波長を含む光を前記観察対象物質に照射する光源を備えることとしてもよい。
　第２の構成によれば、光源を用いない場合と比べ、観察対象物質による特定の波長帯域の光の吸収の変化をより明確に可視化することができる。
　第３の構成は、第１の構成において、さらに、前記観察対象物質に励起光を照射する光源を備えることとしてもよい。
　第３の構成によれば、光源を用いない場合と比べ、観察対象物質による特定の波長帯域の蛍光の吸収の変化をより明確に可視化することができる。
　第４の構成は、第１から第３のいずれかの構成において、前記フィルタ部は、分光透過特性が異なる複数のフィルタを有し、前記複数のフィルタは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタのうちの任意の複数のカラーフィルタと、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタのうちの任意の２つのカラーフィルタを積層した積層フィルタとを含み、前記画像処理部は、前記積層フィルタを透過した光の信号成分と、前記複数のカラーフィルタの各々を透過した光の信号成分と前記積層フィルタを透過した光の信号成分との差分の各々を前記可視光信号に変換することとしてもよい。
　第４の構成によれば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタのうち、複数のカラーフィルタを透過した波長成分から、積層フィルタの波長成分、つまり、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタのうち任意の２つのカラーフィルタの透過波長域が重なる波長成分を分離した可視光信号を出力することができる。そのため、２つのカラーフィルタの透過波長域において吸光又は蛍光特性を有する観察対象物質の状態をより明確に可視化することができる。
　第５の構成は、第１から第３のいずれかの構成において、前記フィルタ部は、分光透過特性が異なる複数のフィルタを有し、前記複数のフィルタは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタのうちの任意の複数のカラーフィルタと、屈折率が異なる複数の誘電体を積層した積層フィルタとを含み、前記積層フィルタの透過波長域は、近赤外波長域を含む、こととしてもよい。
　第５の構成によれば、積層フィルタは近赤外波長域の光を透過させることができるので、観察対象物質の吸光波長が近赤外波長域である場合であっても、観察対象物質の状態を表示装置において可視化することができる。また、カラーフィルタとして有機材料を用いる場合、選択した有機材料によって透過波長が限定されるが、誘電体を用いることで、誘電体の材料や積層構造によって有機材料よりも選択的に透過波長を作り出すことが可能となる。
　第６の構成は、第１から第５のいずれかの構成において、さらに、前記画像処理部から出力された前記可視光信号に基づくカラー画像を表示する表示部を備えることとしてもよい。第６の構成によれば、観察対象物質の状態をカラー画像によって確認することができる。
　第７の構成は、第４の構成において、前記任意の複数のカラーフィルタは、Ｇ（緑）及びＢ（青）のカラーフィルタを含み、前記任意の２つのカラーフィルタは、Ｇ（緑）及びＢ（青）のカラーフィルタであることとしてもよい。第７の構成によれば、Ｇ（緑）とＢ（青）のカラーフィルタを透過した波長成分から、Ｇ（緑）とＢ（青）のカラーフィルタの透過波長域が重なる波長成分を分離した可視光信号を出力することができる。その結果、Ｇ（緑）とＢ（青）の波長の分解能が向上し、Ｇ（緑）とＢ（青）の波長域に吸光又は蛍光特性を有する観察対象物質の状態を明確に可視化することができる。
　第８の構成は、第４の構成において、前記任意の複数のカラーフィルタは、Ｒ（赤）及びＧ（緑）のカラーフィルタを含み、前記任意の２つのカラーフィルタは、Ｒ（赤）及びＧ（緑）のカラーフィルタであることとしてもよい。第８の構成によれば、Ｒ（赤）とＧ（緑）のカラーフィルタを透過した波長成分から、Ｒ（赤）とＧ（緑）のカラーフィルタの透過波長域が重なる波長成分を分離した可視光信号を出力することができる。その結果、Ｒ（赤）とＧ（緑）の波長の分解能が向上し、Ｒ（赤）とＧ（緑）の波長域に吸光又は蛍光特性を有する観察対象物質の状態を明確に可視化することができる。
　第９の構成は、第４の構成において、前記任意の複数のカラーフィルタは、Ｒ（赤）、Ｇ（緑）、及びＢ（青）のカラーフィルタを含み、前記任意の２つのカラーフィルタは、Ｒ（赤）及びＢ（青）のカラーフィルタであることとしてもよい。第９の構成によれば、Ｒ（赤）とＢ（青）の波長域が重なる波長域と、Ｒ（赤）、Ｇ（緑）、及びＢ（青）の各波長域の光を透過させることができるので、観察対象物質の状態と観察対象物質そのものを可視化することができる。
　第１０の構成は、第５の構成において、前記任意の複数のカラーフィルタは、Ｒ（赤）及びＢ（青）のカラーフィルタを含み、さらに、前記フィルタ部の前に可視光カットフィルタを備えることとしてもよい。第１０の構成によれば、フィルタ部は近赤外波長域の光しか透過しないため、近赤外波長域に吸光波長を有する観察対象物質の状態をより明確に可視化することができる。
　本発明の一実施形態に係る解析装置は、第１から第１０のいずれかの構成の撮像装置と、前記撮像装置から出力される可視光信号に基づく画像を表示する表示装置と、を備える。（第１１の構成）
　第１１の構成によれば、撮像装置は、表示装置における可視光波長帯域の一部、又は、可視光波長帯域外の波長帯域において、観察対象物質の吸光又は蛍光特性に応じた特定波長帯域の光を透過させ、透過した光の電気信号の信号成分を可視光波長帯域における可視光信号として表示装置に出力する。表示装置は、撮像装置から出力される可視光信号に基づいて画像を表示する。そのため、観察対象物質の吸光又は蛍光波長が、可視光波長帯域の一部の波長帯域や可視光波長帯域外の波長帯域であっても、可視光波長帯域における信号成分として表示装置に表示させることができる。そのため、ハイパースペクトルカメラのような複雑な光学系を備えることなく、観察対象物質の状態を可視化し、観察対象物質の状態を観察することができる。
　以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。
＜第１実施形態＞
　（構成）
　図１は、本実施形態における撮像装置の構成例を示す模式図である。図２は、図１に示す撮像装置１の機能ブロック図である。以下、撮像装置の構成について、図１及び図２を用いて説明する。
　図１及び図２に示すように、撮像装置１は、撮像部１１、光源１２、及び画像処理部１３を備える。撮像部１１は、観察対象物質３の吸光スペクトル又は蛍光スペクトルに応じた特定波長帯域の光を画素ごとに受光して電気信号に変換する。光源１２は、特定波長帯域の光を観察対象物質３へ照射する。画像処理部１３は、撮像部１１及び表示装置２と電気的に接続されている。画像処理部１３は、撮像部１１から出力される画素ごとの電気信号を、表示装置２において表示可能な可視光波長域の信号(可視光信号)に変換し、表示装置２に出力する。
　表示装置２は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等で構成される。表示装置２は、Ｒ、Ｇ、Ｂの各画素を複数備える表示パネルと、各画素を駆動するための駆動回路を有する（いずれも図示略）。表示装置２は、撮像装置１から可視光信号を受け取り、その可視光信号に基づいて各画素を駆動してカラー画像を表示する。
　次に、撮像装置１の各部について具体的に説明する。図２において、撮像部１１は、画素ごとに、フィルタ部１１１と、受光部１１２とを有する。フィルタ部１１１は、有機フィルタ１１１ａを有する。有機フィルタ１１１ａは、有機顔料を色材とするＲ、Ｇ、Ｂのカラーフィルタのうちの任意の２つのカラーフィルタによって構成されている。
　受光部１１２は、信号処理部１１２ａ、及び光電変換素子１１２ｂを有する。光電変換素子１１２ｂは、フォトダイオード等で構成され、入射した光の受光量に応じた電荷を蓄積する。信号処理部１１２ａは、光電変換素子１１２ｂで蓄積された電荷の量に応じた電気信号を画像処理部１３に出力する。なお、本実施形態では、画素ごとに信号処理部１１２ａが設けられ、画素ごとに電荷に応じた電気信号を出力するが、信号処理部１１２ａは画素ごとに設けられていなくてもよい。例えば、信号処理部１１２ａは、複数の列の各画素の光電変換素子１１２ｂによって変換された電荷を並行して転送し、各列の電荷に応じた電気信号を画像処理部１３に順次出力してもよい。
　図３Ａは、撮像部１１の断面を模式的に表した断面図である。図３Ａに示すように、撮像部１１は、画素１１ｐ＿１、１１ｐ＿２、１１ｐ＿３の各々に、有機フィルタ１１１ａと、信号処理部１１２ａと、光電変換素子１１２ｂとが積層されて構成されている。なお、図３Ａでは図示を省略するが、有機フィルタ１１１ａの上部には、観察対象物質３からの光を集光するマイクロレンズ（図示略）が配置されている。
　有機フィルタ１１１ａは、マイクロレンズ（図示略）で集光された光のうち、観察対象物質３の吸光スペクトル又は蛍光スペクトルに応じた特定波長帯域の光を透過させる。本実施形態において、観察対象物質３は、４００～５５０ｎｍにおいて吸光又は蛍光波長を有する。
　有機フィルタ１１１ａは、カラーフィルタ１１１ａ＿Ｇ及び１１１ａ＿Ｂと、積層フィルタ１１１ａ＿ＢＧを含み、３５０～６５０ｎｍの波長域の光を透過させる。以下、カラーフィルタ１１１ａ＿Ｇ及び１１１ａ＿Ｂと、積層フィルタ１１１ａ＿ＢＧとを、フィルタ１１１ａ＿Ｇ、１１１ａ＿Ｂ、１１１ａ＿ＢＧと称する。
　フィルタ１１１ａ＿Ｇは、４５０～６００ｎｍの緑の波長帯域の光を透過させる。フィルタ１１１ａ＿Ｂは、３５０～５００ｎｍの青の波長帯域の光を透過させる。フィルタ１１１ａ＿ＢＧは、フィルタ１１１ａ＿Ｇの上にフィルタ１１１ａ＿Ｂが積層されて構成されている。フィルタ１１１ａ＿ＢＧは、フィルタ１１１ａ＿Ｇとフィルタ１１１ａ＿Ｂの透過波長域が重なる、４５０～５００ｎｍの波長帯域の光を透過させる。
　マイクロレンズ（図示略）で集光された光は、フィルタ１１１ａ＿Ｇ、１１１ａ＿Ｂ、及びフィルタ１１１ａ＿ＢＧによって分光され、受光部１１２に入射する。
　なお、図３Ａでは、説明の便宜上、フィルタ１１１ａ＿Ｇ、１１１ａ＿Ｂ、１１１ａ＿ＢＧを横に並べて配置された画素の例を示しているが、フィルタ１１１ａ＿Ｇ、１１１ａ＿ＢＧ、１１１ａ＿Ｂは、ベイヤ配列（Ｒ×１、Ｇ×２、Ｂ×１）に対応させて配置されるものとする。つまり、図３Ｂに示すように、撮像部１１における画素群において、ベイヤ配列のＲに対応する画素１１ｐ＿Ｒにフィルタ１１１ａ＿Ｇを配置し、ベイヤ配列のＧに対応する画素１１ｐ＿Ｇにフィルタ１１１ａ＿ＢＧを配置する。また、ベイヤ配列のＢに対応する画素１１ｐ＿Ｂにフィルタ１１１ａ＿Ｂを配置する。
　図２に戻り、説明を続ける。光源１２は、例えばＬＥＤ（Light Emitting Diode）で構成され、フィルタ部１１１の透過波長域（３５０～６００ｎｍ）にピーク波長を有する光を照射する。
　画像処理部１３は、例えばＰＣ（Personal Computer）等で構成され、図示しないＣＰＵ（Central Processing Unit）と、ＲＡＭ(Random Access Memory)及びＲＯＭ(Read Only Memory)を含むメモリとを有する。画像処理部１３は、ＲＯＭに記憶された制御プログラムを実行することにより、信号変換部１３１と表示制御部１３２の各機能を実現する。
　信号変換部１３１は、図３Ｂに示す４つの画素を１組とし、画素１１ｐ＿Ｒ、１１ｐ＿Ｇ、１１ｐ＿Ｂの信号成分を以下の式（１）～（３）によって変換する。
　Ｉｂ－Ｉｂｇ＝Ｂ　・・・式（１）
　Ｉｂｇ＝Ｇ　　　　・・・式（２）
　Ｉｇ－Ｉｂｇ＝Ｒ　・・・式（３）
　なお、上記Ｉｂは、フィルタ１１１ａ＿Ｂが配置された画素１１ｐ＿Ｂから出力される信号成分である。上記Ｉｂｇは、フィルタ１１１ａ＿ＢＧが配置された画素１１ｐ＿Ｇから出力される信号成分である。また、上記Ｉｇは、フィルタ１１１ａ＿Ｇが配置された画素１１ｐ＿Ｒから出力される信号成分である。
　つまり、フィルタ１１１ａ＿Ｂを透過した青の波長成分から、フィルタ１１１ａ＿ＢＧを透過した波長成分、すなわち、青の波長帯域と重なる緑の波長成分を減算した結果を、表示装置２におけるＢ信号成分として出力する。また、フィルタ１１１ａ＿Ｇを透過した緑の波長成分から、フィルタ１１１ａ＿ＢＧを透過した波長成分、すなわち、緑の波長帯域と重なる青の波長成分を減算した結果を、表示装置２におけるＲ信号成分として出力する。そして、フィルタ１１１ａ＿ＢＧを透過した波長成分、すなわち、青と緑の波長帯域が重なる波長成分を、表示装置２におけるＧ信号成分として出力する。
　図４は、上記変換処理後の各信号成分のスペクトル特性を示す図である。図４において、破線で示す波形はＲ信号成分、一点鎖線で示す波形はＧ信号成分、実線で示す波形はＢ信号成分を表している。
　図４に示すように、Ｂ信号成分のスペクトル特性は、４２０ｎｍ近傍のピーク波長を有し、４００～４８０ｎｍと６３０～６８０ｎｍの波長域を有する。Ｇ信号成分のスペクトル特性は、５００ｎｍ近傍のピーク波長を有し、４５０～５５０ｎｍの波長域を有する。また、Ｒ画素のスペクトル特性は、５５０ｎｍ近傍のピーク波長を有し、５００～７００ｎｍの波長域を有する。
　従来のＲＧＢのカラーフィルタを用いたカラーカメラの場合、４５０～５００ｎｍにおいてＢとＧの透過波長域が重なるため、この波長域に、観察対象物質３の状態に応じた吸光又は蛍光特性がある場合、観察対象物質３の状態を色によって区別することができない。本実施形態では、図４のスペクトル特性に示すように、４５０～５００ｎｍの波長域において、ＢよりもＧの透過率が高いため、この波長域に観察対象物質３の状態に応じた吸光又は蛍光特性がある場合であっても、観察対象物質３の状態を色によって区別することができる。なお、図４に示すスペクトル特性では、４００～６００ｎｍの波長帯域の他に、６３０ｎｍ以降の波長帯域に透過特性を有する。そのため、必要に応じて、例えば赤外線カットフィルタを撮像部１１の前に配置し、６３０ｎｍ以降の波長域の光を透過させないようにしてもよい。
　図２に戻り、説明を続ける。表示制御部１３２は、信号変換部１３１によって変換されたＲ，Ｇ，Ｂの信号成分の各々を、表示装置２におけるＲ，Ｇ，Ｂの各波長帯域に割り当てる。そして、表示制御部１３２は、割り当て後のＲ，Ｇ，Ｂの各信号成分を、表示装置２におけるＲ、Ｇ、Ｂの各画素の信号として出力する。
　（適用例）
　次に、本実施形態における撮像装置１の適用例について説明する。本適用例では、紫外光によって励起する埃、大腸菌やサルモネラ菌等の細菌、スギ花粉を観察対象物質３とし、埃、細菌、スギ花粉を区別して可視化する例を説明する。
　図５Ａは、埃と細菌の蛍光スペクトルを示す図であり、図５Ａにおいて、二点鎖線は埃の蛍光スペクトル、破線と実線はサルモネラ菌と大腸菌の蛍光スペクトルを示している。また、図５Ｂは、スギ花粉の蛍光スペクトルを示している。
　本適用例では、光源１２として、３５０～３７０ｎｍ付近にピーク波長を有する紫外光を照射するＬＥＤを用いる。これにより、上記各観察対象物質３を励起させることができる。
　スギ花粉の蛍光特性は、図５Ｂに示すように、４８０ｎｍ近傍にピーク波長を有し、４５０～７００ｎｍの波長域を有する。従って、スギ花粉は、撮像装置１におけるＧ信号及びＲ信号で表され、赤味がかった緑色のスギ花粉の画像が表示装置２に表示される。
　また、埃の蛍光特性は、図５Ａに示すように、４５０ｎｍ近傍のピーク波長を有し、４００～４７０ｎｍの波長域を有する。従って、埃は、撮像装置１において、Ｂ信号成分とＧ信号成分で表され、青味を帯びた緑色の埃の画像が表示装置２に表示される。
　また、大腸菌やサルモネラ菌等の細菌は、図５Ａに示すように、ピーク波長が４８０～５００ｎｍ付近であり、４５０～５５０ｎｍの波長域を有する。従って、細菌は、Ｇ信号成分で表され、緑色の細菌の画像が表示装置２に表示される。
　なお、上記適用例では、埃、細菌、スギ花粉を撮像する例を説明したが、例えば、観察対象物質３として稲を撮像し、稲の成熟状態を可視化してもよい。稲は、その成熟度合によってタンパク質の含有量が変化する。タンパク質の含有量は、４００～４６０ｎｍ付近のクロロフィルの反射率と、４６０～５１０ｎｍ付近のカロテンの反射率との比の間に高い相関性を有することが知られている。
　そのため、撮像装置１で稲を撮像することにより、表示装置２において、稲に含まれるクロロフィルの状態を青色、稲に含まれるカロテンの状態を緑色で表すことができる。稲におけるクロロフィルとカロテンが可視化されることによって、稲に含まれるタンパク質の状態を観察することができ、タンパク質の状態から稲の成熟度合を推定することができる。
＜第２実施形態＞
　上述した第１実施形態では、有機フィルタ１１１ａをＢとＧのカラーフィルタによって構成する例について説明した。本実施形態では、第１実施形態とは異なる有機フィルタ１１１ａの構成例について説明する。以下、本実施形態における撮像装置について、第１実施形態と異なる構成を主に説明する。
　図６Ａは、本実施形態における撮像部の断面を模式的に表した断面図である。この図において第１実施形態と同じ構成には第１実施形態と同様の符号を付している。
　本実施形態において、観察対象物質３は、４５０～７００ｎｍにおいて吸光又は蛍光波長を有し、撮像部におけるフィルタ部は、４５０～７００ｎｍの波長域の光を透過させる。具体的には、図６Ａに示すように、本実施形態における撮像部１１Ａは、有機フィルタ１１１ａとして、積層フィルタ１１１ａ＿ＧＲと、カラーフィルタ１１１ａ＿Ｇ及び１１１ａ＿Ｒとを備える。以下、積層フィルタ１１１ａ＿ＧＲとカラーフィルタ１１１ａ＿Ｇ及び１１１ａ＿Ｒを、フィルタ１１１ａ＿ＧＲ、１１１ａ＿Ｇ、１１１ａ＿Ｒと称する。
　フィルタ１１１ａ＿Ｇは、４５０～６００ｎｍの波長帯域の光を透過させる。フィルタ１１１ａ＿Ｒは、５５０～７００ｎｍの波長帯域の光を透過させる。フィルタ１１１ａ＿ＧＲは、フィルタ１１１ａ＿Ｒの上にフィルタ１１１ａ＿Ｇが積層されて構成されている。フィルタ１１１ａ＿ＧＲは、フィルタ１１１ａ＿Ｇとフィルタ１１１ａ＿Ｒの透過波長域が重なる、５５０～６００ｎｍの波長帯域の光を透過させる。従って、この例におけるフィルタ部１１１の透過波長域は４５０～７００ｎｍである。
　図６Ａでは、説明の便宜上、フィルタ１１１ａ＿ＧＲ、１１１ａ＿Ｇ、１１１ａ＿Ｒを横に並べて配置された画素の例を示しているが、フィルタ１１１ａ＿ＧＲ、１１１ａ＿Ｇ、１１１ａ＿Ｒは、ベイヤ配列（Ｒ×１、Ｇ×２、Ｂ×１）に対応させて配置されるものとする。つまり、図６Ｂに示すように、ベイヤ配列のＲに対応する画素１１ｐ＿Ｒにフィルタ１１１ａ＿Ｒを配置し、ベイヤ配列のＧに対応する画素１１ｐ＿Ｇにフィルタ１１１ａ＿ＧＲを配置し、ベイヤ配列のＢに対応する画素１１ｐ＿Ｂにフィルタ１１１ａ＿Ｇを配置する。
　本実施形態における光源１２（図２参照）は、フィルタ部１１１の透過波長域（４５０～７００ｎｍ）にピーク波長を有する光を照射する。
　また、画像処理部１３における信号変換部１３１（図２参照）は、図６Ｂに示す４画素を１組とし、画素１１ｐ＿Ｒ、１１ｐ＿Ｇ、１１ｐ＿Ｂの信号成分を以下の式（４）～（６）によって変換する。
　Ｉｇ－Ｉｇｒ＝Ｂ　・・・式（４）
　Ｉｇｒ＝Ｇ　　　　・・・式（５）
　Ｉｒ－Ｉｇｒ＝Ｒ　・・・式（６）
　なお、上記Ｉｒは、フィルタ１１１ａ＿Ｒが配置された画素１１１ａ＿Ｒから出力される信号成分である。上記Ｉｇｒは、フィルタ１１１ａ＿ＧＲが配置された画素１１ｐ＿Ｇから出力される信号成分である。上記Ｉｇは、フィルタ１１１ａ＿Ｇが配置された画素１１ｐ＿Ｂから出力される信号成分である。
　つまり、本実施形態では、フィルタ１１１ａ＿Ｇを透過した緑の波長成分から、フィルタ１１１ａ＿ＧＲを透過した波長成分、すなわち、緑の波長帯域と重なる赤の波長成分を減算した結果を表示装置２におけるＢ信号成分とする。また、フィルタ１１１ａ＿Ｒを透過した赤の波長成分から、フィルタ１１１ａ＿ＧＲを透過した波長成分、すなわち、赤の波長帯域と重なる緑の波長成分を減算した結果を表示装置２におけるＲ信号成分とする。そして、フィルタ１１１ａ＿ＧＲを透過した波長成分、すなわち、赤と緑の波長帯域が重なる波長成分を表示装置２におけるＧ信号成分とする。
　図７は、上記変換処理後の信号成分のスペクトル特性を示す図である。図７において、破線で示す波形はＲ信号成分、一点鎖線で示す波形はＧ信号成分、実線で示す波形はＢ信号成分を表している。
　図７に示すように、Ｂ信号成分のスペクトル特性は、５６０ｎｍ近傍のピーク波長を有し、４８０～６００ｎｍの波長域を有する。Ｇ信号成分のスペクトル特性は、５９０ｎｍ近傍のピーク波長を有し、４６０～６３０ｎｍの波長域を有する。また、Ｒ信号成分のスペクトル特性は、ピーク波長が６６０ｎｍ近傍であり、５８０～７００ｎｍの波長域を有する。
　(適用例)
　本実施形態における撮像装置１は、植物の葉の変化の観察に用いることができる。図８は、植物の葉に含まれるクロロフィルの吸光スペクトルを示す図である。図８に示すように、クロロフィルの吸光スペクトルは、４２０ｎｍ付近と６８０ｎｍ付近にピーク波長を有する。クロロフィルのピーク波長６８０ｎｍは、図７に示すように、Ｒ信号のスペクトル範囲に含まれるため、クロロフィルの変化をＲ信号成分で表すことができる。植物の状態や果実の生育状態に応じてわずかに変化する色を肉眼や通常のカラーカメラで観察することは困難であるが、クロロフィルを可視化することにより、植物の状態や果実の生育状態のわずかな変化も観察することができる。
　なお、植物のクロロフィルの含有量に応じた色の変化をより強調するために、クロロフィルの吸光波長に応じた光を観察対象物質３に照射して撮像してもよい。図９は、この場合における撮像装置の構成例を示す模式図である。
　図９において、撮像装置１Ａは、光源１２として、白色ＬＥＤで構成される光源１２Ａ＿１と、６６０～６８０ｎｍにピーク波長を有する光源１２Ａ＿２とを備える。また、撮像装置１Ａにおいて、光源１２Ａ＿１の前方には、例えば５８０ｎｍ以下の光を透過させる長波長カットフィルタ１４が設置されている。
　長波長カットフィルタ１４を設置することにより、光源の赤色成分は光源１２Ａ＿２が発する光の波長成分に絞られる。クロロフィルの吸収波長と光源１２Ａ＿２の波長とが重なるため、Ｒ信号成分によって、クロロフィルによる赤色成分の光の吸収の変化を捉えることができ、植物の状態の変化をより明確に表示させることができる。
＜第３実施形態＞
　上述した第１実施形態及び第２実施形態では、可視光波長領域における一部の波長の光を透過させる有機フィルタ１１１ａの構成例を説明した。本実施形態では、近赤外の波長域の光を透過させる有機フィルタ１１１ａの構成例について説明する。以下、本実施形態における撮像装置について、第２実施形態と異なる構成を主に説明する。
　図１０Ａは、本実施形態における撮像部の断面を模式的に表した断面図である。この図において第２実施形態と同じ構成には第１実施形態と同様の符号を付している。
　本実施形態では、観察対象物質３は、５００～１０００ｎｍにおいて吸光又は蛍光波長を有し、撮像部におけるフィルタ部は、５００～１０００ｎｍの波長域の光を透過させる。具体的には、図１０Ａに示すように、本実施形態における撮像部１１Ｂは、有機フィルタ１１１ａとして、積層フィルタ１１１ａ＿ＢＲと、カラーフィルタ１１１ａ＿Ｇ及び１１１ａ＿Ｒとを備える。積層フィルタ１１１ａ＿ＢＲは、フィルタ１１１ａ＿Ｒの上にフィルタ１１１ａ＿Ｂが積層されたフィルタであり、フィルタ１１１ａ＿Ｂとフィルタ１１１ａ＿Ｒの双方を透過する８００～１０００ｎｍの波長帯域の光を透過させる。以下、積層フィルタ１１１ａ＿ＢＲと、カラーフィルタ１１１ａ＿Ｇ及び１１１ａ＿Ｒを、フィルタ１１１ａ＿ＢＲ、１１１ａ＿Ｇ、１１１ａ＿Ｒと称する。
　図１０Ａでは、説明の便宜上、フィルタ１１１ａ＿ＢＲ、１１１ａ＿Ｇ、１１１ａ＿Ｒを横に並べて配置された画素の例を示しているが、フィルタ１１１ａ＿ＢＲ、１１１ａ＿Ｇ、１１１ａ＿Ｒは、ベイヤ配列（Ｒ×１、Ｇ×２、Ｂ×１）に対応させて配置されるものとする。つまり、図１０Ｂに示すように、ベイヤ配列のＲに対応する画素１１ｐ＿Ｒにフィルタ１１１ａ＿ＢＲを配置し、ベイヤ配列のＧに対応する画素１１ｐ＿Ｇにフィルタ１１１ａ＿Ｒを配置し、ベイヤ配列のＢに対応する画素１１ｐ＿Ｂにフィルタ１１１ａ＿Ｇを配置する。
　また、画像処理部１３における信号変換部１３１（図２参照）は、図１０Ｂに示す４画素を１組とし、画素１１ｐ＿Ｒ、１１ｐ＿Ｇ、１１ｐ＿Ｂの信号成分を以下の式（７）～（９）によって変換する。
　Ｉｇ－Ｉｂｒ＝Ｂ　・・・式（７）
　Ｉｒ－Ｉｂｒ＝Ｇ　・・・式（８）
　Ｉｂｒ＝Ｒ　　　　・・・式（９）
　なお、上記Ｉｂｒは、フィルタ１１１ａ＿ＢＲが配置された画素１１ｐ＿Ｒから出力される信号成分を示している。
　つまり、本実施形態では、フィルタ１１１ａ＿Ｇを透過した緑の波長成分から、フィルタ１１１ａ＿ＢＲを透過した波長成分、すなわち、緑の波長帯域と重なる赤と青の積層波長成分を減算した結果を表示装置２におけるＢ信号成分とする。また、フィルタ１１１ａ＿Ｒを透過した赤の波長成分から、フィルタ１１１ａ＿ＢＲを透過した波長成分、すなわち、赤の波長帯域と重なる赤と青の積層波長成分を減算した結果を表示装置２におけるＧ信号成分とする。そして、フィルタ１１１ａ＿ＢＲを透過した波長成分、すなわち、赤と青の波長帯域が重なる波長成分を表示装置２におけるＲ信号成分とする。
　図１１は、上記変換処理後の各信号成分のスペクトル特性を示す図である。図１１において、破線で示す波形はＲ信号成分、一点鎖線で示す波形はＧ信号成分、実線で示す波形はＢ信号成分を表している。
　図１１に示すように、この例では、Ｂ信号成分のスペクトル特性は、５４０ｎｍ近傍のピーク波長を有し、４６０～６２０ｎｍの波長域を有する。Ｇ信号成分のスペクトル特性は、６００ｎｍ近傍のピーク波長を有し、５８０～７８０ｎｍの波長域を有する。また、Ｒ信号成分のスペクトル特性は、８００ｎｍ近傍のピーク波長を有し、４００～１０００ｎｍの波長域を有する。
　(適用例)
　本実施形態における撮像装置１は、植物の活性度の観察に適用することができる。植物の色素に関わるクロロフィルは、赤の波長域の光を吸収し、緑の波長域の光を反射する。また、植物の葉や実を構成する海綿状の組織体は近赤外の波長域の光を反射する。つまり、植物におけるクロロフィルの含有量の変化によって赤の波長域の光の反射率が変化し、植物の葉や実を構成する海綿状の組織体の状態の変化によって近赤外の波長域の光の反射率が変化する。そのため、撮像装置１で植物を撮像することにより、Ｇ信号成分から植物におけるクロロフィルの含有量の変化を観察することができ、Ｒ信号成分から組織体の状態の変化を観察することができる。
　また、撮像装置１において、植生指数ＮＤＶＩ（Normalized Difference Vegetation Index）を表す画像を表示してもよい。植生指数は、クロロフィルが吸収する赤の波長域の光の反射率と、植物の葉や実を構成する組織体が反射する近赤外の波長域の光の反射率の正規化差分を表す。従って、この場合には、画像処理部１３は、撮像部１１から出力される電気信号を用いて、以下の式（１０）の演算を行う。そして、表示制御部１３２において、その演算結果を示す画像を表示装置２に表示させる。
　ＮＤＶＩ＝（Ｉｂｒ－Ｉｒ）÷（Ｉｂｒ＋Ｉｒ）　　　　・・・式（１０）
（－１≦ＮＤＶＩ≦１）
　ＮＤＶＩの演算に用いられる信号成分（Ｉｂｒ、Ｉｒ）は、画素１１ｐ＿Ｒと画素１１ｐ＿Ｇ（図１０Ｂ参照）から出力される信号成分である。画像処理部１３において、画素１１ｐ＿Ｒと画素１１ｐ＿Ｇについて上記式（１０）の演算を行った植生指数ＮＤＶＩを算出する。また、画素１１ｐ＿Ｂについては、画素１１ｐ＿Ｒと画素１１ｐ＿Ｇの植生指数ＮＤＶＩを用いて補間処理を行ってもよいし、所定の値を設定してもよい。
　表示制御部１３２は、上記演算を行って得られた各画素の植生指数（－１≦ＮＤＶＩ≦１）の値をモノクロ変換した白黒の画像データを表示装置２へ出力してもよい。または、表示制御部１３２は、各画素の植生指数ＮＤＶＩを、その値に応じた緑又は赤の階調で表した画像データを表示装置２へ出力してもよい。
　また、赤の波長域の光の反射率に替えて、植物に含まれるアントシアニンによって吸収される緑の波長域の光の反射率を用いたグリーンＮＤＶＩを表す画像を表示してもよい。この場合、信号変換部１３１は、撮像部１１から出力される電気信号を用いて、画素１１ｐ＿Ｒと画素１１ｐ＿Ｂについて、以下の式（１１）の演算を行う。画素１１ｐ＿Ｇは、画素１１ｐ＿Ｒと画素１１ｐ＿ＢのグリーンＮＤＶＩを用いて補間処理を行ってもよいし、所定の値を設定してもよい。
　グリーンＮＤＶＩ＝（Ｉｂｒ－Ｉｇ）÷（Ｉｂｒ＋Ｉｇ）　　　・・・式（１１）
　表示制御部１３２は、表示装置２に、各画素の植生指数ＮＤＶＩ及びグリーンＮＤＶＩの一方をモノクロ又は階調表示させてもよいし、植生指数ＮＤＶＩ及びグリーンＮＤＶＩの各々を表示させてもよい。これにより、植物におけるクロロフィルやアントシアニンの含有量の変化が可視化され、変化する植物の状態を観察することができる。
＜第４実施形態＞
　上述した第３実施形態では、有機フィルタ１１１ａを用い、赤と近赤外の波長域の光を透過させるようにフィルタ部１１１を構成する例について説明した。本実施形態では、赤外領域の光を透過させるフィルタ部の構成例について説明する。
　図１２は、本実施形態における撮像装置１の機能ブロック図である。図１２に示すように、撮像部１１Ｃにおけるフィルタ部１１１Ｃは、有機フィルタ１１１ａに加えて誘電体多層膜１１１ｂを有する。
　図１３Ａは、撮像部１１Ｃの断面を模式的に表した断面図である。この図において第３実施形態と同じ構成には第３実施形態と同様の符号を付している。
　本実施形態では、観察対象物質３は、４００～１０００ｎｍにおいて吸光又は蛍光波長を有し、撮像部は、４００～１０００ｎｍの波長域の光を透過させる。具体的には、図１３Ａに示すように、画素１１ｐ＿３１と画素１１ｐ＿３３の各々には、有機フィルタ１１１ａ（１１１ａ＿Ｒ、１１１ａ＿Ｂ）が配置され、画素１１ｐ＿３２には、誘電体多層膜（無機フィルタ）１１１ｂが配置されている。以下、有機フィルタ１１１ａ＿Ｒ、１１１ａ＿Ｂ、誘電体多層膜１１１ｂを、フィルタ１１１ａ＿Ｒ、１１１ａ＿Ｂ、１１１ｂと称する。
　誘電体多層膜１１１ｂは、低屈折率の誘電体膜と高屈折率の誘電体膜を交互に積層して構成されている。低屈折率の誘電体膜と高屈折率の誘電体膜の材料の組み合わせとしては、例えば、酸化シリコン（ＳｉＯ２）と酸化チタン（ＴｉＯ２）、又は、ＳｉＯ２と窒化シリコン（Ｓｉ２Ｎ４）が挙げられる。
　図１４は、ＳｉＯ２膜とＳｉ２Ｎ４膜の屈折率と膜厚とを例示した図である。図１４において、Ｌ０、Ｌ１、…Ｌ４はＳｉＯ２膜、Ｈ１、Ｈ２、…Ｈ４はＳｉ２Ｎ４を示している。誘電体多層膜１１１ｂは、５５０～６５０ｎｍの可視光波長域と、９００ｎｍ以上の近赤外波長域の光を透過させる。
　図１３Ａでは、説明の便宜上、フィルタ１１１ａ＿Ｒ、１１１ｂ、１１１ａ＿Ｂを横に並べて配置された画素の例を示しているが、フィルタ１１１ａ＿Ｒ、１１１ｂ、１１１ａ＿Ｂは、ベイヤ配列（Ｒ×１、Ｇ×２、Ｂ×１）に対応させて配置されるものとする。つまり、図１３Ｂに示すように、ベイヤ配列のＲに対応する画素１１ｐ＿Ｒにフィルタ１１１ｂを配置し、ベイヤ配列のＧに対応する画素１１ｐ＿Ｇにフィルタ１１１ａ＿Ｒを配置し、ベイヤ配列のＢに対応する画素１１ｐ＿Ｂにフィルタ１１１ａ＿Ｂを配置する。
　図１５Ａは、フィルタ部１１１Ｃの分光透過特性を示す図である。図１５Ａにおいて、一点鎖線は画素１１ｐ＿Ｒ、破線は画素１１ｐ＿Ｇ、実線は画素１１ｐ＿Ｂの各分光透過特性を示している。図１５Ａに示すように、フィルタ１１１ｂが配置された画素１１ｐ＿Ｒは、５００～６００ｎｍ、９００～１０００ｎｍの波長域の光が透過する。フィルタ１１１ａ＿Ｒが配置された画素１１ｐ＿Ｇは、５５０～１０００ｎｍの波長域の光が透過する。また、フィルタ１１１ａ＿Ｂが配置された画素１１ｐ＿Ｂは、４００～５５０ｎｍと８００～１０００ｎｍの波長域の光が透過する。
　また、画像処理部１３における信号変換部１３１（図１２参照）は、図１３Ｂに示す４画素を１組とし、画素１１ｐ＿Ｒ、１１ｐ＿Ｇ、１１ｐ＿Ｂの信号成分を以下の式（１２）～（１４）によって変換する。
　Ｉｒ－Ｉｂ＝Ｂ　　・・・式（１２）
　Ｉｂ－Ｉｄｍ＝Ｇ　・・・式（１３）
　Ｉｄｍ＝Ｒ　　　　・・・式（１４）
　上記Ｉｄｍは、フィルタ１１１ｂが配置された画素１１ｐ＿Ｒから出力される信号成分である。
　つまり、本実施形態では、フィルタ１１１ａ＿Ｒを透過した赤の波長成分からフィルタ１１１ａ＿Ｂを透過した波長成分を減算した結果を表示装置２におけるＢ信号成分とする。また、フィルタ１１１ａ＿Ｂを透過した波長成分からフィルタ１１１ｂを透過した波長成分を減算した結果を表示装置２におけるＧ信号成分とする。そして、フィルタ１１１ｂを透過した近赤外の波長成分を表示装置２におけるＲ信号成分とする。
　さらに、本実施形態では、撮像装置１において観察対象物質３による赤外波長域の光の吸収を観察するため、撮像部１１Ｃに７００ｎｍ以下の可視光の波長域の光をカットする可視光カットフィルタを設置してもよい。または、暗所で光源１２から近赤外波長域の光を照射し、観察対象物質３を撮像してもよい。要は、可視光の波長域の光が撮像部１１Ｃに入射されないように構成されていればよい。
　　図１５Ｂは、可視光カットフィルタを設置した状態で観察対象物質３を撮像し、上記変換処理を行った後の信号成分のスペクトル特性を示す図である。図１５Ｂにおいて、破線はＲ信号成分、一点鎖線はＧ信号成分、実線はＢ信号成分を表している。
　図１５Ｂに示すように、この例では、Ｂ信号成分のスペクトル特性は、７００ｎｍ近傍のピーク波長を有し、７００～８２０ｎｍの波長域を有する。Ｇ信号成分のスペクトル特性は、８２０ｎｍ近傍のピーク波長を有し、７５０～９００ｎｍの波長域を有する。また、Ｒ信号成分のスペクトル特性は、９２０ｎｍ近傍のピーク波長を有し、８５０～１０００ｎｍの波長域を有する。
　本実施形態における撮像装置１は、観察対象物質３による赤～近赤外の波長域の光の吸収をＲ、Ｇ、Ｂの信号成分で表し、Ｒ，Ｇ，Ｂの各信号成分を表示装置２に出力することにより、赤～近赤外の波長域において吸光特性を有する観察対象物質３の状態を可視化することができる。以下、このような撮像装置１の適用例について説明する。
　(適用例１)
　本適用例では、撮像装置で食肉（豚肉）を撮像することにより、食肉の質を示す画像を表示装置２に表示させる例について説明する。
　図１６は、本適用例の撮像装置の構成例を示す模式図である。図１６に示すように、本適用例の撮像装置１Ｄは、光源１２として、光源１２＿１～１２＿４を備える。光源１２＿２は、７５０ｎｍをピーク波長とするＬＥＤで構成されている。光源１２＿３は、８００ｎｍをピーク波長とするＬＥＤで構成されている。光源１２＿４は、９３０ｎｍをピーク波長とするＬＥＤで構成されている。また、光源１２＿１は、白色ＬＥＤで構成されている。
　豚肉は、そのオレイン酸の含有量に応じて、７５０ｎｍ、８００ｎｍ、９３０ｎｍの各波長付近の光の吸収が変化する。そのため、本適用例では、光源１２＿２～１２＿４の各々を同時に点灯して豚肉を撮像する。これにより、豚肉による上記各波長の吸収をＲ、Ｇ、Ｂの各信号成分で表した画像を表示装置２に表示させることができる。つまり、７５０ｎｍ付近の光の吸収をＢ信号、８００ｎｍ付近の光の吸収をＧ信号、９３０ｎｍ付近の光の吸収をＲ信号で表した豚肉のオレイン酸の含有量を示す画像が表示される。
　また、光源１２＿２～１２＿４を消灯し、光源１２＿１を点灯して豚肉を撮像することにより、上記オレイン酸の含有量を示す画像に加え、豚肉による光源１２＿１の光の吸収をＲ、Ｇ、Ｂの各信号成分で表した画像、つまり、豚肉のカラー画像を表示装置２に表示してもよい。
　（適用例２）
　本適用例では、撮像装置で果実を撮像することにより、果実の糖度を示す画像を表示装置２に表示させる例について説明する。
　従来より、果実の糖度の計測には、果実の赤外光の吸収スペクトルと、その２次微分スペクトルを用いて作成された検量線とに基づいて糖度を計測する非破壊計測法が用いられている。本適用例では、２次微分スペクトルのピーク波長の信号成分と、そのピーク波長の前後の波長の信号成分とを演算した結果を画像化することで果実の糖度を可視化する。
　例えば、梨の糖度は、梨の赤外光の吸収による２次微分スペクトルのピーク波長９１８ｎｍ、９９６ｎｍ、８８２ｎｍ、７００ｎｍと強い相関関係がある。図１７は、本適用例における撮像装置１の構成例を示す模式図である。本適用例では、図１７に示すように、光源１２として、９１８ｎｍ、９９６ｎｍ、８８２ｎｍ、７００ｎｍを各々ピーク波長とする光源１２＿１～１２＿４（以下、基準光源群と称する）を備える。
　さらに、光源１２は、基準光源群よりもピーク波長が１０～５０ｎｍ短い波長を有する光源１２＿１１、１２＿２１、１２＿３１、１２＿４１を備える。つまり、光源１２＿１１のピーク波長は、光源１２＿１のピーク波長９１８ｎｍよりも１０～５０ｎｍ短く、光源１２＿２１のピーク波長は、光源１２＿２のピーク波長９９６ｎｍよりも１０～５０ｎｍ短い。また、光源１２＿３１のピーク波長は、光源１２＿３のピーク波長８８２ｎｍよりも１０～５０ｎｍ短く、光源１２＿４１のピーク波長は、光源１２＿４のピーク波長７００ｎｍよりも１０～５０ｎｍ短い。
　また、さらに、光源１２は、基準光源群よりもピーク波長が１０～５０ｎｍ長い波長を有する光源１２＿１２、１２＿２２、１２＿３２、１２＿４２を備える。つまり、光源１２＿１２のピーク波長は、光源１２＿１のピーク波長９１８ｎｍよりも１０～５０ｎｍ長く、光源１２＿２２のピーク波長は、光源１２＿２のピーク波長９９６ｎｍよりも１０～５０ｎｍ長い。また、光源１２＿３２のピーク波長は、光源１２＿３のピーク波長８８２ｎｍよりも１０～５０ｎｍ長く、光源１２＿４２のピーク波長は、光源１２＿４のピーク波長７００ｎｍよりも１０～５０ｎｍ長い。
　本変形例では、まず、光源１２＿１、光源１２＿３、光源１２＿４（以下、第１光源群）を点灯して撮像する第１撮像処理を行う。その後、第１光源群よりもピーク波長が短い、光源１２＿１１、光源１２＿３１、光源１２＿４１（以下、第２光源群）を点灯して撮像する第２撮像処理を行う。続いて、第１光源群よりもピーク波長が長い、光源１２＿１２、光源１２＿３２、光源１２＿４２（以下、第３光源群）を点灯して撮像する第３撮像処理を行う。さらに、光源１２＿２を点灯して撮像する第４撮像処理と、光源１２＿２１を点灯して撮像する第５撮像処理と、光源１２＿２２を点灯して撮像する第６撮像処理とを順次行う。
　第１～第３撮像処理の各々によって得られる画素ごとの電気信号を上記式（１２）～（１４）を用いて変換し、変換後の信号を第１の画像信号、第２の画像信号、第３の画像信号とする。また、第４～第６撮像処理の各々によって得られる画素ごとの電気信号を上記式（１２）～（１４）を用いて変換し、変換後の信号を第１の画像信号、第２の画像信号、第３の画像信号とする。
　画像処理部１３は、第１～第３撮像処理の各々によって得られる画素ごとの第１～第３の画像信号を用いて、以下の式（１５）の演算を行う。さらに、第４～第６撮像処理の各々によって得られる画素ごとの第１～第３の画像信号を用いて以下の式（１５）の演算を行う。
　（第１の画像信号）－２×（第２の画像信号）＋（第３の画像信号）…式（１５）
　図１５Ｂに示すように、８８２ｎｍ付近の光の波長成分は画素１１ｐ＿Ｇの信号として出力され、７００ｎｍ付近の光の波長成分は画素１１ｐ＿Ｂの信号として出力される。また、９１８ｎｍ付近と９９６ｎｍ付近の光の波長成分は画素１１ｐ＿Ｒの信号として出力される。画素１１ｐ＿Ｒについての上記演算結果は、果実の赤外光の吸収スペクトルの９１８ｎｍと９９６ｎｍにおける２次微分スペクトルの信号成分に対応する。また、画素１１ｐ＿Ｇについての上記演算結果は、果実の赤外光の吸収スペクトルの８８２ｎｍにおける２次微分スペクトルの信号成分に対応する。また、画素１１ｐ＿Ｂについての上記演算結果は、果実の赤外光の吸収スペクトルの７００ｎｍにおける２次微分スペクトルの信号成分に対応する。
　なお、９１８ｎｍ付近と９９６ｎｍ付近の光の波長成分は画素１１ｐ＿Ｒで受光されるため、画素１１ｐ＿Ｒについては、第１～第３撮像処理で得られた第１～第３の画像信号に基づく演算結果と、第４～第６撮像処理で得られた第１～第３の画像信号に基づく演算結果とが得られる。そのため、画像処理部１３は、画素１１ｐ＿Ｇと画素１１ｐ＿Ｂについては、画素ごとに１つの演算結果をＲＡＭに記憶し、画素１１ｐ＿Ｒについては、波長ごとの演算結果をＲＡＭに記憶する。
　画像処理部１３は、９１８ｎｍ、９９６ｎｍ、８８２ｎｍ、７００ｎｍの演算結果のうち、３つの波長の各々に対応する画素の演算結果を表示装置２に出力する。画像処理部１３は、例えば、撮像装置１において上記４つの波長から３つの波長の選択を受け付け、受け付けた３つの波長の各々に対応する各画素の演算結果を表示装置２に出力する。また、画像処理部１３において、各波長に対応する画素ごとの演算結果の大きさに応じて３つの波長を選択し、選択した波長に対応する画素の演算結果を表示装置２に出力してもよい。また、２次微分スペクトルの各ピーク波長に対して重回帰分析を行って得られる係数を用いて、上記４つの波長に対応する各画素の上記演算結果の線形和を算出し、算出結果をモノクロ又は階調変換した信号を表示装置２に出力してもよい。
＜変形例＞
　以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。以下、本発明の変形例について説明する。
　（１）上記第３実施形態の適用例では、植生指数ＮＤＶＩを表す画像を表示したが、クロロフィルの吸光スペクトルは大気中のエアロゾル等の影響によって変化する。そのため、本変形例では、エアロゾルの影響を低減し、植生指数ＮＤＶＩよりも感度の高い拡張植生指数ＥＶＩ（Enhanced Vegetation Index）を可視化する例について説明する。
　本変形例では、図１８Ａに示すように、上述した第３実施形態の有機フィルタ１１１ａとして、カラーフィルタ１１１ａ＿Ｇに替えて、カラーフィルタ１１１ａ＿Ｂを備える。この場合には、図１８Ｂに示すように、画素１１ｐ＿Ｇにカラーフィルタ１１１ａ＿Ｒ、画素１１ｐ＿Ｂにカラーフィルタ１１１ａ＿Ｂが配置されるように構成すればよい。
　信号変換部１３１は、図１８Ｂに示す各画素から出力される電気信号を用いて、以下の式（１６）の演算を行い、拡張植生指数ＥＶＩを算出する。表示制御部１３２は、画素ごとの拡張植生指数ＥＶＩを、その値に応じたコントラスト又は階調色で表した画像を表示装置２に表示させてもよい。
　ＥＶＩ＝（Ｉｂｒ－Ｉｒ）÷（Ｉｂｒ＋Ｃ１×Ｉｒ－Ｃ２×Ｉｂ＋１）…式（１６）
　Ｃ１，Ｃ２：エアロゾル補正係数
　（２）また、上記第３実施形態の適用例におけるフィルタ部１１１を図１９Ａに示すように構成してもよい。図１９Ａに示すように、本変形例では、有機フィルタ１１１ａとして、さらに、カラーフィルタ１１１ａ＿Ｂを備える。この場合、図１９Ｂに示すように、画素１１ｐ＿Ｒにフィルタ１１１ａ＿Ｒを配置し、画素１１ｐ＿Ｂにフィルタ１１１ａ＿Ｂを配置する。また、フィルタ１１１ａ＿Ｇとフィルタ１１１ａ＿ＢＲは、画素１１ｐ＿Ｇに各々配置するようにする。
　このように構成することにより、フィルタ部１１１は、近赤外とＲ、Ｇ、Ｂの各波長域の光を透過させることができるので、フィルタ１１１ａ＿Ｒ、１１１ａ＿Ｇ、１１１ａ＿Ｂが配置された画素１１ｐ＿Ｒ、１１ｐ＿Ｇ、１１ｐ＿Ｂを透過した電気信号に基づくカラー画像を表示装置２に表示させることができる。
　（３）上記第３実施形態の別の適用例として、りんごの打撲損傷の有無を可視化してもよい。りんごの打撲損傷の有無に応じて、７４０～８１０ｎｍの波長域でのりんごの分光反射率の回帰直線の傾きが異なる。本変形例では、撮像装置１における光源１２として、８１０ｎｍをピーク波長とするＬＥＤと、７４０ｎｍをピーク波長とするＬＥＤとを用い、りんごの反射光を撮像する。これにより、７４０ｎｍの吸光スペクトルはＧ信号成分で表され、８１０ｎｍの吸光スペクトルはＲ信号で表されるため（図１１参照）、赤と緑の画像の割合からりんごの打撲損傷の有無を確認することができる。
　なお、上記では７４０ｎｍと８１０ｎｍのピーク波長を有する光源を用いたが、フィルタ部１１１を、有機フィルタ１１１ａと無機多層膜とを組み合わせて構成してもよい。例えば、フィルタ部１１１は、カラーフィルタ１１１ａ＿Ｇと、カラーフィルタ１１１ａ＿Ｒと第１無機多層膜とを積層した積層フィルタと、カラーフィルタ１１１ａ＿Ｂと第２無機多層膜とを積層した積層フィルタとで構成する。第１無機多層膜は８１０ｎｍの光を透過させるように構成し、第２無機多層膜は７４０ｎｍの光を透過させるように構成する。これにより、赤外波長域の光を照射する光源を用いた場合であっても、りんごの打撲損傷の有無を可視化することができる。
　（４）また、上記第３実施形態の別の適用例として、血液に含まれる酸化ヘモグロビンと還元ヘモグロビンの吸収を画像化し、血液の酸素飽和濃度を観察してもよい。図２０は、酸化ヘモグロビンと還元ヘモグロビンの吸光スペクトルを示す図である。図２０において、破線で示す波形は酸化ヘモグロビンの吸光スペクトルを示し、実線で示す波形は還元ヘモグロビンの吸光スペクトルを示している。
　図２０に示すように、６００～８００ｎｍの波長域では酸化ヘモグロビンよりも還元ヘモグロビンの吸収が大きく、８００ｎｍ以上の波長域では還元ヘモグロビンよりも酸化ヘモグロビンの吸収が大きくなっている。そのため、この場合には、光源１２として、ピーク波長が６６０ｎｍの光源と、ピーク波長が８５０ｎｍの光源とを用いる。
　図１１に示すように、６６０ｎｍ近傍の吸収はＧ信号成分で表され、８５０ｎｍの吸収はＲ信号成分で表される。つまり、酸化ヘモグロビンは緑の画像、還元ヘモグロビンは赤の画像として表示装置２に各々表示される。その結果、赤と緑の画像から還元ヘモグロビンと酸化ヘモグロビンの割合を確認でき、血中の酸素飽和濃度の状態を観察することができる。
　（５）上述した第１実施形態から第４実施形態では、フィルタ部の各フィルタを、フィルタの透過波長の大きい順に画素１１ｐ＿Ｒ、画素１１ｐ＿Ｇ、画素１１ｐ＿Ｂに各々配置したが、フィルタの配置はこれに限定されない。例えば、フィルタの透過波長の小さい順に、画素１１ｐ＿Ｒ、画素１１ｐ＿Ｇ、画素１１ｐ＿Ｂに各々配置してもよいし、フィルタの透過波長の大きさに限らず、画素１１ｐ＿Ｒ、画素１１ｐ＿Ｇ、画素１１ｐ＿Ｂのうちの任意に定めたいずれかの画素に配置してもよい。要は、フィルタ部１１１における各フィルタを、ベイヤ配列のＲ，Ｇ，Ｂのいずれかに対応する画素に配置すればよい。
　（６）上述した第１実施形態から第４実施形態では、画像処理部１３の表示制御部１３２から出力されたＲ、Ｇ、Ｂの各信号成分を表示装置２に出力することにより、観察対象物質３の状態をカラー表示する例を説明したが、撮像装置１に表示部が設けられる場合には、その表示部にＲ、Ｇ、Ｂの各信号成分を出力してもよい。
　（７）上述した第１実施形態から第４実施形態において、式（１）～（９）、及び式（１２）～（１４）を用いて演算した結果を表示装置２におけるＲ、Ｇ、Ｂの信号成分とし、Ｒ，Ｇ，Ｂの色の割り当てを行う例を説明したが、例えば、この演算結果に対して所定の演算処理を施して、表示装置２におけるＲ，Ｇ，Ｂの色の割り当てを行ってもよい。また、式（１）～（９）、及び式（１２）～（１４）では、フィルタ部の透過波長域における短波長成分から順にＢ、Ｇ、Ｒの信号成分に割り当てているが、これに限定されるものではない。例えば、短波長成分から順にＲ、Ｂ、Ｇの信号成分に割り当てるなど、わかりやすさに応じて表示装置２における色の割り当てを行ってもよい。要は、フィルタ部の透過波長域の波長成分を表示装置２におけるＲ，Ｇ，Ｂの任意の信号成分に割り当てればよい。
　（８）また、本発明は、上述した第１実施形態から第４実施形態におけるフィルタ部と受光部と画像処理部とを有する撮像装置１と、表示装置２とを含む解析装置であるとしてもよい。

Claims (7)

  1. 　表示装置において表示可能な可視光波長帯域の一部、又は前記可視光波長帯域外の波長帯域であって、観察対象物質の吸光スペクトル又は蛍光スペクトルに応じた特定波長帯域の光を透過させるフィルタ部と、
    　前記フィルタ部で透過された光を受光し、受光した光を電気信号に変換する撮像素子を有する受光部と、
    　前記受光部で変換された電気信号の信号成分を、前記可視光波長帯域における可視光信号に変換して前記表示装置へ出力する画像処理部と、
    　を備える撮像装置。
  2. 　さらに、前記特定波長帯域における波長を含む光を前記観察対象物質に照射する光源を備える、請求項１に記載の撮像装置。
  3. 　さらに、前記観察対象物質に励起光を照射する光源を備える、請求項１に記載の撮像装置。
  4. 　前記フィルタ部は、分光透過特性が異なる複数のフィルタを有し、
    　前記複数のフィルタは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタのうちの任意の複数のカラーフィルタと、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタのうちの任意の２つのカラーフィルタを積層した積層フィルタとを含み、
    　前記画像処理部は、前記積層フィルタを透過した光の信号成分と、前記複数のカラーフィルタの各々を透過した光の信号成分と前記積層フィルタを透過した光の信号成分との差分の各々を前記可視光信号に変換する、請求項１から３のいずれか一項に記載の撮像装置。
  5. 　前記フィルタ部は、分光透過特性が異なる複数のフィルタを有し、
    　前記複数のフィルタは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタのうちの任意の複数のカラーフィルタと、屈折率が異なる複数の誘電体を積層した積層フィルタとを含み、
    　前記積層フィルタの透過波長域は、近赤外波長域を含む、請求項１から３のいずれか一項に記載の撮像装置。
  6. 　さらに、前記画像処理部から出力された前記可視光信号に基づくカラー画像を表示する表示部を備える、請求項１から５のいずれか一項に記載の撮像装置。
  7. 　請求項１から６のいずれか一項に記載の撮像装置と、
    　前記撮像装置から出力される可視光信号に基づく画像を表示する表示装置と、
    　を備える解析装置。
PCT/JP2015/069683 2014-07-15 2015-07-08 撮像装置、及び解析装置 WO2016009925A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016534391A JP6378767B2 (ja) 2014-07-15 2015-07-08 撮像装置、及び解析装置
CN201580038421.6A CN106537906B (zh) 2014-07-15 2015-07-08 摄像装置和分析装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-144889 2014-07-15
JP2014144889 2014-07-15

Publications (1)

Publication Number Publication Date
WO2016009925A1 true WO2016009925A1 (ja) 2016-01-21

Family

ID=55078421

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/069683 WO2016009925A1 (ja) 2014-07-15 2015-07-08 撮像装置、及び解析装置

Country Status (3)

Country Link
JP (1) JP6378767B2 (ja)
CN (1) CN106537906B (ja)
WO (1) WO2016009925A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018173706A1 (ja) * 2017-03-24 2018-09-27 富士フイルム株式会社 組成物、カラーフィルタ、及び、ヘモグロビンセンサ
WO2019155709A1 (ja) * 2018-02-09 2019-08-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、電子装置、および、電子装置の製造方法
WO2023275654A1 (ja) * 2021-06-30 2023-01-05 株式会社半導体エネルギー研究所 表示装置、表示モジュール、及び電子機器
JP7360649B2 (ja) 2019-07-10 2023-10-13 国立研究開発法人農業・食品産業技術総合研究機構 クロロフィル含有量の測定方法及び果実の熟度判定方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110326284B (zh) * 2017-03-27 2021-11-30 株式会社尼康 摄像装置及摄像元件

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009247473A (ja) * 2008-04-03 2009-10-29 Hochiki Corp エチルアルコール検知装置
JP2009257919A (ja) * 2008-04-16 2009-11-05 Panasonic Corp 固体撮像装置、撮像システム及び検知装置
JP2010217882A (ja) * 2009-02-18 2010-09-30 Toyohashi Univ Of Technology 機能性分光フィルタ及び評価システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
US7821552B2 (en) * 2005-12-27 2010-10-26 Sanyo Electric Co., Ltd. Imaging apparatus provided with imaging device having sensitivity in visible and infrared regions
JP2008229024A (ja) * 2007-03-20 2008-10-02 Olympus Corp 蛍光観察装置
JP4621270B2 (ja) * 2007-07-13 2011-01-26 キヤノン株式会社 光学フィルタ
JP2011199798A (ja) * 2010-03-24 2011-10-06 Sony Corp 物理情報取得装置、固体撮像装置、物理情報取得方法
EP2433552B1 (en) * 2010-04-01 2013-01-16 Olympus Medical Systems Corp. Light source apparatus and endoscope system
JP5612894B2 (ja) * 2010-04-12 2014-10-22 オリンパス株式会社 撮像装置
JP6253231B2 (ja) * 2012-12-27 2017-12-27 オリンパス株式会社 被検体観察システム及びその方法、カプセル型内視鏡システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009247473A (ja) * 2008-04-03 2009-10-29 Hochiki Corp エチルアルコール検知装置
JP2009257919A (ja) * 2008-04-16 2009-11-05 Panasonic Corp 固体撮像装置、撮像システム及び検知装置
JP2010217882A (ja) * 2009-02-18 2010-09-30 Toyohashi Univ Of Technology 機能性分光フィルタ及び評価システム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018173706A1 (ja) * 2017-03-24 2018-09-27 富士フイルム株式会社 組成物、カラーフィルタ、及び、ヘモグロビンセンサ
JPWO2018173706A1 (ja) * 2017-03-24 2019-11-07 富士フイルム株式会社 組成物、カラーフィルタ、及び、ヘモグロビンセンサ
US11543747B2 (en) 2017-03-24 2023-01-03 Fujifilm Corporation Composition, color filter, and hemoglobin sensor
WO2019155709A1 (ja) * 2018-02-09 2019-08-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、電子装置、および、電子装置の製造方法
US11961858B2 (en) 2018-02-09 2024-04-16 Sony Semiconductor Solutions Corporation Solid-state imaging element, electronic device, and method of manufacturing electronic device
JP7360649B2 (ja) 2019-07-10 2023-10-13 国立研究開発法人農業・食品産業技術総合研究機構 クロロフィル含有量の測定方法及び果実の熟度判定方法
WO2023275654A1 (ja) * 2021-06-30 2023-01-05 株式会社半導体エネルギー研究所 表示装置、表示モジュール、及び電子機器

Also Published As

Publication number Publication date
JP6378767B2 (ja) 2018-08-22
JPWO2016009925A1 (ja) 2017-04-27
CN106537906A (zh) 2017-03-22
CN106537906B (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
JP6378767B2 (ja) 撮像装置、及び解析装置
AU2018333868B2 (en) Hybrid visible and near infrared imaging with an RGB color filter array sensor
JP6161007B2 (ja) 固体撮像装置及びカメラモジュール
US9113787B2 (en) Electronic endoscope system
EP3106079B1 (en) Image capturing system and electronic endoscope system
Kim et al. Multispectral detection of fecal contamination on apples based on hyperspectral imagery: Part II. Application of hyperspectral fluorescence imaging
US8222603B2 (en) One chip image sensor for measuring vitality of subject
JP4727374B2 (ja) 電子内視鏡装置
Hruska et al. Fluorescence excitation–emission features of aflatoxin and related secondary metabolites and their application for rapid detection of mycotoxins
US9054001B2 (en) Imaging device
JP2013521900A5 (ja)
US20050182328A1 (en) System enabling chromaticity measurement in the visible and invisible ranges
JP7450917B2 (ja) マルチスペクトル画像撮像装置、検査装置及びマルチスペクトル画像撮像方法
US20190041333A1 (en) Imaging method using fluoresence and associated image recording apparatus
Spigulis et al. Multi-spectral skin imaging by a consumer photo-camera
Arnold et al. Hyper-spectral video endoscope for intra-surgery tissue classification using auto-fluorescence and reflectance spectroscopy
JP4080812B2 (ja) 可視並びに不可視領域の色度計測が可能なシステム
Kong et al. Developing handheld real time multispectral imager to clinically detect erythema in darkly pigmented skin
AU2018308077A1 (en) System and method for conformal vision
US20220329767A1 (en) System and method for analyzing surface features using a low-dimensional color space camera
WO2017195863A1 (ja) 撮像装置
US20240122461A1 (en) Multi-band imaging for endoscopes
Qin Hyperspectral and multispectral imaging in the food and beverage industries
Ngoc et al. Designing Multispectral Camera Model using VIS-NIR for non-intrusive food quality assessment
Tuzzi et al. Detection of Fusarium Head Blight of Wheat from hyperspectral images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15822253

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016534391

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15822253

Country of ref document: EP

Kind code of ref document: A1