WO2018154625A1 - 撮像装置、撮像システム、及び撮像方法 - Google Patents

撮像装置、撮像システム、及び撮像方法 Download PDF

Info

Publication number
WO2018154625A1
WO2018154625A1 PCT/JP2017/006346 JP2017006346W WO2018154625A1 WO 2018154625 A1 WO2018154625 A1 WO 2018154625A1 JP 2017006346 W JP2017006346 W JP 2017006346W WO 2018154625 A1 WO2018154625 A1 WO 2018154625A1
Authority
WO
WIPO (PCT)
Prior art keywords
wavelength
infrared light
light
unit
infrared
Prior art date
Application number
PCT/JP2017/006346
Other languages
English (en)
French (fr)
Inventor
譲 池原
早苗 池原
戸津 政浩
卓也 柳川
真 劉
Original Assignee
国立研究開発法人産業技術総合研究所
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人産業技術総合研究所, 株式会社ニコン filed Critical 国立研究開発法人産業技術総合研究所
Priority to PCT/JP2017/006346 priority Critical patent/WO2018154625A1/ja
Priority to JP2019501781A priority patent/JPWO2018154625A1/ja
Publication of WO2018154625A1 publication Critical patent/WO2018154625A1/ja
Priority to US16/545,497 priority patent/US20200026316A1/en

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D25/00Control of light, e.g. intensity, colour or phase
    • G05D25/02Control of light, e.g. intensity, colour or phase characterised by the use of electric means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/38Photometry, e.g. photographic exposure meter using wholly visual means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B39/00Circuit arrangements or apparatus for operating incandescent light sources
    • H05B39/04Controlling
    • H05B39/041Controlling the light-intensity of the source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Definitions

  • the present disclosure relates to an imaging apparatus, an imaging system, and an imaging method.
  • the light detection unit that detects the light emitted from the sample irradiated with the infrared light with the first wavelength and the infrared light with the second wavelength from the light source unit, and the infrared with the first wavelength A sample based on the detection result obtained by adjusting the intensity of the light or the intensity of the infrared light of the second wavelength and simultaneously irradiating the sample with the infrared light of the first wavelength and the infrared light of the second wavelength.
  • An image pickup apparatus is provided that includes a control unit that generates the image.
  • An imaging apparatus includes a light detection unit that detects light emitted from a sample, and a control unit that generates a sample image based on a detection result obtained by the light detection unit.
  • an imaging system including the above-described imaging device and a display device that displays a generated image is provided.
  • the light detection unit detects light emitted from the sample irradiated with the first wavelength infrared light and the second wavelength infrared light from the light source unit, and the control device Obtained by adjusting the intensity of infrared light of the first wavelength or the intensity of infrared light of the second wavelength and irradiating the sample with infrared light of the first wavelength and infrared light of the second wavelength simultaneously. Generating an image of the sample based on the detection result.
  • FIG. 9 is a diagram schematically depicting the image of FIG. 8 in order to make the image shown in FIG. 8 easier to understand.
  • FIG. 12 is a diagram schematically showing the image of FIG. 11 in order to make the image shown in FIG. 11 easy to understand. It is a figure which shows the example of a combination of the wavelength which can discriminate water, heavy water, and oil which concern on this embodiment. It is the figure which represented typically the image of FIG. 13, in order to make the image shown in FIG. 13 intelligible.
  • FIG. 18 is a diagram schematically showing the image of FIG. 17 in order to make the image shown in FIG. 17 easy to understand.
  • 10 is a flowchart for explaining light intensity adjustment processing in the imaging system 1 of Modification 1; It is a figure which shows the example (in the case of pixel value raising) of the light intensity adjustment process which concerns on this embodiment.
  • FIG. 25 is a diagram schematically showing the image of FIG. 24 for easy understanding of the image shown in FIG. 24. It is a figure which shows the example of a combination of the wavelength which can discriminate water, albumin, and oil which concern on this embodiment.
  • FIG. 27 is a diagram schematically showing the image of FIG. 26 in order to make the image shown in FIG. 26 easier to understand.
  • this embodiment may be implemented by software that runs on a general-purpose computer, or may be implemented by dedicated hardware or a combination of software and hardware.
  • FIG. 1 is a diagram for explaining a configuration example of an imaging system 1 according to the first embodiment.
  • FIG. 1A is a diagram illustrating a configuration example of the imaging system 1 according to the first embodiment.
  • FIG. 1B is a diagram illustrating a configuration example of the imaging device 10 in the imaging system 1.
  • the X direction and the Y direction are, for example, the horizontal direction
  • the Z direction is, for example, the vertical direction.
  • the direction of the arrow is appropriately referred to as a + side (eg, + X side), and the opposite side is referred to as one side (eg, 1X side).
  • the imaging system 1 is used for medical support such as pathological diagnosis support, clinical diagnosis support, observation support, and surgery support.
  • an imaging system 1 includes an imaging device 10, a control device 101 that controls the entire imaging system 1, and an input device 102 that is used when a user (operator) inputs data, an instruction command, and the like.
  • a display device 103 that displays a GUI or an image captured by the imaging device 10 described later is provided.
  • the imaging apparatus 10 includes a specimen support unit 2, an illumination unit (illumination unit) 3, a detection unit (imaging unit) 4, a calibration reference unit 5, a switching unit 6, and a control unit 7. And the storage unit 8.
  • the control unit 7 operates, for example, according to an instruction command from the control device 101. That is, the instruction command input from the input device 102 by the user (operator) is the control device 101. And is transmitted to the control unit 7. For example, the control device 101 reads a program described later (a program corresponding to the flowcharts of FIGS. 13 and 16) from the memory in the control device 101, and follows the program.
  • the control unit 7 operates each operation target (for example, the infrared light source unit 11 or the visible light source unit 13 of the illumination unit 3, the first imaging unit 21, the second imaging unit 22, etc.). Sea urchin to instruct.
  • the specimen support unit 2 supports a specimen including a biological tissue BT (hereinafter also referred to as “sample”).
  • the sample support part 2 is a rectangular plate-shaped member, for example.
  • the upper surface (mounting surface) of the specimen support unit 2 is disposed substantially parallel to the horizontal direction, and the tissue BT can be mounted on the upper surface (mounting surface).
  • the tissue BT is, for example, a human tissue, but may be a tissue of a non-human organism (eg, animal, plant).
  • the tissue BT may be a tissue cut from a living organism or may be a tissue associated with a living organism.
  • the tissue BT may be a living organism (living body) tissue (living tissue) or a living organism (dead body) after death.
  • the tissue BT may be an object extracted from a living organism.
  • the tissue BT may include any organ (organ) of a living organism, may include blood vessels and skin, or may include internal organs inside the skin.
  • the tissue BT may be a material in which a substance that receives light and emits light by excitation (for example, a fluorescent substance or a phosphorescent substance) is added to a biological tissue.
  • the tissue BT may be fixed using a tissue fixing solution such as formalin.
  • the illumination unit 3 is disposed, for example, above the specimen support 2 and irradiates the tissue BT with infrared light (hereinafter, also a concept including “near infrared light”).
  • the illumination unit 3 is attached to the imaging unit 4, for example.
  • the illumination unit 3 includes an infrared light source unit 11, a holding member 12, a visible light source unit 13, and a light source moving unit 14.
  • the infrared light source unit 11 emits at least infrared light (eg, infrared light having a first wavelength, infrared light having a second wavelength, etc.).
  • the holding member 12 holds the infrared light source unit 11.
  • the holding member 12 is, for example, a plate-like member, and holds the infrared light source unit 11 on the lower surface side thereof.
  • the light source moving unit 14 changes the irradiation angle of the infrared light with respect to the tissue BT.
  • the imaging device 10 includes a diffusing member 15.
  • the diffusion member 15 diffuses infrared light from the infrared light source unit 11. By diffusing the infrared light by the diffusion member 15, it becomes possible to make the infrared light irradiated to the tissue BT uniform. Infrared light emitted from the infrared light source unit 11 is diffused by the diffusion member 15 and then irradiated to the tissue BT.
  • the illumination unit 3 can irradiate the tissue BT with near-infrared light.
  • the illumination unit 3 can irradiate the tissue BT with a single narrow wavelength band of infrared light.
  • the illumination unit 3 may be capable of performing shadowless illumination such as a shadowless lamp.
  • the illumination unit 3 may be configured to emit, for example, visible light and irradiate the tissue BT with the visible light.
  • the visible light source unit 13 is held by the holding member 12.
  • the holding member 12 holds the visible light source unit 13 on the lower surface side, for example.
  • the light source moving unit 14 can also change the irradiation angle (eg, irradiation direction) of visible light with respect to the tissue BT. Visible light from the visible light source unit 13 is, for example, diffused by the diffusion member 15 and then irradiated to the tissue BT. This makes it possible to make the visible light irradiated to the tissue BT uniform.
  • the imaging unit 4 as a detection unit includes a first imaging unit 21 and a second imaging unit 22 as a detection unit.
  • the first imaging unit 21 is, for example, an infrared camera, and images the tissue BT by irradiation with infrared light.
  • the first imaging unit 21 detects light emitted from the tissue BT by irradiation with infrared light (e.g., the emitted light includes reflected light, scattered light, transmitted light, reflected scattered light, and the like).
  • the first imaging unit 21 includes an imaging optical system (detection optical system) 23 and an imaging element (light receiving element) 24.
  • the imaging optical system 23 has an AF mechanism (autofocus mechanism), for example, and forms an image of the tissue BT.
  • the optical axis 21 a of the first imaging unit 21 is coaxial with the optical axis of the imaging optical system 23.
  • the image sensor 24 captures an image formed by the imaging optical system 23.
  • the imaging device 24 includes, for example, a two-dimensional image sensor such as a CCD image sensor or a CMOS image sensor.
  • a structure in which a plurality of pixels arranged two-dimensionally and a photodetector such as a photodiode is arranged in each pixel can be adopted as the image sensor 24.
  • the imaging element 24 uses, for example, InGaAs (indium gallium arsenide) as a material of the photodetector, and has sensitivity in the wavelength band of infrared light emitted from the infrared light source unit 11.
  • the detection range A1 of the first imaging unit 21 is, for example, an imaging region that can be imaged by the first imaging unit 21 on the sample support unit 2 and a visual field region of the first imaging unit 21 on the sample support unit 2.
  • the imaging region of the first imaging unit 21 is, for example, a region that is optically conjugate with the light receiving region (the region where the photodetector is disposed) of the imaging element 24.
  • the field area of the first imaging unit 21 is, for example, an area optically conjugate with the inside of the field stop of the imaging optical system 23.
  • the first imaging unit 21 generates captured image data as an imaging result (detection result).
  • the first imaging unit 21 supplies captured image data to the control unit 7.
  • the second imaging unit 22 is, for example, a visible camera, and images the tissue BT by irradiation with visible light.
  • the second imaging unit 22 detects light reflected and scattered from the surface of the tissue BT in the visible light from the visible light source unit 13.
  • the second imaging unit 22 includes an imaging optical system (not shown) and an imaging element (not shown).
  • the imaging optical system has, for example, an AF mechanism (autofocus mechanism) and forms an image of the tissue BT, but the imaging element captures an image formed by the imaging optical system.
  • the imaging element includes a two-dimensional image sensor such as a CCD image sensor or a CMOS image sensor.
  • the image sensor 24 has, for example, a structure in which a plurality of pixels arranged two-dimensionally and a photodetector such as a photodiode is disposed in each pixel.
  • the imaging element uses, for example, Si as the material of the photodetector, and has sensitivity in the wavelength band of visible light emitted from the visible light source unit 13.
  • the second imaging unit 22 generates captured image data as an imaging result (detection result), for example.
  • the second imaging unit 22 supplies captured image data to the control unit 7.
  • the imaging device 10 includes a size changing unit 31.
  • the size changing unit 31 relatively moves the first imaging unit 21 and the sample support unit 2 in the direction of the optical axis 21a of the first imaging unit 21, and changes the size of the detection range A1.
  • the size changing unit 31 is controlled by the control unit 7 to move the imaging unit 4 provided with the first imaging unit 21, thereby moving the first imaging unit 21 and the sample support unit 2 to the imaging unit (e.g., The first imaging unit 21) is relatively moved in the optical axis direction (for example, the optical axis direction of light received by the detection element).
  • the illumination unit 3 having the diffusing member 15 is connected to the imaging unit 4.
  • the size changing unit 31 can move the illumination unit 3 together with the imaging unit 4.
  • the imaging device 10 may not include the second imaging unit 22.
  • the second imaging unit 22 may be included in a device outside the imaging device 10. Further, the imaging device 10 may not include the size changing unit 31.
  • the imaging device 10 may include a zoom mechanism (for example, a zoom lens) as the imaging optical system 23, for example.
  • FIG. 2 is a diagram for explaining the details of the peripheral portion of the illumination unit 3.
  • FIG. 2A is a diagram illustrating the illumination unit 3 with the diffusion member 15 attached thereto
  • FIG. 2B is a diagram illustrating the illumination unit with the diffusion member 15 removed.
  • FIG. 2C is a plan view of the lighting unit 3.
  • FIG. 2D is a diagram illustrating the light source moving unit 14.
  • the diffusing member 15 is provided so as to cover the light emission side of the illumination unit 3.
  • the diffusing member 15 has an opening 15a, and the optical path (the optical axis 21a of the first imaging unit 21 and its surroundings) between the imaging unit 4 and the specimen support unit 2 is disposed inside the opening 15a.
  • the diffusion member 15 is disposed on the light emission side of the illumination unit 3.
  • the diffusion member 15 is provided integrally with the infrared light source unit 11 and the visible light source unit 13, and is disposed between the sample support unit 2, the infrared light source unit 11, and the visible light source unit 13.
  • the diffusing member 15 is disposed on the light receiving side of the imaging unit 4, for example, and has an opening (for example, an opening 15a) through which light such as infrared light and visible light (light through the tissue BT) passes.
  • the diffusing member 15 uses, for example, an infrared light source among the infrared light source unit 11, the visible light source unit 13, and the imaging unit (the first imaging unit 21 and / or the second imaging unit 22) using an opening. It is provided so as to cover the light emission side of the part 11 and the light emission side of the visible light source part 13.
  • the diffusing member 15 constitutes an upper part (ceiling part) with respect to the specimen support part 2 in a state where the calibration reference part 5 is retracted (retracted state), for example.
  • a plurality of illumination units 3 are arranged around the optical axis (eg, the optical axis of light received by the light receiving element) 21a of the imaging unit (detection unit).
  • the infrared light source unit 11 includes a plurality of light sources 16.
  • each of the plurality of light sources 16 is a light emitting diode (LED), but may include a solid light source such as a laser diode (LD) or a lamp light source such as a halogen lamp.
  • the plurality of light sources 16 emit infrared light having different wavelength bands.
  • the wavelength band of the infrared light emitted from each of the plurality of light sources 16 is selected from a wavelength band of about 750 nm or more and about 3000 nm or less, for example.
  • the wavelength bands of infrared light emitted from each of the plurality of light sources 16 are set so that the center wavelengths do not overlap each other, but may be overlapped, and two or more light sources 16 may have the same wavelength band. You may emit light.
  • six light sources are shown in FIG. 2C as the light sources 16 included in the infrared light source unit 11, but may be one or any number of two or more.
  • the plurality of light sources 16 are all held by the holding member 12, but the plurality of light sources 16 may be divided into a plurality of members and held. Further, for example, the plurality of light sources 16 are controlled by the control unit 7 and emit infrared light selectively or collectively.
  • the visible light source unit 13 includes a light source such as a light emitting diode (LED).
  • This light source may be a solid light source such as a laser diode (LD) or a lamp light source such as a halogen lamp.
  • the visible light source unit 13 emits visible light in at least a part of a wavelength band of, for example, about 380 nm to about 750 nm.
  • the visible light source unit 13 is held by the same holding member 12 as the plurality of light sources 16 of the infrared light source unit 11, but may be held by a member different from the holding member 12.
  • a light source of the visible light source unit 13 provided in each illumination unit 3 one light source is shown in FIG. 2C, but two or more light sources may be used.
  • the visible light source unit 13 includes a plurality of light sources, the wavelength bands of visible light emitted from the plurality of light sources may be different from each other for two or more light sources, or may be the same for two or more light sources.
  • the light source moving unit 14 changes the irradiation angle of the infrared light IR to the tissue BT (for example, the irradiation direction and the emission direction of the infrared light source unit 11).
  • the irradiation direction D1 of the infrared light source unit 11 is the direction of the central axis of the infrared light IR (beam) emitted from the infrared light source unit 11, for example.
  • the light source moving unit 14 changes the irradiation angle of the infrared light IR, for example, by changing the posture of the holding member 12 (for example, the angle with the optical axis 21a of the first imaging unit 21).
  • the irradiation angle of the infrared light IR from the infrared light source unit 11 is set so that, for example, the positional relationship between the infrared light source unit 11 and the first imaging unit 21 deviates from the regular reflection relationship regarding the surface of the tissue BT.
  • the irradiation angle of the infrared light IR from the infrared light source unit 11 is set so that the positional relationship between the infrared light source unit 11 and the first imaging unit 21 deviates from the regular reflection relationship with respect to the upper surface of the sample support unit 2. May be.
  • the light source moving unit 14 connects, for example, the holding member 12 and the imaging unit 4 and moves (eg, rotates) the holding member 12 with respect to the imaging unit 4. Thereby, the attitude
  • the light source moving unit 14 includes, for example, an actuator, a gear, and the like, and transmits a driving force for moving the holding member 12.
  • the control unit 7 may control the irradiation angle of the infrared light IR by controlling the light source moving unit 14.
  • the light source moving unit 14 may be driven by an operator (user) human power.
  • the holding member 12 may be connected (eg, supported) to an object different from the imaging unit 4 or may not be connected (eg, supported) to the imaging unit 4.
  • the light source moving unit 14 may change the irradiation angle of the infrared light for each lighting unit 3, or change the irradiation angle of the infrared light at a time in two or more lighting units 3 by a link mechanism, for example. You may let them.
  • the control unit 7 calculates a voltage value (for example, a voltage value applied to the light source) corresponding to the light intensity (see FIG. 16) of infrared light of each wavelength set by the operator, for example. For example, the control unit 7 simultaneously outputs the calculated voltage value to an infrared light source driving unit (not shown) that outputs infrared light of a selected wavelength of the infrared light source unit 11 (at the same timing). ) Control the power circuit (not shown) to apply. Then, the infrared light source to which the voltage is applied emits (outputs) infrared light having a corresponding wavelength at the same time (at the same timing).
  • a voltage value for example, a voltage value applied to the light source
  • each infrared light emitted from each infrared light source is simultaneously irradiated onto the tissue BT.
  • the control unit 7 applies, for example, a voltage calculated to at least one drive unit among the selected plurality of infrared light sources to generate infrared light (e.g., first wavelength) of a predetermined wavelength (for example, wavelength 1). Initiation of infrared light having a wavelength and first infrared light is started, and infrared light having a different wavelength (for example, wavelength 2) (eg, infrared light having a second wavelength, second infrared light) at different timings.
  • the calculated voltage may be applied to the driving unit of the infrared light source that outputs light, and the light may be emitted.
  • the control unit 7 irradiates the tissue BT with infrared light of another wavelength (wavelength 2) while irradiating the tissue BT with infrared light having a predetermined wavelength (wavelength 1).
  • the drive unit is controlled.
  • the tissue BT is irradiated with a plurality of infrared lights simultaneously (so as to be superimposed) for a certain period of time.
  • the plurality of lighting units 3 have the same configuration, but two or more of them may have different configurations.
  • one illumination unit 3 at least one of the positional relationship of the plurality of light sources 16 with respect to the holding member 12, the number of the plurality of light sources 16, and the wavelength band of infrared light emitted from the plurality of light sources 16 is different from the other illumination units. It may be different from the unit 3.
  • the illumination unit 3 may be attached to the imaging device 10 so as to be replaceable, and may be attached when the imaging device 10 performs imaging. At least a part of the illumination unit 3 may be a part of the facility (for example, a room light) in which the imaging device 10 is used.
  • the light source unit (infrared light source unit) 11 that outputs infrared light and the visible light source unit 13 that outputs visible light may be configured as separate units.
  • Each illumination unit may include a single infrared light source unit that outputs infrared light including a plurality of wavelengths, and an optical member that transmits or reflects infrared light of each wavelength.
  • FIG. 3 is a diagram illustrating movement of the imaging unit 4 of the imaging device 10 included in the imaging system 1 according to the first embodiment.
  • the imaging unit 4 is disposed below (eg, in the vertical direction approaching the object) compared to FIG. 3A.
  • the imaging unit 4 moves downward (eg, in the vertical direction approaching the object)
  • the imaging unit 4 approaches the opposite object (eg, sample support unit 2), and the detection range A1 (see FIG. 1B) on this object becomes narrower.
  • the imaging unit 4 can acquire a captured image obtained by enlarging an object in the detection range A1 as the detection range A1 becomes narrower.
  • the imaging unit 4 moves upward (eg, in the vertical direction away from the object), the imaging unit 4 moves away from the opposite object (for example, the sample support unit 2), and the detection range A1 (see FIG. 1B) on the object becomes wider.
  • the imaging unit 4 can acquire a captured image obtained by reducing an object in the detection range A1 as the detection range A1 becomes wider.
  • FIG. 4 is a diagram showing details of the calibration reference unit 5 and the switching unit 6.
  • the calibration reference unit 5 has, for example, at least a calibration portion (eg, standard white plate, standard gray plate, standard black plate, etc.) serving as a measurement reference on the surface, and calibration of the first imaging unit 21 (eg, imaging). Used to calibrate the brightness of light received by the light receiving element of the light.
  • the calibration reference unit 5 is calibrated and tested like a standard white plate, for example.
  • the calibration reference portion 5 may be a plate-shaped member, a block-shaped (bulk-shaped) member, a sheet-shaped member, or another shape member.
  • the calibration reference unit 5 has a substantially flat reflectance in a predetermined wavelength band (eg, 300 nm or more and 3000 nm or less).
  • the calibration reference unit 5 can also be used for calibration of the second imaging unit 22.
  • the control unit 7 arranges the calibration reference unit 5 within the detection range A ⁇ b> 1 of the first imaging unit 21 (in an arrangement state).
  • the control unit 7 places the calibration reference unit 5 outside the detection range A1 of the first imaging unit 21 (calibration reference).
  • the unit 5 is in the retracted state).
  • the control unit 7 moves at least one of the calibration reference unit 5 and the sample support unit 2 to switch between the retracted state (FIG. 1) and the arrangement state (FIG. 4) of the calibration reference unit 5.
  • the control unit 7 switches the calibration reference unit 5 from the retracted state (FIG. 1) to the arranged state (FIG. 4
  • the sample supporting unit 2 is arranged outside the detection range A ⁇ b> 1 of the first imaging unit 21.
  • the switching unit 6 is controlled by the control unit 7 and relatively moves the calibration reference unit 5 and the sample support unit 2.
  • the control unit 7 controls the switching unit 6 to switch between the retracted state and the arrangement state of the calibration reference unit 5.
  • the calibration reference unit 5 is arranged on the opposite side of the detection unit (imaging unit 4) with respect to at least a part of the sample support unit 2 in the retracted state.
  • the calibration reference portion 5 and the sample support portion 2 are disposed so as to face each other.
  • the surface of the calibration reference portion 5 on which the white portion for calibration is provided is disposed so as to face the placement surface of the specimen support portion 2 or the surface opposite to the placement surface.
  • the specimen support unit 2 is disposed above the calibration reference unit 5 in the retracted state, and is disposed at a position where light (for example, infrared light and visible light) incident on the calibration reference unit 5 can be shielded.
  • the control unit 7 rotates at least one of the sample support unit 2 and the calibration reference unit 5 around an axis that is not parallel to the direction of the optical axis 21 a of the first imaging unit 21. Further, the control unit 7 rotates at least one of the sample support unit 2 and the calibration reference unit 5 around an axis perpendicular to or perpendicular to the direction of the optical axis 21 a of the first imaging unit 21.
  • the calibration reference unit 5 is held on the side opposite to the first imaging unit 21 with respect to the specimen support unit 2 in the retracted state (FIG. 1).
  • at least a part of the calibration reference unit 5 (eg, the surface or one surface of the calibration reference unit 5) is covered with the sample support unit 2 in the retracted state.
  • the sample support unit 2 In the retracted state, the surface of the calibration reference portion 5 on which the calibration portion is formed is covered with the sample support portion 2. In the retracted state of the calibration reference unit 5, the sample support unit 2 is disposed, for example, at a position that blocks the optical path between the calibration reference unit 5 and the first imaging unit 21.
  • the control unit 7 rotates the sample support unit 2 when switching to the arrangement state of the calibration reference unit 5 (FIG. 4).
  • the sample support portion 2 is configured by, for example, a rectangular plate member, and one end portion (one Y-side end portion) of a side (eg, a short side) parallel to the Y direction is supported by the rotation shaft 32.
  • the rotation shaft 32 is, for example, parallel to the koto direction (eg, parallel to the long side of the specimen support unit 2) and can rotate around the X direction.
  • the switching unit 6 includes, for example, the rotating shaft 32, the actuator 36 that supplies driving force to the rotating shaft 32, and a transmission unit (not shown) that transmits the driving force from the actuator 36 to the rotating shaft 32.
  • control unit 7 When the control unit 7 switches to the arrangement state of FIG. 4, the control unit 7 controls the actuator 36 of the switching unit 6, and moves the rotation shaft 32 in the direction away from the calibration reference unit 5 (counterclockwise in FIG. 4). Rotate around the center.
  • the calibration reference unit 5 is disposed within the detection range A1 of the first imaging unit 21 as the sample support unit 2 retracts from the optical path between the calibration reference unit 5 and the first imaging unit 21.
  • the control unit 7 may determine whether or not the switching unit 6 is operating based on the position information of the sample support unit 2, for example.
  • the imaging apparatus 10 includes a position sensor that detects the position of the sample support unit 2, and the control unit 7 determines whether the sample support unit 2 is operating based on the detection result (position information) of the position sensor. It may be determined.
  • This position sensor may be an encoder provided in the switching unit 6, for example.
  • the control unit 7 may notify the user to that effect by blinking a lamp, sound, or the like.
  • the sample support 2 is supported by the stopper 35 at the other end (+ Y end) of a side parallel to the Y direction (for example, the short side), and is rotated clockwise when viewed from the + X side.
  • the stopper 35 regulates the rotational position of the sample support unit 2 so that the sample support unit 2 and the calibration reference unit 5 do not contact (collision).
  • the calibration reference unit 5 is arranged in non-contact with the sample support unit 2 in the retracted state.
  • FIG. 5 is a diagram illustrating a housing unit (in other words, a casing) 8 of the imaging device 10 according to the present embodiment.
  • the accommodating part 8 accommodates the sample support part 2 and the imaging unit 4 (for example, the first imaging part 21).
  • the accommodating portion 8 has an accommodating space SP for accommodating the sample support portion 2 and the imaging unit 4 therein.
  • the accommodating portion 8 can open the accommodating space SP to the outside.
  • FIG. 5A shows a state in which the accommodation space SP is opened (open state)
  • FIG. 5B shows a state in which the accommodation space SP is closed.
  • FIG. 5A shows a state in which the accommodation space SP is opened (open state)
  • FIG. 5B shows a state in which the accommodation space SP is closed.
  • 5C is a cross-sectional view of the imaging device 10 viewed from the + X direction, showing a state in which the detection space A1 of the sample support unit 2 is irradiated with infrared light in a state where the accommodation space SP is closed (closed state, light-shielded state). is there.
  • the accommodating portion 8 is in a state in which the accommodating space SP is closed (closed state, light-shielded state), for example, from the outside of the accommodating portion 8 (for example, from inside the imaging device 10 other than the accommodating portion 8, outside the imaging device 10, etc.). It functions as a dark box (dark room) that can maintain a state in which the external light is shielded, for example, the accommodating portion 8 is an optical path (or visible light path) of infrared light from the outside of the accommodating portion 8 with the accommodating space SP closed.
  • the optical path of the infrared light in the accommodation space SP is, for example, an infrared light source (suppressing (decreasing)) (for example, outside light, light from room lights, natural light).
  • At least of an optical path from the detection range A1 to the detection range A1 eg, tissue BT, specimen support unit 2, calibration reference unit 5, illumination region
  • an optical path from the detection range A1 to the first imaging unit 21 includes some.
  • the accommodating portion 8 includes, for example, a leg portion 40, a base portion 41, a frame portion 42 (indicated by a two-dot chain line), a cover portion 43, and a door member 44.
  • the leg part 40 contacts the installation surface F (for example, the upper surface of a desk) where the imaging device 1 is installed.
  • the base part 41 is provided on the leg part 40 and supported by the leg part 40.
  • the frame part 42 is provided on the base part 41 and supported by the base part 41.
  • at least a part of the control unit 7, the imaging unit 4, the illumination unit 3, the size changing unit 31, and the door driving unit 45 (described later) is provided in the frame unit 42.
  • the cover portion 43 is provided on the base portion 41 in a non-contact manner with the frame portion 42 and is supported by the base portion 41.
  • the cover portion 43 has an inner surface 43 a facing the inside (accommodating space) of the housing portion 8 and an outer surface 43 b facing the outside of the housing portion 8.
  • the imaging unit 4 (for example, the 1st imaging part 21) is non-contact with the cover part 43, and is supported so that transmission of the force from the cover part 43 is suppressed (reduced).
  • the cover part 43 has an opening 43c that opens the accommodation space SP to the outside.
  • the door member 44 is movable between a position that closes the opening 43c (hereinafter referred to as a closed position) and a position that opens at least a part of the opening 43c to the outside (hereinafter referred to as an open position).
  • the closed position of the door member 44 is, for example, a position where the lower end position of the door member 44 is disposed at or below the lower end position of the opening 15a.
  • the door driving unit will be described with reference to FIG.
  • the imaging device 10 includes a door drive unit 45 that drives a door member, for example.
  • the door drive unit 45 includes an actuator 46 and a transmission unit 47, for example.
  • the actuator 46 includes, for example, an electric motor, and is controlled by the control unit 7 to generate a driving force that moves the door member 44.
  • the transmission unit 47 transmits the driving force from the actuator 46 to the door member 44.
  • the door drive unit 45 includes a non-contact sensor 49, for example.
  • the control unit 7 controls the door driving unit 45 based on the detection result of the non-contact sensor 49.
  • the non-contact sensor 49 optically detects a user input (for example, an operation), for example.
  • the non-contact sensor 49 emits light to the outside through a window 49 a provided in the cover 43 and detects reflected light of this light.
  • the control unit 7 controls the open / close state of the door drive unit 45 by moving the door member 44 between the open position and the closed position.
  • control part 7 may determine whether the door drive part 45 is operating based on the positional information on the door member 44, for example.
  • the imaging device 10 includes a position sensor that detects the position of the door member 44.
  • the control unit 7 may determine whether or not the door driving unit 45 is operating based on the detection result (position information) of the position sensor.
  • This position sensor can be composed of, for example, an encoder provided in the door drive unit 45.
  • the control unit 7 informs that fact by blinking a lamp or sound. For example, the user may be notified.
  • the imaging system 1 detects light emitted from the tissue BT by simultaneously irradiating light of a plurality of wavelengths in the tissue BT, and generates an image of the tissue BT from the detected light.
  • a technique for imaging the tissue BT by simultaneously irradiating light of a plurality of wavelengths will be described.
  • light of two wavelengths for example, light of 750 nm to 1100 nm can be used as light of the first wavelength and light of 1200 nm to 1650 nm can be used as light of the second wavelength.
  • the number of wavelengths used is not limited to two and may be three or more.
  • FIG. 6 is a diagram showing absorbance (absorbance curve, spectral distribution, spectral spectrum) for each wavelength (infrared light region) regarding water and oil (for example, vegetable oil).
  • vegetable oil is taken as an example of the oil, but it is considered that the relationship between the wavelength and the absorbance has the same characteristics even if the lipid is present in the living tissue.
  • a lipid is a substance that has a long-chain fatty acid or a similar hydrocarbon chain in the molecule and exists in the organism or is derived from the organism, and is a substance that is insoluble in water among substances contained in the organism. It is a generic name.
  • the neutral fat includes monoglyceride (one fatty acid), diglyceride (two fatty acids), and triglyceride (three fatty acids).
  • the following can be understood from the water absorbance curve 601 and the oil absorbance curve 602.
  • both water and oil have low absorbance, so both (water and oil) are irradiated with infrared light with a wavelength of about 1300 nm or less. Both water and oil are brightly imaged. Therefore, for example, when light of the wavelength P1 in FIG. 6 (for example, infrared light having a wavelength of about 1070 nm) is irradiated to both water and oil, both water and oil are brightly imaged.
  • infrared light having a wavelength of about 1400 nm to about 1650 nm since there is a relatively large difference in absorbance between water and oil, infrared light having a wavelength of about 1400 nm to about 1650 nm is irradiated. In this case, the water is dark and the oil is bright. Therefore, for example, when light of wavelength P2 in FIG. 6 (for example, infrared light having a wavelength of around 1600 nm) is irradiated to both water and oil, water is imaged darkly and oil is imaged brightly.
  • wavelength P2 in FIG. 6 for example, infrared light having a wavelength of around 1600 nm
  • the brightness and darkness of the images of water and oil captured differ depending on the difference in the wavelength of infrared light applied to the sample. For this reason, it becomes possible to discriminate between water (water) and oil (lipid) by appropriately selecting the wavelength of infrared light to be irradiated. For example, by using a plurality of infrared lights having different wavelengths that are set based on a spectral spectrum of a substance in an infrared wavelength region (eg, 700 nm or more and about 3500 nm or less), images having different brightness and darkness in a predetermined portion of a sample It is possible to obtain.
  • a spectral spectrum of a substance in an infrared wavelength region eg, 700 nm or more and about 3500 nm or less
  • an infrared absorber including a near-red absorber
  • infrared light a concept including near-infrared light
  • the infrared absorber is also imaged darkly at the wavelength of 1600 nm, similarly to water. It becomes difficult to distinguish the absorber.
  • FIG. 7 is a diagram for explaining the tone value lifting effect (effect for raising the tone value) in the present embodiment.
  • the tone value lifting effect effect for raising the tone value
  • FIG. 7 for example, when infrared light having a wavelength of 1600 nm is irradiated to an infrared absorber, water, and oil (lipid), the gradation values of the acquired images are about 8000 and about 8000, respectively. The oil part is bright and the water part and the infrared absorber part are dark.
  • the infrared absorber, water, and oil (lipid) are irradiated with, for example, infrared light of 1070 nm while being irradiated with infrared light of 1600 nm (in this case, 2
  • infrared light of 1070 nm infrared light of 1070 nm
  • infrared light of 1600 nm in this case, 2
  • the acquired image gradation values are about 8000, about 24000, and about 39500, respectively.
  • the oil part and the water part remain bright and the infrared absorber part remains dark.
  • the infrared absorber portion is kept dark (without changing the gradation value of the infrared absorber portion).
  • the gradation value of a substance (moisture in the example of the present embodiment) that darkens the captured image when irradiated with infrared light of 1600 nm but becomes brighter when irradiated with infrared light of 1070 nm is 1070 nm.
  • the image can be raised to (for example, intermediate) the gradation value of a substance that darkens the captured image (infrared absorber in the example of this embodiment). It becomes like this.
  • an image for example, a gradation value is corrected as a detection result by simultaneously irradiating a sample with a plurality of infrared lights (for example, two wavelengths of infrared light) having different wavelengths. It is possible to obtain an infrared light image whose tone value is adjusted.
  • the imaging apparatus 10 according to the present embodiment can lower the gradation value (gradation value lowering effect) by the control unit 7, for example, as described later. Even in this case, in the present embodiment, an image in which a gradation value is corrected as a detection result (eg, infrared light with an adjusted gradation value) is obtained by simultaneously irradiating a sample with a plurality of infrared lights. Image).
  • FIG. 8 is a diagram showing the gradation value lifting effect in the present embodiment by an actual image (detection result).
  • water and oil for example, vegetable oil
  • FIG. 8A shows a captured image when 1600 nm infrared light is irradiated onto glass containers containing water and oil, respectively.
  • FIG. 8B shows a captured image when 1070 nm infrared light is irradiated onto glass containers containing water and oil, respectively.
  • FIG. 8C shows a captured image when 1070 nm infrared light and 1600 nm infrared light are simultaneously irradiated onto glass containers containing water and oil, respectively.
  • the portion of water stored in one container is imaged darkly, and the oil stored in the other container Since the image of this part is brightly imaged, it is possible to discriminate between water and oil, while the part of water and the part of the infrared absorber (glass container cap) are both darkly imaged and distinguished from each other. I find it difficult to do.
  • FIG. 8C when imaging is performed by simultaneously irradiating each glass container with infrared light having a wavelength of 1600 nm and infrared light having a wavelength of 1070 nm, the oil portion is relatively brightly imaged. Since the absorber part is imaged the darkest and the water part is imaged with brightness between them (eg, intermediate), it is easy and clear to distinguish water, oil and infrared absorbers It turns out that it is possible.
  • 9 (FIGS. 9A, 9B, and 9C) is a diagram schematically drawn on the basis of the image of FIG. 8 in order to make the image shown in FIG. 8 easier to understand. Since FIG. 9 is equivalent to the image of FIG. 8, the description of FIG. 9 is omitted.
  • the gradation value lifting effect discrimination effect of each substance using an actual image is consistent with the description of the gradation value lifting effect shown in FIG. Therefore, based on detection results (for example, captured images) obtained by simultaneously irradiating a sample (for example, tissue BT) in which two types of substances are mixed with light of two wavelengths (for example, infrared light), the plurality of types It becomes possible to discriminate these substances. For this reason, the boundary of a plurality of substances mixed in the sample is clarified, and when performing pathological examination or surgery on the tissue BT, a part of the tissue BT that should not be collected or excised is erroneously collected or excised. There is a possibility of avoiding the situation (danger).
  • two types of wavelengths are used to discriminate two substances (for example, water and oil).
  • three or more types of wavelengths may be used, and a plurality of three or more substances may be used. You may make it discriminate
  • the wavelength of the light to irradiate is appropriately selected based on the sample, and a plurality of wavelengths are changed to light of a plurality of wavelengths (eg, for each sample (eg, first sample, second sample)).
  • sample for example, sugar, protein, polypeptide, amino acid
  • sample for example, sugar, protein, polypeptide, amino acid
  • hyaluronic acid can be discriminated.
  • a cancer growth location eg, a tumor portion
  • amino acids from other substances.
  • FIG. 10 is a diagram showing absorbance (absorbance curve, spectral distribution, spectral spectrum) for each wavelength (infrared light region) regarding water, heavy water, and oil (for example, vegetable oil).
  • a graph 1001 shows an absorbance curve of water
  • a graph 1002 shows an absorbance curve of heavy water
  • a graph 1003 shows an absorbance curve of oil (lipid).
  • water, heavy water, and oil have low absorbance for infrared light having a wavelength of about 700 nm to about 1100 nm, and therefore, infrared light having a wavelength of about 1100 nm or less.
  • water heavy water, heavy water and oil
  • water, heavy water and oil are brightly imaged.
  • light of wavelengths P3 and P4 in FIG. 10 for example, infrared light having wavelengths near 970 nm and 1070 nm
  • the oil is imaged brightly.
  • the absorbance of water and the absorbance of oil (lipid) begin to increase from a wavelength of about 1130 to 1140 nm.
  • the absorbance of oil (lipid) becomes maximum when the wavelength is around 1200 nm, and becomes smaller as the wavelength becomes closer to 1300 nm.
  • the absorbance of water almost disappears from the wavelength range near 1200 nm to near 1300 nm, and starts to increase rapidly when the wavelength exceeds 1300 nm.
  • the absorbance of heavy water remains as low as when the wavelength is near 1000 nm up to around 1240 nm, and begins to increase slightly when it exceeds around 1240 nm. At a wavelength of 1300 nm, the absorbance of oil is lower than that of heavy water.
  • wavelength P5 in FIG. 10 for example, infrared light having a wavelength of around 1200 nm
  • the heavy water is imaged brightest and the oil (lipid) is the darkest
  • the water is imaged brighter than oil (lipid) but darker than heavy water.
  • infrared light having a wavelength of about 1400 nm to about 1550 nm there is a relatively large difference in absorbance between water, heavy water, and oil, so the wavelength is about 1400 nm or more and about 1550 nm or less.
  • infrared light is irradiated, water is imaged darkly, and oil and heavy water are imaged brightly (for infrared light near about 1400 nm to about 1500 nm, heavy water is imaged brighter than oil).
  • the absorbance of water again becomes higher than the absorbance of oil (lipid).
  • the absorbance increases in the order of water, heavy water, and oil (lipid).
  • light having a wavelength of P7 in FIG. 10 for example, infrared light having a wavelength of about 1600 nm
  • water is imaged darkest
  • oil is imaged brightest. Is imaged brighter than water but darker than oil.
  • infrared light having a wavelength of about 1700 nm to about 1800 nm when infrared light having a wavelength of about 1700 nm to about 1800 nm is irradiated to water, heavy water, and oil, the water and oil are imaged darkly, and the heavy water is imaged brightly.
  • infrared light having a wavelength of about 1900 nm to about 2100 nm is irradiated on water, heavy water, and oil
  • the water and heavy water are imaged very darkly, and the oil is somewhat dark but water and heavy water. Images are brighter.
  • FIGS. 11A to 11C and FIGS. 12A to 12C are diagrams showing examples of combinations of wavelengths that can discriminate water, heavy water, and oil.
  • the left container in this case cuvette
  • the middle container in this case cuvette
  • the right container eg cuvette
  • Each container is sealed with a cap as an infrared absorber.
  • FIG. 11A is a diagram showing a captured image (detection result) obtained by simultaneously irradiating each container with infrared light of 1070 nm and infrared light of 1600 nm.
  • FIG. 11A is an image (visible image) obtained by irradiating each container with visible light in order from the left in the four images of FIG.
  • the water part is imaged darkest
  • the oil part is imaged brightest
  • the heavy water part is brighter than the water part. Since the image is taken slightly darker than the oil part, water, oil (lipid), and heavy water can be distinguished.
  • the infrared absorber portion when imaging is performed by irradiating with 1070 nm infrared light, the water portion, oil portion, and heavy water portion are all brightly imaged, but the infrared absorber portion also absorbs 1070 nm infrared light. Therefore, a dark image is taken as in the case of irradiating with 1600 nm infrared light.
  • the oil portion when imaging is performed by simultaneously irradiating each container with infrared light having a wavelength of 1600 nm and infrared light having a wavelength of 1070 nm, the oil portion is relatively brightest and the heavy water portion is second.
  • the infrared absorber part is darkest, and the water part is between them (eg, oil part and infrared absorber, heavy water part and infrared absorber) (eg, middle)
  • oil part and infrared absorber, heavy water part and infrared absorber eg, middle
  • water, oil, heavy water, and infrared absorbers can be easily and clearly discriminated because the image is picked up with the brightness of.
  • the infrared absorber portion is the darkest, the water portion is the next darkest, the oil portion is the brightest, the heavy water portion is brighter than the water portion, but is taken slightly darker than the oil portion.
  • the detection result eg, captured image
  • infrared light of 1070 nm and infrared light of 1600 nm can be discriminated.
  • the operator distinguishes a site containing more water than other substances, a site containing more lipids than other substances, and a site containing more heavy water components than other substances in the tissue BT. Will be able to.
  • FIG. 11B is a diagram showing a captured image (detection result) obtained by simultaneously irradiating each container with 970 nm infrared light and 1600 nm infrared light.
  • FIG. 11B is an image (visible image) obtained by irradiating each container with visible light in order from the left in the four images of FIG.
  • the same results as in FIG. 11A were obtained from FIG. 11B.
  • the oil portion is imaged brightest and the heavy water portion is imaged brightest.
  • Infrared absorber part is imaged darkest, and water part is bright (eg, oil part and infrared absorber, heavy water part and infrared absorber) (eg, middle)
  • water part is bright (eg, oil part and infrared absorber, heavy water part and infrared absorber) (eg, middle)
  • water, oil, heavy water, and infrared absorber can be easily and clearly distinguished. Therefore, also in the case of FIG. 11B, the infrared absorber portion is the darkest, the water portion is the next darkest, the oil portion is the brightest, the heavy water portion is brighter than the water portion, but slightly less than the oil portion. Dark image is taken.
  • water, heavy water, oil, and infrared absorbers can be simply and effectively produced by detection results (eg, captured images) obtained by simultaneously irradiating a sample (eg, tissue BT) with infrared light having this wavelength combination. Can be discriminated.
  • detection results eg, captured images
  • a sample eg, tissue BT
  • FIG. 11C is a diagram showing a captured image (detection result) obtained by simultaneously irradiating each container with infrared light of 970 nm and infrared light of 1450 nm.
  • 11C is an image (visible image) obtained by irradiating each container with visible light in order from the left in the four images of FIG.
  • the water portion is imaged darkest
  • the heavy water portion is imaged brightest
  • the oil portion is brighter than the water portion. Since the image is taken slightly darker than the heavy water portion, water, oil (lipid), and heavy water can be distinguished.
  • an infrared absorber exists in the examination region of the tissue BT (in the detection region, in the imaging region)
  • the infrared absorber portion is also imaged as dark as the water portion. It becomes difficult to distinguish water from infrared absorbers.
  • the infrared absorber portion when imaging is performed by irradiating 970 nm infrared light, the water portion, oil portion, and heavy water portion are all brightly imaged, but the infrared absorber portion also absorbs 970 nm infrared light. Therefore, the image is taken dark as in the case of irradiating with 1450 nm infrared light.
  • the portion of heavy water is imaged brightest and the portion of oil is second.
  • the infrared absorber part is darkest, and the water part is between them (eg, oil part and infrared absorber, heavy water part and infrared absorber) (eg, middle)
  • oil part and infrared absorber, heavy water part and infrared absorber eg, middle
  • water, oil, heavy water, and infrared absorbers can be easily and clearly discriminated because the image is picked up with the brightness of.
  • the infrared absorber portion is the darkest, the water portion is the next darkest, the heavy water portion is the brightest, the oil portion is brighter than the water portion, but is slightly darker than the heavy water portion.
  • each part of the infrared absorber is kept dark, It becomes possible to raise the gradation value of the substance.
  • FIG. 12 is a diagram schematically drawn based on the image of FIG. 11 in order to make the image shown in FIG. 11 easier to understand. Since FIG. 12 is equivalent to the image of FIG. 11, the description of FIG. 12 is omitted.
  • FIG. 13A is a diagram showing a captured image (detection result) obtained by simultaneously irradiating each container with infrared light of 1070 nm and infrared light of 1450 nm. 13A is an image (visible image) obtained by irradiating each container with visible light in order from the left in the four images of FIG.
  • FIG. 13A the same results as in FIG. 11C were obtained from FIG. 12A.
  • the portion of heavy water is imaged brightest and the portion of oil is imaged brightest second.
  • Infrared absorber part is imaged darkest, and water part is bright (eg, oil part and infrared absorber, heavy water part and infrared absorber) (eg, middle)
  • water part is bright (eg, oil part and infrared absorber, heavy water part and infrared absorber) (eg, middle)
  • the infrared absorber part is the darkest
  • the water part is the next darkest
  • the heavy water part is the brightest
  • the oil part is brighter than the water part, but a little darker than the heavy water part. Is done.
  • the detection result eg, captured image
  • the sample eg, tissue BT
  • FIG. 13B is a diagram showing a captured image (detection result) obtained by simultaneously irradiating each container with infrared light of 1070 nm and infrared light of 1200 nm. 13B is an image (visible image) obtained by irradiating each container with visible light in order from the left in the four images of FIG.
  • the water portion is imaged darkest
  • the heavy water portion is imaged brightest
  • the oil portion is brighter than the water portion. Since the image is taken slightly darker than the heavy water portion, water, oil (lipid), and heavy water can be distinguished.
  • an infrared absorber exists in the examination region of the tissue BT (in the detection region, in the imaging region)
  • the infrared absorber portion is also imaged as dark as the water portion. It becomes difficult to distinguish water from infrared absorbers.
  • the infrared absorber portion when imaging is performed by irradiating with 1070 nm infrared light, the water portion, oil portion, and heavy water portion are all brightly imaged, but the infrared absorber portion also absorbs 1070 nm infrared light. Therefore, the image is taken dark as in the case of irradiation with 1200 nm infrared light.
  • the portion of heavy water is imaged brightest and the oil portion is second.
  • the infrared absorber part is darkest, and the water part is between them (eg, oil part and infrared absorber, heavy water part and infrared absorber) (eg, middle)
  • oil part and infrared absorber, heavy water part and infrared absorber eg, middle
  • water, oil, heavy water, and infrared absorbers can be easily and clearly discriminated because the image is picked up with the brightness of.
  • the infrared absorber portion is the darkest, the water portion is the next darkest, the heavy water portion is the brightest, the oil portion is brighter than the water portion, but is slightly darker than the heavy water portion.
  • the detection result eg, captured image
  • the sample eg, tissue BT
  • FIG. 13C is a diagram illustrating a captured image (detection result) obtained by simultaneously irradiating each container with 970 nm infrared light and 1200 nm infrared light. 13C is an image (visible image) obtained by irradiating each container with visible light in order from the left in the four images of FIG.
  • FIG. 13C the same results as in FIG. 13B were obtained from FIG. 13C.
  • the heavy water portion is imaged brightest and the oil portion is imaged second brightest.
  • Infrared absorber part is imaged darkest, and water part is bright (eg, oil part and infrared absorber, heavy water part and infrared absorber) (eg, middle)
  • water part is bright (eg, oil part and infrared absorber, heavy water part and infrared absorber) (eg, middle)
  • the infrared absorber part is the darkest
  • the water part is the next darkest
  • the heavy water part is the brightest
  • the oil part is a little brighter than the water part, but it is darker than the heavy water part. Is done.
  • the detection result eg, captured image
  • the sample eg, tissue BT
  • FIG. 14 is a diagram schematically drawn based on the image of FIG. 13 in order to make the image shown in FIG. 13 easier to understand. Since FIG. 14 is equivalent to the image of FIG. 13, the description of FIG. 14 is omitted.
  • a sample image based on a detection result (for example, a captured image) obtained by simultaneously irradiating a sample with infrared light of a plurality of wavelengths, It is possible to display a sample image by distinguishing a plurality of substances.
  • the selectable wavelength of infrared light is, for example, 750 nm or more and 3000 nm or less, and the wavelengths of infrared light used for simultaneous irradiation are different wavelengths.
  • the imaging apparatus 10 of the present embodiment can change the combination of the wavelengths of infrared light to be irradiated depending on the type of the sample. As described above, by selecting a combination of a plurality of wavelengths of infrared light irradiated on the sample, the imaging apparatus 10 of the present embodiment can appropriately generate and provide an image that discriminates the substance in the sample. become able to.
  • FIGS. 24A to 24C and FIGS. 25A to 25C are diagrams showing examples of combinations of wavelengths capable of discriminating water, bovine serum albumin (hereinafter referred to as albumin) as protein, and oil.
  • albumin bovine serum albumin
  • the left container in this case cuvette
  • the middle container in this case cuvette
  • the right container eg cuvette
  • Each container is sealed with a cap as an infrared absorber.
  • the cuvette shown in FIG. 24 is configured to have a smaller sample capacity than the cuvette shown in FIG. 11 or FIG.
  • the cuvette of FIG. 24 has a depth that is the same size as that of FIG. 11 and FIG. ing. For this reason, in FIG. 24, a portion that is picked up with a gradation value (a portion that is picked up brightly, a portion that is picked up darkly, or a portion where a gradation value occurs) is shown finely.
  • FIG. 24A is a diagram showing a captured image (detection result) obtained by simultaneously irradiating each container with infrared light of 1070 nm and infrared light of 1600 nm.
  • 24A is an image (visible image) obtained by irradiating each container with visible light in order from the left in the four images of FIG.
  • the water part is imaged darkest
  • the oil part is imaged brightest
  • the albumin part is brighter than the water part. Since the image is taken slightly darker than the oil part, water, albumin, and oil (lipid) can be discriminated.
  • the infrared absorber part when imaging is performed by irradiating with 1070 nm infrared light, the water part, albumin part, and oil part are all brightly imaged, but the infrared absorber part also absorbs 1070 nm infrared light. Therefore, a dark image is taken as in the case of irradiating with 1600 nm infrared light.
  • the oil part when imaging is performed by simultaneously irradiating each container with infrared light having a wavelength of 1600 nm and infrared light having a wavelength of 1070 nm, the oil part is imaged brightest and the albumin part is second.
  • the infrared absorber part is darkest, and the water part is between them (eg oil part and infrared absorber, albumin part and infrared absorber) (eg middle) It can be seen that water, albumin, oil, and infrared absorber can be easily and clearly discriminated.
  • the infrared absorber portion is the darkest, the water portion is the next darkest, the oil portion is the brightest, and the albumin portion is brighter than the water portion but slightly darker than the oil portion.
  • water, protein (eg, albumin), oil, and infrared absorption depending on the detection result eg, captured image
  • the detection result eg, captured image
  • the body can be distinguished easily and effectively. For example, based on the detection result, the operator distinguishes a site containing more water than other substances, a site containing more lipids than other substances, and a site containing more heavy water components than other substances in the tissue BT. Will be able to.
  • FIG. 24B is a diagram showing a captured image (detection result) obtained by simultaneously irradiating each container with infrared light of 970 nm and infrared light of 1600 nm. 24B is an image (visible image) obtained by irradiating each container with visible light in order from the left in the four images of FIG.
  • the same results as in FIG. 24A were obtained from FIG. 24B.
  • the oil portion is imaged brightest and the albumin portion is imaged second brightest.
  • the infrared absorber part is imaged the darkest, and the water part is bright (eg, intermediate) between them (eg, oil part and infrared absorber, albumin part and infrared absorber)
  • the infrared absorber part is the darkest
  • the water part is the next darkest
  • the oil part is the brightest
  • the albumin part is brighter than the water part, but slightly less than the oil part. Dark image is taken.
  • water, protein (eg, albumin), oil, and infrared absorption depending on the detection result (eg, captured image) obtained by simultaneously irradiating the sample (eg, tissue BT) with infrared light of this wavelength combination The body can be distinguished easily and effectively.
  • FIG. 24C is a diagram showing a captured image (detection result) obtained by simultaneously irradiating each container with infrared light of 970 nm and infrared light of 1450 nm.
  • 24C is an image (visible image) obtained by irradiating each container with visible light in order from the left in the four images of FIG.
  • the water portion is imaged darkest
  • the albumin portion is imaged brightest
  • the oil portion is brighter than the water portion. Since the image is taken slightly darker than the albumin portion, water, albumin, and oil (lipid) can be discriminated.
  • an infrared absorber exists in the examination region of the tissue BT (in the detection region, in the imaging region)
  • the infrared absorber portion is also imaged as dark as the water portion. It becomes difficult to distinguish water from infrared absorbers.
  • the infrared absorber portion when imaging is performed by irradiating 970 nm infrared light, the water portion, albumin portion, and oil portion are all brightly imaged, but the infrared absorber portion also absorbs 970 nm infrared light. Therefore, the image is taken dark as in the case of irradiating with 1450 nm infrared light.
  • the albumin part when imaging is performed by simultaneously irradiating each container with infrared light having a wavelength of 1450 nm and infrared light having a wavelength of 970 nm, the albumin part is imaged brightest and the oil part is second.
  • the infrared absorber part is darkest, and the water part is between them (eg oil part and infrared absorber, albumin part and infrared absorber) (eg middle) It can be seen that water, albumin, oil, and infrared absorber can be easily and clearly discriminated.
  • the infrared absorber part is the darkest, the water part is the next darkest, the albumin part is the brightest, the oil part is brighter than the water part, but is taken a little darker than the albumin part.
  • FIG. 25 is a diagram schematically drawn based on the image of FIG. 24 in order to make the image shown in FIG. 24 easier to understand. Since FIG. 25 is equivalent to the image of FIG. 24, the description of FIG. 25 is omitted.
  • FIG. 26A is a diagram illustrating a captured image (detection result) obtained by simultaneously irradiating each container with 1070 nm infrared light and 1450 nm infrared light.
  • 24A is an image (visible image) obtained by irradiating each container with visible light in order from the left in the four images of FIG.
  • the same results as in FIG. 24C were obtained from FIG. 26A.
  • the albumin part is imaged the brightest and the oil part is imaged the second brightest.
  • the infrared absorber part is imaged the darkest, and the water part is bright (eg, intermediate) between them (eg, oil part and infrared absorber, albumin part and infrared absorber)
  • water, oil, albumin, and infrared absorber can be easily and clearly distinguished.
  • the infrared absorber part is the darkest
  • the water part is the next darkest
  • the albumin part is the brightest
  • the oil part is brighter than the water part, but it is a little darker than the albumin part. Is done.
  • FIG. 26B is a diagram illustrating a captured image (detection result) obtained by simultaneously irradiating each container with infrared light of 1070 nm and infrared light of 1200 nm.
  • 26B is an image (visible image) obtained by irradiating each container with visible light in order from the left in the four images of FIG. 26B, and an image obtained by irradiating each container with infrared light at 1070 nm (visible image).
  • the water part is imaged darkest
  • the albumin part is imaged brightest
  • the oil part is brighter than the water part. Since the image is taken slightly darker than the albumin portion, water, oil (lipid), and albumin can be discriminated.
  • an infrared absorber exists in the examination region of the tissue BT (in the detection region, in the imaging region)
  • the infrared absorber portion is also imaged as dark as the water portion. It becomes difficult to distinguish water from infrared absorbers.
  • the infrared absorber part when imaging is performed by irradiating 1070 nm infrared light, the water part, oil part, and albumin part are all brightly imaged, but the infrared absorber part also absorbs 1070 nm infrared light. Therefore, the image is taken dark as in the case of irradiation with 1200 nm infrared light.
  • the albumin portion when imaging is performed by simultaneously irradiating each container with infrared light having a wavelength of 1200 nm and infrared light having a wavelength of 1070 nm, the albumin portion is imaged brightest and the oil portion is second.
  • the infrared absorber part is darkest, and the water part is between them (eg oil part and infrared absorber, albumin part and infrared absorber) (eg middle) It can be seen that water, oil, albumin, and infrared absorber can be easily and clearly distinguished.
  • the infrared absorber part is the darkest, the water part is the next darkest, the albumin part is the brightest, the oil part is brighter than the water part, but is taken a little darker than the albumin part.
  • FIG. 26C is a diagram showing a captured image (detection result) obtained by simultaneously irradiating each container with 970 nm infrared light and 1200 nm infrared light. 26C is an image (visible image) obtained by irradiating each container with visible light sequentially from the left in the four images of FIG.
  • the albumin part is imaged brightest and the oil part is imaged second brightest.
  • the infrared absorber part is imaged the darkest, and the water part is bright (eg, intermediate) between them (eg, oil part and infrared absorber, albumin part and infrared absorber)
  • water, oil, albumin, and infrared absorber can be easily and clearly distinguished.
  • the infrared absorber part is the darkest
  • the water part is the next darkest
  • the albumin part is the brightest
  • the oil part is a little brighter than the water part, but it is darker than the albumin part. Is done.
  • FIG. 27 (FIGS. 27A, B, and C) is a diagram schematically drawn on the basis of the image of FIG. 26 in order to make the image shown in FIG. 26 easier to understand. Since FIG. 27 is equivalent to the image of FIG. 26, the description of FIG. 27 is omitted.
  • a sample image based on a detection result (for example, a captured image) obtained by simultaneously irradiating a sample with infrared light of a plurality of wavelengths, It is possible to display a sample image by distinguishing a plurality of substances.
  • the wavelength of the infrared light that can be selected is, for example, 750 nm to 3000 nm, and the wavelengths of the infrared light used for the simultaneous irradiation are different wavelengths.
  • the imaging apparatus 10 of the present embodiment can change the combination of the wavelengths of infrared light to be irradiated depending on the type of the sample. As described above, by selecting a combination of a plurality of wavelengths of infrared light irradiated on the sample, the imaging apparatus 10 of the present embodiment can appropriately generate and provide an image that discriminates the substance in the sample. become able to.
  • the imaging device 10 has an intensity with respect to the first infrared light (the infrared light having the first wavelength) and the first infrared light based on the tissue BT (sample).
  • a plurality of pixels for example, the same pixel (one pixel)
  • receive the second infrared light infrared light of the second wavelength
  • An image sensor detection unit having a pixel unit in which a plurality of pixels that simultaneously receive infrared light are arranged, and the intensity of the first infrared light or the intensity of the second infrared light can be adjusted.
  • the imaging system 1 and the imaging device 10 in each of the above embodiments can be used in the monitoring of drug discovery processes by utilizing the ability to optically distinguish water, lipids, proteins, and other substances (eg, imaging, light reception). It can be used for a monitor (camera).
  • the imaging apparatus 10 according to the present embodiment can be applied to a monitoring camera for forming a protein film (eg, albumin film) as a biological protein processing technique (eg, protein scaffold formation). The film formation state can be visualized in real time (eg, time-lapse photography).
  • the biological tissue BT is supported by the specimen support unit 2
  • the tissue BT is imaged by the imaging unit by irradiation with infrared light
  • the imaging unit is used for calibration.
  • At least one of the calibration reference unit 5 and the sample support unit 2 to be moved is moved so that the calibration reference unit 5 is disposed within the detection range (eg, in the field of view) of the imaging unit and the calibration reference unit 5 captures an image. Switching to a retracted state arranged outside the detection range (eg, out of the field of view) of the unit.
  • FIG. 15 is a flowchart for explaining an operation example of the imaging system 1 and the imaging apparatus 10 according to the embodiment.
  • the control unit 7 may read the operation subject as the control device 101 in order to execute the process of each step according to the instruction command and information from the control device 101.
  • Step 101 The imaging system 1 calibrates the first imaging unit 21 (e.g., calibrates the pixel value reference for each pixel) prior to imaging the tissue BT using visible light or infrared light, for example.
  • the control unit 7 controls the switching unit 6 to move the sample support unit 2 to place the calibration reference unit 5 in the detection range A ⁇ b> 1 of the first imaging unit 21.
  • Step 102 The controller 7 calibrates infrared light having a plurality of types (for example, two types) of wavelengths to be irradiated from the infrared light source unit 11 in a state where the door member 44 of the housing unit 8 is disposed at the closed position. Are simultaneously irradiated to cause the first imaging unit 21 to image the calibration reference unit 5. Thereby, a standard white image (white image) of the calibration reference unit 5 is acquired.
  • the output (eg, pixel value) of each pixel of the first imaging unit 21 for a predetermined light intensity is obtained.
  • the calibration reference unit 5 is formed so that the variation (dispersion) of the spatial distribution (in-plane distribution) of the reflectance is not more than a predetermined value.
  • the distribution of detection values indicates the characteristics (eg, sensitivity, S) of the light receiving element (pixels of the image sensor 24). / N ratio, and the relationship of the output to the light intensity).
  • the pixel of the image sensor 24 corresponding to a relatively dark portion in the captured image may have a lower sensitivity than other pixels. For example, by increasing the gain or adding a positive offset, such a pixel can make the output for a predetermined light intensity equal to other pixels.
  • the calibration reference unit 5 is formed so that the reflectance distribution in the predetermined wavelength band (the reflectance distribution with respect to the wavelength) becomes a predetermined distribution.
  • the detection result (captured image) of the detection unit (imaging unit 4) of the detection unit (imaging unit 4) by comparing the distribution of detection values (eg, output pixel values) and the distribution of reflectance with respect to the wavelength of the calibration reference unit 5
  • the characteristics (eg, sensitivity) of the light receiving element (pixels of the image sensor 24) with respect to the wavelength can be obtained.
  • the characteristics of the light receiving element with respect to a predetermined wavelength can be corrected (calibrated) based on the wavelength dependence of the characteristics of the light receiving element obtained based on the captured image (eg, a standard white image).
  • Step 103 The control unit 7 places the door member 44 of the housing unit 8 in the closed position and stops the irradiation of the infrared light (infrared light having a plurality of types of wavelengths) from the infrared light source unit 11.
  • One imaging unit 21 is caused to image the calibration reference unit 5. Accordingly, the first imaging unit 21 acquires a standard black image (dark image) of the calibration reference unit 5.
  • the output eg, pixel value
  • the output with respect to a predetermined light intensity eg, the light intensity is almost 0
  • Step 104 The control unit 7 outputs the first imaging unit 21 (for example, the first imaging unit 21) using the captured image (for example, standard white image) in Step 102 and the captured image (for example, standard black image) in Step 103.
  • (Pixel value) to be calibrated calibration processing: for example, preprocessing for sample image generation processing.
  • the imaging system 1 imaging device 10 uses the visible light source unit 13 instead of the infrared light source unit 11, and uses the second imaging unit 22 instead of the first imaging unit 21, and the above-described steps 101 to 104 are performed. By performing the process, the second imaging unit 22 can be calibrated.
  • Step 105 the imaging system 1 (imaging device 10) uses the calibrated first imaging unit 21 to image a sample (tissue BT) by the processing from step 105 onward.
  • the control unit 7 controls the switching unit 6 to place the sample support unit 2 in the detection range A ⁇ b> 1 of the first imaging unit 21.
  • Step 106 The control unit 7 detects that the biological tissue BT is arranged on the specimen support unit 2. For example, the control unit 7 may detect that the tissue BT is automatically arranged by providing a sensor in the sample support unit 2, or a user (operator) after placing the tissue BT on the sample support unit 2. However, for example, it may be detected as a detection signal that the imaging start button has been pressed.
  • Step 107 The control unit 7, for example, information on the wavelength of infrared light to be irradiated (wavelength information) and information on the light intensity of each wavelength input by the user via a GUI (Graphical User Interface) having the configuration described below. (Light intensity information) is read from the memory (not shown) of the imaging system 1 or the imaging apparatus 10.
  • Step 108 the control unit 7 simultaneously irradiates the tissue BT on the sample support unit 2 with infrared light of two types of wavelengths from the infrared light source unit 11 in a state where the door member 44 of the storage unit 8 is disposed at the closed position. Then, the first imaging unit 21 is caused to detect the infrared light via the tissue BT to image the tissue BT. The control unit 7 generates an image (gradation image) of the tissue BT based on the detection result (imaging result) by the first imaging unit 21.
  • a user may designate an area where multiple wavelengths of infrared light (infrared lights having different wavelengths) are to be simultaneously irradiated, and an image of the area may be captured.
  • the control unit 7 applies visible light from the visible light source unit 13, infrared light of the first wavelength from the infrared light source unit 11, or infrared light of the second wavelength from the infrared light source unit 11 to the tissue BT. Irradiate and irradiate the tissue BT with a single light to obtain an image (single light irradiation image) captured by the first imaging unit 21 or the second imaging unit 22.
  • the operator looks at the single light irradiation image displayed on the display device 103 or another display device, and uses the input device 102 to designate a region in the tissue BT to be irradiated with infrared light of a plurality of wavelengths simultaneously.
  • the control part 7 receives the area designation
  • a gradation image of the tissue BT is generated based on an imaging result obtained by simultaneously irradiating infrared light having a wavelength and infrared light having a second wavelength different from the first wavelength.
  • Step 109 The control unit 7 outputs the data of the captured image (eg, the above-described gradation image) obtained in Step 108 to the outside (eg, the display device 103, the printer). When outputting to the outside, for example, it may be displayed on the screen of the display device.
  • the control unit 7 may execute the calibration processing in steps 101 to 104 for each imaging operation or for each predetermined number of imaging operations.
  • the calibration processing described above is performed under imaging (detection) conditions (eg, at least part of the shutter speed of the image sensor 24, the size of the detection range A1, the wavelength of infrared light, the intensity of infrared light, the luminance, or the amount of light) May be executed when is changed.
  • the calibration process may be performed every time the imaging apparatus 10 is turned on (every time it is activated), or every time the imaging apparatus 10 is activated a predetermined number of times. Good. Further, for example, the calibration process may be performed every time a predetermined period elapses, or the calibration process may be performed based on a user instruction.
  • the control unit 7 sets the recommended timing for executing the calibration process to another device (eg, the display device 103) or based on, for example, the number of times of imaging from the previous calibration process, the elapsed time, and the imaging conditions. You may notify a user.
  • FIG. 16 is a diagram showing a configuration example of a GUI (Graphical User Interface) 1600 used when setting / adjusting the wavelength value and light amount of infrared light irradiated on a sample.
  • GUI Graphic User Interface
  • FIG. 16 is a diagram showing a configuration example of a GUI (Graphical User Interface) 1600 used when setting / adjusting the wavelength value and light amount of infrared light irradiated on a sample.
  • a GUI configuration example for setting two types of wavelengths is shown, but a similar configuration can be used even if there are three or more types of wavelengths.
  • the control device 101 displays the GUI 1400 on the display screen of the display device 103.
  • the GUI 1600 displayed on the display device 103 can be operated on a screen (for example, focus movement, screen display switching, data input, etc.) by an input device such as the input device 102.
  • the two-wavelength setting GUI 1600 is used when, for example, setting the light intensity setting field 1601 of wavelength 1 used when setting the light intensity of infrared light of the first wavelength and the light intensity of infrared light of the second wavelength.
  • the configuration item includes a selection field 1604, a save button 1605 used when saving the setting contents in a memory (not shown), and a close button 1606 used when closing the display of the GUI 1600.
  • a ratio to the maximum output of the light source that outputs infrared light of the first wavelength (this ratio is also referred to as light intensity in this specification) is input as a numerical value.
  • a ratio (%) with respect to the maximum output of the light source that outputs light of the second wavelength is input as a numerical value.
  • the light intensity of the second wavelength light can be fixed at 70% of the maximum output (maximum light intensity), and the light intensity of the first wavelength light can be made variable.
  • the fixed light intensity value is 70%.
  • the fixed light intensity can be set to an arbitrary value such as 20%, 65%, 80%, or the like.
  • one of six wavelengths can be selected, but the wavelength to be selected is not limited to six.
  • the same type of wavelength is prepared for each of wavelength 1 and wavelength 2, but different wavelengths may be included in wavelength 1 and wavelength 2, and the selectable wavelengths are completely different between the two. It may be.
  • GUI 1600 may be configured such that 1070 nm cannot be selected for wavelength 2.
  • the GUI example of FIG. 16 is configured to select the wavelength 1 and the wavelength 2 from the prepared wavelength group, but the user can directly input the value of the wavelength 1 and the value of the wavelength 2 by the input device 102. It may be configured.
  • the selection of the wavelength 1 and the wavelength 2 and the setting of the light intensity of each wavelength are completed, and the simultaneous irradiation of two wavelengths of infrared light is instructed (for example, the operator selects each wavelength and inputs the light intensity value).
  • the control device 102 reads the set value of the light intensity of each wavelength of infrared light stored from a memory (not shown). Then, the value of the light intensity of the infrared light of each wavelength read is transmitted to the control unit 7 of the imaging device 10.
  • the control unit 7 receives the value of the light intensity of the infrared light of each wavelength from the control device 101, and applies it to the infrared light source corresponding to the selected wavelength among the plurality of light sources 16 of the infrared light source unit 11, for example. Each voltage value to be changed is changed. And the infrared light source corresponding to each wavelength outputs infrared light with the set voltage value. Thereby, infrared light with the set light intensity is irradiated to the sample (tissue BT).
  • the GUI 1600 shows, for example, a mode in which the light intensity (unit: candela) is set / changed. However, since the light amount changes when the light intensity is changed, a light amount value (unit: lumens or lux) is set.
  • the light intensity means the incident light flux of light per unit area
  • the light quantity means the total amount of the light flux within a certain time.
  • the user inputs light amount information (light amount value, light amount ratio, etc.) using the GUI.
  • light amount information light amount value, light amount ratio, etc.
  • the intensity of infrared light of each wavelength is adjusted, and infrared light of a plurality of wavelengths is simultaneously irradiated onto the sample. Thereby, it is possible to generate an image of a sample that can easily distinguish each of a plurality of substances.
  • FIG. 17 shows a captured image of a pig mesentery as a sample.
  • FIG. 17A shows an image obtained by irradiating visible light to the mesentery of a pig.
  • FIG. 17B shows an image obtained by irradiating swine mesentery with infrared light having a wavelength of 1070 nm (eg, the first wavelength).
  • FIG. 17C shows an image obtained by irradiating swine mesentery with infrared light having a wavelength of 1600 nm (eg, the second wavelength).
  • FIG. 17D shows an image obtained by simultaneously irradiating swine mesentery with two infrared lights having wavelengths of 1070 nm (eg, first wavelength) and 1600 nm (eg, second wavelength).
  • the imaging apparatus 10 or the imaging system 1 uses the technique shown in the present embodiment to generate light of the first wavelength (in this case, 1070 nm) and the second wavelength (in this case, 1600 nm). ) Is simultaneously applied to the mesentery of the pig, the tone value of the lymph node with a high water content and the tone value of the portion with a high fat content are raised (the tone value is raised).
  • the imaging device 10 or the imaging system 1 has a clear contrast between the lymph node and the lipid-rich portion present in the surrounding area (the contrast ratio is high), and a clear image that is easy to see both the lymph node and the lipid portion. Can be obtained.
  • 18 (FIGS. 18A, 18B, 18C, and 18D) is a diagram schematically drawn based on the image of FIG. 17 in order to make the image shown in FIG. 17 easier to understand. Since FIG. 18 is equivalent to the image of FIG. 17, the description of FIG. 18 is omitted.
  • Modification 1 relates to processing for automatically setting the light amounts of a plurality of infrared lights irradiated on a sample.
  • the user inputs the amount of infrared light to be irradiated.
  • the imaging system 1 automatically selects the amount of infrared light from the acquired image. Configured to be determined.
  • FIG. 19 is a flowchart for explaining light amount adjustment processing in the imaging system 1 of the first modification.
  • the light intensity adjustment process of FIG. 19 in the present embodiment is a process executed in step 107 of FIG. 15 described above.
  • infrared light having a plurality of types of wavelengths for example, two types of infrared light having a wavelength of 1070 nm and infrared light having a wavelength of 1600 nm
  • Infrared light with a wavelength of 1600 nm is fixed in advance
  • the amount of infrared light with another wavelength for example, infrared light with a wavelength of 1070 nm
  • a light amount adjustment process to be automatically changed is executed by the control unit 7 or the control device 101.
  • the infrared light having a wavelength for fixing the light amount may be specified by the user, for example, or between a plurality of substances (for example, water and oil (lipid), water and heavy water, oil and heavy water).
  • infrared light having a wavelength that provides an image that maximizes the contrast between the images may be automatically selected by the control unit 7 or the control device 101.
  • the automatic light amount adjustment process will be described with reference to the flowchart of FIG.
  • the control unit 7 includes infrared light (light 1: for example, infrared light having a wavelength of 1600 nm) having a fixed light intensity (for example, first wavelength) and a variable light intensity (for example, second wavelength).
  • the tissue BT is irradiated with infrared light (for example, the initial value of the intensity of the light of the second wavelength is set in advance), and the pixel image value is brightest in the tissue BT (or the pixel value is in that portion)
  • the pixel value (gradation value) of the closest portion and the pixel value (gradation value) of the darkest imaged portion (or the portion where the pixel value is close to that portion) are acquired. An example of raising the pixel value (gradation value) will be described.
  • each pixel value (gradation value) acquired at the time of initial setting is the darkest.
  • the portion for example, a portion containing a lot of water
  • the brightest portion for example, a portion containing a lot of lipid
  • 31500 the intensity of infrared light having the second wavelength (for example, 1070 nm)
  • an example of lowering the pixel value (gradation value) will be described.
  • each pixel value (gradation value) acquired at the time of initial setting is one.
  • the darkest part for example, a part containing a lot of water
  • the brightest part for example, a part containing a lot of lipid
  • the intensity of infrared light having the second wavelength for example, 1070 nm
  • Step 202 The controller 7 obtains the pixel value (gradation value) of the darkest imaged portion acquired in step 201 from P% to (P + ⁇ )% of the pixel value (gradation value) of the brightest imaged portion. Determine if it is within range. Because it is desirable to increase the pixel value (gradation value) until the pixel value (gradation value) of the darkest imaged portion is about the middle of the pixel value (gradation value) of the brightest imaged portion. , P can be set to 50, for example. ⁇ is a value that can be arbitrarily set as an allowable range.
  • step 202 When the pixel value (gradation value) of the darkest imaged portion is within the range of P% to (P + ⁇ )% of the pixel value (gradation value) of the brightest imaged portion (Yes in step 202) ), The process proceeds to step 203. When the pixel value (gradation value) of the darkest imaged portion is not within the range of P% to (P + ⁇ )% of the pixel value (gradation value) of the brightest imaged portion (No in step 202) ), The process proceeds to step 204.
  • Step 203 If the pixel value (gradation value) of the darkest imaged part falls within the range of P% to (P + ⁇ )% of the pixel value (gradation value) of the brightest imaged part, it is within the tissue BT.
  • the control unit 7 stores information on the light intensity of the infrared light of each wavelength in a memory (not shown). The information on the intensity determined as described above is used in the process of step 108 in FIG. 15 together with the information on the wavelength of each selected infrared light.
  • the control unit 7 can output a predetermined amount (for example, light intensity) of infrared light (light 2: for example, infrared light having a wavelength of 1070 nm) having a wavelength (for example, the second wavelength) set to be variable in light intensity. (K% of maximum light intensity).
  • the initial value of the light intensity of infrared light having a wavelength set to be variable in light intensity can be set as appropriate, but the initial value may be set to zero.
  • the pixel value (gradation value) of the darkest imaged portion is less than P% to (P + ⁇ )% of the pixel value (gradation value) of the brightest imaged portion (see FIG. 20A).
  • the controller 7 increases the light intensity of the infrared light having the second wavelength (for example, 1070 nm) by, for example, k%.
  • the pixel value (gradation value) of the darkest imaged portion and the pixel value (gradation value) of the brightest imaged portion are both. It is lifted (raised) as a whole. This pixel value (gradation value) lifting (raising) process is executed at least once, and the pixel value of the darkest imaged portion is P% to (P + ⁇ ) of the pixel value of the brightest imaged portion. %.
  • the control unit 7 decreases the light intensity of the infrared light having the second wavelength (for example, 1070 nm) by, for example, k%.
  • the pixel value (gradation value) of the darkest imaged portion and the pixel value (gradation value) of the brightest imaged portion are both. It is lowered as a whole.
  • This pixel value (gradation value) reduction process is executed at least once, and the pixel value of the darkest imaged portion is in the range of P% to (P + ⁇ )% of the pixel value of the brightest imaged portion. It can be stored inside.
  • the control unit 7 stores information on the light intensity of each wavelength of infrared light in a memory (not shown) (step 204 ⁇ step 202 ⁇ step 203).
  • the information on the intensity determined as described above is used in the process of step 108 in FIG. 15 together with the information on the wavelength of each selected infrared light.
  • the pixel value (gradation value) is raised (raised) or lowered by adjusting the light intensity, but the amount of light instead of the light intensity may be adjusted.
  • Modification 2 The types of wavelengths and the light intensity values of a plurality of infrared lights that are simultaneously irradiated may vary depending on the properties (eg, type of part) of the sample (eg, tissue to be irradiated). For this reason, for example, for each part type, a database table (such as a memory) that stores a combination of the value of the wavelength to be used and the intensity of light of each wavelength (this combination can also be referred to as “light intensity information”) (Stored as information in a storage device) in the imaging system 1 in advance, the imaging system 1 accepts designation (input) of a part to be imaged from the user, and a plurality of parts corresponding to the designated imaging part A combination of light wavelength values and light intensity values (light intensity information) may be read and used.
  • a database table such as a memory
  • the imaging system 1 as described above is a system including, for example, a display device and an image processing device (control device).
  • the image processing apparatus controls image processing on a captured image of the tissue BT captured by the imaging system 1 to generate an image.
  • the imaging system 1 displays at least one of the captured image of the tissue BT and the image generated by the image processing device on the display device.
  • the imaging system 1 according to the present embodiment can be used for a medical device for supporting pathological diagnosis using infrared light (eg, a pathological imaging device using infrared light).
  • Modification 3 for example, by providing the imaging device 10 with an infrared light source unit 11 having a plurality of infrared light sources that output infrared light of each wavelength, light of each wavelength is output from an independent light source.
  • an independent light source for example, a halogen lamp
  • it is obtained by using a light source (for example, a halogen lamp) that outputs light having a wide wavelength band from short wavelength to long wavelength, and splitting the light output from the light source into a plurality of lights using an optical system.
  • the optical filter (for example, a filter that passes only light corresponding to wavelength 1 (example: 1070 nm infrared light) and a filter that passes only light corresponding to wavelength 2 (example: infrared light of 1600 nm)) ) May generate light of a plurality of wavelengths.
  • Such an optical filter may be arranged so as to be insertable / removable by the control unit 7 in the optical path in the imaging device 10.
  • the second embodiment discloses an example in which the imaging system 1 according to the first embodiment is applied to a surgery support system.
  • the same reference numerals as those used in the imaging system 1 according to the first embodiment have the same configuration and function. Therefore, in the following, description of these configurations is simplified as appropriate.
  • FIG. 22 is a diagram illustrating a configuration example of the surgery support system 1 ′ according to the second embodiment.
  • the surgery support system 1 ′ includes a control device 190, an input device 191, a display device 192, a surgical light 193, an infrared light source unit 11 ′, a first imaging unit 21, a second imaging unit 22, It has.
  • the control device 190 is configured by a computer, for example, and includes a control unit 7 ′ and a storage unit 1901.
  • the control unit 7 ′ has a configuration corresponding to the control unit 7 in the first embodiment.
  • the infrared light source unit 11 ′ irradiates the tissue BT with infrared light and the visible light tissue with the operating light 193.
  • a light irradiation control unit 71 that controls irradiation of the BT, and a data acquisition / generation unit 72 that acquires imaging data from the first imaging unit 21 and the second imaging unit 22 and generates display data. .
  • the storage unit 1901 stores programs corresponding to the light irradiation unit 71 and the data acquisition / generation unit 72, various setting data input by the user (operator) from the input device 191, various parameters, and the like.
  • the setting data input by the operator the information on the wavelengths of a plurality of infrared lights simultaneously irradiated on the tissue BT and the information on the light intensity of each infrared light described in the first embodiment can be given. It is done.
  • the input device 191 is a device that inputs data, information, instructions for setting contents, and the like to the control device 190, and includes, for example, a keyboard, a mouse, a microphone, and the like.
  • the first imaging unit (first image sensor) 21 is, for example, an InGaAs (indium gallium arsenide) camera having high sensitivity in the wavelength band of infrared light, and light emitted from the tissue BT by irradiation with infrared light ( Examples of the emitted light include reflected light, scattered light, transmitted light, and reflected scattered light.
  • the second imaging unit (second image sensor) 22 is, for example, a Si (silicon) camera having high sensitivity in the visible light wavelength band, and irradiates the tissue BT with visible light emitted from the surgical light 193. Detects the light emitted from the tissue BT.
  • the imaging fields of view of the first imaging unit 21 and the second imaging unit 22 are both adjusted so that, for example, the tissue BT during surgery can be detected.
  • a mirror, a half mirror, a dichroic mirror, etc. are installed in the optical path from the first imaging unit 21 to the tissue BT and the optical path from the second imaging unit 22 to the tissue BT, and the optical axis of the first imaging unit 21 and the second The optical axis of the imaging unit 22 may be set to be the same.
  • the infrared light source unit 11 ′ has a configuration in which the visible light source unit 13 is removed from the illumination unit 3 according to the first embodiment, for example.
  • the visible light source included in the infrared light source unit 11 corresponds to the surgical light 193.
  • the surgical light 193 for example, it is desirable to be constituted by a light source that does not emit light in the infrared wavelength region.
  • the surgical light 193 can be configured using RGB LEDs.
  • a halogen light source can be used for the operating lamp 193, but also emits light in the infrared wavelength region. Therefore, when using a halogen operating lamp, an image generated by simultaneous irradiation of infrared light of a plurality of wavelengths is used. It is necessary to adjust the wavelength selection and light intensity setting of infrared light so as not to affect the imaging operation.
  • the control unit 7 ′ uses the data acquisition / generation unit 72 to acquire the imaging data acquired from the first imaging unit 21 and / or the second imaging unit 22 and display an image (eg, for display on the display device 192). Real-time or non-real-time still images and moving images). For example, the control unit 7 ′ may generate display data so that only the image captured by the first imaging unit 21 is displayed on the display screen, or the image captured by the first imaging unit 21 and the first The display data may be generated so that the image captured by the two image capturing unit 22 is displayed in parallel on a display screen (for example, two-screen display).
  • a display screen for example, two-screen display
  • control unit 7 ′ generates display data so that the image captured by the first imaging unit 21 is superimposed on the image captured by the second imaging unit 22 and displayed on the display screen. Also good.
  • the display device 192 receives display data generated from the control device 190, for example, and displays an image (eg, an image during surgery) on the display screen.
  • FIG. 23 is a flowchart for explaining an operation example of the surgery support system 1 ′ according to the second embodiment.
  • Step 301 For example, when the patient is set on the operating table and the function of simultaneously irradiating infrared light of a plurality of wavelengths in this embodiment is turned on at an appropriate timing (simultaneously or after the operation is started) by the operator, the control unit 7 'Detects that the function is ON. If the function is not turned on, an operation using only the surgical light 193 is performed as usual.
  • Step 302 The control unit 7 ′ stores, for example, information on the wavelength of the infrared light to be irradiated and information on the light intensity of each wavelength input by the operator via a GUI (Graphical User Interface) as shown in FIG. Read from the unit 1601.
  • GUI Graphic User Interface
  • the surgery support system 1 ′ stores a database table that stores, in the storage unit 1601, combinations (light intensity information) of wavelength values to be used and light intensity of light of each wavelength for each type of surgical site.
  • the surgery support system 1 ′ receives the designation (input) of the imaging target region from the operator, and the wavelength values and the light intensities of the plurality of infrared lights corresponding to the designated imaging region. A combination of values (light intensity information) may be read and used.
  • Step 303 the control unit 7 ′ simultaneously irradiates the tissue BT with infrared light having a plurality of types (for example, two types) of wavelengths from the infrared light source unit 11 ′ while the shadowless lamp 193 is turned on. 21 causes the tissue BT to capture an infrared light image.
  • the control unit 7 ′ causes the tissue BT to be irradiated with visible light from the shadowless lamp 193, and causes the second imaging unit 22 to capture a visible light image of the tissue BT.
  • Step 304 The control unit 7 ′ determines, for example, what image display form the operator has designated using the input device 191.
  • a display form as an example, a form in which only an image obtained by simultaneously irradiating a plurality of wavelengths of infrared light (single display) is displayed, and a plurality of wavelengths of infrared light are simultaneously irradiated.
  • An image obtained by illuminating visible light and an image obtained by irradiating visible light in parallel (parallel display), an image obtained by simultaneously irradiating multiple wavelengths of infrared light, and an image obtained by irradiating visible light Are displayed in a superimposed manner (superimposed display).
  • a display form other than these three display forms may be specified in the control unit 7 ′.
  • step 305 For example, if the single display is designated by the operator, the process proceeds to step 305. For example, if the parallel display is designated by the operator, the process proceeds to step 306. For example, when the superimposition display is designated by the operator, the process proceeds to step 307.
  • the control unit 7 ′ controls the display device 192 so that only the image captured by the first imaging unit 21 is displayed on the screen of the display device 192 by simultaneously irradiating the tissue BT with infrared light having a plurality of wavelengths.
  • the display device 192 receives the image data captured by the first imaging unit 21 by simultaneously irradiating the tissue BT with infrared light of a plurality of wavelengths from the control device 190, and displays an image of the received image data on the screen.
  • Step 306 The control unit 7 ′ simultaneously irradiates the tissue BT with infrared light of a plurality of wavelengths and images the first image capturing unit 21, and irradiates the tissue BT with visible light and images the second image capturing unit 22.
  • the display device 192 is controlled so that the image is displayed in parallel on the screen of the display device 192.
  • the display device 192 simultaneously irradiates the tissue BT with infrared light having a plurality of wavelengths and captures an image captured by the first image capturing unit 21 and an image captured by the second image capturing unit 22 by irradiating the tissue BT with visible light.
  • the parallel display data is received from the control device 190, and an image of the received parallel display data is displayed on the screen.
  • Step 307 The control unit 7 ′ simultaneously irradiates the tissue BT with infrared light of a plurality of wavelengths and images the first image capturing unit 21, and irradiates the tissue BT with visible light and images the second image capturing unit 22.
  • the display device 192 is controlled to superimpose and display the image on the screen of the display device 192.
  • the display device 192 simultaneously irradiates the tissue BT with infrared light having a plurality of wavelengths and captures an image captured by the first image capturing unit 21 and an image captured by the second image capturing unit 22 by irradiating the tissue BT with visible light. Is displayed from the control device 190, and an image of the received superimposed display data is displayed on the screen.
  • This embodiment discloses an imaging system that irradiates a sample with light, acquires an image of the sample, and displays the image on a display screen.
  • the imaging system is irradiated with light from a light source unit (for example, an infrared light source unit 11) that outputs at least light having a first wavelength and light having a second wavelength that is different from the first wavelength.
  • a light detection unit (for example, the first imaging unit 21) that detects light emitted from the sample, and a light source unit to irradiate the sample with light, and the light detection unit to control the image of the sample.
  • a control device for example, the control unit 7 to be generated and a display device (for example, the display device 103) for displaying the generated image are provided.
  • the control device controls the light source unit so as to irradiate the sample with the first wavelength light and the second wavelength light at the same time by adjusting the intensities of the first wavelength light and the second wavelength light.
  • the light emitted from the obtained sample is detected by a light detection unit to generate an image of the sample.
  • the light source unit outputs light of at least two types of wavelengths in the infrared light wavelength region.
  • the sample includes a first part (for example, a first type part containing more water than other substances) and a second part (for example, a second type part containing more lipids than other substances).
  • a first part for example, a first type part containing more water than other substances
  • a second part for example, a second type part containing more lipids than other substances.
  • the second part is brighter than the first part.
  • an image obtained by irradiating the sample with light of the first wavelength (970 nm or 1070 nm) is as bright as the first part and the second part.
  • the control unit 7 responds to an instruction from the input device 102 (for example, an input by an operator), and a light irradiation mode setting function (mode) that can switch the irradiation mode of infrared light.
  • the irradiation mode of infrared light is, for example, a mode in which two or more infrared lights having different wavelengths are simultaneously irradiated to the tissue BT (sample) (first mode: simultaneous irradiation mode) and one light in the tissue BT (sample).
  • Mode (second mode: normal irradiation) in which (e.g., light of the first wavelength, visible light) is irradiated (sequentially).
  • In the first mode two or more infrared lights having different wavelengths are irradiated simultaneously on the tissue BT (sample) (or at least a part of them) as the irradiation timing for the tissue BT. including.
  • the control unit 7 sets the types (combinations) as one set and uses these sets as a tissue BT.
  • the light source of the illumination unit 3 is controlled so as to sequentially or alternately irradiate (sample), and the result of imaging at a plurality of wavelengths is acquired.
  • the control unit 7 may display a plurality of obtained results on the display screen of the display device 103 so as to simultaneously display the result, and allow the operator to select an image.
  • tissue BT infrared BT
  • infrared lights are simultaneously irradiated onto the tissue BT (sample).
  • two or more infrared lights are applied so as to cover the entire tissue BT (sample). Irradiation may be performed, or two or more infrared lights may be superimposed and irradiated on a specific region of the tissue BT (sample) (for example, a site such as a tumor or a lymph node).
  • a specific region of the tissue BT for example, a site such as a tumor or a lymph node.
  • an operator may determine (instruct) a specific region to be superimposed in advance.
  • the functions of this embodiment can also be realized by software program codes.
  • a storage medium in which the program code is recorded is provided to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus reads the program code stored in the storage medium.
  • the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the program code itself and the storage medium storing the program code constitute this embodiment.
  • a storage medium for supplying such program code for example, a flexible disk, CD-ROM, DVD-ROM, hard disk, optical disk, magneto-optical disk, CD-R, magnetic tape, nonvolatile memory card, ROM Etc. are used.
  • an OS operating system
  • the computer CPU or the like performs part or all of the actual processing based on the instruction of the program code.
  • the functions of the above-described embodiments may be realized.
  • the program code of the software that realizes the functions of the embodiment is stored in a storage means such as a hard disk or memory of a system or apparatus or a storage medium such as a CD-RW or CD-R.
  • the program code stored in the storage means or the storage medium may be read out and executed by the computer (or CPU or MPU) of the system or apparatus during storage.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

サンプルの各部位を効果的に弁別する。本実施形態による撮像装置は、光源部から第1波長の赤外光と第2波長の赤外光とが照射されるサンプルから放射される光を検出する光検出部と、第1波長の赤外光の強度又は第2波長の赤外光の強度を調整して、第1波長の赤外光と第2波長の赤外光とをサンプルに同時に照射して得られる検出結果をもとにサンプルの画像を生成する制御部と、を備える(図1)。

Description

撮像装置、撮像システム、及び撮像方法
 本開示は、撮像装置、撮像システム、及び撮像方法に関する。
 例えば医療などの分野においては、生物の組織(例、血管など)を撮像し、撮像した画像が各種診断や検査、観察等に活用されている(特許文献1参照)。
特開2004-237051号公報
 本実施形態によれば、光源部から第1波長の赤外光と第2波長の赤外光とが照射されるサンプルから放射される光を検出する光検出部と、第1波長の赤外光の強度又は第2波長の赤外光の強度を調整して、第1波長の赤外光と第2波長の赤外光とをサンプルに同時に照射して得られる検出結果をもとにサンプルの画像を生成する制御部と、を備える撮像装置が提供される。
 本実施形態によれば、第1波長の赤外光をサンプルに照射しながら、第1波長の赤外光に対して強度が調整された第2波長の赤外光をサンプルに照射することによりサンプルから放射される光を検出する光検出部と、光検出部によって得られる検出結果をもとにサンプルの画像を生成する制御部と、を備える撮像装置が提供される。
 本実施形態によれば、上述の撮像装置と、生成された画像を表示する表示装置と、を備える撮像システムが提供される。
 本実施形態によれば、光検出部が、光源部から第1波長の赤外光と第2波長の赤外光とが照射されるサンプルから放射される光を検出することと、制御装置が、第1波長の赤外光の強度又は第2波長の赤外光の強度を調整して、第1波長の赤外光と第2波長の赤外光とをサンプルに同時に照射して得られる検出結果に基づいてサンプルの画像を生成することと、を含む撮像方法が提供される。
第1の実施形態に係る撮像システム1の構成例を説明するための図である。 本実施形態に係る照明ユニット3の周辺部の詳細について説明する図である。 第1の実施形態に係る撮像システム1に含まれる撮像装置10の撮像ユニット4の移動を示す図である。 本実施形態に係る校正基準部5および切替部6の詳細を示す図である。 本実施形態に係る撮像装置10の収容部(筐体と言い換えることができる)8を示す図である。 本実施形態に係る水及び油(例えば、植物油)に関する、波長(赤外光領域)別の吸光度(吸光度曲線、分光分布、分光スペクトル)を示す図である。 本実施形態に係る2波長の赤外光を同時照射することによる階調値持ち上げ効果を理論的に説明するための図である。 本実施形態に係る2波長の赤外光を同時照射することによる階調値持ち上げ効果を実際の画像(検出結果)によって示す図である。 図8に示した画像を分かりやすくするために、図8の画像を模式的に描画した図である。 本実施形態に係る水、重水、及び油(例えば、植物油)に関する、波長(赤外光領域)別の吸光度(吸光度曲線、分光分布、分光スペクトル)を示す図である。 本実施形態に係る水、重水、及び油を弁別することが可能な波長の組み合わせ例を示す図である。 図11に示した画像を分かりやすくするために、図11の画像を模式的に表した図である。 本実施形態に係る水、重水、及び油を弁別することが可能な波長の組み合わせ例を示す図である。 図13に示した画像を分かりやすくするために、図13の画像を模式的に表した図である。 実施形態に係る撮像システム1の動作例を説明するためのフローチャートである。 本実施形態に係る同時照射すべき赤外光の波長の値及び光強度を設定・調整する際に用いられるGUI(Graphical User Interface)1400の構成例を示す図である。 本実施形態に係る豚の腸間膜の撮像画像を示している。 図17に示した画像を分かりやすくするために、図17の画像を模式的に表した図である。 変形例1の撮像システム1における光強度調整処理を説明するためのフローチャートである。 本実施形態に係る光強度調整処理の例(画素値引き上げの場合)を示す図である。 本実施形態に係る光強度調整処理の例(画素値引き下げの場合)を示す図である。 第2の実施形態に係る手術支援システム1’の構成例を示す図である。 第2の実施形態に係る手術支援システム1’の動作例を説明するためのフローチャートである。 本実施形態に係る水、アルブミン、及び油を弁別することが可能な波長の組み合わせ例を示す図である。 図24に示した画像を分かりやすくするために、図24の画像を模式的に表した図である。 本実施形態に係る水、アルブミン、及び油を弁別することが可能な波長の組み合わせ例を示す図である。 図26に示した画像を分かりやすくするために、図26の画像を模式的に表した図である。
 以下、添付図面を参照して本実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施形態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。
 本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
 更に、本実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。
A.第1の実施形態
 <撮像システム1の外観及び構成>
 図1は、第1の実施形態に係る撮像システム1の構成例を説明するための図である。図1Aは、第1の実施形態に係る撮像システム1の構成例を示す図である。図1Bは、撮像システム1における撮像装置10の構成例を示す図である。図中のXYZ直交座標系において、X方向およびY方向は、例えば水平方向であり、Z方向は例えば鉛直方向である。X方向、Y方向、及びZ方向の各方向において、適宜、矢印の向きを+側(例、+X側)と称し、その反対側を一側(例、一X側)と称す。
 撮像システム1は、例えば、病理診断支援、臨床診断支援、観察支援、手術支援などの医療支援に利用される。図1Aに示すように、撮像システム1は、撮像装置10と、撮像システム1の全体を制御する制御装置101と、ユーザ(オペレータ)がデータや指示コマンドなどを入力する際に用いる入力装置102と、例えば後述のGUIや撮像装置10によって撮像された画像などを表示する表示装置103と、を備えている。図1Bに示すように、撮像装置10は、標本支持部2と、照明ユニット(照明部〉3と、検出ユニット(撮像ユニット)4と、校正基準部5と、切替部6と、制御部7と、収容部8と、を備えている。制御部7は、例えば、制御装置101からの指示コマンドによって動作する。つまり、ユーザ(オペレータ)によって入力装置102から入力された指示コマンドは制御装置101で処理され、制御部7に送信される。また、例えば、制御装置101は、後述のプログラム(図13や図16のフローチャートに相当するプログラム)を制御装置101内のメモリから読み込み、当該プログラムに従って制御部7に各動作対象(例えば、照明ユニット3の赤外光源部11や可視光源部13、第1撮像部21や第2撮像部22など)を動作させるように指示する。
 標本支持部2は、生物の組織BT(以下、「サンプル」ともいう)を含む標本を支持する。標本支持部2は、例えば、矩形板状の部材である。標本支持部2は、例えば、その上面(載置面)が水平方向とほぼ平行に配置され、この上面(載置面)に組織BTを載置可能である。
 組織BTは、例えば人間の組織であるが、人間以外の生物(例、動物、植物)の組織でもよい。組織BTは、生物から切り取った状態の組織でもよいし、生物に付随した状態の組織でもよい。また、組織BTは、生存している生物(生体)の組織(生体組織)でもよいし、死亡後の生物(死体)の組織でもよい。組織BTは、生物から摘出した物体でもよい。組織BTは、生物のいずれの器官(臓器)を含んでもよく、血管や皮膚を含んでいてもよいし、皮膚よりも内側の内臓などを含んでもよい。また、組織BTは、光を受けて励起により光を発する物質(例えば、蛍光物質、りん光物質)を生物の組織に付与したものであってもよい。組織BTは、ホルマリン等の組織固定液を用いて固定されていてもよい。
 照明ユニット3は、例えば、標本支持部2の上方に配置され、赤外光(以下、「近赤外光」をも含む概念である)を組織BTに照射する。照明ユニット3は、例えば撮像ユニット4に取り付けられる。照明ユニット3は、赤外光源部11と、保持部材12と、可視光源部13と、光源移動部14とを備える。赤外光源部11は、少なくとも赤外光(例、第1波長の赤外光、第2波長の赤外光など)を射出する。保持部材12は、赤外光源部11を保持する。保持部材12は、例えば板状の部材であり、その下面側に赤外光源部11を保持する。光源移動部14は、組織BTに対する赤外光の照射角度を変化させる。本実施形態において、撮像装置10は、拡散部材15を備える。拡散部材15は、赤外光源部11からの赤外光を拡散する。赤外光を拡散部材15によって拡散することにより、組織BTに照射される赤外光を均一にすることが可能となる。赤外光源部11から射出された赤外光は、拡散部材15により拡散された後、組織BTに照射される。例えば、照明ユニット3は、組織BTに近赤外光を照射可能である。また、例えば、照明ユニット3は、組織BTに単一の狭波長帯の赤外光を照射可能である。また、例えば、照明ユニット3は、無影灯のような無影照明が可能であってもよい。
 本実施形態において、照明ユニット3は、例えば、可視光を射出し、組織BTに当該可視光を照射することもできるように構成してもよい。可視光源部13は、保持部材12に保持される。保持部材12は、例えば、その下面側に可視光源部13を保持する。光源移動部14は、組織BTに対する可視光の照射角度(例、照射方向)を変化させることもできる。可視光源部13からの可視光は、例えば、拡散部材15により拡散された後、組織BTに照射される。これにより、組織BTに照射される可視光を均一にすることが可能となる。
 検出ユニットとしての撮像ユニット4は、検出部としての第1撮像部21と、第2撮像部22とを備える。第1撮像部21は、例えば赤外カメラであり、赤外光の照射により組織BTを撮像する。第1撮像部21は、赤外光の照射により組織BTから放射される光(放射される光としては、例えば、反射光、散乱光、透過光、反射散乱光などが挙げられる)を検出する。第1撮像部21は、撮像光学系(検出光学系)23および撮像素子(受光素子)24を備える。撮像光学系23は、例えばAF機構(オートフォーカス機構)を有し、組織BTの像を形成する。第1撮像部21の光軸21aは、撮像光学系23の光軸と同軸である。
 撮像素子24は、撮像光学系23が形成した像を撮像する。撮像素子24は、例えば、CCDイメージセンサ、CMOSイメージセンサなどの二次元イメージセンサを含む。撮像素子24として、例えば、二次元的に配列された複数の画素を有し、各画素にフォトダイオードなどの光検出器が配置された構造を採用することが可能である。撮像素子24は、例えば、光検出器の材料にInGaAs(インジウムガリウムヒ素)を用いたものであり、赤外光源部11から射出される赤外光の波長帯に感度を有する。第1撮像部21の検出範囲A1は、例えば、標本支持部2上で第1撮像部21が撮像可能な撮像領域、標本支持部2上の第1撮像部21の視野領域である。第1撮像部21の撮像領域は、例えば、撮像素子24の受光領域(光検出器の配置領域)と光学的に共役な領域である。第1撮像部21の視野領域は、例えば、撮像光学系23の視野絞りの内側と光学的に共役な領域である。第1撮像部21は、例えば、撮像結果(検出結果)として撮像画像のデータを生成する。第1撮像部21は、例えば、撮像画像のデータを制御部7に供給する。
 第2撮像部22は、例えば可視カメラであり、可視光の照射により組織BTを撮像する。第2撮像部22は、例えば、可視光源部13からの可視光のうち組織BTの表面で反射散乱した光を検出する。第2撮像部22は、撮像光学系(図示せず)および撮像素子(図示せず)を備える。撮像光学系は、例えばAF機構(オートフォーカス機構)を有し、組織BTの像を形成するも撮像素子は、撮像光学系が形成した像を撮像する。撮像素子は、例えばCCDイメージセンサ、CMOSイメージセンサなどの二次元イメージセンサを含む。撮像素子24は、例えば、二次元的に配列された複数の画素を有し、各画素にフォトダイオードなどの光検出器が配置された構造である。撮像素子は、例えば光検出器の材料にSiを用いたものであり、可視光源部13から射出される可視光の波長帯に感度を有する。第2撮像部22は、例えば撮像結果(検出結果)として撮像画像のデータを生成する。第2撮像部22は、例えば、撮像画像のデータを制御部7に供給する。
 本実施形態において、撮像装置10は、サイズ変更部31を備える。サイズ変更部31は、第1撮像部21と標本支持部2とを、第1撮像部21の光軸21aの方向に相対移動させ、検出範囲A1のサイズを変更する。サイズ変更部31は、例えば、制御部7に制御され、第1撮像部21が設けられた撮像ユニット4を移動させることで、第1撮像部21と標本支持部2とを撮像部(例、第1撮像部21)の光軸方向(例、検出素子が受光する光の光軸方向)に相対移動させる。本実施形態において、拡散部材15を有する照明ユニット3は、撮像ユニット4と接続されている。サイズ変更部31は、照明ユニット3を撮像ユニット4とともに一体的に移動することができる。
 なお、撮像装置10は、第2撮像部22を備えなくてもよい。第2撮像部22は、撮像装置10の外部の装置に含まれていてもよい。また、撮像装置10は、サイズ変更部31を備えなくてもよい。撮像装置10は、例えば撮像光学系23としてズーム機構(例えば、ズームレンズ)を備えてもよい。
 <照明ユニットの詳細>
 図2は、照明ユニット3の周辺部の詳細について説明するための図である。図2Aは、拡散部材15が取り付けられた状態の照明ユニット3を示す図であり、図2Bは、拡散部材15が外された状態の照明ユニットを示す図である。図2Cは、照明ユニット3の平面図である。図2Dは、光源移動部14を示す図である。
 図2A及び図2Bに示されるように、拡散部材15は、照明ユニット3の光射出側を覆うように設けられる。拡散部材15は、開口15aを有し、撮像ユニット4と標本支持部2との問の光路(第1撮像部21の光軸21aおよびその周囲)は、開口15aの内側に配置される。例えば、拡散部材15は、照明ユニット3の光射出側に配置される。拡散部材15は、例えば、赤外光源部11及び可視光源部13と一体的に設けられて構成され、標本支持部2と赤外光源部11及び可視光源部13との間に配置される。拡散部材15は、例えば、撮像ユニット4の受光側に配置され、赤外光や可視光などの光(組織BTを介した光)が通過する開口部(例、開口15a)を有する。このように、拡散部材15は、例えば、開口部を用いて、赤外光源部11、可視光源部13及び撮像部(第1撮像部21及び/又は第2撮像部22)のうち赤外光源部11の光射出側及び可視光源部13の光射出側を覆うように設けられている。また、拡散部材15は、例えば、校正基準部5が退避している状態(退避状態)において、標本支持部2に対する上部(天井部)を構成する。
 図2Cに示されるように、照明ユニット3は、撮像部(検出部)の光軸(例、受光素子が受光する光の光軸)21aの周囲に複数配置されている。各照明ユニット3において、赤外光源部11は、複数の光源16を備える。例えば、複数の光源16は、それぞれ、発光ダイオード(LED)であるが、レーザーダイオード(LD)などの固体光源を含んでもよいし、ハロゲンランプなどのランプ光源を含んでもよい。複数の光源16は、互いに異なる波長帯の赤外光を射出する。複数の光源16のそれぞれが射出する赤外光の波長帯は、例えば、約750nm以上約3000nm以下の波長帯域から選択される。複数の光源16のそれぞれから射出する赤外光の波長帯は、例えば、中心波長が互いに重複しないように設定されるが、重複してもよく、2以上の光源16が同じ波長帯の赤外光を発してもよい。各照明ユニット3において、赤外光源部11が備える光源16として、図2Cでは6個の光源がそれぞれ示されているが、1つでもよいし、2つ以上の任意の数でもよい。各照明ユニット3において、複数の光源16はいずれも保持部材12に保持されるが、複数の光源16が複数の部材に分かれて保持されてもよい。また、例えば、複数の光源16は、制御部7によって制御され、選択的または一括的に赤外光を射出する。
 可視光源部13は、発光ダイオード(LED)などの光源を含む。この光源はレーザーダイオード(LD)などの固体光源でもよいし、ハロゲンランプなどのランプ光源でもよい。可視光源部13は、例えば、約380nm以上約750nm以下の波長帯域の少なくとも一部の波長帯の可視光を射出する。可視光源部13は、例えば、赤外光源部11の複数の光源16と同じ保持部材12に保持されるが、保持部材12と別の部材に保持されるようにしてもよい。各照明ユニット3に設けられる可視光源部13の光源として、図2Cでは1個の光源がそれぞれ示されているが、2つ以上でもよい。可視光源部13が複数の光源を備える場合、複数の光源のそれぞれが射出する可視光の波長帯は、2つ以上の光源で互いに異なってもよいし、2つ以上の光源で同じでもよい。
 図2Dに示されるように、光源移動部14は、組織BTに対する赤外光IRの照射角度(例えば、赤外光源部11の照射方向、射出方向)を変化させる。赤外光源部11の照射方向D1は、例えば、赤外光源部11から射出される赤外光IR(ビーム)の中心軸の方向である。光源移動部14は、例えば、保持部材12の姿勢(例、第1撮像部21の光軸21aとの角度)を変化させることにより、赤外光IRの照射角度を変化させる。赤外光源部11からの赤外光IRの照射角度は、例えば、赤外光源部11と第1撮像部21との位置関係が組織BTの表面に関する正反射の関係からずれるように、設定される。赤外光源部11からの赤外光IRの照射角度は、赤外光源部11と第1撮像部21との位置関係が標本支持部2の上面に関する正反射の関係からずれるように、設定されてもよい。
 光源移動部14は、例えば、保持部材12と撮像ユニット4とを接続し、保持部材12を撮像ユニット4に対して移動(例、回動)させる。これにより、保持部材12の姿勢が変化し、赤外光源部11からの赤外光IRの照射角度が変化する(変化後の照射方向D1が二点鎖線で示されている)。光源移動部14は、例えばアクチュエータやギア等を含み、保持部材12を移動させる駆動力を伝達する。制御部7は、光源移動部14を制御することにより、赤外光IRの照射角度を制御してもよい。光源移動部14がアクチュエータを備えない場合、例えば、オペレータ(ユーザ)の人力により光源移動部14を駆動してもよい。保持部材12は、撮像ユニット4と別の物体に接続(例、支持)されてもよく、撮像ユニット4に接続(例、支持)されなくてもよい。光源移動部14は、照明ユニット3ごとに赤外光の照射角度を変化させてもよいし、例えばリンク機構などにより、赤外光の照射角度を2つ以上の照明ユニット3で一括して変化させてもよい。
 制御部7は、例えば、オペレータにより設定された各波長の赤外光の光強度(図16参照)に対応する電圧値(例、光源に印加する電圧値)を算出する。また、制御部7は、例えば、算出した電圧値を、赤外光原部11の選択された波長の赤外光を出力する赤外光源の駆動部(図示せず)に同時に(同じタイミングで)印加するように電源回路(図示せず)を制御する。そして、電圧が印加された赤外光源は、同時に(同じタイミングで)、それぞれ対応する波長の赤外光を出射(出力)する。各赤外光源から出射された各赤外光は、組織BTに同時に照射される。なお、制御部7は、例えば、選択された複数の赤外光源のうち少なくとも1つの駆動部に算出された電圧を印加して所定波長(例えば、波長1)の赤外光(例、第1波長の赤外光、第1赤外光)の出射を開始し、別のタイミングで他の波長(例えば、波長2)の赤外光(例、第2波長の赤外光、第2赤外光)を出力する赤外光源の駆動部に対して算出された電圧を印加して出射するようにしてもよい。この場合、制御部7は、所定波長(波長1)の赤外光を組織BTに照射しながら、他の波長(波長2)の赤外光を組織BTに照射するように赤外光源部11の駆動部を制御する。このため、一定時間同時に(重畳されるように)組織BTに複数の赤外光が照射されることになる。
 なお、複数の照明ユニット3は、いずれも同様の構成であるが、その2つ以上が互いに異なる構成でもよい。例えば、1つの照明ユニット3は、保持部材12に対する複数の光源16の位置関係、複数の光源16の数、複数の光源16から射出される赤外光の波長帯の少なくとも1つが、他の照明ユニット3と異なってもよい。例えば、照明ユニット3は、撮像装置10に交換可能に取り付けられ、撮像装置10により撮像を行う際に取り付けられてもよい。照明ユニット3の少なくとも一部は、撮像装置10が使用される設備の一部(例、室内灯)などでもよい。例えば、赤外光を出力する光源部(赤外光源部)11と可視光を出力する可視光源部13とを別のユニットとして構成してもよい。また、各照明ユニットが、複数の波長を含む赤外光を出力する単一の赤外光源部と、各波長の赤外光を透過又は反射させる光学部材と、を備えるようにしてもよい。
 <撮像ユニットの移動について>
 図3は、第1の実施形態に係る撮像システム1に含まれる撮像装置10の撮像ユニット4の移動を示す図である。図3Bにおいて、撮像ユニット4は、図3Aと比較して下方(例、物体に近づく鉛直方向)に配置されている。撮像ユニット4は、下方(例、物体に近づく鉛直方向)に移動するにつれて、対向する物体(例、標本支持部2)と接近し、この物体上の検出範囲A1(図1B参照)が狭くなる。撮像ユニット4は、例えば、検出範囲A1が狭くなるほど、検出範囲A1内の物体を拡大した撮像画像を取得することができる。撮像ユニット4は、上方(例、物体から離れる鉛直方向)に移動するにつれて、対向する物体(例えば、標本支持部2)から離れ、この物体上の検出範囲A1(図1B参照)が広くなる。撮像ユニット4は、例えば、検出範囲A1が広くなるほど、検出範囲A1内の物体を縮小した撮像画像を取得することができる。
 <校正基準部及び切替部>
 次に、図1および図4を参照しつつ、校正基準部5および切替部6について説明する。図4は、校正基準部5および切替部6の詳細を示す図である。校正基準部5は、例えば、少なくとも表面に測定の基準となる校正用部分(例、標準白色板、標準灰色板、標準黒色板など)を有し、第1撮像部21の校正(例、撮像部の受光素子が受光する光の輝度の校正)に使われる。校正基準部5は、例えば、標準白色板などのように校正、検定されたものである。校正基準部5は、板状の部材でもよいし、ブロック状(バルク状)の部材でもよく、シート状の部材、その他の形状の部材でもよい。校正基準部5は、所定の波長帯(例、300nm以上3000nm以下)で反射率がほぼ平坦である。なお、校正基準部5は、第2撮像部22の校正にも利用可能である。第1撮像部21の校正を行う際に、制御部7は、校正基準部5を、第1撮像部21の検出範囲A1内に配置する(配置状態にする)。
 図1に示したように、第1撮像部21によって組織BTを撮像する際に、制御部7は、校正基準部5を第1撮像部21の検出範囲A1外に配置させておく(校正基準部5を退避状態にする)。制御部7は、校正基準部5と標本支持部2との少なくとも一方を移動させ、校正基準部5の退避状態(図1)と配置状態(図4)とを切り替える。制御部7は、例えば、校正基準部5の退避状態(図1)から配置状態(図4)に切り替える際に、標本支持部2を、第1撮像部21の検出範囲A1外に配置する。切替部6は、制御部7に制御され、校正基準部5と標本支持部2とを相対移動させる。制御部7は、切替部6を制御することにより、校正基準部5の退避状態と配置状態とを切り替える。
(i)校正基準部5の退避状態(図1)から配置状態(図4)に切り替える際の動作
 まず、校正基準部5の退避状態(図1)から配置状態(図4)に切り替える際の動作について説明する。校正基準部5の退避状態(図1)において、標本支持部2および校正基準部5は、例えば、第1撮像部21の光軸21aの方向に沿ってそれぞれ配置される。また、例えば、校正基準部5は、退避状態において標本支持部2の下方(図4のZ方向)に位置し、標本支持部2によって校正基準部5の一面が覆われるように配置されて収容部8に格納されている。例えば、校正基準部5は、退避状態において、標本支持部2の少なくとも一部に対して検出部(撮像ユニット4)と反対側に配置される。例えば、退避状態において、校正基準部5と標本支持部2とは互いに対向するように配置される。例えば、退避状態において、校正基準部5の校正用白色部分が設けられた表面は、標本支持部2の載置面又は載置面と反対面に対向して配置される。標本支持部2は、例えば、退避状態において、校正基準部5の上方に配置され、校正基準部5へ入射する光(例えば、赤外光、可視光)を遮光できる位置に配置される。制御部7は、標本支持部2と校正基準部5の少なくとも一方を、第1撮像部21の光軸21aの方向と非平行な軸周りで回転させる。また、制御部7は、標本支持部2と校正基準部5の少なくとも一方を、第1撮像部21の光軸21aの方向と垂直な軸周り又は直交する軸周りで回転させる。例えば、校正基準部5は、退避状態(図1)において、標本支持部2に対して第1撮像部21と反対側に保持される。例えば、校正基準部5の少なくとも一部(例、校正基準部5の表面や一面など)は、退避状態において、標本支持部2に覆われる。退避状態において、校正基準部5の校正用部分が形成された面は、標本支持部2に覆われる。校正基準部5の退避状態において、標本支持部2は、例えば、校正基準部5と第1撮像部21との間の光路を遮る位置に、配置される。
 制御部7は、校正基準部5の配置状態(図4)に切り替える際に、標本支持部2を回転させる。標本支持部2は、例えば矩形状の板部材で構成され、Y方向に平行な辺(例、短辺)の一端部(一Y側の端部)が回転軸32に支持されている。回転軸32は、例えば、琴方向に平行(例、標本支持部2の長辺に平行)であり、X方向の周りで回転可能である。切替部6は、例えば、上記の回転軸32、回転軸32に駆動力を供給するアクチュエータ36、及びアクチュエータ36からの駆動力を回転軸32に伝える伝達部(図示せず)を備える。
 制御部7は、図4の配置状態に切り替える際に、切替部6のアクチュエータ36を制御し、標本支持部2を校正基準部5から離れる向き(図4において反時計回り)に回転軸32を中心にして回転させる。校正基準部5は、校正基準部5と第1撮像部21との間の光路から標本支持部2が退避することにより、第1撮像部21の検出範囲A1内に配置される。
 制御部7は、例えば、標本支持部2の位置情報に基づいて、切替部6が動作中であるか否かを判定してもよい。例えば、撮像装置10は、標本支持部2の位置を検出する位置センサを備え、制御部7は、位置センサの検出結果(位置情報)に基づいて、標本支持部2が動作中であるか否かを判定してもよい。この位置センサは、例えば、切替部6に設けられるエンコーダなどでもよい。制御部7は、例えば、サイズ変更部31の動作を禁止、または制限する場合に、その旨を、ランプの点滅、音声などによりユーザに報知してもよい。
(ii)校正基準部の配置状態(図4)から退避状態(図1)へ切り替える際の動作
 次に、校正基準部5の配置状態(図4)から退避状態(図1)に切り替える際の動作ついて説明する。制御部7は、校正基準部5の配置状態(図4)から退避状態(図1)に切り替える際に、切替部6のアクチュエータ36を制御し、標本支持部2を校正基準部5に近づく向き(図4において時計回り)に回転させる。校正基準部5は、例えば、校正基準部5と第1撮像部21との間の光路が標本支持部2に遮られることにより、第1撮像部21の検出範囲A1外に配置される。
 標本支持部2は、例えば、Y方向に平行な辺(例、短辺)の他端部(+Y側の端部)がストッパ35に支持され、+X側から見た場合の時計回りの回転位置が規制される。ストッパ35は、例えば、標本支持部2と校正基準部5とが接触(衝突)しないように、標本支持部2の回転位置を規制する。例えば、校正基準部5は、退避状態において、標本支持部2と非接触に配置される。
 <収容部について>
 次に、収容部8について説明する。図5は、本実施形態に係る撮像装置10の収容部(筐体と言い換えることができる)8を示す図である。収容部8は、標本支持部2および撮像ユニット4(例、第1撮像部21)を収容する。収容部8は、その内部に、標本支持部2および撮像ユニット4を収容する収容空間SPを有する。収容部8は、収容空間SPを外部へ開放可能である。図5Aは収容空間SPが開放された状態(開放状態)を示し、図5Bは収容空間SPが閉鎖された状態を示している。図5Cは、収容空間SPを閉鎖した状態(閉鎖状態、遮光状態)で標本支持部2の検出範囲A1に赤外光を照射する様子を示す、撮像措置10を+X方向から見た断面図である。
 収容部8は、収容空間SPが閉鎖された状態(閉鎖状態、遮光状態)で、例えば収容部8の外部(例えば、収容部8以外の撮像装置10の内部、撮像装置10の外部など〉からの外光が遮光された状態を保てる暗箱(暗室)として機能する。収容部8は、例えば、収容空間SPが閉鎖された状態で、収容部8の外部から赤外光の光路(又は、可視光の光路)へ光(例、外光、室内灯からの光、自然光)が進入(入射)することを抑制(低減)する。収容空間SPにおける赤外光の光路は、例えば、赤外光源部11から第1撮像部21の検出範囲A1(例、組織BT、標本支持部2、校正基準部5、照明領域)までの光路と、検出範囲A1から第1撮像部21までの光路の少なくとも一部を含む。
 収容部8は、例えば、脚部40と、ベース部41と、フレーム部42(二点鎖線で示す)と、カバー部43と、扉部材44と、を備える。脚部40は、撮像装置1が設置される設置面F(例えば、机の上面)に接する。ベース部41は、脚部40上に設けられ、脚部40に支持される。フレーム部42は、ベース部41上に設けられ、ベース部41に支持される。フレーム部42には、例えば、制御部7、撮像ユニット4、照明ユニット3、サイズ変更部31、及び扉駆動部45(後述する)の少なくとも一部が設けられる。カバー部43は、例えば、ベース部41上にフレーム部42と非接触に設けられ、ベース部41に支持される。カバー部43は、収容部8の内部(収容空間)に面する内面43aと、収容部8の外部に面する外面43bと、を有する。撮像ユニット4(例えば、第1撮像部21)は、カバー部43と非接触であり、カバー部43からの力の伝達が抑制(低減)されるように支持される。
 カバー部43は、収容空間SPを外部に開放する開口43cを有する。扉部材44は、開口43cを塞ぐ位置(以下、閉位置という)と、開口43cの少なくとも一部を外部に開放する位置(以下、開位置という)とで移動可能である。扉部材44の閉位置は、例えば、扉部材44の下端の位置が、開口15aの下端の位置またはその下方に配置される位置である。
 <扉駆動部について>
 引き続き図5を参照して、扉駆動部について説明する。撮像装置10は、例えば扉部材を駆動する扉駆動部45を備える。扉駆動部45は、例えばアクチュエータ46と、伝達部47とを備える。アクチュエータ46は、例えば電動モータを含み、制御部7に制御され、扉部材44を移動させる駆動力を発生する。伝達部47は、アクチュエータ46からの駆動力を扉部材44に伝える。
 扉駆動部45は、例えば、非接触センサ49を備える。制御部7は、非接触センサ49の検出結果に基づき扉駆動部45を制御する。非接触センサ49は、例えば、ユーザの入力(例えば、動作)を光学的に検出する。例えば、非接触センサ49は、カバー部43に設けられた窓49aを介して外部へ光を射出し、この光の反射光を検出する。例えば、ユーザが窓49aに手などをかざした際に、非接触センサ49が検出する反射光の強度が閾値未満から閾値以上に変化する。このような場合に、制御部7は、扉部材44を開位置と閉位置との間で移動させることによって、扉駆動部45の開閉状態を制御する。
 なお、制御部7は、例えば、扉部材44の位置情報に基づいて、扉駆動部45が動作中であるか否かを判定してもよい。例えば、撮像装置10は、扉部材44の位置を検出する位置センサを備える。制御部7は、位置センサの検出結果(位置情報)に基づいて、扉駆動部45が動作中であるか否かを判定してもよい。この位置センサは、例えば、扉駆動部45に設けられるエンコーダなどで構成することが可能である。制御部7は、例えば、切替部6の動作を禁止、または制限する場合に、あるいは扉駆動部45による扉部材44の移動を制限、または禁止する場合に、その旨を、ランプの点滅、音声などによりユーザに報知してもよい。
 <複数波長の光による撮影>
 本実施形態による撮像システム1は、組織BTにおいて複数波長の光を同時に照射することにより組織BTから放射される光を検出し、検出した光から組織BTの画像を生成している。ここでは、一例として、複数波長の光を同時照射することによって組織BTを撮像する技術について説明する。なお、本実施形態では、2波長(例えば、第1波長の光として750nmから1100nmの光、第2波長の光として1200nmから1650nmの光を用いることができる)の光(例、第1波長の赤外光、第2波長の赤外光)を同時照射する場合について説明するが、用いる波長は2つに限定されず、3つ以上であってもよい。
(i)吸光度曲線(光のスペクトル(分光分布、分光スペクトル)とも言う)
 図6は、水及び油(例えば、植物油)に関する、波長(赤外光領域)別の吸光度(吸光度曲線、分光分布、分光スペクトル)を示す図である。図6では、油として植物油を例にしているが、波長と吸光度との関係は、生体組織に存在する脂質であっても同様の特性となるものと考える。例えば、脂質とは、分子中に長鎖脂肪酸または類似の炭化水素鎖を持ち、生物体内に存在するか生物に由来する物質をいい、生物に含まれる物質の中で、水に溶けない物質の総称である。なお、脂肪は脂質の概念に含まれ(脂肪=単純脂質:脂肪酸とグリセリドが結合したもの)、一般的には中性脂肪を指す。例えば、中性脂肪には、モノグリセリド(脂肪酸が1つ)、ジグリセリド(脂肪酸が2つ)、トリグリセリド(脂肪酸が3つ)が含まれる。
 図6に示されるように、水の吸光度曲線601及び油の吸光度曲線602からは次のことが分かる。例えば、波長が約700nm付近から約1300nm付近までの赤外光に対しては水も油も吸光度が低いため、波長が約1300nm以下の赤外光を両者(水と油)に照射した場合には水も油も明るく撮像される。従って、例えば、図6のP1点の波長の光(例えば、波長が1070nm付近の赤外光)を水と油の両方に照射すると、水も油も明るく撮像される。
 一方、例えば、波長が約1400nm付近から約1650nm付近までの赤外光に対しては水と油で吸光度に比較的大きな差があるため、波長が約1400nm以上約1650nm以下の赤外光を照射した場合には水は暗く、油は明るく撮像される。従って、例えば、図6のP2点の波長の光(例えば、波長が1600nm付近の赤外光)を水と油の両方に照射すると、水は暗く撮像され、油は明るく撮像される。
 さらに、例えば、波長が約1700nm付近から約1800nm付近までの赤外光を水と油とに照射した場合には、水も油も同程度の暗さ(明るさ)で撮像される。また、例えば、波長が約1900nm付近から約2100nm付近までの赤外光を水と油とに照射した場合には、水は非常に暗く、油は多少暗いが水よりは明るく撮像される。
 以上のように、サンプルに照射する赤外光の波長の違いにより、水及び油の撮像された画像の明暗が異なることが分かる。このため、照射すべき赤外光の波長を適切に選択することにより、水(水分)と油(脂質)を弁別することが可能となる。例えば、赤外波長領域(例、700nm以上約3500nm以下)における物質の分光スペクトルに基づいて設定された互いに波長複が異なる複数の赤外光を用いることによってサンプルの所定部分において明暗の異なる画像を取得することが可能である。
 また、例えば、水において吸光度が高い1600nmの赤外光を水と油とに照射した場合、水(水分)と油(脂質)を弁別することができる。しかし、組織BTの検査領域内(検出領域内、撮像領域内)に赤外光(近赤外光を含む概念)を吸収する物質(例えば、赤外吸収体(近赤吸収体を含む):赤外光を照射したときに赤外光を吸収して暗く撮像される物質)が存在すると、1600nmの波長において赤外吸収体も水と同様に暗く撮像されるため、1600nmにおいて水と赤外吸収体とを弁別することが困難となる。一方、例えば、1070nmの赤外光を水と油とに照射した場合、水と油は共に明るく撮像されるが、赤外吸収体は1070nmの赤外光をも吸収するために暗く撮像される。そこで、本実施形態では、画像に対して階調値の高低によって物(例、物は階調値が集まって形等が形成される)を判別するという人間の眼の性質を考慮し、水又は油の階調値を持ち上げて画像を人間の眼に見やすくすることにより、水(水分)又は油(脂質)と赤外吸収体とを弁別できるようにしている。
(ii)階調値持ち上げ効果
 図7は、本実施形態における階調値持ち上げ効果(階調値を上げる効果)を説明するための図である。図7に示されるように、例えば波長が1600nmの赤外光を赤外吸収体、水、及び油(脂質)に照射すると、取得される画像の階調値はそれぞれ、約8000程度、約8000程度、及び約24000程度となり、油の部分は明るく、水の部分及び赤外吸収体の部分は暗い。
 ここで、図7に示すように、1600nmの赤外光を照射したまま、さらに、例えば1070nmの赤外光を赤外吸収体、水、及び油(脂質)に照射する状態(この場合、2波長(例、1600nm、1070nm)の赤外光をサンプルに対して同時に照射する状態)の場合、取得される画像の階調値はそれぞれ、約8000程度、約24000程度、及び約39500程度となり、油の部分及び水の部分は明るく、赤外吸収体の部分は暗いままとなる。
 このように、例えば、1070nmの赤外光と1600nmの赤外光とを同時照射することにより、赤外吸収体の部分を暗く保ちつつ(赤外吸収体の部分の階調値を変えることなく一定に保ちつつ)、1600nmの赤外光の照射では撮像画像が暗くなるが1070nmの赤外光の照射では撮像画像が明るくなる物質(本実施形態の例では水分)の階調値を、1070nmの赤外光の照射と1600nmの赤外光の照射との両方の場合で撮像画像が明るくなる物質(本実施形態の例では油(脂質))の階調値と、1070nmの赤外光の照射と1600nmの赤外光の照射との両方の場合で撮像画像が暗くなる物質(本実施形態の例では赤外吸収体)の階調値との間(例、中間)まで引き上げることができるようになる。したがって、本実施形態では、互いに波長の異なる複数の赤外光(例、2波長の赤外光)をサンプルに対して同時に照射することによって、検出結果として階調値が補正された画像(例、階調値が調整された赤外光画像)を得ることが可能となる。なお、本実施形態における撮像装置10は、後述のように、例えば、制御部7によって階調値を引き下げる(階調値持ち下げ効果)ことが可能である。この場合においても、本実施形態では、複数の赤外光をサンプルに対して同時に照射することによって、検出結果として階調値が補正された画像(例、階調値が調整された赤外光画像)を得ることが可能となる。
(iii)階調値持ち上げ効果(実際の画像)
 図8は、本実施形態における階調値持ち上げ効果を実際の画像(検出結果)によって示す図である。図8では、例えば、同じ2つのガラス容器(例、キュベット、チューブ)に水と油(例えば、植物油)とがそれぞれ収容され、赤外吸収体としてのキャップで密閉されている。図8Aは、1600nmの赤外光を水と油とをそれぞれ収容したガラス容器に照射した場合の撮像画像を示している。図8Bは、1070nmの赤外光を水と油とをそれぞれ収容したガラス容器に照射した場合の撮像画像を示している。図8Cは、1070nmの赤外光と1600nmの赤外光とを、水と油とをそれぞれ収容したガラス容器に同時に照射した場合の撮像画像を示している。
 図8Aを参照すると、例えば、波長が1600nmの赤外光を各ガラス容器に照射して撮像した場合、一方の容器に収容された水の部分は暗く撮像され、他方の容器に収容された油の部分は明るく撮像されるため、水と油とを弁別することが可能である一方、水の部分と赤外吸収体(ガラス容器のキャップ)の部分とは両方とも暗く撮像され、両者を区別することが難しいことが分かる。
 図8Bを参照すると、例えば、波長が1070nmの赤外光を各ガラス容器に照射して撮像した場合、水の部分及び油の部分は明るく撮像され、赤外吸収体の部分は暗く撮像されるため、水及び油と赤外吸収体とを弁別することが可能である一方、水及び油は両方とも明るく撮像され、両者を区別することが難しいことが分かる。
 図8Cを参照すると、例えば、波長が1600nmの赤外光と1070nmの赤外光とを各ガラス容器に同時に照射して撮像した場合、相対的に油の部分が一番明るく撮像され、赤外吸収体の部分が一番暗く撮像され、水の部分がそれらの間(例、中間)の明るさで撮像されるため、水、油、及び赤外吸収体を容易で明確に弁別することが可能であると分かる。
 また、図9(図9A、B及びC)は、図8に示した画像を分かりやすくするために、図8の画像をもとに模式的に描画した図である。図9は図8の画像と同等であるため、図9の説明は省略する。
 このように、実際の画像を用いた階調値持ち上げ効果(各物質の弁別効果)は、図8に示した階調値持ち上げ効果の説明と符合している。従って、2つの波長の光(例えば、赤外光)を複数種類の物質が混在するサンプル(例えば、組織BT)に同時に照射して得られた検出結果(例、撮像画像)により、当該複数種類の物質を弁別することが可能となる。このため、サンプル中に混在する複数の物質の境界が明確となり、組織BTに対して病理検査や手術等を行う場合に、本来採取或いは切除すべきでない組織BTの一部分を誤って採取或いは切除してしまうという事態(危険)を回避できる可能性がある。なお、本実施形態では、2つの物質(例えば、水と油)を弁別するために2種類の波長を用いたが、3種類以上の波長を用いてもよいし、3つ以上の物質を複数の波長の光で弁別するようにしてもよい。本実施形態によれば、照射する光の波長をサンプルに基づいて適切に選択して複数の波長の光(例、サンプルごと(例、第1サンプル、第2サンプル)に波長を変更した複数の赤外光)を同時にサンプル(対象物)に照射することにより、当該対象物(組織BTなどのサンプル)に含まれる水や油(脂質)の他、例えば、糖、タンパク質、ポリペプチド、アミノ酸、ヒアルロン酸などを弁別することができる可能性がある。例えば、組織BTに癌が増殖している箇所があり、その箇所におけるアミノ酸の生成量が多くなった場合(例、癌による血管生成が活発になり、癌増殖箇所における白血球数が多くなる)、本実施形態における撮像装置10は、アミノ酸を他の物質と弁別することにより、癌の増殖箇所(例、腫瘍の部分)を特定できる可能性がある。
 <水、重水、及び油の吸光度曲線と、照射すべき赤外光の波長の組み合わせ>
 図10は、水、重水、及び油(例えば、植物油)に関する、波長(赤外光領域)別の吸光度(吸光度曲線、分光分布、分光スペクトル)を示す図である。図10において、グラフ1001は水の吸光度曲線、グラフ1002は重水の吸光度曲線、及びグラフ1003は油(脂質)の吸光度曲線を示す。
 図10に示されるように、例えば、波長が約700nm付近から約1100nm付近までの赤外光に対しては水、重水、及び油は共に吸光度が低いため、波長が約1100nm以下の赤外光を各々(水、重水および油)に照射した場合には水、重水、及び油は明るく撮像される。例えば、図10のP3及びP4点の波長の光(例えば、波長が970nm付近及び1070nm付近の赤外光)を水、重水、及び油に照射すると、水、重水、及び油(脂質)の全てが油は明るく撮像される。
 また、例えば、波長が1130~1140nm付近から水の吸光度と油(脂質)の吸光度とが上昇し始める。油(脂質)の吸光度は、波長が1200nm付近で極大となり、波長が1300nm付近に近くなるに従って小さくなる。水の吸光度は、波長が1200nm付近から1300nm付近に亘ってほぼ変化が無くなり、波長が1300nmを超えると急に上昇し始める。重水の吸光度は、波長が1240nm付近まで1000nm付近のときと変わらず低いままであり、1240nm付近を超えると少し上昇し始める。波長が1300nmでは、油の吸光度は重水の吸光度よりも低くなっている。従って、例えば、図10のP5点の波長の光(例えば、波長が1200nm付近の赤外光)を水、重水、及び油に照射すると、重水が最も明るく撮像され、油(脂質)が最も暗く撮像され、水は油(脂質)よりは明るいが重水よりは暗く撮像される。
 さらに、例えば、波長が約1400nm付近から約1550nm付近までの赤外光に対しては、水と、重水及び油とで吸光度に比較的大きな差があるため、波長が約1400nm以上約1550nm以下の赤外光を照射した場合、水は暗く撮像され、油及び重水は明るく撮像される(約1400nmから約1500nm付近の赤外光に対しては、重水は油よりさらに明るく撮像される)。例えば、図10のP6点の波長の光(例えば、波長が1450nm付近の赤外光)を水、重水、及び油に照射すると、水は最も暗く撮像され、重水、及び油(脂質)の全てが油は明るく撮像される。
 波長が1500nm付近では、吸光度は、水、油(脂質)、重水の順で高くなっているが、波長が1530nm付近で重水の吸光度と油(脂質)の吸光度とが逆転する。そして、油(脂質)の吸光度は波長が1600nmを超えると急に上昇し、1650nm付近で再度重水の吸光度を超え、さらに波長が1700nm付近では水の吸光度をも超えることになる。その後、波長が1800nm付近では、再度水の吸光度が油(脂質)の吸光度よりも高くなる。波長が1850nm付近以降では、吸光度は、水、重水、油(脂質)の順で高くなっている。例えば、図10のP7点の波長の光(例えば、波長が約1600nm付近の赤外光)を水、重水、及び油に照射すると、水が最も暗く撮像され、油が最も明るく撮像され、重水は水より明るいが油より暗く撮像される。また、例えば、波長が約1700nm付近から約1800nm付近の赤外光を水、重水、及び油に照射した場合、水及び油は暗く撮像され、重水は明るく撮像される。さらに、例えば、波長が約1900nm付近から約2100nm付近までの赤外光を水、重水、及び油に照射した場合には、水と重水は非常に暗く撮像され、油は多少暗いが水及び重水より明るく撮像される。
 以上のように、上述と同様に、サンプルに照射する赤外光の波長の違いにより、水、重水及び油の撮像された画像の明暗が異なることが分かる。このため、照射すべき赤外光の波長を適切に選択することにより、水、重水、及び油(脂質)を弁別することが可能となる。
 <水、重水、及び油を弁別する波長の組み合わせ(例)>
 図11A乃至C、及び図12A乃至Cは、水、重水、及び油を弁別することが可能な波長の組み合わせ例を示す図である。各図の3つの容器において、左の容器(この場合、キュベット)は水を収容し、真中の容器(この場合、キュベット)は油(植物油)を収容し、右の容器(例、キュベット)は重水を収容している。また、各容器は赤外吸収体としてのキャップで密閉されている。
(i)2波長赤外光同時照射(1070nm+1600nm)
 図11Aは、1070nmの赤外光と1600nmの赤外光とを各容器に対して同時に照射して得られた撮像画像(検出結果)を示す図である。図11Aは、図11Aの4画像において左から順番に、各容器に可視光を照射して得られた画像(可視画像)、各容器に1070nmの赤外光を照射して得られた画像(単波長の赤外画像)、各容器に1600nmの赤外光を照射して得られた画像(単波長の赤外画像)、及び1070nmの赤外光と1600nmの赤外光とを照射して得られた画像(複数波長の赤外画像)を示す画像である。
 図11Aにおいて、例えば、1600nmの赤外光を照射して撮像した場合、水の部分が一番暗く撮像され、油の部分が一番明るく撮像されて、重水の部分が水の部分より明るいが油の部分よりも少し暗く撮像されるため、水、油(脂質)、及び重水を弁別することができる。しかし、組織BTの検査領域内(検出領域内、撮像領域内)に赤外光(近赤外光を含む概念)を吸収する物質(例えば、赤外吸収体:赤外光を照射したときに赤外光を吸収して暗く撮像される物質)が存在すると、赤外吸収体の部分も水の部分と同様に暗く撮像されるため、水と赤外吸収体とを弁別することが困難となる。一方、1070nmの赤外光を照射して撮像した場合、水の部分、油の部分、及び重水の部分は共に明るく撮像されるが、赤外吸収体の部分は1070nmの赤外光をも吸収するため、1600nmの赤外光を照射した場合と同様に暗く撮像される。そして、例えば、波長が1600nmの赤外光と1070nmの赤外光とを各容器に同時に照射して撮像した場合、相対的に油の部分が一番明るく撮像され、重水の部分が二番目に明るく撮像され、赤外吸収体の部分が一番暗く撮像され、水の部分がそれら(例、油の部分と赤外吸収体、重水の部分と赤外吸収体)の間(例、中間)の明るさで撮像されるため、水、油、重水、及び赤外吸収体を容易で明確に弁別することが可能であると分かる。この場合、赤外吸収体の部分が一番暗く、水の部分が次に暗く、油の部分が一番明るく、重水の部分が水の部分より明るいが油の部分より少し暗く撮像される。
 以上のように、1070nmの赤外光と1600nmの赤外光をサンプルに同時照射して得られる検出結果(例、撮像画像)により、水、重水、油、及び赤外吸収体を簡易で効果的に弁別することができる。例えば、オペレータは、該検出結果に基づいて、組織BTにおいて、他の物質より水分を多く含む部位、他の物質より脂質を多く含む部位、及び他の物質より重水成分を多く含む部位を見分けることができるようになる。
(ii)2波長赤外光同時照射(970nm+1600nm)
 図11Bは、970nmの赤外光と1600nmの赤外光とを各容器に対して同時に照射して得られた撮像画像(検出結果)を示す図である。図11Bは、図11Bの4画像において左から順番に、各容器に可視光を照射して得られた画像(可視画像)、各容器に970nmの赤外光を照射して得られた画像(単波長の赤外画像)、各容器に1600nmの赤外光を照射して得られた画像(単波長の赤外画像)、及び970nmの赤外光と1600nmの赤外光とを照射して得られた画像(複数波長の赤外画像)を示す画像である。
 図11Bに示す通り、図11Bからも、図11Aと同様の結果が得られた。例えば、波長が1600nmの赤外光と970nmの赤外光とを各容器に同時に照射して撮像した場合、相対的に油の部分が一番明るく撮像され、重水の部分が二番目に明るく撮像され、赤外吸収体の部分が一番暗く撮像され、水の部分がそれら(例、油の部分と赤外吸収体、重水の部分と赤外吸収体)の間(例、中間)の明るさで撮像されるため、水、油、重水、及び赤外吸収体を容易で明確に弁別することが可能であると分かる。したがって、図11Bの場合も、赤外吸収体の部分が一番暗く、水の部分が次に暗く、油の部分が一番明るく、重水の部分が水の部分より明るいが油の部分より少し暗く撮像される。
 従って、この波長の組み合わせの赤外光をサンプル(例、組織BT)に同時照射して得られる検出結果(例、撮像画像)により、水、重水、油、及び赤外吸収体を簡易で効果的に弁別することができる。
(iii)2波長赤外光同時照射(970nm+1450nm)
 図11Cは、970nmの赤外光と1450nmの赤外光とを各容器に同時に照射して得られた撮像画像(検出結果)を示す図である。図11Cは、図11Cの4画像において左から順番に、各容器に可視光を照射して得られた画像(可視画像)、各容器に970nmの赤外光を照射して得られた画像(単波長の赤外画像)、各容器に1450nmの赤外光を照射して得られた画像(単波長の赤外画像)、及び970nmの赤外光と1450nmの赤外光とを照射して得られた画像(複数波長の赤外画像)を示す画像である。
 図11Cにおいて、例えば、1450nmの赤外光を照射して撮像した場合、水の部分が一番暗く撮像され、重水の部分が一番明るく撮像されて、油の部分が水の部分より明るいが重水の部分よりも少し暗く撮像されるため、水、油(脂質)、及び重水を弁別することができる。しかし、上記と同様に、組織BTの検査領域内(検出領域内、撮像領域内)に赤外吸収体が存在すると、赤外吸収体の部分も水の部分と同様に暗く撮像されるため、水と赤外吸収体とを弁別することが困難となる。一方、970nmの赤外光を照射して撮像した場合、水の部分、油の部分、及び重水の部分は共に明るく撮像されるが、赤外吸収体の部分は970nmの赤外光をも吸収するため、1450nmの赤外光を照射した場合と同様に暗く撮像される。そして、例えば、波長が1450nmの赤外光と970nmの赤外光とを各容器に同時に照射して撮像した場合、相対的に重水の部分が一番明るく撮像され、油の部分が二番目に明るく撮像され、赤外吸収体の部分が一番暗く撮像され、水の部分がそれら(例、油の部分と赤外吸収体、重水の部分と赤外吸収体)の間(例、中間)の明るさで撮像されるため、水、油、重水、及び赤外吸収体を容易で明確に弁別することが可能であると分かる。この場合、赤外吸収体の部分が一番暗く、水の部分が次に暗く、重水の部分が一番明るく、油の部分が水の部分より明るいが重水の部分より少し暗く撮像される。このように、例えば、水、重水、及び油の全てが明るく撮像される970nmの赤外光を1450nmの赤外光と共にサンプルに照射することにより、赤外吸収体の部分を暗く保ちつつ、各物質の階調値を持ち上げることが可能となる。
 従って、この波長の組み合わせの赤外光をサンプル(例、組織BT)に同時照射して得られる検出結果(例、撮像画像)により、水、重水、油、及び赤外吸収体を効果的に弁別することができるようになる。
 また、図12(図12A、B及びC)は、図11に示した画像を分かりやすくするために、図11の画像をもとに模式的に描画した図である。図12は図11の画像と同等であるため、図12の説明は省略する。
(iv)2波長赤外光同時照射(1070nm+1450nm)
 次に、図13Aは、1070nmの赤外光と1450nmの赤外光とを各容器に対して同時に照射して得られた撮像画像(検出結果)を示す図である。図13Aは、図13Aの4画像において左から順番に、各容器に可視光を照射して得られた画像(可視画像)、各容器に1070nmの赤外光を照射して得られた画像(単波長の赤外画像)、各容器に1450nmの赤外光を照射して得られた画像(単波長の赤外画像)、及び1070nmの赤外光と1450nmの赤外光とを照射して得られた画像(複数波長の赤外画像)を示す画像である。
 図13Aに示す通り、図12Aからも、図11Cと同様の結果が得られた。例えば、波長が1070nmの赤外光と1450nmの赤外光とを各容器に同時に照射して撮像した場合、相対的に重水の部分が一番明るく撮像され、油の部分が二番目に明るく撮像され、赤外吸収体の部分が一番暗く撮像され、水の部分がそれら(例、油の部分と赤外吸収体、重水の部分と赤外吸収体)の間(例、中間)の明るさで撮像されるため、水、油、重水、及び赤外吸収体を容易で明確に弁別することが可能であると分かる。したがって、この場合も、赤外吸収体の部分が一番暗く、水の部分が次に暗く、重水の部分が一番明るく、油の部分が水の部分より明るいが重水の部分より少し暗く撮像される。
 従って、この波長の組み合わせの赤外光をサンプル(例、組織BT)に同時照射して得られる検出結果(例、撮像画像)により、水、重水、油、及び赤外吸収体を効果的に弁別することができるようになる。
(v)2波長赤外光同時照射(1070nm+1200nm)
 図13Bは、1070nmの赤外光と1200nmの赤外光とを各容器に対して同時に照射して得られた撮像画像(検出結果)を示す図である。図13Bは、図13Bの4画像において左から順番に、各容器に可視光を照射して得られた画像(可視画像)、各容器に1070nmの赤外光を照射して得られた画像(単波長の赤外画像)、各容器に1200nmの赤外光を照射して得られた画像(単波長の赤外画像)、及び1070nmの赤外光と1200nmの赤外光とを照射して得られた画像(複数波長の赤外画像)を示す画像である。
 図13Bにおいて、例えば、1200nmの赤外光を照射して撮像した場合、水の部分が一番暗く撮像され、重水の部分が一番明るく撮像されて、油の部分が水の部分より明るいが重水の部分よりも少し暗く撮像されるため、水、油(脂質)、及び重水を弁別することができる。しかし、上記と同様に、組織BTの検査領域内(検出領域内、撮像領域内)に赤外吸収体が存在すると、赤外吸収体の部分も水の部分と同様に暗く撮像されるため、水と赤外吸収体とを弁別することが困難となる。一方、1070nmの赤外光を照射して撮像した場合、水の部分、油の部分、及び重水の部分は共に明るく撮像されるが、赤外吸収体の部分は1070nmの赤外光をも吸収するため、1200nmの赤外光を照射した場合と同様に暗く撮像される。そして、例えば、波長が1200nmの赤外光と1070nmの赤外光とを各容器に同時に照射して撮像した場合、相対的に重水の部分が一番明るく撮像され、油の部分が二番目に明るく撮像され、赤外吸収体の部分が一番暗く撮像され、水の部分がそれら(例、油の部分と赤外吸収体、重水の部分と赤外吸収体)の間(例、中間)の明るさで撮像されるため、水、油、重水、及び赤外吸収体を容易で明確に弁別することが可能であると分かる。この場合、赤外吸収体の部分が一番暗く、水の部分が次に暗く、重水の部分が一番明るく、油の部分が水の部分より明るいが重水の部分より少し暗く撮像される。このように、例えば、1070nmの赤外光を1200nmの赤外光と共にサンプルに照射することにより、赤外吸収体の部分を暗く保ちつつ、各物質の階調値を持ち上げることが可能となる。
 従って、この波長の組み合わせの赤外光をサンプル(例、組織BT)に同時照射して得られる検出結果(例、撮像画像)により、水、重水、油、及び赤外吸収体を効果的に弁別することができるようになる。
(vi)2波長赤外光同時照射(970nm+1200nm)
 図13Cは、970nmの赤外光と1200nmの赤外光とを各容器に対して同時に照射して得られた撮像画像(検出結果)を示す図である。図13Cは、図13Cの4画像において左から順番に、各容器に可視光を照射して得られた画像(可視画像)、各容器に970nmの赤外光を照射して得られた画像(単波長の赤外画像)、各容器に1200nmの赤外光を照射して得られた画像(単波長の赤外画像)、及び970nmの赤外光と1200nmの赤外光とを照射して得られた画像(複数波長の赤外画像)を示す画像である。
 図13Cに示す通り、図13Cからも、図13Bと同様の結果が得られた。例えば、波長が1070nmの赤外光と1200nmの赤外光とを各容器に同時に照射して撮像した場合、相対的に重水の部分が一番明るく撮像され、油の部分が二番目に明るく撮像され、赤外吸収体の部分が一番暗く撮像され、水の部分がそれら(例、油の部分と赤外吸収体、重水の部分と赤外吸収体)の間(例、中間)の明るさで撮像されるため、水、油、重水、及び赤外吸収体を容易で明確に弁別することが可能であると分かる。したがって、この場合も、赤外吸収体の部分が一番暗く、水の部分が次に暗く、重水の部分が一番明るく、油の部分が水の部分より少し明るいが重水の部分より暗く撮像される。
 よって、この波長の組み合わせの赤外光をサンプル(例、組織BT)に同時照射して得られる検出結果(例、撮像画像)により、水、重水、油、及び赤外吸収体を効果的に弁別することができるようになる。
 また、図14(図14A、B及びC)は、図13に示した画像を分かりやすくするために、図13の画像をもとに模式的に描画した図である。図14は図13の画像と同等であるため、図14の説明は省略する。
 上記の各実施形態において説明した通り、複数波長の赤外光をサンプルに対して同時に照射して得られる検出結果(例えば、撮像画像)を基にサンプルの画像を生成することにより、サンプル内における複数の物質を弁別してサンプルの画像を表示することが可能となる。選択可能な赤外光の波長は、例えば、750nm以上3000nm以下であり、同時照射に用いられる赤外光の波長はそれぞれ異なる波長である。例えば、2波長の赤外光を同時照射する場合、第1波長として750nm以上1100nm以下の赤外光が選択され、第2波長として1400nm以上1650nm以下の赤外光が選択される。また、例えば、サンプルによっては含まれる物質が異なることがあるため、本実施形態の撮像装置10はサンプルの種類によって照射する赤外光の波長の組み合わせを変えることが可能である。このように、サンプルに照射する赤外光の複数の波長の組み合わせを選択することにより、本実施形態の撮像装置10は、適切にサンプル内の物質を弁別する画像を生成し、提供することができるようになる。
 <水、アルブミン、及び油を弁別する波長の組み合わせ(例)>
 図24A乃至C、及び図25A乃至Cは、水、タンパク質として牛血清アルブミン(以下、アルブミンと称する)、及び油を弁別することが可能な波長の組み合わせ例を示す図である。各図の3つの容器において、左の容器(この場合、キュベット)は水を収容し、真中の容器(この場合、キュベット)はアルブミンを収容し、右の容器(例、キュベット)は油を収容している。また、各容器は赤外吸収体としてのキャップで密閉されている。なお、図24に示されるキュベットは、図11や図13に示されるキュベットよりもサンプルの収容可能量が少なく構成されている。サンプルの収容可能量を少なくするために、例えば、図24のキュベットは、図11や図13のキュベットと比べて、例えば奥行は同じサイズで構成されているが、内部幅が小さいサイズで構成されている。このため、図24では、階調値を持って撮像される部分(明るく撮像される部分や暗く撮像される部分、階調値が生じる部分)が細く映っている。
(i)2波長赤外光同時照射(1070nm+1600nm)
 図24Aは、1070nmの赤外光と1600nmの赤外光とを各容器に対して同時に照射して得られた撮像画像(検出結果)を示す図である。図24Aは、図24Aの4画像において左から順番に、各容器に可視光を照射して得られた画像(可視画像)、各容器に1070nmの赤外光を照射して得られた画像(単波長の赤外画像)、各容器に1600nmの赤外光を照射して得られた画像(単波長の赤外画像)、及び1070nmの赤外光と1600nmの赤外光とを照射して得られた画像(複数波長の赤外画像)を示す画像である。
 図24Aにおいて、例えば、1600nmの赤外光を照射して撮像した場合、水の部分が一番暗く撮像され、油の部分が一番明るく撮像されて、アルブミンの部分が水の部分より明るいが油の部分よりも少し暗く撮像されるため、水、アルブミン、及び油(脂質)を弁別することができる。しかし、組織BTの検査領域内(検出領域内、撮像領域内)に赤外光(近赤外光を含む概念)を吸収する物質(例えば、赤外吸収体:赤外光を照射したときに赤外光を吸収して暗く撮像される物質)が存在すると、赤外吸収体の部分も水の部分と同様に暗く撮像されるため、水と赤外吸収体とを弁別することが困難となる。一方、1070nmの赤外光を照射して撮像した場合、水の部分、アルブミンの部分、及び油の部分は共に明るく撮像されるが、赤外吸収体の部分は1070nmの赤外光をも吸収するため、1600nmの赤外光を照射した場合と同様に暗く撮像される。そして、例えば、波長が1600nmの赤外光と1070nmの赤外光とを各容器に同時に照射して撮像した場合、相対的に油の部分が一番明るく撮像され、アルブミンの部分が二番目に明るく撮像され、赤外吸収体の部分が一番暗く撮像され、水の部分がそれら(例、油の部分と赤外吸収体、アルブミンの部分と赤外吸収体)の間(例、中間)の明るさで撮像されるため、水、アルブミン、油、及び赤外吸収体を容易で明確に弁別することが可能であると分かる。この場合、赤外吸収体の部分が一番暗く、水の部分が次に暗く、油の部分が一番明るく、アルブミンの部分が水の部分より明るいが油の部分より少し暗く撮像される。
 以上のように、1070nmの赤外光と1600nmの赤外光をサンプルに同時照射して得られる検出結果(例、撮像画像)により、水、タンパク質(例、アルブミン)、油、及び赤外吸収体を簡易で効果的に弁別することができる。例えば、オペレータは、該検出結果に基づいて、組織BTにおいて、他の物質より水分を多く含む部位、他の物質より脂質を多く含む部位、及び他の物質より重水成分を多く含む部位を見分けることができるようになる。
(ii)2波長赤外光同時照射(970nm+1600nm)
 図24Bは、970nmの赤外光と1600nmの赤外光とを各容器に対して同時に照射して得られた撮像画像(検出結果)を示す図である。図24Bは、図24Bの4画像において左から順番に、各容器に可視光を照射して得られた画像(可視画像)、各容器に970nmの赤外光を照射して得られた画像(単波長の赤外画像)、各容器に1600nmの赤外光を照射して得られた画像(単波長の赤外画像)、及び970nmの赤外光と1600nmの赤外光とを照射して得られた画像(複数波長の赤外画像)を示す画像である。
 図24Bに示す通り、図24Bからも、図24Aと同様の結果が得られた。例えば、波長が1600nmの赤外光と970nmの赤外光とを各容器に同時に照射して撮像した場合、相対的に油の部分が一番明るく撮像され、アルブミンの部分が二番目に明るく撮像され、赤外吸収体の部分が一番暗く撮像され、水の部分がそれら(例、油の部分と赤外吸収体、アルブミンの部分と赤外吸収体)の間(例、中間)の明るさで撮像されるため、水、アルブミン、油、及び赤外吸収体を容易で明確に弁別することが可能であると分かる。したがって、図24Bの場合も、赤外吸収体の部分が一番暗く、水の部分が次に暗く、油の部分が一番明るく、アルブミンの部分が水の部分より明るいが油の部分より少し暗く撮像される。
 従って、この波長の組み合わせの赤外光をサンプル(例、組織BT)に同時照射して得られる検出結果(例、撮像画像)により、水、タンパク質(例、アルブミン)、油、及び赤外吸収体を簡易で効果的に弁別することができる。
(iii)2波長赤外光同時照射(970nm+1450nm)
 図24Cは、970nmの赤外光と1450nmの赤外光とを各容器に同時に照射して得られた撮像画像(検出結果)を示す図である。図24Cは、図24Cの4画像において左から順番に、各容器に可視光を照射して得られた画像(可視画像)、各容器に970nmの赤外光を照射して得られた画像(単波長の赤外画像)、各容器に1450nmの赤外光を照射して得られた画像(単波長の赤外画像)、及び970nmの赤外光と1450nmの赤外光とを照射して得られた画像(複数波長の赤外画像)を示す画像である。
 図24Cにおいて、例えば、1450nmの赤外光を照射して撮像した場合、水の部分が一番暗く撮像され、アルブミンの部分が一番明るく撮像されて、油の部分が水の部分より明るいがアルブミンの部分よりも少し暗く撮像されるため、水、アルブミン、及び油(脂質)を弁別することができる。しかし、上記と同様に、組織BTの検査領域内(検出領域内、撮像領域内)に赤外吸収体が存在すると、赤外吸収体の部分も水の部分と同様に暗く撮像されるため、水と赤外吸収体とを弁別することが困難となる。一方、970nmの赤外光を照射して撮像した場合、水の部分、アルブミンの部分、及び油の部分は共に明るく撮像されるが、赤外吸収体の部分は970nmの赤外光をも吸収するため、1450nmの赤外光を照射した場合と同様に暗く撮像される。そして、例えば、波長が1450nmの赤外光と970nmの赤外光とを各容器に同時に照射して撮像した場合、相対的にアルブミンの部分が一番明るく撮像され、油の部分が二番目に明るく撮像され、赤外吸収体の部分が一番暗く撮像され、水の部分がそれら(例、油の部分と赤外吸収体、アルブミンの部分と赤外吸収体)の間(例、中間)の明るさで撮像されるため、水、アルブミン、油、及び赤外吸収体を容易で明確に弁別することが可能であると分かる。この場合、赤外吸収体の部分が一番暗く、水の部分が次に暗く、アルブミンの部分が一番明るく、油の部分が水の部分より明るいがアルブミンの部分より少し暗く撮像される。このように、例えば、水、アルブミン、及び油の全てが明るく撮像される970nmの赤外光を1450nmの赤外光と共にサンプルに照射することにより、赤外吸収体の部分を暗く保ちつつ、各物質の階調値を持ち上げることが可能となる。
 従って、この波長の組み合わせの赤外光をサンプル(例、組織BT)に同時照射して得られる検出結果(例、撮像画像)により、水、タンパク質(例、アルブミン)、油、及び赤外吸収体を効果的に弁別することができるようになる。
 また、図25(図25A、B及びC)は、図24に示した画像を分かりやすくするために、図24の画像をもとに模式的に描画した図である。図25は図24の画像と同等であるため、図25の説明は省略する。
(iv)2波長赤外光同時照射(1070nm+1450nm)
 次に、図26Aは、1070nmの赤外光と1450nmの赤外光とを各容器に対して同時に照射して得られた撮像画像(検出結果)を示す図である。図24Aは、図24Aの4画像において左から順番に、各容器に可視光を照射して得られた画像(可視画像)、各容器に1070nmの赤外光を照射して得られた画像(単波長の赤外画像)、各容器に1450nmの赤外光を照射して得られた画像(単波長の赤外画像)、及び1070nmの赤外光と1450nmの赤外光とを照射して得られた画像(複数波長の赤外画像)を示す画像である。
 図26Aに示す通り、図26Aからも、図24Cと同様の結果が得られた。例えば、波長が1070nmの赤外光と1450nmの赤外光とを各容器に同時に照射して撮像した場合、相対的にアルブミンの部分が一番明るく撮像され、油の部分が二番目に明るく撮像され、赤外吸収体の部分が一番暗く撮像され、水の部分がそれら(例、油の部分と赤外吸収体、アルブミンの部分と赤外吸収体)の間(例、中間)の明るさで撮像されるため、水、油、アルブミン、及び赤外吸収体を容易で明確に弁別することが可能であると分かる。したがって、この場合も、赤外吸収体の部分が一番暗く、水の部分が次に暗く、アルブミンの部分が一番明るく、油の部分が水の部分より明るいがアルブミンの部分より少し暗く撮像される。
 従って、この波長の組み合わせの赤外光をサンプル(例、組織BT)に同時照射して得られる検出結果(例、撮像画像)により、水、タンパク質(例、アルブミン)、油、及び赤外吸収体を効果的に弁別することができるようになる。
(v)2波長赤外光同時照射(1070nm+1200nm)
 図26Bは、1070nmの赤外光と1200nmの赤外光とを各容器に対して同時に照射して得られた撮像画像(検出結果)を示す図である。図26Bは、図26Bの4画像において左から順番に、各容器に可視光を照射して得られた画像(可視画像)、各容器に1070nmの赤外光を照射して得られた画像(単波長の赤外画像)、各容器に1200nmの赤外光を照射して得られた画像(単波長の赤外画像)、及び1070nmの赤外光と1200nmの赤外光とを照射して得られた画像(複数波長の赤外画像)を示す画像である。
 図26Bにおいて、例えば、1200nmの赤外光を照射して撮像した場合、水の部分が一番暗く撮像され、アルブミンの部分が一番明るく撮像されて、油の部分が水の部分より明るいがアルブミンの部分よりも少し暗く撮像されるため、水、油(脂質)、及びアルブミンを弁別することができる。しかし、上記と同様に、組織BTの検査領域内(検出領域内、撮像領域内)に赤外吸収体が存在すると、赤外吸収体の部分も水の部分と同様に暗く撮像されるため、水と赤外吸収体とを弁別することが困難となる。一方、1070nmの赤外光を照射して撮像した場合、水の部分、油の部分、及びアルブミンの部分は共に明るく撮像されるが、赤外吸収体の部分は1070nmの赤外光をも吸収するため、1200nmの赤外光を照射した場合と同様に暗く撮像される。そして、例えば、波長が1200nmの赤外光と1070nmの赤外光とを各容器に同時に照射して撮像した場合、相対的にアルブミンの部分が一番明るく撮像され、油の部分が二番目に明るく撮像され、赤外吸収体の部分が一番暗く撮像され、水の部分がそれら(例、油の部分と赤外吸収体、アルブミンの部分と赤外吸収体)の間(例、中間)の明るさで撮像されるため、水、油、アルブミン、及び赤外吸収体を容易で明確に弁別することが可能であると分かる。この場合、赤外吸収体の部分が一番暗く、水の部分が次に暗く、アルブミンの部分が一番明るく、油の部分が水の部分より明るいがアルブミンの部分より少し暗く撮像される。このように、例えば、1070nmの赤外光を1200nmの赤外光と共にサンプルに照射することにより、赤外吸収体の部分を暗く保ちつつ、各物質の階調値を持ち上げることが可能となる。
 従って、この波長の組み合わせの赤外光をサンプル(例、組織BT)に同時照射して得られる検出結果(例、撮像画像)により、水、タンパク質(例、アルブミン)、油、及び赤外吸収体を効果的に弁別することができるようになる。
(vi)2波長赤外光同時照射(970nm+1200nm)
 図26Cは、970nmの赤外光と1200nmの赤外光とを各容器に対して同時に照射して得られた撮像画像(検出結果)を示す図である。図26Cは、図26Cの4画像において左から順番に、各容器に可視光を照射して得られた画像(可視画像)、各容器に970nmの赤外光を照射して得られた画像(単波長の赤外画像)、各容器に1200nmの赤外光を照射して得られた画像(単波長の赤外画像)、及び970nmの赤外光と1200nmの赤外光とを照射して得られた画像(複数波長の赤外画像)を示す画像である。
 図26Cに示す通り、図26Cからも、図26Bと同様の結果が得られた。例えば、波長が1070nmの赤外光と1200nmの赤外光とを各容器に同時に照射して撮像した場合、相対的にアルブミンの部分が一番明るく撮像され、油の部分が二番目に明るく撮像され、赤外吸収体の部分が一番暗く撮像され、水の部分がそれら(例、油の部分と赤外吸収体、アルブミンの部分と赤外吸収体)の間(例、中間)の明るさで撮像されるため、水、油、アルブミン、及び赤外吸収体を容易で明確に弁別することが可能であると分かる。したがって、この場合も、赤外吸収体の部分が一番暗く、水の部分が次に暗く、アルブミンの部分が一番明るく、油の部分が水の部分より少し明るいがアルブミンの部分より暗く撮像される。
 よって、この波長の組み合わせの赤外光をサンプル(例、組織BT)に同時照射して得られる検出結果(例、撮像画像)により、水、タンパク質(例、アルブミン)、油、及び赤外吸収体を効果的に弁別することができるようになる。
 また、図27(図27A、B及びC)は、図26に示した画像を分かりやすくするために、図26の画像をもとに模式的に描画した図である。図27は図26の画像と同等であるため、図27の説明は省略する。
 上記の各実施形態において説明した通り、複数波長の赤外光をサンプルに対して同時に照射して得られる検出結果(例えば、撮像画像)を基にサンプルの画像を生成することにより、サンプル内における複数の物質を弁別してサンプルの画像を表示することが可能となる。選択可能な赤外光の波長は、例えば、750nmから3000nmであり、同時照射に用いられる赤外光の波長はそれぞれ異なる波長である。例えば、2波長の赤外光を同時照射する場合、第1波長として750nmから1100nmの赤外光が選択され、第2波長として1400nmから1650nmの赤外光が選択される。また、例えば、サンプルによっては含まれる物質が異なることがあるため、本実施形態の撮像装置10はサンプルの種類によって照射する赤外光の波長の組み合わせを変えることが可能である。このように、サンプルに照射する赤外光の複数の波長の組み合わせを選択することにより、本実施形態の撮像装置10は、適切にサンプル内の物質を弁別する画像を生成し、提供することができるようになる。なお、上記の通り、本実施形態における撮像装置10は、組織BT(サンプル)に基づき、第1の赤外光(第1波長の赤外光)と該第1の赤外光に対して強度が調整された第2の赤外光(第2波長の赤外光)とをほぼ同時に受光する複数の画素(例、同じ画素(1画素)において該第1の赤外光と該第2の赤外光とを同時に受光する画素が複数配置された画素ユニット)を有する画像センサ(検出部)と、該第1の赤外光の強度又は該第2の赤外光の強度を調整可能であり、上記画像センサの検出結果をもとに組織BTの画像を生成する制御部と、を備えるように構成される。また、水、脂質、タンパク質や他の物質を光学的(例、撮像、受光)に弁別できることを利用して、上記の各実施形態における撮像システム1及び撮像装置10は、創薬プロセスのモニタリングにおけるモニタ(カメラ)に利用することが可能である。例えば、本実施形態における撮像装置10は、生体のタンパク質加工技術(例、タンパク質のスカフォールド形成)としてタンパク膜(例、アルブミン膜)の形成におけるモニタリング用カメラに適用でき、赤外光を用いてタンパク質膜の形成状態をリアルタイムに可視化する(例、タイムラプス撮影)ことができる。
 <撮像システムの動作>
 撮像システム1及び撮像装置10の動作の一例について説明する。本実施形態に係る撮像システム1では、例えば、生物の組織BTを標本支持部2に支持させることと、赤外光の照射により組織BTを撮像部によって撮像することと、撮像部の校正に用いられる校正基準部5と、標本支持部2とのうち少なくとも一方を移動させ、校正基準部5が撮像部の検出範囲内(例、視野内)に配置される配置状態と校正基準部5が撮像部の検出範囲外(例、視野外)に配置される退避状態とを切り替えることと、を含む動作が実行される。
 図15は、実施形態に係る撮像システム1及び撮像装置10の動作例を説明するためのフローチャートである。なお、制御部7は、制御装置101からの指示コマンドや情報によって各ステップの処理を実行するため、動作主体を制御装置101と読み替えてもよい。
(i)ステップ101
 撮像システム1は、例えば、可視光又は赤外光を用いた組織BTの撮像に先立ち、第1撮像部21の校正(例、画素ごとに画素値の基準を校正)を行う。ステップ101において、制御部7は、切替部6を制御して標本支持部2を移動させて、校正基準部5を第1撮像部21の検出範囲A1に配置させる。
(ii)ステップ102
 制御部7は、収容部8の扉部材44を閉位置に配置させた状態で、赤外光源部11から照射すべき複数種類(例えば、2種類)の波長の赤外光を校正基準部5に同時に照射させ、第1撮像部21に校正基準部5を撮像させる。これにより校正基準部5の標準白色画像(ホワイト画像)が取得される。
 ステップ102で得られる撮像画像(例、標準白色画像)を用いることによって、所定の光強度に対する第1撮像部21の各画素の出力(例、画素値)が得られる。例えば、校正基準部5は、反射率の空間分布(面内分布)のばらつき(分散)が所定値以下となるように、形成されている。例えば、検出部(撮像ユニット4)の検出結果(撮像画像)において、検出値(例、出力される画素値)の分布は、受光素子(撮像素子24の画素)の特性(例、感度、S/N比、光強度に対する出力の関係)の分布に相当する。例えば、撮像画像において相対的に暗い部分に対応する撮像素子24の画素は、他の画素に比べて感度が低い場合がある。このような画素は、例えば、ゲインを増すこと、正のオフセットを付加することなどにより、所定の光強度に対する出力を他の画素と同等に揃えるごとができる。また、例えば、校正基準部5は、所定の波長帯における反射率の分布(波長に対する反射率の分布)が所定の分布となるように、形成されている。例えば、検出部(撮像ユニット4)の検出結果(撮像画像)において、検出値(例、出力される画素値)の分布と、校正基準部5の波長に対する反射率の分布とを比較することにより、波長に対する受光素子(撮像素子24の画素)の特性(例、感度)が得られる。例えば、撮像画像(例、標準白色画像)をもとに得られる受光素子の特性の波長依存性に基づいて、所定の波長に対する受光素子の特性を補正(校正)することができる。
(iii)ステップ103
 制御部7は、収容部8の扉部材44を閉位置に配置させ、かつ赤外光源部11からの赤外光(複数種類の波長の赤外光)の照射を停止させた状態で、第1撮像部21に校正基準部5を撮像させる。これにより、第1撮像部21は、校正基準部5の標準黒色画像(暗画像)を取得する。ステップ103で得られる撮像画像(暗画像)を用いることによって、光強度がほぼ0である場合の第1撮像部21の各画素の出力(例、画素値)が得られる。例えば、この撮像画像において相対的に明るい部分に対応する撮像素子24の画素は、他の画素と比較して感度が高い、あるいはノイズが多いなどの場合がある。このような画素は、例えば、ゲインを減らすこと、負のオフセットを付加することなどにより、所定の光強度(例、光強度がほぼ0)に対する出力を他の画素と同等に揃えることができる。
(iv)ステップ104
 制御部7は、ステップ102の撮像画像(例、標準白色画像)およびステップ103の撮像画像(例、標準黒色画像)を用いて、第1撮像部21(例、第1撮像部21から出力される画素値)を校正する(校正処理:例えば、サンプルの画像生成処理に対する前処理となるものである)。なお、撮像システム1(撮像装置10)は、赤外光源部11の代わりに可視光源部13を用い、第1撮像部21の代わりに第2撮像部22を用いて上述のステップ101~ステップ104の処理を行うことにより、第2撮像部22を校正することもできる。
(v)ステップ105
 次に、撮像システム1(撮像装置10)は、校正された第1撮像部21を用いて、ステップ105以降の処理によってサンプル(組織BT)を撮像する。ステップ105において、制御部7は、切替部6を制御し、第1撮像部21の検出範囲A1に標本支持部2を配置させる。
(vi)ステップ106
 制御部7は、標本支持部2に生物の組織BTが配置されることを検知する。例えば、制御部7は、標本支持部2にセンサを設けて自動的に組織BTが配置されたことを検知してもよいし、標本支持部2に組織BTを載置した後にユーザ(オペレータ)が例えば撮像開始ボタンを押下されたことを検出信号として検知するようにしてもよい。
(vii)ステップ107
 制御部7は、例えば、後述のような構成を有するGUI(Graphical User Interface)を介してユーザが入力した、照射すべき赤外光の波長の情報(波長情報)と各波長の光強度の情報(光強度情報)を撮像システム1又は撮像装置10のメモリ(図示せず)から読み込む。
(viii)ステップ108
 制御部7は、例えば、収容部8の扉部材44を閉位置に配置させた状態で、赤外光源部11から2種類の波長の赤外光を標本支持部2上の組織BTに同時に照射させ、第1撮像部21に組織BTを介した赤外光を検出させて組織BTを撮像させる。制御部7は、第1撮像部21による検出結果(撮像結果)に基づいて、組織BTの画像(階調画像)を生成する。
 なお、例えば、ユーザ(オペレータ)が複数波長の赤外光(互いに波長の異なる赤外光)を同時照射すべき領域を指定し、その領域の画像を撮像するようにしてもよい。例えば、制御部7が、可視光源部13からの可視光、赤外光源部11からの第1波長の赤外光、或いは赤外光源部11からの第2波長の赤外光を組織BTに照射させ、組織BTに単一の光を照射して第1撮像部21又は第2撮像部22によって撮像された画像(単一光照射画像)を取得する。オペレータは、表示装置103や他の表示デバイスなどに表示された単一光照射画像を見て、入力装置102を用いて複数波長の赤外光を同時照射する組織BT内の領域を指定する。そして、制御部7は、オペレータの入力による領域指定を受け付け、赤外光源部11を制御し、単一光照射画像において指定された領域に対して、複数波長の赤外光(例、第1波長の赤外光と該第1波長とは異なる波長の第2波長の赤外光)を同時に照射して得られる撮像結果に基づいて組織BTの階調画像を生成する。
(ix)ステップ109
 制御部7は、ステップ108で得られた撮像画像(例、上記の階調画像)のデータを外部(例、表示装置103、プリンター)に出力する。外部に出力する際には、例えば、表示装置の画面上に表示するようにしてもよい。
 なお、制御部7は、ステップ101~ステップ104の校正処理を、1回の撮像動作ごとに実行してもよいし、所定回数の撮像動作ごとに実行してもよい。また、上記の校正処理は、撮像(検出)の条件(例、撮像素子24のシャッタ速度、検出範囲A1のサイズ、赤外光の波長、赤外光の強度、輝度又は光量の少なくとも一部)が変更された際に、実行されてもよい。例えば、上記の校正処理は、撮像装置10の電源が投入されるごと(1回起動されるごと)に行われてもよいし、撮像装置10が所定の回数起動されるたびに行われてもよい。また、例えば、上記の校正処理は、所定期間が経過するごとに実行されてもよいし、ユーザの指令に基づいて上記の校正処理を実行されてもよい。また、制御部7は、例えば、前回の校正処理からの撮像回数、経過時間、撮像の条件などに基づいて、校正処理の実行が推奨されるタイミングを他の装置(例、表示装置103)又はユーザに報知してもよい。
 <波長及び光量を設定するためのGUI>
 図16は、サンプルに照射される赤外光の波長の値及び光量を設定・調整する際に用いられるGUI(Graphical User Interface)1600の構成例を示す図である。ここでは、2種類の波長を設定するためのGUI構成例が示されているが、波長が3種類以上であっても同様の構成とすることができる。
 例えば、オペレータが入力装置102を用いて赤外光同時照射を指示すると、制御装置101は、GUI1400を表示装置103の表示画面上に表示する。そして、表示装置103に表示されたGUI1600は、入力装置102などの入力デバイスによって画面の操作(例、フォーカスの移動、画面の表示切替、データの入力など)が可能である。
 2波長の設定GUI1600は、例えば、第1波長の赤外光の光強度を設定する際に用いられる波長1の光強度設定欄1601と、第2波長の赤外光の光強度を設定する際に用いられる波長2の光強度設定欄1402と、第1波長の波長値を決定する際に用いられる波長1の選択欄1603と、第2波長の波長値を決定する際に用いられる波長2の選択欄1604と、設定内容をメモリ(図示しない)に保存する際に用いられる保存ボタン1605と、GUI1600の表示を閉じる際に用いられるクローズボタン1606と、を構成項目として備えている。
 波長1の光強度設定欄1601には、例えば、第1波長の赤外光を出力する光源の最大出力に対する割合(当該割合を本明細書では光強度ともいう)が数値として入力される。波長2の光強度設定欄1601には、例えば、第2波長の光を出力する光源の最大出力に対する割合(%)が数値として入力される。一例として、第2波長の光の光量を最大出力(最大光強度)の70%で固定し、第1波長の光の光強度を可変にすることもできる。ここでは、一例として固定の光強度の値を70%としている。ただし、光源の最大出力は光源によって変化するため、固定の光強度は例えば20%、65%、80%等、任意の値に設定することができる。
 波長1の選択欄1603及び波長2の選択欄1604においては、それぞれ6種類の波長の中から1つ選択できるようになっているが、選択する波長は6種類に限られない。また、波長1と波長2に対してそれぞれ同一種類の波長が用意されているが、波長1と波長2とにおいて異なる波長が含まれていてもよいし、選択できる波長が両者間で完全に異なっていてもよい。例えば、波長1で1070nmが選択された場合、波長2では1070nmが選択できないようにGUI1600を構成してもよい。図16のGUI例は、用意された波長群から波長1及び波長2を選択するように構成されているが、ユーザが波長1の値及び波長2の値を入力装置102によって直接入力できるように構成してもよい。
 例えば、波長1及び波長2の選択と、各波長の光強度の設定が完了し、2波長赤外光同時照射が指示される(例えば、オペレータが、各波長を選択し、光強度値の入力をして、保存ボタン1605を押下し、2波長同時照射の開始を指示する)と、制御装置102は、図示しないメモリから保存された、各波長の赤外光の光強度の設定値を読み込み、撮像装置10の制御部7に読み込んだ各波長の赤外光の光強度の値を伝達する。制御部7は、制御装置101から各波長の赤外光の光強度の値を受信し、例えば、赤外光源部11の複数の光源16のうち選択された波長に対応する赤外光源に印加する電圧値をそれぞれ変化させる。そして、各波長に対応する赤外光源は、設定された電圧値で赤外光を出力する。これにより、設定された光強度の赤外光がサンプル(組織BT)に照射されることになる。
 なお、GUI1600では、例えば、光強度(単位:カンデラ)を設定・変更する形態が示されているが、光量は光強度を変更すると変化するため、光量の値(単位:ルーメンスやルクス)を設定・変更する形態であってもよい。ここでは、光強度は単位面積当たりの光の入射光束を意味し、光量は一定時間内の光束の総量を意味するものとする。
 また、本実施形態では、図16のように、ユーザ(オペレータ)が上記GUIを用いて光量の情報(光量の値、或いは光量の割合など)を入力するようにしているが、撮像システム1が通信デバイス(図示せず)を備えて外部装置から送信された光量の情報を受信したり、USBなどの半導体メモリに格納された光量の情報を読み込んだりすることにより、各波長の赤外光の光量を設定するようにしてもよい。
 以上のように、本実施形態では、各波長の赤外光の強度を調整して複数波長の赤外光をサンプルに同時照射する。これにより、複数の物質のそれぞれをより区別しやすいサンプルの画像を生成することが可能となる。
 <適用例>
 本実施形態における2波長撮影の適用例について説明する。図17は、サンプルとして豚の腸間膜の撮像画像を示している。図17Aは、可視光を豚の腸間膜に照射して得られた画像を示している。図17Bは、波長が1070nm(例、第1波長)の赤外光を豚の腸間膜に照射して得られた画像を示している。図17Cは、波長が1600nm(例、第2波長)の赤外光を豚の腸間膜に照射して得られた画像を示している。図17Dは、波長が1070nm(例、第1波長)及び1600nm(例、第2波長)の2つの赤外光を豚の腸間膜に同時に照射して得られた画像を示している。
 図17Bに示されるように、第1波長として1070nmの光のみを豚の腸間膜に照射した場合、水分が多いリンパ節及び脂質が多い部分の両方が明るく撮像されるが、得られた画像が明る過ぎるため、該画像は必ずしも見やすいというわけではない。得られた画像が全体として明るすぎるため、リンパ節と脂質とを明確に弁別することが却って困難になる場合がある。一方、図17Cに示されるように、第2波長として1600nmの光のみを豚の腸間膜に照射した場合、水分が多いリンパ節は暗く、脂質が多い部分は比較的明るく撮像される。このとき得られる画像は全体的に暗いため、この場合も該画像は必ずしも見やすいというわけではない。得られた画像は画像全体における階調値が低いため、該画像は、リンパ節と脂質との弁別は可能であるが、見やすい状態になっていない場合がある。そこで、図17Dに示されるように、撮像装置10又は撮像システム1は、本実施形態で示される技術を用いて、第1波長(この場合、1070nm)の光と第2波長(この場合、1600nm)の光とを豚の腸間膜に同時に照射した場合、水分が多いリンパ節の階調値と脂質が多い部分の階調値とがそれぞれが持ち上げられる(階調値が上げられる)。その結果として、撮像装置10又は撮像システム1は、リンパ節とその周囲に存在する脂質が多い部分とのコントラストが明瞭になり(コントラスト比が高くなり)、リンパ節も脂質部分も見やすい鮮明な画像を得ることができる。
 また、図18(図18A、B、C及びD)は、図17に示した画像を分かりやすくするために、図17の画像をもとに模式的に描画した図である。図18は図17の画像と同等であるため、図18の説明は省略する。
 <第1の実施形態における変形例>
(1)変形例1
 変形例1は、サンプルに照射される複数の赤外光のそれぞれの光量を自動的に設定する処理に関する。上述の実施形態では、ユーザ(オペレータ)が照射される赤外光の光量を入力しているが、変形例1では、撮像システム1は、取得した画像から赤外光の光量を自動で選択して決定するように構成される。
 図19は、変形例1の撮像システム1における光量調整処理を説明するためのフローチャートである。一例として、本実施形態における図19の光強度調整処理は、上述した図15のステップ107の中で実行される処理である。
 例えば、複数種類の波長の赤外光(例えば、波長が1070nmの赤外光と波長が1600nmの赤外光の2種類)を組織BTに同時照射する場合、1つの波長の赤外光(例えば、波長が1600nmの赤外光)を基準としてその赤外光の光量を予め固定し、他の波長の赤外光(例えば、波長が1070nmの赤外光)の光量を、例えばステップバイステップで自動的に変更する、光量調整処理が制御部7又は制御装置101によって実行される。なお、光量を固定する波長の赤外光は、例えば、ユーザがそれを指定するようにしてもよいし、複数の物質間(例えば、水と油(脂質)、水と重水、油と重水)で画像の明暗差が最大となる画像を提供する波長の赤外光を制御部7又は制御装置101によって自動的に選択するようにしてもよい。以下、図16のフローチャートに沿って光量自動調整処理について説明する。
(i)ステップ201
 制御部7は、上記光強度固定の波長(例、第1波長)の赤外光(光1:例えば、波長が1600nmの赤外光)と、光強度可変の波長(例、第2波長)の赤外光(例えば、第2波長の光の強度の初期値は予め設定されている)を組織BTに照射し、組織BTにおいて一番明るく撮像された部分(或いは、その部分に画素値が近い部分)の画素値(階調値)と、一番暗く撮像された部分(或いは、その部分に画素値が近い部分)の画素値(階調値)と、を取得する。画素値(階調値)を引き上げる例について述べると、図20に示されるように、初期設定(図20Aの場合)の時点で取得されるそれぞれの画素値(階調値)は、一番暗い部分(例えば、水分を多く含む部分)が11500程度であり、一番明るい部分(例えば、脂質を多く含む部分)が31500程度である。この場合、明らかに第2波長(例えば1070nm)の赤外光の強度が弱いことが分かる。一方、画素値(階調値)を引き下げる例について述べると、図21に示されるように、初期設定(図21Aの場合)の時点で取得されるそれぞれの画素値(階調値)は、一番暗い部分(例えば、水分を多く含む部分)が27500程度であり、一番明るい部分(例えば、脂質を多く含む部分)が47500程度である。この場合、明らかに第2波長(例えば1070nm)の赤外光の強度が強すぎることが分かる。
(ii)ステップ202
 制御部7は、ステップ201で取得した一番暗く撮像された部分の画素値(階調値)が一番明るく撮像された部分の画素値(階調値)のP%~(P+α)%の範囲内にあるか判断する。一番暗く撮像された部分の画素値(階調値)を一番明るく撮像された部分の画素値(階調値)の中間程度になるまで画素値(階調値)を上げることが望ましいため、Pの設定値としては、例えば、50とすることができる。αは許容範囲の数値として任意に設定することができる値である。一番暗く撮像された部分の画素値(階調値)が一番明るく撮像された部分の画素値(階調値)のP%~(P+α)%の範囲内にある場合(ステップ202でYesの場合)、処理はステップ203に移行する。一番暗く撮像された部分の画素値(階調値)が一番明るく撮像された部分の画素値(階調値)のP%~(P+α)%の範囲内にない場合(ステップ202でNoの場合)、処理はステップ204に移行する。
(iii)ステップ203
 一番暗く撮像された部分の画素値(階調値)が一番明るく撮像された部分の画素値(階調値)のP%~(P+α)%の範囲内に収まれば、組織BT内の各物質を良好に弁別することができるようになるため、制御部7は、各波長の赤外光の光強度の情報をメモリ(図示しない)に格納する。以上のように決定された強度の情報は、選択された各赤外光の波長の情報と共に、図15におけるステップ108の処理で用いられる。
(iv)ステップ204
 制御部7は、上記光強度可変に設定された波長(例、第2波長)の赤外光(光2:例えば、波長が1070nmの赤外光)の光強度を所定量(例えば、出力できる最大光強度のk%)分調整する。光強度可変に設定された波長の赤外光の光強度の初期値は適宜設定可能であるが、初期値を0としても構わない。
 例えば、一番暗く撮像された部分の画素値(階調値)が一番明るく撮像された部分の画素値(階調値)のP%~(P+α)%に満たない場合(図20A参照)、制御部7は、第2波長(例えば1070nm)の赤外光の光強度を例えばk%増加させる。この場合、図20Aから図20Bへの変化によって示されるように、一番暗く撮像された部分の画素値(階調値)及び一番明るく撮像された部分の画素値(階調値)が共に全体として持ち上げられる(引き上げられる)。この画素値(階調値)の持ち上げ(引き上げ)処理が少なくとも一回実行されて、一番暗く撮像された部分の画素値が一番明るく撮像された部分の画素値のP%~(P+α)%の範囲内に収められる。
 一方、例えば、一番暗く撮像された部分の画素値(階調値)が一番明るく撮像された部分の画素値(階調値)のP%~(P+α)%よりも大きい場合(図21A参照)、制御部7は、第2波長(例えば1070nm)の赤外光の光強度を例えばk%減少させる。この場合、図21Aから図21Bへの変化によって示されるように、一番暗く撮像された部分の画素値(階調値)及び一番明るく撮像された部分の画素値(階調値)が共に全体として引き下げられる。この画素値(階調値)の引き下げ処理が少なくとも一回実行されて、一番暗く撮像された部分の画素値が一番明るく撮像された部分の画素値のP%~(P+α)%の範囲内に収められる。
 一番暗く撮像された部分の画素値(階調値)が一番明るく撮像された部分の画素値(階調値)のP%~(P+α)%の範囲内に収まるようになれば、ステップ203の処理で説明したように、制御部7は、各波長の赤外光の光強度の情報をメモリ(図示しない)に格納する(ステップ204→ステップ202→ステップ203)。以上のように決定された強度の情報は、選択された各赤外光の波長の情報と共に、図15におけるステップ108の処理で用いられる。
 なお、図19の説明では光強度を調整することにより画素値(階調値)を持ち上げ(引き上げ)たり、引き下げたりしているが、光強度ではなく光量を調整するようにしてもよい。
(2)変形例2
 同時照射される複数の赤外光の波長の種類や光強度の値は、サンプル(例、照射対象の組織)の性質(例、部位の種類)によって異なる場合がある。このため、例えば、部位の種類ごとに、用いる波長の値と各波長の光の強度との組み合わせ(この組み合わせを「光強度情報)と言うこともできる)を記憶するデータベースのテーブル(メモリなどの記憶デバイスに情報として記憶しておく)を予め撮像システム1に備えておき、撮像システム1がユーザからの撮像対象の部位の指定(入力)を受け付け、指定された撮像部位に対応する、複数の赤外光の波長の値及び光強度の値の組み合わせ(光強度情報)を読み込んで用いるようにしてもよい。
 上述のような撮像システム1は、例えば、表示装置および画像処理装置(制御装置)を備えるシステムである。この画像処理装置(制御装置)は、例えば、撮像システム1が撮像した組織BTの撮像画像に対して画像処理を行って、画像を生成する。また、撮像システム1は、撮像した組織BTの撮像画像と、画像処理装置が生成した画像との少なくとも一方を表示装置に表示させる。また、例えば、本実施形態における撮像システム1は、赤外光を用いた病理診断支援用医療機器(例、赤外光を利用した病理用撮像装置など)に利用可能である。
(3)変形例3
 本実施形態では、例えば、撮像装置10に各波長の赤外光を出力する複数の赤外光源を有する赤外光源部11を設けることにより、各波長の光を独立した光源から出力させるようにしているが、別の形態を採用しても良い。例えば、短波長から長波長の広波長帯を有する光を出力する光源(例えば、ハロゲンランプなど)を用い、光源から出力された光を光学系で複数の光に分光し、分光して得られた各光を光学フィルタ(例えば、波長1に対応する光(例:1070nmの赤外光)のみを通過させるフィルタと波長2に対応する光(例:1600nmの赤外光)のみを通過させるフィルタ)で複数波長の光を生成するようにしてもよい。なお、そのような光学フィルタは、撮像装置10内の光路において制御部7によって挿脱可能に配置されてもよい。
B.第2の実施形態
 第2の実施形態は、第1の実施形態による撮像システム1を手術支援システムに適用した例について開示する。第1の実施形態による撮像システム1で用いた参照番号と同一のものは同一の構成及び機能を有する。従って、以下では、これらの構成については適宜説明を簡略化している。
 <手術支援システムの構成>
 図22は、第2の実施形態による手術支援システム1’の構成例を示す図である。
 手術支援システム1’は、制御装置190と、入力装置191と、表示装置192と、無影灯193と、赤外光源部11’と、第1撮像部21と、第2撮像部22と、を備えている。
 制御装置190は、例えばコンピュータによって構成され、制御部7’と、記憶部1901と、を含む。制御部7’は、第1の実施形態における制御部7に相当する構成であり、例えば、赤外光源部11’による赤外光の組織BTへの照射と無影灯193による可視光の組織BTへの照射とを制御する光照射制御部71と、第1撮像部21及び第2撮像部22からの撮像データを取得し、表示用データを生成するデータ取得・生成部72と、を含む。記憶部1901は、光照射部71及びデータ取得・生成部72に対応するプログラム、入力装置191からユーザ(オペレータ)によって入力された各種設定データ、各種パラメータなどを格納する。オペレータによって入力された設定データの例としては、第1の実施形態で説明した、組織BTに同時照射される複数の赤外光の波長の情報及び各赤外光の光強度の情報などが挙げられる。
 入力装置191は、制御装置190にデータ、情報、設定内容の指示などを入力する装置であり、例えば、キーボード、マウス、マイクなどによって構成される。
 第1撮像部(第1イメージセンサ)21は、例えば、赤外光の波長帯域に高い感度を有するInGaAs(インジウムガリウムヒ素)カメラであり、赤外光の照射により組織BTから放射される光(放射される光としては、例えば、反射光、散乱光、透過光、反射散乱光などが挙げられる)を検出する。第2撮像部(第2イメージセンサ)22は、例えば、可視光の波長帯域に高い感度を有するSi(シリコン)カメラであり、無影灯193から射出される可視光を組織BTに照射することにより組織BTから放射される光を検出する。第1撮像部21及び第2撮像部22の撮像視野は共に、例えば、手術中の組織BTを検出できるように調整されている。なお、第1撮像部21から組織BTまでの光路と第2撮像部22から組織BTまでの光路に、ミラー及びハーフミラーやダイクロイックミラーなどを設置し、第1撮像部21の光軸と第2撮像部22の光軸とを同一に設定するようにしてもよい。
 赤外光源部11’は、例えば、第1の実施形態による照明ユニット3から可視光源部13を除いた構成となっている。赤外光源部11に含まれていた可視光源は、無影灯193に相当する。無影灯193としては、例えば、赤外光の波長領域の光を発することない光源で構成されることが望ましい。例えば、RGBの各LEDを用いて無影灯193を構成することができる。例えば、無影灯193にハロゲン光源を用いることもできるが、赤外光の波長領域の光も発するため、ハロゲン無影灯を使用する際には複数波長の赤外光の同時照射による画像の撮像動作に影響を与えないように赤外光の波長選択や光強度設定を調整する必要がある。
 制御部7’は、データ取得・生成部72を用いて、第1撮像部21及び/又は第2撮像部22から取得した撮像データを取得し、表示装置192で表示するための画像(例、リアルタイム又は非リアルタイムの静止画像及び動画像)を生成する。制御部7’は、例えば、第1撮像部21によって撮像された画像のみを表示画面上に表示するように表示データを生成してもよいし、第1撮像部21によって撮像された画像と第2撮像部22によって撮像された画像とを並列して表示画面(例えば、2画面表示)に表示するように表示データを生成してもよい。また、例えば、制御部7’は、第2撮像部22によって撮像された画像の上に第1撮像部21によって撮像された画像を重畳して表示画面に表示するように表示データを生成してもよい。
 表示装置192は、例えば、制御装置190から生成された表示データを受け取り、表示画面上に画像(例、手術中の映像)を表示する。
 なお、第2の実施形態による手術支援システム1’では、第1の実施形態による撮像システム1で実行される第1撮像部21の校正処理は、例えば点検時など定期的に実行するようにすればよく、第1の実施形態のように撮像するごとに実行する必要はない。
 <手術支援システムの動作>
 図23は、第2の実施形態に係る手術支援システム1’の動作例を説明するためのフローチャートである。
(i)ステップ301
 例えば患者が手術台にセットされ、オペレータによって適切なタイミングで(手術開始と同時、或いは手術開始後)本実施形態における複数波長の赤外光を同時に照射する機能がONされると、制御部7’は、当該機能がONとなったことを検知する。当該機能がONとならなければ、通常通り、無影灯193のみによる手術が行われることになる。
(ii)ステップ302
 制御部7’は、例えば、図16で示されるようなGUI(Graphical User Interface)を介してオペレータが入力した、照射される赤外光の波長の情報と各波長の光強度の情報とを記憶部1601から読み込む。
 なお、例えば、赤外光の波長及び光強度を自動設定する場合には、ステップ302において、図19の処理が実行される。また、例えば、手術支援システム1’が記憶部1601に、手術部位の種類ごとに、用いる波長の値と各波長の光の光強度との組み合わせ(光強度情報)を記憶するデータベースのテーブルを保持している場合には、手術支援システム1’がオペレータからの撮像対象の部位の指定(入力)を受け付け、指定された撮像部位に対応する、複数の赤外光の波長の値及び光強度の値の組み合わせ(光強度情報)を読み込んで用いるようにしてもよい。
(iii)ステップ303
 制御部7’は、例えば、無影灯193を点灯したまま、赤外光源部11’から組織BTに複数種類(例えば、2種類)の波長の赤外光を同時に照射させ、第1撮像部21に組織BTの赤外光画像を撮像させる。また、制御部7’は、無影灯193による可視光を組織BTに照射させ、第2撮像部22に組織BTの可視光画像を撮像させる。
(iv)ステップ304
 制御部7’は、例えば、オペレータが入力装置191を用いてどのような画像の表示形態を指定したか判定する。第2の実施形態では、表示形態としては、一例として、複数波長の赤外光を同時に照射して得られる画像のみを表示する形態(単独表示)、複数波長の赤外光を同時に照射して得られる画像と可視光を照射して得られる画像とを並列表示する形態(並列表示)、及び複数波長の赤外光を同時に照射して得られる画像と可視光を照射して得られる画像とを重畳表示する形態(重畳表示)と、が設けられている。なお、これら3つの表示形態以外の表示形態が制御部7’に指定されることが含まれていてもよい。
 例えば、オペレータによって上記単独表示が指定されている場合には、処理はステップ305に移行する。例えば、オペレータによって上記並列表示が指定されている場合には、処理はステップ306に移行する。例えば、オペレータによって上記重畳表示が指定されている場合には、処理はステップ307に移行する。
(v)ステップ305
 制御部7’は、複数波長の赤外光を組織BTに同時照射して第1撮像部21によって撮像された画像のみを表示装置192の画面上に表示するように表示装置192を制御する。表示装置192は、複数波長の赤外光を組織BTに同時照射して第1撮像部21によって撮像された画像データを制御装置190から受け取り、受け取った画像データの画像を画面上に表示する。
(vi)ステップ306
 制御部7’は、複数波長の赤外光を組織BTに同時照射して第1撮像部21によって撮像された画像と、可視光を組織BTに照射して第2撮像部22によって撮像された画像とを表示装置192の画面上に並列表示するように表示装置192を制御する。表示装置192は、複数波長の赤外光を組織BTに同時照射して第1撮像部21によって撮像された画像と、可視光を組織BTに照射して第2撮像部22によって撮像された画像との並列表示データを制御装置190から受け取り、受け取った並列表示データの画像を画面上に表示する。
(vi)ステップ307
 制御部7’は、複数波長の赤外光を組織BTに同時照射して第1撮像部21によって撮像された画像と、可視光を組織BTに照射して第2撮像部22によって撮像された画像とを表示装置192の画面上に重畳表示するように表示装置192を制御する。表示装置192は、複数波長の赤外光を組織BTに同時照射して第1撮像部21によって撮像された画像と、可視光を組織BTに照射して第2撮像部22によって撮像された画像との重畳表示データを制御装置190から受け取り、受け取った重畳表示データの画像を画面上に表示する。
C.その他の実施形態
(i)本実施形態は、光をサンプルに照射して当該サンプルの画像を取得し、当該画像を表示画面に表示する撮像システムについて開示する。当該撮像システムは、少なくとも第1波長の光と当該第1波長とは異なる第2波長の光とを出力する光源部(例、赤外光源部11)と、光源部からの光が照射されている前記サンプルから放射される光を検出する光検出部(例、第1撮像部21)と、光源部を制御して、サンプルに光を照射し、光検出部を制御してサンプルの画像を生成する制御装置(例、制御部7)と、生成された画像を表示する表示装置(例、表示装置103)と、を備える。制御装置は、第1波長の光及び第2波長の光の強度を調整してサンプルに第1波長の光と第2波長の光とを同時に照射するように光源部を制御し、同時照射によって得られるサンプルから放射される光を光検出部で検出してサンプルの画像を生成する。光源部は、例えば、赤外光波長領域における少なくとも2種類の波長の光を出力する。
 上記サンプルは、第1部位(例えば、他の物質よりも水分を多く含む第1種部位)と第2部位(例えば、他の物質よりも脂質を多く含む第2種部位)とを含んでいる。このとき、第2波長の光(例えば、1600nm、1450nm、1200nmの光)をサンプルに照射することにより得られる画像は、第2部位の方が第1部位よりも明るい。一方、第1波長の光(970nmや1070nmの光)をサンプルに照射することにより得られる画像は、第1部位と第2部位とにおいて同程度に明るい。
(ii)本実施形態では、例えば、制御部7は、入力装置102からの指示(例えば、オペレータの入力)に応答して、赤外光の照射モードを切り替え可能な光照射モード設定機能(モード設定部)を備えていてもよい。赤外光の照射モードは、例えば、組織BT(サンプル)に波長の異なる2以上の赤外光を同時に照射するモード(第1モード:同時照射モード)と、組織BT(サンプル)に1つの光(例、第1波長の光、可視光)を(順次)照射するモード(第2モード:通常の照射)と、を含む。なお、上記の第1モードは、組織BTに対する照射タイミングとして、波長の異なる2以上の赤外光が組織BT(サンプル)上において同時に(又はそれらの少なくとも一部が重なるように)照射されることを含む。
(iii)本実施形態では、例えば、同時照射される赤外光の波長の組合せが2種類以上あり、制御部7は、その種類(組合せ)を1セットとして、それらのセットを用いて組織BT(サンプル)に順次照射または交互に照射するように照明ユニット3の光源を制御し、複数の波長で撮像した結果を取得する。また、制御部7は、取得した複数の結果を同時に画面表示するように表示装置103の表示画面上に表示し、オペレータに画像を選択させるようにしてもよい。
(iv)本実施形態では、上述のように、2以上の赤外光を同時に組織BT(サンプル)に照射するが、組織BT(サンプル)の全体をカバーするように2以上の赤外光を照射するようにしてもよいし、組織BT(サンプル)の特定の領域(例えば、腫瘍やリンパ節などの部位)において2以上の赤外光を重畳して照射するようにしてもよい。赤外光を重畳して照射する場合には、例えば、オペレータが、重畳させる特定の領域を事前に決める(指示する)ようにしてもよい。
(v)本実施形態の機能は、ソフトウェアのプログラムコードによっても実現することが可能である。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本実施形態を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD-ROM、DVD-ROM、ハードディスク、光ディスク、光磁気ディスク、CD-R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
 また、プログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現されるようにしてもよい。
 さらに、実施形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はCD-RW、CD-R等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ(又はCPUやMPU)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
 ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。更に、汎用目的の多様なタイプのデバイスがここで記述した方法に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益である場合もある。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
 本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び/又はコンポーネントは、単独又は如何なる組み合わせでも使用することが出来る。
1 撮像システム
1’ 手術支援システム
2 標本支持部
3 照明ユニット
4 撮像ユニット(検出ユニット)
5 校正基準部
6 切替部
7,7’ 制御部
8 収容部
10 撮像装置
11,11’ 赤外光源部
12 保持部材
13 可視光源部
14 光源移動部
15 拡散部材
16 複数の光源
21 第1撮像部
22 第2撮像部
23 撮像光学系(検出光学系)
24 撮像素子(受光素子)
31 サイズ変更部
32 回転軸
35 ストッパ
36,46 アクチュエータ
40 脚部
41 ベース部
42 フレーム部
43 カバー部
44 扉部材
45 扉駆動部
47 伝達部
48 部材
49 非接触センサ
50 排気口
51,52,53 回転軸
54 光学部材
55,56 ローラ
101,190 制御装置
102,191 入力装置
103,192 表示装置
193 無影灯
A1 検出範囲
BT 組織

Claims (32)

  1.  光源部から第1波長の赤外光と第2波長の赤外光とが照射されるサンプルから放射される光を検出する光検出部と、
     前記第1波長の赤外光の強度又は前記第2波長の赤外光の強度を調整して、前記第1波長の赤外光と前記第2波長の赤外光とを前記サンプルに同時に照射して得られる検出結果をもとに前記サンプルの画像を生成する制御部と、
     を備える撮像装置。
  2.  請求項1において、
     前記第1波長の光及び前記第2波長の光は、互いに異なる赤外光波長領域の波長を有する光である、撮像装置。
  3.  請求項1又は2において、
     前記制御部は、前記第1波長の赤外光に対して相対的に光の強度が調整された前記第2波長の赤外光を前記光源部に出力させる、撮像装置。
  4.  請求項1乃至3の何れか1項において、
     前記制御部は、設定された光強度情報に基づいて調整された前記第1波長の赤外光と前記第2波長の赤外光とを前記サンプルに同時に照射させるように前記光源部を制御する、撮像装置。
  5.  請求項4において、
     前記制御部は、前記第1波長の赤外光の強度及び前記第2波長の赤外光の強度が前記光強度情報に基づいた光の強度になるように、前記光源部を制御する、撮像装置。
  6.  請求項4又は5において、
     前記制御部は、前記光強度情報を受信する受信部を備える、撮像装置。
  7.  請求項1乃至6の何れか1項において、
     前記制御部は、前記サンプルに照射される光の強度に関する前記第1波長の赤外光と前記第2波長の赤外光との合成割合を変更する、撮像装置。
  8.  請求項1乃至7の何れか1項において、
     前記制御部は、前記第1波長の赤外光と前記第2波長の赤外光とが前記サンプルにおいて合成されて照射されるように、前記光源部を制御する、撮像装置。
  9.  請求項1乃至8の何れか1項において、
     前記制御部は、前記第1波長の赤外光と前記第2波長の赤外光とが前記サンプルに同時に照射されるように、前記第1波長の赤外光を出力する前記光源部の第1光源と前記第2波長の赤外光を出力する前記光源部の第2光源とを制御する、撮像装置。
  10.  請求項1乃至9の何れか1項において、
     前記第1波長は、750nmから3000nmの波長帯から選定された波長であり、
     前記第2波長は、750nmから3000nmの波長帯のうち前記第1波長とは異なる波長である、撮像装置。
  11.  請求項1乃至10の何れか1項において、
     前記第1波長は、750nm~1100nmであり、
     前記第2波長は、1400nm~1650nmである、撮像装置。
  12.  請求項1乃至11の何れか1項において、
     前記制御部は、前記サンプルの種類に応じて、前記第1波長の赤外光の強度と前記第2波長の赤外光の強度の割合を変更させるように前記光源部を制御する、撮像装置。
  13.  請求項1乃至12の何れか1項において、
     前記制御部は、ユーザインタフェースを介して入力された、前記第1波長の値と前記第2波長の値、及び前記第1波長の赤外光の強度と前記第2波長の赤外光の強度、に基づいて、前記光源部を制御する、撮像装置。
  14.  請求項1乃至13の何れか1項において、
     前記制御部は、前記第2波長の赤外光を前記サンプルに照射して得られる明るい画像部分における画素値と、前記第1波長の赤外光を前記サンプルに照射して得られる暗い画像部分における画素値とに基づいて、前記第1波長の赤外光の強度と前記第2波長の赤外光の強度とを決定し、当該決定した光の強度に基づいて前記光源部を制御する、撮像装置。
  15.  請求項1乃至14の何れか1項において、
     前記サンプルは、脂質より水分を多く含む第1部位と、水分より脂質を多く含む第2部位と、を含み、
     前記第1波長の赤外光に対する前記第1部位と前記第2部位の吸光度の差は、前記第2波長の赤外光に対する前記第1部位と前記第2部位の吸光度の差よりも小さい、撮像装置。
  16.  第1波長の赤外光をサンプルに照射しながら、前記第1波長の赤外光に対して強度が調整された第2波長の赤外光を前記サンプルに照射することにより前記サンプルから放射される光を検出する光検出部と、
     前記光検出部によって得られる検出結果をもとに前記サンプルの画像を生成する制御部と、
     を備える撮像装置。
  17.  前記制御部は、前記サンプルに光を照射する際に、前記第1波長の赤外光の強度又は前記第2波長の赤外光の強度を調整する、
     請求項16に記載の撮像装置。
  18.  請求項1乃至17の何れか1項に記載の撮像装置と、
     前記生成された画像を表示する表示装置と、
     を備える撮像システム。
  19.  請求項18において、
     前記光源部は、前記第1波長の赤外光を出力する第1光源と、前記第2波長の赤外光を出力する第2光源とを備え、
     前記制御部は、前記第1波長の赤外光と前記第2波長の赤外光とが前記サンプルに同時に照射されるように前記第1光源と前記第2光源とを制御する、撮像システム。
  20.  請求項18又は19において、
     前記光源部は、前記第1波長と前記第2波長とを含む波長帯の光を出力し、
     前記波長帯の光のうち前記第1波長の赤外光と前記第2波長の赤外光とを反射又は透過させて、前記第1波長の赤外光と前記第2波長の赤外光とを前記サンプルに照射させる光学部材を備える、撮像システム。
  21.  請求項18乃至20の何れか1項において、
     前記制御部は、前記サンプルの種類に応じて、前記第1波長の赤外光の強度と前記第2波長の赤外光の強度の割合を変更させるように前記光源部を制御する、撮像システム。
  22.  請求項18乃至21の何れか1項において、
     前記光源部は、可視光を出力する可視光源を備え、
     前記制御部は、前記第1波長の赤外光及び前記第2波長の赤外光の出力と前記可視光の出力とを制御する、撮像システム。
  23.  請求項18乃至22の何れか1項において、
     前記光源部と、前記光検出部と、を収容する筐体を備え、
     前記筐体は、サンプル支持部に載置された前記サンプルを取り出すことを可能にする開口部を開閉する扉部材と、当該扉部材を駆動する駆動部と、を備える、撮像システム。
  24.  光検出部が、光源部から第1波長の赤外光と第2波長の赤外光とが照射されるサンプルから放射される光を検出することと、
     制御装置が、前記第1波長の赤外光の強度又は前記第2波長の赤外光の強度を調整して、前記第1波長の赤外光と前記第2波長の赤外光とを前記サンプルに同時に照射して得られる検出結果に基づいて前記サンプルの画像を生成することと、
    を含む撮像方法。
  25.  請求項24において、
     前記第1波長の赤外光及び前記第2波長の赤外光は、互いに異なる赤外光波長領域の波長を有する光である、撮像方法。
  26.  請求項24又は25において、
     前記第1波長は、750nm~1100nmであり、
     前記第2波長は、1400nm~1650nmである、撮像方法。
  27.  請求項24乃至26に記載の何れか1項において、さらに、
     前記制御装置が、前記第1波長の赤外光と前記第2波長の赤外光とを前記光検出部を校正する際に用いる校正基準部に照射させることにより前記校正基準部の画像を取得し、前記光検出部の校正する処理を実行することを含む撮像方法。
  28.  請求項24乃至27に記載の何れか1項において、さらに、
     前記制御装置が、可視光、前記第1波長の赤外光、或いは前記第2波長の赤外光を前記サンプルに照射させることにより、前記サンプルに単一の光を照射して前記光検出部によって検出された単一光照射画像を取得することと、
     前記制御装置が、前記光源部を制御し、前記単一光照射画像において特定された領域に対して、前記第1波長の赤外光と前記第2波長の赤外光とを同時に照射して得られる前記光検出部による検出結果に基づいて前記サンプルの階調画像を生成することと、
    を含む撮像方法。
  29.  請求項24乃至28に記載の何れか1項において、
     前記サンプルは、第1部位と第2部位とを含み、
     前記第2波長の赤外光を照射することにより得られる画像は、前記第2部位の方が前記第1部位よりも明るく、前記第1波長の赤外光を照射することにより得られる画像は、前記第1部位と前記第2部位において同程度に明るい、撮像方法。
  30.  請求項24乃至29に記載の何れか1項において、
     前記サンプルは、脂質より水分を多く含む第1種部位と、水分より脂質を多く含む第2種部位と、を含み、
     前記第1波長の赤外光に対する前記第1種部位と前記第2種部位の吸光度の差は、前記第2波長の赤外光に対する前記第1種部位と前記第2種部位の吸光度の差よりも小さい、撮像方法。
  31.  請求項24乃至30に記載の何れか1項において、
     前記制御装置は、前記サンプルの種類に応じて、前記第1波長の赤外光の強度と前記第2波長の赤外光の強度の割合を変化させるように前記光源部を制御する、撮像方法。
  32.  請求項24乃至31に記載の何れか1項において、
     前記制御装置が、前記第2波長の赤外光を前記サンプルに照射して得られる明るい画像部分における第1画素値を取得することと、
     前記制御装置が、前記第1波長の赤外光を前記サンプルに照射して得られる暗い画像部分における第2画素値を取得することと、
     前記制御装置が、前記第1画素値と前記第2画素値とに基づいて、前記第1波長の赤外光の強度と前記第2波長の赤外光の強度とを決定することと、
     前記制御装置が、前記決定した光の強度に基づいて前記光源部を制御することと、
    を含む、撮像方法。
PCT/JP2017/006346 2017-02-21 2017-02-21 撮像装置、撮像システム、及び撮像方法 WO2018154625A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2017/006346 WO2018154625A1 (ja) 2017-02-21 2017-02-21 撮像装置、撮像システム、及び撮像方法
JP2019501781A JPWO2018154625A1 (ja) 2017-02-21 2017-02-21 撮像装置、撮像システム、及び撮像方法
US16/545,497 US20200026316A1 (en) 2017-02-21 2019-08-20 Imaging apparatus, imaging system, and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/006346 WO2018154625A1 (ja) 2017-02-21 2017-02-21 撮像装置、撮像システム、及び撮像方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/545,497 Continuation US20200026316A1 (en) 2017-02-21 2019-08-20 Imaging apparatus, imaging system, and imaging method

Publications (1)

Publication Number Publication Date
WO2018154625A1 true WO2018154625A1 (ja) 2018-08-30

Family

ID=63252451

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/006346 WO2018154625A1 (ja) 2017-02-21 2017-02-21 撮像装置、撮像システム、及び撮像方法

Country Status (3)

Country Link
US (1) US20200026316A1 (ja)
JP (1) JPWO2018154625A1 (ja)
WO (1) WO2018154625A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019013802A (ja) * 2013-05-30 2019-01-31 国立研究開発法人産業技術総合研究所 撮像システム及び手術支援システム
JPWO2018230318A1 (ja) * 2017-06-15 2020-05-21 国立研究開発法人産業技術総合研究所 スケール、撮像装置、撮像システム、キット、および撮像装置の調整方法
CN114830627A (zh) * 2020-11-09 2022-07-29 谷歌有限责任公司 红外光引导的肖像重照明
WO2024014496A1 (ja) * 2022-07-12 2024-01-18 ファインバイオメディカル有限会社 血管モデルの観察装置及びその方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113533256B (zh) * 2021-06-30 2024-03-12 奥比中光科技集团股份有限公司 一种光谱反射率的确定方法、装置及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040227906A1 (en) * 2003-01-24 2004-11-18 Honeywell International Inc. Infrared scene projector
JP2006250759A (ja) * 2005-03-11 2006-09-21 Nikon Corp 表面検査装置
JP2011169735A (ja) * 2010-02-18 2011-09-01 Kureha Corp 透明な多層成形物の検査装置および検査方法
JP2013101109A (ja) * 2011-10-12 2013-05-23 Shiseido Co Ltd 照明装置及び画像取得装置
JP2014169878A (ja) * 2013-03-01 2014-09-18 Shimadzu Corp 基板検査装置
WO2014192876A1 (ja) * 2013-05-30 2014-12-04 独立行政法人産業技術総合研究所 撮像システム及び撮像方法
WO2016103824A1 (ja) * 2014-12-24 2016-06-30 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP2017015489A (ja) * 2015-06-30 2017-01-19 株式会社ニコン 撮像装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040227906A1 (en) * 2003-01-24 2004-11-18 Honeywell International Inc. Infrared scene projector
JP2006250759A (ja) * 2005-03-11 2006-09-21 Nikon Corp 表面検査装置
JP2011169735A (ja) * 2010-02-18 2011-09-01 Kureha Corp 透明な多層成形物の検査装置および検査方法
JP2013101109A (ja) * 2011-10-12 2013-05-23 Shiseido Co Ltd 照明装置及び画像取得装置
JP2014169878A (ja) * 2013-03-01 2014-09-18 Shimadzu Corp 基板検査装置
WO2014192876A1 (ja) * 2013-05-30 2014-12-04 独立行政法人産業技術総合研究所 撮像システム及び撮像方法
WO2016103824A1 (ja) * 2014-12-24 2016-06-30 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP2017015489A (ja) * 2015-06-30 2017-01-19 株式会社ニコン 撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019013802A (ja) * 2013-05-30 2019-01-31 国立研究開発法人産業技術総合研究所 撮像システム及び手術支援システム
JPWO2018230318A1 (ja) * 2017-06-15 2020-05-21 国立研究開発法人産業技術総合研究所 スケール、撮像装置、撮像システム、キット、および撮像装置の調整方法
CN114830627A (zh) * 2020-11-09 2022-07-29 谷歌有限责任公司 红外光引导的肖像重照明
WO2024014496A1 (ja) * 2022-07-12 2024-01-18 ファインバイオメディカル有限会社 血管モデルの観察装置及びその方法

Also Published As

Publication number Publication date
US20200026316A1 (en) 2020-01-23
JPWO2018154625A1 (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
WO2018154625A1 (ja) 撮像装置、撮像システム、及び撮像方法
US11439307B2 (en) Method for detecting fluorescence and ablating cancer cells of a target surgical area
US10684224B2 (en) Method and means for multispectral imaging
US8358821B2 (en) Image processing system, image processing method, and computer readable medium
JP4608684B2 (ja) 皮膚疾患の光学診断および治療のための装置および光源システム
US11206987B2 (en) Method and apparatus for concurrent imaging at visible and infrared wavelengths
EP2666402B1 (en) A light source device having an illumination aperture diaphragm
EP2454985B1 (en) Aperture stop
US8633976B2 (en) Position specifying system, position specifying method, and computer readable medium
US20110270092A1 (en) Combined apparatus for detection of multispectral optical image emitted from living body and for light therapy
US10694117B2 (en) Masking approach for imaging multi-peak fluorophores by an imaging system
WO2015186225A1 (ja) 走査型投影装置、投影方法、及び手術支援システム
US20110261175A1 (en) Multiple channel imaging system and method for fluorescence guided surgery
JP6745508B2 (ja) 画像処理システム、画像処理装置、投影装置、及び投影方法
WO2009120228A1 (en) Image processing systems and methods for surgical applications
US20160091707A1 (en) Microscope system for surgery
JP2009257967A (ja) 蛍光観察装置および蛍光観察方法
US20110261179A1 (en) Imaging system for fluorescence guided surgery based on fixed magnification lens and digital zoom
JPWO2018070474A1 (ja) 内視鏡システム
JP5835264B2 (ja) 無散瞳眼底撮影システムと無散瞳眼底撮影方法
EP3412198A1 (en) Visual function test apparatus
JP4837966B2 (ja) 網膜機能計測装置
US20220151460A1 (en) Medical control device and medical observation
JP6500642B2 (ja) 撮像装置
JP2022527642A (ja) 狭帯域光観察を利用する医療機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17898213

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019501781

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17898213

Country of ref document: EP

Kind code of ref document: A1