WO2016157345A1 - 顕微鏡装置、観察方法、及び制御プログラム - Google Patents

顕微鏡装置、観察方法、及び制御プログラム Download PDF

Info

Publication number
WO2016157345A1
WO2016157345A1 PCT/JP2015/059814 JP2015059814W WO2016157345A1 WO 2016157345 A1 WO2016157345 A1 WO 2016157345A1 JP 2015059814 W JP2015059814 W JP 2015059814W WO 2016157345 A1 WO2016157345 A1 WO 2016157345A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
image
period
imaging unit
light
Prior art date
Application number
PCT/JP2015/059814
Other languages
English (en)
French (fr)
Inventor
亘 友杉
亮介 小松
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to EP15887498.2A priority Critical patent/EP3276334B1/en
Priority to JP2017508871A priority patent/JP6451833B2/ja
Priority to PCT/JP2015/059814 priority patent/WO2016157345A1/ja
Publication of WO2016157345A1 publication Critical patent/WO2016157345A1/ja
Priority to US15/715,744 priority patent/US20180017773A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6408—Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/73—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/32—Fiducial marks and measuring scales within the optical system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present invention relates to a microscope apparatus, an observation method, and a control program.
  • STORM a microscope apparatus
  • Stochastic Optical Reconstruction Microscopy a stochastic optical reconstruction microscope technique
  • STORM is used for observing a sample to which a fluorescent material is applied.
  • the fluorescent substance is activated by irradiation with activating light, and in an activated state, the fluorescent substance emits fluorescence or is inactivated by irradiation with excitation light.
  • STORM for example, activates a fluorescent material at a low density, and emits only the activated fluorescent material by irradiating it with excitation light, thereby acquiring a fluorescent image with a sparse fluorescence distribution.
  • the images of the fluorescent substances are individually separated, and the position of the center of gravity of each image can be obtained.
  • STORM can obtain high-resolution images by arranging images at positions of a large number of fluorescent substances obtained from a large number of fluorescent images.
  • a technique for calculating displacement (drift amount) using a reference marker such as a fluorescent bead has been proposed in observing a sample that moves with time.
  • Reference markers such as fluorescent beads emit strong fluorescence compared to fluorescent materials for sample observation.
  • the detection value is saturated when the fluorescence emitted from the reference marker is detected by the camera, and the displacement of the stage or the like in the microscope ( Detection accuracy of (drift amount) decreases.
  • the present invention has been made in view of the above-described circumstances, and provides a microscope apparatus, an observation method, and a control program capable of accurately detecting a displacement (drift amount) of a microscope and thus accurately detecting a behavior of a sample. For the purpose.
  • the activation light that activates the fluorescent substance contained in the sample, the excitation light that excites the activated fluorescent substance, and the auxiliary light that excites the reference marker are irradiated.
  • An illumination optical system, an imaging optical system that forms an image of fluorescence from a fluorescent material, an imaging unit that captures an image formed by the imaging optical system, and image processing that performs image processing using the imaging results of the imaging unit And a control unit that controls the imaging unit, wherein the control unit irradiates the activated fluorescent material with excitation light and activates the activated fluorescence in the first period.
  • An image of fluorescence from the substance is captured by the imaging unit in a plurality of frame periods, and in the second period, auxiliary light is irradiated to the reference marker, and an image of fluorescence from the reference marker is captured by the imaging unit.
  • the irradiation of the excitation light in the period 2 is stopped, or the second
  • the intensity of the excitation light in the period is reduced from the first period
  • the irradiation of the auxiliary light in the first period is stopped, or the intensity of the auxiliary light in the first period is reduced from the second period to perform image processing.
  • the unit corrects at least a part of the imaging result obtained in the first period using the imaging result obtained in the second period, and uses one image using at least a part of the corrected imaging result.
  • a microscope apparatus characterized by generating an image is provided.
  • the activation light that activates the fluorescent substance contained in the sample, the excitation light that excites the activated fluorescent substance, and the auxiliary light that excites the reference marker are irradiated.
  • An illumination optical system, an imaging optical system that forms an image of fluorescence from a fluorescent material, an imaging unit that captures an image formed by the imaging optical system, and image processing that performs image processing using the imaging results of the imaging unit And a control unit that controls the imaging unit, wherein the imaging unit includes a first imaging unit and a second imaging unit, and the imaging optical system is configured from an activated fluorescent substance.
  • a fluorescence image is formed on the first imaging unit, a fluorescence image from the reference marker is formed on the second imaging unit, and the control unit is activated by irradiating the activated fluorescent material with excitation light.
  • the first imaging unit picks up the light from the fluorescent material in a plurality of frame periods, and the auxiliary light is used as the reference marker.
  • the image processing unit uses the imaging result of the second imaging unit to capture at least a part of the imaging result of the first imaging unit.
  • a microscope apparatus is provided that corrects and generates one image using at least a part of the corrected imaging result.
  • the activation light that activates the fluorescent substance contained in the sample, the excitation light that excites the activated fluorescent substance, and the auxiliary light that excites the reference marker are irradiated.
  • a control unit that controls the imaging unit wherein the imaging optical system forms an image of fluorescence from the activated fluorescent material in the first imaging region of the imaging unit, and a reference An image of the fluorescence from the marker is formed in the second imaging region of the imaging unit, and the control unit irradiates the activated fluorescent material with excitation light and irradiates auxiliary light to the reference marker.
  • the image processing unit captures images obtained in the second imaging region.
  • a microscope apparatus characterized in that, using the result, at least a part of an imaging result obtained in the first imaging region is corrected, and one image is generated using at least a part of the corrected imaging result. Provided.
  • an illumination optical system that irradiates activation light that activates a fluorescent substance contained in a sample and excitation light that excites the activated fluorescent substance
  • An imaging optical system that forms a fluorescent image, an imaging unit that captures an image formed by the imaging optical system, an image processing unit that performs image processing using the imaging result of the imaging unit, and a control that controls the imaging unit
  • the imaging unit includes a CMOS image sensor, and the control unit includes exposure efficiency of the imaging unit, a ratio of a frame period used for image processing among imaging results of the imaging unit, and activity Based on at least one of the relationship between the irradiation timing of the activating light and the irradiation timing of the excitation light, the irradiation period of the excitation light in the frame period of the imaging unit is set, and the activated fluorescent material is irradiated with the excitation light
  • activated fluorescence A microscope characterized in that an image of fluorescence from a quality is captured by an imaging unit in a pluralit
  • the activation light that activates the fluorescent substance contained in the sample, the excitation light that excites the activated fluorescent substance, and the auxiliary light that excites the reference marker are irradiated.
  • the control includes irradiating the activated fluorescent material with excitation light in the first period, and capturing images of fluorescence from the activated fluorescent substance in a plurality of frame periods; In the period, the auxiliary light is irradiated to the reference marker, the fluorescent image from the reference marker is captured, the excitation light irradiation in the second period is stopped, or the excitation light in the second period Reducing the intensity of the first period And stopping the irradiation of the auxiliary light in the first period, or reducing the intensity of the auxiliary light in the first period from the second period, and the image processing is performed in the second period. And correcting at least a part of the imaging
  • the activation light that activates the fluorescent substance contained in the sample, the excitation light that excites the activated fluorescent substance, and the auxiliary light that excites the reference marker are irradiated.
  • the imaging unit includes a first imaging unit and a second imaging unit, and the imaging optical system forms an image of fluorescence from the activated fluorescent material on the first imaging unit.
  • the image of the fluorescence from the reference marker is formed on the second imaging unit, and the control is performed by irradiating the activated fluorescent material with excitation light, and the light from the activated fluorescent material is applied to the first imaging unit.
  • an observation method includes generating one image using at least a part of the corrected imaging result.
  • the activation light that activates the fluorescent substance contained in the sample, the excitation light that excites the activated fluorescent substance, and the auxiliary light that excites the reference marker are irradiated.
  • the imaging optical system forms an image of fluorescence from the activated fluorescent substance in the first imaging region of the imaging unit, and generates an image of fluorescence from the reference marker of the imaging unit.
  • the control formed in the second imaging region includes irradiating the activated fluorescent material with excitation light, irradiating the reference marker with auxiliary light, and causing the imaging unit to capture images in a plurality of frame periods.
  • the image processing uses the imaging result obtained in the second imaging area.
  • An observation method comprising: correcting at least a part of an imaging result obtained in the first imaging region, and generating one image using at least a part of the corrected imaging result. Provided.
  • irradiation with activation light that activates the fluorescent substance contained in the sample and excitation light that excites the activated fluorescent substance, and fluorescence emission from the fluorescent substance is achieved.
  • An observation method including forming an image, capturing an image by an imaging unit, performing image processing using a result of imaging, and controlling imaging, wherein the imaging unit is a CMOS Including the image sensor, the control is at least one of the exposure efficiency of the imaging unit, the ratio of the frame period used for image processing among the imaging results of the imaging unit, and the relationship between the activation light irradiation timing and the excitation light irradiation timing.
  • the irradiation period of the excitation light in the frame period of the imaging unit is set, and the activated fluorescent material is irradiated with the excitation light, and the fluorescence image from the activated fluorescent material is captured.
  • irradiation is performed with activation light that activates the fluorescent substance contained in the sample, excitation light that excites the activated fluorescent substance, and auxiliary light that excites the reference marker.
  • irradiation is performed with activation light that activates the fluorescent substance contained in the sample, excitation light that excites the activated fluorescent substance, and auxiliary light that excites the reference marker.
  • Control that causes the computer to control the microscope device that controls the imaging by forming an image of fluorescence from the fluorescent material by the imaging optical system, capturing the image by the imaging unit, performing image processing using the imaging result
  • the imaging unit includes a first imaging unit and a second imaging unit, and the imaging optical system forms an image of fluorescence from the activated fluorescent substance on the first imaging unit, and from the reference marker
  • the image of the fluorescence is formed on the second imaging unit, and the control of the microscope apparatus is performed by irradiating the activated fluorescent substance with excitation light, and a plurality of lights from the activated fluorescent substance are applied to the first imaging unit.
  • a control program includes correcting at least a part of the image and generating one image using at least a part of the corrected imaging result.
  • irradiation is performed with activation light that activates the fluorescent substance contained in the sample, excitation light that excites the activated fluorescent substance, and auxiliary light that excites the reference marker.
  • the image of the fluorescence from the fluorescent material is formed by the imaging optical system, the image is captured by the imaging unit, the image processing is performed using the imaging result of the imaging, and the computer controls the microscope apparatus that controls the imaging
  • An imaging optical system which is a control program, forms an image of fluorescence from an activated fluorescent substance in a first imaging area of an imaging unit, and generates an image of fluorescence from a reference marker in a second imaging area of the imaging unit
  • the control of the microscope apparatus includes irradiating the activated fluorescent material with excitation light, irradiating the reference marker with auxiliary light, and causing the imaging unit to capture images in a plurality of frame periods, Image processing is obtained in the second imaging area. And correcting at least a part of the imaging result obtained in the first imaging area using the imaging result obtained,
  • an activation light that activates the fluorescent substance contained in the sample and an excitation light that excites the activated fluorescent substance are irradiated, and an image of fluorescence from the fluorescent substance is obtained.
  • a control program for controlling a microscope apparatus that forms and captures an image by an imaging unit, performs image processing using the imaging result, and controls imaging, the imaging unit including a CMOS image sensor, The control is based on at least one of the exposure efficiency of the imaging unit, the ratio of the frame period used for image processing among the imaging results of the imaging unit, and the relationship between the irradiation timing of the activation light and the irradiation timing of the excitation light.
  • An excitation light irradiation period in the frame period of the imaging unit is set, and the activated fluorescent material is irradiated with excitation light, and an image of fluorescence from the activated fluorescent material is transmitted to the imaging unit. It includes a be imaged without period, the image processing, using at least some of the results of imaging comprises generating a single image, there is provided a control program, characterized in that.
  • the present invention it is possible to provide a microscope apparatus, an observation method, and a control program capable of accurately detecting the displacement of the microscope and thus detecting the behavior of the sample with accuracy.
  • the microscope apparatus according to the embodiment is a microscope apparatus using a single-molecule localization microscopy method such as STORM or PALM.
  • STORM single-molecule localization microscopy method
  • FIG. 1 is a diagram illustrating a microscope apparatus 1 according to the first embodiment.
  • the microscope apparatus 1 includes a stage 2, a light source device 3, an illumination optical system 4, an imaging optical system 5, an imaging unit 6, and a control device 8.
  • the control device 8 includes an image processing unit 7 and a control unit 42.
  • Stage 2 holds a sample X to be observed.
  • the stage 2 is capable of placing the sample X on the upper surface thereof, for example.
  • the stage 2 may not have a mechanism for moving the sample X like a desk or the like, or may have a mechanism for moving the sample X like an XY stage.
  • the microscope apparatus 1 may not include the stage 2.
  • the sample X may include a living cell (live cell), a cell fixed using a tissue fixing solution such as a formaldehyde solution, or a tissue.
  • the fluorescent substance may be a fluorescent dye such as a cyanine dye or a fluorescent protein.
  • the fluorescent dye includes a reporter dye that emits fluorescence when receiving excitation light in an activated state (hereinafter referred to as an activated state).
  • the fluorescent dye may include an activator dye that receives activation light and activates the reporter dye. If the fluorescent dye does not contain an activator dye, the reporter dye receives an activation light and becomes activated.
  • Fluorescent pigments include, for example, a dye pair in which two kinds of cyanine dyes are combined (for example, Cy3-Cy5 dye pair, Cy2-Cy5 dye pair, Cy3-Alexa Fluor647 dye pair (Alexa Fluor is a registered trademark)), One type of dye (eg, Alexa 647 (Alexa Fluor is a registered trademark)).
  • a dye pair in which two kinds of cyanine dyes are combined for example, Cy3-Cy5 dye pair, Cy2-Cy5 dye pair, Cy3-Alexa Fluor647 dye pair (Alexa Fluor is a registered trademark)
  • One type of dye eg, Alexa 647 (Alexa Fluor is a registered trademark)
  • the fluorescent protein include PA-GFP and Dronpa.
  • the light source device 3 includes an activation light source 10a, an excitation light source 10b, an excitation light source 10d, a shutter 11a, a shutter 11b, and a shutter 11d.
  • the activation light source 10a emits activation light L1 that activates the fluorescent substance contained in the sample X.
  • the fluorescent substance is, for example, a substance bound to a cell membrane protein via an antibody in a living cell, a substance present in an immobilized cell, or the like.
  • the activation light L1 activates the reporter dye contained in the sample X.
  • the fluorescent material contains a reporter dye and does not contain an activator dye.
  • the reporter dye of the fluorescent substance is in an activated state capable of emitting fluorescence when irradiated with the activation light L1.
  • the fluorescent material may include a reporter dye and an activator dye. In this case, the activator dye activates the reporter dye when receiving the activation light L1.
  • the excitation light source 10b emits first wavelength excitation light (hereinafter referred to as first excitation light L2) that excites the fluorescent substance contained in the sample X.
  • the fluorescent material emits fluorescence or is inactivated when the first excitation light L2 is irradiated in the activated state.
  • an inactivated state When the fluorescent material is irradiated with the activation light L1 in an inactivated state (hereinafter referred to as an inactivated state), the fluorescent material is again activated.
  • the excitation light source 10d emits auxiliary light L4 for detecting the displacement (drift amount) of the microscope such as the stage 2.
  • the sample X is provided with a reference marker for detecting the displacement (drift amount) of the microscope, and the auxiliary light is used for detecting the reference marker.
  • the reference marker includes, for example, a fluorescent material such as a fluorescent bead, and the auxiliary light excites the reference marker.
  • the reference marker emits fluorescence when irradiated with the auxiliary light L4 even when the activation light is not irradiated.
  • the activation light source 10a, the excitation light source 10b, and the excitation light source 10d each include, for example, a solid light source such as a laser light source, and emit laser light having a wavelength corresponding to the type of fluorescent material.
  • the emission wavelength of the activation light source 10a and the emission wavelength of the excitation light source 10b are selected from, for example, about 405 nm, about 457 nm, about 488 nm, about 532 nm, about 561 nm, about 640 nm, and about 647 nm.
  • the emission wavelength of the excitation light source 10d is different from, for example, the activation light source 10a and the excitation light source 10b, but may be the same.
  • the emission wavelength of the activation light source 10a is about 405 nm and the emission wavelength of the excitation light source 10b is a wavelength selected from about 488 nm, about 561 nm, and about 647 nm.
  • the shutter 11a is controlled by the control unit 42, and can switch between a state in which the activation light L1 from the activation light source 10a passes and a state in which the activation light L1 is blocked.
  • the shutter 11b is controlled by the control unit 42 and can switch between a state in which the first excitation light L2 from the excitation light source 10b passes and a state in which the first excitation light L2 is blocked.
  • the shutter 11d is controlled by the control unit 42 and can switch between a state in which the auxiliary light L4 from the excitation light source 10d passes and a state in which the auxiliary light L4 is blocked.
  • the microscope apparatus 1 may not include at least a part of the light source device 3.
  • the light source device 3 is unitized and may be provided in the microscope device 1 so as to be replaceable (attachable and removable).
  • the light source device 3 may be attached to the microscope device 1 during observation with the microscope device 1 or the like.
  • the illumination optical system 4 irradiates the sample X with the activation light L1, the first excitation light L2, and the auxiliary light L4.
  • the illumination optical system 4 includes a dichroic mirror 12, a mirror 51, a dichroic mirror 13, an acoustooptic device 14, a lens 15, a light guide member 16, a lens 17, a lens 18, a filter 19, a dichroic mirror 20, and an objective lens 21.
  • the mirror 51 is provided, for example, on the emission side of the excitation light source 10d.
  • the auxiliary light L4 from the excitation light source 10d is reflected by the mirror 51 and enters the dichroic mirror 12.
  • the dichroic mirror 12 is provided, for example, on the light emission side of the excitation light source 10b.
  • the dichroic mirror 12 has a characteristic that the first excitation light L2 is reflected and the auxiliary light L4 is transmitted.
  • the first excitation light L2 reflected by the dichroic mirror 12 and the auxiliary light L4 transmitted through the dichroic mirror 12 enter the dichroic mirror 13 through the same optical path.
  • the dichroic mirror 13 is provided, for example, on the emission side of the activation light source 10a.
  • the dichroic mirror 13 has a characteristic that the activation light L1 is transmitted and the first excitation light L2 and the auxiliary light L4 are reflected.
  • the activation light L1 transmitted through the dichroic mirror 13 and the first excitation light L2 and auxiliary light L4 reflected by the dichroic mirror 13 enter the acoustooptic device 14 through the same optical path.
  • the acoustooptic element 14 is, for example, an acoustooptic filter.
  • the acoustooptic device 14 is controlled by the control unit 42 and can adjust the light intensity of the activation light L1, the light intensity of the first excitation light L2, and the light intensity of the auxiliary light L4.
  • the acoustooptic device 14 is controlled by the control unit 42, and each of the activation light L1, the first excitation light L2, and the auxiliary light L4 passes through the acoustooptic device 14 (hereinafter referred to as a light passing state). It is possible to switch between a state blocked by the acoustooptic device 14 or a state where the irradiation intensity is reduced (hereinafter referred to as a light blocking state).
  • the control unit 42 causes the acoustooptic device 14 to perform irradiation of the activation light L1 and irradiation of the first excitation light L2 in parallel. Control.
  • the control unit 42 controls the acoustooptic device 14 so as to emit the first excitation light L2 after the activation light L1 is irradiated, for example.
  • control unit 42 controls the acoustooptic device 14 so that the auxiliary light L4 is irradiated in a state where the irradiation of the activation light L1 and the first excitation light L2 is stopped or the irradiation intensity is reduced.
  • the lens 15 is, for example, a coupler, and condenses the activation light L1, the first excitation light L2, and the auxiliary light L4 from the acoustooptic device 14 on the light guide member 16.
  • the light guide member 16 is, for example, an optical fiber, and guides each of the activation light L1, the first excitation light L2, and the auxiliary light L4 to the lens 17.
  • the lens 17 is, for example, a collimator, and converts the activation light L1, the first excitation light L2, and the auxiliary light L4 into parallel light.
  • the lens 18 condenses the activation light L1, the first excitation light L2, and the auxiliary light L4 at the position of the pupil plane of the objective lens 21, respectively.
  • the filter 19 transmits the activation light L1, the first excitation light L2, and the auxiliary light L4, and has a characteristic of blocking at least a part of light of other wavelengths (eg, external light, stray light).
  • the dichroic mirror 20 has a characteristic that the activation light L1, the first excitation light L2, and the auxiliary light L4 are reflected, and light (for example, fluorescence) in a predetermined wavelength band among the light from the sample X is transmitted.
  • the light transmitted through the filter 19 is reflected by the dichroic mirror 20 and enters the objective lens 21.
  • the sample X is placed on the focal plane of the objective lens 21 at the time of observation.
  • the activation light L1, the first excitation light L2, and the auxiliary light L4 are applied to the sample X by the illumination optical system 4 as described above.
  • the illumination optical system 4 mentioned above is an example, and can be changed suitably.
  • a part of the illumination optical system 4 described above may be omitted.
  • the illumination optical system 4 may include at least a part of the light source device 3.
  • the illumination optical system 4 may include an aperture stop, an illumination field stop, and the like.
  • the imaging optical system 5 forms an image of fluorescence from the fluorescent material contained in the sample X.
  • the imaging optical system 5 includes an objective lens 21, a dichroic mirror 20, a filter 24, a lens 25, an optical path switching member 26, a lens 27, and a lens 28.
  • the imaging optical system 5 shares the objective lens 21 and the dichroic mirror 20 with the illumination optical system 4.
  • the light from the sample X enters the filter 24 through the objective lens 21 and the dichroic mirror 20.
  • the filter 24 has a characteristic of selectively transmitting light in a predetermined wavelength band among the light from the sample X. For example, the filter 24 blocks illumination light, external light, stray light, and the like reflected from the sample X.
  • the filter 24 is unitized with, for example, the filter 19 and the dichroic mirror 20, and the filter unit 29 is provided in a replaceable manner.
  • the filter unit 29 is, for example, the wavelength of illumination light emitted from the light source device 3 (eg, the wavelength of the activation light L1, the wavelength of the first excitation light L2, the wavelength of the auxiliary light L4), and the fluorescence emitted from the sample X. It is exchanged according to the wavelength of the.
  • the light that has passed through the filter 24 enters the optical path switching member 26 through the lens 25.
  • the optical path switching member 26 is a prism, for example, and is provided so as to be insertable into and removable from the optical path of the imaging optical system 5.
  • the optical path switching member 26 is inserted into and removed from the optical path of the imaging optical system 5 by a drive unit (not shown) controlled by the control unit 42, for example.
  • the optical path switching member 26 guides the fluorescence from the sample X to the optical path toward the imaging unit 6 by internal reflection when inserted in the optical path of the imaging optical system 5.
  • the lens 27 and the lens 28 constitute an afocal optical system.
  • the imaging optical system 5 as described above forms an image of fluorescence emitted from the sample X (eg, fluorescence image) at a position optically conjugate with the sample X.
  • the imaging optical system 5 described above is an example and can be changed as appropriate. For example, a part of the imaging optical system 5 described above may be omitted.
  • the imaging optical system 5 may include an aperture stop, a field stop, and the like.
  • the microscope apparatus 1 includes an observation optical system 30 used for setting an observation range.
  • the observation optical system 30 includes, in order from the sample X toward the observer's viewpoint Vp, the objective lens 21, the dichroic mirror 20, the filter 24, the lens 25, the mirror 31, the lens 32, the mirror 33, the lens 34, the lens 35, the mirror 36, And a lens 37.
  • the observation optical system 30 shares the configuration from the objective lens 21 to the lens 25 with the imaging optical system 5.
  • the light from the sample X passes through the lens 25 and then enters the mirror 31 in a state where the optical path switching member 26 is retracted from the optical path of the imaging optical system 5.
  • the light reflected by the mirror 31 is incident on the mirror 33 via the lens 32, is reflected by the mirror 33, and then enters the mirror 36 via the lens 34 and the lens 35.
  • the light reflected by the mirror 36 enters the viewpoint Vp through the lens 37.
  • the observation optical system 30 forms an intermediate image of the sample X in the optical path between the lens 35 and the lens 37.
  • the lens 38 is an eyepiece, for example, and the observer can set an observation range by observing the intermediate image.
  • the imaging unit 6 captures an image formed by the imaging optical system 5.
  • the imaging unit 6 includes an imaging element 40 and a control unit 41.
  • the image sensor 40 is, for example, a CMOS image sensor, but may be another image sensor such as a CCD image sensor.
  • the image sensor 40 has, for example, a structure in which a plurality of pixels arranged two-dimensionally and a photoelectric conversion element such as a photodiode is arranged in each pixel.
  • the imaging element 40 reads out the electric charge accumulated in the photoelectric conversion element by a readout circuit.
  • the image sensor 40 converts the read electric charges into digital data (eg, gradation value), and outputs digital data in which the pixel position and the gradation value are associated with each other.
  • the control unit 41 operates the image sensor 40 based on a control signal input from the control unit 42, and outputs captured image data to the control unit 42.
  • the control unit 41 of the imaging unit 6 outputs a signal (imaging timing information) indicating the charge accumulation period and the charge readout period in the image sensor 40 to the control unit 42 of the control unit 42.
  • the control device 8 collectively controls each part of the microscope device 1.
  • the control device 8 includes a control unit 42 and an image processing unit 7.
  • the control unit 42 controls the acoustooptic device 14 based on a signal (information indicating imaging timing) supplied from the imaging unit 6.
  • the control unit 42 supplies a signal supplied from the imaging unit 6 to the acoustooptic device 14, and the acoustooptic device 14 switches between a light transmission state and a light shielding state using this signal as a trigger.
  • control unit 42 controls the acoustooptic device 14 to control a period in which the activation light L1 is irradiated on the sample X and a period in which the activation light L1 is not irradiated on the sample X.
  • control unit 42 controls the acoustooptic device 14 to control a period during which the sample X is irradiated with the first excitation light L2 and a period during which the sample X is not irradiated with the first excitation light L2.
  • control unit 42 controls the acoustooptic device 14 to control a period during which the sample X is irradiated with the auxiliary light L4 and a period during which the sample X is not irradiated with the auxiliary light L4.
  • the control unit 42 controls the acoustooptic device 14 to control the light intensity of the activation light L1 irradiated to the sample X, the light intensity of the first excitation light L2, and the light intensity of the auxiliary light L4.
  • the control unit 41 of the imaging unit 6 may control the acoustooptic device 14 instead of the control unit 42.
  • the imaging unit 6 supplies a control signal for switching between a light shielding state and a light transmission state to the acousto-optic element 14 based on a signal indicating the charge accumulation period and the charge readout period (information on the imaging timing).
  • the optical element 14 may be controlled.
  • the control unit 42 controls the imaging unit 6 to cause the imaging device 40 to perform imaging. The sequence of illumination and imaging under the control of the control unit 42 will be described later.
  • the control unit 42 acquires an imaging result (captured image data) from the imaging unit 6.
  • the image processing unit 7 performs image processing using the imaging result of the imaging unit 6. The processing performed by the image processing unit 7 will be described later with reference to FIGS.
  • the control unit 42 is communicably connected to each of the storage device (storage unit) 43 and the display device (display unit) 44.
  • the display device 44 is, for example, a liquid crystal display.
  • the display device 44 displays various images such as an image indicating various settings of the microscope device 1, a captured image by the imaging unit 6, and an image generated from the captured image.
  • the control unit 42 controls the display device 44 to display various images on the display device 44.
  • the control unit 42 supplies data of an image generated by the image processing unit 7 (for example, a super-resolution image such as a STORM image or a PALM image) to the display device 44 and causes the display device 44 to display the image.
  • the microscope apparatus 1 can also display a super-resolution image of the sample X to be observed as a live video.
  • the storage device 43 is, for example, a magnetic disk or an optical disk, and stores various data such as various setting data of the microscope apparatus 1, data of an image captured by the imaging unit 6, and data of an image generated by the image processing unit 7.
  • the control unit 42 can supply the display device 44 with the data of the super-resolution image stored in the storage device 43 and cause the display device 44 to display the super-resolution image.
  • the control unit 42 controls the storage device 43 and stores various data in the storage device 43.
  • FIG. 2 is a diagram showing an illumination and imaging sequence according to the first embodiment.
  • the control unit 42 irradiates the activation light L1 in the first period Ta (activation light; ON).
  • the control unit 42 irradiates the activated fluorescent material with the first excitation light L2, and causes the imaging unit 6 to display a fluorescence image from the activated fluorescent material in a plurality of frame periods.
  • An image is taken at Tf.
  • the control unit 42 stops the irradiation of the first excitation light L2 or irradiates the reference marker with the auxiliary light L4 in a state where the irradiation intensity is reduced, and captures an image of the fluorescence from the reference marker.
  • the part 6 is imaged.
  • the first excitation light L2 and the auxiliary light L4 have different wavelengths, but may be the same.
  • the second period Tb includes, for example, a frame period Tf immediately before the first period Ta.
  • the controller 42 repeatedly performs the first period Ta and the second period Tb alternately during the period T1.
  • the image processing unit 7 corrects the captured image in the first period Ta using the captured image in the second period Tb.
  • the image processing unit 7 aligns the plurality of captured images obtained in the plurality of first periods Ta included in the period T1 by the correction, and merges the bright spots corresponding to the fluorescence images in the plurality of captured images. Thus, one image is generated.
  • the case where the activation light L1 is irradiated in the first period Ta has been described as an example.
  • the activation light L1 may be irradiated in a period different from the first period Ta. Good.
  • the activation light L1 may be irradiated before the first period Ta.
  • the activation light L1 may be irradiated in the same period as the second period Tb, or may be irradiated in a period different from the second period Tb (the same applies hereinafter).
  • FIG. 3 is a diagram showing an illumination and imaging sequence in the first period and the second period.
  • a symbol Tf is one frame period of the imaging process.
  • One frame period Tf is a period for generating one captured image.
  • One frame period Tf includes, for example, a period Tf1 for accumulating charges and a period Tf2 for reading the charges accumulated in the period Tf1. Note that when charge accumulation and charge readout are performed in parallel, one frame period Tf is a period Tf1 in which charges corresponding to fluorescence are accumulated.
  • the length of one frame period Tf is, for example, the reciprocal of the frame rate.
  • the control unit 42 irradiates the sample X with the activation light L1 and the first excitation light L2 in the first period Ta, and causes the imaging unit 6 to image the sample X.
  • the irradiation with the activation light L1 and the first excitation light L2 is performed so that the fluorescence image from the sample X has a sparse distribution.
  • the captured images (Pd1 to Pdm) acquired in the first period Ta are images of fluorescence from a fluorescent substance (eg, reporter dye) included in the sample X, for example, and show the structure of the sample X Used for image generation.
  • the imaging unit 6 generates captured images Pd1 to Pdn as imaging results for each frame period Tf.
  • the image processing unit 7 generates one image SP (eg, super-resolution image) using at least a part of the captured images Pd1 to Pdn.
  • a series of imaging processing of captured images for example, captured images Pd1 to Pdn
  • the number of captured images (for example, captured images Pd1 to Pdn) used for generating the image SP is a set value such as a preset default value or a specified value specified by the user.
  • the control unit 42 irradiates the auxiliary light L4 with the irradiation of the activation light L1 and the first excitation light L2 stopped or with the irradiation intensity reduced, and causes the imaging unit 6 to receive the sample X.
  • the second period Tb is performed, for example, in the frame period Tf immediately before the first period Ta.
  • a captured image Pc1 is acquired by imaging in the first second period Tb, and by imaging for a predetermined number (m times) of the frame period Tf in the first period Ta following the second period Tb.
  • the captured images Pd1 to Pdm are acquired, and then the captured image Pc2 is acquired by imaging in the second period Tb.
  • the captured image Pc1 corresponding to the auxiliary light L4 is acquired at a frequency of 1 / m with respect to the captured images (Pd1 to Pdm) corresponding to the first excitation light L2.
  • the predetermined number (m) is arbitrarily set, and may be 1, 10, 100, 1000, 5000, 10000, or the like, for example.
  • a symbol T ⁇ b> 2 is a period including one second period Tb and a predetermined number of first periods Ta continuous to the second period Tb.
  • the controller 42 captures one period and repeats the period T2 to acquire a plurality of captured images.
  • the image processing unit 7 corrects at least a part of the captured image obtained in one first period Ta using the imaging results (eg, captured images Pc1 and Pc2) obtained in the second period Tb. . Further, the image processing unit 7 corrects a plurality of captured images obtained from the plurality of first periods Ta, and generates one image using at least a part of the corrected captured images. For example, in each of the captured images Pd1 to Pdm, the fluorescence image Im is discretely distributed at a low density. The image processing unit 7 calculates position information (for example, the gravity center position Q) of the fluorescence image Im by fitting the light intensity distribution of the fluorescence image Im with a Gaussian function or the like, for example.
  • position information for example, the gravity center position Q
  • the image processing unit 7 calculates the displacement (drift amount, movement amount) using the imaging results (captured images Pc1, Pc2) in the second period Tb.
  • the image processing unit 7 corrects the captured image in the first period Ta using the calculated displacement.
  • the image processing unit 7 uses the displacement calculated from the captured image Pc1 and the captured image Pc2 to determine the barycentric position Q of the captured image captured in the first period Ta between the captured image Pc2 and the captured image Pc3. to correct.
  • the image processing unit 7 generates (constructs) one image by, for example, merging a large number of corrected gravity positions Q.
  • FIG. 4 is a diagram showing processing for detecting the displacement of the sample and processing for correcting the imaging result.
  • symbols Pc1 to Pcn indicate captured images corresponding to the auxiliary light L4.
  • the image processing unit 7 corrects the captured image captured between the captured image Pc2 and the captured image Pc3 with the same correction amount.
  • the image processing unit 7 uses the captured image Pc1 and the captured image Pc2 to calculate the correction amount of the captured image captured in the first period Ta between the captured image Pc2 and the captured image Pc3.
  • the captured image denoted by reference numeral Pe1 representatively shows one of the captured images Pd1 to Pdm captured between the captured image Pc1 and the captured image Pc2.
  • Reference numerals Pf2 to Pfn denote corrected images.
  • the image Pf2 is an image obtained by correcting the captured image Pe2.
  • a fluorescence image Im2 from the reference marker is distributed.
  • the fluorescence images in the captured image captured one time before are indicated by dotted lines.
  • the dotted line portion in the captured image Pc2 corresponds to the fluorescence image Im2 in the captured image Pc1.
  • the image processing unit 7 calculates the displacement V (vector) of the fluorescence image corresponding to the captured image Pc1 and the captured image Pc2.
  • the reference markers are sparsely distributed in the sample X such that the interval between the reference markers in the sample X is larger than an upper limit value assumed as a displacement (eg, displacement of the stage 2).
  • the image processing unit 7 calculates the displacement of the corresponding fluorescent image, assuming that the closest fluorescent image between the captured image Pc1 and the captured image Pc2 is a fluorescent image corresponding to the same reference marker. Then, the image processing unit 7 calculates an average Va (vector) of the displacement V for a plurality of fluorescence.
  • the image processing unit 7 obtains an image correlation while relatively moving the captured image Pc1 and the captured image Pc2, and the relative movement amount between the captured image Pc1 and the captured image Pc2 having the highest correlation coefficient is determined as a displacement. It is good also as an average.
  • the image processing unit 7 obtains the displacement using the fluorescent images that appear in both of the two images to be compared among the captured images Pc1 to Pcn. For example, if the captured image Pc1 and the captured image Pc3 include a fluorescence image corresponding to the same reference marker and the fluorescence image is not captured in the captured image Pc2, the image processing unit 7 displays the fluorescence image. By using the captured image Pc1 and the captured image Pc3, the displacement of the fluorescence image can be calculated.
  • the image processing unit 7 may not use a part of the image shown in the image for the calculation of the displacement. For example, the image processing unit 7 does not have to use the fluorescence image shown in only one of the two images to be compared for the calculation of the displacement.
  • the image processing unit 7 may select an image that is not used for calculating the displacement based on threshold values relating to light intensity and image size.
  • the threshold regarding the light intensity and the image size may be set by the user.
  • the image processing unit 7 does not have to use a fluorescent image in a predetermined area for calculating the displacement. This predetermined area may be selected by the user. The above is the designation of not using part of the image shown in the image for the calculation of the displacement, but it is also possible to select and set what is used in reverse. As described above, correction can be performed with higher accuracy.
  • the image processing unit 7 calculates the gravity center position of the fluorescent substance for each of the captured images Pe2 to Pen corresponding to the first excitation light L2.
  • the captured image Pe1 is assumed to be a reference image, and the position of the fluorescence image in the captured image Pe2 is corrected.
  • the image processing unit 7 calculates the barycentric position Q of each fluorescent image of the captured image Pe2. Then, the image processing unit 7 detects the displacement between the corrected captured image Pc2 corresponding to the imaging timing of the captured image Pe2 to be corrected and the corrected captured image Pc1 corresponding to the imaging timing of the reference captured image Pe1. Correction is performed using the average Va.
  • the captured image Pc2 for correction is, for example, a captured image captured in the second period Tb immediately before the first period Ta in which the captured image Pe2 to be corrected is captured.
  • the image processing unit 7 corrects the barycentric position Q of the fluorescence image in the captured image Pe2 to the barycentric position Q2 that is moved by the correction amount Vb (vector) obtained by inverting the average displacement Va, as in the image Pf2. Similar to the captured image Pe2, the image processing unit 7 corrects at least some of the plurality of captured images captured in the first period Ta between the captured image Pc2 and the captured image Pc3. Similarly, the image processing unit 7 corrects at least a part of the plurality of captured images captured in the first period Ta after the captured image Pc3.
  • the image processing unit 7 generates one image using, for example, a reference captured image (eg, captured images Pd1 to Pdm) and at least a part of the corrected image.
  • FIG. 5 is a flowchart showing the observation condition setting process (the process in step S10 shown in FIG. 6 later).
  • step S1 for example, the user selects the wavelength of the first excitation light L2 and the wavelength of the activation light L1, and the control unit 42 sets the wavelength of the first excitation light L2 and the wavelength of the activation light L1.
  • the control unit 42 causes the display device 44 to display a list indicating candidates for the wavelength of the first excitation light L2 and the wavelength of the activation light L1, and accepts user input.
  • the control unit 42 sets the wavelength of the first excitation light L2 and the wavelength of the activation light L1 according to the user input.
  • the user may specify the type of fluorescent material, and the control unit 42 may set the wavelength of the first excitation light L2 and the wavelength of the activation light L1 to wavelengths according to the type of fluorescent material.
  • table data in which the type of fluorescent material, the wavelength of the first excitation light L2 and the wavelength of the activation light L1 are associated is stored in the storage device 43 in advance, and the control unit 42 Using the data, the wavelength of the first excitation light L2 and the wavelength of the activation light L1 may be set.
  • the control unit 42 sets the intensity of the first excitation light L2 and the intensity of the activation light L1.
  • the control unit 42 sets imaging conditions. For example, the control unit 42 sets the length (exposure time) of one frame period Tf as the imaging condition. The exposure time may be determined according to, for example, the type of fluorescent material and the intensity of the first excitation light L2, and may be included in the table data.
  • step S4 for example, the user selects the wavelength of the auxiliary light L4, and the control unit 42 sets the wavelength of the auxiliary light L4.
  • the processing in step S4 may be selected from candidates displayed on the display device 44 as in the processing in step S1.
  • step S5 the control unit 42 sets the intensity of the auxiliary light L4.
  • the light from the reference marker corresponding to the auxiliary light L4 and the fluorescence from the fluorescent material corresponding to the first excitation light L2 are detected in different periods.
  • the wavelength and intensity of the auxiliary light L4 are detected. Can be set to a wavelength and intensity suitable for detection of the reference marker.
  • the control unit 42 sets, for example, the total number of frames and the number of periods according to the first excitation light L2.
  • the total number of frames is the total number of frame periods included in the number of periods. For example, when the frame period included in one period is 2000 and the number of periods is 10, the total number of frames is 2000 ⁇ 10.
  • the control unit 42 calculates the number of frame periods included in one period using the total number of frames and the number of periods. As described above, when the values of two items among the three parameters of the total number of frames, the number of frame periods included in one period, and the number of periods are specified, for example, the control unit 42 uses these values to The value of one item can be calculated.
  • the value of at least one item among the three parameters may be given as a default value in advance.
  • the control unit 42 uses the designated value and the default value to set the parameters of the remaining one item.
  • a value may be calculated.
  • the control unit 42 sets the imaging frequency according to the auxiliary light L4.
  • the frequency of imaging according to the auxiliary light L4 is expressed, for example, by how many times imaging is performed according to the first excitation light L2 and imaging according to the auxiliary light L4 is performed.
  • the frequency of imaging according to the auxiliary light L4 is, for example, the predetermined number of times (m) in the description with reference to FIG.
  • the control unit 42 sets the imaging frequency corresponding to the auxiliary light L4 to a user-specified value or a default value stored in advance.
  • FIG. 6 is a flowchart showing an observation method according to this embodiment.
  • the control unit 42 sets observation conditions (see FIG. 5).
  • the controller 42 starts the irradiation of the auxiliary light L4 and starts the second period Tb.
  • the imaging optical system 5 forms an image of fluorescence from the reference marker corresponding to the auxiliary light L4.
  • the control unit 42 causes the imaging unit 6 to capture an image of fluorescence from the reference marker corresponding to the auxiliary light L4.
  • the control unit 42 stops the irradiation of the auxiliary light L4 or reduces the irradiation intensity, and ends the second period Tb.
  • step S15 the control unit 42 starts irradiation with the activation light L1 and the first excitation light L2, and starts the first period Ta.
  • step S16 the imaging optical system 5 forms an image of fluorescence from the fluorescent material corresponding to the first excitation light L2.
  • step S ⁇ b> 17 the control unit 42 causes the imaging unit 6 to capture an image of fluorescence from the fluorescent material corresponding to the first excitation light L ⁇ b> 2.
  • step S8 the control unit 42 determines whether or not to end the first period. For example, the control unit 42 increments the counter of the number of times of imaging (the number of frame periods) when the imaging of step S3 is completed, and determines whether or not to perform the first period Ta by comparing this counter with the set value. Determine.
  • the set value of the number of times of imaging is, for example, the predetermined number of times (m) described with reference to FIG.
  • the set value of the number of times of imaging is set, for example, in the setting process of step S10 (see step S7 in FIG. 5), and the control unit 42 sets the first period Ta when the counter of the number of times of imaging reaches the set value. Determine to end. For example, when the counter is less than the set value, the control unit 42 determines not to end the first period Ta (step S18; No), and repeats the imaging process of step S17.
  • step S18 the control unit 42 stops the irradiation of the activation light L1 and the first excitation light L2 or reduces the irradiation intensity in step S19.
  • This period Ta ends.
  • step S20 the control unit 42 determines whether or not to end imaging. For example, the control unit 42 determines to end imaging when the counter of the number of imaging times reaches the total number of frames (see step S6 in FIG. 5).
  • step S20 determines to end imaging when it is determined that the imaging is not finished (step S20; No)
  • the control unit 42 returns to step S11, starts the irradiation of the auxiliary light L4, and starts the second period Tb following the first period Ta.
  • the control unit 42 acquires captured images corresponding to the total number of frames by repeating the processing from step S11.
  • step S ⁇ b> 21 for example, when the control unit 42 determines to finish imaging (step S ⁇ b> 19; Yes), the image processing unit 7 generates at least one image.
  • the image processing unit 7 specifies the captured image of each period using the number of frame periods included in one period.
  • the image processing unit 7 generates a super-resolution image using at least a part of the identified captured image. Further, the control unit 42 causes the display device 44 to display the super-resolution image generated by the image processing unit 7.
  • the image processing unit 7 uses, for example, a result of imaging one period to generate one image. SP is generated, and the number of images SP corresponding to the number of periods is generated.
  • the image processing unit 7 may perform at least a part of the process of generating the image SP in parallel with the imaging of one period. For example, the image processing unit 7 acquires captured image data each time the image capturing process of step S17 is performed, and calculates the gravity center position Q of the fluorescence image Im (see FIG. 3) included in the captured image. Also good.
  • the image processing unit 7 performs at least a part of the process of generating the image SP using the result of imaging of one period, and performs imaging of the next period. It may be done while doing.
  • the first excitation light L2 and the auxiliary light L4 have different wavelengths, but they may be the same. In this case as well, the first excitation light L2 is stopped or the irradiation intensity is reduced in the second period Tb. Since the fluorescence image from the reference marker is captured, the position of the reference marker can be detected with high accuracy, and the drift amount can be obtained with high accuracy.
  • the fluorescence image from the reference marker appears in the captured image when capturing the fluorescence image emitted from the sample X by the first excitation light L2. This can be suppressed.
  • the activation light L1 and the first excitation light L2 are irradiated.
  • the excitation light eg, the first excitation light L2 is not irradiated with the activation light L1.
  • FIG. 7 is a diagram showing a microscope apparatus according to the second embodiment.
  • the light source device 3 includes an excitation light source 10c and a shutter 11c.
  • the excitation light source 10c emits second wavelength excitation light (hereinafter referred to as second excitation light L3) that excites the second fluorescent substance contained in the sample X.
  • second excitation light L3 second wavelength excitation light
  • the emission wavelength of the excitation light source 10c is a wavelength selected from, for example, about 488 nm, about 561 nm, and about 647 nm.
  • the second fluorescent material includes, for example, a reporter dye and is used for labeling the sample X, similarly to the fluorescent material corresponding to the first excitation light L2 (hereinafter referred to as the first fluorescent material).
  • the second fluorescent material may contain an activator dye or may not contain an activator dye.
  • the second fluorescent material is, for example, bound to a cellular protein via an antibody, and the type of the binding destination protein is different from that of the first fluorescent material.
  • the second fluorescent material is activated when irradiated with the activation light L1.
  • the wavelength of the activation light that activates the second fluorescent material is, for example, the same as the wavelength of the activation light L1 that activates the first fluorescent material, but may be different.
  • the second excitation light L3 is irradiated in the activated state, the second fluorescent material emits fluorescence or is inactivated.
  • the second fluorescent material is again activated.
  • the shutter 11c is controlled by the control unit 42 and can switch between a state in which the second excitation light L3 from the excitation light source 10c is allowed to pass and a state in which the second excitation light L3 is blocked.
  • the illumination optical system 4 includes a dichroic mirror 50 on the emission side of the excitation light source 10c.
  • the dichroic mirror 50 has a characteristic that the second excitation light L3 is reflected and the auxiliary light L4 is transmitted.
  • the light from the excitation light source 10 c is reflected by the dichroic mirror 50, passes through the dichroic mirror 12, and enters the dichroic mirror 13.
  • the dichroic mirror 13 and the dichroic mirror 20 have a characteristic that the second excitation light L3 reflects, and the second excitation light L3 passes through the same optical path as the activation light L1, the first excitation light L2, and the auxiliary light L4.
  • the sample X is irradiated.
  • control unit 42 controls the acoustooptic device 14 so that the second excitation light L3 passes through the acoustooptic device 14 and the second excitation light L3 is blocked by the acoustooptic device 14 or the irradiation intensity is reduced. Switch between light-shielding states.
  • the control unit 42 irradiates the sample X with the second excitation light L3 and causes the imaging unit 6 to capture an image.
  • FIG. 8 is a diagram showing an illumination and imaging sequence according to the present embodiment.
  • the control unit 42 sets the first wavelength period (eg, period T12, period T14, period T16) and the second wavelength period (eg, period T18, period T20, period T22) in the period T3 for imaging one period.
  • one first wavelength period or one second wavelength period is included in the first period Ta.
  • the image processing unit 7 forms at least one image using at least a part of the imaging result of the imaging unit 6 in the first wavelength period and at least a part of the imaging result of the imaging unit in the second wavelength period.
  • the image processing unit 7 generates, for example, the first image Pa using the imaging result in the first wavelength period, and generates the second image Pb using the imaging result in the second wavelength period.
  • the first image Pa and the second image Pb are images representing different structures of the sample X.
  • the image processing unit 7 generates an image Pt using, for example, the first image Pa and the second image Pb.
  • the image Pt is, for example, an image obtained by combining the first image Pa and the second image Pb. Note that the image Pt does not generate the first image Pa and the second image Pb, and at least part of the imaging result of the imaging unit 6 in the first wavelength period and the imaging of the imaging unit in the second wavelength period. You may create using at least one part of a result. This will be described in more detail below.
  • the control unit 42 irradiates the activation light L1 (activation light; ON), irradiates the first excitation light L2 (second excitation light; ON), and activates it.
  • the image of the fluorescence from the converted first fluorescent substance is caused to be continuously imaged in a plurality of frame periods by the imaging unit 6 (first imaging process; ON).
  • the control unit 42 adjusts the light intensity of the activation light L1 in the first wavelength period according to the type of the first fluorescent material.
  • the control unit 42 irradiates the auxiliary light L4 in the frame period (eg, period T11) immediately before each period (eg, period T12) in which imaging is continuously performed in the first wavelength period,
  • the imaging unit 6 is caused to capture a fluorescent image (third imaging process; ON).
  • the image processing unit 7 corrects the captured image by associating the captured image of the sample X in the period T14 with the captured image of the reference marker in the period T13 immediately before the period T14. For example, when the image processing unit 7 performs alignment between the captured image of the period T12 and the captured image of the period T14, the captured image of the period T11 and the captured image of the period T13 are used to perform the period T11 to the period T13.
  • the captured image of the period T14 can be aligned with the captured image of the period T12. That is, the drift amount between the current and previous first periods Ta is obtained by comparing the immediately preceding second period Tb with the second period Tb immediately before. By repeating this process, it is possible to align with the reference first period Ta.
  • the image processing unit 7 aligns the plurality of captured images obtained in the first wavelength period, and generates the first image Pa.
  • control unit 42 irradiates the activation light L1 (activation light; ON) and irradiates the second excitation light L3 (second excitation light; ON) in the second wavelength period (eg, period T18). Then, the image of the fluorescence from the activated second fluorescent substance is caused to be continuously imaged in a plurality of frame periods by the imaging unit 6 (second imaging process; ON). For example, the control unit 42 adjusts the light intensity of the activation light L1 in the second wavelength period according to the type of the second fluorescent material.
  • the control unit 42 irradiates the auxiliary light L4 in the frame period (e.g., period T19) immediately before each period (e.g., period T20) in which imaging is continuously performed in the second wavelength period, and from the reference marker.
  • the imaging unit 6 is caused to capture a fluorescent image (third imaging process; ON).
  • the image processing unit 7 corrects the captured image by associating the captured image of the sample X in the period T20 with the captured image of the reference marker in the period T19 immediately before the period T20. For example, when aligning the captured image of the period T18 and the captured image of the period T20, the image processing unit 7 uses the captured image of the period T17 and the captured image of the period T19 to perform the period T17 to the period T19.
  • the captured image of the period T20 can be aligned with the captured image of the period T18.
  • the case where the captured image in the period T20 is corrected by the amount of the displacement of the reference marker from the period T17 to the period T19 is illustrated, but the period of the reference marker from the period T17 to the period T19 is used to correct the period.
  • the correction amounts for the plurality of captured images at T20 may be calculated individually. For example, the amount of displacement of the reference marker from the period T17 to the period T19 may be linearly interpolated in the captured image of the period T20.
  • a value obtained by dividing the amount of displacement of the reference marker from the period T17 to the period T19 by the number of captured images in the period T20 is used as a correction amount for the first captured image in the period T20.
  • the value obtained by the division may be a correction amount that is integrated according to the acquisition order of the captured images. Thereby, a captured image can be corrected more accurately.
  • the image processing unit 7 aligns the plurality of captured images obtained during the second wavelength period, and generates the second image Pb.
  • the image processing unit 7 captures an image that serves as a reference for the position of the first image Pa (eg, a captured image in the period T12) and a captured image that serves as the position of the second image Pb (eg, captures in the period T18). And the second image Pb is corrected with a correction amount corresponding to the displacement. Thereby, the second image Pb can be aligned with the first image Pa, and the image Pt is obtained by synthesizing the corrected second image Pb and the first image Pa.
  • the control unit 42 causes the display device 44 to display the image Pt.
  • the portion of the sample X represented in the first image Pa is different from the portion represented in the second image Pb.
  • the drift amount can be obtained with high accuracy.
  • FIG. 9 is a diagram showing another form of the illumination and imaging sequence according to the present embodiment.
  • the control unit 42 provides a plurality of first wavelength periods Tc and second wavelength periods Td in the first period Ta.
  • the control unit 42 irradiates the first excitation light L2 (first excitation light; ON), irradiates the activation light L1 (activation light; ON), and generates fluorescence from the sample X.
  • the image is picked up by the image pickup unit 6 in one frame period (first image pickup process; ON).
  • the control unit 42 irradiates the second excitation light L3 (second excitation light; ON), irradiates the activation light L1 (activation light; ON), and emits from the sample X.
  • the imaging unit 6 is caused to capture a fluorescent image in one frame period (second imaging process; ON).
  • the control unit 42 alternately provides the first wavelength period Tc and the second wavelength period Td.
  • the image processing unit 7 obtains the drift amount between the current and previous first period Ta by comparing the immediately preceding second period Tb with the previous second period Tb. . By repeating this process, the image processing unit 7 corrects the positions of the captured images in each first period Ta and the captured image in the first period Ta serving as a reference.
  • the image processing unit 7 includes at least a part of the imaging results of the imaging unit 6 in the corrected first wavelength periods Tc and at least a part of the imaging results of the imaging unit 6 in the corrected second wavelength periods Td. Are used to form at least one image (for example, a super-resolution image) in which bright spots are merged.
  • the image processing unit 7 may calculate an average of the displacements in the entire area of the captured image, and use the average to perform correction uniformly throughout the entire area of the captured image.
  • the displacement may be calculated for each pixel) and correction may be performed for each region.
  • a third embodiment will be described.
  • an embodiment will be described in which the optical path of fluorescence from the reporter dye and the optical path of light used for detection of the position of the sample are spatially separated.
  • the reporter dye may be one type or two or more types.
  • the same components as those in the above-described embodiment are denoted by the same reference numerals, and the description thereof is simplified or omitted as appropriate.
  • FIG. 10 is a diagram showing the microscope apparatus 1 according to the present embodiment.
  • the imaging unit 6 according to the present embodiment includes a first imaging unit 55 and a second imaging unit 56.
  • Each of the first imaging unit 55 and the second imaging unit 56 is, for example, a camera provided with an imaging element.
  • the control unit 42 irradiates the activation light L1 and the first excitation light L2, causes the first imaging unit 55 to capture an image, causes the auxiliary light L4 to irradiate the sample, and causes the second imaging unit 56 to capture an image.
  • the image processing unit 7 calculates a displacement (drift amount) using the imaging result of the second imaging unit 56, corrects the imaging result of the first imaging unit 55 using this displacement, and after the correction.
  • a displacement drift amount
  • a super-resolution image is generated using the imaging result.
  • the control unit 42 causes the irradiation of the activation light L1 and the first excitation light L2 and the irradiation of the auxiliary light L4 to be performed in parallel, so that the imaging of the first imaging unit 55 and the imaging of the second imaging unit 56 are performed. Are executed in parallel.
  • the period during which the auxiliary light L4 is irradiated may be shifted from the period during which the activation light L1 and the first excitation light L2 are irradiated.
  • the period during which the first imaging unit 55 performs imaging may be at least partially shifted from the period during which the second imaging unit 56 performs imaging.
  • FIG. 11 is a diagram illustrating a part of the imaging unit and the imaging optical system according to the present embodiment.
  • the imaging optical system 5 guides the fluorescence L5 from the fluorescent material corresponding to the first excitation light L2 among the fluorescence from the sample X to the first imaging unit 55, and responds to the auxiliary light L4 among the fluorescence from the sample X.
  • the fluorescence L6 from the reference marker is guided to the second imaging unit 56.
  • the imaging optical system 5 includes a dichroic mirror 57 on the light exit side of the lens 28. The dichroic mirror 57 has a characteristic that the fluorescence L5 is transmitted and the fluorescence L6 is reflected.
  • a filter 58 and a lens 59 are provided in the optical path between the dichroic mirror 57 and the first imaging unit 55.
  • the filter 58 blocks light having a wavelength different from that of the fluorescence L5.
  • a filter 60 and a lens 61 are provided in the optical path between the dichroic mirror 57 and the second imaging unit 56.
  • the filter 60 blocks light having a wavelength different from that of the fluorescence L6.
  • FIG. 12 is a diagram showing a sequence of illumination and imaging according to the present embodiment.
  • the control unit 42 causes the first imaging unit 55 to continuously capture an image of the fluorescence L5 from the fluorescent material, and causes the second imaging unit 56 to intermittently capture an image of the fluorescence L6 from the reference marker.
  • the control unit 42 irradiates the first excitation light L2 and the activation light L1 through the period T2.
  • the control unit 42 irradiates the auxiliary light L4 and causes the first imaging unit 55 and the second imaging unit 56 to perform imaging. As shown in FIG.
  • the fluorescence L5 from the fluorescent material corresponding to the first excitation light L2 enters the first imaging unit 55, and the first imaging unit 55 captures an image of the fluorescence L5.
  • the control unit 42 causes the first imaging unit 55 to repeatedly capture images during the period T2.
  • the fluorescence L6 from the reference marker corresponding to the auxiliary light L4 enters the second imaging unit 56, and the second imaging unit 56 captures an image of the fluorescence L6.
  • the control unit 42 stops the irradiation of the auxiliary light L4 or reduces the irradiation intensity at or after the end of the imaging of the second imaging unit 56 in the period T2.
  • the control unit 42 repeatedly performs the period T2.
  • the image processing unit 7 corrects the imaging result of the first imaging unit 55 using the imaging result of the second imaging unit 56, and generates at least one image SP.
  • FIG. 13 is a diagram showing another form of the illumination and imaging sequence according to the present embodiment.
  • the controller 42 continuously irradiates the first excitation light L2 and the activation light L1 through the period T2.
  • the controller 42 irradiates the auxiliary light L4 intermittently in the period T2.
  • the control unit 42 irradiates the auxiliary light L4 and causes the second imaging unit 56 to capture an image.
  • the control unit 42 stops the irradiation of the auxiliary light L4 or reduces the irradiation intensity at or after the end of the imaging of the second imaging unit 56 in the period T2.
  • the control unit 42 causes the first imaging unit 55 and the second imaging unit 56 to continuously capture images in the period T2.
  • the control unit 42 causes the second imaging unit 56 to continuously capture the image of the fluorescence L6 from the reference marker. In the period T2, the charge readout is repeatedly performed. In the frame period Tf in which the auxiliary light L4 is not irradiated, the fluorescence L6 is hardly emitted from the reference marker. The control unit 42 repeatedly performs the period T2.
  • the image processing unit 7 corrects the imaging result of the first imaging unit 55 using the imaging result of the second imaging unit 56, and generates at least one image SP.
  • FIG. 14 is a diagram showing another form of the illumination and imaging sequence according to the present embodiment.
  • the controller 42 continuously irradiates the first excitation light L2 and the activation light L1 through the period T2.
  • the controller 42 continuously emits the auxiliary light L4 in the period T2.
  • the control unit 42 causes the first imaging unit 55 to continuously capture the image of the fluorescence L5 from the fluorescent substance, and causes the second imaging unit 56 to intermittently capture the image of the fluorescence L6 from the reference marker.
  • the control unit 42 repeatedly performs the period T2.
  • the image processing unit 7 corrects the imaging result of the first imaging unit 55 using the imaging result of the second imaging unit 56, and generates at least one image SP.
  • FIG. 15 is a diagram showing another form of the illumination and imaging sequence according to this embodiment.
  • the controller 42 continuously irradiates the first excitation light L2 and the activation light L1 through the period T2.
  • the controller 42 continuously emits the auxiliary light L4 in the period T2.
  • the control unit 42 causes the first imaging unit 55 to continuously capture the image of the fluorescence L5 from the fluorescent material, and causes the second imaging unit 56 to continuously capture the image of the fluorescence L6 from the reference marker.
  • a plurality of images obtained by capturing an image of the fluorescence L6 from the reference marker are obtained in the period T2.
  • the image processing unit 7 corrects the captured image captured by the first imaging unit 55 using one or more captured images from the captured images captured by the second imaging unit 56 in the period T2.
  • the control unit 42 repeatedly performs the period T2.
  • the image processing unit 7 corrects the imaging result of the first imaging unit 55 using the imaging result of the second imaging unit 56, and generates at least one image SP.
  • FIG. 16 is a flowchart showing an example of processing for setting observation conditions (processing in step S23 in FIG. 17).
  • step S30 for example, the user selects the wavelength of the first excitation light L2 and the wavelength of the activation light L1, and the control unit 42 sets the wavelength of the first excitation light L2 and the wavelength of the activation light L1.
  • step S31 the control unit 42 sets the intensity of the first excitation light L2 and the intensity of the activation light L1.
  • step S32 for example, the user selects the wavelength of the auxiliary light L4, and the control unit 42 sets the wavelength of the auxiliary light L4.
  • step S33 the control unit 42 sets the intensity of the auxiliary light L4.
  • step S34 the control unit 42 sets imaging conditions.
  • control unit 42 adjusts the exposure time, gain, and the like of the first imaging unit 55 according to the type of fluorescent material.
  • the control unit 42 adjusts the exposure time, gain, and the like of the second imaging unit 56 according to the type of the second fluorescent material.
  • the control unit 42 sets the total number of frames for imaging according to the first excitation light L2.
  • the total number of frames corresponds to, for example, the number of captured images required to generate at least one super-resolution image.
  • the total number of frames may be the number of frames required to generate a plurality of images.
  • FIG. 17 is a flowchart showing an observation method according to this embodiment.
  • the control unit 42 sets observation conditions.
  • the control unit 42 irradiates the activation light L1, the first excitation light L2, and the auxiliary light L4.
  • the auxiliary light L4 is irradiated in parallel with the irradiation of the activation light L1 and the first excitation light L2, for example.
  • the irradiation with the auxiliary light L4 may be performed intermittently during a part of the period during which the activation light L1 and the first excitation light L2 are irradiated.
  • the imaging optical system 5 forms an image of fluorescence emitted from the sample X.
  • the imaging optical system 5 forms an image of the fluorescence L5 emitted from the sample X on the first imaging unit 55, and forms an image of the fluorescence L6 from the reference marker on the second imaging unit 56.
  • the control unit 42 causes the imaging unit 6 to capture a fluorescent image.
  • the control unit 42 causes the first imaging unit 55 to capture an image of the fluorescence L5 emitted from the sample X, and causes the second imaging unit 56 to capture an image of the fluorescence L6 from the reference marker.
  • control unit 42 determines to end imaging when the preset number of imaging times (number of frame periods) is reached (step S27; Yes), generates an image in step S28, and performs a series of processing. finish.
  • step S27; No the control unit 42 returns to step S26 and repeats the imaging.
  • the auxiliary light L4 is irradiated intermittently as shown in FIGS. 12 and 13, for example, in the observation condition setting process (see FIG. 17, step S23), a frame period during which the auxiliary light L4 is irradiated is set.
  • the auxiliary light L4 may be irradiated based on this setting (see step S24 in FIG. 17).
  • the imaging frequency corresponding to the auxiliary light L4 may be set as in S7, and imaging may be performed based on this setting.
  • a fourth embodiment will be described.
  • the reporter dye may be one type or two or more types.
  • the same components as those in the above-described embodiment are denoted by the same reference numerals, and the description thereof is simplified or omitted as appropriate.
  • FIG. 18 is a diagram showing the microscope apparatus 1 according to the present embodiment.
  • the imaging optical system 5 forms a fluorescence image from the activated fluorescent material in the first imaging region 6a of the imaging unit 6, and forms a fluorescence image from the reference marker in the second imaging region 6b of the imaging unit.
  • the control unit 42 irradiates the activated fluorescent material with the first excitation light L2, irradiates the reference marker with the auxiliary light L4, and causes the imaging unit 6 to capture images in a plurality of frame periods.
  • the image processing unit 7 corrects at least part of the imaging result obtained in the first imaging area 6a using the imaging result obtained in the second imaging area 6b, and uses at least part of the corrected imaging result. One image is generated.
  • FIG. 19 is a diagram illustrating a part of the imaging unit and the imaging optical system according to the fourth embodiment.
  • the imaging optical system 5 guides the fluorescence L5 from the fluorescent material corresponding to the first excitation light L2 among the fluorescence from the sample X to the first imaging region 6a, and corresponds to the auxiliary light L4 among the fluorescence from the sample X.
  • the fluorescence L6 from the reference marker is guided to the second imaging region 6b.
  • the imaging optical system 5 includes a dichroic mirror 57 on the light exit side of the lens 28.
  • the dichroic mirror 57 has a characteristic that the fluorescence L5 is transmitted and the fluorescence L6 is reflected.
  • the fluorescence L5 transmitted through the dichroic mirror 57 enters the mirror 65 through the filter 58, is reflected by the mirror 65, and enters the dichroic mirror 66.
  • the fluorescence L6 reflected by the dichroic mirror 57 is reflected by the mirror 67 and then enters the dichroic mirror 66 via the filter 60.
  • the dichroic mirror 66 has a characteristic that the fluorescence L5 is reflected and the fluorescence L6 is transmitted.
  • the fluorescence L5 reflected by the dichroic mirror 66 and the fluorescence L6 transmitted through the dichroic mirror 66 enter the imaging unit 6 through the lens 68.
  • At least one of the dichroic mirror 57, the mirror 65, the dichroic mirror 66, and the mirror 67 is configured so that the optical path of the fluorescence L5 toward the imaging unit 6 is shifted from the optical path of the fluorescence L6.
  • the angle with respect to the optical axis of 5 is adjusted.
  • the fluorescence L5 reflected by the dichroic mirror 66 enters the first imaging region 6a and does not enter the second imaging region 6b. Further, the fluorescence L6 transmitted through the dichroic mirror 66 enters the second imaging region 6b and does not enter the first imaging region 6a.
  • symbol Pg indicates an image obtained by the imaging unit 6.
  • a fluorescence image Im from the fluorescent material corresponding to the first excitation light L2 is shown in the area A1 corresponding to the first imaging area 6a, and the auxiliary light L4 is shown in the second imaging area 6b.
  • a fluorescent image Im2 from the corresponding reference marker is shown.
  • the image processing unit 7 illustrated in FIG. 1 and the like calculates the displacement (drift amount) of the microscope such as the stage 2 using the image data obtained in the second imaging region 6b, and uses the displacement to calculate the first imaging region.
  • the image data obtained in 6a is corrected, and an image (for example, a super-resolution image) indicating the structure of the sample X is generated using the corrected image data.
  • the illumination and imaging sequence may be, for example, the sequence shown in FIG. 13 or the sequence shown in FIG.
  • the first imaging unit is a first imaging region
  • the second imaging unit is a second imaging region.
  • the imaging element 40 (see FIG. 1) of the imaging unit 6 includes a CMOS image sensor.
  • the microscope apparatus 1 has a rolling shutter illumination mode (hereinafter referred to as an RS illumination mode) and a global exposure illumination mode (hereinafter referred to as a GE illumination mode), and can switch between these two illumination modes.
  • FIG. 20A is an explanatory diagram of the operation of the image sensor 40.
  • the image sensor 40 performs exposure and readout of charges for each row of pixels (lines) arranged in the horizontal direction.
  • the pixel group PX1 in the first row in the vertical direction starts exposure at time t1, ends exposure at time t2, and reads out charges.
  • the pixel group PX2 of one row next to the pixel group PX1 of one row starts exposure at time t3 after time t1, ends exposure at time t4, and then reads out charges. I do.
  • the image sensor 40 reads out charges in a line-sequential manner, and generates a single captured image X1 based on the charges read out from the pixel groups PX1 to PXJ in one row.
  • the imaging element 40 generates a captured image X2, a captured image X3,... By the same operation.
  • FIG. 20B is a diagram illustrating an RS illumination mode.
  • the sample covers all from the exposure start time t1 of the pixel group PX1 of one row corresponding to the frame period Tf1 (eg, the generation period of the captured image X1) to the exposure end time t5 of the pixel group PXJ of one row.
  • X is irradiated with the first excitation light L2, and fluorescence L5 from a fluorescent material corresponding to the first excitation light L2 is incident on the imaging element 40.
  • charges corresponding to the fluorescence L5 are accumulated from time t1 to time t5, so that a captured image X1 with less noise is obtained.
  • the time t8 between the exposure start time t6 of the pixel group PX1 in one row corresponding to the frame period Tf2 (eg, the generation period of the captured image X2) and the pixel group PXJ exposure end time t7 in the first row It is assumed that the irradiation with the first excitation light L2 is stopped and the irradiation with the second excitation light L3 is started.
  • fluorescence L7 from a fluorescent material corresponding to the second excitation light L3 is incident on the image sensor 40.
  • the captured image X2 is generated by mixing the charges due to the incidence of the fluorescence L5 and the charges due to the incidence of the fluorescence L7.
  • the captured image X2 is difficult to distinguish between the structure corresponding to the fluorescence L5 and the structure corresponding to the fluorescence L7 in the sample X, and is not used for generating a super-resolution image (for example, a discarded frame or an invalid frame).
  • a super-resolution image for example, a discarded frame or an invalid frame.
  • the fluorescence L7 having the wavelength is incident over the exposure period. Therefore, it is easy to distinguish the structure corresponding to the fluorescence L7, and the captured image X3 with less noise is obtained. It is done.
  • the captured image X2 is not used for generating a super-resolution image, the number of times of capturing necessary to secure the total number of frames increases, and the time required for capturing the total number of frames increases. Further, when the sample X is irradiated with excitation light when acquiring the captured image X2 that is not used for generating the super-resolution image, there is a possibility that the sample X may be damaged or discolored.
  • FIG. 21A is a diagram showing an explanatory diagram of the GE illumination mode.
  • the first excitation light L2 and the second excitation light are emitted from the time t10 when the exposure of the pixel group PX1 of one row can be started to the time t11 when the exposure of the pixel group PXJ of one row can be started. Irradiation with the light L3 is stopped. Then, irradiation of the first excitation light L2 is started at time t11, and irradiation of the first excitation light L2 is stopped at the exposure end time t12 of the pixel group PX1 in one row.
  • both the frame period Tf4 and the frame period Tf5 in which the wavelength of the excitation light is switched can be used to generate a super-resolution image, and a plurality of frame periods performed by the imaging unit 6 are performed.
  • the ratio of the frame period used for the image processing of the image processing unit 7 (hereinafter referred to as the frame utilization rate) can be made higher than that in the RS illumination mode.
  • FIG. 21B is an explanatory diagram of exposure efficiency in the GE illumination mode.
  • the frame utilization rate can be increased as compared with the RS illumination mode, but the exposure efficiency is lowered.
  • the exposure efficiency is the ratio of the length of the exposure period to the length of one frame period.
  • the length of one frame period is the time from the time t20 when the exposure of the pixel group in one row can be started to the charge readout time t21 of the pixel group in one row (in FIG. 21B). “Exposure time”).
  • the light shielding time D3 is a device parameter that depends on the charge reading speed of the image sensor 40, and as D2 increases, D3 / D2 decreases and ⁇ can be increased.
  • the control unit 42 uses excitation light (e.g., first excitation light L2 and second excitation light L3) in the frame period of the imaging unit 6 based on at least one of the frame utilization rate and the exposure efficiency.
  • excitation light e.g., first excitation light L2 and second excitation light L3
  • the control unit 42 sets the irradiation period of the excitation light by setting the illumination mode to the RS illumination mode (see FIG. 20B) or the GE illumination mode (see FIG. 21A).
  • FIG. 22 is a flowchart showing an observation method according to this embodiment.
  • the control unit 42 determines the exposure time. For example, the control unit 42 determines the exposure time to be a value specified by the user or a predetermined set value.
  • the control unit 42 calculates the exposure efficiency when the GE illumination mode is adopted using the exposure time (D1) determined in step S40.
  • the light shielding time D3 is an apparatus parameter, and D2 is obtained from D1 and D3, so that ⁇ can be obtained.
  • the control unit 42 determines whether or not the exposure efficiency ⁇ is greater than or equal to a threshold value. This threshold is an arbitrarily set value, for example, 90%.
  • step S42 When it determines with (eta) being more than a threshold value (step S42; Yes), the control part 42 sets an illumination mode to GE illumination mode in step S46. In this case, the frame utilization rate can be increased as compared with the RS illumination mode while ensuring the exposure efficiency ⁇ at or above the threshold. Moreover, when it determines with the exposure efficiency (eta) being less than a threshold value (step S42; No), the control part 42 calculates the processing time at the time of employ
  • step S44 When it determines with the processing time being less than a threshold value (step S44; Yes), the control part 42 sets illumination mode to RS illumination mode in step S45. In this case, a captured image with less noise can be obtained while keeping the processing time below the threshold.
  • step S44; No the control part 42 sets an illumination mode to GE illumination mode in step S46.
  • the control unit 42 irradiates the activated fluorescent material with excitation light in the GE illumination mode or the RS illumination mode, and causes the fluorescence image from the activated fluorescent material to be captured by the imaging unit 6 in a plurality of frame periods. Let's take an image.
  • the image processing unit 7 generates one image using at least a part of the imaging result of the imaging unit 6.
  • step S44 is a determination process for determining whether or not the number of captured images (the number of discarded frames and the number of invalid frames) that are not used for image processing is less than a threshold value, instead of the determination process based on the processing time.
  • the control unit 42 performs the determination process corresponding to the processing time (step S44) after the determination process corresponding to the exposure efficiency (step S42), but the determination process of step S42 is performed as the determination process of step S44. You may go after.
  • the control unit 42 may calculate a processing time when RS illumination is employed (eg, step S43), and then determine whether the processing time is less than a threshold value. .
  • the control unit 42 may set the RS illumination mode when it is determined that the processing time is less than the threshold, and may perform the determination process of step S42 when it is determined that the processing time is equal to or greater than the threshold.
  • control part 42 does not need to perform the determination process (step S44) according to processing time. For example, when determining that the exposure efficiency ⁇ is less than the threshold value in step S42 (step S42; No), the control unit 42 does not perform the processing in steps S43 and S44, and changes the illumination mode in step S45 to the RS illumination mode. May be set. Further, the control unit 42 may not perform the determination process (step S42) according to the exposure efficiency ⁇ . For example, the control unit 42 may set the illumination mode to the GE illumination mode or the RS illumination mode by performing the processing of step S43 and step S44 without performing the processing of step S41 and step S42.
  • control unit 42 performs excitation in the frame period of the imaging unit based on the relationship between the irradiation timing of the activation light L1 and the irradiation timing of the excitation light (first excitation light L2 and second excitation light L3).
  • Set the light irradiation period The relationship between the irradiation timing of the activation light L1 and the irradiation timing of the excitation light (first excitation light L2, second excitation light L3) is determined by, for example, the type of fluorescent material.
  • FIG. 23 is a diagram illustrating an example of an illumination and imaging sequence.
  • FIG. 23A shows an example of using a fluorescent material that contains a reporter dye and does not contain an activator dye.
  • the irradiation with the activation light L1 and the irradiation with the first excitation light L2 are performed in parallel.
  • the control unit 42 causes the imaging unit 6 to perform imaging processing in a plurality of frame periods without irradiating the activation light L1 and the first excitation light L2 and irradiating the second excitation light L3 in the period T25. .
  • the second excitation light L3 is irradiated in parallel with the activation light L1.
  • the control unit 42 causes the imaging unit 6 to perform imaging processing in a plurality of frame periods without irradiating the activation light L1 and the second excitation light L3 and not irradiating the first excitation light L2.
  • the intensity of the activation light L1 may be different between the period T25 and the period T26.
  • the imaging element 40 receives fluorescence from the fluorescent substance corresponding to the first excitation light L2 and the second excitation light L3.
  • the fluorescence from the corresponding fluorescent material enters. Therefore, the captured image in the frame period Tf10 is not used for image processing, for example.
  • the period T26 includes 15 frame periods, the frame utilization rate is 14/15, and an increase in processing time can be ignored as compared with the case where the GE illumination mode is adopted. There are many cases.
  • FIG. 23B shows an example of using a fluorescent substance containing a reporter dye and an activator dye, for example.
  • the irradiation with the activation light L1, the irradiation with the first excitation light L2, and the irradiation with the second excitation light L3 are switched in terms of time.
  • the control unit 42 irradiates the imaging unit 6 with a plurality of frames without irradiating the activation light L1 in the period T27, then irradiating the first excitation light L2 and irradiating the second excitation light L3 in the period T28.
  • the imaging process is executed in a period.
  • control unit 42 irradiates the imaging unit 6 with a plurality of frames without irradiating the activation light L1 in the period T29, then irradiating the second excitation light L3 in the period T30, and not irradiating the first excitation light L2.
  • the imaging process is executed in a period.
  • the control unit 42 repeatedly provides a period including, for example, a period T28 to a period T30.
  • the period in which the fluorescence from the fluorescent material corresponding to the first excitation light L2 enters the imaging element 40 from the sample X is The pixel group PX1 in one row and the pixel group PXJ in one row shown in FIG. 20 are different. Therefore, when the RS illumination mode is employed, the captured image in the frame period Tf11 is not used for image processing, for example.
  • the period T28 includes three frame periods, and the frame utilization rate when the captured image in the frame period Tf11 is not used is 2/3, and the GE illumination mode is adopted. In many cases, the increase in processing time is not negligible.
  • the frame utilization rate is 1/3.
  • the frame utilization rate is 1/3.
  • the frame utilization rate is increased and the processing time can be shortened as compared with the case where the RS illumination mode is employed.
  • a desired captured image can be easily obtained in the first frame period (eg, frame period Tf11, frame period Tf13) after the activation light L1 is irradiated, when the GE illumination mode is employed, the desired captured image is obtained. Can be used to perform image processing.
  • FIG. 24 is a flowchart showing an observation method according to this embodiment.
  • the control unit 42 determines whether or not the activation light L1 and the excitation light (the first excitation light L2 and the second excitation light L3) are irradiated in parallel. For example, the control unit 42 performs the determination process in step S50 based on input information from the user or setting information stored in advance in the storage device 43 or the like. For example, the user may instruct whether or not the activation light L1 and the excitation light are irradiated in parallel, and the control unit 42 may perform the determination process in step S50 according to the input information indicating the user's instruction. .
  • the control unit 42 refers to a database that associates the type of fluorescent substance with the irradiation timing of the activation light and the excitation light according to the type of fluorescent substance. Information on the activation timing of the activation light and excitation light may be acquired, and the determination process in step S50 may be performed based on this information.
  • the control unit 42 determines that the activation light L1 and the excitation light are irradiated in parallel (eg, FIG. 23A) (step S50; Yes)
  • the illumination mode is set to RS illumination in step S51. To do.
  • step S50 when the control unit 42 determines that the activation light L1 and the excitation light are not irradiated in parallel (eg, FIG. 23B) (step S50; No), the illumination mode is changed to GE illumination in step S52.
  • the control unit 42 sets the GE illumination mode according to the frequency (eg, frequency) at which the wavelength of the illumination light (eg, the activation light L1, the first excitation light L2, and the second excitation light L3) is switched. Alternatively, it may be determined whether to set the RS illumination mode.
  • control unit 42 sets the illumination mode to the GE illumination mode when the frequency at which the wavelength of the illumination light is switched is greater than or equal to the threshold, and sets the illumination mode to RS illumination when the frequency at which the wavelength of the illumination light is switched is less than the threshold.
  • the mode may be set.
  • a seventh embodiment will be described.
  • a mode for generating a three-dimensional super-resolution image will be described.
  • the illumination sequence may be any of the above-described embodiments, or a combination of the above-described embodiments.
  • the same components as those in the above-described embodiment are denoted by the same reference numerals, and the description thereof is simplified or omitted as appropriate.
  • FIG. 25 is a diagram showing a microscope apparatus according to the seventh embodiment.
  • the imaging optical system 5 according to this embodiment includes an optical member 52.
  • the optical member 52 is, for example, a cylindrical lens.
  • the optical member 52 is detachably provided in the optical path between the lens 27 and the lens 28.
  • the optical member 52 is retracted from the optical path of the imaging optical system 5 in a mode for generating a two-dimensional super-resolution image, and is in the optical path of the imaging optical system 5 in a mode for generating a three-dimensional super-resolution image. Inserted.
  • the fluorescence image from the fluorescent material approaches a circle as the fluorescent material is closer to the in-focus position of the imaging optical system 5, and the fluorescent material is bound.
  • the flatness increases as the distance from the in-focus position of the image optical system 5 increases.
  • the direction of the major axis and the minor axis of the ellipse is reversed between the case where the fluorescent substance is present on the front pin side and the case where the fluorescent substance is present on the rear pin side with respect to the focusing position of the imaging optical system 5
  • the amount of displacement and the direction of displacement with respect to the in-focus position can be determined from the flatness and the major and minor axes of the ellipse.
  • the microscope apparatus 1 uses, for example, calibration to determine the position of the fluorescent material in the direction parallel to the optical axis of the imaging optical system 5 using the relationship between the flatness ratio acquired in advance and the shift amount with respect to the in-focus position. Can be calculated.
  • imaging optics is used.
  • the displacement (drift amount) in the optical axis direction of the system 5 can also be calculated.
  • the image processing unit 7 can also perform correction using the displacement (drift amount) in the optical axis direction of the imaging optical system 5.
  • the control unit 42 includes, for example, a computer system.
  • the control unit 42 reads a control program stored in the storage device 43 and executes various processes according to the control program.
  • This control program irradiates, for example, an activation light that activates a fluorescent substance contained in a sample, an excitation light that excites the activated fluorescent substance, and an auxiliary light that excites a reference marker.
  • a control program for forming a fluorescent image of the image taking an image, performing image processing using the result of the imaging, and causing the computer to control the microscope apparatus for controlling the imaging.
  • the activated fluorescent substance is irradiated with excitation light, and images of fluorescence from the activated fluorescent substance are captured in a plurality of frame periods.
  • auxiliary light is emitted.
  • Irradiating the reference marker and capturing an image of the fluorescence from the reference marker, stopping the irradiation of the excitation light in the second period, or setting the intensity of the excitation light in the second period to the first of And reducing the intensity of auxiliary light in the first period or reducing the intensity of auxiliary light in the first period from the second period, and image processing includes: Using the imaging result obtained in the second period, at least a part of the imaging result obtained in the first period is corrected, and one image is generated using at least a part of the corrected imaging result Including doing.
  • control program irradiates activation light that activates the fluorescent substance contained in the sample, excitation light that excites the activated fluorescent substance, and auxiliary light that excites the reference marker,
  • This is a control program that forms an image of fluorescence from the image forming optical system, picks up an image by the image pickup unit, performs image processing using the result of the pick-up, and causes the computer to control the microscope apparatus that controls the pick-up.
  • the imaging unit includes a first imaging unit and a second imaging unit, and the imaging optical system forms an image of the fluorescence from the activated fluorescent substance on the first imaging unit, and the fluorescence from the reference marker An image is formed on the second imaging unit, and the control of the microscope apparatus is performed by irradiating the activated fluorescent material with excitation light, and the light from the activated fluorescent material is applied to the first imaging unit for a plurality of frame periods.
  • control program irradiates activation light that activates the fluorescent substance contained in the sample, excitation light that excites the activated fluorescent substance, and auxiliary light that excites the reference marker
  • a control program that forms an image of fluorescence from the imaging optical system captures the image by the imaging unit, performs image processing using the imaging result of the imaging, and causes the computer to control the microscope apparatus that controls imaging
  • the imaging optical system forms an image of fluorescence from the activated fluorescent substance in the first imaging region of the imaging unit, forms an image of fluorescence from the reference marker in the second imaging region of the imaging unit
  • the control of the microscope apparatus includes irradiating the activated fluorescent material with excitation light, irradiating the reference marker with auxiliary light, and causing the imaging unit to capture images in a plurality of frame periods. Obtained in the second imaging area That using the imaging results, at least a portion of the imaging result obtained in the first imaging area to correct, at least a portion of the imaging result after correction may be one comprising generating one image by using.
  • the above control program irradiates the activation light that activates the fluorescent substance contained in the sample and the excitation light that excites the activated fluorescent substance, and forms an image of fluorescence from the fluorescent substance
  • a control program for controlling a microscope apparatus that captures an image by an imaging unit, performs image processing using a result of the imaging, and controls imaging
  • the imaging unit includes a CMOS image sensor
  • the control of the microscope apparatus is Based on at least one of the exposure efficiency of the imaging unit, the ratio of the frame period used for image processing among the imaging results of the imaging unit, and the relationship between the irradiation timing of the activation light and the irradiation timing of the excitation light,
  • the irradiation period of the excitation light in the frame period is set, and the activated fluorescent material is irradiated with the excitation light, and the fluorescence image from the activated fluorescent material is displayed on the imaging unit.
  • control programs described above may be provided by being recorded on a computer-readable storage medium.

Abstract

【課題】顕微鏡の変位を精度よく検出可能な顕微鏡装置を提供する。 【解決手段】顕微鏡装置（１）は、撮像部（６）と、画像処理部（７）と、制御部（４２）と、を備え、制御部は、第１の期間において、励起光を照射させ、活性化された蛍光物質からの蛍光の像を撮像部に複数のフレーム期間で撮像させ、第２の期間において、補助光を基準マーカに対して照射させ、基準マーカからの蛍光の像を撮像部に撮像させ、第２の期間における励起光の照射を停止させ、または、第２の期間における励起光の強度を第１の期間より低減させ、第１の期間における補助光の照射を停止させ、または、第１の期間における補助光の強度を第２の期間より低減させ、画像処理部は、第２の期間で得られた撮像結果を用いて、第１の期間で得られた撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成する。

Description

顕微鏡装置、観察方法、及び制御プログラム
　本発明は、顕微鏡装置、観察方法、及び制御プログラムに関する。
　超解像顕微鏡の技術として、例えばSingle-molecule Localization Microscopy法がある。例えば、確率的光学再構築顕微鏡技術（Stochastic Optical Reconstruction Microscopy）を利用した顕微鏡装置（以下、ＳＴＯＲＭという）がある（例えば特許文献１参照）。ＳＴＯＲＭは、蛍光物質が付与された試料の観察に用いられる。蛍光物質は、例えば、活性化光の照射により活性化し、活性化した状態で励起光の照射により蛍光を発するか、または不活性化する。ＳＴＯＲＭは、例えば、蛍光物質を低密度で活性化し、活性化した蛍光物質のみを励起光の照射により発光させることで、蛍光の分布が疎な蛍光画像を取得する。蛍光画像において、蛍光物質の像は個々に分離され、個々の像の重心位置を求めることができる。ＳＴＯＲＭは、多数の蛍光画像から得られる多数の蛍光物質の位置にそれぞれ像を配置することで、高分解能の画像を得ることができる。また、時間経過とともに動く試料の観察において、蛍光ビーズなどの基準マーカを用いて、変位（ドリフト量）を算出する技術が提案されている。
米国特許出願公開第２００８／０１８２３３６号
　蛍光ビーズなどの基準マーカは、試料の観察用の蛍光物質と比較して、強い蛍光を発する。例えば、観察用の蛍光物質に合わせて活性化光、励起光の照射条件を設定すると、基準マーカから発せられた蛍光をカメラで検出した際に検出値が飽和し、顕微鏡におけるステージ等の変位（ドリフト量）の検出精度が低下する。本発明は、上述の事情に鑑みなされたものであり、顕微鏡の変位（ドリフト量）を精度よく検出し、ひいては試料の挙動を精度よく検出可能な顕微鏡装置、観察方法、及び制御プログラムを提供することを目的とする。
　本発明の第１の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射する照明光学系と、蛍光物質からの蛍光の像を形成する結像光学系と、結像光学系が形成した像を撮像する撮像部と、撮像部の撮像結果を用いて画像処理を行う画像処理部と、撮像部を制御する制御部と、を備える顕微鏡装置であって、制御部は、第１の期間において、活性化された蛍光物質に対して励起光を照射させ、活性化された蛍光物質からの蛍光の像を撮像部に複数のフレーム期間で撮像させ、第２の期間において、補助光を基準マーカに対して照射させ、基準マーカからの蛍光の像を撮像部に撮像させ、第２の期間における励起光の照射を停止させ、または、第２の期間における励起光の強度を第１の期間より低減させ、第１の期間における補助光の照射を停止させ、または、第１の期間における補助光の強度を第２の期間より低減させ、画像処理部は、第２の期間で得られた撮像結果を用いて、第１の期間で得られた撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成する、ことを特徴とする顕微鏡装置が提供される。
　本発明の第２の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射する照明光学系と、蛍光物質からの蛍光の像を形成する結像光学系と、結像光学系が形成した像を撮像する撮像部と、撮像部の撮像結果を用いて画像処理を行う画像処理部と、撮像部を制御する制御部と、を備える顕微鏡装置であって、撮像部は、第１撮像部および第２撮像部を備え、結像光学系は、活性化された蛍光物質からの蛍光の像を第１撮像部に形成し、基準マーカからの蛍光の像を第２撮像部に形成し、制御部は、活性化された蛍光物質に対して励起光を照射させ、活性化された蛍光物質からの光を第１撮像部に複数のフレーム期間で撮像させ、補助光を基準マーカに対して照射させ、基準マーカからの蛍光の像を第２撮像部に撮像させ、画像処理部は、第２撮像部の撮像結果を用いて、第１撮像部の撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成する、ことを特徴とする顕微鏡装置が提供される。
　本発明の第３の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射する照明光学系と、蛍光物質からの蛍光の像を形成する結像光学系と、結像光学系が形成した像を撮像する撮像部と、撮像部の撮像結果を用いて画像処理を行う画像処理部と、撮像部を制御する制御部と、を備える顕微鏡装置であって、結像光学系は、活性化された蛍光物質からの蛍光の像を撮像部の第１撮像領域に形成し、基準マーカからの蛍光の像を撮像部の第２撮像領域に形成し、制御部は、活性化された蛍光物質に対して励起光を照射させ、基準マーカに対して補助光を照射させ、撮像部に複数のフレーム期間で撮像させ、画像処理部は、第２撮像領域で得られる撮像結果を用いて、第１撮像領域で得られる撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成する、ことを特徴とする顕微鏡装置が提供される。
　本発明の第４の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光とを照射する照明光学系と、蛍光物質からの蛍光の像を形成する結像光学系と、結像光学系が形成した像を撮像する撮像部と、撮像部の撮像結果を用いて画像処理を行う画像処理部と、撮像部を制御する制御部と、を備える顕微鏡装置であって、撮像部は、ＣＭＯＳイメージセンサを含み、制御部は、撮像部の露光効率、撮像部の撮像結果のうち画像処理に用いられるフレーム期間の比率、及び活性化光の照射タイミングと励起光の照射タイミングとの関係の少なくとも１つに基づいて、撮像部のフレーム期間における励起光の照射期間を設定し、活性化された蛍光物質に対して励起光を照射させ、活性化された蛍光物質からの蛍光の像を撮像部に複数のフレーム期間で撮像させ、画像処理部は、撮像部の撮像結果の少なくとも一部を用いて、１枚の画像を生成する、ことを特徴とする顕微鏡装置が提供される。
　本発明の第５の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射することと、蛍光物質からの蛍光の像を形成することと、像を撮像することと、撮像の結果を用いて画像処理を行うことと、撮像を制御することと、を含む観察方法であって、制御は、第１の期間において、活性化された蛍光物質に対して励起光を照射させ、活性化された蛍光物質からの蛍光の像を複数のフレーム期間で撮像させることと、第２の期間において、補助光を基準マーカに対して照射させ、基準マーカからの蛍光の像を撮像させることと、第２の期間における励起光の照射を停止させること、または、第２の期間における励起光の強度を第１の期間より低減させることと、第１の期間における補助光の照射を停止させること、または、第１の期間における補助光の強度を第２の期間より低減させることと、を含み、画像処理は、第２の期間で得られた撮像結果を用いて、第１の期間で得られた撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、ことを特徴とする観察方法が提供される。
　本発明の第６の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射することと、蛍光物質からの蛍光の像を結像光学系によって形成することと、像を撮像部によって撮像することと、撮像の結果を用いて画像処理を行うことと、撮像を制御することと、を含む観察方法であって、撮像部は、第１撮像部および第２撮像部を備え、結像光学系は、活性化された蛍光物質からの蛍光の像を第１撮像部に形成し、基準マーカからの蛍光の像を第２撮像部に形成し、制御は、活性化された蛍光物質に対して励起光を照射させ、活性化された蛍光物質からの光を第１撮像部に複数のフレーム期間で撮像させることと、補助光を基準マーカに対して照射させ、基準マーカからの蛍光の像を第２撮像部に撮像させることと、を含み、画像処理は、第２撮像部の撮像結果を用いて、第１撮像部の撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、ことを特徴とする観察方法が提供される。
　本発明の第７の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射することと、蛍光物質からの蛍光の像を結像光学系によって形成することと、像を撮像部によって撮像することと、撮像の撮像結果を用いて画像処理を行うことと、撮像を制御することと、を含む観察方法であって、結像光学系は、活性化された蛍光物質からの蛍光の像を撮像部の第１撮像領域に形成し、基準マーカからの蛍光の像を撮像部の第２撮像領域に形成し、制御は、活性化された蛍光物質に対して励起光を照射させ、基準マーカに対して補助光を照射させ、撮像部に複数のフレーム期間で撮像させることを含み、画像処理は、第２撮像領域で得られる撮像結果を用いて、第１撮像領域で得られる撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、ことを特徴とする観察方法が提供される。
　本発明の第８の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光とを照射することと、蛍光物質からの蛍光の像を形成することと、像を撮像部によって撮像することと、撮像の結果を用いて画像処理を行うことと、撮像を制御することと、を含む観察方法であって、撮像部は、ＣＭＯＳイメージセンサを含み、制御は、撮像部の露光効率、撮像部の撮像結果のうち画像処理に用いられるフレーム期間の比率、及び活性化光の照射タイミングと励起光の照射タイミングとの関係の少なくとも１つに基づいて、撮像部のフレーム期間における励起光の照射期間を設定し、活性化された蛍光物質に対して励起光を照射させることと、活性化された蛍光物質からの蛍光の像を撮像部に複数のフレーム期間で撮像させることと、を含み、画像処理は、撮像の結果の少なくとも一部を用いて、１枚の画像を生成することを含む、ことを特徴とする観察方法が提供される。
　本発明の第９の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射し、蛍光物質からの蛍光の像を形成し、像を撮像し、撮像の結果を用いて画像処理を行い、撮像を制御する顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、顕微鏡装置の制御は、第１の期間において、活性化された蛍光物質に対して励起光を照射させ、活性化された蛍光物質からの蛍光の像を複数のフレーム期間で撮像させることと、第２の期間において、補助光を基準マーカに対して照射させ、基準マーカからの蛍光の像を撮像させることと、第２の期間における励起光の照射を停止させること、または、第２の期間における励起光の強度を第１の期間より低減させることと、第１の期間における補助光の照射を停止させること、または、第１の期間における補助光の強度を第２の期間より低減させることと、を含み、画像処理は、第２の期間で得られた撮像結果を用いて、第１の期間で得られた撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、ことを特徴とする制御プログラムが提供される。
　本発明の第１０の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射し、蛍光物質からの蛍光の像を結像光学系によって形成し、像を撮像部によって撮像し、撮像の結果を用いて画像処理を行い、撮像を制御する顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、撮像部は、第１撮像部および第２撮像部を備え、結像光学系は、活性化された蛍光物質からの蛍光の像を第１撮像部に形成し、基準マーカからの蛍光の像を第２撮像部に形成し、顕微鏡装置の制御は、活性化された蛍光物質に対して励起光を照射させ、活性化された蛍光物質からの光を第１撮像部に複数のフレーム期間で撮像させることと、補助光を基準マーカに対して照射させ、基準マーカからの蛍光の像を第２撮像部に撮像させることと、を含み、画像処理は、第２撮像部の撮像結果を用いて、第１撮像部の撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、ことを特徴とする制御プログラムが提供される。
　本発明の第１１の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射し、蛍光物質からの蛍光の像を結像光学系によって形成し、像を撮像部によって撮像し、撮像の撮像結果を用いて画像処理を行い、撮像を制御する顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、結像光学系は、活性化された蛍光物質からの蛍光の像を撮像部の第１撮像領域に形成し、基準マーカからの蛍光の像を撮像部の第２撮像領域に形成し、顕微鏡装置の制御は、活性化された蛍光物質に対して励起光を照射させ、基準マーカに対して補助光を照射させ、撮像部に複数のフレーム期間で撮像させることを含み、画像処理は、第２撮像領域で得られる撮像結果を用いて、第１撮像領域で得られる撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、ことを特徴とする制御プログラムが提供される。
　本発明の第１２の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光とを照射し、蛍光物質からの蛍光の像を形成し、像を撮像部によって撮像し、撮像の結果を用いて画像処理を行い、撮像を制御する顕微鏡装置を制御する制御プログラムであって、撮像部は、ＣＭＯＳイメージセンサを含み、顕微鏡装置の制御は、撮像部の露光効率、撮像部の撮像結果のうち画像処理に用いられるフレーム期間の比率、及び活性化光の照射タイミングと励起光の照射タイミングとの関係の少なくとも１つに基づいて、撮像部のフレーム期間における励起光の照射期間を設定し、活性化された蛍光物質に対して励起光を照射させることと、活性化された蛍光物質からの蛍光の像を撮像部に複数のフレーム期間で撮像させることと、を含み、画像処理は、撮像の結果の少なくとも一部を用いて、１枚の画像を生成することを含む、ことを特徴とする制御プログラムが提供される。
　本発明によれば、顕微鏡の変位を精度よく検出し、ひいては試料の挙動を精度よく検出可能な顕微鏡装置、観察方法、及び制御プログラムを提供することができる。
第１実施形態に係る顕微鏡装置を示す図である。 第１実施形態に係る照明と撮像のシーケンスを示す図である。 第１の期間および第２の期間の照明と撮像のシーケンスを示す図である。 試料の変位を検出する処理、撮像結果を補正する処理を示す図である。 第１実施形態に係る観察条件の設定処理を示すフローチャートである。 第１実施形態に係る観察方法を示すフローチャートである。 第２実施形態に係る顕微鏡装置を示す図である。 第２実施形態に係る照明と撮像のシーケンスを示す図である。 第２実施形態に係る照明と撮像のシーケンスの他の形態を示す図である。 第３実施形態に係る顕微鏡装置を示す図である。 第３実施形態に係る撮像部および結像光学系の一部を示す図である。 第３実施形態に係る照明と撮像のシーケンスを示す図である。 第３実施形態に係る照明と撮像のシーケンスの他の形態を示す図である。 第３実施形態に係る照明と撮像のシーケンスの他の形態を示す図である。 第３実施形態に係る照明と撮像のシーケンスの他の形態を示す図である。 第３実施形態に係る観察条件の設定処理を示すフローチャートである。 第３実施形態に係る観察方法を示すフローチャートである。 第４実施形態に係る顕微鏡装置を示す図である。 第４実施形態に係る撮像部および結像光学系の一部を示す図である。 第５実施形態に係るローリングシャッタ照明の説明図である。 第５実施形態に係るグローバル露光照明の説明図である。 第５実施形態に係る観察方法を示すフローチャートである。 第６実施形態に係る照明と撮像のシーケンスを示す図である。 第６実施形態に係る観察方法を示すフローチャートである。 第７実施形態に係る顕微鏡装置を示す図である。
［第１実施形態］
　第１実施形態について説明する。実施形態に係る顕微鏡装置は、例えば、ＳＴＯＲＭ、ＰＡＬＭ等のSingle-molecule Localization Microscopy法を利用した顕微鏡装置である。本実施形態では、試料の標識に用いられるレポータ色素が１種類であって、レポータ色素からの蛍光の検出と試料の位置の検出とを時分割で行う形態について説明する。図１は、第１実施形態に係る顕微鏡装置１を示す図である。顕微鏡装置１は、ステージ２、光源装置３と、照明光学系４と、結像光学系５と、撮像部６と、制御装置８とを備える。制御装置８は、画像処理部７と、制御部４２とを備える。
　ステージ２は、観察対象の試料Ｘを保持する。ステージ２は、例えば、その上面に試料Ｘを載置可能なものである。ステージ２は、例えば、机等のように試料Ｘを移動させる機構を有さないものでもよいし、ＸＹステージのように試料Ｘを移動させる機構を有するものでもよい。顕微鏡装置１は、ステージ２を備えなくてもよい。
　試料Ｘは、生きた細胞（ライブセル）を含むものでもよいし、ホルムアルデヒド溶液等の組織固定液を用いて固定された細胞を含むものでもよく、組織等でもよい。蛍光物質は、シアニン（cyanine）染料等の蛍光色素でもよいし、蛍光タンパク質でもよい。蛍光色素は、活性化された状態（以下、活性化状態という）で励起光を受けた場合に蛍光を発するレポータ色素を含む。また、蛍光色素は、活性化光を受けてレポータ色素を活性化状態にするアクティベータ色素を含む場合がある。蛍光色素がアクティベータ色素を含まない場合、レポータ色素は、活性化光を受けて活性化状態になる。蛍光色素は、例えば、２種類のシアニン（cyanine）染料を結合させた染料対（例、Ｃｙ３－Ｃｙ５染料対、Ｃｙ２－Ｃｙ５染料対、Ｃｙ３－Ａｌｅｘａ Ｆｌｕｏｒ６４７染料対（Ａｌｅｘａ Ｆｌｕｏｒは登録商標））、１種類の染料（例、Ａｌｅｘａ Ｆｌｕｏｒ６４７（Ａｌｅｘａ Ｆｌｕｏｒは登録商標））である。蛍光タンパク質は、例えばＰＡ－ＧＦＰ、Ｄｒｏｎｐａなどである。
　光源装置３は、活性化光源１０ａ、励起光源１０ｂ、励起光源１０ｄ、シャッタ１１ａ、シャッタ１１ｂ、及びシャッタ１１ｄを備える。活性化光源１０ａは、試料Ｘに含まれる蛍光物質を活性化する活性化光Ｌ１を発する。蛍光物質は、例えば、生きた細胞において抗体を介して細胞膜タンパク質と結合したもの、固定化された細胞内に存在するもの等である。活性化光Ｌ１は、試料Ｘに含まれるレポータ色素を活性化する。ここでは、蛍光物質がレポータ色素を含み、アクティベータ色素を含まないものとする。蛍光物質のレポータ色素は、活性化光Ｌ１が照射されることで、蛍光を発することが可能な活性化状態となる。蛍光物質は、レポータ色素およびアクティベータ色素を含むものでもよく、この場合、アクティベータ色素は、活性化光Ｌ１を受けた場合にレポータ色素を活性化状態にする。
　励起光源１０ｂは、試料Ｘに含まれる蛍光物質を励起する第１波長の励起光（以下、第１励起光Ｌ２という）を発する。蛍光物質は、活性化状態において第１励起光Ｌ２が照射されると、蛍光を発するか、不活性化される。蛍光物質は、不活性化された状態（以下、不活性化状態という）において活性化光Ｌ１が照射されると、再度、活性化状態となる。
　励起光源１０ｄは、ステージ２等の顕微鏡の変位（ドリフト量）を検出するための補助光Ｌ４を発する。例えば、試料Ｘには、顕微鏡の変位（ドリフト量）を検出するための基準マーカが付与され、補助光は基準マーカの検出に利用される。基準マーカは、例えば、蛍光ビーズなどのように蛍光物質を含むものであり、補助光は、基準マーカを励起する。基準マーカは、例えば、活性化光が照射されなくとも補助光Ｌ４の照射により蛍光を発する。
　活性化光源１０ａ、励起光源１０ｂ、励起光源１０ｄは、例えば、それぞれ、レーザ光源などの固体光源を含み、蛍光物質の種類に応じた波長のレーザ光を発する。活性化光源１０ａの射出波長、励起光源１０ｂの射出波長は、例えば、約４０５ｎｍ、約４５７ｎｍ、約４８８ｎｍ、約５３２ｎｍ、約５６１ｎｍ、約６４０ｎｍ、約６４７ｎｍなどから選択される。励起光源１０ｄの射出波長は、例えば活性化光源１０ａ、励起光源１０ｂと異なるが、同じでもよい。ここでは、活性化光源１０ａの射出波長が約４０５ｎｍであり、励起光源１０ｂの射出波長が約４８８ｎｍ、約５６１ｎｍ、約６４７ｎｍから選択される波長であるとする。
　シャッタ１１ａは、制御部４２により制御され、活性化光源１０ａからの活性化光Ｌ１を通す状態と、活性化光Ｌ１を遮る状態とを切り替え可能である。シャッタ１１ｂは、制御部４２により制御され、励起光源１０ｂからの第１励起光Ｌ２を通す状態と、第１励起光Ｌ２を遮る状態とを切り替え可能である。シャッタ１１ｄは、制御部４２により制御され、励起光源１０ｄからの補助光Ｌ４を通す状態と、補助光Ｌ４を遮る状態とを切り替え可能である。
　なお、顕微鏡装置１は、光源装置３の少なくとも一部を備えなくてもよい。例えば、光源装置３は、ユニット化されており、顕微鏡装置１に交換可能（取り付け可能、取り外し可能）に設けられていてもよい。例えば、光源装置３は、顕微鏡装置１による観察時などに、顕微鏡装置１に取り付けられてもよい。
　照明光学系４は、活性化光Ｌ１と、第１励起光Ｌ２と、補助光Ｌ４とを試料Ｘに照射する。照明光学系４は、ダイクロイックミラー１２、ミラー５１、ダイクロイックミラー１３、音響光学素子１４、レンズ１５、導光部材１６、レンズ１７、レンズ１８、フィルタ１９、ダイクロイックミラー２０、及び対物レンズ２１を備える。ミラー５１は、例えば、励起光源１０ｄの射出側に設けられる。励起光源１０ｄからの補助光Ｌ４は、ミラー５１で反射し、ダイクロイックミラー１２に入射する。ダイクロイックミラー１２は、例えば、励起光源１０ｂの光射出側に設けられる。ダイクロイックミラー１２は、第１励起光Ｌ２が反射し、補助光Ｌ４が透過する特性を有する。ダイクロイックミラー１２で反射した第１励起光Ｌ２、及びダイクロイックミラー１２を透過した補助光Ｌ４は、同じ光路を通ってダイクロイックミラー１３に入射する。ダイクロイックミラー１３は、例えば、活性化光源１０ａの射出側に設けられる。ダイクロイックミラー１３は、活性化光Ｌ１が透過し、第１励起光Ｌ２および補助光Ｌ４が反射する特性を有する。ダイクロイックミラー１３を透過した活性化光Ｌ１と、ダイクロイックミラー１３で反射した第１励起光Ｌ２および補助光Ｌ４は、同じ光路を通って音響光学素子１４に入射する。
　音響光学素子１４は、例えば音響光学フィルタなどである。音響光学素子１４は、制御部４２に制御され、活性化光Ｌ１の光強度、第１励起光Ｌ２の光強度、及び補助光Ｌ４の光強度のそれぞれを調整可能である。また、音響光学素子１４は、制御部４２に制御され、活性化光Ｌ１、第１励起光Ｌ２、及び補助光Ｌ４のそれぞれについて、音響光学素子１４を通る状態（以下、通光状態という）と、音響光学素子１４により遮られる状態または照射強度が低減される状態（以下、これらを遮光状態という）とを切り替え可能である。
　例えば、蛍光物質がレポータ色素を含みアクティベータ色素を含まない場合、制御部４２は、活性化光Ｌ１の照射と第１励起光Ｌ２の照射とを並行して行うように、音響光学素子１４を制御する。また、蛍光物質がレポータ色素およびアクティベータ色素を含む場合、制御部４２は、例えば、活性化光Ｌ１の照射後に第１励起光Ｌ２を照射するように、音響光学素子１４を制御する。また、制御部４２は、活性化光Ｌ１および第１励起光Ｌ２の照射が停止または照射強度が低減された状態で補助光Ｌ４が照射されるように、音響光学素子１４を制御する。
　レンズ１５は、例えばカプラであり、音響光学素子１４からの活性化光Ｌ１、第１励起光Ｌ２、及び補助光Ｌ４のそれぞれを導光部材１６に集光する。導光部材１６は、例えば光ファイバであり、活性化光Ｌ１、第１励起光Ｌ２、及び補助光Ｌ４のそれぞれをレンズ１７へ導く。レンズ１７は、例えばコリメータであり、活性化光Ｌ１、第１励起光Ｌ２、及び補助光Ｌ４を平行光に変換する。レンズ１８は、例えば、活性化光Ｌ１、第１励起光Ｌ２、及び補助光Ｌ４をそれぞれ対物レンズ２１の瞳面の位置に集光する。フィルタ１９は、例えば、活性化光Ｌ１、第１励起光Ｌ２、及び補助光Ｌ４が透過し、他の波長の光（例、外光、迷光）の少なくとも一部を遮る特性を有する。ダイクロイックミラー２０は、活性化光Ｌ１第１励起光Ｌ２、及び補助光Ｌ４が反射し、試料Ｘからの光のうち所定の波長帯の光（例、蛍光）が透過する特性を有する。フィルタ１９を透過した光は、ダイクロイックミラー２０で反射し、対物レンズ２１に入射する。試料Ｘは、観察時に対物レンズ２１の焦点面に配置される。
　活性化光Ｌ１、第１励起光Ｌ２、及び補助光Ｌ４は、上述のような照明光学系４により、試料Ｘに照射される。なお、上述した照明光学系４は一例であり、適宜、変更可能である。例えば、上述した照明光学系４の一部が省略されてもよい。また、照明光学系４は、光源装置３の少なくとも一部を含んでいてもよい。また、照明光学系４は、開口絞り、照野絞りなどを備えてもよい。
　結像光学系５は、試料Ｘに含まれる蛍光物質からの蛍光の像を形成する。結像光学系５は、対物レンズ２１、ダイクロイックミラー２０、フィルタ２４、レンズ２５、光路切替部材２６、レンズ２７、及びレンズ２８を備える。結像光学系５は、対物レンズ２１およびダイクロイックミラー２０を照明光学系４と共用している。試料Ｘからの光は、対物レンズ２１およびダイクロイックミラー２０を通ってフィルタ２４に入射する。フィルタ２４は、試料Ｘからの光のうち所定の波長帯の光が選択的に透過する特性を有する。フィルタ２４は、例えば、試料Ｘで反射した照明光、外光、迷光などを遮断する。フィルタ２４は、例えば、フィルタ１９およびダイクロイックミラー２０とユニット化され、このフィルタユニット２９は、交換可能に設けられる。フィルタユニット２９は、例えば、光源装置３から射出される照明光の波長（例、活性化光Ｌ１の波長、第１励起光Ｌ２の波長、補助光Ｌ４の波長）、試料Ｘから放射される蛍光の波長などに応じて交換される。
　フィルタ２４を透過した光は、レンズ２５を介して光路切替部材２６に入射する。光路切替部材２６は、例えばプリズムであり、結像光学系５の光路に挿脱可能に設けられる。光路切替部材２６は、例えば、制御部４２により制御される駆動部（図示せず）によって、結像光学系５の光路に挿脱される。光路切替部材２６は、結像光学系５の光路に挿入された状態において、試料Ｘからの蛍光を内面反射によって撮像部６へ向かう光路へ導く。レンズ２７及びレンズ２８は、例えば、アフォーカル光学系を構成する。
　上述のような結像光学系５は、試料Ｘと光学的に共役な位置に、試料Ｘから放射された蛍光の像（例、蛍光の像）を形成する。上述した結像光学系５は一例であり、適宜、変更可能である。例えば、上述した結像光学系５の一部が省略されてもよい。また、結像光学系５は、開口絞り、視野絞りなどを備えてもよい。
　本実施形態に係る顕微鏡装置１は、観察範囲の設定などに利用される観察光学系３０を備える。観察光学系３０は、試料Ｘから観察者の視点Ｖｐに向かう順に、対物レンズ２１、ダイクロイックミラー２０、フィルタ２４、レンズ２５、ミラー３１、レンズ３２、ミラー３３、レンズ３４、レンズ３５、ミラー３６、及びレンズ３７を備える。観察光学系３０は、対物レンズ２１からレンズ２５までの構成を結像光学系５と共用している。試料Ｘからの光は、レンズ２５を通った後に、光路切替部材２６が結像光学系５の光路から退避した状態において、ミラー３１に入射する。ミラー３１で反射した光は、レンズ３２を介してミラー３３に入射し、ミラー３３で反射した後に、レンズ３４およびレンズ３５を介してミラー３６に入射する。ミラー３６で反射した光は、レンズ３７を介して、視点Ｖｐに入射する。観察光学系３０は、例えば、レンズ３５とレンズ３７との間の光路に試料Ｘの中間像を形成する。レンズ３８は、例えば接眼レンズであり、観察者は、中間像を観察することにより観察範囲の設定などを行うことができる。
　撮像部６は、結像光学系５が形成した像を撮像する。撮像部６は、撮像素子４０および制御部４１を備える。撮像素子４０は、例えばＣＭＯＳイメージセンサであるが、ＣＣＤイメージセンサなどの他のイメージセンサなどでもよい。撮像素子４０は、例えば、二次元的に配列された複数の画素を有し、各画素にフォトダイオードなどの光電変換素子が配置された構造である。撮像素子４０は、例えば、光電変換素子に蓄積された電荷を、読出回路によって読み出す。撮像素子４０は、読み出された電荷をデジタルデータ（例、階調値）に変換し、画素の位置と階調値とを関連付けたデジタル形式のデータを出力する。制御部４１は、制御部４２から入力される制御信号に基づいて撮像素子４０を動作させ、撮像画像のデータを制御部４２に出力する。また、撮像部６の制御部４１は、撮像素子４０における電荷の蓄積期間と電荷の読み出し期間を示す信号（撮像タイミングの情報）を制御部４２の制御部４２に出力する。
　制御装置８は、顕微鏡装置１の各部を総括して制御する。制御装置８は、制御部４２および画像処理部７を備える。制御部４２は、例えば、撮像部６から供給される信号（撮像タイミングを示す情報）に基づいて、音響光学素子１４を制御する。例えば、制御部４２は、撮像部６から供給される信号を音響光学素子１４に供給し、音響光学素子１４は、この信号をトリガーとして通光状態と遮光状態とを切り替える。
　例えば、制御部４２は、音響光学素子１４を制御し、試料Ｘに活性化光Ｌ１が照射される期間、及び試料Ｘに活性化光Ｌ１が照射されない期間を制御する。また、制御部４２は、例えば音響光学素子１４を制御し、試料Ｘに第１励起光Ｌ２が照射される期間、及び、試料Ｘに第１励起光Ｌ２が照射されない期間を制御する。また、制御部４２は、例えば音響光学素子１４を制御し、試料Ｘに補助光Ｌ４が照射される期間、及び試料Ｘに補助光Ｌ４が照射されない期間を制御する。制御部４２は、音響光学素子１４を制御し、試料Ｘに照射される活性化光Ｌ１の光強度、第１励起光Ｌ２の光強度、補助光Ｌ４の光強度をそれぞれ制御する。なお、撮像部６の制御部４１は、制御部４２の代わりに、音響光学素子１４を制御してもよい。例えば、撮像部６は、電荷の蓄積期間と電荷の読み出し期間を示す信号（撮像タイミングの情報）に基づいて、音響光学素子１４に遮光状態と通光状態とを切り替える制御信号を供給し、音響光学素子１４を制御してもよい。
　制御部４２は、撮像部６を制御し、撮像素子４０に撮像を実行させる。制御部４２の制御による照明と撮像のシーケンスについては、後述する。制御部４２は、撮像部６から撮像結果（撮像画像のデータ）を取得する。画像処理部７は、撮像部６の撮像結果を用いて画像処理を行う。画像処理部７が行う処理については、後に図３、図４等を参照しつつ、説明する。
　制御部４２は、記憶装置（記憶部）４３および表示装置（表示部）４４のそれぞれと通信可能に接続される。表示装置４４は、例えば、液晶ディスプレイなどである。表示装置４４は、例えば、顕微鏡装置１の各種設定を示す画像、撮像部６による撮像画像、撮像画像から生成された画像などの各種画像を表示する。制御部４２は、表示装置４４を制御し、表示装置４４に各種画像を表示させる。例えば、制御部４２は、画像処理部７が生成した画像（例、ＳＴＯＲＭ画像、ＰＡＬＭ画像などの超解像画像）のデータを表示装置４４に供給し、この画像を表示装置４４に表示させる。例えば、顕微鏡装置１は、観察対象の試料Ｘの超解像画像をライブ映像で表示すること等もできる。記憶装置４３は、例えば磁気ディスクや光学ディスクなどであり、顕微鏡装置１の各種設定のデータ、撮像部６による撮像画像のデータ、画像処理部７が生成した画像のデータなど各種データを記憶する。制御部４２は、例えば、記憶装置４３に記憶された超解像画像のデータを表示装置４４に供給し、超解像画像を表示装置４４に表示させることができる。制御部４２は、記憶装置４３を制御し、各種データを記憶装置４３に記憶させる。
　図２は、第１実施形態に係る照明と撮像のシーケンスを示す図である。制御部４２は、第１の期間Ｔａにおいて、活性化光Ｌ１を照射させる（活性化光；ＯＮ）。第１の期間Ｔａにおいて、制御部４２は、活性化された蛍光物質に対して第１励起光Ｌ２を照射させ、活性化された蛍光物質からの蛍光の像を撮像部６に複数のフレーム期間Ｔｆで撮像させる。制御部４２は、第２の期間Ｔｂにおいて、第１励起光Ｌ２の照射を停止または照射強度を低減した状態で補助光Ｌ４を基準マーカに対して照射させ、基準マーカからの蛍光の像を撮像部６に撮像させる。なお、本実施形態では、第１励起光Ｌ２と補助光Ｌ４とで波長が異なるものとするが、同じでもよい。第２の期間Ｔｂは、例えば、第１の期間Ｔａの１つ前のフレーム期間Ｔｆを含む。制御部４２は、期間Ｔ１の間に、第１の期間Ｔａと第２の期間Ｔｂとを交互に繰り返し行う。画像処理部７は、第２の期間Ｔｂにおける撮像画像を用いて、第１の期間Ｔａの撮像画像を補正する。画像処理部７は、補正によって、期間Ｔ１に含まれる複数の第１の期間Ｔａで得られる複数の撮像画像の位置合わせを行い、複数の撮像画像で蛍光の像に相当する輝点をマージすることによって、１枚の画像を生成する。図２では、第１の期間Ｔａにおいて、活性化光Ｌ１を照射させた場合を例示して説明したが、例えば、活性化光Ｌ１は、第１の期間Ｔａと異なる期間で照射されていてもよい。また、例えば、活性化光Ｌ１は、第１の期間Ｔａの前に照射されていてもよい。また、例えば、活性化光Ｌ１は、第２の期間Ｔｂと同じ期間で照射されてもよいし、第２の期間Ｔｂと異なる期間で照射されてもよい（以下同様）。
　図３は、第１の期間および第２の期間の照明と撮像のシーケンスを示す図である。図３において、符号Ｔｆは、撮像処理の１つのフレーム期間である。１つのフレーム期間Ｔｆは、１枚の撮像画像を生成する期間である。１つのフレーム期間Ｔｆは、例えば、電荷を蓄積する期間Ｔｆ１、及び期間Ｔｆ１に蓄積された電荷を読み出す期間Ｔｆ２を含む。なお、電荷の蓄積と電荷の読み出しとが並列に行われる場合、１つのフレーム期間Ｔｆは、蛍光に応じた電荷を蓄積する期間Ｔｆ１となる。１つのフレーム期間Ｔｆの長さは、例えば、フレームレートの逆数である。
　制御部４２は、第１の期間Ｔａにおいて、活性化光Ｌ１および第１励起光Ｌ２を試料Ｘに照射させ、撮像部６に試料Ｘを撮像させる。活性化光Ｌ１および第１励起光Ｌ２の照射は、試料Ｘからの蛍光の像が疎な分布になるように行われる。第１の期間Ｔａで取得される撮像画像（Ｐｄ１～Ｐｄｍ）は、例えば試料Ｘに含まれる蛍光物質（例えば、レポータ色素）からの蛍光の像を撮像したものであり、試料Ｘの構造を示す画像の生成に使われる。撮像部６は、各フレーム期間Ｔｆの撮像結果として、撮像画像Ｐｄ１～Ｐｄｎを生成する。画像処理部７は、撮像画像Ｐｄ１～Ｐｄｎの少なくとも一部を用いて１枚の画像ＳＰ（例、超解像画像）を生成する。以下の説明において、少なくとも１枚の画像ＳＰの生成に用いられる撮像画像（例えば、撮像画像Ｐｄ１～Ｐｄｎ）の一連の撮像処理を、適宜、１ピリオドの撮像という。画像ＳＰの生成に使われる撮像画像（例えば、撮像画像Ｐｄ１～Ｐｄｎ）の枚数は、例えば、予め設定されたデフォルト値、ユーザが指定する指定値などの設定値である。
　また、制御部４２は、第２の期間Ｔｂにおいて、活性化光Ｌ１および第１励起光Ｌ２の照射を停止または照射強度を低減した状態で補助光Ｌ４を照射させ、撮像部６に試料Ｘを撮像させる。第２の期間Ｔｂは、例えば、第１の期間Ｔａの１つ前のフレーム期間Ｔｆに行われる。例えば、図２において、最初の第２の期間Ｔｂの撮像により撮像画像Ｐｃ１が取得され、この第２の期間Ｔｂに続く第１の期間Ｔａにおいて所定回数（ｍ回）のフレーム期間Ｔｆの撮像により撮像画像Ｐｄ１～Ｐｄｍが取得され、続いて第２の期間Ｔｂの撮像により撮像画像Ｐｃ２が取得される。この場合、補助光Ｌ４に応じた撮像画像Ｐｃ１は、第１励起光Ｌ２に応じた撮像画像（Ｐｄ１～Ｐｄｍ）に対して、１／ｍの頻度で取得される。なお、所定回数（ｍ）は、任意に設定され、例えば、１、１０、１００、１０００、５０００、１００００などでもよい。図２において、符号Ｔ２は、１回の第２の期間Ｔｂと、この第２の期間Ｔｂに連続する所定回数の第１の期間Ｔａとを含む期間である。制御部４２は、期間Ｔ２を繰り返し行うことで、１ピリオドの撮像を行い、複数の撮像画像を取得する。
　画像処理部７は、第２の期間Ｔｂで得られた撮像結果（例、撮像画像Ｐｃ１、Ｐｃ２）を用いて、１つの第１の期間Ｔａで得られた撮像画像の少なくとも一部を補正する。また、画像処理部７は、複数の第１の期間Ｔａから得られる複数の撮像画像を補正し、補正後の撮像画像の少なくとも一部を用いて１枚の画像を生成する。例えば、撮像画像Ｐｄ１～Ｐｄｍのそれぞれにおいて、蛍光の像Ｉｍは、低密度で離散的に分布する。画像処理部７は、例えば、蛍光の像Ｉｍの光強度分布をガウシアン関数等でフィッティングすること等により、蛍光の像Ｉｍの位置情報（例、重心位置Ｑ）を算出する。また、画像処理部７は、第２の期間Ｔｂにおける撮像結果（撮像画像Ｐｃ１、Ｐｃ２）を用いて、変位（ドリフト量、移動量）を算出する。画像処理部７は、算出した変位を用いて、第１の期間Ｔａにおける撮像画像を補正する。例えば、画像処理部７は、撮像画像Ｐｃ１および撮像画像Ｐｃ２から算出される変位を用いて、撮像画像Ｐｃ２から撮像画像Ｐｃ３の間の第１の期間Ｔａに撮像される撮像画像の重心位置Ｑを補正する。画像処理部７は、例えば、補正後の多数の重心位置Ｑをマージすることにより、１枚の画像を生成（構築）する。
　図４は、試料の変位を検出する処理、撮像結果を補正する処理を示す図である。図４において、符号Ｐｃ１～Ｐｃｎは、補助光Ｌ４に応じた撮像画像を示す。画像処理部７は、例えば、撮像画像Ｐｃ２と撮像画像Ｐｃ３との間に撮像される撮像画像を同じ補正量で補正する。画像処理部７は、例えば、撮像画像Ｐｃ１と撮像画像Ｐｃ２を用いて、撮像画像Ｐｃ２から撮像画像Ｐｃ３の間の第１の期間Ｔａに撮像される撮像画像の補正量を算出する。図４において、符号Ｐｅ１の撮像画像は、撮像画像Ｐｃ１と撮像画像Ｐｃ２との間に撮像される撮像画像Ｐｄ１～Ｐｄｍのうちの１枚を代表的に示したものである。撮像画像Ｐｅ２～Ｐｅｎについても同様である。符号Ｐｆ２～Ｐｆｎは、補正された画像を示す。例えば、画像Ｐｆ２は、撮像画像Ｐｅ２を補正した画像である。
　撮像画像Ｐｃ１～Ｐｃｎには、それぞれ、基準マーカからの蛍光の像Ｉｍ２が分布している。撮像画像Ｐｃ２～Ｐｃｎには、１回前に撮像された撮像画像における蛍光の像を点線で示した。例えば、撮像画像Ｐｃ２における点線の部分は、撮像画像Ｐｃ１における蛍光の像Ｉｍ２に相当する。画像処理部７は、例えば、撮像画像Ｐｃ１と撮像画像Ｐｃ２とで対応する蛍光の像の変位Ｖ（ベクトル）をそれぞれ算出する。例えば、試料Ｘにおいて基準マーカの間隔が、変位（例、ステージ２の変位）として想定される上限値よりも大きくなるように、試料Ｘにおいて基準マーカを疎に分布させておく。そして、画像処理部７は、撮像画像Ｐｃ１と撮像画像Ｐｃ２とで最も近い蛍光の像を、同じ基準マーカに対応する蛍光の像であるものとし、対応する蛍光の像の変位を算出する。そして、画像処理部７は、複数の蛍光について変位Ｖの平均Ｖａ（ベクトル）を算出する。なお、画像処理部７は、撮像画像Ｐｃ１と撮像画像Ｐｃ２とを相対的に移動させながら画像相関を求め、最も相関係数が高くなる撮像画像Ｐｃ１と撮像画像Ｐｃ２との相対移動量を変位の平均としてもよい。
　画像処理部７は、撮像画像Ｐｃ１～Ｐｃｎのうち比較する２つの画像の双方に写っている蛍光の像を用いて、変位を求める。例えば、画像処理部７は、撮像画像Ｐｃ１と撮像画像Ｐｃ３とに同じ基準マーカに対応する蛍光の像が写っており、この蛍光の像が撮像画像Ｐｃ２に写っていない場合、この蛍光の像を用いて、撮像画像Ｐｃ１と撮像画像Ｐｃ３とで蛍光の像の変位を算出することができる。画像処理部７は、画像に写っている像の一部を変位の算出に用いなくてもよい。例えば、画像処理部７は、比較する２つの画像のうち一方のみに写っている蛍光の像を、変位の算出に用いなくてもよい。例えば、画像処理部７は、光強度、像のサイズに関する閾値に基づいて変位の算出に用いない像を選択してもよい。例えば、光強度、像のサイズに関する閾値は、ユーザにより設定されてもよい。例えば、画像処理部７は、所定の領域に写っている蛍光の像を、変位の算出に用いなくてもよい。この所定の領域は、ユーザにより選択されてもよい。上記は、画像に写っている像の一部を変位の算出に用いないものの指定であるが、逆に用いるものを選択、設定する様にするようにしてもよい。上記により、より精度よく補正することが可能となる。
　画像処理部７は、第１励起光Ｌ２に応じた撮像画像Ｐｅ２～Ｐｅｎのそれぞれについて、蛍光物質の重心位置を算出する。ここでは、撮像画像Ｐｅ１が基準の画像であるものとし、撮像画像Ｐｅ２における蛍光の像の位置を補正する例を説明する。画像処理部７は、撮像画像Ｐｅ２の各蛍光の像の重心位置Ｑを算出する。そして、画像処理部７は、補正対象の撮像画像Ｐｅ２の撮像タイミングに対応する補正用の撮像画像Ｐｃ２と、基準となる撮像画像Ｐｅ１の撮像タイミングに対応する補正用の撮像画像Ｐｃ１との変位の平均Ｖａを用いて、補正を行う。補正用の撮像画像Ｐｃ２は、例えば、補正対象の撮像画像Ｐｅ２が撮像された第１の期間Ｔａの直前の第２の期間Ｔｂで撮像された撮像画像である。画像処理部７は、画像Ｐｆ２のように、撮像画像Ｐｅ２における蛍光の像の重心位置Ｑを、変位の平均Ｖａを反転した補正量Ｖｂ（ベクトル）だけ移動させた重心位置Ｑ２に補正する。画像処理部７は、撮像画像Ｐｅ２と同様に、撮像画像Ｐｃ２から撮像画像Ｐｃ３の間の第１の期間Ｔａに撮像される複数の撮像画像の少なくとも一部を補正する。また、画像処理部７は、同様にして、撮像画像Ｐｃ３以降の第１の期間Ｔａに撮像される複数の撮像画像の少なくとも一部を補正する。画像処理部７は、例えば、基準の撮像画像（例、撮像画像Ｐｄ１～Ｐｄｍ）、及び補正された画像の少なくとも一部を用いて、１枚の画像を生成する。
　次に、上述の顕微鏡装置１の構成に基づき、本実施形態に係る観察方法について説明する。顕微鏡装置１は、例えば、観察条件の設定を行った後、撮像画像の取得などを行う。観察方法の全体のフローの説明に先立ち、まず観察条件の設定処理について説明する。図５は、観察条件の設定処理（後に図６に示すステップＳ１０の処理）を示すフローチャートである。
　ステップＳ１において、例えば、ユーザは、第１励起光Ｌ２の波長、活性化光Ｌ１の波長を選択し、制御部４２は、第１励起光Ｌ２の波長、活性化光Ｌ１の波長を設定する。例えば、制御部４２は、第１励起光Ｌ２の波長、活性化光Ｌ１の波長の候補を示すリストを表示装置４４に表示させ、ユーザの入力を受け付ける。制御部４２は、第１励起光Ｌ２の波長、活性化光Ｌ１の波長を、ユーザの入力に応じて設定する。なお、ユーザが蛍光物質の種類を指定し、制御部４２は、第１励起光Ｌ２の波長、活性化光Ｌ１の波長を、蛍光物質の種類に応じた波長に設定してもよい。この場合、例えば、蛍光物質の種類と、第１励起光Ｌ２の波長および活性化光Ｌ１の波長とを関連付けたテーブルデータを、予め記憶装置４３に記憶させておき、制御部４２は、このテーブルデータを用いて、第１励起光Ｌ２の波長、活性化光Ｌ１の波長を設定してもよい。ステップＳ２において、制御部４２は、第１励起光Ｌ２の強度、活性化光Ｌ１の強度を設定する。本実施形態では、第１励起光Ｌ２に応じた蛍光物質からの蛍光の像と、補助光Ｌ４に応じた基準マーカからの蛍光の像とを期間を分けて撮像するので、例えば、第１励起光Ｌ２、活性化光Ｌ１の波長、強度を蛍光物質からの蛍光の像の撮像に適した波長、強度に設定可能である。第１励起光Ｌ２の強度、活性化光Ｌ１の強度は、例えば、上記のテーブルデータに含まれてもよい。ステップＳ３において、制御部４２は、撮像条件の設定を行う。例えば、制御部４２は、撮像条件として、１つのフレーム期間Ｔｆの長さ（露光時間）を設定する。露光時間は、例えば、蛍光物質の種類、第１励起光Ｌ２の強度に応じて定められてもよく、上記のテーブルデータに含まれてもよい。
　ステップＳ４において、例えば、ユーザは、補助光Ｌ４の波長を選択し、制御部４２は、補助光Ｌ４の波長を設定する。ステップＳ４の処理は、例えば、ステップＳ１の処理と同様に、表示装置４４に表示された候補から選択する形態などでもよい。ステップＳ５において、制御部４２は、補助光Ｌ４の強度を設定する。本実施形態では、補助光Ｌ４に応じた基準マーカからの光と、第１励起光Ｌ２に応じた蛍光物質からの蛍光とを期間を分けて検出するので、例えば、補助光Ｌ４の波長、強度を基準マーカの検出に適した波長、強度に設定可能である。
　ステップＳ６において、制御部４２は、例えば、第１励起光Ｌ２に応じた撮像の総フレーム数、ピリオド数を設定する。総フレーム数は、ピリオド数に含まれるフレーム期間の総数である。例えば、１ピリオドに含まれるフレーム期間が２０００回であり、ピリオド数が１０である場合、総フレーム数は２０００×１０である。制御部４２は、例えば、総フレーム数とピリオド数を用いて、１ピリオドに含まれるフレーム期間の数を算出する。このように、総フレーム数、１ピリオドに含まれるフレーム期間の数、ピリオド数の３項目のパラメータうち、２項目の値が指定される場合、例えば制御部４２は、これらの値を用いて残り１項目の値を算出することができる。また、３項目のパラメータのうち少なくとも１項目の値は、予めデフォルト値として与えられてもよい。例えば、１項目のパラメータの値がデフォルト値で与えられる場合、ユーザは、１項目の値を指定し、制御部４２は、指定された値およびデフォルト値を用いて、残りの１項目のパラメータの値を算出してもよい。ステップＳ７において、制御部４２は、補助光Ｌ４に応じた撮像の頻度を設定する。補助光Ｌ４に応じた撮像の頻度は、例えば、第１励起光Ｌ２に応じた撮像を何回行うたびに、補助光Ｌ４に応じた撮像を行うかで表される。補助光Ｌ４に応じた撮像の頻度は、例えば、図３を参照した説明における所定回数（ｍ）である。制御部４２は、例えば、補助光Ｌ４に応じた撮像の頻度を、ユーザの指定値、あるいは予め記憶されたデフォルト値に設定する。
　次に、本実施形態に係る観察方法のフローについて説明する。図６は、本実施形態に係る観察方法を示すフローチャートである。ステップＳ１０において、制御部４２は、観察条件を設定する（図５参照）。制御部４２は、ステップＳ１１において、補助光Ｌ４の照射を開始させ、第２の期間Ｔｂを開始する。ステップＳ１２において、結像光学系５は、補助光Ｌ４に応じた基準マーカからの蛍光の像を形成する。ステップＳ１３において、制御部４２は、撮像部６に、補助光Ｌ４に応じた基準マーカからの蛍光の像を撮像させる。ステップＳ１４において、制御部４２は、補助光Ｌ４の照射を停止または照射強度を低減させ、第２の期間Ｔｂを終了する。ステップＳ１５において制御部４２は、活性化光Ｌ１、第１励起光Ｌ２の照射を開始させ、第１の期間Ｔａを開始する。ステップＳ１６において、結像光学系５は、第１励起光Ｌ２に応じた蛍光物質からの蛍光の像を形成する。ステップＳ１７において、制御部４２は、第１励起光Ｌ２に応じた蛍光物質からの蛍光の像を、撮像部６に撮像させる。ステップＳ８において、制御部４２は、第１の期間を終了するか否かを判定する。例えば、制御部４２は、ステップＳ３の撮像が完了した際に撮像回数（フレーム期間の数）のカウンタをインクリメントし、このカウンタと設定値との比較により、第１の期間Ｔａをするか否かを判定する。撮像回数の設定値は、例えば、図３を参照して説明した所定回数（ｍ）であり、補助光Ｌ４に応じた撮像の頻度の逆数に相当する。撮像回数の設定値は、例えば、ステップＳ１０の設定処理（図５のステップＳ７参照）で設定され、制御部４２は、撮像回数のカウンタが設定値に達した場合に、第１の期間Ｔａを終了すると判定する。制御部４２は、例えば、カウンタが設定値未満である場合に、第１の期間Ｔａを終了しないと判定し（ステップＳ１８；Ｎｏ）、ステップＳ１７の撮像処理を繰り返す。
　制御部４２は、第１の期間Ｔａを終了すると判定した場合（ステップＳ１８；Ｙｅｓ）、ステップＳ１９において、活性化光Ｌ１、第１励起光Ｌ２の照射を停止または照射強度を低減させ、第１の期間Ｔａを終了する。ステップＳ２０において、制御部４２は、撮像を終了するか否かを判定する。例えば、制御部４２は、撮像回数のカウンタが総フレーム数（図５のステップＳ６参照）に達した場合に、撮像を終了すると判定する。制御部４２は、撮像を終了しないと判定した場合（ステップＳ２０；Ｎｏ）、ステップＳ１１に戻り、補助光Ｌ４の照射を開始させ、第１の期間Ｔａに続く第２の期間Ｔｂを開始させる。制御部４２は、ステップＳ１１以降の処理を繰り返すことによって、総フレーム数に応じた撮像画像を取得させる。ステップＳ２１において、画像処理部７は、例えば、制御部４２が撮像を終了すると判定した場合（ステップＳ１９；Ｙｅｓ）、少なくとも１枚の画像を生成する。例えば、画像処理部７は、１ピリオドに含まれるフレーム期間の数を用いて、各ピリオドの撮像画像を特定する。画像処理部７は、特定した撮像画像の少なくとも一部を用いて、超解像画像を生成する。また、制御部４２は、画像処理部７が生成した超解像画像を表示装置４４に表示させる。
　なお、ステップＳ１０の設定処理（図５のステップＳ６参照）において、ピリオド数が２以上に設定されている場合、画像処理部７は、例えば、１ピリオドの撮像の結果を用いて１枚の画像ＳＰを生成し、ピリオド数に応じた数の画像ＳＰを生成する。画像処理部７は、画像ＳＰを生成する処理の少なくとも一部を、１ピリオドの撮像と並行して、行ってもよい。例えば、画像処理部７は、ステップＳ１７の撮像処理が行われるたびに、撮像画像のデータを取得し、その撮像画像に含まれる蛍光の像Ｉｍ（図３参照）の重心位置Ｑを算出してもよい。また、例えば、ピリオド数が２以上に設定されている場合、画像処理部７は、１ピリオドの撮像の結果を用いて画像ＳＰを生成する処理の少なくとも一部を、次の１ピリオドの撮像を行う間に行ってもよい。なお、本実施形態では、第１励起光Ｌ２と補助光Ｌ４とで波長が異なるが同じでもよく、この場合にも、第１励起光Ｌ２を停止または照射強度を低減した第２の期間Ｔｂで基準マーカからの蛍光の像を撮像するので、基準マーカの位置を精度よく検出することができ、ドリフト量を精度よく求めることができる。第１励起光Ｌ２と補助光Ｌ４とで波長が異なる場合、第１励起光Ｌ２により試料Ｘから放射される蛍光の像を撮像する際に、基準マーカからの蛍光の像が撮像画像に写り込むことを抑制することができる。本実施形態において、活性化光Ｌ１および第１励起光Ｌ２を照射するが、蛍光物質（レポータ色素）の種類によっては、活性化光Ｌ１を照射せずに励起光（例、第１励起光Ｌ２）を照射してもよく、以下の実施形態についても同様である。
［第２実施形態］
　第２実施形態について説明する。本実施形態では、標識に用いられるレポータ色素が２種類であって、レポータ色素からの蛍光の検出と試料の位置の検出とを時分割で行う形態について説明する。レポータ色素の数は１種類または３種類以上でもよい。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。
　図７は、第２実施形態に係る顕微鏡装置を示す図である。本実施形態において、光源装置３は、励起光源１０ｃおよびシャッタ１１ｃを備える。励起光源１０ｃは、試料Ｘに含まれる第２の蛍光物質を励起する第２波長の励起光（以下、第２励起光Ｌ３という）を発する。ここでは、励起光源１０ｃの射出波長は、例えば、約４８８ｎｍ、約５６１ｎｍ、約６４７ｎｍから選択される波長であるとする。第２の蛍光物質は、例えば、第１励起光Ｌ２に対応する蛍光物質（以下、第１の蛍光物質という）と同様に、レポータ色素を含み試料Ｘの標識に用いられる。第２の蛍光物質は、アクティベータ色素を含んでもよいし、アクティベータ色素を含まなくてもよい。第２の蛍光物質は、例えば、抗体を介して細胞のタンパク質などと結合したものであり、結合先のタンパク質の種類が第１の蛍光物質と異なる。第２の蛍光物質は、活性化光Ｌ１が照射されると、活性化状態になる。第２の蛍光物質を活性化する活性化光の波長は、例えば、第１の蛍光物質を活性化する活性化光Ｌ１の波長と同じであるが、異なってもよい。第２の蛍光物質は、活性化状態において第２励起光Ｌ３が照射されると、蛍光を発するか、不活性化される。第２の蛍光物質は、不活性化された状態（以下、不活性化状態という）において活性化光Ｌ１が照射されると、再度、活性化状態となる。シャッタ１１ｃは、制御部４２により制御され、励起光源１０ｃからの第２励起光Ｌ３を通す状態と、第２励起光Ｌ３を遮る状態とを切り替え可能である。
　照明光学系４は、励起光源１０ｃの出射側にダイクロイックミラー５０を備える。ダイクロイックミラー５０は、第２励起光Ｌ３が反射し、補助光Ｌ４が透過する特性を有する。励起光源１０ｃからのは、ダイクロイックミラー５０で反射し、ダイクロイックミラー１２を透過して、ダイクロイックミラー１３に入射する。ダイクロイックミラー１３およびダイクロイックミラー２０は、第２励起光Ｌ３が反射する特性を有し、第２励起光Ｌ３は、活性化光Ｌ１、第１励起光Ｌ２、及び補助光Ｌ４と同じ光路を通って、試料Ｘに照射される。制御部４２は、例えば、音響光学素子１４を制御し、第２励起光Ｌ３が音響光学素子１４を通る通光状態と、第２励起光Ｌ３が音響光学素子１４で遮られるまたは照射強度が低減される遮光状態とを切り替える。制御部４２は、試料Ｘに第２励起光Ｌ３を照射させ、撮像部６に撮像させる。
　図８は、本実施形態に係る照明と撮像のシーケンスを示す図である。制御部４２は、１ピリオドの撮像の期間Ｔ３に、第１波長期間（例、期間Ｔ１２、期間Ｔ１４、期間Ｔ１６）と、第２波長期間（例、期間Ｔ１８、期間Ｔ２０、期間Ｔ２２）とを設ける。本実施形態では、第１の期間Ｔａに、第１波長期間または第２波長期間が１つ含まれる。画像処理部７は、第１波長期間における撮像部６の撮像結果の少なくとも一部と、第２波長期間における撮像部の撮像結果の少なくとも一部とを用いて少なくとも１枚の画像を形成する。例えば、画像処理部７は、例えば、第１波長期間における撮像結果を用いて第１の画像Ｐａを生成し、第２波長期間における撮像結果を用いて第２の画像Ｐｂを生成する。例えば、第１の画像Ｐａおよび第２の画像Ｐｂは、試料Ｘの異なる構造を表した画像である。画像処理部７は、例えば、第１の画像Ｐａおよび第２の画像Ｐｂを用いて、画像Ｐｔを生成する。画像Ｐｔは、例えば、第１の画像Ｐａと第２の画像Ｐｂとを合成した画像である。なお、画像Ｐｔは、第１の画像Ｐａと第２の画像Ｐｂとを生成することなく、第１波長期間における撮像部６の撮像結果の少なくとも一部と、第２波長期間における撮像部の撮像結果の少なくとも一部とを用いて作成してもよい。以下、より詳しく説明する。
　制御部４２は、第１波長期間（例、期間Ｔ１２）において、活性化光Ｌ１を照射させ（活性化光；ＯＮ）、第１励起光Ｌ２を照射させ（第２励起光；ＯＮ）、活性化された第１の蛍光物質からの蛍光の像を撮像部６に複数のフレーム期間で連続的に撮像させる（第１撮像処理；ＯＮ）。制御部４２は、例えば、第１波長期間における活性化光Ｌ１の光強度を、第１の蛍光物質の種類に応じて調整する。制御部４２は、第１波長期間において撮像を連続的に行う各期間（例、期間Ｔ１２）の１つ前のフレーム期間（例、期間Ｔ１１）において、補助光Ｌ４を照射させ、基準マーカからの蛍光の像を撮像部６に撮像させる（第３撮像処理；ＯＮ）。画像処理部７は、例えば、期間Ｔ１４における試料Ｘの撮像画像を、期間Ｔ１４の１つ前の期間Ｔ１３の基準マーカの撮像画像と対応付けて、撮像画像の補正を行う。例えば、画像処理部７は、期間Ｔ１２の撮像画像と期間Ｔ１４の撮像画像とで位置合わせを行う際に、期間Ｔ１１の撮像画像と期間Ｔ１３の撮像画像を用いて、期間Ｔ１１から期間Ｔ１３までの基準マーカの変位を求め、この変位の分だけ期間Ｔ１４の撮像画像を補正することにより、期間Ｔ１４の撮像画像を期間Ｔ１２の撮像画像に位置合わせすることができる。すなわち、今回と前回の第１の期間Ｔａのドリフト量は、直前の第２の期間Ｔｂと、さらに１回前の第２の期間Ｔｂとの比較により求まる。この処理を繰り返すことにより、基準となる第１の期間Ｔａに位置合わせすることができる。このように、画像処理部７は、第１波長期間に得られる複数の撮像画像を位置合わせし、第１の画像Ｐａを生成する。
　また、制御部４２は、第２波長期間（例、期間Ｔ１８）において、活性化光Ｌ１を照射させ（活性化光；ＯＮ）、第２励起光Ｌ３を照射させ（第２励起光；ＯＮ）、活性化された第２の蛍光物質からの蛍光の像を撮像部６に複数のフレーム期間で連続的に撮像させる（第２撮像処理；ＯＮ）。制御部４２は、例えば、第２波長期間における活性化光Ｌ１の光強度を、第２の蛍光物質の種類に応じて調整する。制御部４２は、第２波長期間において撮像を連続的に行う各期間（例、期間Ｔ２０）の１つ前のフレーム期間（例、期間Ｔ１９）において、補助光Ｌ４を照射させ、基準マーカからの蛍光の像を撮像部６に撮像させる（第３撮像処理；ＯＮ）。画像処理部７は、例えば、期間Ｔ２０における試料Ｘの撮像画像を、期間Ｔ２０の１つ前の期間Ｔ１９の基準マーカの撮像画像と対応付けて、撮像画像の補正を行う。例えば、画像処理部７は、期間Ｔ１８の撮像画像と期間Ｔ２０の撮像画像とで位置合わせを行う際に、期間Ｔ１７の撮像画像と期間Ｔ１９の撮像画像を用いて、期間Ｔ１７から期間Ｔ１９までの基準マーカの変位を求め、この変位の分だけ期間Ｔ２０の撮像画像を補正することにより、期間Ｔ２０の撮像画像を期間Ｔ１８の撮像画像に位置合わせすることができる。なお、上記では、期間Ｔ１７から期間Ｔ１９までの基準マーカの変位の分だけ、期間Ｔ２０の撮像画像を補正する場合を例示したが、期間Ｔ１７から期間Ｔ１９までの基準マーカの変位を用いて、期間Ｔ２０の複数の撮像画像に対する補正量を個別に算出してもよい。例えば、期間Ｔ１７から期間Ｔ１９までの基準マーカの変位の量を、期間Ｔ２０の撮像画像において、線形補間してもよい。例えば、期間Ｔ１７から期間Ｔ１９までの基準マーカの変位の量を、期間Ｔ２０の撮像画像の数で除算した値を、期間Ｔ２０の１枚目の撮像画像に対する補正量とし、以後の撮像画像は、この除算した値を撮像画像の取得順序に応じて積算した補正量としてもよい。これにより、撮像画像をより精度よく補正できる。このように、画像処理部７は、第２波長期間に得られる複数の撮像画像を位置合わせし、第２の画像Ｐｂを生成する。また、画像処理部７は、第１の画像Ｐａの位置の基準となる撮像画像（例、期間Ｔ１２における撮像画像）と、第２の画像Ｐｂの位置となる撮像画像（例、期間Ｔ１８における撮像画像）とで生じたドリフト量を、期間Ｔ１１と期間Ｔ１７の撮像画像を用いて求め、この変位に応じた補正量で第２の画像Ｐｂを補正する。これにより、第２の画像Ｐｂを第１の画像Ｐａと位置合わせすることができ、補正後の第２の画像Ｐｂと、第１の画像Ｐａとを合成することにより、画像Ｐｔが得られる。制御部４２は、例えば、画像Ｐｔを表示装置４４に表示させる。
　ところで、試料Ｘのうち第１の画像Ｐａに表される部分は、第２の画像Ｐｂに表される部分と異なる。このような場合、自己相関によりドリフト量を求めることは難しいが、本実施形態によれば、ドリフト量を精度よく求めることができる。
　図９は、本実施形態に係る照明と撮像のシーケンスの他の形態を示す図である。制御部４２は、第１の期間Ｔａに第１波長期間Ｔｃと第２波長期間Ｔｄとを複数設ける。制御部４２は、第１波長期間Ｔｃにおいて、第１励起光Ｌ２を照射させ（第１励起光；ＯＮ）、活性化光Ｌ１を照射させ（活性化光；ＯＮ）、試料Ｘからの蛍光の像を撮像部６に１つのフレーム期間で撮像させる（第１撮像処理；ＯＮ）。また、制御部４２は、第２波長期間Ｔｄにおいて、第２励起光Ｌ３を照射させ（第２励起光；ＯＮ）、活性化光Ｌ１を照射させ（活性化光；ＯＮ）、試料Ｘからの蛍光の像を撮像部６に１つのフレーム期間で撮像させる（第２撮像処理；ＯＮ）。制御部４２は、例えば、第１波長期間Ｔｃと第２波長期間Ｔｄとを交互に設ける。画像処理部７は、図８と同様に、今回と前回の第１の期間Ｔａのドリフト量を、直前の第２の期間Ｔｂと、さらに１回前の第２の期間Ｔｂとの比較により求める。画像処理部７は、この処理を繰り返すことにより、各第１の期間Ｔａの撮像画像と、基準となる第１の期間Ｔａの撮像画像との位置を補正する。画像処理部７は、補正後の複数の第１波長期間Ｔｃにおける撮像部６の撮像結果の少なくとも一部と、補正後の複数の第２波長期間Ｔｄにおける撮像部６の撮像結果の少なくとも一部とを用いて、輝点をマージした少なくとも１枚の画像（例、超解像画像）を形成する。
　なお、画像処理部７は、撮像画像の全域における変位の平均を算出し、この平均を用いて撮像画像の全域で一様に補正を行ってもよいし、撮像画像の領域（例、複数の画素）ごとに変位を算出し、領域ごとに補正を行ってもよい。これにより、例えば、結像光学系５の視野の外縁に向かうにつれて収差が大きくなる場合、収差を加味した補正を行うこともできる。
［第３実施形態］
　第３実施形態について説明する。本実施形態では、レポータ色素からの蛍光の光路と、試料の位置の検出に用いられる光の光路とを空間的に分離する形態について説明する。レポータ色素は、１種類でもよいし、２種類以上でもよい。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。
　図１０は、本実施形態に係る顕微鏡装置１を示す図である。本実施形態に係る撮像部６は、第１撮像部５５および第２撮像部５６を備える。第１撮像部５５および第２撮像部５６は、それぞれ、例えば撮像素子を備えるカメラなどである。制御部４２は、活性化光Ｌ１および第１励起光Ｌ２を照射させ、第１撮像部５５に撮像させ、補助光Ｌ４を試料に照射させ、第２撮像部５６に撮像させる。画像処理部７（図１参照）は、第２撮像部５６の撮像結果を用いて変位（ドリフト量）を算出し、この変位を用いて第１撮像部５５の撮像結果を補正し、補正後の撮像結果を用いて超解像画像を生成する。制御部４２は、例えば、活性化光Ｌ１および第１励起光Ｌ２の照射と、補助光Ｌ４の照射とを並行して実行させ、第１撮像部５５の撮像と、第２撮像部５６の撮像とを並行して実行させる。
　なお、補助光Ｌ４の照射が行われる期間は、その少なくとも一部が、活性化光Ｌ１および第１励起光Ｌ２の照射が行われる期間とずれていてもよい。また、第１撮像部５５による撮像が行われる期間は、その少なくとも一部が、第２撮像部５６による撮像が行われる期間とずれていてもよい。
　図１１は、本実施形態に係る撮像部および結像光学系の一部を示す図である。結像光学系５は、試料Ｘからの蛍光のうち、第１励起光Ｌ２に応じた蛍光物質からの蛍光Ｌ５を第１撮像部５５へ導き、試料Ｘからの蛍光のうち補助光Ｌ４に応じた基準マーカからの蛍光Ｌ６を第２撮像部５６へ導く。結像光学系５は、レンズ２８の光出射側に、ダイクロイックミラー５７を備える。ダイクロイックミラー５７は、蛍光Ｌ５が透過し、蛍光Ｌ６が反射する特性を有する。ダイクロイックミラー５７と第１撮像部５５との間の光路には、フィルタ５８およびレンズ５９が設けられる。フィルタ５８は、蛍光Ｌ５と異なる波長の光を遮断する。ダイクロイックミラー５７と第２撮像部５６との間の光路には、フィルタ６０およびレンズ６１が設けられる。フィルタ６０は、蛍光Ｌ６と異なる波長の光を遮断する。
　図１２は、本実施形態に係る照明と撮像のシーケンスを示す図である。図１２において、制御部４２は、蛍光物質からの蛍光Ｌ５の像を第１撮像部５５に連続的に撮像させ、基準マーカからの蛍光Ｌ６の像を第２撮像部５６に間欠的に撮像させる。制御部４２は、例えば、期間Ｔ２を通して、第１励起光Ｌ２および活性化光Ｌ１を照射させる。制御部４２は、例えば、期間Ｔ２の最初のフレーム期間Ｔｆにおいて、補助光Ｌ４を照射させ、第１撮像部５５および第２撮像部５６に、それぞれ撮像を行わせる。図１１に示したように、第１撮像部５５には、第１励起光Ｌ２に応じた蛍光物質からの蛍光Ｌ５が入射し、第１撮像部５５は、蛍光Ｌ５の像を撮像する。制御部４２は、期間Ｔ２において、第１撮像部５５に繰り返し撮像させる。第２撮像部５６には、補助光Ｌ４に応じた基準マーカからの蛍光Ｌ６が入射し、第２撮像部５６は、蛍光Ｌ６の像を撮像する。図１２において、制御部４２は、期間Ｔ２において第２撮像部５６の撮像の終了時またはその後に、補助光Ｌ４の照射を停止または照射強度を低減する。制御部４２は、期間Ｔ２を繰り返し行う。画像処理部７は、第２撮像部５６の撮像結果を用いて、第１撮像部５５の撮像結果を補正し、少なくとも１枚の画像ＳＰを生成する。
　図１３は、本実施形態に係る照明と撮像のシーケンスの他の形態を示す図である。制御部４２は、例えば、第１励起光Ｌ２および活性化光Ｌ１を、期間Ｔ２を通して連続的に照射させる。制御部４２は、期間Ｔ２において、補助光Ｌ４を間欠的に照射させる。制御部４２は、例えば、期間Ｔ２の最初のフレーム期間Ｔｆにおいて、補助光Ｌ４を照射させ、第２撮像部５６に撮像させる。制御部４２は、期間Ｔ２において第２撮像部５６の撮像終了時またはその後に、補助光Ｌ４の照射を停止または照射強度を低減する。制御部４２は、期間Ｔ２において、第１撮像部５５および第２撮像部５６に連続的に撮像させる。制御部４２は、基準マーカからの蛍光Ｌ６の像を第２撮像部５６に連続的に撮像させる。期間Ｔ２において電荷読出を繰り返し行うが、補助光Ｌ４が照射されていないフレーム期間Ｔｆにおいては、基準マーカから蛍光Ｌ６がほぼ放射されないので、撮像画像に蛍光Ｌ６の像がほぼ写らない。制御部４２は、期間Ｔ２を繰り返し行う。画像処理部７は、第２撮像部５６の撮像結果を用いて、第１撮像部５５の撮像結果を補正し、少なくとも１枚の画像ＳＰを生成する。
　図１４は、本実施形態に係る照明と撮像のシーケンスの他の形態を示す図である。制御部４２は、例えば、第１励起光Ｌ２および活性化光Ｌ１を、期間Ｔ２を通して連続的に照射させる。制御部４２は、期間Ｔ２において、補助光Ｌ４を連続的に照射させる。制御部４２は、蛍光物質からの蛍光Ｌ５の像を第１撮像部５５に連続的に撮像させ、基準マーカからの蛍光Ｌ６の像を第２撮像部５６に間欠的に撮像させる。制御部４２は、期間Ｔ２を繰り返し行う。画像処理部７は、第２撮像部５６の撮像結果を用いて、第１撮像部５５の撮像結果を補正し、少なくとも１枚の画像ＳＰを生成する。
　図１５は、本実施形態に係る照明と撮像のシーケンスの他の形態を示す図である。制御部４２は、例えば、第１励起光Ｌ２および活性化光Ｌ１を、期間Ｔ２を通して連続的に照射させる。制御部４２は、期間Ｔ２において、補助光Ｌ４を連続的に照射させる。制御部４２は、蛍光物質からの蛍光Ｌ５の像を第１撮像部５５に連続的に撮像させ、基準マーカからの蛍光Ｌ６の像を第２撮像部５６に連続的に撮像させる。この場合、期間Ｔ２において、基準マーカからの蛍光Ｌ６の像を撮像した画像が複数得られる。画像処理部７は、期間Ｔ２において第２撮像部５６が撮像した撮像画像から１または２以上の撮像画像を用いて、第１撮像部５５が撮像した撮像画像を補正する。制御部４２は、期間Ｔ２を繰り返し行う。画像処理部７は、第２撮像部５６の撮像結果を用いて、第１撮像部５５の撮像結果を補正し、少なくとも１枚の画像ＳＰを生成する。
　図１６は、観察条件を設定する処理（図１７のステップＳ２３の処理）の一例を示すフローチャートである。ステップＳ３０において、例えば、ユーザは、第１励起光Ｌ２の波長、活性化光Ｌ１の波長を選択し、制御部４２は、第１励起光Ｌ２の波長、活性化光Ｌ１の波長を設定する。ステップＳ３１において、制御部４２は、第１励起光Ｌ２の強度、活性化光Ｌ１の強度を設定する。ステップＳ３２において、例えば、ユーザは、補助光Ｌ４の波長を選択し、制御部４２は、補助光Ｌ４の波長を設定する。ステップＳ３３において、制御部４２は、補助光Ｌ４の強度を設定する。ステップＳ３４において、制御部４２は、撮像条件を設定する。例えば、制御部４２は、蛍光物質の種類に応じて第１撮像部５５の露光時間、ゲインなどを調整する。また、例えば、制御部４２は、第２の蛍光物質の種類に応じて第２撮像部５６の露光時間、ゲインなどを調整する。ステップＳ３５において、制御部４２は、第１励起光Ｌ２に応じた撮像の総フレーム数を設定する。総フレーム数は、例えば、少なくとも１枚の超解像画像を生成するのに必要とされる撮像画像の枚数に相当する。総フレーム数は、複数の画像を生成するのに必要とされるフレーム数でもよい。
　図１７は、本実施形態に係る観察方法を示すフローチャートである。ここでは、図１５に示したシーケンスを例に説明する。まず、ステップＳ２３において、制御部４２は、観察条件を設定する。ステップＳ２４において制御部４２は、活性化光Ｌ１、第１励起光Ｌ２、及び補助光Ｌ４を照射させる。補助光Ｌ４は、例えば、活性化光Ｌ１、第１励起光Ｌ２の照射と並行して、照射される。例えば、補助光Ｌ４の照射は、活性化光Ｌ１、第１励起光Ｌ２が照射される期間の一部に、間欠的に行われてもよい。ステップＳ２５において、結像光学系５は、試料Ｘから放射される蛍光の像を形成する。例えば、結像光学系５は、試料Ｘから放射される蛍光Ｌ５の像を第１撮像部５５に形成し、基準マーカからの蛍光Ｌ６の像を第２撮像部５６に形成する。ステップＳ２６において、制御部４２は、撮像部６に蛍光の像を撮像させる。例えば、制御部４２は、試料Ｘから放射される蛍光Ｌ５の像を第１撮像部５５に撮像させ、基準マーカからの蛍光Ｌ６の像を第２撮像部５６に撮像させる。ステップＳ２７において、撮像を終了するか否かを判定する。例えば、制御部４２は、予め設定された撮像回数（フレーム期間の数）に到達した場合に、撮像を終了すると判定し（ステップＳ２７；Ｙｅｓ）、ステップＳ２８において画像を生成し、一連の処理を終了する。制御部４２は、ステップＳ２７において、撮像を終了しないと判定した場合（ステップＳ２７；Ｎｏ）、ステップＳ２６に戻り撮像を繰り返させる。なお、図１２、図１３のように補助光Ｌ４を間欠的に照射する場合、例えば、観察条件の設定処理（図１７、ステップＳ２３参照）において、補助光Ｌ４を照射させるフレーム期間を設定しておき、この設定に基づいて、補助光Ｌ４を照射（図１７、ステップＳ２４参照）させてもよい。また、図１２、図１４のように、補助光Ｌ４に応じた撮像を行うフレーム期間を間欠的に設ける場合、例えば、観察条件の設定処理（図１７、ステップＳ２３参照）において、図５のステップＳ７のように補助光Ｌ４に応じた撮像の頻度を設定しておき、この設定に基づいて撮像させてもよい。
［第４実施形態］
　第４実施形態について説明する。本実施形態では、レポータ色素からの蛍光の光路と、試料の位置の検出に用いられる光の光路とを空間的に分離する他の形態について説明する。レポータ色素は、１種類でもよいし、２種類以上でもよい。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。
　図１８は、本実施形態に係る顕微鏡装置１を示す図である。結像光学系５は、活性化された蛍光物質からの蛍光の像を撮像部６の第１撮像領域６ａに形成し、基準マーカからの蛍光の像を撮像部の第２撮像領域６ｂに形成する。制御部４２は、活性化された蛍光物質に対して第１励起光Ｌ２を照射させ、基準マーカに対して補助光Ｌ４を照射させ、撮像部６に複数のフレーム期間で撮像させる。画像処理部７は、第２撮像領域６ｂで得られる撮像結果を用いて、第１撮像領域６ａで得られる撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成する。
　図１９は、第４実施形態に係る撮像部および結像光学系の一部を示す図である。結像光学系５は、試料Ｘからの蛍光のうち第１励起光Ｌ２に応じた蛍光物質からの蛍光Ｌ５を第１撮像領域６ａへ導き、試料Ｘからの蛍光のうち補助光Ｌ４に応じた基準マーカからの蛍光Ｌ６を第２撮像領域６ｂへ導く。結像光学系５は、レンズ２８の光出射側に、ダイクロイックミラー５７を備える。ダイクロイックミラー５７は、蛍光Ｌ５が透過し、蛍光Ｌ６が反射する特性を有する。ダイクロイックミラー５７を透過した蛍光Ｌ５は、フィルタ５８を介してミラー６５に入射し、ミラー６５で反射してダイクロイックミラー６６に入射する。ダイクロイックミラー５７で反射した蛍光Ｌ６は、ミラー６７で反射した後にフィルタ６０を介して、ダイクロイックミラー６６に入射する。ダイクロイックミラー６６は、蛍光Ｌ５が反射し、蛍光Ｌ６が透過する特性を有する。ダイクロイックミラー６６で反射した蛍光Ｌ５およびダイクロイックミラー６６を透過した蛍光Ｌ６は、レンズ６８を通って撮像部６に入射する。結像光学系５において、ダイクロイックミラー５７、ミラー６５、ダイクロイックミラー６６、ミラー６７の少なくとも１つは、撮像部６へ向かう蛍光Ｌ５の光路と蛍光Ｌ６の光路とがずれるように、結像光学系５の光軸に対する角度が調整されている。ダイクロイックミラー６６で反射した蛍光Ｌ５は、第１撮像領域６ａに入射し、第２撮像領域６ｂに入射しない。また、ダイクロイックミラー６６を透過した蛍光Ｌ６は、第２撮像領域６ｂに入射し、第１撮像領域６ａに入射しない。
　図１９において、符号Ｐｇは、撮像部６により得られる画像を示す。画像Ｐｇにおいて、第１撮像領域６ａに対応する領域Ａ１には、第１励起光Ｌ２に応じた蛍光物質からの蛍光の像Ｉｍが写っており、第２撮像領域６ｂには、補助光Ｌ４に応じた基準マーカからの蛍光の像Ｉｍ２が写っている。図１などに示した画像処理部７は、第２撮像領域６ｂで得られる画像データを用いてステージ２等の顕微鏡の変位（ドリフト量）を算出し、この変位を用いて、第１撮像領域６ａで得られる画像データを補正し、補正後の画像データを用いて試料Ｘの構造を示す画像（例、超解像画像）を生成する。なお、本実施形態において、照明と撮像のシーケンスは、例えば、図１３に示したシーケンスでもよいし、図１５に示したシーケンスでもよい。この場合、第１撮像部を第１撮像領域とし、第２撮像部を第２撮像領域とする。
［第５実施形態］
　第５実施形態について説明する。本実施形態では、標識に用いられるレポータ色素が２種類であって、露光期間の設定を切り替える形態について説明する。レポータ色素は、１種類でもよいし、３種類以上でもよい。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。本実施形態に係る顕微鏡装置１において、撮像部６の撮像素子４０（図１参照）は、ＣＭＯＳイメージセンサを含む。顕微鏡装置１は、ローリングシャッタ照明モード（以下、ＲＳ照明モードという）と、グローバル露光照明モード（以下、ＧＥ照明モードという）とを有し、これら２つの照明モードを切替可能である。
　図２０（Ａ）は、撮像素子４０の動作の説明図である。撮像素子４０は、水平方向に並ぶ１行の画素（ライン）ごとに、露光と電荷の読出を行う。例えば、垂直方向の始端の１行の画素群ＰＸ１は、時刻ｔ１に露光を開始し、時刻ｔ２に露光を終了して電荷の読出を行う。また、垂直走査方向において、１行の画素群ＰＸ１の次の１行の画素群ＰＸ２は、時刻ｔ１よりも後の時刻ｔ３に露光を開始し、時刻ｔ４に露光を終了した後、電荷の読出を行う。このように撮像素子４０は、線順次で電荷を読出し、１行の画素群ＰＸ１～ＰＸＪから読み出された電荷に基づいて、１枚の撮像画像Ｘ１を生成する。撮像素子４０は、同様の動作により、撮像画像Ｘ２、撮像画像Ｘ３、・・・を生成する。
　図２０（Ｂ）は、ＲＳ照明モードの説明図を示す図である。ＲＳ照明モードにおいて、フレーム期間Ｔｆ１（例、撮像画像Ｘ１の生成期間）に対応する１行の画素群ＰＸ１の露光開始時刻ｔ１から、１行の画素群ＰＸＪの露光終了時刻ｔ５に全てにわたって、試料Ｘに第１励起光Ｌ２が照射され、撮像素子４０には、第１励起光Ｌ２に応じた蛍光物質からの蛍光Ｌ５が入射する。このフレーム期間Ｔｆ１においては、蛍光Ｌ５に応じた電荷を時刻ｔ１～ｔ５にわたって蓄積するので、ノイズの少ない撮像画像Ｘ１が得られる。
　ここで、フレーム期間Ｔｆ２（例、撮像画像Ｘ２の生成期間）に対応する１行の画素群ＰＸ１の露光開始時刻ｔ６から、１行の画素群ＰＸＪ露光終了時刻ｔ７の間の時刻ｔ８において、第１励起光Ｌ２の照射が停止され、第２励起光Ｌ３の照射が開始されたとする。時刻ｔ８以降の期間において、撮像素子４０には、第２励起光Ｌ３に応じた蛍光物質からの蛍光Ｌ７が入射する。このフレーム期間Ｔｆ２においては、蛍光Ｌ５の入射による電荷と、蛍光Ｌ７の入射による電荷とが混在して、撮像画像Ｘ２が生成される。撮像画像Ｘ２は、試料Ｘにおいて蛍光Ｌ５に対応する構造と蛍光Ｌ７に対応する構造との区別が難しく、例えば、超解像画像の生成に用いられない（捨てフレーム、無効フレームになる）。なお、フレーム期間Ｔｆ２の次のフレーム期間Ｔｆ３においては、露光期間にわたって波長の蛍光Ｌ７が入射するので、蛍光Ｌ７に対応する構造を区別することが容易であり、かつノイズの少ない撮像画像Ｘ３が得られる。撮像画像Ｘ２を超解像画像の生成に用いない場合、総フレーム数を確保する上で必要な撮像回数が増加し、総フレーム数の撮像に要する時間が増加する。また、超解像画像の生成に用いない撮像画像Ｘ２を取得する際に試料Ｘに励起光が照射されている場合、試料Ｘのダメージ増加、退色を招く可能性がある。
　図２１（Ａ）は、ＧＥ照明モードの説明図を示す図である。ＧＥ照明モードにおいて、１行の画素群ＰＸ１の露光開始が可能になる時刻ｔ１０から、１行の画素群ＰＸＪの露光開始が可能になる時刻ｔ１１までの間、第１励起光Ｌ２および第２励起光Ｌ３の照射が停止される。そして、時刻ｔ１１において、第１励起光Ｌ２の照射が開始され、１行の画素群ＰＸ１の露光終了時刻ｔ１２において、第１励起光Ｌ２の照射が停止される。このフレーム期間Ｔｆ４においては、露光期間にわたって、ほぼ蛍光Ｌ５のみが入射するので、蛍光Ｌ５に対応する構造を区別することが容易な撮像画像が得られる。また、１行の画素群ＰＸＪの露光開始が可能になる時刻ｔ１３において、第２励起光Ｌ３の照射が開始され、１行の画素群ＰＸ１の露光終了時刻ｔ１４において、第２励起光Ｌ３の照射が停止される。このフレーム期間Ｔｆ５においては、露光期間にわたって、ほぼ蛍光Ｌ７のみが入射するので、蛍光Ｌ７に対応する構造を区別することが容易な撮像画像が得られる。このように、ＧＥ照明モードでは、例えば励起光の波長が切り替わるフレーム期間Ｔｆ４、フレーム期間Ｔｆ５の双方の撮像画像を超解像画像の生成に用いることができ、撮像部６が行う複数のフレーム期間の撮像のうち画像処理部７の画像処理に用いられるフレーム期間の比率（以下、フレーム利用率という）を、ＲＳ照明モードよりも高くすることができる。
　図２１（Ｂ）は、ＧＥ照明モードにおける露光効率の説明図である。ＧＥ照明モードは、ＲＳ照明モードと比較して、フレーム利用率を高くすることができるが、露光効率が低くなる。露光効率は、１つのフレーム期間の長さに占める露光期間の長さの割合である。ＧＥ照明モードでは、１つのフレーム期間の長さは、１行の画素群の露光開始が可能な時刻ｔ２０から、この１行の画素群の電荷読出時刻ｔ２１までの時間（図２１（Ｂ）の「露光時間」）である。ここでは、露光効率ηは、露光時間をＤ１とし、通光時間（励起光の照射時間）をＤ２として、η＝Ｄ２／Ｄ１×１００（％）で表される。なお、ＧＥ照明モードにおいて、露光時間Ｄ１は、通光時間Ｄ２と、励起光の照射が停止されている遮光時間Ｄ３との和に相当し、概ねＤ１＝Ｄ２＋Ｄ３の関係がある。この式をηの式の右辺に代入すると、η＝１／（１＋Ｄ３／Ｄ２）×１００（％）となる。ここで、遮光時間Ｄ３は、撮像素子４０の電荷読出の速度に依存する装置パラメータであり、Ｄ２を増加させるほどＤ３／Ｄ２が減少し、ηを増加させることができる。
　本実施形態において、制御部４２は、上記のフレーム利用率と露光効率との少なくとも一方に基づいて、撮像部６のフレーム期間における励起光（例、第１励起光Ｌ２、第２励起光Ｌ３）の照射期間（照明モード）を設定する。例えば、制御部４２は、照明モードを、ＲＳ照明モード（図２０（Ｂ）参照）またはＧＥ照明モード（図２１（Ａ）参照）に設定することで、励起光の照射期間を設定する。
　図２２は、本実施形態に係る観察方法を示すフローチャートである。ステップＳ４０において、制御部４２は、露光時間を決定する。例えば、制御部４２は、露光時間をユーザからの指定値、または予め定められた設定値に決定する。ステップＳ４１において、制御部４２は、ステップＳ４０で決定した露光時間（Ｄ１）を用いて、ＧＥ照明モードを採用した場合の露光効率を算出する。例えば、遮光時間Ｄ３は装置パラメータであり、Ｄ１とＤ３とからＤ２が求まるので、ηを求めることができる。ステップＳ４２において、制御部４２は、露光効率ηが閾値以上であるか否かを判定する。この閾値は、任意に設定される値であり、例えば９０％である。制御部４２は、ηが閾値以上であると判定した場合（ステップＳ４２；Ｙｅｓ）、ステップＳ４６において、照明モードをＧＥ照明モードに設定する。この場合、露光効率ηを閾値以上に確保しつつ、ＲＳ照明モードに比べてフレーム利用率を高くすることができる。また、制御部４２は、露光効率ηが閾値未満であると判定した場合（ステップＳ４２；Ｎｏ）、ステップＳ４３においてＲＳ照明を採用した場合の処理時間を算出する。処理時間は、画像処理に用いないフレーム期間と画像処理に用いるフレーム期間との和であり、例えば、総フレーム数、上記のフレーム利用率、及び１つのフレーム期間の長さから求まる。制御部４２は、ステップＳ４４において処理時間が閾値未満であるか否かを判定する。制御部４２は、処理時間が閾値未満であると判定した場合（ステップＳ４４；Ｙｅｓ）、ステップＳ４５において、照明モードをＲＳ照明モードに設定する。この場合、処理時間を閾値未満におさえつつ、ノイズの少ない撮像画像が得られる。制御部４２は、処理時間が閾値以上であると判定した場合（ステップＳ４４；Ｎｏ）、ステップＳ４６において、照明モードをＧＥ照明モードに設定する。制御部４２は、活性化された蛍光物質に対して、ＧＥ照明モードまたはＲＳ照明モードにより励起光を照射させ、活性化された蛍光物質からの蛍光の像を撮像部６に複数のフレーム期間で撮像させる。画像処理部７は、撮像部６の撮像結果の少なくとも一部を用いて、１枚の画像を生成する。
　なお、ステップＳ４４は、処理時間による判定処理の代わりに、画像処理に用いない撮像画像の枚数（捨てフレームの数、無効フレームの数）が閾値未満であるか否かの判定処理であってもよい。本実施形態において、制御部４２は、処理時間に応じた判定処理（ステップＳ４４）を露光効率に応じた判定処理（ステップＳ４２）の後で行うが、ステップＳ４２の判定処理をステップＳ４４の判定処理の後で行ってもよい。例えば、制御部４２は、ステップＳ４０の次に、ＲＳ照明を採用した場合の処理時間を算出（例、ステップＳ４３）し、次いで処理時間が閾値未満であるか否かの判定を行ってもよい。また、制御部４２は、処理時間が閾値未満であると判定した場合にＲＳ照明モードに設定し、処理時間が閾値以上であると判定した場合にステップＳ４２の判定処理を行ってもよい。
　なお、制御部４２は、処理時間に応じた判定処理（ステップＳ４４）を行わなくてもよい。例えば、制御部４２は、ステップＳ４２において露光効率ηが閾値未満であると判定した場合（ステップＳ４２；Ｎｏ）、ステップＳ４３およびステップＳ４４の処理を行わずに、ステップＳ４５において照明モードをＲＳ照明モードに設定してもよい。また、制御部４２は、露光効率ηに応じた判定処理（ステップＳ４２）を行わなくてもよい。例えば、制御部４２は、ステップＳ４１およびステップＳ４２の処理を行わないで、ステップＳ４３およびステップＳ４４の処理を行って、照明モードをＧＥ照明モードまたはＲＳ照明モードに設定してもよい。
［第６実施形態］
　第６実施形態について説明する。本実施形態では、標識に用いられるレポータ色素が２種類であって、露光期間の設定を切り替える他の形態について説明する。レポータ色素は、３種類以上でもよい。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。
　本実施形態において、制御部４２は、活性化光Ｌ１の照射タイミングと励起光（第１励起光Ｌ２、第２励起光Ｌ３）の照射タイミングとの関係に基づいて、撮像部のフレーム期間における励起光の照射期間を設定する。活性化光Ｌ１の照射タイミングと励起光（第１励起光Ｌ２、第２励起光Ｌ３）の照射タイミングとの関係は、例えば、蛍光物質の種類によって定まる。
　図２３は、照明と撮像のシーケンスの例を示す図である。図２３（Ａ）は、例えば、レポータ色素を含みアクティベータ色素を含まない蛍光物質を用いる場合の例である。この場合、活性化光Ｌ１の照射と第１励起光Ｌ２の照射とを並行して行う。例えば、制御部４２は、期間Ｔ２５において、活性化光Ｌ１および第１励起光Ｌ２を照射させ、かつ第２励起光Ｌ３を照射させないで、撮像部６に複数のフレーム期間で撮像処理を実行させる。また、第２励起光Ｌ３についても同様に、活性化光Ｌ１と並行して照射を行う。制御部４２は、期間Ｔ２６において、活性化光Ｌ１および第２励起光Ｌ３を照射させ、かつ第１励起光Ｌ２を照射させないで、撮像部６に複数のフレーム期間で撮像処理を実行させる。なお、期間Ｔ２５と期間Ｔ２６において活性化光Ｌ１の強度は異なってもよい。
　図２３（Ａ）において、ＲＳ照明モードを採用した場合、期間Ｔ２６の最初のフレーム期間Ｔｆ１０において、撮像素子４０に、第１励起光Ｌ２に応じた蛍光物質からの蛍光と第２励起光Ｌ３に応じた蛍光物質からの蛍光とが入射する。そのため、フレーム期間Ｔｆ１０における撮像画像は、例えば画像処理に利用されない。例えば、図２３（Ａ）において期間Ｔ２６には１５回のフレーム期間が含まれており、フレーム利用率が１４／１５となり、ＧＥ照明モードを採用する場合と比較して処理時間の増加が無視できる場合が多い。
　図２３（Ｂ）は、例えば、レポータ色素およびアクティベータ色素を含む蛍光物質を用いる場合の例である。この場合、活性化光Ｌ１の照射と、第１励起光Ｌ２の照射と、第２励起光Ｌ３の照射とを、時間的に切り替えて行う。例えば、制御部４２は、期間Ｔ２７において活性化光Ｌ１を照射させ、次に期間Ｔ２８において第１励起光Ｌ２を照射させ、かつ第２励起光Ｌ３を照射させないで、撮像部６に複数のフレーム期間で撮像処理を実行させる。また、制御部４２は、期間Ｔ２９において活性化光Ｌ１を照射させ、次に期間Ｔ３０において第２励起光Ｌ３を照射させ、かつ第１励起光Ｌ２を照射させないで、撮像部６に複数のフレーム期間で撮像処理を実行させる。制御部４２は、例えば期間Ｔ２８～期間Ｔ３０を含む期間を繰り返し設ける。
　図２３（Ｂ）において、ＲＳ照明モードを採用した場合、期間Ｔ２８の最初のフレーム期間Ｔｆ１１において、撮像素子４０に試料Ｘから第１励起光Ｌ２に応じた蛍光物質からの蛍光が入射する期間は、図２０に示した１行の画素群ＰＸ１と１行の画素群ＰＸＪとで異なることになる。そのため、ＲＳ照明モードを採用した場合、フレーム期間Ｔｆ１１における撮像画像は、例えば画像処理に使われない。例えば、図２３（Ｂ）において期間Ｔ２８には、３回のフレーム期間が含まれており、フレーム期間Ｔｆ１１における撮像画像を用いない場合のフレーム利用率が２／３となり、ＧＥ照明モードを採用する場合と比較して処理時間の増加が無視できない場合が多い。また、期間Ｔ２８において後のフレーム期間になるほど、活性化光Ｌ１の照射から時間が経過しており、所望の撮像画像を取得しにくい場合がある。例えば、期間Ｔ２８において最後のフレーム期間Ｔｆ１２における撮像画像を画像処理に用いない場合、フレーム利用率はさらに低下して１／３になる。期間Ｔ３０についても同様に、例えば、最初のフレーム期間Ｔｆ１３における撮像画像を画像処理に用いない場合、フレーム利用率が２／３となり、さらに、最後のフレーム期間Ｔｆ１４における撮像画像を画像処理に用いない場合、フレーム利用率が１／３となる。図２３（Ｂ）において、ＧＥ照明モードを採用すると、ＲＳ照明モードを採用する場合と比較して、フレーム利用率が高くなり、処理時間を短縮すること等ができる。また、活性化光Ｌ１が照射された後の最初のフレームの期間（例、フレーム期間Ｔｆ１１、フレーム期間Ｔｆ１３）は、所望の撮像画像を得やすいので、ＧＥ照明モードを採用すると、所望の撮像画像を用いて画像処理を行うことができる。
　図２４は、本実施形態に係る観察方法を示すフローチャートである。ステップＳ５０において、制御部４２は、活性化光Ｌ１と励起光（第１励起光Ｌ２、第２励起光Ｌ３）とが並行して照射されるか否かを判定する。例えば、制御部４２は、ユーザからの入力情報、あるいは予め記憶装置４３などに記憶された設定情報に基づいて、ステップＳ５０の判定処理を行う。例えば、活性化光Ｌ１と励起光とを並行して照射されるか否かをユーザが指示し、制御部４２は、ユーザの指示を示す入力情報に従って、ステップＳ５０の判定処理を行ってもよい。また、例えば、蛍光物質の種類をユーザが入力し、制御部４２は、蛍光物質の種類と、活性化光、励起光の照射タイミングとを関連付けたデータベースを参照して、蛍光物質の種類に応じた活性化光、励起光の照射タイミングの情報を取得し、この情報に基づいて、ステップＳ５０の判定処理を行ってもよい。制御部４２は、活性化光Ｌ１と励起光とが並行して照射される（例、図２３（Ａ））と判定した場合（ステップＳ５０；Ｙｅｓ）、ステップＳ５１において照明モードをＲＳ照明に設定する。また、制御部４２は、活性化光Ｌ１と励起光とが並行して照射されない（例、図２３（Ｂ））と判定した場合（ステップＳ５０；Ｎｏ）、ステップＳ５２において照明モードをＧＥ照明に設定する。なお、制御部４２は、照明光（例、活性化光Ｌ１、第１励起光Ｌ２、第２励起光Ｌ３）の波長が切り替わる頻度（例、周波数）に応じて、ＧＥ照明モードに設定するか、もしくはＲＳ照明モードに設定するかを判定してもよい。例えば、制御部４２は、照明光の波長が切り替わる頻度が閾値以上である場合に照明モードをＧＥ照明モードに設定し、照明光の波長が切り替わる頻度が閾値未満である場合に照明モードをＲＳ照明モードに設定してもよい。
［第７実施形態］
　第７実施形態について説明する。本実施形態では、３次元の超解像画像を生成するモードについて説明する。照明のシーケンスは、上述した各実施形態のいずれであってもよいし、上述した各実施形態を組み合わせたものでもよい。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。
　図２５は、第７実施形態に係る顕微鏡装置を示す図である。本実施形態に係る結像光学系５は、光学部材５２を備える。光学部材５２は、例えば、シリンドリカルレンズである。光学部材５２は、レンズ２７とレンズ２８との間の光路に挿脱可能に設けられる。光学部材５２は、２次元の超解像画像を生成するモードにおいて結像光学系５の光路から退避しており、３次元の超解像画像を生成するモードにおいて結像光学系５の光路に挿入される。光学部材５２が結像光学系５の光路に挿入された状態において、蛍光物質からの蛍光の像は、蛍光物質が結像光学系５の合焦位置に近いほど円形に近づき、蛍光物質が結像光学系５の合焦位置から離れるほど扁平率（楕円率）が高くなる。また、蛍光物質が結像光学系５の合焦位置に対して前ピン側に存在する場合と、後ピン側に存在する場合とで、楕円の長軸と短軸の方向が反転するため、扁平率と楕円の長軸、短軸の向きから、合焦位置に対するずれ量およびずれの向きが分かる。顕微鏡装置１は、例えば、キャリブレーションなどによって、予め取得された扁平率と合焦位置に対するずれ量との関係を用いて、結像光学系５の光軸と平行な方向における蛍光物質の位置を算出することができる。
　なお、第４実施形態で説明した基準マーカからの光（例、蛍光）の像を撮像する場合も同様であり、この像の扁平率と楕円の長軸、短軸の向きから、結像光学系５の光軸方向における変位（ドリフト量）を算出することもできる。また、画像処理部７は、結像光学系５の光軸方向における変位（ドリフト量）を用いて、補正を行うこともできる。
　上述の実施形態において、制御部４２は、例えばコンピュータシステムを含む。制御部４２は、記憶装置４３に記憶されている制御プログラムを読み出し、この制御プログラムに従って各種の処理を実行する。この制御プログラムは、例えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射し、蛍光物質からの蛍光の像を形成し、像を撮像し、撮像の結果を用いて画像処理を行い、撮像を制御する顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、顕微鏡装置の制御は、第１の期間において、活性化された蛍光物質に対して励起光を照射させ、活性化された蛍光物質からの蛍光の像を複数のフレーム期間で撮像させることと、第２の期間において、補助光を基準マーカに対して照射させ、基準マーカからの蛍光の像を撮像させることと、第２の期間における励起光の照射を停止させること、または、第２の期間における励起光の強度を第１の期間より低減させることと、第１の期間における補助光の照射を停止させること、または、第１の期間における補助光の強度を第２の期間より低減させることと、を含み、画像処理は、第２の期間で得られた撮像結果を用いて、第１の期間で得られた撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む。
　また、上記の制御プログラムは、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射し、蛍光物質からの蛍光の像を結像光学系によって形成し、像を撮像部によって撮像し、撮像の結果を用いて画像処理を行い、撮像を制御する顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、撮像部は、第１撮像部および第２撮像部を備え、結像光学系は、活性化された蛍光物質からの蛍光の像を第１撮像部に形成し、基準マーカからの蛍光の像を第２撮像部に形成し、顕微鏡装置の制御は、活性化された蛍光物質に対して励起光を照射させ、活性化された蛍光物質からの光を第１撮像部に複数のフレーム期間で撮像させることと、補助光を基準マーカに対して照射させ、基準マーカからの蛍光の像を第２撮像部に撮像させることと、を含み、画像処理は、第２撮像部の撮像結果を用いて、第１撮像部の撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含むものでもよい。
　また、上記の制御プログラムは、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射し、蛍光物質からの蛍光の像を結像光学系によって形成し、像を撮像部によって撮像し、撮像の撮像結果を用いて画像処理を行い、撮像を制御する顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって結像光学系は、活性化された蛍光物質からの蛍光の像を撮像部の第１撮像領域に形成し、基準マーカからの蛍光の像を撮像部の第２撮像領域に形成し、顕微鏡装置の制御は、活性化された蛍光物質に対して励起光を照射させ、基準マーカに対して補助光を照射させ、撮像部に複数のフレーム期間で撮像させることを含み、画像処理は、第２撮像領域で得られる撮像結果を用いて、第１撮像領域で得られる撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含むものでもよい。
　また、上記の制御プログラムは、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光とを照射し、蛍光物質からの蛍光の像を形成し、像を撮像部によって撮像し、撮像の結果を用いて画像処理を行い、撮像を制御する顕微鏡装置を制御する制御プログラムであって、撮像部は、ＣＭＯＳイメージセンサを含み、顕微鏡装置の制御は、撮像部の露光効率、撮像部の撮像結果のうち画像処理に用いられるフレーム期間の比率、及び活性化光の照射タイミングと励起光の照射タイミングとの関係の少なくとも１つに基づいて、撮像部のフレーム期間における励起光の照射期間を設定し、活性化された蛍光物質に対して励起光を照射させることと、活性化された蛍光物質からの蛍光の像を撮像部に複数のフレーム期間で撮像させることと、を含み、画像処理は、撮像の結果の少なくとも一部を用いて、１枚の画像を生成することを含むものでもよい。
　上述の各種制御プログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。
　なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。
１・・・顕微鏡装置、４・・・照明光学系、５・・・結像光学系、６・・・撮像部
６ａ・・・第１撮像領域、６ｂ・・・第２撮像領域、７・・・画像処理部、
４１・・・制御部、４２・・・制御部、５５・・・第１撮像部、５６・・・第２撮像部
 

Claims (21)

  1. 　試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射する照明光学系と、
    　前記蛍光物質からの蛍光の像を形成する結像光学系と、
    　前記結像光学系が形成した像を撮像する撮像部と、
    　前記撮像部の撮像結果を用いて画像処理を行う画像処理部と、
    　前記撮像部を制御する制御部と、を備える顕微鏡装置であって、
    　前記制御部は、
    　第１の期間において、前記活性化された蛍光物質に対して前記励起光を照射させ、前記活性化された蛍光物質からの蛍光の像を前記撮像部に複数のフレーム期間で撮像させ、
    　第２の期間において、前記補助光を前記基準マーカに対して照射させ、前記基準マーカからの蛍光の像を前記撮像部に撮像させ、
    　前記第２の期間における前記励起光の照射を停止させ、または、前記第２の期間における前記励起光の強度を前記第１の期間より低減させ、
    　前記第１の期間における前記補助光の照射を停止させ、または、前記第１の期間における前記補助光の強度を前記第２の期間より低減させ、
    　前記画像処理部は、
    　前記第２の期間で得られた撮像結果を用いて、前記第１の期間で得られた撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成する、
    　ことを特徴とする顕微鏡装置。
  2. 　前記励起光の波長と前記補助光の波長とが互いに異なる、
    　ことを特徴とする請求項１に記載の顕微鏡装置。
  3. 　前記補助光は前記励起光よりも弱い、
    　ことを特徴とする請求項１または請求項２に記載の顕微鏡装置。
  4. 　前記制御部は、
    　前記第１の期間内に、第１波長期間と第２波長期間とを設け、
    　前記第１波長期間において、第１波長の前記励起光を照射させ、前記活性化された蛍光物質からの蛍光の像を前記撮像部に複数のフレーム期間で撮像させ、
    　前記第２波長期間において、第２波長の前記励起光を照射させ、前記活性化された蛍光物質からの蛍光の像を前記撮像部に複数のフレーム期間で撮像させ、
    　前記画像処理部は、前記第１波長期間における前記撮像部の撮像結果の少なくとも一部と、前記第２波長期間における前記撮像部の撮像結果の少なくとも一部とを用いて少なくとも１枚の画像を形成する、
    　ことを特徴とする請求項１～請求項３のいずれか一項に記載の顕微鏡装置。
  5. 　前記制御部は、
    　前記第１の期間内に、第１波長期間と第２波長期間とを設け、
    　前記第１波長期間において、第１波長の前記励起光を照射させ、前記試料からの光を前記撮像部に１つのフレーム期間で撮像させ、
    　前記第２波長期間において、第２波長の前記励起光を照射させ、前記試料からの光を前記撮像部に１つのフレーム期間で撮像させ、
    　前記画像処理部は、前記複数の第１波長期間における前記撮像部の撮像結果の少なくとも一部と、前記複数の第２波長期間における前記撮像部の撮像結果の少なくとも一部とを用いて、少なくとも１枚の画像を形成する、
    　ことを特徴とする請求項１～請求項３のいずれか一項に記載の顕微鏡装置。
  6. 　前記制御部は、前記第１波長期間と前記第２波長期間とを交互に設ける、
    　ことを特徴とする請求項５に記載の顕微鏡装置。
  7. 　前記画像処理部は、
    　前記第１波長期間における前記撮像部の撮像結果の少なくとも一部および前記第２波長期間における前記撮像部の撮像結果の少なくとも一部を用いて１枚の画像を生成する、
    　ことを特徴とする請求項４～請求項６のいずれか一項に記載の顕微鏡装置。
  8. 　前記画像処理部は、
    　前記第１波長期間における前記撮像部の撮像結果の少なくとも一部を用いて第１の画像を形成し、前記第２波長期間における前記撮像部の撮像結果の少なくとも一部を用いて第２の画像を形成する、
    　ことを特徴とする請求項４～請求項６のいずれか一項に記載の顕微鏡装置。
  9. 　前記画像処理部は、
    　前記第１の期間における前記撮像部の撮像結果の少なくとも一部を用いて、前記第１の画像と前記第２の画像との位置関係を補正する、
    　ことを特徴とする請求項８に記載の顕微鏡装置。
  10. 　前記画像処理部は、前記第１の画像および前記第２の画像を用いて１枚の画像を生成する、
    　ことを特徴とする請求項８または請求項９に記載の顕微鏡装置。
  11. 　試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光と、前記励起光と波長が異なり基準マーカを励起する補助光とを照射する照明光学系と、
    　前記蛍光物質からの蛍光の像を形成する結像光学系と、
    　前記結像光学系が形成した像を撮像する撮像部と、
    　前記撮像部の撮像結果を用いて画像処理を行う画像処理部と、
    　前記撮像部を制御する制御部と、を備える顕微鏡装置であって、
    　前記撮像部は、第１撮像部および第２撮像部を備え、
    　前記結像光学系は、前記活性化された蛍光物質からの蛍光の像を前記第１撮像部に形成し、前記基準マーカからの蛍光の像を前記第２撮像部に形成し、
    　前記制御部は、
    　前記活性化された蛍光物質に対して前記励起光を照射させ、前記活性化された蛍光物質からの光を前記第１撮像部に複数のフレーム期間で撮像させ、
    　前記補助光を前記基準マーカに対して照射させ、前記基準マーカからの蛍光の像を前記第２撮像部に撮像させ、
    　前記画像処理部は、
    　前記第２撮像部の撮像結果を用いて、前記第１撮像部の撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成する、
    　ことを特徴とする顕微鏡装置。
  12. 　試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射する照明光学系と、
    　前記蛍光物質からの蛍光の像を形成する結像光学系と、
    　前記結像光学系が形成した像を撮像する撮像部と、
     
    　前記撮像部の撮像結果を用いて画像処理を行う画像処理部と、
    　前記撮像部を制御する制御部と、を備える顕微鏡装置であって、
    　前記結像光学系は、前記活性化された蛍光物質からの蛍光の像を前記撮像部の第１撮像領域に形成し、前記基準マーカからの蛍光の像を前記撮像部の第２撮像領域に形成し、
    　前記制御部は、前記活性化された蛍光物質に対して前記励起光を照射させ、前記基準マーカに対して前記補助光を照射させ、前記撮像部に複数のフレーム期間で撮像させ、
    　前記画像処理部は、
    　前記第２撮像領域で得られる撮像結果を用いて、前記第１撮像領域で得られる撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成する、
    　ことを特徴とする顕微鏡装置。
  13. 　試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光とを照射する照明光学系と、
    　前記蛍光物質からの蛍光の像を形成する結像光学系と、
    　前記結像光学系が形成した像を撮像する撮像部と、
    　前記撮像部の撮像結果を用いて画像処理を行う画像処理部と、
    　前記撮像部を制御する制御部と、を備える顕微鏡装置であって、
    　前記撮像部は、ＣＭＯＳイメージセンサを含み、
    　前記制御部は、
    　前記撮像部の露光効率、前記撮像部の撮像結果のうち前記画像処理に用いられるフレーム期間の比率、及び前記活性化光の照射タイミングと前記励起光の照射タイミングとの関係の少なくとも１つに基づいて、前記撮像部のフレーム期間における前記励起光の照射期間を設定し、前記活性化された蛍光物質に対して前記励起光を照射させ、
    　前記活性化された蛍光物質からの蛍光の像を前記撮像部に複数のフレーム期間で撮像させ、
    　前記画像処理部は、
    　前記撮像部の撮像結果の少なくとも一部を用いて、１枚の画像を生成する、
    　ことを特徴とする顕微鏡装置。
  14. 　試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射することと、
    　前記蛍光物質からの蛍光の像を形成することと、
    　前記像を撮像することと、
    　前記撮像の結果を用いて画像処理を行うことと、
    　前記撮像を制御することと、を含む観察方法であって、
    　前記制御は、
    　第１の期間において、前記活性化された蛍光物質に対して前記励起光を照射させ、前記活性化された蛍光物質からの蛍光の像を複数のフレーム期間で撮像させることと、
    　第２の期間において、前記補助光を前記基準マーカに対して照射させ、前記基準マーカからの蛍光の像を撮像させることと、
    　前記第２の期間における前記励起光の照射を停止させること、または、前記第２の期間における前記励起光の強度を前記第１の期間より低減させることと、
    　前記第１の期間における前記補助光の照射を停止させること、または、前記第１の期間における前記補助光の強度を前記第２の期間より低減させることと、を含み、
    　前記画像処理は、
    　前記第２の期間で得られた撮像結果を用いて、前記第１の期間で得られた撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、
    　ことを特徴とする観察方法。
  15. 　試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射することと、
    　前記蛍光物質からの蛍光の像を結像光学系によって形成することと、
    　前記像を撮像部によって撮像することと、
    　前記撮像の結果を用いて画像処理を行うことと、
    　前記撮像を制御することと、を含む観察方法であって、
    　前記撮像部は、第１撮像部および第２撮像部を備え、
    　前記結像光学系は、前記活性化された蛍光物質からの蛍光の像を前記第１撮像部に形成し、前記基準マーカからの蛍光の像を前記第２撮像部に形成し、
    　前記制御は、
    　前記活性化された蛍光物質に対して前記励起光を照射させ、前記活性化された蛍光物質からの光を前記第１撮像部に複数のフレーム期間で撮像させることと、
    　前記補助光を前記基準マーカに対して照射させ、前記基準マーカからの蛍光の像を前記第２撮像部に撮像させることと、を含み、
    　前記画像処理は、
    　前記第２撮像部の撮像結果を用いて、前記第１撮像部の撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、
    　ことを特徴とする観察方法。
  16. 　試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射することと、
    　前記蛍光物質からの蛍光の像を結像光学系によって形成することと、
    　前記像を撮像部によって撮像することと、
    　前記撮像の撮像結果を用いて画像処理を行うことと、
    　前記撮像を制御することと、を含む観察方法であって、
    　前記結像光学系は、前記活性化された蛍光物質からの蛍光の像を前記撮像部の第１撮像領域に形成し、前記基準マーカからの蛍光の像を前記撮像部の第２撮像領域に形成し、
    　前記制御は、前記活性化された蛍光物質に対して前記励起光を照射させ、前記基準マーカに対して前記補助光を照射させ、前記撮像部に複数のフレーム期間で撮像させることを含み、
    　前記画像処理は、
    　前記第２撮像領域で得られる撮像結果を用いて、前記第１撮像領域で得られる撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、
    　ことを特徴とする観察方法。
  17. 　試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光とを照射することと、
    　前記蛍光物質からの蛍光の像を形成することと、
    　前記像を撮像部によって撮像することと、
    　前記撮像の結果を用いて画像処理を行うことと、
    　前記撮像を制御することと、を含む観察方法であって、
    　前記撮像部は、ＣＭＯＳイメージセンサを含み、
    　前記制御は、
    　前記撮像部の露光効率、前記撮像部の撮像結果のうち前記画像処理に用いられるフレーム期間の比率、及び前記活性化光の照射タイミングと前記励起光の照射タイミングとの関係の少なくとも１つに基づいて、前記撮像部のフレーム期間における前記励起光の照射期間を設定し、前記活性化された蛍光物質に対して前記励起光を照射させることと、
    　前記活性化された蛍光物質からの蛍光の像を前記撮像部に複数のフレーム期間で撮像させることと、を含み、
    　前記画像処理は、
    　前記撮像の結果の少なくとも一部を用いて、１枚の画像を生成することを含む、
    　ことを特徴とする観察方法。
  18. 　試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射し、前記蛍光物質からの蛍光の像を形成し、前記像を撮像し、前記撮像の結果を用いて画像処理を行い、前記撮像を制御する顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、
    　前記顕微鏡装置の制御は、
    　第１の期間において、前記活性化された蛍光物質に対して前記励起光を照射させ、前記活性化された蛍光物質からの蛍光の像を複数のフレーム期間で撮像させることと、
    　第２の期間において、前記補助光を前記基準マーカに対して照射させ、前記基準マーカからの蛍光の像を撮像させることと、
    　前記第２の期間における前記励起光の照射を停止させること、または、前記第２の期間における前記励起光の強度を前記第１の期間より低減させることと、
    　前記第１の期間における前記補助光の照射を停止させること、または、前記第１の期間における前記補助光の強度を前記第２の期間より低減させることと、を含み、
    　前記画像処理は、
    　前記第２の期間で得られた撮像結果を用いて、前記第１の期間で得られた撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、
    　ことを特徴とする制御プログラム。
  19. 　試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射し、前記蛍光物質からの蛍光の像を結像光学系によって形成し、前記像を撮像部によって撮像し、前記撮像の結果を用いて画像処理を行い、前記撮像を制御する顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、
    　前記撮像部は、第１撮像部および第２撮像部を備え、
    　前記結像光学系は、前記活性化された蛍光物質からの蛍光の像を前記第１撮像部に形成し、前記基準マーカからの蛍光の像を前記第２撮像部に形成し、
    　前記顕微鏡装置の制御は、
    　前記活性化された蛍光物質に対して前記励起光を照射させ、前記活性化された蛍光物質からの光を前記第１撮像部に複数のフレーム期間で撮像させることと、
    　前記補助光を前記基準マーカに対して照射させ、前記基準マーカからの蛍光の像を前記第２撮像部に撮像させることと、を含み、
    　前記画像処理は、
    　前記第２撮像部の撮像結果を用いて、前記第１撮像部の撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、
    　ことを特徴とする制御プログラム。
  20. 　試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射し、前記蛍光物質からの蛍光の像を結像光学系によって形成し、前記像を撮像部によって撮像し、前記撮像の撮像結果を用いて画像処理を行い、前記撮像を制御する顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、
    　前記結像光学系は、前記活性化された蛍光物質からの蛍光の像を前記撮像部の第１撮像領域に形成し、前記基準マーカからの蛍光の像を前記撮像部の第２撮像領域に形成し、
    　前記顕微鏡装置の制御は、前記活性化された蛍光物質に対して前記励起光を照射させ、前記基準マーカに対して前記補助光を照射させ、前記撮像部に複数のフレーム期間で撮像させることを含み、
    　前記画像処理は、
    　前記第２撮像領域で得られる撮像結果を用いて、前記第１撮像領域で得られる撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、
    　ことを特徴とする制御プログラム。
  21. 　試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光とを照射し、前記蛍光物質からの蛍光の像を形成し、前記像を撮像部によって撮像し、前記撮像の結果を用いて画像処理を行い、前記撮像を制御する顕微鏡装置を制御する制御プログラムであって、
    　前記撮像部は、ＣＭＯＳイメージセンサを含み、
    　前記顕微鏡装置の制御は、
    　前記撮像部の露光効率、前記撮像部の撮像結果のうち前記画像処理に用いられるフレーム期間の比率、及び前記活性化光の照射タイミングと前記励起光の照射タイミングとの関係の少なくとも１つに基づいて、前記撮像部のフレーム期間における前記励起光の照射期間を設定し、前記活性化された蛍光物質に対して前記励起光を照射させることと、
    　前記活性化された蛍光物質からの蛍光の像を前記撮像部に複数のフレーム期間で撮像させることと、を含み、
    　前記画像処理は、
    　前記撮像の結果の少なくとも一部を用いて、１枚の画像を生成することを含む、
    　ことを特徴とする制御プログラム。
     
PCT/JP2015/059814 2015-03-27 2015-03-27 顕微鏡装置、観察方法、及び制御プログラム WO2016157345A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15887498.2A EP3276334B1 (en) 2015-03-27 2015-03-27 Microscope device, viewing method, and control program
JP2017508871A JP6451833B2 (ja) 2015-03-27 2015-03-27 顕微鏡装置、観察方法、及び制御プログラム
PCT/JP2015/059814 WO2016157345A1 (ja) 2015-03-27 2015-03-27 顕微鏡装置、観察方法、及び制御プログラム
US15/715,744 US20180017773A1 (en) 2015-03-27 2017-09-26 Microscope device, observation method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/059814 WO2016157345A1 (ja) 2015-03-27 2015-03-27 顕微鏡装置、観察方法、及び制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/715,744 Continuation US20180017773A1 (en) 2015-03-27 2017-09-26 Microscope device, observation method, and storage medium

Publications (1)

Publication Number Publication Date
WO2016157345A1 true WO2016157345A1 (ja) 2016-10-06

Family

ID=57004003

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/059814 WO2016157345A1 (ja) 2015-03-27 2015-03-27 顕微鏡装置、観察方法、及び制御プログラム

Country Status (4)

Country Link
US (1) US20180017773A1 (ja)
EP (1) EP3276334B1 (ja)
JP (1) JP6451833B2 (ja)
WO (1) WO2016157345A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249598A1 (ja) * 2021-05-27 2022-12-01 ソニーグループ株式会社 情報処理方法、情報処理装置、及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3822687A1 (en) * 2019-11-15 2021-05-19 Leica Microsystems CMS GmbH Optical imaging device for a microscope

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005331887A (ja) * 2004-05-21 2005-12-02 Keyence Corp 蛍光顕微鏡、蛍光顕微鏡装置を使用した表示方法、蛍光顕微鏡画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器
JP2005331889A (ja) * 2004-05-21 2005-12-02 Keyence Corp 蛍光顕微鏡及び蛍光観察方法
JP2006194711A (ja) * 2005-01-13 2006-07-27 Matsushita Electric Ind Co Ltd 蛍光発光色素の性能評価方法および性能評価装置
JP2010500563A (ja) * 2006-08-07 2010-01-07 プレジデント アンド フェローズ オブ ハーバード カレッジ 回折限界以下の画像解像技術および他の画像化技術
JP2013101124A (ja) * 2005-05-23 2013-05-23 Harald F Hess 光変換可能な光学標識を用いる光学顕微鏡法
JP5392406B2 (ja) * 2010-06-11 2014-01-22 株式会社ニコン 顕微鏡装置、観察方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004194711A (ja) * 2002-12-16 2004-07-15 Matsushita Electric Ind Co Ltd 超音波診断装置および超音波プローブ
DE102010036709A1 (de) * 2010-07-28 2012-02-02 Leica Microsystems Cms Gmbh Einrichtung und Verfahren zur mikroskopischen Bildaufnahme einer Probenstruktur
WO2012037058A1 (en) * 2010-09-14 2012-03-22 Albert Einstein College Of Medicine Of Yeshiva University Methods and apparatus for imaging molecules in living systems
US9019363B2 (en) * 2011-07-25 2015-04-28 Mad City Labs, Inc. Microscope stability using a single optical path and image detector
US9435993B2 (en) * 2013-03-24 2016-09-06 Bruker Nano, Inc. Three dimensional microscopy imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005331887A (ja) * 2004-05-21 2005-12-02 Keyence Corp 蛍光顕微鏡、蛍光顕微鏡装置を使用した表示方法、蛍光顕微鏡画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器
JP2005331889A (ja) * 2004-05-21 2005-12-02 Keyence Corp 蛍光顕微鏡及び蛍光観察方法
JP2006194711A (ja) * 2005-01-13 2006-07-27 Matsushita Electric Ind Co Ltd 蛍光発光色素の性能評価方法および性能評価装置
JP2013101124A (ja) * 2005-05-23 2013-05-23 Harald F Hess 光変換可能な光学標識を用いる光学顕微鏡法
JP2010500563A (ja) * 2006-08-07 2010-01-07 プレジデント アンド フェローズ オブ ハーバード カレッジ 回折限界以下の画像解像技術および他の画像化技術
JP5392406B2 (ja) * 2010-06-11 2014-01-22 株式会社ニコン 顕微鏡装置、観察方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3276334A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249598A1 (ja) * 2021-05-27 2022-12-01 ソニーグループ株式会社 情報処理方法、情報処理装置、及びプログラム

Also Published As

Publication number Publication date
JP6451833B2 (ja) 2019-01-16
US20180017773A1 (en) 2018-01-18
EP3276334A1 (en) 2018-01-31
JPWO2016157345A1 (ja) 2017-12-28
EP3276334A4 (en) 2019-04-24
EP3276334B1 (en) 2023-11-22

Similar Documents

Publication Publication Date Title
US8704196B2 (en) Combination microscopy
US20190294930A1 (en) Information processing device, image processing device, microscope, information processing method, and information processing program
US11086115B2 (en) Microscope device, viewing method, and control program
US10725278B2 (en) Microscope, observation method, and storage medium
US9921398B2 (en) Drive control method for objective lens and fluorescence microscope system
JP5346635B2 (ja) 蛍光観察装置
JP6822483B2 (ja) 球面収差補正算出装置、顕微鏡、球面収差補正算出プログラム及び球面収差補正算出方法
JP6451833B2 (ja) 顕微鏡装置、観察方法、及び制御プログラム
US11906431B2 (en) Microscope apparatus
US10823675B2 (en) Microscope, observation method, and a storage medium
JP6928757B2 (ja) 光学顕微鏡における画像処理のためのシステムおよび方法
JP6753454B2 (ja) 顕微鏡装置、観察方法、及び制御プログラム
WO2013005765A1 (ja) 顕微鏡装置
JP6708289B2 (ja) 顕微鏡、観察方法、及び制御プログラム
JP2020042283A (ja) 顕微鏡装置
JP2016049352A (ja) 内視鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15887498

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017508871

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015887498

Country of ref document: EP