WO2016157346A1 - 顕微鏡装置、観察方法、及び制御プログラム - Google Patents

顕微鏡装置、観察方法、及び制御プログラム Download PDF

Info

Publication number
WO2016157346A1
WO2016157346A1 PCT/JP2015/059815 JP2015059815W WO2016157346A1 WO 2016157346 A1 WO2016157346 A1 WO 2016157346A1 JP 2015059815 W JP2015059815 W JP 2015059815W WO 2016157346 A1 WO2016157346 A1 WO 2016157346A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
period
imaging
light
excitation light
Prior art date
Application number
PCT/JP2015/059815
Other languages
English (en)
French (fr)
Inventor
亘 友杉
賢二 ▲高▼塚
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to PCT/JP2015/059815 priority Critical patent/WO2016157346A1/ja
Priority to EP15887499.0A priority patent/EP3276335B1/en
Priority to JP2017508872A priority patent/JP6631620B2/ja
Publication of WO2016157346A1 publication Critical patent/WO2016157346A1/ja
Priority to US15/715,880 priority patent/US11086115B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/178—Methods for obtaining spatial resolution of the property being measured
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1789—Time resolved
    • G01N2021/1791—Time resolved stroboscopic; pulse gated; time range gated

Definitions

  • the present invention relates to a microscope apparatus, an observation method, and a control program.
  • STORM a microscope apparatus
  • Stochastic Optical Reconstruction Microscopy a stochastic optical reconstruction microscope technique
  • STORM is used for observing a sample to which a fluorescent material is applied.
  • the fluorescent substance is activated by irradiation with activating light, and in an activated state, the fluorescent substance emits fluorescence or is inactivated by irradiation with excitation light.
  • STORM activates a fluorescent material at a low density, and emits only the activated fluorescent material by irradiating with excitation light, thereby acquiring a fluorescent image having a sparse distribution of the fluorescent material image.
  • the fluorescent substance images are individually separated, and the position of the center of gravity of each image can be obtained.
  • STORM generates (constructs) high-resolution images by arranging images at the positions of the centers of gravity of a large number of fluorescent substances obtained from a large number of fluorescent images.
  • STORM as described above acquires a large number of fluorescent images while continuously irradiating activation light and high-intensity excitation light, and thus damages the sample.
  • a sample includes a living cell (live cell)
  • damage may accumulate due to continuous irradiation with high-intensity excitation light, and the cell may die, making it impossible to perform desired observation.
  • the present invention has been made in view of the above-described circumstances, and an object thereof is to provide a microscope apparatus, an observation method, and a control program that can suppress accumulation of damage to a sample.
  • the illumination optical system that irradiates the activation light that activates the fluorescent substance contained in the sample and the excitation light that excites the activated fluorescent substance
  • An imaging optical system that forms a fluorescent image
  • an imaging unit that captures an image formed by the imaging optical system
  • an image processing unit that performs image processing using an imaging result of the imaging unit
  • a control unit In the microscope apparatus, the control unit provides a plurality of image generation periods and interruption periods, and in the image generation period, the activated fluorescent substance is irradiated with excitation light, and the activated fluorescent substance is irradiated with the excitation light.
  • the image processing unit captures a fluorescent image in a plurality of frame periods, reduces the intensity of excitation light during the interruption period to less than the intensity during the image generation period, or stops irradiation of excitation light during the interruption period.
  • Imaging obtained in multiple frame periods Generating one image by using at least a portion of the fruit, the microscope apparatus is provided, characterized in that.
  • irradiation with activation light that activates the fluorescent substance contained in the sample and excitation light that excites the activated fluorescent substance, and fluorescence of the fluorescent substance is emitted.
  • An observation method including forming an image, capturing an image formed by an imaging optical system, and performing image processing using a result of the imaging, an image generation period, an interruption period, Providing an excitation light to the activated fluorescent substance in the image generation period, and capturing an image of fluorescence from the activated fluorescent substance in a plurality of frame periods, and an interruption period. Reducing the intensity of the excitation light in the image generation period or stopping the excitation light irradiation in the interruption period, and the image processing includes at least imaging results obtained in the plurality of frame periods. With some And generating the images, observation method, wherein there is provided that.
  • an activation light that activates the fluorescent substance contained in the sample and an excitation light that excites the activated fluorescent substance are irradiated, and an image of fluorescence from the fluorescent substance is obtained.
  • the present invention it is possible to provide a microscope apparatus, an observation method, and a control program that can suppress accumulation of damage to a sample.
  • the microscope apparatus according to the embodiment is a microscope apparatus using, for example, a single-molecule localization microscopy method such as STORM or PALM.
  • the microscope apparatus according to the embodiment can be used for both fluorescence observation of a sample labeled with one kind of fluorescent substance and fluorescence observation of a sample labeled with two or more kinds of fluorescent substances.
  • the microscope apparatus according to the embodiment has a mode for generating a two-dimensional super-resolution image and a mode for generating a three-dimensional super-resolution image, and can switch between the two modes.
  • the mode for generating a three-dimensional super-resolution image will be described.
  • the sample may include living cells (live cells), may include cells fixed using a tissue fixing solution such as a formaldehyde solution, or may be tissue.
  • the fluorescent substance may be a fluorescent dye such as a cyanine dye or a fluorescent protein.
  • the fluorescent dye includes a reporter dye that emits fluorescence when receiving excitation light in an activated state (hereinafter referred to as an activated state).
  • the fluorescent dye may include an activator dye that receives activation light and activates the reporter dye. If the fluorescent dye does not contain an activator dye, the reporter dye receives an activation light and becomes activated.
  • Fluorescent pigments include, for example, a dye pair in which two kinds of cyanine dyes are combined (eg, Cy3-Cy5 dye pair, Cy2-Cy5 dye pair, Cy3-Alexa Fluor647 dye pair (Alexa Fluor is a registered trademark)), One type of dye (eg, Alexa 647 (Alexa Fluor is a registered trademark)).
  • a dye pair in which two kinds of cyanine dyes are combined eg, Cy3-Cy5 dye pair, Cy2-Cy5 dye pair, Cy3-Alexa Fluor647 dye pair (Alexa Fluor is a registered trademark)
  • One type of dye eg, Alexa 647 (Alexa Fluor is a registered trademark)
  • the fluorescent protein include PA-GFP and Dronpa.
  • FIG. 1 is an explanatory diagram illustrating the operation of the microscope apparatus according to the embodiment.
  • the microscope apparatus irradiates the activated fluorescent material with excitation light (light irradiation in FIG. 1; ON), and performs imaging of the sample in each of a plurality of frame periods Tf.
  • the fluorescent material is activated stochastically.
  • One frame period Tf is a period for generating one captured image.
  • One frame period Tf includes, for example, a period Tf1 for accumulating charges and a period Tf2 for reading the charges accumulated in the period Tf1.
  • one frame period Tf is a period Tf1 in which charges corresponding to fluorescence are accumulated.
  • the length of one frame period Tf is, for example, the reciprocal of the frame rate.
  • the microscope apparatus generates captured images P1 to Pn as imaging results for each frame period Tf.
  • the fluorescence image Im is discretely distributed at a low density.
  • the microscope apparatus calculates the position information (for example, the gravity center position Q) of the fluorescence image Im by fitting the light intensity distribution of the fluorescence image Im with a Gaussian function or the like, for example.
  • the microscope apparatus generates (constructs) one image SP using, for example, a large number of barycentric positions Q obtained from a plurality of captured images P1 to Pn.
  • the image SP is a super-resolution image such as STORM or PALM, for example.
  • the number of captured images P1 to Pn used for generating the image SP is, for example, a preset value such as a preset default value or a designated value designated by the user.
  • the image generation period T1 for example, is a period for acquiring a predetermined number of captured images P1 to Pn, and includes a plurality of frame periods Tf. As shown in FIG. 1, excitation light is irradiated in the image generation period T1.
  • the microscope apparatus can generate a plurality of images SP by performing imaging in a plurality of image generation periods T1.
  • each of the plurality of images SP can be used as a super-resolution image, but by superimposing the plurality of images SP, a super-resolution image having a larger amount of information than that of one image SP can be obtained.
  • it can also be set as a moving image by reproducing
  • FIG. 2 is a conceptual diagram showing the change over time in the amount of intracellular hydrogen peroxide when imaging a sample containing living cells in a plurality of image generation periods T1.
  • FIG. 2A is a diagram showing the amount of intracellular hydrogen peroxide when imaging is continuously performed in a plurality of image generation periods T1.
  • a plurality of image generation periods T1 are continuous, and light irradiation is continuously performed over a plurality of image generation periods T1 (light irradiation; ON).
  • light having high light intensity such as excitation light
  • active oxygen is generated in the intracellular and extracellular environments.
  • the light intensity of the activation light is weak enough to be ignored with respect to the generation of the amount of hydrogen peroxide.
  • Active oxygen reacts with water molecules to form hydrogen peroxide and damages cells.
  • the light irradiation is continuously performed, in the extracellular environment, since the catalase is added to the solution, the generated hydrogen peroxide can be decomposed.
  • hydrogen peroxide accumulates in the cells, and the amount of hydrogen peroxide in the cells increases with time. For example, if the cells are continuously irradiated with excitation light for several minutes (eg, 3 to 5 minutes), the amount of hydrogen peroxide exceeds the threshold value and the cells die.
  • the inventor of the present application pays attention to the fact that living cells have a function of decomposing (detoxifying) hydrogen peroxide, and using this decomposition function, the amount of light (intensity of light) that can be irradiated before the cells die.
  • an enzyme called catalase exists in the peroxisomes of intracellular organelles.
  • the amount of catalase is very small outside the peroxisome.
  • FIG. 2B shows the amount of intracellular hydrogen peroxide when an interruption period T2 (recovery period, decomposition period, non-image generation period) in which the activation light and the excitation light are not irradiated is provided after the image generation period T1.
  • the length of the interruption period T2 is set to a time for decomposing almost all the intracellular hydrogen peroxide accumulated in the image generation period T1.
  • the amount of intracellular hydrogen peroxide at the end of the interruption period T2 is the same as the amount of intracellular hydrogen peroxide at the start of the image generation period T1, and the image generation period T1 and the interruption period T2 are alternately repeated.
  • light irradiation can be performed without killing the cells.
  • FIG. 2C is a diagram showing another example of the amount of intracellular hydrogen peroxide when the interruption period T2 is provided after the image generation period T1.
  • the length of the interruption period T2 is set to a time for decomposing a part of the amount of intracellular hydrogen peroxide accumulated in the image generation period T1.
  • the increase in the amount of intracellular hydrogen peroxide in one set of the image generation period T1 and the interruption period T2 is smaller than the increase in the amount of intracellular hydrogen peroxide in one image generation period T1. Therefore, when one set of image generation period T1 and interruption period T2 is repeatedly provided, the number of image generation periods T1 until the amount of intracellular hydrogen peroxide reaches the threshold is the case where only the image generation period T1 is provided continuously.
  • the amount of intracellular hydrogen peroxide is larger than the number of image generation periods T1 until the threshold value reaches the threshold value. Therefore, the total amount of light (product of light intensity and irradiation time) that can be irradiated before the cell is killed can be increased, and more information can be acquired.
  • the amount of intracellular hydrogen peroxide that increases during the image generation period T1 is U1
  • the amount of intracellular hydrogen peroxide that decreases during the interruption period T2 is U2.
  • the increment of the intracellular hydrogen peroxide amount in the case of providing one image generation period T1 and one interruption period is U1-U2.
  • the number of times (amount of light) that can provide the image generation period T1 with a predetermined light intensity without killing the cells is Q / U 1 times when only the image generation period T1 is provided, but the interruption period T2 Q / (U1-U2) in the case of providing an image, which is larger than the case of providing only the image generation period T1.
  • the interruption period T2 U1 / 2
  • the number of times that the image generation period T1 can be provided without killing the cells (light quantity) is 2Q / U1
  • the interruption period T2 is not provided. Will be doubled.
  • FIGS. 2A, 2B, and 2C illustrate the case where the activation light and the excitation light are not irradiated in the interruption period T2, the irradiation of the activation light and the excitation light is stopped. However, it may be reduced. This is because, even if the irradiation of the activation light and the excitation light is not stopped and reduced, the generation of active oxygen is similarly suppressed, the accumulated hydrogen peroxide is reduced by decomposition, and the observable time is increased. It is. The same applies to the following description. Further, in FIGS. 2A, 2B, and 2C, the case where the activation light and the excitation light are irradiated is described. The light intensity of the activation light is the amount of hydrogen peroxide.
  • the amount of hydrogen peroxide in the cell increases with time if it is continuously irradiated. That is, as shown in FIGS. 2B and 2C, by providing the interruption period, the intense excitation light is stopped or reduced. As described above, until the cell dies. The total amount of light that can be irradiated (product of light intensity and irradiation time) can be increased. The same applies to the following description.
  • the microscope apparatus according to the embodiment can also continuously provide a plurality of image generation periods T1 as shown in FIG.
  • the microscope apparatus according to the embodiment can also operate with the illumination and imaging sequence shown in FIG. .
  • the microscope apparatus according to the present embodiment can switch whether or not to provide the interruption period T ⁇ b> 2, for example, by user designation.
  • FIG. 3 is a diagram illustrating the microscope apparatus 1 according to the present embodiment.
  • the microscope apparatus 1 includes a stage 2, a light source device 3, an illumination optical system 4, an imaging optical system 5, an imaging unit 6, an image processing unit 7, and a control device 8.
  • the control device 8 includes a control unit 42 that comprehensively controls each unit of the microscope apparatus 1.
  • Stage 2 holds a sample X to be observed.
  • the stage 2 is capable of placing the sample X on the upper surface thereof, for example.
  • the stage 2 may not have a mechanism for moving the sample X like a desk or the like, or may have a mechanism for moving the sample X like an XY stage.
  • the microscope apparatus 1 may not include the stage 2.
  • the light source device 3 includes an activation light source 10a, an excitation light source 10b, a shutter 11a, and a shutter 11b.
  • the activation light source 10a emits activation light L1 that activates the fluorescent substance contained in the sample X.
  • the fluorescent material contains a reporter dye and does not contain an activator dye.
  • the reporter dye of the fluorescent substance is in an activated state capable of emitting fluorescence when irradiated with the activation light L1.
  • the fluorescent material may include a reporter dye and an activator dye. In this case, the activator dye activates the reporter dye when receiving the activation light L1.
  • the fluorescent substance may be a fluorescent protein such as PA-GFP or Dronpa.
  • the excitation light source 10b emits excitation light L2 that excites the fluorescent substance contained in the sample X.
  • the fluorescent material emits fluorescence or is inactivated when the excitation light L2 is irradiated in the activated state.
  • an inactivated state When the fluorescent material is irradiated with the activation light L1 in an inactivated state (hereinafter referred to as an inactivated state), the fluorescent material is again activated.
  • the activation light source 10a and the excitation light source 10b include, for example, a solid light source such as a laser light source, and each emits laser light having a wavelength corresponding to the type of fluorescent material.
  • the emission wavelength of the activation light source 10a and the emission wavelength of the excitation light source 10b are selected from, for example, about 405 nm, about 457 nm, about 488 nm, about 532 nm, about 561 nm, about 640 nm, and about 647 nm.
  • the emission wavelength of the activation light source 10a is about 405 nm and the emission wavelength of the excitation light source 10b is a wavelength selected from about 488 nm, about 561 nm, and about 647 nm.
  • the shutter 11a is controlled by the control unit 42, and can switch between a state in which the activation light L1 from the activation light source 10a passes and a state in which the activation light L1 is blocked.
  • the shutter 11b is controlled by the control unit 42, and can switch between a state in which the excitation light L2 from the excitation light source 10b passes and a state in which the excitation light L2 is blocked.
  • the microscope apparatus 1 may not include at least a part of the light source device 3.
  • the light source device 3 is unitized and may be provided in the microscope device 1 so as to be replaceable (attachable and removable).
  • the light source device 3 may be attached to the microscope device 1 during observation with the microscope device 1 or the like.
  • the illumination optical system 4 irradiates the sample X with the activation light L1 and the excitation light L2.
  • the illumination optical system 4 includes a mirror 12, a dichroic mirror 13, an acoustooptic device 14, a lens 15, a light guide member 16, a lens 17, a lens 18, a filter 19, a dichroic mirror 20, and an objective lens 21.
  • the mirror 12 is provided, for example, on the emission side of the excitation light source 10b.
  • the excitation light L2 from the excitation light source 10b is reflected by the mirror 12 and enters the dichroic mirror 13.
  • the dichroic mirror 13 is provided, for example, on the emission side of the activation light source 10a.
  • the dichroic mirror 13 has a characteristic of transmitting the activation light L1 and reflecting the excitation light L2.
  • the activation light L1 transmitted through the dichroic mirror 13 and the excitation light L2 reflected by the dichroic mirror 13 enter the acoustooptic device 14 through the same optical path.
  • the acoustooptic element 14 is, for example, an acoustooptic filter.
  • the acoustooptic device 14 is controlled by the control unit 42 and can adjust the light intensity of the activation light L1 and the light intensity of the excitation light L2.
  • the acoustooptic element 14 is controlled by the control unit 42 so that the activation light L1 and the excitation light L2 are blocked by the acoustooptic element 14 from passing through the acoustooptic element 14 (hereinafter referred to as the light passing state). Or a state in which the intensity is reduced (hereinafter referred to as a light shielding state) can be switched.
  • the control unit 42 controls the acoustooptic device 14 to perform irradiation with the activation light L1 and irradiation with the excitation light L2 in parallel.
  • the control unit 42 controls the acoustooptic device 14 so as to irradiate the excitation light L2 after the activation light L1 is irradiated, for example.
  • the lens 15 is a coupler, for example, and condenses the activation light L1 and the excitation light L2 from the acoustooptic device 14 on the light guide member 16.
  • the light guide member 16 is, for example, an optical fiber, and guides the activation light L ⁇ b> 1 and the excitation light L ⁇ b> 2 to the lens 17.
  • the lens 17 is a collimator, for example, and converts the activation light L1 and the excitation light L2 into parallel light.
  • the lens 18 condenses, for example, the activation light L1 and the excitation light L2 at the position of the pupil plane of the objective lens 21.
  • the filter 19 transmits the activation light L1 and the excitation light L2, and has a characteristic of blocking at least a part of light having other wavelengths.
  • the dichroic mirror 20 has a characteristic that the activation light L1 and the excitation light L2 are reflected, and light (for example, fluorescence) in a predetermined wavelength band among the light from the sample X is transmitted.
  • the light from the filter 19 is reflected by the dichroic mirror 20 and enters the objective lens 21.
  • the sample X is placed on the focal plane of the objective lens 21 at the time of observation.
  • the activation light L1 and the excitation light L2 are applied to the sample X by the illumination optical system 4 as described above.
  • the illumination optical system 4 mentioned above is an example, and can be changed suitably.
  • a part of the illumination optical system 4 described above may be omitted.
  • the illumination optical system 4 may include at least a part of the light source device 3.
  • the illumination optical system 4 may include an aperture stop, an illumination field stop, and the like.
  • the imaging optical system 5 forms an image of fluorescence from the fluorescent material contained in the sample X.
  • the imaging optical system 5 includes an objective lens 21, a dichroic mirror 20, a filter 24, a lens 25, an optical path switching member 26, a lens 27, and a lens 28.
  • the imaging optical system 5 shares the objective lens 21 and the dichroic mirror 20 with the illumination optical system 4.
  • the light from the sample X enters the filter 24 through the objective lens 21 and the dichroic mirror 20.
  • the filter 24 has a characteristic that light in a predetermined wavelength band out of the light from the sample X selectively passes. For example, the filter 24 blocks illumination light, external light, stray light, and the like reflected from the sample X.
  • the filter 24 is unitized with, for example, the filter 19 and the dichroic mirror 20, and the filter unit 29 is provided in a replaceable manner.
  • the filter unit 29 is exchanged according to, for example, the wavelength of light emitted from the light source device 3 (for example, the wavelength of the activation light L1 and the wavelength of the excitation light L2), the wavelength of fluorescence emitted from the sample X, and the like. .
  • the light that has passed through the filter 24 enters the optical path switching member 26 through the lens 25.
  • the optical path switching member 26 is a prism, for example, and is provided so as to be insertable into and removable from the optical path of the imaging optical system 5.
  • the optical path switching member 26 is inserted into and removed from the optical path of the imaging optical system 5 by a drive unit (not shown) controlled by the control unit 42, for example.
  • the optical path switching member 26 guides the fluorescence from the sample X to the optical path toward the imaging unit 6 by internal reflection when inserted in the optical path of the imaging optical system 5.
  • the lens 27 and the lens 28 constitute an afocal optical system.
  • the imaging optical system 5 as described above forms a fluorescent image at a position optically conjugate with the sample X.
  • the imaging optical system 5 described above is an example and can be changed as appropriate. For example, a part of the imaging optical system 5 described above may be omitted.
  • the imaging optical system 5 may include an aperture stop, a field stop, and the like.
  • the microscope apparatus 1 includes an observation optical system 30 used for setting an observation range.
  • the observation optical system 30 includes, in order from the sample X toward the observer's viewpoint Vp, the objective lens 21, the dichroic mirror 20, the filter 24, the lens 25, the mirror 31, the lens 32, the mirror 33, the lens 34, the lens 35, the mirror 36, And a lens 37.
  • the observation optical system 30 shares the configuration from the objective lens 21 to the lens 25 with the imaging optical system 5.
  • the light from the sample X passes through the lens 25 and then enters the mirror 31 in a state where the optical path switching member 26 is retracted from the optical path of the imaging optical system 5.
  • the light reflected by the mirror 31 is incident on the mirror 33 via the lens 32, is reflected by the mirror 33, and then enters the mirror 36 via the lens 34 and the lens 35.
  • the light reflected by the mirror 36 enters the viewpoint Vp through the lens 37.
  • the observation optical system 30 forms an intermediate image of the sample X in the optical path between the lens 35 and the lens 37.
  • the lens 37 is an eyepiece, for example, and the observer can set an observation range by observing the intermediate image.
  • the imaging unit 6 captures an image formed by the imaging optical system 5.
  • the imaging unit 6 includes an imaging element 40 and a control unit 41.
  • the image sensor 40 is, for example, a CMOS image sensor, but may be another image sensor such as a CCD image sensor.
  • the image sensor 40 has, for example, a structure in which a plurality of pixels arranged two-dimensionally and a photoelectric conversion element such as a photodiode is arranged in each pixel.
  • the imaging element 40 reads out the electric charge accumulated in the photoelectric conversion element by a readout circuit.
  • the image sensor 40 converts the read electric charges into digital data, and outputs data in a digital format in which pixel positions are associated with gradation values.
  • the control unit 41 operates the imaging element 40 based on a control signal input from the control unit 42 of the control device 8 and outputs captured image data to the control device 8. Further, the control unit 41 outputs a charge accumulation period and a charge read period to the control device 8.
  • the control device 8 collectively controls each part of the microscope device 1.
  • the control device 8 includes a control unit 42 and an image processing unit 7.
  • the control unit 42 transmits light from the light source device 3 to the acoustooptic device 14 based on a signal (imaging timing information) indicating the charge accumulation period and the charge readout period supplied from the control unit 41.
  • a control signal for switching between a state and a light blocking state that blocks light from the light source device 3 is supplied.
  • the acoustooptic device 14 switches between a light transmission state and a light shielding state based on this control signal.
  • the control unit 42 controls the acoustooptic device 14 to control a period in which the activation light L1 is irradiated on the sample X and a period in which the activation light L1 is not irradiated on the sample X. Further, the control unit 42 controls the acoustooptic device 14 to control a period during which the sample X is irradiated with the excitation light L2 and a period during which the sample X is not irradiated with the excitation light L2. The control unit 42 controls the acoustooptic device 14 to control the light intensity of the activation light L1 and the light intensity of the excitation light L2 irradiated to the sample X.
  • the control unit 42 controls the imaging unit 6 and causes the imaging device 40 to perform imaging.
  • the control unit 41 controls the acoustooptic device 14 to switch between the light shielding state and the light passing state based on a signal indicating the charge accumulation period and the charge readout period (information on imaging timing).
  • a signal may be supplied to control the acousto-optic element 14.
  • the illumination and imaging sequence controlled by the control unit 42 will be described later with reference to FIG.
  • the control unit 42 acquires an imaging result (captured image data) from the imaging unit 6.
  • the image processing unit 7 performs image processing such as obtaining the position of the center of gravity of each image using the imaging result of the imaging unit 6. As shown in FIG.
  • the image processing unit 7 represents, for example, the centroid positions of the plurality of fluorescent images included in the captured images P1 to Pn obtained in the plurality of frame periods Tf as bright points.
  • a single image SP eg, super-resolution image
  • the control device 8 is communicably connected to each of the storage device (storage unit) 43 and the display device (display unit) 44.
  • the display device 44 is, for example, a liquid crystal display.
  • the display device 44 displays various images such as an image indicating various settings of the microscope device 1, a captured image by the imaging unit 6, and an image generated from the captured image.
  • the control unit 42 controls the display device 44 to display various images on the display device 44.
  • the control unit 42 supplies data of an image generated by the image processing unit 7 (for example, a super-resolution image such as a STORM image or a PALM image) to the display device 44 and causes the display device 44 to display the image.
  • the microscope apparatus 1 can also display a super-resolution image of the sample X to be observed as a live video.
  • the storage device 43 is, for example, a magnetic disk or an optical disk, and stores various data such as various setting data of the microscope apparatus 1, data of an image captured by the imaging unit 6, and data of an image generated by the image processing unit 7.
  • the control unit 42 can supply the display device 44 with the data of the super-resolution image stored in the storage device 43 and cause the display device 44 to display the super-resolution image.
  • the control unit 42 controls the storage device 43 and stores various data in the storage device 43.
  • FIG. 4A is a conceptual diagram showing a sequence of illumination and imaging according to the present embodiment when the field of view for observing the sample X is fixed
  • FIG. 4B is an explanatory diagram of the field of view Y.
  • the control unit 42 irradiates the visual field Y of the sample X with at least one of the activation light L1 and the excitation light L2 in the image generation period T1.
  • the field of view Y is, for example, a region optically conjugate with the light receiving surface of the image sensor 40 in the imaging unit 6, and is disposed on a part of the sample X.
  • the control unit 42 starts irradiation of the activation light L1 (activation light; ON) at time t1, and irradiates the activation light L1 during a period from time t1 to time t2.
  • the control part 42 starts irradiation of the excitation light L2 (excitation light; ON) at the time t1, and irradiates the excitation light L2 in the period from the time t1 to the time t2.
  • “Light irradiation (summation)” in FIG. 4 represents a state in which at least one of the activation light and the excitation light is irradiated with “ON”, and represents a state in which the activation light and the excitation light are not irradiated with “OFF”.
  • the control unit 42 causes the imaging unit 6 to capture images in a plurality of frame periods Tf (see FIG. 1) in the image generation period T1.
  • the image processing unit 7 generates one image SP using at least a part of the imaging results in a plurality of frame periods Tf within the image generation period T1 from time t1 to time t2.
  • the controller 42 stops the irradiation of the activation light L1 and the excitation light L2 in the interruption period T2 after the image generation period T1, or the light intensity of the activation light L1 and the excitation light L2 in the interruption period T2 from the image generation period T1. Also weaken (reduce). For example, the control unit 42 stops the irradiation of the activation light L1 at the time t2 (activation light; OFF), and maintains the stop of the irradiation of the activation light L1 during the period from the time t2 to the time t3.
  • the control unit 42 stops the irradiation of the excitation light L2 (excitation light; OFF) at time t2, and maintains the stop of the irradiation of the excitation light L2 during the period from time t2 to time t3.
  • the interruption period T2 in which the activation light L1 and the excitation light L2 are not irradiated on the visual field Y in the sample X is a period from time t2 to time t3.
  • the interruption period T2 is longer than any of the plurality of frame periods Tf (see FIG. 1).
  • the interruption period T2 may be longer or shorter than the image generation period T1.
  • the control unit 42 alternately performs the image generation period T1 and the interruption period T2. For example, the control unit 42 performs the image generation period T1 from the time t3 to the time t4 following the interruption period T2 from the time t2 to the time t3.
  • the control unit 42 irradiates the activation light L1 and the excitation light L2 to the same visual field Y in the sample X as the image generation period T1 from the time t1 to the time t2.
  • the control unit 42 images the same visual field Y in the sample X as in the image generation period T1 from time t1 to time t2.
  • the image processing unit 7 generates one image SP using at least a part of the imaging results in a plurality of frame periods Tf within the image generation period T1 from time t3 to time t4.
  • the control unit 42 irradiates the visual field Y in the sample X with the activation light L1 and the excitation light L2 in the image generation period T1 before and after the interruption period T2, and images the visual field Y in the sample X.
  • the image processing unit 7 generates one image SP by using at least a part of the imaging results in the plurality of frame periods Tf in each image generation period T1.
  • the control unit 42 repeatedly provides the image generation period T1 and the interruption period T2 alternately, and the image processing unit 7 generates a plurality of images SP.
  • FIG. 5A is a conceptual diagram showing a sequence of illumination and imaging according to the present embodiment when the field of view for observing the sample X is changed
  • FIG. 5B is an explanatory diagram of the field of view.
  • the visual field in the sample X is, for example, arranged in Y1 in the initial state, and moves to Y2 and Y3 in order by moving the stage 2, and then returns to Y1.
  • “Y1”, “Y2”, and “Y3” of “Stage” represent states in which the field of view on the sample X is arranged at Y1, Y2, and Y3 in FIG. 5B, respectively.
  • the control unit 42 irradiates the activation light L1 and the excitation light L2, and causes the imaging unit 6 to perform an imaging process.
  • the image processing unit 7 generates one image SP (Y1) by using at least a part of the imaging result of the image generation period T1 in the visual field (Y1).
  • the control unit 42 controls the stage 2 after the end of the image generation period T1 in the visual field (Y1), and arranges the visual field in the sample X at Y2.
  • the control unit 42 irradiates the activation light L1 and the excitation light L2, and causes the imaging unit 6 to perform an imaging process.
  • the image processing unit 7 generates one image SP (Y2) by using at least a part of the imaging result of the image generation period T1 in the visual field (Y2).
  • the control unit 42 controls the stage 2 after the end of the image generation period T1 in the visual field (Y2), and arranges the visual field in the sample X at Y3.
  • the control unit 42 irradiates the activation light L1 and the excitation light L2, and causes the imaging unit 6 to perform an imaging process.
  • the image processing unit 7 generates one image SP (Y3) by using at least a part of the imaging result of the image generation period T1 in the visual field (Y3).
  • the control unit 42 controls the stage 2 after the end of the image generation period T1 in the visual field (Y3), arranges the visual field in the sample X at Y1, and performs the image generation period T1 again.
  • the field of view Y1 is not irradiated with the activation light L1 and the excitation light L2. That is, in the visual field Y1, the interval between the previous and current image generation periods T1 is the interruption period T2.
  • the period between the previous and current image generation periods T1 is the interruption period T2.
  • the control unit 42 performs the image generation period T1 at least twice in a series of controls, but the number of times of performing the image generation period T1 is arbitrarily set. Further, the plurality of image generation periods T1 may have the same length or different lengths. Moreover, the control part 42 should just perform the interruption period T2 at least once between several image generation periods T1. For example, the control unit 42 may perform the interruption period T2 after performing the image generation period T1 twice in succession, and then perform the image generation period T1. When performing a plurality of interruption periods T2, the plurality of interruption periods T2 may be the same in length or different.
  • FIG. 6 is a flowchart illustrating the observation method according to the embodiment.
  • the microscope apparatus 1 sets whether or not to perform the interruption period T2 as preprocessing.
  • the control unit 42 causes the display device 44 to display an image asking the user whether or not to perform the interruption period T2, and sets whether or not to perform the interruption period T2 according to the user's instruction.
  • the control unit 42 may set whether or not to perform the interruption period T2 in accordance with setting information indicating whether or not to perform the interruption period T2. This setting information may be stored in advance in the storage device 43, for example.
  • the interruption period T2 is performed will be described.
  • step S1 the control unit 42 controls, for example, the acoustooptic device 14, starts irradiation with the activation light L1 and the excitation light L2, and starts the image generation period T1.
  • the illumination optical system 4 irradiates the visual field Y in the sample X with the activation light L1 and the excitation light L2, and the imaging optical system 5 forms an image of fluorescence from the fluorescent material contained in the sample X ( Step S2).
  • step S ⁇ b> 3 the control unit 42 controls the imaging unit 6 to capture a fluorescent image.
  • step S4 determines whether imaging in one image generation period T1 is completed.
  • the setting value of the number of frame periods (number of times of imaging) in one image generation period T1 is stored in the storage device 43, and the control unit 42 sets a counter of the number of times of imaging when the imaging in step S3 is completed. It is incremented, and it is determined whether or not imaging in one image generation period T1 is completed by comparing the counter with the set value.
  • the control unit 42 executes the process of step S3.
  • step S4 When it is determined that the imaging in one image generation period T1 has ended (step S4; Yes), the control unit 42 causes the image processing unit 7 to generate one super-resolution image in step S5, for example.
  • the image processing unit 7 generates one super-resolution image using at least a part of the imaging result obtained by repeating the imaging in step S3 as many times as the set value.
  • step S4 the control unit 42 determines whether or not a predetermined number of image generation periods T1 have ended in step S6. .
  • the setting value of the number of times of the image generation period T1 is stored in the storage device 43, and the control unit 42 determines the number of times of the image generation period T1 when it is determined that imaging in one image generation period T1 has ended.
  • the counter is incremented, and by comparing this counter with the set value, it is determined whether or not the imaging in the predetermined number of image generation periods T1 has been completed.
  • step S7 determines that the imaging in the predetermined number of image generation periods T1 has ended (step S7; Yes).
  • the control unit 42 controls, for example, the acoustooptic device 14 to generate the activation light L1 and the excitation light L2. Irradiation is stopped or reduced, and the interruption period T2 is started.
  • step S8 the control unit 42 determines whether or not a predetermined time has elapsed since the irradiation of the activation light L1 and the excitation light L2 is stopped or reduced.
  • the predetermined time may be constant (fixed value) for a plurality of interruption periods T2, or may be different (may be a variable value) for the plurality of interruption periods T2.
  • the length of the interruption period T2 may be adjusted according to the length of the image generation period T1.
  • the total length of the continuous image generation period T1 and the interruption period T2 may be a fixed value.
  • the interruption period T2 next to the image generation period T1 may be adjusted to be short.
  • the length of the interruption period T2 may be adjusted so that the fluctuation of the image generation period T1 is absorbed in the next interruption period T2.
  • the interruption period T2 next to the image generation period T1 may be adjusted to be long.
  • the control unit 42 repeatedly performs the process of step S8 at a predetermined time interval, for example.
  • the control unit 42 returns to step S1, starts irradiation with the activation light L1 and the excitation light L2, and starts the next image generation period T1.
  • the control unit 42 repeats the above-described process to execute imaging in a predetermined number of image generation periods T1.
  • FIG. 7 is a diagram showing the microscope apparatus 1 according to the present embodiment.
  • the same components as those in the above-described embodiment are denoted by the same reference numerals, and the description thereof is simplified or omitted as appropriate.
  • the illumination optical system 4 irradiates the sample X with excitation light having two types of wavelengths according to the fluorescent dye (eg, reporter dye).
  • the light source device 3 includes an excitation light source 10c and a shutter 11c.
  • the excitation light source 10b generates excitation light L2 having a first wavelength
  • the excitation light source 10c generates excitation light L3 having a second wavelength different from the first wavelength.
  • the second wavelength is shorter than the first wavelength.
  • the first wavelength is 647 nm and the second wavelength is 561 nm.
  • the shutter 11c is controlled by the control unit 42 and can switch between a state in which the excitation light L3 from the excitation light source 10c passes and a state in which the excitation light L3 is blocked.
  • the illumination optical system 4 includes a mirror 51 on the emission side of the excitation light source 10c.
  • the excitation light L3 from the excitation light source 10c is reflected by the mirror 51 and enters the dichroic mirror 13.
  • the dichroic mirror 13 and the dichroic mirror 20 have a characteristic that the excitation light L3 reflects, and the excitation light L3 is irradiated to the sample X through the same optical path as the excitation light L2.
  • FIG. 8 is a conceptual diagram showing a sequence of illumination and imaging according to the present embodiment.
  • the controller 42 alternately irradiates the first excitation light (excitation light L2) and the second excitation light (excitation light L3) in the image generation period T1.
  • the control unit 42 irradiates the first excitation light in the first period (hereinafter referred to as the first wavelength period T3) within the image generation period T1, and the second period (hereinafter referred to as the second wavelength in the image generation period T1).
  • the second excitation light is irradiated.
  • the control unit 42 irradiates the activation light in parallel with the first excitation light or the second excitation light in the image generation period T1.
  • the control unit 42 irradiates the activation light over the first wavelength period T3 and the second wavelength period T4.
  • the intensity of the activation light is adjusted according to the fluorescent material.
  • the intensity of the activation light is set stronger when irradiating the second excitation light than when irradiating the first excitation light.
  • the control unit 42 controls the acoustooptic device 14 and adjusts the intensity of the activation light. “Light irradiation (summation)” in FIG.
  • the control unit 42 controls the imaging unit 6 to execute the first imaging process in the first wavelength period T3 (at the time of irradiation with the first excitation light). In the image generation period T1, the control unit 42 repeatedly executes the first imaging process corresponding to the first wavelength period T3.
  • the image processing unit 7 generates the first image Pa using at least a part of the imaging results obtained by the plurality of first imaging processes in the image generation period T1. Further, the control unit 42 controls the imaging unit 6 to execute the second imaging process in the second wavelength period T4 (at the time of irradiation with the second excitation light). The control unit 42 repeatedly executes the second imaging process in the image generation period T1.
  • the image processing unit 7 generates the second image Pb by using at least a part of the imaging results obtained by the plurality of second imaging processes in the image generation period T1.
  • Two types of fluorescent dyes eg, reporter dyes
  • the image processing unit 7 combines the first image Pa and the second image Pb to generate one image Pt.
  • the image processing unit 7 may generate one image Pt without using the first image Pa and the second image Pb.
  • the image generation processing unit 7 uses one image Pt by using at least a part of the imaging results obtained by the plurality of first imaging processes and at least a part of the imaging results obtained by the second imaging process. May be generated.
  • the image generation period T1 when the irradiation of the first excitation light and the irradiation of the second excitation light are performed alternately by switching every frame period, the localization of the fluorescent substance to be observed is temporally and spatially. Easy to clarify.
  • a third embodiment will be described.
  • another embodiment in which there are two types of fluorescent dyes (eg, reporter dyes) used for labeling will be described.
  • the number of fluorescent dyes (eg, reporter dyes) may be three or more.
  • the same components as those in the above-described embodiment are denoted by the same reference numerals, and the description thereof is simplified or omitted as appropriate.
  • FIG. 9 is a conceptual diagram showing a sequence of illumination and imaging according to the present embodiment.
  • the control unit 42 continuously performs the plurality of first wavelength periods T3 and then continuously performs the plurality of second wavelength periods T4.
  • the control unit 42 irradiates the first excitation light in the plurality of first wavelength periods T3, and causes the imaging unit 6 to repeatedly execute the first imaging process.
  • the image processing unit 7 generates the first image Pa using at least a part of the imaging results obtained by the plurality of first imaging processes in the image generation period T1.
  • the control unit 42 irradiates the second excitation light in the plurality of second wavelength periods T4, and causes the imaging unit 6 to repeatedly execute the second imaging process.
  • the image processing unit 7 generates the second image Pb by using at least a part of the imaging results obtained by the plurality of second imaging processes in the image generation period T1. For example, the image processing unit 7 combines the first image Pa and the second image Pb to generate one image Pt. For example, the image processing unit 7 may generate one image Pt without using the first image Pa and the second image Pb. That is, the image generation processing unit 7 uses one image Pt by using at least a part of the imaging results obtained by the plurality of first imaging processes and at least a part of the imaging results obtained by the second imaging process. May be generated.
  • the microscope apparatus 1 has a mode in which excitation light is switched every one frame period as described in the second embodiment, and a mode in which excitation light is switched every two or more frame periods as in the present embodiment. It may be switchable.
  • FIG. 10 is a diagram illustrating the microscope apparatus 1 according to the present embodiment.
  • the same components as those in the above-described embodiment are denoted by the same reference numerals, and the description thereof is simplified or omitted as appropriate.
  • the illumination optical system 4 emits auxiliary light L4 for detecting the position of the sample X.
  • a reference marker indicating the position of the sample X is given to the sample X, and the illumination optical system 4 emits auxiliary light L4 for detecting the reference marker.
  • the reference marker is a fluorescent bead that emits fluorescence
  • the auxiliary light L4 includes light that excites the reference marker.
  • the light source device 3 includes an excitation light source 10d and a shutter 11d.
  • the excitation light source 10d generates auxiliary light L4.
  • the wavelength of the auxiliary light L4 is set to a wavelength different from both the activation light L1 and the excitation light L2, for example.
  • the light intensity of the auxiliary light L4 is weaker than the light intensity of the excitation light L2, for example.
  • the shutter 11d is controlled by the control unit 42 and can switch between a state in which the auxiliary light L4 from the excitation light source 10d passes and a state in which the auxiliary light L4 is blocked.
  • the acoustooptic device 14 is controlled by the control unit 42 to switch between a light transmission state through which the auxiliary light L4 passes and a state in which the auxiliary light L4 is blocked or the intensity of the auxiliary light L4 is reduced (light blocking state).
  • the illumination optical system 4 includes a mirror 51 on the emission side of the excitation light source 10d.
  • the auxiliary light L4 from the excitation light source 10d is reflected by the mirror 51 and enters the dichroic mirror 13.
  • the dichroic mirror 13 and the dichroic mirror 20 have a characteristic that the auxiliary light L4 reflects, and the auxiliary light L4 is irradiated to the sample X through the same optical path as the activation light L1 and the excitation light L2.
  • the control unit 42 irradiates the sample X with the auxiliary light L4, causes the imaging unit 6 to perform imaging, and detects fluorescence from the reference marker.
  • the frequency of detecting fluorescence from the reference marker is arbitrarily set.
  • the imaging corresponding to the auxiliary light L4 may be performed for each imaging in one frame period corresponding to the excitation light, or may be performed for each imaging in a plurality of frame periods corresponding to the excitation light.
  • FIG. 11 is a diagram showing a sequence of illumination and imaging according to the present embodiment.
  • the control unit 42 irradiates the sample X with the activation light L1 and the excitation light L2, and causes the imaging unit 6 to image the sample X.
  • the activation light L1 stochastically activates the fluorescent material, and the activated fluorescent material is excited by irradiation with the excitation light L2.
  • the captured images (Pd1 to Pdm) acquired in the period Ta are images of fluorescence from, for example, a fluorescent substance (eg, reporter dye) included in the sample X, and generation of an image indicating the structure of the sample X Used for.
  • the imaging unit 6 generates captured images Pd1 to Pdn as imaging results for each frame period Tf.
  • the image processing unit 7 generates one image SP (eg, super-resolution image) using at least a part of the captured images Pd1 to Pdn.
  • the control unit 42 irradiates the auxiliary light L4 in a state where the irradiation of the activation light L1 and the excitation light L2 is stopped or reduced, and causes the imaging unit 6 to image the sample X.
  • the period Tb is performed, for example, in the frame period Tf immediately before the period Ta.
  • the captured image Pc1 is acquired by imaging in the first period Tb
  • the captured images Pd1 to Pdm are acquired by imaging in the frame period Tf a predetermined number of times (m times) in the period Ta following the period Tb.
  • a captured image Pc2 is acquired by imaging in the period Tb.
  • the captured image Pc1 corresponding to the auxiliary light L4 is acquired at a frequency of 1 / m with respect to the captured images (Pd1 to Pdm) corresponding to the excitation light L2.
  • the predetermined number (m) is arbitrarily set, and may be 1, 10, 100, 1000, 5000, 10000, or the like, for example.
  • a symbol T6 is a period including one period Tb and a period Ta that is continuous with the period Tb.
  • the control unit 42 provides a plurality of times T6 in one image generation period T1.
  • the image processing unit 7 corrects at least a part of the captured image obtained in the next one period Ta of the captured image Pc2 using the captured results obtained in the period Tb (eg, captured images Pc1 and Pc2). . Further, the image processing unit 7 corrects a plurality of captured images obtained from a plurality of periods Ta, and generates one image using at least a part of the corrected captured images. The image processing unit 7 calculates the displacement (drift amount, movement amount) using the imaging results (captured images Pc1, Pc2) in the period Tb. The image processing unit 7 corrects the captured image in the period Ta using the calculated displacement.
  • the image processing unit 7 uses the displacement calculated from the captured image Pc1 and the captured image Pc2, and the center of gravity of the captured image captured in the period Ta between the captured image Pc2 and the captured image Pc3 (shown in FIG. 12).
  • the position Q is corrected.
  • the image processing unit 7 generates (constructs) one image by, for example, merging a large number of corrected gravity positions Q.
  • FIG. 12 is a diagram showing processing for detecting the displacement of the sample and processing for correcting the imaging result.
  • symbols Pc1 to Pcn indicate captured images corresponding to the auxiliary light L4.
  • the image processing unit 7 corrects the captured image captured between the captured image Pc2 and the captured image Pc3 with the same correction amount.
  • the image processing unit 7 uses the captured image Pc1 and the captured image Pc2 to calculate the correction amount of the captured image captured in the period Ta between the captured image Pc2 and the captured image Pc3.
  • the captured image denoted by reference symbol Pe1 representatively represents one of the captured images Pd1 to Pdm captured between the captured image Pc1 and the captured image Pc2. The same applies to the captured images Pe2 to Pen.
  • Reference numerals Pf2 to Pfn denote corrected images.
  • the image Pf2 is an image obtained by correcting the captured image Pe2.
  • a fluorescence image Im2 from the reference marker is distributed.
  • the fluorescence images in the captured image captured one time before are indicated by dotted lines.
  • the dotted line portion in the captured image Pc2 corresponds to the fluorescence image Im2 in the captured image Pc1.
  • the image processing unit 7 calculates the displacement V (vector) of the fluorescence image corresponding to the captured image Pc1 and the captured image Pc2.
  • the reference markers are sparsely distributed in the sample X such that the interval between the reference markers in the sample X is larger than an upper limit value assumed as a displacement (eg, displacement of the stage 2).
  • the image processing unit 7 calculates the displacement of the corresponding fluorescent image, assuming that the closest fluorescent image between the captured image Pc1 and the captured image Pc2 is a fluorescent image corresponding to the same reference marker. Then, the image processing unit 7 calculates an average Va (vector) of the displacement V for a plurality of fluorescence.
  • the image processing unit 7 obtains an image correlation while relatively moving the captured image Pc1 and the captured image Pc2, and the relative movement amount between the captured image Pc1 and the captured image Pc2 having the highest correlation coefficient is determined as a displacement. It is good also as an average.
  • the image processing unit 7 obtains the displacement using the fluorescent images that appear in both of the two images to be compared among the captured images Pc1 to Pcn. For example, if the captured image Pc1 and the captured image Pc3 include a fluorescence image corresponding to the same reference marker and the fluorescence image is not captured in the captured image Pc2, the image processing unit 7 displays the fluorescence image. By using the captured image Pc1 and the captured image Pc3, the displacement of the fluorescence image can be calculated. In addition, the image processing unit 7 may not use the fluorescence image that appears in only one of the two images to be compared for the calculation of the displacement.
  • the image processing unit 7 calculates the barycentric position of the fluorescent material for each of the captured images Pe2 to Pen corresponding to the excitation light L2.
  • the captured image Pe1 is assumed to be a reference image, and the position of the fluorescence image in the captured image Pe2 is corrected.
  • the image processing unit 7 calculates the barycentric position Q of each fluorescent image of the captured image Pe2. Then, the image processing unit 7 detects the displacement between the corrected captured image Pc2 corresponding to the imaging timing of the captured image Pe2 to be corrected and the corrected captured image Pc1 corresponding to the imaging timing of the reference captured image Pe1. Correction is performed using the average Va.
  • the captured image Pc2 for correction is, for example, a captured image captured in the period Tb immediately before the period Ta in which the captured image Pe2 to be corrected is captured.
  • the image processing unit 7 corrects the barycentric position Q of the fluorescence image in the captured image Pe2 to the barycentric position Q2 that is moved by the correction amount Vb (vector) obtained by inverting the average displacement Va, as in the image Pf2. Similar to the captured image Pe2, the image processing unit 7 corrects at least a part of the plurality of captured images captured in the period Ta between the captured image Pc2 and the captured image Pc3. Similarly, the image processing unit 7 corrects at least some of the plurality of captured images captured in the period Ta after the captured image Pc3.
  • the image processing unit 7 generates one image using, for example, a reference captured image (eg, captured images Pd1 to Pdm) and at least a part of the corrected image.
  • a reference captured image eg, captured images Pd1 to Pdm
  • the correction amount for the plurality of captured images from Pd1 to Pdm is calculated individually. May be.
  • linear interpolation may be performed using the displacement amounts of Pc1 and Pc2.
  • a value obtained by dividing the average displacement Va obtained by Pc1 and Pc2 by the number m of captured images is used as a correction amount for Pd1, and the subsequent captured images are integrated according to the order of acquisition of the captured images.
  • the corrected amount may be used. Thereby, a captured image can be corrected more accurately.
  • FIG. 13 is a diagram illustrating the microscope apparatus 1 according to the present embodiment.
  • the same components as those in the above-described embodiment are denoted by the same reference numerals, and the description thereof is simplified or omitted as appropriate.
  • the illumination optical system 4 emits auxiliary light L4 for detecting the position of the sample X.
  • a reference marker indicating the position of the sample X is given to the sample X, and the illumination optical system 4 emits auxiliary light L4 for detecting the reference marker.
  • the reference marker is a fluorescent bead that emits fluorescence
  • the auxiliary light L4 includes light that excites the reference marker.
  • the light source device 3 includes an excitation light source 10d and a shutter 11d.
  • the excitation light source 10d generates auxiliary light L4.
  • the wavelength of the auxiliary light L4 is set to a wavelength different from any of the activation light L1, the excitation light L2, and the excitation light L3, for example.
  • the light intensity of the auxiliary light L4 is weaker than both the light intensity of the excitation light L2 and the light intensity of the excitation light L3.
  • the shutter 11d is controlled by the control unit 42 and can switch between a state in which the auxiliary light L4 from the excitation light source 10d passes and a state in which the auxiliary light L4 is blocked.
  • the acoustooptic device 14 is controlled by the control unit 42 to switch between a light transmission state through which the auxiliary light L4 passes and a state in which the auxiliary light L4 is blocked or the intensity of the auxiliary light L4 is reduced (light blocking state).
  • the illumination optical system 4 includes a mirror 51 on the emission side of the excitation light source 10d.
  • the auxiliary light L4 from the excitation light source 10d is reflected by the mirror 51 and enters the dichroic mirror 13.
  • the dichroic mirror 13 and the dichroic mirror 20 have a characteristic that the auxiliary light L4 reflects, and the auxiliary light L4 is irradiated to the sample X through the same optical path as the activation light L1, the excitation light L2, and the excitation light L3.
  • the control unit 42 irradiates the sample X with the auxiliary light L4, causes the imaging unit 6 to perform imaging, and detects fluorescence from the reference marker.
  • the frequency of detecting fluorescence from the reference marker is arbitrarily set.
  • the imaging corresponding to the auxiliary light L4 may be performed for each imaging in one frame period corresponding to the excitation light, or may be performed for each imaging in a plurality of frame periods corresponding to the excitation light.
  • FIG. 14 is a diagram showing a sequence of illumination and imaging according to the present embodiment.
  • the control unit 42 provides a first wavelength period T3 (eg, period T12, period T14, period T16) and a second wavelength period T4 (eg, period T18, period T20, period T22) in the image generation period T1.
  • the image processing unit 7 forms at least one image using at least a part of the imaging result of the imaging unit 6 in the first wavelength period T3 and at least a part of the imaging result of the imaging unit in the second wavelength period T4. To do.
  • the image processing unit 7 generates the first image Pa using at least a part of the imaging result in the first wavelength period T3, and uses the at least part of the imaging result in the second wavelength period T4 to generate the second image Pa.
  • An image Pb is generated.
  • the first image Pa and the second image Pb are images representing different structures of the sample X.
  • the image processing unit 7 generates one image Pt using, for example, the first image Pa and the second image Pb.
  • the image Pt is, for example, an image obtained by combining the first image Pa and the second image Pb.
  • the image processing unit 7 may generate one image Pt without using the first image Pa and the second image Pb.
  • the image generation processing unit 7 uses one image Pt by using at least a part of the imaging results obtained by the plurality of first imaging processes and at least a part of the imaging results obtained by the second imaging process. May be generated. This will be described in more detail below.
  • the control unit 42 irradiates the activation light L1 (activation light: ON), irradiates the excitation light L2 (first excitation light: ON), and activates it.
  • the image of the fluorescence from the fluorescent material thus applied is caused to be continuously imaged in a plurality of frame periods by the imaging unit 6 (first imaging process; ON).
  • the control unit 42 adjusts the light intensity (H1 level in the drawing) of the activation light L1 in the first wavelength period T3 according to the type of the fluorescent substance.
  • the control unit 42 irradiates the auxiliary light L4 in the frame period (eg, period T11) immediately before each period (eg, period T12) in which imaging is continuously performed in the first wavelength period T3, and starts from the reference marker.
  • the imaging unit 6 is caused to capture an image of the light (third imaging process; ON).
  • the image processing unit 7 corrects the captured image by associating the position of the sample X in the period T14 with the position of the reference marker in the period T13 immediately before the period T14. For example, when the image processing unit 7 performs alignment between the captured image of the period T12 and the captured image of the period T14, the captured image of the period T11 and the captured image of the period T13 are used to perform the period T11 to the period T13.
  • the captured image of the period T14 can be aligned with the captured image of the period T12.
  • the drift amount between the current and previous first wavelength period T3 is obtained by comparing the immediately preceding period T5 with the previous period T5. By repeating this process, it is possible to align with the reference first wavelength period T3.
  • the image processing unit 7 aligns the plurality of captured images obtained in the first wavelength period T3 to generate the first image Pa.
  • control unit 42 irradiates the activation light L1 (activation light; ON) and the second excitation light L3 (second excitation light; ON) in the second wavelength period T4 (eg, period T18). ), An image of fluorescence from the activated second fluorescent material is continuously captured by the imaging unit 6 in a plurality of frame periods (second imaging process; ON). For example, the control unit 42 adjusts the light intensity (H2 level in the drawing) of the activation light L1 in the second wavelength period T4 according to the type of the second fluorescent material.
  • the control unit 42 irradiates the auxiliary light L4 in the frame period (e.g., period T19) immediately before each period (e.g., period T20) in which imaging is continuously performed in the second wavelength period T4, and starts from the reference marker.
  • the imaging unit 6 is caused to capture an image of the light (third imaging process; ON).
  • the image processing unit 7 corrects the captured image by associating the position of the sample X in the period T20 with the position of the reference marker in the period T19 immediately before the period T20. For example, when aligning the captured image of the period T18 and the captured image of the period T20, the image processing unit 7 uses the captured image of the period T17 and the captured image of the period T19 to perform the period T17 to the period T19.
  • the captured image of the period T20 can be aligned with the captured image of the period T18.
  • the case where the captured image in the period T20 is corrected by the amount of the displacement of the reference marker from the period T17 to the period T19 is illustrated, but the period of the reference marker from the period T17 to the period T19 is used to correct the period.
  • the correction amounts for the plurality of captured images at T20 may be calculated individually. For example, the amount of displacement of the reference marker from the period T17 to the period T19 may be linearly interpolated in the captured image of the period T20.
  • a value obtained by dividing the amount of displacement of the reference marker from the period T17 to the period T19 by the number of captured images in the period T20 is used as a correction amount for the first captured image in the period T20.
  • the value obtained by the division may be a correction amount that is integrated according to the acquisition order of the captured images. Thereby, a captured image can be corrected more accurately.
  • the image processing unit 7 aligns the plurality of captured images obtained in the second wavelength period T4 to generate the second image Pb.
  • the image processing unit 7 captures an image that serves as a reference for the position of the first image Pa (eg, a captured image in the period T12) and a captured image that serves as the position of the second image Pb (eg, captures in the period T18). And the second image Pb is corrected with a correction amount corresponding to the displacement. Thereby, the second image Pb can be aligned with the first image Pa, and the image Pt is obtained by synthesizing the corrected second image Pb and the first image Pa.
  • the control unit 42 causes the display device 44 to display the image Pt.
  • the portion of the sample X represented in the first image Pa is different from the portion represented in the second image Pb.
  • the drift amount can be obtained with high accuracy.
  • control unit 42 may irradiate the auxiliary light L4 during the interruption period T2 and cause the imaging unit 6 to capture a fluorescent image corresponding to the auxiliary light L4.
  • the imaging of the fluorescence according to the auxiliary light L4 may be performed with a smaller number of frames than the fluorescence imaging according to the first excitation light and the fluorescence imaging according to the second excitation light, and damage to the sample X may be caused. Few.
  • the auxiliary light L4 that illuminates the reference marker may not be the excitation light, and the microscope apparatus 1 may detect the reference marker with light transmitted through the sample X.
  • the reference marker may not be given to the sample X.
  • a scratch associated with the position of the sample X can be detected, and the displacement of the sample X can be calculated.
  • the image processing unit 7 may calculate an average of the displacements in the entire area of the captured image, and use the average to perform correction uniformly throughout the entire area of the captured image.
  • the displacement may be calculated for each pixel) and correction may be performed for each region.
  • FIG. 15 is a diagram illustrating the microscope apparatus 1 according to the present embodiment.
  • the illumination and imaging sequence is the same as in the first embodiment, but the illumination and imaging sequence may be any of the above-described embodiments, or a combination of the above-described embodiments. May be good.
  • the same components as those in the above-described embodiment are denoted by the same reference numerals, and the description thereof is simplified or omitted as appropriate.
  • the imaging optical system 5 includes an optical member 52.
  • the optical member 52 is, for example, a cylindrical lens.
  • the optical member 52 is detachably provided in the optical path between the lens 27 and the lens 28.
  • the optical member 52 is retracted from the optical path of the imaging optical system 5 in a mode for generating a two-dimensional super-resolution image, and is in the optical path of the imaging optical system 5 in a mode for generating a three-dimensional super-resolution image. Inserted. In a state where the optical member 52 is inserted in the optical path of the imaging optical system 5, the fluorescence image from the fluorescent material approaches a circle as the fluorescent material is closer to the in-focus position of the imaging optical system 5, and the fluorescent material is bound.
  • the flatness increases as the distance from the in-focus position of the image optical system 5 increases.
  • the direction of the major axis and the minor axis of the ellipse is reversed between the case where the fluorescent substance is present on the front pin side and the case where the fluorescent substance is present on the rear pin side with respect to the focusing position of the imaging optical system 5
  • the amount of displacement and the direction of displacement with respect to the in-focus position can be determined from the flatness and the major and minor axes of the ellipse.
  • the microscope apparatus 1 calculates the position of the fluorescent material in the optical axis direction of the imaging optical system 5 using the relationship between the flatness ratio acquired in advance and the amount of deviation with respect to the in-focus position, for example, by calibration or the like. Can do.
  • the displacement of the sample X in the optical axis direction of the imaging optical system 5 can also be calculated.
  • the image processing unit 7 can also perform correction using the displacement of the sample X in the optical axis direction of the imaging optical system 5.
  • the image generation period and the interruption period described in the first embodiment and the second embodiment are provided, and the light (eg, fluorescence) image from the reference marker described in the fourth embodiment and the fifth embodiment. Can also be combined.
  • the correction amount may be calculated using the timing of the captured image taken during the image generation period.
  • the control device 8 includes, for example, a computer system.
  • the control device 8 reads the control program stored in the storage device 43 and executes various processes according to the control program.
  • This control program for example, irradiates the activation light that activates the fluorescent substance contained in the sample and the excitation light that excites the activated fluorescent substance, captures an image of the fluorescence from the fluorescent substance, and Is a control program that causes a computer to execute control of a microscope apparatus that performs image processing using the result of the above, and the control is activated during the image generation period by providing a plurality of image generation periods and interruption periods.
  • This program may be provided by being recorded on a computer-readable storage medium.

Abstract

【課題】試料の損傷の蓄積を抑制可能な顕微鏡装置を提供する。 【解決手段】顕微鏡装置（１）は、活性化光（Ｌ１）と励起光（Ｌ２）とを照射する照明光学系（４）と、結像光学系（５）が形成した像を撮像する撮像部（６）と、撮像部の撮像結果を用いて画像処理を行う画像処理部（７）と、制御部（４２）と、を備える顕微鏡装置であって、制御部は、画像生成期間と、中断期間とを複数設け、画像生成期間において、活性化された蛍光物質に対して励起光を照射し、活性化された蛍光物質からの蛍光の像を撮像部に複数のフレーム期間で撮像させ、中断期間における励起光の強度を、画像生成期間における強度よりも低減させ、又は中断期間における励起光の照射を停止させ、画像処理部は、複数のフレーム期間で得られた撮像結果の少なくとも一部を用いて１枚の画像を生成する。

Description

顕微鏡装置、観察方法、及び制御プログラム
　本発明は、顕微鏡装置、観察方法、及び制御プログラムに関する。
　超解像顕微鏡の技術として、例えばSingle-molecule Localization Microscopy法がある。例えば、確率的光学再構築顕微鏡技術（Stochastic Optical Reconstruction Microscopy）を利用した顕微鏡装置（以下、ＳＴＯＲＭという）がある（例えば特許文献１参照）。ＳＴＯＲＭは、蛍光物質が付与された試料の観察に用いられる。蛍光物質は、例えば、活性化光の照射により活性化し、活性化した状態で励起光の照射により蛍光を発するか、または不活性化する。ＳＴＯＲＭは、例えば、蛍光物質を低密度で活性化し、活性化した蛍光物質のみを励起光の照射により発光させることで、蛍光物質の像が疎な分布の蛍光画像を取得する。蛍光画像において、蛍光物質の像は個々に分離されており、個々の像の重心位置を求めることができる。ＳＴＯＲＭは、多数の蛍光画像から得られる多数の蛍光物質の重心位置にそれぞれ像を配置することで、高分解能の画像を生成（構築）する。
米国特許出願公開第２００８／０１８２３３６号
　上述のようなＳＴＯＲＭは、例えば、活性化光、高強度の励起光を連続的に照射しながら多数の蛍光画像を取得するので、試料に損傷を与える。例えば、試料が生きた細胞（ライブセル）を含む場合、高強度の励起光を連続的に照射することにより損傷が蓄積して細胞が死滅し、所望の観察ができないことがある。本発明は、上述の事情に鑑みなされたものであり、試料の損傷の蓄積を抑制可能な顕微鏡装置、観察方法、及び制御プログラムを提供することを目的とする。
　本発明の第１の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光とを照射する照明光学系と、蛍光物質からの蛍光の像を形成する結像光学系と、結像光学系が形成した像を撮像する撮像部と、撮像部の撮像結果を用いて画像処理を行う画像処理部と、制御部と、を備える顕微鏡装置であって、制御部は、画像生成期間と、中断期間とを複数設け、画像生成期間において、活性化された蛍光物質に対して励起光を照射し、活性化された蛍光物質からの蛍光の像を撮像部に複数のフレーム期間で撮像させ、中断期間における励起光の強度を、画像生成期間における強度よりも低減させ、又は中断期間における励起光の照射を停止させ、画像処理部は、複数のフレーム期間で得られた撮像結果の少なくとも一部を用いて１枚の画像を生成する、ことを特徴とする顕微鏡装置が提供される。
　本発明の第２の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光とを照射することと、蛍光物質からの蛍光の像を形成することと、結像光学系が形成した像を撮像することと、撮像の結果を用いて画像処理を行うことと、を含む観察方法であって、画像生成期間と、中断期間とを複数設けることと、画像生成期間において、活性化された蛍光物質に対して励起光を照射し、活性化された蛍光物質からの蛍光の像を複数のフレーム期間で撮像させることと、中断期間における励起光の強度を、画像生成期間における強度よりも低減させ、又は中断期間における励起光の照射を停止させることと、を含み、画像処理は、複数のフレーム期間で得られた撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、ことを特徴とする観察方法が提供される。
　本発明の第３の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光とを照射し、蛍光物質からの蛍光の像を撮像し、撮像の結果を用いて画像処理を行う顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、制御は、画像生成期間と、中断期間とを複数設けることと、画像生成期間において、活性化された蛍光物質に対して励起光を照射し、活性化された蛍光物質からの蛍光の像を複数のフレーム期間で撮像させることと、中断期間における励起光の強度を、画像生成期間における強度よりも低減させ、又は中断期間における励起光の照射を停止させることと、を含み、画像処理は、複数のフレーム期間で得られた撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、ことを特徴とする制御プログラムが提供される。
　本発明によれば、試料の損傷の蓄積を抑制可能な顕微鏡装置、観察方法、及び制御プログラムを提供することができる。
実施形態に係る顕微鏡装置の動作を示す説明図である。 細胞内過酸化水素量の時間変化を示す概念図である。 第１実施形態に係る顕微鏡装置を示す図である。 第１実施形態に係る照明と撮像のシーケンスを示す図である。 第１実施形態に係る照明と撮像のシーケンスの他の形態を示す図である。 第１実施形態に係る観察方法を示すフローチャートである。 第２実施形態に係る顕微鏡装置を示す図である。 第２実施形態に係る照明と撮像のシーケンスを示す図である。 第３実施形態に係る照明と撮像のシーケンスを示す図である。 第４実施形態に係る顕微鏡装置１を示す図である。 第４実施形態に係る照明と撮像のシーケンスを示す図である。 試料の変位を検出する処理、撮像結果を補正する処理を示す図である。 第５実施形態に係る顕微鏡装置１を示す図である。 第５実施形態に係る照明と撮像のシーケンスを示す図である。 第６実施形態に係る顕微鏡装置１を示す図である。
　実施形態について説明する。実施形態に係る顕微鏡装置は、例えば、ＳＴＯＲＭ、ＰＡＬＭ等のSingle-molecule Localization Microscopy法を利用した顕微鏡装置である。実施形態に係る顕微鏡装置は、１種類の蛍光物質で標識（ラベル）された試料の蛍光観察、及び２種類以上の蛍光物質で標識された試料の蛍光観察のいずれにも利用できる。また、実施形態に係る顕微鏡装置は、２次元の超解像画像を生成するモード、及び３次元の超解像画像を生成するモードを有し、２つのモードを切り替え可能である。以下、２次元の超解像画像を生成するモードを中心に説明した後、３次元の超解像画像を生成するモードについて説明する。
　試料は、生きた細胞（ライブセル）を含むものでもよいし、ホルムアルデヒド溶液等の組織固定液を用いて固定された細胞を含むものでもよく、組織等でもよい。蛍光物質は、シアニン（ｃｙａｎｉｎｅ）染料等の蛍光色素でもよいし、蛍光タンパク質でもよい。蛍光色素は、活性化された状態（以下、活性化状態という）で励起光を受けた場合に蛍光を発するレポータ色素を含む。また、蛍光色素は、活性化光を受けてレポータ色素を活性化状態にするアクティベータ色素を含む場合がある。蛍光色素がアクティベータ色素を含まない場合、レポータ色素は、活性化光を受けて活性化状態になる。蛍光色素は、例えば、２種類のシアニン（ｃｙａｎｉｎｅ）染料を結合させた染料対（例、Ｃｙ３－Ｃｙ５染料対、Ｃｙ２－Ｃｙ５染料対、Ｃｙ３－Ａｌｅｘａ Ｆｌｕｏｒ６４７染料対（Ａｌｅｘａ Ｆｌｕｏｒは登録商標））、１種類の染料（例、Ａｌｅｘａ Ｆｌｕｏｒ６４７（Ａｌｅｘａ Ｆｌｕｏｒは登録商標））である。蛍光タンパク質は、例えばＰＡ－ＧＦＰ、Ｄｒｏｎｐａなどである。
　まず、実施形態に係る顕微鏡装置の動作を概略して説明する。図１は、実施形態に係る顕微鏡装置の動作を示す説明図である。顕微鏡装置は、活性化された蛍光物質に対して励起光を照射し（図１の光照射；ＯＮ）、試料に対する撮像を複数のフレーム期間Ｔｆのそれぞれで行う。なお、蛍光物質は、確率的に活性化されている。１つのフレーム期間Ｔｆは、１枚の撮像画像を生成する期間である。１つのフレーム期間Ｔｆは、例えば、電荷を蓄積する期間Ｔｆ１、及び期間Ｔｆ１に蓄積された電荷を読み出す期間Ｔｆ２を含む。なお、電荷の蓄積と電荷の読み出しとが並列に行われる場合、１つのフレーム期間Ｔｆは、蛍光に応じた電荷を蓄積する期間Ｔｆ１となる。１つのフレーム期間Ｔｆの長さは、例えば、フレームレートの逆数である。顕微鏡装置は、各フレーム期間Ｔｆの撮像結果として、撮像画像Ｐ１～Ｐｎを生成する。撮像画像Ｐ１～Ｐｎのそれぞれにおいて、蛍光の像Ｉｍは、低密度で離散的に分布する。顕微鏡装置は、例えば、蛍光の像Ｉｍの光強度分布をガウシアン関数等でフィッティングすること等により、蛍光の像Ｉｍの位置情報（例、重心位置Ｑ）を算出する。
　顕微鏡装置は、例えば、複数の撮像画像Ｐ１～Ｐｎから得られる多数の重心位置Ｑを用いて、１枚の画像ＳＰを生成（構築）する。画像ＳＰは、例えば、ＳＴＯＲＭ、ＰＡＬＭなどの超解像画像である。画像ＳＰの生成に使われる撮像画像Ｐ１～Ｐｎの枚数は、例えば、予め設定されたデフォルト値、ユーザが指定する指定値などの設定値である。画像生成期間Ｔ１は、例えば、所定値の枚数の撮像画像Ｐ１～Ｐｎを取得する期間であり、複数のフレーム期間Ｔｆを含む。図１に示されるように、画像生成期間Ｔ１において、励起光が照射されている。
　また、顕微鏡装置は、複数回数の画像生成期間Ｔ１で撮像を行って複数の画像ＳＰを生成することができる。例えば、複数の画像ＳＰはそれぞれ超解像画像として利用できるが、複数の画像ＳＰをマージすることで、１枚の画像ＳＰよりも情報量が多い超解像画像を得ることができる。また、複数の画像ＳＰを連続して再生することにより、動画とすることもできる。
　図２は、生きた細胞を含む試料に対して複数回数の画像生成期間Ｔ１で撮像を行う場合において、細胞内過酸化水素量の時間変化を示す概念図である。図２（Ａ）は、複数回数の画像生成期間Ｔ１で撮像を連続的に行う場合の細胞内過酸化水素量を示す図である。この場合、複数回数の画像生成期間Ｔ１が連続することになり、複数回数の画像生成期間Ｔ１にわたり、光照射が連続的に行われる（光照射；ＯＮ）。励起光等の光強度の強い光が細胞に照射されると、細胞内および細胞外環境に、例えば活性酸素が生成される。なお、活性化光の光強度は、過酸化水素量の生成に対して無視できる程度に弱い。活性酸素は、例えば、水分子と反応して過酸化水素となり、細胞に損傷を与える。光照射が連続的に行われる場合、細胞外環境では、カタラーゼを溶液中に添加するため、発生した過酸化水素を分解することができる。一方、細胞内では、過酸化水素が蓄積し、細胞内の過酸化水素量が時間経過とともに上昇する。例えば、数分程度（例、３～５分）の間、継続的に励起光を細胞に照射すると、過酸化水素量が閾値を超えて細胞が死滅してしまう。
　本願発明者は、生きた細胞に、過酸化水素を分解（無毒化）する機能があることに着目し、この分解機能を利用して、細胞が死滅するまでに照射可能な光量（光の強さと照射時間の積）の総和を増やすこと、細胞を死滅させずに光照射を行うこと等が可能であることに思い至った。例えば、細胞内小器官のペルオキシソーム内にはカタラーゼという酵素が存在する。一方、細胞内であっても、ペルオキシソーム外では、カタラーゼの量が非常に少ない。したがって、励起光等の光強度の強い光が細胞に照射されると、過酸化水素が大量に発生し、ペルオキシソーム外では、過酸化水素の分解（無毒化）が追い付かない。本願発明者は、光照射を中断すると活性酸素の発生が抑制されるのに加え、蓄積された過酸化水素が分解により減少し、観察可能な時間が増加することを思い至った。
　図２（Ｂ）は、画像生成期間Ｔ１の後に、活性化光および励起光を照射しない中断期間Ｔ２（回復期間、分解期間、非画像生成期間）を設ける場合の細胞内過酸化水素量を示す図である。図２（Ｂ）において、中断期間Ｔ２の長さは、画像生成期間Ｔ１に蓄積した細胞内過酸化水素のほぼ全部を分解する時間に設定されている。この場合、中断期間Ｔ２の終了時の細胞内過酸化水素量は、画像生成期間Ｔ１の開始時の細胞内過酸化水素量と同じになり、画像生成期間Ｔ１と中断期間Ｔ２とを交互に繰り返し行うと、細胞を死滅させずに光照射を行うことができる。
　図２（Ｃ）は、画像生成期間Ｔ１の後に中断期間Ｔ２を設ける場合の細胞内過酸化水素量の他の例を示す図である。図２（Ｃ）において、中断期間Ｔ２の長さは、画像生成期間Ｔ１に蓄積した細胞内過酸化水素量の一部を分解する時間に設定されている。この場合、１組の画像生成期間Ｔ１および中断期間Ｔ２における細胞内過酸化水素量の増分は、１つの画像生成期間Ｔ１における細胞内過酸化水素量の増分と比べて減少する。したがって、１組の画像生成期間Ｔ１および中断期間Ｔ２を繰り返し設ける場合に、細胞内過酸化水素量が閾値に至るまでの画像生成期間Ｔ１の数は、画像生成期間Ｔ１のみを連続的に設ける場合に、細胞内過酸化水素量が閾値に至るまでの画像生成期間Ｔ１の数よりも多くなる。よって、細胞が死滅するまでに照射可能な光量（光の強さと照射時間の積）の総和を増やすことができ、より多くの情報を取得可能になる。例えば、画像生成期間Ｔ１に増加する細胞内過酸化水素量をＵ１、中断期間Ｔ２に減少する細胞内過酸化水素量をＵ２とする。１つの画像生成期間Ｔ１と１つの中断期間とを設ける場合の細胞内過酸化水素量の増分はＵ１－Ｕ２である。細胞を死滅させずに、所定の光の強さで画像生成期間Ｔ１を設けることが可能な回数（光量）は、画像生成期間Ｔ１のみを設ける場合にＱ／Ｕ１回であるが、中断期間Ｔ２を設ける場合にＱ／（Ｕ１－Ｕ２）となり、画像生成期間Ｔ１のみを設ける場合よりも増加する。例えばＵ２＝Ｕ１／２とすると、中断期間Ｔ２を設ける場合に細胞を死滅させずに画像生成期間Ｔ１を設けることが可能な回数（光量）は、２Ｑ／Ｕ１となり、中断期間Ｔ２を設けない場合に比べて２倍になる。
　なお、図２（Ｂ）、図２（Ｃ）では、上記中断期間Ｔ２において、活性化光および励起光を照射しない場合を例示して説明したが、活性化光および励起光の照射を停止せず、低減してもよい。なぜなら、活性化光および励起光の照射を停止せず、低減した場合でも同様に、活性酸素の発生が抑制され、蓄積された過酸化水素が分解により減少し、観察可能な時間が増加するからである。このことは、以下の説明でも同様である。また、上記図２（Ａ）、図２（Ｂ）、図２（Ｃ）では、活性化光および励起光を照射する場合を記載したが、活性化光の光強度は、過酸化水素量の生成に対して無視できる程度に弱い。一方、励起光の光強度は強いため、上述したように、継続して照射すると、細胞内の過酸化水素量が時間経過とともに上昇する。つまり、図２（Ｂ）、図２（Ｃ）で示したように、中断期間を設けることにより、強い強度の励起光が停止または低減されるので、上述したように、細胞が死滅するまでに照射可能な光量（光の強さと照射時間の積）の総和を増やすことができる。このことは、以下の説明でも同様である。
　なお、実施形態に係る顕微鏡装置は、図２（Ａ）に示したように、複数の画像生成期間Ｔ１を連続して設けることもできる。例えば、固定化された細胞あるいは組織、生きた細胞あるいは組織などの観察を行う際に、実施形態に係る顕微鏡装置は、図２（Ａ）に示した照明と撮像のシーケンスで動作することもできる。本実施形態に係る顕微鏡装置は、例えばユーザの指定により、中断期間Ｔ２を設けるか否かを切り替えることができる。
［第１実施形態］
　第１実施形態について説明する。本実施形態では、標識に用いられる蛍光色素（例、レポータ色素）が１種類である形態について説明する。図３は、本実施形態に係る顕微鏡装置１を示す図である。顕微鏡装置１は、ステージ２、光源装置３と、照明光学系４と、結像光学系５と、撮像部６と、画像処理部７と、制御装置８とを備える。制御装置８は、顕微鏡装置１の各部を包括的に制御する制御部４２を備える。
　ステージ２は、観察対象の試料Ｘを保持する。ステージ２は、例えば、その上面に試料Ｘを載置可能なものである。ステージ２は、例えば、机等のように試料Ｘを移動させる機構を有さないものでもよいし、ＸＹステージのように試料Ｘを移動させる機構を有するものでもよい。顕微鏡装置１は、ステージ２を備えなくてもよい。
　光源装置３は、活性化光源１０ａ、励起光源１０ｂ、シャッタ１１ａ、及びシャッタ１１ｂを備える。活性化光源１０ａは、試料Ｘに含まれる蛍光物質を活性化する活性化光Ｌ１を発する。ここでは、蛍光物質がレポータ色素を含み、アクティベータ色素を含まないものとする。蛍光物質のレポータ色素は、活性化光Ｌ１が照射されることで、蛍光を発することが可能な活性化状態となる。蛍光物質は、レポータ色素およびアクティベータ色素を含むものでもよく、この場合、アクティベータ色素は、活性化光Ｌ１を受けた場合にレポータ色素を活性状態にする。なお、蛍光物質は、例えばＰＡ－ＧＦＰ、Ｄｒｏｎｐａなどの蛍光タンパク質でもよい。
　励起光源１０ｂは、試料Ｘに含まれる蛍光物質を励起する励起光Ｌ２を発する。蛍光物質は、活性化状態において励起光Ｌ２が照射されると、蛍光を発するか、不活性化される。蛍光物質は、不活性化された状態（以下、不活性化状態という）において活性化光Ｌ１が照射されると、再度、活性化状態となる。
　活性化光源１０ａおよび励起光源１０ｂは、例えば、レーザ光源などの固体光源を含み、それぞれ、蛍光物質の種類に応じた波長のレーザ光を発する。活性化光源１０ａの射出波長、励起光源１０ｂの射出波長は、例えば、約４０５ｎｍ、約４５７ｎｍ、約４８８ｎｍ、約５３２ｎｍ、約５６１ｎｍ、約６４０ｎｍ、約６４７ｎｍなどから選択される。ここでは、活性化光源１０ａの射出波長が約４０５ｎｍであり、励起光源１０ｂの射出波長が約４８８ｎｍ、約５６１ｎｍ、約６４７ｎｍから選択される波長であるとする。
　シャッタ１１ａは、制御部４２により制御され、活性化光源１０ａからの活性化光Ｌ１を通す状態と、活性化光Ｌ１を遮る状態とを切り替え可能である。シャッタ１１ｂは、制御部４２により制御され、励起光源１０ｂからの励起光Ｌ２を通す状態と、励起光Ｌ２を遮る状態とを切り替え可能である。
　なお、顕微鏡装置１は、光源装置３の少なくとも一部を備えなくてもよい。例えば、光源装置３は、ユニット化されており、顕微鏡装置１に交換可能（取り付け可能、取り外し可能）に設けられていてもよい。例えば、光源装置３は、顕微鏡装置１による観察時などに、顕微鏡装置１に取り付けられてもよい。
　照明光学系４は、活性化光Ｌ１と、励起光Ｌ２とを試料Ｘに照射する。照明光学系４は、ミラー１２、ダイクロイックミラー１３、音響光学素子１４、レンズ１５、導光部材１６、レンズ１７、レンズ１８、フィルタ１９、ダイクロイックミラー２０、及び対物レンズ２１を備える。ミラー１２は、例えば、励起光源１０ｂの射出側に設けられる。励起光源１０ｂからの励起光Ｌ２は、ミラー１２で反射し、ダイクロイックミラー１３に入射する。ダイクロイックミラー１３は、例えば、活性化光源１０ａの射出側に設けられる。ダイクロイックミラー１３は、活性化光Ｌ１が透過し、励起光Ｌ２が反射する特性を有する。ダイクロイックミラー１３を透過した活性化光Ｌ１と、ダイクロイックミラー１３で反射した励起光Ｌ２は、同じ光路を通って音響光学素子１４に入射する。音響光学素子１４は、例えば音響光学フィルタなどである。
　音響光学素子１４は、制御部４２に制御され、活性化光Ｌ１の光強度および励起光Ｌ２の光強度のそれぞれを調整可能である。また、音響光学素子１４は、制御部４２に制御され、活性化光Ｌ１、励起光Ｌ２のそれぞれについて、音響光学素子１４を通る状態（以下、通光状態という）と、音響光学素子１４により遮られる状態または強度が低減される状態（以下、遮光状態という）とを切り替え可能である。例えば、蛍光物質がレポータ色素を含みアクティベータ色素を含まない場合、制御部４２は、活性化光Ｌ１の照射と励起光Ｌ２の照射とを並行して行うように、音響光学素子１４を制御する。また、蛍光物質がレポータ色素およびアクティベータ色素を含む場合、制御部４２は、例えば、活性化光Ｌ１の照射後に励起光Ｌ２を照射するように、音響光学素子１４を制御する。
　レンズ１５は、例えばカプラであり、音響光学素子１４からの活性化光Ｌ１、励起光Ｌ２を導光部材１６に集光する。導光部材１６は、例えば光ファイバであり、活性化光Ｌ１、励起光Ｌ２をレンズ１７へ導く。レンズ１７は、例えばコリメータであり、活性化光Ｌ１、励起光Ｌ２を平行光に変換する。レンズ１８は、例えば、活性化光Ｌ１、励起光Ｌ２を対物レンズ２１の瞳面の位置に集光する。フィルタ１９は、例えば、活性化光Ｌ１および励起光Ｌ２が透過し、他の波長の光の少なくとも一部を遮る特性を有する。ダイクロイックミラー２０は、活性化光Ｌ１および励起光Ｌ２が反射し、試料Ｘからの光のうち所定の波長帯の光（例、蛍光）が透過する特性を有する。フィルタ１９からの光は、ダイクロイックミラー２０で反射し、対物レンズ２１に入射する。試料Ｘは、観察時に対物レンズ２１の焦点面に配置される。
　活性化光Ｌ１、励起光Ｌ２は、上述のような照明光学系４により、試料Ｘに照射される。なお、上述した照明光学系４は一例であり、適宜、変更可能である。例えば、上述した照明光学系４の一部が省略されてもよい。また、照明光学系４は、光源装置３の少なくとも一部を含んでいてもよい。また、照明光学系４は、開口絞り、照野絞りなどを備えてもよい。
　結像光学系５は、試料Ｘに含まれる蛍光物質からの蛍光の像を形成する。結像光学系５は、対物レンズ２１、ダイクロイックミラー２０、フィルタ２４、レンズ２５、光路切替部材２６、レンズ２７、及びレンズ２８を備える。結像光学系５は、対物レンズ２１およびダイクロイックミラー２０を照明光学系４と共用している。試料Ｘからの光は、対物レンズ２１およびダイクロイックミラー２０を通ってフィルタ２４に入射する。フィルタ２４は、試料Ｘからの光のうち所定の波長帯の光が選択的に通る特性を有する。フィルタ２４は、例えば、試料Ｘで反射した照明光、外光、迷光などを遮断する。フィルタ２４は、例えば、フィルタ１９およびダイクロイックミラー２０とユニット化され、このフィルタユニット２９は、交換可能に設けられる。フィルタユニット２９は、例えば、光源装置３から射出される光の波長（例、活性化光Ｌ１の波長、励起光Ｌ２の波長）、試料Ｘから放射される蛍光の波長などに応じて交換される。
　フィルタ２４を通った光は、レンズ２５を介して光路切替部材２６に入射する。光路切替部材２６は、例えばプリズムであり、結像光学系５の光路に挿脱可能に設けられる。光路切替部材２６は、例えば、制御部４２により制御される駆動部（図示せず）によって、結像光学系５の光路に挿脱される。光路切替部材２６は、結像光学系５の光路に挿入された状態において、試料Ｘからの蛍光を内面反射によって撮像部６へ向かう光路へ導く。レンズ２７及びレンズ２８は、例えば、アフォーカル光学系を構成する。
　上述のような結像光学系５は、試料Ｘと光学的に共役な位置に、蛍光の像を形成する。上述した結像光学系５は一例であり、適宜、変更可能である。例えば、上述した結像光学系５の一部が省略されてもよい。また、結像光学系５は、開口絞り、視野絞りなどを備えてもよい。
　本実施形態に係る顕微鏡装置１は、観察範囲の設定などに利用される観察光学系３０を備える。観察光学系３０は、試料Ｘから観察者の視点Ｖｐに向かう順に、対物レンズ２１、ダイクロイックミラー２０、フィルタ２４、レンズ２５、ミラー３１、レンズ３２、ミラー３３、レンズ３４、レンズ３５、ミラー３６、及びレンズ３７を備える。観察光学系３０は、対物レンズ２１からレンズ２５までの構成を結像光学系５と共用している。試料Ｘからの光は、レンズ２５を通った後に、光路切替部材２６が結像光学系５の光路から退避した状態において、ミラー３１に入射する。ミラー３１で反射した光は、レンズ３２を介してミラー３３に入射し、ミラー３３で反射した後に、レンズ３４およびレンズ３５を介してミラー３６に入射する。ミラー３６で反射した光は、レンズ３７を介して、視点Ｖｐに入射する。観察光学系３０は、例えば、レンズ３５とレンズ３７との間の光路に試料Ｘの中間像を形成する。レンズ３７は、例えば接眼レンズであり、観察者は、中間像を観察することにより観察範囲の設定などを行うことができる。
　撮像部６は、結像光学系５が形成した像を撮像する。撮像部６は、撮像素子４０および制御部４１を備える。撮像素子４０は、例えばＣＭＯＳイメージセンサであるが、ＣＣＤイメージセンサなどの他のイメージセンサなどでもよい。撮像素子４０は、例えば、二次元的に配列された複数の画素を有し、各画素にフォトダイオードなどの光電変換素子が配置された構造である。撮像素子４０は、例えば、光電変換素子に蓄積された電荷を、読出回路によって読み出す。撮像素子４０は、読み出された電荷をデジタルデータに変換し、画素の位置と階調値とを関連付けたデジタル形式のデータを出力する。制御部４１は、制御装置８の制御部４２から入力される制御信号に基づいて撮像素子４０を動作させ、撮像画像のデータを制御装置８に出力する。また、制御部４１は、電荷の蓄積期間と電荷の読み出し期間を制御装置８に出力する。
　制御装置８は、顕微鏡装置１の各部を総括して制御する。制御装置８は、制御部４２および画像処理部７を備える。制御部４２は、制御部４１から供給される電荷の蓄積期間と電荷の読み出し期間を示す信号（撮像タイミングの情報）に基づいて、音響光学素子１4に、光源装置３からの光を通す通光状態と、光源装置３からの光を遮る遮光状態とを切り替える制御信号を供給する。音響光学素子１４は、この制御信号に基づいて、通光状態と遮光状態とを切り替える。制御部４２は、音響光学素子１４を制御し、試料Ｘに活性化光Ｌ１が照射される期間、及び試料Ｘに活性化光Ｌ１が照射されない期間を制御する。また、制御部４２は、音響光学素子１４を制御し、試料Ｘに励起光Ｌ２が照射される期間、及び、試料Ｘに励起光Ｌ２が照射されない期間を制御する。制御部４２は、音響光学素子１４を制御し、試料Ｘに照射される活性化光Ｌ１の光強度および励起光Ｌ２の光強度を制御する。制御部４２は、撮像部６を制御し、撮像素子４０に撮像を実行させる。なお、制御部４２の代わりに制御部４１は、電荷の蓄積期間と電荷の読み出し期間を示す信号（撮像タイミングの情報）に基づいて、音響光学素子１４に遮光状態と通光状態とを切り替える制御信号を供給し、音響光学素子１４を制御してもよい。制御部４２が制御する照明と撮像のシーケンスについては、後に図４等を参照しつつ説明する。制御部４２は、撮像部６から撮像結果（撮像画像のデータ）を取得する。画像処理部７は、撮像部６の撮像結果を用いて、個々の像の重心位置を求めるなどの画像処理を行う。画像処理部７は、図１に示したように、例えば、複数のフレーム期間Ｔｆで得られた撮像画像Ｐ１～Ｐｎに含まれる複数の蛍光の像のそれぞれの重心位置を輝点で表し、複数の輝点の少なくとも一部を重ねて（マージして）１枚の画像ＳＰ（例、超解像画像）を生成する。
　制御装置８は、記憶装置（記憶部）４３および表示装置（表示部）４４のそれぞれと通信可能に接続される。表示装置４４は、例えば、液晶ディスプレイなどである。表示装置４４は、例えば、顕微鏡装置１の各種設定を示す画像、撮像部６による撮像画像、撮像画像から生成された画像などの各種画像を表示する。制御部４２は、表示装置４４を制御し、表示装置４４に各種画像を表示させる。例えば、制御部４２は、画像処理部７が生成した画像（例、ＳＴＯＲＭ画像、ＰＡＬＭ画像などの超解像画像）のデータを表示装置４４に供給し、この画像を表示装置４４に表示させる。例えば、顕微鏡装置１は、観察対象の試料Ｘの超解像画像をライブ映像で表示すること等もできる。記憶装置４３は、例えば磁気ディスクや光学ディスクなどであり、顕微鏡装置１の各種設定のデータ、撮像部６による撮像画像のデータ、画像処理部７が生成した画像のデータなど各種データを記憶する。制御部４２は、例えば、記憶装置４３に記憶された超解像画像のデータを表示装置４４に供給し、超解像画像を表示装置４４に表示させることができる。制御部４２は、記憶装置４３を制御し、各種データを記憶装置４３に記憶させる。
　図４（Ａ）は、試料Ｘを観察する視野が固定される場合について、本実施形態に係る照明と撮像のシーケンスを示す概念図、図４（Ｂ）は視野Ｙの説明図である。制御部４２は、画像生成期間Ｔ１において、活性化光Ｌ１および励起光Ｌ２の少なくとも一方を試料Ｘにおける視野Ｙに照射させる。視野Ｙは、例えば撮像部６における撮像素子４０の受光面と光学的に共役な領域であり、試料Ｘの一部に配置される。例えば、制御部４２は、時刻ｔ１において、活性化光Ｌ１の照射を開始（活性化光；ＯＮ）させ、時刻ｔ１から時刻ｔ２までの期間において、活性化光Ｌ１を照射させる。また、制御部４２は、時刻ｔ１において、励起光Ｌ２の照射を開始（励起光；ＯＮ）させ、時刻ｔ１から時刻ｔ２までの期間において、励起光Ｌ２を照射させる。図４の「光照射（合算）」は、活性化光と励起光の少なくとも１つが照射される状態を「ＯＮ」で表し、活性化光及び励起光が照射されない状態を「ＯＦＦ」で表したものである。制御部４２は、画像生成期間Ｔ１において、撮像部６に複数のフレーム期間Ｔｆ（図１参照）で撮像させる。画像処理部７は、時刻ｔ１から時刻ｔ２までの画像生成期間Ｔ１内の複数のフレーム期間Ｔｆにおける撮像結果の少なくとも一部を用いて、１枚の画像ＳＰを生成する。
　制御部４２は、画像生成期間Ｔ１後の中断期間Ｔ２における活性化光Ｌ１および励起光Ｌ２の照射を停止、または中断期間Ｔ２における活性化光Ｌ１および励起光Ｌ２の光強度を画像生成期間Ｔ１よりも弱く（低減）する。例えば、制御部４２は、時刻ｔ２において、活性化光Ｌ１の照射を停止（活性化光；ＯＦＦ）させ、時刻ｔ２から時刻ｔ３までの期間において、活性化光Ｌ１の照射の停止を維持させる。制御部４２は、時刻ｔ２において、励起光Ｌ２の照射を停止（励起光；ＯＦＦ）させ、時刻ｔ２から時刻ｔ３までの期間において、励起光Ｌ２の照射の停止を維持させる。この場合、活性化光Ｌ１および励起光Ｌ２が試料Ｘにおける視野Ｙに照射されない中断期間Ｔ２は、時刻ｔ２から時刻ｔ３までの期間になる。中断期間Ｔ２は、例えば、複数のフレーム期間Ｔｆ（図１参照）のいずれよりも長い。中断期間Ｔ２は、画像生成期間Ｔ１よりも長くてもよいし、短くてもよい。
　制御部４２は、画像生成期間Ｔ１と中断期間Ｔ２とを交互に行う。例えば、制御部４２は、時刻ｔ２から時刻ｔ３までの中断期間Ｔ２に続いて、時刻ｔ３から時刻ｔ４までの画像生成期間Ｔ１を行う。制御部４２は、時刻ｔ３から時刻ｔ４までの画像生成期間Ｔ１において、時刻ｔ１から時刻ｔ２までの画像生成期間Ｔ１と試料Ｘにおける同じ視野Ｙに対して、活性化光Ｌ１、励起光Ｌ２を照射させる。制御部４２は、時刻ｔ３から時刻ｔ４までの画像生成期間Ｔ１において、時刻ｔ１から時刻ｔ２までの画像生成期間Ｔ１と試料Ｘにおける同じ視野Ｙを撮像させる。画像処理部７は、時刻ｔ３から時刻ｔ４までの画像生成期間Ｔ１内の複数のフレーム期間Ｔｆにおける撮像結果の少なくとも一部を用いて、１枚の画像ＳＰを生成する。このように、制御部４２は、中断期間Ｔ２の前後の画像生成期間Ｔ１において、試料Ｘにおける視野Ｙに活性化光Ｌ１、励起光Ｌ２を照射させ、試料Ｘにおける視野Ｙを撮像させる。画像処理部７は、各画像生成期間Ｔ１内の複数のフレーム期間Ｔｆにおける撮像結果の少なくとも一部を用いて、１枚の画像ＳＰを生成する。制御部４２は、以下同様に画像生成期間Ｔ１と中断期間Ｔ２とを交互に繰り返し設け、画像処理部７は、複数の画像ＳＰを生成する。
　図５（Ａ）は、試料Ｘを観察する視野が変更される場合について、本実施形態に係る照明と撮像のシーケンスを示す概念図、図５（Ｂ）は視野の説明図である。試料Ｘにおける視野は、例えば、初期状態でＹ１に配置され、ステージ２を移動させることで、Ｙ２、Ｙ３へ順に移動した後にＹ１へと戻る。図５（Ａ）において、「ステージ」の「Ｙ１」、「Ｙ２」、「Ｙ３」は、それぞれ、試料Ｘにおける視野が図５（Ｂ）のＹ１、Ｙ２、Ｙ３に配置された状態を表す。制御部４２は、視野がＹ１に配置された状態（ステージ；Ｙ１）において、活性化光Ｌ１および励起光Ｌ２を照射させ、撮像部６に撮像処理を行わせる。画像処理部７は、この視野（Ｙ１）における画像生成期間Ｔ１の撮像結果の少なくとも一部を用いて、１枚の画像ＳＰ（Ｙ１）を生成する。
　制御部４２は、視野（Ｙ１）における画像生成期間Ｔ１の終了後に、ステージ２を制御して、試料Ｘにおける視野をＹ２に配置させる。制御部４２は、視野がＹ２に配置された状態（ステージ；Ｙ２）において、活性化光Ｌ１および励起光Ｌ２を照射させ、撮像部６に撮像処理を行わせる。画像処理部７は、この視野（Ｙ２）における画像生成期間Ｔ１の撮像結果の少なくとも一部を用いて、１枚の画像ＳＰ（Ｙ２）を生成する。制御部４２は、視野（Ｙ２）における画像生成期間Ｔ１の終了後に、ステージ２を制御して、試料Ｘにおける視野をＹ３に配置させる。制御部４２は、視野がＹ３に配置された状態（ステージ；Ｙ３）において、活性化光Ｌ１および励起光Ｌ２を照射させ、撮像部６に撮像処理を行わせる。画像処理部７は、この視野（Ｙ３）における画像生成期間Ｔ１の撮像結果の少なくとも一部を用いて、１枚の画像ＳＰ（Ｙ３）を生成する。
　制御部４２は、視野（Ｙ３）における画像生成期間Ｔ１の終了後に、ステージ２を制御して、試料Ｘにおける視野をＹ１に配置させ、画像生成期間Ｔ１を再度行う。前回の画像生成期間Ｔ１と、今回の画像生成期間Ｔ１との間において、視野Ｙ１は、活性化光Ｌ１および励起光Ｌ２が照射されない状態になっている。すなわち、視野Ｙ１において、前回と今回の画像生成期間Ｔ１の間が中断期間Ｔ２になる。視野Ｙ２、視野Ｙ３についても同様に、前回と今回の画像生成期間Ｔ１の間が中断期間Ｔ２になる。
　なお、制御部４２は、一連の制御において画像生成期間Ｔ１を少なくとも２回行うが、画像生成期間Ｔ１を行う回数は任意に設定される。また、複数の画像生成期間Ｔ１は、長さが同じでもよいし、異なっていてもよい。また、制御部４２は、複数の画像生成期間Ｔ１の間に中断期間Ｔ２を少なくとも１回行えばよい。例えば、制御部４２は、画像生成期間Ｔ１を２回連続で行った後、中断期間Ｔ２を行い、続いて画像生成期間Ｔ１を行ってもよい。複数の中断期間Ｔ２を行う場合、複数の中断期間Ｔ２は、長さが同じでもよいし、異なっていてもよい。
　次に、上述のような顕微鏡装置１の構成に基づき、実施形態に係る観察方法を説明する。図６は、実施形態に係る観察方法を示すフローチャートである。まず、顕微鏡装置１は、前処理として、中断期間Ｔ２を行うか否かを設定する。例えば、制御部４２は、中断期間Ｔ２を行うか否かの指示をユーザに求める画像を表示装置４４に表示させ、ユーザの指示に従って中断期間Ｔ２を行うか否かを設定する。また、制御部４２は、中断期間Ｔ２を行うか否かを示す設定情報に従って、中断期間Ｔ２を行うか否かを設定してもよい。この設定情報は、例えば、予め記憶装置４３に記憶されたものでもよい。以下、中断期間Ｔ２を行う場合について説明する。
　ステップＳ１において、制御部４２は、例えば音響光学素子１４を制御し、活性化光Ｌ１、励起光Ｌ２の照射を開始させ、画像生成期間Ｔ１を開始する。これにより、照明光学系４は、試料Ｘにおける視野Ｙに活性化光Ｌ１、励起光Ｌ２を照射し、結像光学系５は、試料Ｘに含まれる蛍光物質からの蛍光の像を形成する（ステップＳ２）。ステップＳ３において、制御部４２は、撮像部６を制御し、蛍光の像を撮像させる。ステップＳ４において、制御部４２は、１回の画像生成期間Ｔ１における撮像が終了したか否かを判定する。例えば、１回の画像生成期間Ｔ１におけるフレーム期間の数（撮像回数）の設定値が記憶装置４３に記憶されており、制御部４２は、ステップＳ３の撮像が完了した際に撮像回数のカウンタをインクリメントし、このカウンタと設定値との比較により、１回の画像生成期間Ｔ１における撮像が終了したか否かを判定する。制御部４２は、１回の画像生成期間Ｔ１における撮像が終了していないと判定した場合（ステップＳ４；Ｎｏ）、ステップＳ３の処理を実行させる。
　制御部４２は、１回の画像生成期間Ｔ１における撮像が終了したと判定した場合（ステップＳ４；Ｙｅｓ）、例えば、ステップＳ５において、画像処理部７に１枚の超解像画像を生成させる。画像処理部７は、ステップＳ３の撮像を設定値の回数だけ繰り返して得られた撮像結果の少なくとも一部を用いて、１枚の超解像画像を生成する。また、制御部４２は、１回の画像生成期間Ｔ１における撮像が終了したと判定した場合（ステップＳ４；Ｙｅｓ）、ステップＳ６において、所定回数の画像生成期間Ｔ１が終了したか否かを判定する。例えば、画像生成期間Ｔ１の回数の設定値が記憶装置４３に記憶されており、制御部４２は、１回の画像生成期間Ｔ１における撮像が終了したと判定した場合に画像生成期間Ｔ１の回数のカウンタをインクリメントし、このカウンタと設定値との比較により、所定回数の画像生成期間Ｔ１における撮像が終了したか否かを判定する。
　制御部４２は、所定回数の画像生成期間Ｔ１における撮像が終了したと判定した場合（ステップＳ７；Ｙｅｓ）、一連の処理を終了する。また、制御部４２は、所定回数の画像生成期間Ｔ１における撮像が終了していないと判定した場合（ステップＳ７；Ｎｏ）、例えば音響光学素子１４を制御し、活性化光Ｌ１および励起光Ｌ２の照射を停止または低減させ、中断期間Ｔ２を開始する。ステップＳ８において、制御部４２は、活性化光Ｌ１および励起光Ｌ２の照射を停止または低減させてから所定時間が経過したか否かを判定する。所定時間は、複数の中断期間Ｔ２で一定（固定値）でもよいし、複数の中断期間Ｔ２で異なってもよい（可変値でもよい）。例えば、中断期間Ｔ２の長さは、画像生成期間Ｔ１の長さに応じて調整されてもよい。例えば、連続する画像生成期間Ｔ１と中断期間Ｔ２との合計の長さが固定値でもよい。例えば、画像生成期間Ｔ１が長い場合、この画像生成期間Ｔ１の次の中断期間Ｔ２を短く調整してもよい。例えば、画像生成期間Ｔ１の変動分を、次の中断期間Ｔ２に吸収させるように、中断期間Ｔ２の長さを調整してもよい。また、画像生成期間Ｔ１が長い場合、この画像生成期間Ｔ１の次の中断期間Ｔ２を長く調整してもよい。制御部４２は、所定時間が経過していないと判定した場合（ステップＳ８；Ｎｏ）、例えば所定の時間間隔でステップＳ８の処理を繰り返し行う。制御部４２は、所定時間が経過したと判定した場合（ステップＳ８；Ｙｅｓ）、ステップＳ１に戻り、活性化光Ｌ１、励起光Ｌ２の照射を開始させ、次の画像生成期間Ｔ１を開始する。制御部４２は、上述の処理を繰り返すことにより、所定回数の画像生成期間Ｔ１における撮像を実行させる。
［第２実施形態］
　第２実施形態について説明する。本実施形態では、標識に用いられる蛍光色素（例、レポータ色素）が２種類である形態について説明するが、蛍光色素（例、レポータ色素）の数は３種類以上でもよい。図７は、本実施形態に係る顕微鏡装置１を示す図である。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。
　本実施形態において、照明光学系４は、蛍光色素（例、レポータ色素）に応じた２種類の波長の励起光を試料Ｘに照射する。光源装置３は、励起光源１０ｃおよびシャッタ１１ｃを備える。励起光源１０ｂは、第１波長の励起光Ｌ２を発生し、励起光源１０ｃは、第１波長と異なる第２波長の励起光Ｌ３を発生する。ここでは、第２波長は、第１波長よりも短波長であるとする。例えば、第１波長は６４７ｎｍであり、第２波長は５６１ｎｍである。シャッタ１１ｃは、制御部４２により制御され、励起光源１０ｃからの励起光Ｌ３を通す状態と、励起光Ｌ３を遮る状態とを切り替え可能である。照明光学系４は、励起光源１０ｃの出射側にミラー５１を備える。励起光源１０ｃからの励起光Ｌ３は、ミラー５１で反射し、ダイクロイックミラー１３に入射する。ダイクロイックミラー１３およびダイクロイックミラー２０は、励起光Ｌ３が反射する特性を有し、励起光Ｌ３は、励起光Ｌ２と同じ光路を通って、試料Ｘに照射される。
　図８は、本実施形態に係る照明と撮像のシーケンスを示す概念図である。制御部４２は、第１励起光（励起光Ｌ２）と第２励起光（励起光Ｌ３）とを、画像生成期間Ｔ１において交互に照射させる。制御部４２は、画像生成期間Ｔ１内の第１の期間（以下、第１波長期間Ｔ３という）において第１励起光を照射させ、画像生成期間Ｔ１内の第２の期間（以下、第２波長期間Ｔ４という）において第２励起光を照射させる。また、制御部４２は、画像生成期間Ｔ１において、活性化光を、第１励起光または第２励起光と並行して照射させる。例えば、制御部４２は、第１波長期間Ｔ３および第２波長期間Ｔ４にわたって、活性化光を照射させる。なお、活性化光の強度は、蛍光物質に応じて調整される。例えば、活性化光の強度は、第２励起光の照射時に、第１励起光の照射時よりも強く設定される。例えば、制御部４２は、音響光学素子１４を制御し、活性化光の強度を調整する。図８の「光照射（合算）」は、活性化光、第１励起光、第２励起光の少なくとも１つが照射される状態を「ＯＮ」で表し、活性化光、第１励起光、及び第２励起光が照射されない状態を「ＯＦＦ」で表したものである。
　制御部４２は、撮像部６を制御し、第１波長期間Ｔ３（第１励起光の照射時）において第１撮像処理を実行させる。制御部４２は、画像生成期間Ｔ１において、第１波長期間Ｔ３に対応して第１撮像処理を繰り返し実行させる。画像処理部７は、画像生成期間Ｔ１における複数の第１撮像処理により得られる撮像結果の少なくとも一部を用いて、第１の画像Ｐａを生成する。また、制御部４２は、撮像部６を制御し、第２波長期間Ｔ４（第２励起光の照射時）において第２撮像処理を実行させる。制御部４２は、画像生成期間Ｔ１において、第２撮像処理を繰り返し実行させる。画像処理部７は、画像生成期間Ｔ１における複数の第２撮像処理により得られる撮像結果の少なくとも一部を用いて、第２の画像Ｐｂを生成する。２種類の蛍光色素（例、レポータ色素）は、試料Ｘにおいて異なる小器官などに標識されており、第１の画像Ｐａと第２の画像Ｐｂとで異なる小器官などの画像が得られる。画像処理部７は、例えば、第１の画像Ｐａおよび第２の画像Ｐｂを合成して、１枚の画像Ｐｔを生成する。なお、画像処理部７は、例えば、第１の画像Ｐａおよび第２の画像Ｐｂを用いずに、１枚の画像Ｐｔを生成してもよい。つまり、画像生成処理部７は、複数の第１撮像処理により得られる撮像結果の少なくとも一部と、第２撮像処理により得られる撮像結果の少なくとも一部と、を用いて、１枚の画像Ｐｔを生成してもよい。このように、画像生成期間Ｔ１において、第１励起光の照射と第２励起光の照射とを、フレーム期間ごとに切り替えて交互に繰り返し行う場合、時間空間的に観察対象の蛍光物質の局在を明らかにしやすい。
［第３実施形態］
　第３実施形態について説明する。本実施形態では、標識に用いられる蛍光色素（例、レポータ色素）が２種類である他の形態について説明する。蛍光色素（例、レポータ色素）の数は３種類以上でもよい。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。
　図９は、本実施形態に係る照明と撮像のシーケンスを示す概念図である。制御部４２は、画像生成期間Ｔ１において、複数の第１波長期間Ｔ３を連続的に行った後、複数の第２波長期間Ｔ４を連続的に行う。制御部４２は、複数の第１波長期間Ｔ３において、第１励起光を照射させ、撮像部６により第１撮像処理を繰り返し実行させる。画像処理部７は、画像生成期間Ｔ１における複数の第１撮像処理により得られる撮像結果の少なくとも一部を用いて、第１の画像Ｐａを生成する。制御部４２は、複数の第２波長期間Ｔ４において、第２励起光を照射させ、撮像部６により第２撮像処理を繰り返し実行させる。画像処理部７は、画像生成期間Ｔ１における複数の第２撮像処理により得られる撮像結果の少なくとも一部を用いて、第２の画像Ｐｂを生成する。画像処理部７は、例えば、第１の画像Ｐａおよび第２の画像Ｐｂを合成して、１枚の画像Ｐｔを生成する。なお、画像処理部７は、例えば、第１の画像Ｐａおよび第２の画像Ｐｂを用いずに、１枚の画像Ｐｔを生成してもよい。つまり、画像生成処理部７は、複数の第１撮像処理により得られる撮像結果の少なくとも一部と、第２撮像処理により得られる撮像結果の少なくとも一部と、を用いて、１枚の画像Ｐｔを生成してもよい。このように、第１波長期間Ｔ３において２以上のフレーム期間を連続的に設け、続いて第２波長期間Ｔ４において２以上のフレーム期間を連続的に設ける場合、観察対象の蛍光物質の退色を抑制することができ、また、２種類以上の蛍光を分離しやすい。なお、顕微鏡装置１は、第２実施形態で説明したように１つのフレーム期間ごとに励起光を切り替えるモードと、本実施形態のように２以上のフレーム期間ごとに励起光を切り替えるモードと、を切り替え可能でもよい。
［第４実施形態］
　第４実施形態について説明する。本実施形態では、顕微鏡装置１におけるステージ２などの変位（ドリフト量）を検出する形態について説明する。ここでは、蛍光色素（例、レポータ色素）が２種類である例を説明するが、蛍光色素（例、レポータ色素）は、１種類または３種類以上でもよい。図１０は、本実施形態に係る顕微鏡装置１を示す図である。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。
　本実施形態において、照明光学系４は、試料Ｘの位置を検出するための補助光Ｌ４を照射する。例えば、試料Ｘには、試料Ｘの位置を示す基準マーカが付与され、照明光学系４は、基準マーカを検出するための補助光Ｌ４を照射する。例えば、基準マーカは、蛍光を発する蛍光ビーズなどであり、補助光Ｌ４は、基準マーカを励起する光を含む。
　光源装置３は、励起光源１０ｄおよびシャッタ１１ｄを備える。励起光源１０ｄは、補助光Ｌ４を発生する。補助光Ｌ４の波長は、例えば、活性化光Ｌ１、及び励起光Ｌ２のいずれとも異なる波長に設定される。補助光Ｌ４の光強度は、例えば、励起光Ｌ２の光強度よりも弱い。シャッタ１１ｄは、制御部４２により制御され、励起光源１０ｄからの補助光Ｌ４を通す状態と、補助光Ｌ４を遮る状態とを切り替え可能である。また、音響光学素子１４は、制御部４２に制御され、補助光Ｌ４を通す通光状態と、補助光Ｌ４を遮る状態または補助光Ｌ４の強度を低減する状態（遮光状態）とを切り替える。
　照明光学系４は、励起光源１０ｄの出射側にミラー５１を備える。励起光源１０ｄからの補助光Ｌ４は、ミラー５１で反射し、ダイクロイックミラー１３に入射する。ダイクロイックミラー１３およびダイクロイックミラー２０は、補助光Ｌ４が反射する特性を有し、補助光Ｌ４は、活性化光Ｌ１、及び励起光Ｌ２と同じ光路を通って、試料Ｘに照射される。
　制御部４２は、試料Ｘに補助光Ｌ４を照射させ、撮像部６に撮像させ、基準マーカからの蛍光を検出させる。基準マーカからの蛍光を検出する頻度は、任意に設定される。例えば、補助光Ｌ４に応じた撮像は、励起光に応じた１つのフレーム期間の撮像ごとに行ってもよいし、励起光に応じた複数のフレーム期間のそれぞれの撮像ごとに行ってもよい。
　図１１は、本実施形態に係る照明と撮像のシーケンスを示す図である。制御部４２は、期間Ｔａにおいて、活性化光Ｌ１および励起光Ｌ２を試料Ｘに照射させ、撮像部６に試料Ｘを撮像させる。活性化光Ｌ１は、蛍光物質を確率的に活性化させ、活性化された蛍光物質は、励起光Ｌ２の照射により、励起される。期間Ｔａで取得される撮像画像（Ｐｄ１～Ｐｄｍ）は、例えば試料Ｘに含まれる蛍光物質（例えば、レポータ色素）からの蛍光の像を撮像したものであり、試料Ｘの構造を示す画像の生成に使われる。撮像部６は、各フレーム期間Ｔｆの撮像結果として、撮像画像Ｐｄ１～Ｐｄｎを生成する。画像処理部７は、撮像画像Ｐｄ１～Ｐｄｎの少なくとも一部を用いて１枚の画像ＳＰ（例、超解像画像）を生成する。
　また、制御部４２は、期間Ｔｂにおいて、活性化光Ｌ１および励起光Ｌ２の照射を停止あるいは低減した状態で補助光Ｌ４を照射させ、撮像部６に試料Ｘを撮像させる。期間Ｔｂは、例えば、期間Ｔａの１つ前のフレーム期間Ｔｆに行われる。例えば、図１１において、最初の期間Ｔｂの撮像により撮像画像Ｐｃ１が取得され、この期間Ｔｂに続く期間Ｔａにおいて所定回数（ｍ回）のフレーム期間Ｔｆの撮像により撮像画像Ｐｄ１～Ｐｄｍが取得され、続いて期間Ｔｂの撮像により撮像画像Ｐｃ２が取得される。この場合、補助光Ｌ４に応じた撮像画像Ｐｃ１は、励起光Ｌ２に応じた撮像画像（Ｐｄ１～Ｐｄｍ）に対して、１／ｍの頻度で取得される。なお、所定回数（ｍ）は、任意に設定され、例えば、１、１０、１００、１０００、５０００、１００００などでもよい。図１１において、符号Ｔ６は、１回の期間Ｔｂと、この期間Ｔｂに連続する期間Ｔａとを含む期間である。制御部４２は、例えば、１回の画像生成期間Ｔ１において複数回数の期間Ｔ６を設ける。
　画像処理部７は、期間Ｔｂで得られた撮像結果（例、撮像画像Ｐｃ１、Ｐｃ２）を用いて、撮像画像Ｐｃ２の次の１つの期間Ｔａで得られた撮像画像の少なくとも一部を補正する。また、画像処理部７は、複数の期間Ｔａから得られる複数の撮像画像を補正し、補正後の撮像画像の少なくとも一部を用いて１枚の画像を生成する。画像処理部７は、期間Ｔｂにおける撮像結果（撮像画像Ｐｃ１、Ｐｃ２）を用いて、変位（ドリフト量、移動量）を算出する。画像処理部７は、算出した変位を用いて、期間Ｔａにおける撮像画像を補正する。例えば、画像処理部７は、撮像画像Ｐｃ１および撮像画像Ｐｃ２から算出される変位を用いて、撮像画像Ｐｃ２から撮像画像Ｐｃ３（図１２に示す）の間に期間Ｔａに撮像される撮像画像の重心位置Ｑを補正する。画像処理部７は、例えば、補正後の多数の重心位置Ｑをマージすることにより、１枚の画像を生成（構築）する。
　図１２は、試料の変位を検出する処理、撮像結果を補正する処理を示す図である。図１２において、符号Ｐｃ１～Ｐｃｎは、補助光Ｌ４に応じた撮像画像を示す。画像処理部７は、例えば、撮像画像Ｐｃ２と撮像画像Ｐｃ３との間に撮像される撮像画像を同じ補正量で補正する。画像処理部７は、例えば、撮像画像Ｐｃ１と撮像画像Ｐｃ２を用いて、撮像画像Ｐｃ２から撮像画像Ｐｃ３の間の期間Ｔａに撮像される撮像画像の補正量を算出する。図１２において、符号Ｐｅ１の撮像画像は、撮像画像Ｐｃ１と撮像画像Ｐｃ２との間に撮像される撮像画像Ｐｄ１～Ｐｄｍのうちの１枚を代表的に示したものである。撮像画像Ｐｅ２～Ｐｅｎについても同様である。符号Ｐｆ２～Ｐｆｎは、補正された画像を示す。例えば、画像Ｐｆ２は、撮像画像Ｐｅ２を補正した画像である。
　撮像画像Ｐｃ１～Ｐｃｎには、それぞれ、基準マーカからの蛍光の像Ｉｍ２が分布している。撮像画像Ｐｃ２～Ｐｃｎには、１回前に撮像された撮像画像における蛍光の像を点線で示した。例えば、撮像画像Ｐｃ２における点線の部分は、撮像画像Ｐｃ１における蛍光の像Ｉｍ２に相当する。画像処理部７は、例えば、撮像画像Ｐｃ１と撮像画像Ｐｃ２とで対応する蛍光の像の変位Ｖ（ベクトル）をそれぞれ算出する。例えば、試料Ｘにおいて基準マーカの間隔が、変位（例、ステージ２の変位）として想定される上限値よりも大きくなるように、試料Ｘにおいて基準マーカを疎に分布させておく。そして、画像処理部７は、撮像画像Ｐｃ１と撮像画像Ｐｃ２とで最も近い蛍光の像を、同じ基準マーカに対応する蛍光の像であるものとし、対応する蛍光の像の変位を算出する。そして、画像処理部７は、複数の蛍光について変位Ｖの平均Ｖａ（ベクトル）を算出する。なお、画像処理部７は、撮像画像Ｐｃ１と撮像画像Ｐｃ２とを相対的に移動させながら画像相関を求め、最も相関係数が高くなる撮像画像Ｐｃ１と撮像画像Ｐｃ２との相対移動量を変位の平均としてもよい。
　画像処理部７は、撮像画像Ｐｃ１～Ｐｃｎのうち比較する２つの画像の双方に写っている蛍光の像を用いて、変位を求める。例えば、画像処理部７は、撮像画像Ｐｃ１と撮像画像Ｐｃ３とに同じ基準マーカに対応する蛍光の像が写っており、この蛍光の像が撮像画像Ｐｃ２に写っていない場合、この蛍光の像を用いて、撮像画像Ｐｃ１と撮像画像Ｐｃ３とで蛍光の像の変位を算出することができる。また、画像処理部７は、比較する２つの画像のうち一方のみに写っている蛍光の像を、変位の算出に用いないこともできる。
　画像処理部７は、励起光Ｌ２に応じた撮像画像Ｐｅ２～Ｐｅｎのそれぞれについて、蛍光物質の重心位置を算出する。ここでは、撮像画像Ｐｅ１が基準の画像であるものとし、撮像画像Ｐｅ２における蛍光の像の位置を補正する例を説明する。画像処理部７は、撮像画像Ｐｅ２の各蛍光の像の重心位置Ｑを算出する。そして、画像処理部７は、補正対象の撮像画像Ｐｅ２の撮像タイミングに対応する補正用の撮像画像Ｐｃ２と、基準となる撮像画像Ｐｅ１の撮像タイミングに対応する補正用の撮像画像Ｐｃ１との変位の平均Ｖａを用いて、補正を行う。補正用の撮像画像Ｐｃ２は、例えば、補正対象の撮像画像Ｐｅ２が撮像された期間Ｔａの直前の期間Ｔｂで撮像された撮像画像である。画像処理部７は、画像Ｐｆ２のように、撮像画像Ｐｅ２における蛍光の像の重心位置Ｑを、変位の平均Ｖａを反転した補正量Ｖｂ（ベクトル）だけ移動させた重心位置Ｑ２に補正する。画像処理部７は、撮像画像Ｐｅ２と同様に、撮像画像Ｐｃ２から撮像画像Ｐｃ３の間の期間Ｔａに撮像される複数の撮像画像の少なくとも一部を補正する。また、画像処理部７は、同様にして、撮像画像Ｐｃ３以降の期間Ｔａに撮像される複数の撮像画像の少なくとも一部を補正する。画像処理部７は、例えば、基準の撮像画像（例、撮像画像Ｐｄ１～Ｐｄｍ）、及び補正された画像の少なくとも一部を用いて、１枚の画像を生成する。
なお、上記では、撮像画像Ｐｄ１からＰｄｍまでの画像をＰｃ１とＰｃ２との変位の平均Ｖａを用いて補正する場合を例示したが、Ｐｄ１からＰｄｍの複数の撮像画像に対する補正量を個別に算出してもよい。例えば、Ｐｃ１とＰｃ２の変位の量を用いて、線形補間してもよい。例えば、Ｐｃ１とＰｃ２で求められる変位の平均Ｖａを撮像画像の数 ｍで除算した値を、Ｐｄ１に対する補正量とし、以後の撮像画像は、この除算した値を撮像画像の取得順序に応じて積算した補正量としてもよい。これにより、撮像画像をより精度よく補正できる。
［第５実施形態］
　第５実施形態について説明する。本実施形態では、顕微鏡装置１におけるステージ２などの変位（ドリフト量）を検出する形態について説明する。ここでは、蛍光色素（例、レポータ色素）が２種類である例を説明するが、蛍光色素（例、レポータ色素）は、１種類または３種類以上でもよい。図１３は、本実施形態に係る顕微鏡装置１を示す図である。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。
　本実施形態において、照明光学系４は、試料Ｘの位置を検出するための補助光Ｌ４を照射する。例えば、試料Ｘには、試料Ｘの位置を示す基準マーカが付与され、照明光学系４は、基準マーカを検出するための補助光Ｌ４を照射する。例えば、基準マーカは、蛍光を発する蛍光ビーズなどであり、補助光Ｌ４は、基準マーカを励起する光を含む。
　光源装置３は、励起光源１０ｄおよびシャッタ１１ｄを備える。励起光源１０ｄは、補助光Ｌ４を発生する。補助光Ｌ４の波長は、例えば、活性化光Ｌ１、励起光Ｌ２、及び励起光Ｌ３のいずれとも異なる波長に設定される。補助光Ｌ４の光強度は、例えば、励起光Ｌ２の光強度、及び励起光Ｌ３の光強度のいずれよりも弱い。シャッタ１１ｄは、制御部４２により制御され、励起光源１０ｄからの補助光Ｌ４を通す状態と、補助光Ｌ４を遮る状態とを切り替え可能である。また、音響光学素子１４は、制御部４２に制御され、補助光Ｌ４を通す通光状態と、補助光Ｌ４を遮る状態または補助光Ｌ４の強度を低減する状態（遮光状態）とを切り替える。
　照明光学系４は、励起光源１０ｄの出射側にミラー５１を備える。励起光源１０ｄからの補助光Ｌ４は、ミラー５１で反射し、ダイクロイックミラー１３に入射する。ダイクロイックミラー１３およびダイクロイックミラー２０は、補助光Ｌ４が反射する特性を有し、補助光Ｌ４は、活性化光Ｌ１、励起光Ｌ２、及び励起光Ｌ３と同じ光路を通って、試料Ｘに照射される。
　制御部４２は、試料Ｘに補助光Ｌ４を照射させ、撮像部６に撮像させ、基準マーカからの蛍光を検出させる。基準マーカからの蛍光を検出する頻度は、任意に設定される。例えば、補助光Ｌ４に応じた撮像は、励起光に応じた１つのフレーム期間の撮像ごとに行ってもよいし、励起光に応じた複数のフレーム期間のそれぞれの撮像ごとに行ってもよい。
　図１４は、本実施形態に係る照明と撮像のシーケンスを示す図である。制御部４２は、画像生成期間Ｔ１に、第１波長期間Ｔ３（例、期間Ｔ１２、期間Ｔ１４、期間Ｔ１６）と、第２波長期間Ｔ４（例、期間Ｔ１８、期間Ｔ２０、期間Ｔ２２）とを設ける。画像処理部７は、第１波長期間Ｔ３における撮像部６の撮像結果の少なくとも一部と、第２波長期間Ｔ４における撮像部の撮像結果の少なくとも一部とを用いて少なくとも１枚の画像を形成する。例えば、画像処理部７は、第１波長期間Ｔ３における撮像結果の少なくとも一部を用いて第１の画像Ｐａを生成し、第２波長期間Ｔ４における撮像結果の少なくとも一部を用いて第２の画像Ｐｂを生成する。例えば、第１の画像Ｐａおよび第２の画像Ｐｂは、試料Ｘの異なる構造を表した画像である。画像処理部７は、例えば、第１の画像Ｐａおよび第２の画像Ｐｂを用いて、１枚の画像Ｐｔを生成する。画像Ｐｔは、例えば、第１の画像Ｐａと第２の画像Ｐｂとを合成した画像である。なお、画像処理部７は、例えば、第１の画像Ｐａおよび第２の画像Ｐｂを用いずに、１枚の画像Ｐｔを生成してもよい。つまり、画像生成処理部７は、複数の第１撮像処理により得られる撮像結果の少なくとも一部と、第２撮像処理により得られる撮像結果の少なくとも一部と、を用いて、１枚の画像Ｐｔを生成してもよい。以下、より詳しく説明する。
　制御部４２は、第１波長期間Ｔ３（例、期間Ｔ１２）において、活性化光Ｌ１を照射させ（活性化光；ＯＮ）、励起光Ｌ２を照射させ（第１励起光；ＯＮ）、活性化された蛍光物質からの蛍光の像を撮像部６に複数のフレーム期間で連続的に撮像させる（第１撮像処理；ＯＮ）。制御部４２は、例えば、第１波長期間Ｔ３における活性化光Ｌ１の光強度（図中Ｈ１レベル）を、蛍光物質の種類に応じて調整する。制御部４２は、第１波長期間Ｔ３において撮像を連続的に行う各期間（例、期間Ｔ１２）の１つ前のフレーム期間（例、期間Ｔ１１）において、補助光Ｌ４を照射させ、基準マーカからの光の像を撮像部６に撮像させる（第３撮像処理；ＯＮ）。画像処理部７は、例えば、期間Ｔ１４における試料Ｘの位置を、期間Ｔ１４の１つ前の期間Ｔ１３の基準マーカの位置と対応付けて、撮像画像の補正を行う。例えば、画像処理部７は、期間Ｔ１２の撮像画像と期間Ｔ１４の撮像画像とで位置合わせを行う際に、期間Ｔ１１の撮像画像と期間Ｔ１３の撮像画像を用いて、期間Ｔ１１から期間Ｔ１３までの基準マーカの変位を求め、この変位の分だけ期間Ｔ１４の撮像画像を補正することにより、期間Ｔ１４の撮像画像を期間Ｔ１２の撮像画像に位置合わせすることができる。今回と前回の第１波長期間Ｔ３のドリフト量は、直前の期間Ｔ５と、さらに１回前の期間Ｔ５との比較により求まる。この処理を繰り返すことにより、基準となる第１波長期間Ｔ３に位置合わせすることができる。このように、画像処理部７は、第１波長期間Ｔ３に得られる複数の撮像画像を位置合わせし、第１の画像Ｐａを生成する。
　また、制御部４２は、第２波長期間Ｔ４（例、期間Ｔ１８）において、活性化光Ｌ１を照射させ（活性化光；ＯＮ）、第２励起光Ｌ３を照射させ（第２励起光；ＯＮ）、活性化された第２の蛍光物質からの蛍光の像を撮像部６に複数のフレーム期間で連続的に撮像させる（第２撮像処理；ＯＮ）。制御部４２は、例えば、第２波長期間Ｔ４における活性化光Ｌ１の光強度（図中Ｈ２レベル）を、第２の蛍光物質の種類に応じて調整する。制御部４２は、第２波長期間Ｔ４において撮像を連続的に行う各期間（例、期間Ｔ２０）の１つ前のフレーム期間（例、期間Ｔ１９）において、補助光Ｌ４を照射させ、基準マーカからの光の像を撮像部６に撮像させる（第３撮像処理；ＯＮ）。画像処理部７は、例えば、期間Ｔ２０における試料Ｘの位置を、期間Ｔ２０の１つ前の期間Ｔ１９の基準マーカの位置と対応付けて、撮像画像の補正を行う。例えば、画像処理部７は、期間Ｔ１８の撮像画像と期間Ｔ２０の撮像画像とで位置合わせを行う際に、期間Ｔ１７の撮像画像と期間Ｔ１９の撮像画像を用いて、期間Ｔ１７から期間Ｔ１９までの基準マーカの変位を求め、この変位の分だけ期間Ｔ２０の撮像画像を補正することにより、期間Ｔ２０の撮像画像を期間Ｔ１８の撮像画像に位置合わせすることができる。なお、上記では、期間Ｔ１７から期間Ｔ１９までの基準マーカの変位の分だけ、期間Ｔ２０の撮像画像を補正する場合を例示したが、期間Ｔ１７から期間Ｔ１９までの基準マーカの変位を用いて、期間Ｔ２０の複数の撮像画像に対する補正量を個別に算出してもよい。例えば、期間Ｔ１７から期間Ｔ１９までの基準マーカの変位の量を、期間Ｔ２０の撮像画像において、線形補間してもよい。例えば、期間Ｔ１７から期間Ｔ１９までの基準マーカの変位の量を、期間Ｔ２０の撮像画像の数で除算した値を、期間Ｔ２０の１枚目の撮像画像に対する補正量とし、以後の撮像画像は、この除算した値を撮像画像の取得順序に応じて積算した補正量としてもよい。これにより、撮像画像をより精度よく補正できる。このように、画像処理部７は、第２波長期間Ｔ４に得られる複数の撮像画像を位置合わせし、第２の画像Ｐｂを生成する。また、画像処理部７は、第１の画像Ｐａの位置の基準となる撮像画像（例、期間Ｔ１２における撮像画像）と、第２の画像Ｐｂの位置となる撮像画像（例、期間Ｔ１８における撮像画像）とで生じたドリフト量を、期間Ｔ１１と期間Ｔ１７の撮像画像を用いて求め、この変位に応じた補正量で第２の画像Ｐｂを補正する。これにより、第２の画像Ｐｂを第１の画像Ｐａと位置合わせすることができ、補正後の第２の画像Ｐｂと、第１の画像Ｐａとを合成することにより、画像Ｐｔが得られる。制御部４２は、例えば、画像Ｐｔを表示装置４４に表示させる。
　ところで、試料Ｘのうち第１の画像Ｐａに表される部分は、第２の画像Ｐｂに表される部分と異なる。このような場合、自己相関によりドリフト量を求めることは難しいが、本実施形態によれば、ドリフト量を精度よく求めることができる。
　なお、制御部４２は、例えば図８に示したシーケンスにおいて、中断期間Ｔ２に補助光Ｌ４を照射させ、撮像部６に補助光Ｌ４に応じた蛍光の像を撮像させてもよい。補助光Ｌ４に応じた蛍光の像を撮像は、第１励起光に応じた蛍光の撮像、第２励起光に応じた蛍光の撮像と比較して少ないフレーム数でもよく、試料Ｘに与える損傷が少ない。
　なお、基準マーカを照明する補助光Ｌ４が励起光でなくてもよく、顕微鏡装置１は、試料Ｘを透過した光により基準マーカを検出するものでもよい。また、この場合、試料Ｘに基準マーカが付与されていなくてもよく、例えば試料Ｘの位置と関連付けられるキズなどを検出し、試料Ｘの変位を算出することもできる。また、画像処理部７は、撮像画像の全域における変位の平均を算出し、この平均を用いて撮像画像の全域で一様に補正を行ってもよいし、撮像画像の領域（例、複数の画素）ごとに変位を算出し、領域ごとに補正を行ってもよい。これにより、例えば、結像光学系５の視野の外縁に向かうにつれて収差が大きくなる場合、収差を加味した補正を行うこともできる。
［第６実施形態］
　第６実施形態について説明する。本実施形態では、３次元の超解像画像を生成するモードについて説明する。図１５は、本実施形態に係る顕微鏡装置１を示す図である。ここでは、照明、撮像のシーケンスが第１実施形態と同様であるものとするが、照明、撮像のシーケンスは、上述した各実施形態のいずれであってもよいし、上述した各実施形態を組み合わせたものでもよい。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。
　本実施形態に係る結像光学系５は、光学部材５２を備える。光学部材５２は、例えば、シリンドリカルレンズである。光学部材５２は、レンズ２７とレンズ２８との間の光路に挿脱可能に設けられる。光学部材５２は、２次元の超解像画像を生成するモードにおいて結像光学系５の光路から退避しており、３次元の超解像画像を生成するモードにおいて結像光学系５の光路に挿入される。光学部材５２が結像光学系５の光路に挿入された状態において、蛍光物質からの蛍光の像は、蛍光物質が結像光学系５の合焦位置に近いほど円形に近づき、蛍光物質が結像光学系５の合焦位置から離れるほど扁平率（楕円率）が高くなる。また、蛍光物質が結像光学系５の合焦位置に対して前ピン側に存在する場合と、後ピン側に存在する場合とで、楕円の長軸と短軸の方向が反転するため、扁平率と楕円の長軸、短軸の向きから、合焦位置に対するずれ量およびずれの向きが分かる。顕微鏡装置１は、例えば、キャリブレーションなどによって、予め取得された扁平率と合焦位置に対するずれ量との関係を用いて、結像光学系５の光軸方向における蛍光物質の位置を算出することができる。
　なお、第４実施形態、第５実施形態で説明した基準マーカからの光（例、蛍光）の像を撮像する場合も同様であり、この像の扁平率と楕円の長軸、短軸の向きから、結像光学系５の光軸方向における試料Ｘの変位を算出することもできる。また、画像処理部７は、結像光学系５の光軸方向における試料Ｘの変位を用いて、補正を行うこともできる。
なお、第１実施形態、第２実施形態で説明した画像生成期間と中断期間とを設ける場合と、第４実施形態、第５実施形態で説明した基準マーカからの光（例、蛍光）の像を撮像する場合、とを組み合わせることもできる。この場合、例えば、基準マーカの変位の量を線形補間するに当たっては、画像生成期間に撮影された撮像画像のタイミングを利用して補正量を算出してもよい。
　上述の実施形態において、制御装置８は、例えばコンピュータシステムを含む。制御装置８は、記憶装置４３に記憶されている制御プログラムを読み出し、この制御プログラムに従って各種の処理を実行する。この制御プログラムは、例えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光とを照射し、蛍光物質からの蛍光の像を撮像し、撮像の結果を用いて画像処理を行う顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、制御は、画像生成期間と、中断期間とを複数設けることと、画像生成期間において、活性化された蛍光物質に対して励起光を照射し、活性化された蛍光物質からの蛍光の像を複数のフレーム期間で撮像させることと、中断期間における励起光の強度を、画像生成期間における強度よりも低減させ、又は中断期間における励起光の照射を停止させることと、を含み、画像処理は、複数のフレーム期間で得られた撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む。このプログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。
　なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。
１・・・顕微鏡装置、４・・・照明光学系、５・・・結像光学系、６・・・撮像部
７・・・画像処理部、４２・・・制御部、Ｘ・・・試料
 

Claims (19)

  1. 　試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光とを照射する照明光学系と、
    　前記蛍光物質からの蛍光の像を形成する結像光学系と、
    　前記結像光学系が形成した像を撮像する撮像部と、
    　前記撮像部の撮像結果を用いて画像処理を行う画像処理部と、
    　制御部と、を備える顕微鏡装置であって、
    　前記制御部は、
    　画像生成期間と、中断期間とを複数設け、
    　前記画像生成期間において、前記活性化された蛍光物質に対して前記励起光を照射し、前記活性化された蛍光物質からの蛍光の像を前記撮像部に複数のフレーム期間で撮像させ、
    　前記中断期間における前記励起光の強度を、前記画像生成期間における強度よりも低減させ、又は前記中断期間における前記励起光の照射を停止させ、
    　前記画像処理部は、
    　前記複数のフレーム期間で得られた撮像結果の少なくとも一部を用いて１枚の画像を生成する、
    　ことを特徴とする顕微鏡装置。
  2. 　前記制御部は、前記画像生成期間と、中断期間とを交互に設ける、
    　ことを特徴とする
    　請求項１に記載の顕微鏡装置。
  3. 　前記中断期間は、前記複数のフレーム期間のいずれよりも長い、
    　ことを特徴とする請求項１又は２に記載の顕微鏡装置。
  4. 　前記中断期間は、前記画像生成期間よりも長い、
    　ことを特徴とする請求項１～３のいずれか１項に記載の顕微鏡装置。
  5. 　前記制御部は、
    　前記複数の画像生成期間の少なくとも１つの画像生成期間において、第１の期間と第２の期間とを設け、
    　前記第１の期間において、第１波長の前記励起光を照射させ、前記活性化された蛍光物質からの蛍光の像を前記撮像部に複数のフレーム期間で撮像させ、
    　前記第２の期間において、第２波長の前記励起光を照射させ、前記活性化された蛍光物質からの蛍光の像を前記撮像部に複数のフレーム期間で撮像させ、
    　前記画像処理部は、前記第１の期間における前記撮像部の撮像結果の少なくとも一部と、前記第２の期間における前記撮像部の撮像結果の少なくとも一部とを用いて少なくとも１枚の画像を形成する、
    　ことを特徴とする請求項１～請求項４のいずれか一項に記載の顕微鏡装置。
  6. 　前記画像処理部は、
    　前記第１の期間における前記撮像部の撮像結果の少なくとも一部および前記第２の期間における前記撮像部の撮像結果の少なくとも一部を用いて１枚の画像を生成する、
    　ことを特徴とする請求項５に記載の顕微鏡装置。
  7. 　前記画像処理部は、
    　前記第１の期間における前記撮像部の撮像結果の少なくとも一部を用いて第１の画像を形成し、前記第２の期間における前記撮像部の撮像結果の少なくとも一部を用いて第２の画像を形成する、
    　ことを特徴とする請求項５に記載の顕微鏡装置。
  8. 　前記画像処理部は、前記第１の画像および前記第２の画像を用いて１枚の画像を生成する、
    　ことを特徴とする請求項７に記載の顕微鏡装置。
  9. 　前記制御部は、
    　基準マーカの位置を検出するための補助光を前記照明光学系から照射させ、前記基準マーカからの光の像を前記撮像部に撮像させる処理を、複数回実行させる、
    　ことを特徴とする請求項５～８のいずれか１項に記載の顕微鏡装置。
  10. 　前記補助光の光強度は、前記励起光の光強度よりも弱い、
    　ことを特徴とする請求項９に記載の顕微鏡装置。
  11. 　前記画像処理部は、
    　前記基準マーカからの光に応じた撮像結果の少なくとも一部を用いて、前記第１の期間における前記撮像部の撮像結果を補正し、前記第２の期間における前記撮像部の撮像結果を補正する、
    　ことを特徴とする請求項９または１０に記載の顕微鏡装置。
  12. 　前記画像処理部は、前記第１の期間における前記撮像部の撮像結果から得られる画像と、前記第２の期間における前記撮像部の撮像結果から得られる画像との位置関係を補正する、
    　ことを特徴とする請求項９～１１のいずれか一項に記載の顕微鏡装置。
  13. 　前記制御部は、
    　前記複数の画像生成期間の少なくとも１つの画像生成期間において、第１の期間と第２の期間とを複数設け、
    　前記第１の期間において、第１波長の前記励起光を照射させ、前記試料からの光を前記撮像部に１つのフレーム期間で撮像させ、
    　前記第２の期間において、第２波長の前記励起光を照射させ、前記試料からの光を前記撮像部に１つのフレーム期間で撮像させ、
    　前記画像処理部は、前記複数の第１の期間における前記撮像部の撮像結果の少なくとも一部と、前記複数の第２の期間における前記撮像部の撮像結果の少なくとも一部とを用いて、少なくとも１枚の画像を形成する
    ことを特徴とする請求項１～請求項４のいずれか一項に記載の顕微鏡装置。
  14. 　前記制御部は、
    　前記画像生成期間において、前記第１の期間と前記第２の期間とを交互に設ける
    　ことを特徴とする請求項１３に記載の顕微鏡装置。
  15. 前記画像処理部は、
    前記複数の第１の期間における前記撮像部の撮像結果の少なくとも一部および前記複数の第２の期間における前記撮像部の撮像結果の少なくとも一部を用いて１枚の画像を形成する
    ことを特徴とする請求項１３または１４に記載の顕微鏡装置。
  16. 前記画像処理部は、前記複数の第１の期間における前記撮像部の撮像結果を用いて第１の画像を形成し、前記複数の第２の期間における前記撮像部の撮像結果を用いて第２の画像を形成する、
    　ことを特徴とする請求項１３または１４に記載の顕微鏡装置。
  17. 　前記画像処理部は、前記第１の画像および前記第２の画像を用いて前記１枚の画像を生成する、
    　ことを特徴とする請求項１６に記載の顕微鏡装置。
  18. 　試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光とを照射することと、
    　前記蛍光物質からの蛍光の像を形成することと、
    　前記結像光学系が形成した像を撮像することと、
    　前記撮像の結果を用いて画像処理を行うことと、を含む観察方法であって、
    　画像生成期間と、中断期間とを複数設けることと、
    　前記画像生成期間において、前記活性化された蛍光物質に対して前記励起光を照射し、前記活性化された蛍光物質からの蛍光の像を複数のフレーム期間で撮像させることと、
    　前記中断期間における前記励起光の強度を、前記画像生成期間における強度よりも低減させ、又は前記中断期間における前記励起光の照射を停止させることと、を含み、
    　前記画像処理は、
    　前記複数のフレーム期間で得られた撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、
    　ことを特徴とする観察方法。
  19. 　試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光とを照射し、前記蛍光物質からの蛍光の像を撮像し、前記撮像の結果を用いて画像処理を行う顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、
    　前記制御は、
    　画像生成期間と、中断期間とを複数設けることと、
    　前記画像生成期間において、前記活性化された蛍光物質に対して前記励起光を照射し、前記活性化された蛍光物質からの蛍光の像を複数のフレーム期間で撮像させることと、
    　前記中断期間における前記励起光の強度を、前記画像生成期間における強度よりも低減させ、又は前記中断期間における前記励起光の照射を停止させることと、を含み、
    　前記画像処理は、
    　前記複数のフレーム期間で得られた撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、
    　ことを特徴とする制御プログラム。
     
PCT/JP2015/059815 2015-03-27 2015-03-27 顕微鏡装置、観察方法、及び制御プログラム WO2016157346A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2015/059815 WO2016157346A1 (ja) 2015-03-27 2015-03-27 顕微鏡装置、観察方法、及び制御プログラム
EP15887499.0A EP3276335B1 (en) 2015-03-27 2015-03-27 Microscope device, viewing method, and control program
JP2017508872A JP6631620B2 (ja) 2015-03-27 2015-03-27 顕微鏡装置、観察方法、及び制御プログラム
US15/715,880 US11086115B2 (en) 2015-03-27 2017-09-26 Microscope device, viewing method, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/059815 WO2016157346A1 (ja) 2015-03-27 2015-03-27 顕微鏡装置、観察方法、及び制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/715,880 Continuation US11086115B2 (en) 2015-03-27 2017-09-26 Microscope device, viewing method, and control program

Publications (1)

Publication Number Publication Date
WO2016157346A1 true WO2016157346A1 (ja) 2016-10-06

Family

ID=57003986

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/059815 WO2016157346A1 (ja) 2015-03-27 2015-03-27 顕微鏡装置、観察方法、及び制御プログラム

Country Status (4)

Country Link
US (1) US11086115B2 (ja)
EP (1) EP3276335B1 (ja)
JP (1) JP6631620B2 (ja)
WO (1) WO2016157346A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018105298A1 (ja) * 2016-12-09 2019-10-24 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
JP2021513095A (ja) * 2018-01-02 2021-05-20 キングス カレッジ ロンドン 局在化顕微鏡法のための方法及びシステム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3414553B1 (en) 2016-02-12 2022-09-28 Massachusetts Institute of Technology Method and apparatus for imaging unsectioned tissue specimens
US10558029B2 (en) * 2016-10-27 2020-02-11 Scopio Labs Ltd. System for image reconstruction using a known pattern

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050354A (ja) * 2001-08-06 2003-02-21 Olympus Optical Co Ltd 走査型レーザ顕微鏡
JP2005195940A (ja) * 2004-01-08 2005-07-21 Olympus Corp 蛍光顕微鏡
JP2005331887A (ja) * 2004-05-21 2005-12-02 Keyence Corp 蛍光顕微鏡、蛍光顕微鏡装置を使用した表示方法、蛍光顕微鏡画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器
JP2010500563A (ja) * 2006-08-07 2010-01-07 プレジデント アンド フェローズ オブ ハーバード カレッジ 回折限界以下の画像解像技術および他の画像化技術
JP2010537179A (ja) * 2007-08-18 2010-12-02 マックス−プランク−ゲゼルシヤフト・ツーア・フェルデルング・デア・ヴィッセンシャフテン・アインゲトラーゲナー・フェライン ２光子励起式ｓｔｅｄ蛍光顕微鏡法
JP2012027167A (ja) * 2010-07-22 2012-02-09 Olympus Corp レーザ走査型顕微鏡
JP2013020204A (ja) * 2011-07-14 2013-01-31 Olympus Corp 蛍光顕微鏡装置
JP5392406B2 (ja) * 2010-06-11 2014-01-22 株式会社ニコン 顕微鏡装置、観察方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5733721A (en) * 1992-11-20 1998-03-31 The Board Of Regents Of The University Of Oklahoma Cell analysis method using quantitative fluorescence image analysis
JP3999662B2 (ja) * 2000-12-14 2007-10-31 オリンパス株式会社 蛍光分析装置および蛍光分析方法
DE60202374T2 (de) * 2002-10-25 2005-12-08 Evotec Technologies Gmbh Methode und Vorrichtung zur Aufnahme dreidimensionaler Abbildungen von schwebend gehaltenen Mikroobjekten unter Verwendung hochauflösender Mikroskopie
US7838302B2 (en) * 2006-08-07 2010-11-23 President And Fellows Of Harvard College Sub-diffraction limit image resolution and other imaging techniques
WO2009085218A1 (en) * 2007-12-21 2009-07-09 President And Fellows Of Harvard College Sub-diffraction limit image resolution in three dimensions
US9651493B2 (en) 2011-01-12 2017-05-16 Ge Healthcare Bio-Sciences Corp. Systems and methods for camera-based image processing in microscopy instruments

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050354A (ja) * 2001-08-06 2003-02-21 Olympus Optical Co Ltd 走査型レーザ顕微鏡
JP2005195940A (ja) * 2004-01-08 2005-07-21 Olympus Corp 蛍光顕微鏡
JP2005331887A (ja) * 2004-05-21 2005-12-02 Keyence Corp 蛍光顕微鏡、蛍光顕微鏡装置を使用した表示方法、蛍光顕微鏡画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器
JP2010500563A (ja) * 2006-08-07 2010-01-07 プレジデント アンド フェローズ オブ ハーバード カレッジ 回折限界以下の画像解像技術および他の画像化技術
JP2010537179A (ja) * 2007-08-18 2010-12-02 マックス−プランク−ゲゼルシヤフト・ツーア・フェルデルング・デア・ヴィッセンシャフテン・アインゲトラーゲナー・フェライン ２光子励起式ｓｔｅｄ蛍光顕微鏡法
JP5392406B2 (ja) * 2010-06-11 2014-01-22 株式会社ニコン 顕微鏡装置、観察方法
JP2012027167A (ja) * 2010-07-22 2012-02-09 Olympus Corp レーザ走査型顕微鏡
JP2013020204A (ja) * 2011-07-14 2013-01-31 Olympus Corp 蛍光顕微鏡装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3276335A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018105298A1 (ja) * 2016-12-09 2019-10-24 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
JP2021513095A (ja) * 2018-01-02 2021-05-20 キングス カレッジ ロンドン 局在化顕微鏡法のための方法及びシステム
JP7228917B2 (ja) 2018-01-02 2023-02-27 キングス カレッジ ロンドン 局在化顕微鏡法のための方法及びシステム

Also Published As

Publication number Publication date
JP6631620B2 (ja) 2020-01-15
US11086115B2 (en) 2021-08-10
EP3276335A4 (en) 2018-12-05
EP3276335B1 (en) 2021-06-09
JPWO2016157346A1 (ja) 2018-02-08
US20180017774A1 (en) 2018-01-18
EP3276335A1 (en) 2018-01-31

Similar Documents

Publication Publication Date Title
US10168521B2 (en) Stimulated emission depletion microscope
WO2018116851A1 (ja) 情報処理装置、画像処理装置、顕微鏡、情報処理方法、及び情報処理プログラム
US11086115B2 (en) Microscope device, viewing method, and control program
JP2005284136A (ja) 観察装置および観察装置の焦点合わせ方法
US10725278B2 (en) Microscope, observation method, and storage medium
US11215804B2 (en) Microscope and method for imaging a sample
CN110470667B (zh) 基于压缩感知和随机多焦点扫描的三维体成像方法及装置
EP3040756A1 (en) Drive control method for objective lens and fluorescence microscope system
CA3079243A1 (en) Image reconstruction method, device and microscopic imaging device
US10776955B2 (en) Method for the analysis of spatial and temporal information of samples by means of optical microscopy
JP5346635B2 (ja) 蛍光観察装置
JP6822483B2 (ja) 球面収差補正算出装置、顕微鏡、球面収差補正算出プログラム及び球面収差補正算出方法
JP6451833B2 (ja) 顕微鏡装置、観察方法、及び制御プログラム
JP6753454B2 (ja) 顕微鏡装置、観察方法、及び制御プログラム
WO2017090209A1 (ja) 顕微鏡、観察方法、及び制御プログラム
KR102469852B1 (ko) 집적 영상 현미경의 조명계 시스템
Czarske et al. Fast 3D imaging with lensless holographic endoscopy employing coherent fiber bundles
Galwaduge et al. Signal-based adaptive optics optimization for in-vivo two-photon microscopy of the brain
Corbett et al. Toward multi-focal spot remote focusing two-photon microscopy for high speed imaging
KR20130010924A (ko) 일회용 내시경
Gmitro et al. A Novel Multi-Point Scan Architecture for a High Frame Rate Multi-Spectral Confocal Microendoscope
JP2016049352A (ja) 内視鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15887499

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017508872

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE