WO2016125281A1 - 構造化照明顕微鏡、観察方法、及び制御プログラム - Google Patents

構造化照明顕微鏡、観察方法、及び制御プログラム Download PDF

Info

Publication number
WO2016125281A1
WO2016125281A1 PCT/JP2015/053211 JP2015053211W WO2016125281A1 WO 2016125281 A1 WO2016125281 A1 WO 2016125281A1 JP 2015053211 W JP2015053211 W JP 2015053211W WO 2016125281 A1 WO2016125281 A1 WO 2016125281A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
sample
illumination
optical system
activation
Prior art date
Application number
PCT/JP2015/053211
Other languages
English (en)
French (fr)
Inventor
大澤 日佐雄
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2016573005A priority Critical patent/JP6635052B2/ja
Priority to PCT/JP2015/053211 priority patent/WO2016125281A1/ja
Publication of WO2016125281A1 publication Critical patent/WO2016125281A1/ja
Priority to US15/666,842 priority patent/US10649196B2/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/10Condensers affording dark-field illumination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/12Condensers affording bright-field illumination
    • G02B21/125Condensers affording bright-field illumination affording both dark- and bright-field illumination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N2021/6463Optics
    • G01N2021/6478Special lenses
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6445Measuring fluorescence polarisation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/061Sources
    • G01N2201/06113Coherent sources; lasers
    • G01N2201/0612Laser diodes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/062LED's
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/063Illuminating optical parts
    • G01N2201/0635Structured illumination, e.g. with grating

Definitions

  • the present invention relates to a structured illumination microscope, an observation method, and a control program.
  • a super-resolution microscope that enables observation beyond the resolution of the optical system in a microscope apparatus.
  • a structured illumination microscope (SIM) that generates a super-resolution image of a specimen by illuminating the specimen with structured illumination to obtain a modulated image and demodulating the modulated image.
  • Structured Illumination Microscopy
  • the sample is illuminated by the interference fringes formed by branching the light beam emitted from the light source into a plurality of light beams by a diffraction grating or the like and causing these light beams to interfere with each other in the vicinity of the sample.
  • the modulated image is acquired.
  • the modulated image picked up by the structured illumination microscope includes light (signal) from a region within the focal depth and light from a region outside the focal depth. Since the contrast of structured illumination in the image component due to light from a region outside the focal depth is low, the contrast of the structured illumination in the captured image increases as the sample thickness increases beyond the focal depth of the imaging optical system. For example, depending on the device characteristics of the image sensor, it becomes difficult to ensure the level of a signal used for demodulation.
  • the present invention has been made in view of the above circumstances, and provides a structured illumination microscope, an observation method, and a control program capable of generating a super-resolution image with respect to a sample having a thickness exceeding the depth of focus of the imaging optical system. The purpose is to do.
  • the first illumination optical system for irradiating the sample with the activation light for activating the fluorescent substance contained in the sample from the first direction is different from the first direction.
  • a structured illumination microscope comprising: a demodulating unit that generates a second image using a demodulator.
  • an observation method characterized by including imaging to generate a first image and generating a second image using a plurality of first images generated by imaging.
  • the computer is irradiated with the activation light for activating the fluorescent substance contained in the sample from the first direction, and the second different from the first direction.
  • a control program that executes execution of capturing a first image by capturing an image and generating a second image using a plurality of first images generated by the capturing Is done.
  • the present invention it is possible to provide a structured illumination microscope, an observation method, and a control program capable of generating a super-resolution image for a sample having a thickness exceeding the depth of focus of the imaging optical system.
  • FIG. 1 is a diagram showing a structured illumination microscope 1 (observation system) according to the present embodiment.
  • the structured illumination microscope 1 is used for observing a sample S stained with a fluorescent dye (fluorescent substance).
  • the sample S is, for example, fluorescent cells (cells stained with a fluorescent dye) arranged on a parallel flat glass surface, or fluorescent living cells (moving cells stained with a fluorescent dye) present in a petri dish. ) And so on.
  • the fluorescent dye contained in the sample S is activated by receiving the activation light and emits fluorescence by receiving the excitation light in the activated state. Moreover, when this fluorescent dye receives inactivation light in an activated state, it emits fluorescence and enters an inactivated state.
  • the wavelength of the inactivation light may be the same as the wavelength of the excitation light, for example.
  • fluorescent dyes include dye pairs in which two kinds of cyanine dyes are combined (eg, Cy3-Cy5 dye pair, Cy2-Cy5 dye pair, Cy3-Alexa647 dye pair, etc.).
  • Cy3 is a site that activates Cy5, and Cy5 is activated by irradiating green light of 532 nm.
  • Cy5 emits fluorescence and is inactivated.
  • the structured illumination microscope 1 has a 2D-SIM mode that generates a two-dimensional super-resolution image of a part of the sample S in the thickness direction.
  • the structured illumination microscope 1 includes a stage 2, an activation illumination unit 3, an excitation illumination unit 4, an imaging unit 5, a demodulation unit 6, and a control unit 7.
  • the structured illumination microscope 1 generally operates as follows. Stage 2 holds sample S.
  • the activation illumination unit 3 irradiates the sample S with sheet-like activation light.
  • the activation illumination unit 3 selectively activates a part of the sample S in the thickness direction and maintains the other part of the sample S in an inactive state.
  • the excitation illumination unit 4 forms interference fringes with excitation light.
  • the excitation illumination unit 4 illuminates an activated portion of the sample S with interference fringes from a direction perpendicular to the light irradiation direction of the activation illumination unit 3.
  • the imaging unit 5 captures a modulated image of the sample S modulated by the interference fringes.
  • the demodulation unit 6 demodulates the modulated image captured by the imaging unit 5 and generates an image (super-resolution image) of the sample S.
  • the control unit 7 controls each unit of the structured illumination microscope 1 to execute various processes.
  • the first direction (light irradiation direction) in which the activation illumination unit 3 irradiates the sample with light is defined as the X direction.
  • the second direction (light irradiation direction) in which the excitation illumination unit 4 irradiates the sample S with light is defined as the Z direction.
  • a third direction perpendicular to each of the X direction and the Z direction is taken as a Y direction.
  • the X direction and the Y direction are set, for example, in the horizontal direction
  • the Z direction is set, for example, in the vertical direction.
  • + or-is attached to each direction, and the direction and direction are appropriately expressed.
  • the stage 2 can place the sample S on its upper surface.
  • the stage 2 can move in the Z direction on the upper surface with the sample S placed on the upper surface.
  • the stage 2 is controlled by the control unit 7 and can adjust the position of the upper surface in the Z direction.
  • the control unit 7 can control the position (height) in the Z direction of the sample S arranged on the upper surface by controlling the stage 2.
  • the stage 2 may be capable of moving the sample S in at least one of the X direction and the Y direction, or may not move the sample S in the Z direction.
  • the activation illumination unit 3 includes a light source unit 10 and a first illumination optical system 11.
  • the light source unit 10 is controlled by the control unit 7 and emits activation light.
  • the activation light includes light in the first wavelength band that activates a predetermined fluorescent substance (fluorescent dye).
  • the light source unit 10 includes, for example, a laser diode (LD), but may include a light emitting diode (LED).
  • the light source unit 10 may emit either coherent light or incoherent light as activation light.
  • the light source unit 10 may emit any of linearly polarized light, elliptically polarized light, and non-polarized light as the activation light.
  • the structured illumination microscope 1 may not include the light source unit 10.
  • the light source unit 10 may be replaceable (removable) from the structured illumination microscope 1 and may be a device outside the structured illumination microscope 1.
  • the first illumination optical system 11 guides the activation light from the light source unit 10 to the sample S.
  • the optical axis AX1 of the first illumination optical system 11 is set so that the light irradiation direction of the activation illumination unit 3 is the X direction.
  • the first illumination optical system 11 includes a condenser lens 12, an optical fiber 13, a collimator lens 14, a cylindrical lens 15, a slit 16, and a lens group 17 on the light emission side of the light source unit 10.
  • the condensing lens 12 condenses the activation light from the light source unit 10 so as to be within the incident end face of the optical fiber 13.
  • the optical fiber 13 is a light guide member that guides light incident on the incident end face to the outgoing end face.
  • the collimator lens 14 collimates the activation light emitted from the emission end face of the optical fiber 13.
  • the cylindrical lens 15 is an optical member whose refractive power (power) in the XZ plane is stronger than that in the XY plane.
  • the collimator lens 14 and the cylindrical lens 15 shape the cross-sectional shape of the activation light in the sample S (illumination area of the activation illumination unit 3) into a shape in which the Z direction is the short direction of the Y direction and the Z direction.
  • the slit 16 is a field stop (a stop member), and is disposed at a position optically conjugate with the illumination area of the activation illumination unit 3.
  • the slit 16 has an opening through which at least part of the activation light from the light source unit 10 passes.
  • the shape of the opening is set such that the dimension in the Z direction is shorter than the dimension in the Y direction, and is, for example, a rectangular shape having a short side parallel to the Z direction.
  • the aperture ratio of the slit 16 may be a fixed value or a variable value.
  • at least one of the shape and size of the opening of the slit 16 may be variable.
  • the opening of the slit 16 may have a variable inner dimension in at least one of the Y direction and the Z direction.
  • the lens group 17 is, for example, a projection optical system, and projects an image of the opening of the slit 16 onto the illumination area of the activation illumination unit 3.
  • the activation light that has passed through the opening of the slit 16 is applied to the sample S through the lens group 17.
  • NA numerical aperture
  • the spread angle of the activation light when exiting from the first illumination optical system 11 is reduced. can do.
  • the change in the thickness of the activation light (the width of the optical path in the Z direction) in the sample S can be reduced.
  • the activation illumination unit 3 can selectively activate the sheet-shaped portion of the sample S by irradiating a part of the sample S with the activation light in the Z direction.
  • the activated sheet-like portion is referred to as an activated layer in the following description.
  • the structured illumination microscope 1 includes an inactivation illumination unit 20.
  • the inactivation illumination unit 20 irradiates the sample S with inactivation light that inactivates the fluorescent dye activated by the activation light.
  • the inactivation illumination unit 20 includes a light source unit 21, a mirror 22, a dichroic mirror 23, and the first illumination optical system 11.
  • the light source unit 21 emits inactive light including light in a second wavelength band that causes a predetermined fluorescent dye to transition from an activated state to an inactive state.
  • the inactivating light emitted from the light source unit 21 is reflected by the mirror 22 and enters the dichroic mirror 23.
  • the mirror 22 and the dichroic mirror 23 are light guide units that guide the inactive light emitted from the light source unit 21 to the first illumination optical system 11.
  • the dichroic mirror 23 is disposed in the optical path between the light source unit 10 and the condenser lens 12.
  • the dichroic mirror 23 has a wavelength selection film therein. This wavelength selection film has a characteristic that the activation light from the light source unit 10 is transmitted and the inactivation light from the light source unit 21 is reflected.
  • the inactivating light that has entered the dichroic mirror 23 is reflected by the wavelength selection film, and enters the first illumination optical system 11 through substantially the same optical path as the activating light from the light source unit 10.
  • the deactivated light incident on the first illumination optical system 11 is formed into a sheet shape and irradiated on the sample S, like the activated light.
  • the structured illumination microscope 1 may not include the light source unit 21.
  • the light source unit 21 may be replaceable (removable) from the structured illumination microscope 1 and may be a device outside the structured illumination microscope 1.
  • the range in which the deactivation illumination unit 20 irradiates the deactivation light (hereinafter referred to as the illumination region of the deactivation illumination unit 20) is the range in which the activation illumination unit 3 irradiates the activation light ( Hereinafter, it is almost the same as the illumination area of the activated illumination unit 3).
  • the illumination area of the inactivated illumination unit 20 may be set wider than the illumination area of the activated illumination unit 3.
  • the opening of the slit 16 of the first illumination optical system 11 is variable, the opening width of the slit 16 (for example, the inner diameter in the Z direction) is set when the inactivating light passes through the first illumination optical system 11.
  • the first illumination optical system 11 may be set larger than when the activation light passes through. In this case, it can suppress that the part which is not inactivated remains in the part activated in the sample S.
  • the control unit 7 may control a driving unit (not shown) that drives the opening of the slit 16 to control the opening ratio of the slit 16.
  • the excitation illumination unit 4 illuminates the sample with interference fringes formed by excitation light.
  • the excitation illumination unit 4 includes a light source unit 30 and a second illumination optical system 31.
  • the light source unit 30 is controlled by the control unit 7 and emits excitation light.
  • the excitation light includes light in a wavelength band that excites a predetermined fluorescent dye, and includes, for example, light having the same wavelength as inactivation light.
  • the light source unit 30 includes, for example, a laser diode (LD) and may emit coherent light as excitation light, or may include a light emitting diode (LED) and emit incoherent light as excitation light.
  • the light source unit 30 emits linearly polarized light as the activation light.
  • the structured illumination microscope 1 may not include the light source unit 30.
  • the light source unit 30 may be replaced (removable) with the structured illumination microscope 1 and may be a device outside the structured illumination microscope 1.
  • the second illumination optical system 31 irradiates the sample S with the excitation light via the objective lens 32 and illuminates the sample S by epi-illumination.
  • the optical axis of the objective lens 32 (the optical axis on the light emission side of the second illumination optical system 31) is set in the Z direction.
  • the optical axis AX2 of the second illumination optical system 31 is bent by the dichroic mirror 33 on the light source unit 30 side of the objective lens 32.
  • the optical axis AX2 of the second illumination optical system 31 is arbitrarily set in the optical path closer to the light source unit 30 than the dichroic mirror 33, and is set, for example, in a direction parallel to the XY plane.
  • the second illumination optical system 31 includes a condenser lens 35, an optical fiber 36, and a collector lens 37 on the light emission side of the light source unit 30.
  • the condensing lens 35 condenses the excitation light from the light source unit 30 so as to be within the incident end face of the optical fiber 36.
  • the optical fiber 36 is a light guide member that guides light incident on the incident end face to the outgoing end face.
  • the optical fiber 36 is, for example, a polarization-preserving single mode fiber, and guides the pumping light without substantially changing the polarization state of the pumping light.
  • Excitation light emitted from the optical fiber 36 is, for example, linearly polarized light in the Z direction.
  • the collector lens 37 collimates the excitation light emitted from the emission end face of the optical fiber 36.
  • the second illumination optical system 31 includes a polarizing plate 38, a diffraction grating 39, a half-wave plate 40, and a lens 41 on the light emission side of the collector lens 37.
  • the optical axis AX2 of the second illumination optical system 31 is set parallel to the X direction in the optical path from the collector lens 37 to the dichroic mirror 33.
  • the polarizing plate 38 transmits linearly polarized light parallel to the transmission axis and blocks (shields) linearly polarized light perpendicular to the transmission axis.
  • the polarizing plate 38 has its transmission axis set parallel to the Z direction, and blocks components of the excitation light whose polarization state is disturbed, stray light from the light source unit 30 side than the polarizing plate 38, and the like.
  • the diffraction grating 39 is a branching part that branches the excitation light from the light source part 30.
  • the diffraction grating 39 branches the excitation light into a plurality of light beams by diffraction.
  • the second illumination optical system 31 generates interference fringes in the specimen by two-beam interference between the + 1st order diffracted light and the ⁇ 1st order diffracted light generated by the diffraction grating 39.
  • the 0th-order diffracted light is indicated by a solid line
  • the + 1st-order diffracted light is indicated by a chain line
  • the ⁇ 1st-order diffracted light is indicated by a two-dot chain line.
  • the diffraction grating 39 has, for example, a one-dimensional periodic structure.
  • This periodic structure may be a structure in which the density (transmittance) changes periodically or a structure in which the step (phase difference) changes periodically.
  • the diffraction grating 39 is a phase type, the diffraction efficiency of ⁇ first-order diffracted light is high, and light loss can be reduced when ⁇ first-order diffracted light is used to form interference fringes.
  • the period of the interference fringes formed on the sample S is preferably a period slightly smaller than the resolution limit of an imaging optical system 55 (described later) of the imaging unit 5.
  • the structured illumination microscope 1 uses nine modulated images for demodulation calculation when acquiring an image of the activated layer in the sample S (described later).
  • the direction of the interference fringes corresponds to a direction in which the light intensity periodically changes in the interference fringes (a direction orthogonal to a direction in which the light intensity does not substantially change).
  • the direction of the interference fringes can be changed by rotating (turning) the diffraction grating 39 around the optical axis AX2 of the second illumination optical system 31, for example.
  • the phase of the interference fringes corresponds to the position of the bright part and the position of the dark part in the interference fringe.
  • the phase of the interference fringes can be changed, for example, by moving the diffraction grating 39 in a direction intersecting the optical axis AX2 of the second illumination optical system 31.
  • the second illumination optical system 31 includes a rotation drive unit 42 that rotates the diffraction grating 39 around the optical axis AX2.
  • the rotation drive unit 42 includes an actuator such as an electric motor.
  • the rotation driving unit 42 is controlled by the control unit 7 and rotates the diffraction grating 39.
  • the control unit 7 controls the rotation drive unit 42 to switch the rotation position of the diffraction grating 39 between the first rotation position, the second rotation position, and the third rotation position (shown later in FIG. 3).
  • the second rotation position is a rotation position rotated by 120 ° from the first rotation position
  • the third rotation position is rotated by 120 ° (240 ° from the first rotation position) from the second rotation position. Rotation position.
  • the second illumination optical system 31 includes a parallel drive unit 43 that drives the diffraction grating 39 in a direction perpendicular to the optical axis AX2.
  • the parallel drive unit 43 includes an actuator such as a piezo element, for example.
  • the parallel drive unit 43 is controlled by the control unit 7 to translate the diffraction grating 39.
  • the control unit 7 controls the position of the diffraction grating 39 in the direction parallel to the YZ plane by controlling the parallel drive unit 43.
  • the control unit 7 controls the parallel driving unit 43 so that the phase of the interference fringes changes by a predetermined amount each time the position of the diffraction grating 39 is changed. This predetermined amount is set to, for example, about 1/3 of the period of the interference fringe (for example, a phase of 2 ⁇ / 3).
  • the half-wave plate 40 adjusts the polarization state of the excitation light from the diffraction grating 39 so that the polarization state of the excitation light when entering the sample S becomes S-polarized light (shown later in FIGS. 3 and 4). ).
  • the lens 41 condenses the excitation light from the half-wave plate 40 on the pupil conjugate plane 44.
  • the excitation light is condensed by the lens 41 at a position corresponding to the order of the diffracted light. For example, the 0th-order diffracted light of the excitation light is collected toward the optical axis AX2 on the pupil conjugate plane 44.
  • the + 1st order diffracted light is condensed toward a position shifted from the optical axis AX2 on the pupil conjugate plane 44.
  • the ⁇ 1st order diffracted light is condensed toward a position symmetrical to the condensing position of the + 1st order diffracted light with respect to the optical axis AX2 on the pupil conjugate plane 44.
  • the second illumination optical system 31 includes a mask 45, a lens 46, a field stop 47, a lens 48, an excitation filter 49, a dichroic mirror 33, and an objective lens 32 on the light emission side of the lens 41.
  • the mask 45 passes the diffracted light of the order used for forming the interference fringe among the plurality of diffracted lights from the diffraction grating 39, and blocks the diffracted light of the order not used for forming the interference fringe.
  • the diffracted light used for forming the interference fringes is ⁇ 1st order
  • the mask 45 allows the ⁇ 1st order diffracted light to pass through and blocks the 0th order diffracted light and other diffracted lights.
  • the mask 45 is disposed, for example, on the pupil conjugate plane 44 (aperture stop position).
  • the mask 45 only needs to be disposed at a position where the optical path of the 0th-order diffracted light, the optical path of the + 1st-order diffracted light, and the optical path of the ⁇ 1st-order diffracted light do not overlap. Good.
  • FIG. 2A is a diagram illustrating an example of the mask 45.
  • the portion including the optical axis AX2 in the mask 45 is a portion where 0th-order diffracted light is incident, and serves as a light shielding portion.
  • the mask 45 has a plurality of openings 45a to 45f disposed away from the optical axis AX2 of the second illumination optical system 31.
  • the openings 45a to 45d are arranged every 60 ° around the optical axis AX2.
  • the opening 45a and the opening 45d are respectively disposed at positions where the + 1st order diffracted light L1 and the ⁇ 1st order diffracted light L2 pass when the diffraction grating 39 is disposed at the first rotation position.
  • the opening 45c and the opening 45f are respectively disposed at positions where the + 1st order diffracted light and the ⁇ 1st order diffracted light pass when the diffraction grating 39 is disposed at the second rotation position.
  • the opening 45b and the opening 45e are respectively disposed at positions where the + 1st order diffracted light and the ⁇ 1st order diffracted light pass when the diffraction grating 39 is disposed at the third rotation position.
  • the inner dimensions of the openings 45a to 45f are set so as to secure an effective diameter through which a light beam used for forming interference fringes passes.
  • FIG. 2B is a diagram showing another example of the mask 45.
  • the mask 45 is a light shielding part 50 having a disk shape around the optical axis AX2.
  • the mask 45 has an annular outer edge portion 51, and the light shielding portion 50 is supported by the outer edge portion 51 by a belt-like support portion 52.
  • the support portion 52 is disposed at a position where ⁇ 1st-order diffracted light does not pass even when the diffraction grating 39 is disposed at any of the first to third rotational positions.
  • the lens 46 condenses the excitation light ( ⁇ first order diffracted light) from the mask 45 at the same position for each diffracted light generated at each position of the diffraction grating 39.
  • the lens 41 and the lens 46 form an image of the diffraction grating 39.
  • the field stop 47 is disposed at a position optically conjugate with the diffraction grating 39.
  • the field stop 47 has an opening through which the excitation light passes, and defines the illumination area of the second illumination optical system 31 depending on the shape and size of the opening.
  • the excitation filter 49 blocks at least part of light from the lens 46 other than the excitation wavelength.
  • the excitation filter 49 cuts stray light from the light source unit 30 side than the excitation filter 49.
  • the dichroic mirror 33 has a characteristic that the excitation light from the light source unit 30 is reflected and the fluorescence from the sample S is transmitted.
  • the dichroic mirror 33 is provided to be inclined at an angle of about 45 ° with respect to the X direction, for example.
  • the excitation light from the excitation filter 49 is reflected by the dichroic mirror 33, the optical path is bent by about 90 °, proceeds in the + Z direction, and enters the objective lens 32.
  • the objective lens 32 forms an image of the diffraction grating 39 at a position optically conjugate with the field stop 47.
  • FIG. 3 is a diagram showing the optical path and polarization state of excitation light at each rotational position of the diffraction grating 39.
  • FIG. 4 is a diagram showing a condensing region on the pupil plane 32a of the objective lens 32 and a polarization state of the excitation light at each rotational position of the diffraction grating 39. As shown in FIG. In FIGS. 3 and 4, a round arrow indicates the polarization state of the excitation light.
  • Symbol Q1 indicates a state in which the diffraction grating 39 is disposed at the first rotation position.
  • the first rotation position is arbitrarily set.
  • the first rotation position is a rotation position where the periodic direction D1 of the diffraction grating 39 is parallel to the Z direction.
  • the transmission axis 38a of the polarizing plate 38 is set parallel to the Z direction, and the polarization state Q1a of the excitation light that has passed through the polarizing plate 38 is linearly polarized light in the Z direction.
  • the + 1st order diffracted light L1 and the ⁇ 1st order diffracted light L2 generated by the diffraction grating 39 are branched so as to be separated from each other in the periodic direction D1 of the diffraction grating 39.
  • the polarization state Q1b of each diffracted light is, for example, linearly polarized light in the Z direction.
  • the fast axis 40a of the half-wave plate 40 is set, for example, in a direction that forms an angle of ⁇ 45 ° with the Y direction.
  • the polarization states Q1c of the + 1st order diffracted light L1 and the ⁇ 1st order diffracted light L2 that have passed through the mask 45 are linearly polarized light in a direction (Y direction) orthogonal to the periodic direction D1 of the diffraction grating 39, respectively.
  • the + 1st order diffracted light L1 and the ⁇ 1st order diffracted light L2 are condensed on the condensing region on the pupil plane 32a of the objective lens 32, respectively.
  • the rotational position ⁇ around the optical axis AX2 is represented by an angle in which the rotational position in the radial direction parallel to the X direction is 0 ° and the clockwise direction is positive when viewed from the ⁇ Z direction.
  • a direction D4 connecting the condensing region of the + 1st order diffracted light L1 and the condensing region of the ⁇ 1st order diffracted light L2 is parallel to the X direction, and the incident surface of the ⁇ 1st order diffracted light with respect to the sample S includes the optical axis AX2. It is a plane parallel to D4 (XZ plane).
  • the ⁇ first-order diffracted light is linearly polarized light in the Y direction and S-polarized light with respect to the sample S.
  • the symbol Q2 indicates a state in which the diffraction grating 39 is disposed at the second rotational position.
  • the angle between the periodic direction D2 and the Z direction of the diffraction grating 39 is, for example, 120 °.
  • the polarization state Q2a of the excitation light that has passed through the polarizing plate 38 is, for example, linearly polarized light in the Z direction.
  • the + 1st order diffracted light L1 and the ⁇ 1st order diffracted light L2 generated by the diffraction grating 39 are branched so as to be separated from each other in the periodic direction D2 of the diffraction grating 39.
  • the polarization state Q2b of each diffracted light is, for example, linearly polarized light in the Z direction.
  • the fast axis 40a of the half-wave plate 40 is set, for example, in a direction that forms an angle of 15 ° with the Y direction.
  • the 0th-order diffracted light is blocked by the mask 45 and removed from the optical path toward the sample S.
  • the polarization states Q2c of the + 1st order diffracted light L1 and the ⁇ 1st order diffracted light L2 that have passed through the mask 45 are respectively linearly polarized light in a direction orthogonal to the periodic direction D2 of the diffraction grating 39.
  • the + 1st order diffracted light L1 and the ⁇ 1st order diffracted light L2 are condensed on the condensing region on the pupil plane 32a of the objective lens 32, respectively.
  • a direction D5 connecting the condensing region of the + 1st order diffracted light L1 and the condensing region of the ⁇ 1st order diffracted light L2 is an angle of 120 ° with the clockwise direction being positive from the + X direction.
  • the incident surface of ⁇ first-order diffracted light with respect to the sample S is a surface that includes the optical axis AX2 and is parallel to the direction D5.
  • the ⁇ first-order diffracted light is linearly polarized light in a direction orthogonal to the direction D5, and is S-polarized light with respect to the sample S.
  • the symbol Q3 indicates a state in which the diffraction grating 39 is disposed at the third rotational position.
  • the angle between the periodic direction D3 of the diffraction grating 39 and the Z direction is, for example, 240 °.
  • the polarization state Q3a of the excitation light that has passed through the polarizing plate 38 is, for example, linearly polarized light in the Z direction.
  • the + 1st order diffracted light L1 and the ⁇ 1st order diffracted light L2 generated by the diffraction grating 39 are branched so as to be separated from each other in the periodic direction D3 of the diffraction grating 39.
  • the polarization state Q3b of each diffracted light is, for example, linearly polarized light in the Z direction.
  • the fast axis 40a of the half-wave plate 40 is set, for example, in a direction that forms an angle of 75 ° with the Y direction.
  • the 0th-order diffracted light is blocked by the mask 45 and removed from the optical path toward the sample S.
  • the polarization states Q3c of the + 1st order diffracted light L1 and the ⁇ 1st order diffracted light L2 that have passed through the mask 45 are linearly polarized light in a direction orthogonal to the periodic direction D3 of the diffraction grating 39, respectively.
  • the + 1st order diffracted light L1 and the ⁇ 1st order diffracted light L2 are condensed on the condensing region on the pupil plane 32a of the objective lens 32, respectively.
  • the half-wave plate 40 may be rotated.
  • the control unit 7 may rotate the half-wave plate 40 by 60 ° when the rotation driving unit 42 is controlled to rotate the diffraction grating 39 by 120 °.
  • the half-wave plate 40 may be fixed for each opening through which ⁇ 1st-order diffracted light passes according to the rotational position of the diffraction grating 39.
  • the direction of the fast axis of the half-wave plate 40 may be set for each opening according to the position of the opening.
  • the excitation illumination unit 4 shown in FIG. 1 forms interference fringes by ⁇ first-order diffracted light in the illumination region set in the activation layer of the sample S, and is activated in the activation layer of the sample S.
  • the converted fluorescent substance emits fluorescence by excitation light. With this fluorescence, a modulated image obtained by modulating the fluorescence density distribution of the sample S with interference fringes is obtained.
  • the imaging unit 5 captures a modulation image in which the sample S is modulated by interference fringes.
  • the imaging unit 5 includes an imaging optical system 55 and an imaging element 56.
  • the imaging optical system 55 includes an objective lens 32, a dichroic mirror 33, a barrier filter 57, and a lens 58.
  • Fluorescence from the sample S is converted into parallel light through the objective lens 32, passes through the dichroic mirror 33, and enters the barrier filter 57.
  • the barrier filter 57 blocks at least a part of light in a wavelength band other than the fluorescence wavelength from the sample S.
  • the lens 58 forms an image plane having the sample S (illumination area of the excitation illumination unit 4) as an object plane together with the objective lens 32. That is, the objective lens 32 and the lens 58 form a modulated image of the sample S.
  • the focal position of the imaging optical system 55 is set in the illumination area of the activation illumination unit 3 in the Z direction.
  • the image sensor 56 includes an image sensor such as a CCD sensor or a CMOS sensor.
  • the image sensor 56 has a light receiving surface on which a plurality of pixels are arranged.
  • the light receiving surface is disposed on the image surface of the imaging optical system 55 (a surface optically conjugate with the sample S).
  • a photoelectric conversion unit such as a photodiode is disposed in each pixel, and the image sensor 56 converts the fluorescence from the sample S into a charge by the photoelectric conversion unit, and detects the fluorescence from the sample S.
  • the imaging unit 5 captures a modulated image and supplies the imaging result (hereinafter referred to as a modulated image) to the demodulating unit 6.
  • the demodulator 6 performs demodulation processing using the imaging result of the modulated image, and generates an image of the sample S.
  • the demodulator 6 can generate a restored image using a plurality of modulated images captured in a state where the directions and directions of the interference fringes are different from each other.
  • the demodulator 6 may perform demodulation processing by a method disclosed in US Pat. No. 8,115,806, but is not limited to this method. For example, it may be performed by the method disclosed in US Pat. No. 8,115,806.
  • the structured illumination microscope 1 holds a portion to be observed in the thickness direction of the sample S (hereinafter referred to as an observation target surface) in the illumination area of the activation illumination unit 3.
  • the surface to be observed can be selectively activated.
  • the structured illumination microscope 1 can irradiate the observation target surface with the interference fringes by the excitation illumination unit 4 while maintaining at least a part of the thickness portion of the sample S other than the observation target surface in an inactive state.
  • the structured illumination microscope 1 can selectively generate fluorescence from the observation target surface of the sample S, and the imaging unit 5 can capture a modulated image of the observation target surface. Then, by demodulating this modulated image, a super-resolution image exceeding the resolution limit of the imaging optical system 55 is obtained.
  • the structured illumination microscope 1 can suppress the generation of fluorescence in a portion other than the observation target surface of the sample S, the background light can be suppressed to be small with respect to the fluorescence from the observation target surface. As a result, the structured illumination microscope 1 can suppress deterioration in image quality when generating a super-resolution image for the sample S having a thickness exceeding the depth of focus of the imaging optical system 55.
  • FIG. 5 is a diagram showing the activation light L4 from the activation illumination unit 3 and the illumination region IR of the excitation illumination unit 4.
  • FIG. 5 shows a state where the optical axis AX1 of the activation illumination unit 3 is set so as to pass through the optical axis AX2 of the excitation illumination unit 4.
  • the optical axis AX1 of the activation illumination unit 3 is fixed so as to pass through the optical axis AX2 of the excitation illumination unit 4.
  • the illumination area IR of the excitation illumination unit 4 is set at a position optically conjugate with the light receiving surface of the image sensor 56, for example.
  • the range in which the activation illumination unit 3 irradiates the activation light L4 is set to a range including the illumination region IR, for example.
  • the activation illumination unit 3 irradiates the sheet-shaped activation light L4 over a range wider than the illumination region IR on a plane parallel to the XY plane.
  • the range in which the activation illumination unit 3 irradiates the activation light L4 may be set at a position shifted from the illumination region IR in the Z direction. In this case, after activating a part of the sample S in the Z direction, the sample S is moved in the Z direction by the stage 2, and the activation layer is arranged in the illumination region IR of the excitation illumination unit 4 to the activation layer. The irradiation of the excitation light and the imaging of the modulated image of the activation layer may be executed.
  • the relative position between the range in which the activation illumination unit 3 irradiates the activation light and the illumination region IR of the excitation illumination unit 4 may be variable (described in a modified example). .
  • the thickness B of the activation light L4 in the illumination region IR of the excitation illumination unit 4 is set to 1 ⁇ m or less, for example, and is set to be equal to or less than the thickness of the sample S in the Z direction.
  • the step amount of the position of the stage 2 in the Z direction may be set to the same value as the thickness B of the activation light, for example, It may be set to a value greater than the thickness B, or may be set to a value less than the thickness B.
  • the thickness B of the activation light L4 may be set to a range equal to or less than the depth of focus of the imaging optical system 55, for example. In this case, the fluorescence from the portion other than the observation target surface of the sample S is difficult to be detected.
  • the structured illumination microscope 1 includes a control device CONT.
  • the control unit 7 and the demodulation unit 6 are provided in the control device CONT.
  • the control device CONT includes, for example, a computer system, and executes various processes in accordance with a control program read from a storage device (not shown). For example, the control program irradiates the sample with activation light for activating the fluorescent substance contained in the sample from the first direction, and the fluorescence from the second direction different from the first direction.
  • Irradiating the sample with excitation light to excite the substance with interference fringes controlling the direction and phase of the interference fringes, forming an image of the sample irradiated with the interference fringes, and capturing the image Then, control of processing including generating the first image and generating the second image using the plurality of first images generated by the imaging is executed.
  • the control device CONT is connected to a display device 59 such as a liquid crystal display, for example, and causes the display device 59 to display an image showing an observation result (eg, super-resolution image), an image showing the setting of the structured illumination microscope 1 and the like. Can do.
  • an input device such as a keyboard, a mouse, and a touch panel is connected to the control device CONT.
  • This input device accepts input of information such as observation conditions, setting of the structured illumination microscope 1 and commands from a user, for example.
  • the observation conditions include, for example, the position of the portion to be observed in the sample S.
  • the setting of the structured illumination microscope 1 includes, for example, setting of an observation mode.
  • the command includes, for example, the start, interruption, restart, and end of observation.
  • FIG. 6 is a flowchart showing the operation of the structured illumination microscope 1.
  • the structured illumination microscope 1 sets the height (position in the Z direction) of the sample S in step S1.
  • the control unit 7 of the control device CONT arranges the observation target surface of the sample S designated by the user in the illumination area of the activation illumination unit 3 by controlling the stage 2.
  • the structured illumination microscope 1 irradiates the sample S with the activation light from the activation illumination unit 3 in step S2.
  • the control unit 7 controls the light source unit 10 to irradiate the sample S with a predetermined amount of activation light.
  • the set value of the light quantity is defined by, for example, the irradiation time, the light emission intensity of the light source unit 10, the power supplied to the light source unit 10, and the like.
  • the set value of the light amount is set to a level at which the activation of the fluorescent dye on the observation target surface of the sample S can be saturated, for example.
  • step S ⁇ b> 3 the structured illumination microscope 1 stops the irradiation of the activation light from the activation illumination unit 3 to the sample S, for example, when the control unit 7 controls the light source unit 10.
  • Structured illumination microscope 1 sets conditions for interference fringes formed by excitation illumination unit 4 in step S4.
  • the interference fringe condition includes at least one of the phase and orientation of the interference fringe.
  • the control unit 7 controls the position of the diffraction grating 39 by controlling the parallel driving unit 43 when changing the phase of the interference fringes in the next imaging. Further, when changing the direction of the interference fringes in the next imaging, the control unit 7 controls the rotation driving unit 42 to control the rotational position of the diffraction grating 39.
  • the process of step S4 may be performed in parallel with the process of step S2, or may be performed in a period that does not overlap with the process of step S2.
  • the structured illumination microscope 1 irradiates the sample S with excitation light from the excitation illumination unit 4 in step S5 after the process in step S3 and the process in step S4 are completed. Further, in step S6, the structured illumination microscope 1 images the sample S irradiated with the excitation light by the imaging unit 5.
  • the control unit 7 controls the light source unit 30 to irradiate the excitation illumination unit 4 with excitation light, and causes the imaging unit 5 to image the sample S at a predetermined timing with respect to the excitation light irradiation.
  • the structured illumination microscope 1 determines in step S7 whether or not a predetermined number of imaging has been completed. For example, when there are nine modulated images required for the demodulation operation by the demodulator 6, the controller 7 determines whether or not these nine modulated images have been captured. When it is determined that the predetermined number of imaging has not been completed (step S7; No), the control unit 7 causes the processes from step S2 to step S6 to be executed. When it is determined that the predetermined number of imaging has been completed (step S7; Yes), the control unit 7 causes the demodulation unit 6 to perform demodulation processing based on the acquired modulated image (step S8).
  • step S9 the control unit 7 determines whether imaging has been completed in the observation region in the depth direction of the sample S.
  • the observation region in the depth direction is defined by, for example, observation conditions specified by the user.
  • the user can designate an observation region by designating two places, an observation start position and an observation end position, in the depth direction.
  • the control unit 7 of the control device CONT moves the stage 2 until reaching the observation end position designated by the user, changes the observation target surface, and repeats the process of acquiring the modulated image, thereby repeating the predetermined process. A super-resolution image of the thickness portion is generated.
  • step S9 When the control unit 7 determines that the imaging of the observation region in the predetermined depth direction is not completed (step S9; No), the sample S is inactivated from the inactivation illumination unit 20 in step S10. Irradiate light. For example, the control unit 7 stops the irradiation of the deactivation light by the deactivation illumination unit 20 after the deactivation illumination unit 20 is irradiated with the predetermined amount of deactivation light (step S11). ). In addition, the structured illumination microscope 1 performs the processing from step S1 to step S8 after the processing in step S11 is completed, and generates a super-resolution image of the next observation target surface. If the control unit 7 determines that imaging of the observation region portion in the depth direction has been completed (step S9; Yes), the series of processing ends.
  • the case where the sample S is irradiated with the activation light every time one modulated image is captured has been described.
  • the excitation light When the excitation light is applied, a part of the fluorescent substance may be in an inactivated state. Therefore, the fluorescence activated by the excitation light is irradiated by irradiating the sample S with the activation light every time a modulated image is taken.
  • the material can be reactivated to take a modulated image.
  • the structured illumination microscope 1 has nine kinds of directions and phases of the interference fringes. In each combination, a modulated image is captured, and the sample S is irradiated with activation light every time one modulated image is captured.
  • the structured illumination microscope 1 may irradiate the sample S with activation light each time a plurality of modulated images are captured.
  • the number of processes of irradiating activation light may be one for the process of capturing three modulated images while changing the phase of interference fringes.
  • the structured illumination microscope 1 changes the combination of the interference fringe direction and the phase in nine ways, and the number of times of the process of irradiating the activation light is one for the process of capturing nine modulated images. There may be.
  • the excitation illumination unit 4 irradiates the sample S with the excitation light
  • the imaging unit 5 images the sample S. Good.
  • the number of observation target surfaces may be one. In this case, it is not necessary to inactivate the fluorescent dye of the sample S, and the inactivation illumination unit 20 can be omitted.
  • the inactivation illumination unit 20 the activation illumination unit 3 and the first illumination optical system 11 are shared, but the sample is irradiated with inactivation light from a different optical path from the first illumination optical system 11. May be.
  • the deactivated light emitted by the deactivated illumination unit 20 may not be in the form of a sheet.
  • the structured illumination microscope 1 may use the excitation illumination unit 4 as the inactivation illumination unit 20.
  • step S3 the control unit 7 stops the irradiation of the activation light based on the preset amount of the activation light, but detects the activation level of the fluorescent dye in the sample S and detects the detection.
  • the activation light irradiation may be stopped based on the result.
  • FIG. 7 is a flowchart showing an example of processing for detecting the level of activation of the fluorescent dye in the sample S.
  • the control unit 7 blocks the + 1st order diffracted light in the excitation illumination unit 4.
  • a shutter is provided at the opening of the mask 45 shown in FIG. 2, and the control unit 7 closes the shutter so that the sample S is not irradiated with the + 1st order diffracted light.
  • the control unit 7 controls the light source unit 30 to irradiate the sample S with the ⁇ 1st order diffracted light from the excitation illumination unit 4.
  • the control unit 7 causes the imaging element 56 to detect fluorescence from the sample S in step S22 while continuing to irradiate the sample S with excitation light, for example.
  • step S23 the control unit 7 determines whether or not the temporal change amount of the detection value of the image sensor 56 is equal to or less than a threshold value. That the time change amount of the detection value of the imaging unit 5 is equal to or less than the threshold corresponds to that the activation level of the fluorescent dye in the sample S is almost saturated.
  • the control unit 7 determines that the time change amount of the detection value of the image sensor 56 is larger than the threshold value (step S23; No)
  • the control unit 7 repeats the processes of step S22 and step S23.
  • step S23 When it is determined that the time change amount of the detection value of the image sensor 56 is equal to or less than the threshold (step S23; Yes), the control unit 7 stops the irradiation of the activation light in step S3. As described above, the control unit 7 irradiates the activation light until it is determined that the activation state of the fluorescent material is saturated. In this case, the structured illumination microscope 1 can image the sample S in a state where the activation level of the fluorescent dye in the sample S is almost saturated. Note that when the detection value of the image sensor 56 is equal to or greater than the threshold value, the control unit 7 may determine that the activation state of the fluorescent material is saturated and stop the irradiation of the activation light.
  • the structured illumination microscope 1 may detect the activation level of the fluorescent dye in the sample S while illuminating the sample S with interference fringes. In this case, step S20 need not be performed. Moreover, the structured illumination microscope 1 may irradiate the sample S with the excitation light in a state where the activation level of the fluorescent dye in the sample S is not saturated, and take a modulated image of the sample S. For example, when the activation level of the fluorescent dye in the sample S is saturated, the brightness of the modulated image may become excessive. For example, in order to reduce the influence of the activation light irradiation on the sample S, the irradiation of the activation light may be stopped before the activation level of the fluorescent dye is saturated. In such a case, instead of the determination process in step S23 or in addition to the determination process in step S23, it may be determined whether or not the detection value of the image sensor 56 is equal to or less than a threshold value.
  • the control unit 7 stops the irradiation of the inactivating light based on the preset amount of the inactivating light in step S11 shown in FIG. 6, but the inactivation of the fluorescent dye in the sample S is stopped.
  • the level may be detected, and the activation light irradiation may be stopped based on the detection result.
  • FIG. 8 is a flowchart showing an example of processing for detecting the level of inactivation of the fluorescent dye in the sample S.
  • the control unit 7 blocks the + 1st order diffracted light in the excitation illumination unit 4.
  • the control unit 7 irradiates the sample S with the minus first-order diffracted light from the excitation illumination unit 4.
  • the process of step S25 and step S26 may be the same as the process of step S20 and step S21 shown in FIG.
  • the control unit 7 causes the imaging device 56 to detect fluorescence from the sample S in step S27 while continuing to irradiate the sample S with excitation light, for example.
  • step S28 the control unit 7 determines whether or not the time change amount of the image sensor 56 is equal to or less than a threshold value. That the time change amount of the detection value of the image sensor 56 is equal to or less than the threshold value corresponds to the fact that the level of inactivation of the fluorescent dye in the sample S is almost saturated.
  • the control unit 7 determines that the time change amount of the detection value of the image sensor 56 is larger than the threshold value (step S28; No)
  • the control unit 7 repeats the processes of step S27 and step S28.
  • Step S28 When it is determined that the temporal change amount of the detection value of the image sensor 56 is equal to or less than the threshold (Step S28; Yes), the control unit 7 stops the irradiation of the inactivating light in Step S11.
  • the structured illumination microscope 1 can capture a modulated image on the next observation target surface in a state where the level of inactivation of the fluorescent dye in the sample S is substantially saturated. Therefore, when the excitation light is irradiated to the next observation target surface, it is possible to suppress the generation of fluorescence from the previous observation target surface.
  • step S28 the control unit 7 determines whether or not the detection value of the image sensor 56 is equal to or less than the threshold value, instead of determining whether or not the time change of the detection value of the image sensor 56 is equal to or less than the threshold value. May be.
  • the activation illumination part 3 should just be a thing which can selectively illuminate a sheet-like area
  • FIG. 9A is a perspective view showing the first illumination optical system 11 of the first modification
  • FIG. 9B is a diagram showing the optical path of the first illumination optical system 11 of the first modification.
  • the first illumination optical system 11 includes a collimator lens 14 and a cylindrical lens 15 on the light emitting side of the optical fiber 13, and the slit 16 and the lens group 17 are omitted from the configuration shown in FIG.
  • the activation illumination unit 3 does not have to perform beam shaping by the slit 16, and in this case, the lens group 17 that projects the image of the slit 16 can be omitted.
  • FIG. 10A is a perspective view showing the first illumination optical system 11 of the second modification
  • FIG. 10B is a diagram showing the optical path of the first illumination optical system 11 of the second modification.
  • the first illumination optical system 11 includes a collimator lens 14, a condenser lens 60, a pinhole 61, a collimator lens 62, and a cylindrical lens 15 from the optical fiber 13 side toward the sample S side.
  • the pinhole 61 has, for example, a circular opening.
  • the condensing lens 60 condenses the activation light from the collimator lens 14 toward the opening of the pinhole 61.
  • the collimator lens 62 collimates the activation light from the pinhole 61.
  • the cylindrical lens 15 refracts the activating light from the collimator lens 62 on a surface parallel to the XZ plane and hardly refracts it on a surface parallel to the XY plane.
  • the first illumination optical system 11 can also mold the activation light into a sheet shape. Thus, when forming the sheet-like activation using the cylindrical lens 15, the arrangement of the cylindrical lens 15 can be changed.
  • FIG. 11A is a perspective view showing the first illumination optical system 11 of the third modification
  • FIG. 11B is a diagram showing the optical path of the first illumination optical system 11 of the third modification.
  • the first illumination optical system 11 includes a collimator lens 14, a slit 16, a collimator lens 62, and a lens 63 on the light emission side of the optical fiber 13.
  • the slit 16 has an opening 16a that is narrower than the beam diameter of the inactive light from the collimator lens 14 in the Z direction. Further, the slit 16 is disposed at the rear focal position of the collimator lens 62.
  • the opening 16a see FIG.
  • the 10D has a shape in which the Z direction is the short direction of the Y direction and the Z direction (for example, a rectangular shape having a short side parallel to the Z direction).
  • the front focal position of the lens 63 and the rear focal position of the collimator lens 62 are arranged to coincide with each other, and the collimator lens 62 and the lens 63 illuminate the activation light that has passed through the opening 16a of the slit 16 in the form of a sheet. Concentrate on the area.
  • FIG. 12A is a perspective view showing the first illumination optical system 11 of the fourth modified example
  • FIG. 12B is a diagram showing the optical path of the first illumination optical system 11 of the fourth modified example.
  • the first illumination optical system 11 includes a collimator lens 14, a slit 16, and a lens 63 on the light emission side of the optical fiber 13.
  • the opening 16a of the slit 16 has a shape in which the Y direction of the Y direction and the Z direction is the short direction.
  • the dimension of the opening 16a of the slit 16 is set to be smaller than the beam diameter of the activation light from the collimator lens 14 in the longitudinal direction (Z direction), for example.
  • the slit 16 is disposed at the rear focal position of the lens 63.
  • the lens 63 condenses the activation light that has passed through the opening 16a of the slit 16 in the illumination area.
  • the 1st illumination optical system 11 may shape
  • FIG. 13A is a perspective view showing a first illumination optical system 11 of a fifth modification
  • FIG. 13B is a diagram showing an optical path of the first illumination optical system 11 of the fifth modification.
  • the first illumination optical system 11 includes a collimator lens 14, a triangular prism 64 whose apex angle on the optical axis AX1 is an obtuse angle, and a lens group 65 on the light emitting side of the optical fiber 13.
  • the triangular prism 64 has an axially symmetric shape with respect to the optical axis AX1 of the first illumination optical system 11.
  • the triangular prism 64 condenses the activation light at two positions at the position of the pupil plane of the lens group 65 (lens 65a and 65b).
  • the first illumination optical system 11 irradiates the sample S with sheet light that is a Bessel beam in the Z direction as activation light.
  • a 1st illumination optical system 11 can take long focal depth, and can reduce the thickness of an illumination area
  • FIG. 14A is a perspective view showing a first illumination optical system 11 of a sixth modification
  • FIG. 14B is a diagram showing an optical path of the first illumination optical system 11 of the sixth modification.
  • the first illumination optical system 11 includes a collimator lens 14, a slit 16, and a lens 66 on the light emission side of the optical fiber 13.
  • each of the opening 16a and the opening 16b of the slit 16 is a through hole having a circular inner edge and a sufficiently large inner diameter compared to the wavelength.
  • the opening 16a and the opening 16b are separated from the optical axis AX1 of the first illumination optical system 11, and are provided symmetrically with respect to the optical axis AX1.
  • Such a first illumination optical system 11 can form sheet light as a Bessel beam in the Z direction without using the triangular prism 64 described above.
  • FIG. 15A is a perspective view showing the first illumination optical system 11 of the seventh modified example
  • FIG. 15B is a diagram showing the optical path of the first illumination optical system 11 of the seventh modified example.
  • the first illumination optical system 11 includes a collimator lens 14, a mirror 67, and a lens 63 on the light emission side of the optical fiber 13.
  • the mirror 67 is disposed in the optical path between the collimator lens 14 and the lens 63.
  • the mirror 67 is provided to be rotatable around an axis parallel to the Z direction.
  • the mirror 67 is driven by the mirror driving unit 68 and rotates.
  • the mirror 67 and the mirror drive unit 68 are, for example, a galvanometer mirror, a MEMS mirror, or the like.
  • the control unit 7 can control the rotational position of the mirror 67 by controlling the mirror driving unit 68.
  • the activation light collimated by the collimator lens 14 is reflected by the mirror 67, deflected in the Y direction according to the rotational position of the mirror 67, and condensed by the lens 63.
  • the activation illumination unit 3 may irradiate the activation light by scanning the sample S in the Y direction with the activation light (linear activation light) collected in the YZ plane.
  • FIG. 16A is a perspective view showing the first illumination optical system 11 of the eighth modification
  • FIG. 16B is a diagram showing the optical path of the first illumination optical system 11 of the eighth modification.
  • the first illumination optical system 11 includes a collimator lens 14, a condenser lens 15, a pinhole 61, a collimator lens 62, a mirror 67, and a lens 63 on the light emission side of the optical fiber 13.
  • the condensing lens 15 condenses the activation light collimated by the collimator lens 14 toward the opening of the pinhole 61.
  • the collimator lens 62 collimates the activation light from the pinhole 61.
  • the mirror 67 deflects the activation light collimated by the collimator lens 62.
  • the lens 63 condenses the activation light reflected by the mirror 67 in the illumination area.
  • the first illumination optical system 11 may scan the sample S with the activation light (linear activation light) condensed in the YZ plane by beam forming with the pinhole 61.
  • FIG. 17A is a perspective view showing a first illumination optical system 11 of a ninth modification
  • FIG. 17B is a diagram showing an optical path of the first illumination optical system 11 of the first modification.
  • the first illumination optical system 11 includes a collimator lens 14, an axicon lens 69, a lens group 65, and a mirror 67 on the light emission side of the optical fiber 13.
  • the axicon lens 69 and the lens group 65 shape the activation light collimated by the collimator lens 14 into a Bessel beam.
  • the mirror 67 is disposed on the pupil plane of the lens group 65 and deflects the activation light passing through the lens group 65 in the Y direction.
  • the first illumination optical system 11 may scan the sample S with the activation light formed into a Bessel beam using the axicon lens 69.
  • FIG. 18A is a perspective view showing the first illumination optical system 11 of the tenth modification
  • FIG. 18B is a diagram showing the optical path of the first illumination optical system 11 of the first modification.
  • the first illumination optical system 11 includes a collimator lens 14, a slit 16, a lens group 65, and a mirror 67 on the light emission side of the optical fiber 13.
  • the opening 16a of the slit 16 of this modification has an annular shape (annular shape) around the optical axis AX1 of the first illumination optical system 11.
  • the slit 16 and the lens group 65 shape the activation light collimated by the collimator lens 14 into a Bessel beam.
  • the mirror 67 is disposed on the pupil plane of the lens group 65 and deflects the activation light passing through the lens group 65.
  • the first illumination optical system 11 may scan the sample S with the activation light shaped into the Bessel beam using the slit 16.
  • FIG. 19 is a diagram showing an activated illumination unit 3 according to an eleventh modification.
  • the activation illumination unit 3 of this modification includes an optical path adjustment unit 70 that changes the optical path of the activation light in the Z direction.
  • FIG. 19A shows a state before the optical path of the activation light is changed
  • FIG. 19B shows a state after the optical path of the activation light is changed.
  • the optical path adjusting unit 70 includes, for example, a parallel plate 71 through which the activation light is transmitted and a drive unit 72 that drives the parallel plate 71.
  • the parallel plate 71 is disposed at a position where the activation light is collimated in the optical path in the first illumination optical system 11.
  • the parallel plate 71 is disposed in the optical path between the lens groups 17.
  • the driving unit 72 rotationally drives the parallel plate 71 around an axis parallel to the Y direction to change the angle (tilt angle) of the parallel plate 71 with respect to the Z direction.
  • the control unit 7 controls the angle of the parallel plate 71 with respect to the Z direction by controlling the driving unit 72.
  • FIG. 19B when the parallel plate 71 is inclined, the activation light is refracted at each of the incident side interface and the emission side interface of the parallel plate 71, and the optical path of the activation light is in the Z direction. shift.
  • the shift amount of the optical path of the activation light is determined by the refractive index of the parallel plate 71, the thickness of the parallel plate 71, and the inclination angle of the parallel plate 71.
  • the control unit 7 can control the shift amount of the optical path by controlling the inclination angle of the parallel plate 71.
  • the structured illumination microscope 1 can be used as an immersion type (oil immersion type) microscope with an immersion liquid (for example, oil) disposed between the objective lens 32 and the sample S.
  • an immersion liquid for example, oil
  • the refractive indexes of the immersion liquid and the sample are generally different, the optical distance changes when the stage 2 is moved in the Z direction while the objective lens 32 is fixed. Therefore, the high-contrast region of the structured illumination formed by the excitation illumination unit 4 and the surface on which the objective lens 2 is focused shift in the Z direction, and the illumination region of the activation illumination unit 3 and the Z direction The position is not aligned.
  • control unit 7 controls the driving unit 72 to shift the optical path of the activation light in the Z direction so that the illumination area of the activation illumination unit 3 matches the illumination area of the excitation illumination unit 4. be able to.
  • the activated illumination unit 3 and the deactivated illumination unit 20 may be shifted relative to the excitation illumination unit 4 and the imaging unit 5 in the Z direction.
  • FIG. 20 is a diagram showing an activation illumination unit 3 according to a twelfth modification.
  • the light source unit 30 of the excitation illumination unit 4 also serves as the light source unit 21 of the inactivation illumination unit 20.
  • the inactivating illumination unit 20 includes a mirror 75 that can be inserted into and removed from the optical path between the light source unit 30 and the condenser lens 35.
  • 20A shows a state in which the mirror 75 is retracted from the optical path between the light source unit 30 and the condenser lens 35 (hereinafter referred to as the retracted state)
  • FIG. 20B shows the light source unit 30.
  • a state in which the mirror 75 is inserted in the optical path between the focusing lens 35 and the condenser lens 35 (hereinafter referred to as an inserted state) is shown.
  • the excitation light emitted from the light source unit 30 enters the condenser lens 35 and is irradiated on the sample S through the second illumination optical system 31. (See FIG. 1).
  • the excitation light emitted from the light source unit 30 is reflected by the wavelength selection film of the dichroic mirror 23 and enters the condenser lens 12.
  • the excitation light incident on the condenser lens 12 is irradiated on the sample S as inactivation light through the first illumination optical system 11 (see FIG. 1).
  • the control unit 7 can control the drive unit (not shown) of the mirror 75 to switch between the retracted state and the inserted state of the mirror 75. Note that the amount of excitation light when capturing a modulated image of the sample S is set to be smaller than the amount of inactivation light when the sample S is inactivated, for example.
  • the control unit 7 can also reduce the light emission amount of the light source unit 30 in the retracted state of the mirror 75 than in the inserted state of the mirror 75.
  • FIG. 21 is a diagram showing the structured illumination microscope 1 according to the present embodiment.
  • the structured illumination microscope 1 has a 3D-SIM mode for generating a super-resolution image in the thickness direction (Z direction) of the sample S.
  • the mask 45 has an opening through which the 0th-order diffracted light generated by the diffraction grating 39 passes.
  • the excitation illumination unit 4 is a composite interference fringe in which an interference fringe by ⁇ first-order two beams, an interference fringe by zero-order and + 1st-order two beams, and an interference fringe by zero-order and ⁇ 1st-order two beams are combined. Are formed in the illumination area. In the illumination region, the combined interference fringes periodically change in light intensity in a plane parallel to the XY plane, and also periodically change in light intensity in a plane parallel to the YZ plane.
  • the control unit 7 controls the rotation driving unit 42 to change the direction of the interference fringes into a plurality of (for example, three types), and controls the parallel driving unit 43 for each direction of the interference fringes to control the interference fringes.
  • the imaging unit 5 is caused to capture a modulated image in each phase while changing the phase to a plurality (for example, five types).
  • the demodulator 6 uses a plurality (15 in the above example) of modulated images to separate five types of modulation components and generates a super-resolution image.
  • the demodulation operation includes "Super-Resolution-Video-Microscopy-of Live-Cells-By Structured-Illumination", Peter-Kner, Bryant-B.-Chhun,-Eric-R.-Griffis,-Lukman-Winoto,-and-Mats-G.
  • the method described in NO.5, pp.339-342, (2009) can be used, but is not limited to this method.
  • the structured illumination microscope 1 can execute the 2D-SIM mode described in the first embodiment by enabling the opening through which the 0th-order diffracted light passes in the mask 45 to be opened and closed.
  • the structured illumination microscope 1 can switch between a 2D-SIM mode and a 3D-SIM mode according to a user instruction.
  • the 2D-SIM mode is selected, for example, when the thickness of the illumination area of the activation illumination unit 3 is equal to or less than a threshold value (eg, 1 ⁇ m or less).
  • a threshold value eg, 1 ⁇ m or less.
  • the 3D-SIM mode is selected, for example, when the thickness of the illumination area of the activation illumination unit 3 exceeds a threshold value.
  • DESCRIPTION OF SYMBOLS 1 ... Structured illumination microscope, 2 ... Stage, 3 ... Activated illumination part, DESCRIPTION OF SYMBOLS 4 ... Excitation illumination part, 5 ... Imaging part, 6 ... Demodulation part, 7 ... Control part S ... Sample, 10 ... Light source part, 11 ... 1st illumination optical system DESCRIPTION OF SYMBOLS 20 ... Deactivation illumination part, 21 ... Light source part, 30 ... Light source part 31 ... 2nd illumination optical system, 55 ... Imaging optical system

Abstract

【課題】結像光学系の焦点深度を超える厚みの試料に対して超解像画像を生成できる構造化照明顕微鏡を提供する。 【解決手段】構造化照明顕微鏡(1)は、試料(S)に含まれた蛍光物質を活性化するための活性化光を、試料に第1方向(X方向)から照射する第1照明光学系(11)と、第1方向と異なる第2方向(Z方向)から、蛍光物質を励起するための励起光を、干渉縞で試料に照射する第2照明光学系(31)と、干渉縞の方向および位相を制御する制御部(7)と、干渉縞が照射された試料の像を形成する結像光学系(55)と、結像光学系が形成した像を撮像して第1画像を生成する撮像素子(56)と、撮像素子により生成された複数の第1画像を用いて、第2画像を生成する復調部(6)と、を備える。

Description

構造化照明顕微鏡、観察方法、及び制御プログラム
 本発明は、構造化照明顕微鏡、観察方法、及び制御プログラムに関する。
 顕微鏡装置において、光学系の分解能を越えた観察を可能とする超解像顕微鏡がある。この超解像顕微鏡の一形態として、構造化照明により標本を照明して変調画像を取得し、その変調画像を復調することにより、標本の超解像画像を生成する構造化照明顕微鏡(SIM:Structured Illumination Microscopy)が知られている(例えば、特許文献1を参照)。この手法においては、光源から射出された光束を回折格子等により複数の光束に分岐し、それらの光束を標本の近傍で互いに干渉させることで形成された干渉縞で標本を照明することにより、標本の変調画像を取得している。
米国再発行特許発明第38307号明細書
 ところで、構造化照明顕微鏡において撮像された変調像には、焦点深度内の領域からの光(信号)および焦点深度外の領域からの光が含まれている。焦点深度外の領域のからの光による画像成分が持つ構造化照明のコントラストは低いので、試料の厚みが結像光学系の焦点深度を超えて厚くなるほど、撮影画像中における構造化照明のコントラストが減少し、例えば撮像素子のデバイス特性によっては、復調に使われる信号のレベルを確保することが難しくなる。本発明は、上記の事情に鑑みなされたものであり、結像光学系の焦点深度を超える厚みの試料に対して超解像画像を生成できる構造化照明顕微鏡、観察方法、及び制御プログラムを提供することを目的とする。
 本発明の第1の態様に従えば、試料に含まれた蛍光物質を活性化するための活性化光を、試料に第1方向から照射する第1照明光学系と、第1方向と異なる第2方向から、蛍光物質を励起するための励起光を試料に照射し、励起光の干渉縞で試料を照明する第2照明光学系と、干渉縞の方向および位相を制御する制御部と、干渉縞が照射された試料の像を形成する結像光学系と、結像光学系が形成した像を撮像して第1画像を生成する撮像素子と、撮像素子により生成された複数の第1画像を用いて、第2画像を生成する復調部と、を備えることを特徴とする構造化照明顕微鏡が提供される。
 本発明の第2の態様に従えば、試料に含まれた蛍光物質を活性化するための活性化光を、試料に第1方向から照射することと、第1方向と異なる第2方向から、蛍光物質を励起するための励起光を、干渉縞で試料に照射することと、干渉縞の方向および位相を制御することと、干渉縞が照射された試料の像を形成することと、像を撮像して第1画像を生成することと、撮像により生成された複数の第1画像を用いて、第2画像を生成することと、を含むことを特徴とする観察方法が提供される。
 本発明の第3の態様に従えば、コンピュータに、試料に含まれた蛍光物質を活性化するための活性化光を、試料に第1方向から照射することと、第1方向と異なる第2方向から、蛍光物質を励起するための励起光を、干渉縞で試料に照射することと、干渉縞の方向および位相を制御することと、干渉縞が照射された試料の像を形成することと、像を撮像して第1画像を生成することと、撮像により生成された複数の第1画像を用いて、第2画像を生成することと、を実行させることを特徴とする制御プログラムが提供される。
 本発明によれば、結像光学系の焦点深度を超える厚みの試料に対して超解像画像を生成できる構造化照明顕微鏡、観察方法、及び制御プログラムを提供することができる。
第1実施形態に係る構造化顕微鏡を示す図である。 マスクの例を示す図である。 第2照明光学系における回折光の偏光状態を示す図である。 瞳面における集光領域の位置および偏光状態を示す図である。 活性化照明部からの活性化光および励起照明部の照明領域を示す図である。 構造化照明顕微鏡の動作の一例を示すフローチャートである。 蛍光色素の活性化のレベルを検出する処理を示すフローチャートである。 蛍光色素の不活性化のレベルを検出する処理を示すフローチャートである。 活性化照明部の第1変形例を示す図である。 活性化照明部の第2変形例を示す図である。 活性化照明部の第3変形例を示す図である。 活性化照明部の第4変形例を示す図である。 活性化照明部の第5変形例を示す図である。 活性化照明部の第6変形例を示す図である。 活性化照明部の第7変形例を示す図である。 活性化照明部の第8変形例を示す図である。 活性化照明部の第9変形例を示す図である。 活性化照明部の第10変形例を示す図である。 活性化照明部の第11変形例を示す図である。 不活性化照明部の変形例を示す図である。 第2実施形態に係る構造化顕微鏡を示す図である。
[第1実施形態]
 図1は、本実施形態に係る構造化照明顕微鏡1(観察システム)を示す図である。構造化照明顕微鏡1は、蛍光色素(蛍光物質)で染色された試料Sの観察に使われる。試料Sは、例えば、平行平板状のガラス表面に配置された蛍光性の細胞(蛍光色素で染色された細胞)や、シャーレ内に存在する蛍光性の生体細胞(蛍光色素で染色された動く細胞)などの細胞である。
 試料Sに含まれる蛍光色素は、活性化光を受けて活性化され、活性化状態で励起光を受けて蛍光を発する。また、この蛍光色素は、活性化された状態で不活性化光を受けると、蛍光を発して不活性化状態になる。不活性化光の波長は、例えば励起光の波長と同じでよい。このような蛍光色素としては、例えば、2種類のシアニン染料を結合させた染料対(例、Cy3-Cy5染料対、Cy2-Cy5染料対、Cy3-Alexa647染料対など)がある。例えばCy3-Cy5染料対ではCy3がCy5を活性化させる部位となっており、532nmの緑色光を照射することでCy5が活性化される。また、Cy5の吸収波長に対応する640nmの赤色光を照射すると、Cy5が蛍光を放って不活性化する。
 構造化照明顕微鏡1は、試料Sの厚さ方向の一部の二次元的な超解像画像を生成する2D-SIMモードを有する。構造化照明顕微鏡1は、ステージ2、活性化照明部3、励起照明部4、撮像部5、復調部6、及び制御部7を備える。構造化照明顕微鏡1は、概略すると以下のように動作する。ステージ2は、試料Sを保持する。活性化照明部3は、試料Sにシート状の活性化光を照射する。活性化照明部3は、試料Sの厚み方向の一部を選択的に活性化し、試料Sの他の部分を不活性な状態に維持する。励起照明部4は、励起光で干渉縞を形成する。励起照明部4は、活性化照明部3の光照射方向に垂直な方向から、試料Sのうち活性化された部分を干渉縞で照明する。撮像部5は、干渉縞で変調された試料Sの変調像を撮像する。復調部6は、撮像部5が撮像した変調像を復調し、試料Sの像(超解像画像)を生成する。制御部7は、構造化照明顕微鏡1の各部を制御し、各種処理を実行させる。
 次に、構造化照明顕微鏡1の各部について説明する。以下の説明において、活性化照明部3が試料に光を照射する第1方向(光照射方向)をX方向とする。また、励起照明部4が試料Sに光を照射する第2方向(光照射方向)をZ方向とする。また、X方向およびZ方向のそれぞれに垂直な第3方向をY方向とする。X方向およびY方向は、例えば水平方向に設定され、Z方向は、例えば鉛直方向に設定される。なお、各方向に+または-を付して、適宜、方向および向きを表す。
 ステージ2は、その上面に試料Sを載置可能である。ステージ2は、上面に試料Sが載置された状態で、上面をZ方向に移動可能である。ステージ2は、制御部7に制御され、上面のZ方向の位置を調整可能である。制御部7は、ステージ2を制御することで、上面に配置されている試料SのZ方向の位置(高さ)を制御できる。なお、ステージ2は、X方向とY方向の少なくとも1方向に試料Sを移動可能であってもよいし、Z方向に試料Sを移動しなくてもよい。
 活性化照明部3は、光源部10、及び第1照明光学系11を備える。光源部10は、制御部7に制御され、活性化光を発する。活性化光は、所定の蛍光物質(蛍光色素)を活性化する第1波長帯の光を含む。光源部10は、例えばレーザーダイオード(LD)を含むが、発光ダイオード(LED)を含んでいてもよい。光源部10は、活性化光としてコヒーレント光とインコヒーレント光のいずれを発してもよい。光源部10は、活性化光として直線偏光、楕円偏光、無偏光のいずれを発してもよい。なお、構造化照明顕微鏡1は、光源部10を備えていなくてもよい。例えば、光源部10は、構造化照明顕微鏡1に交換可能(取り外し可能)に設けられ、構造化照明顕微鏡1の外部の装置であってもよい。
 第1照明光学系11は、光源部10からの活性化光を試料Sへ導く。本実施形態において、活性化照明部3の光照射方向がX方向となるように、第1照明光学系11の光軸AX1が設定されている。第1照明光学系11は、光源部10の光出射側に、集光レンズ12、光ファイバ13、コリメータレンズ14、シリンドリカルレンズ15、スリット16、及びレンズ群17を備える。
 集光レンズ12は、光源部10からの活性化光を、光ファイバ13の入射端面に収まるように集光する。光ファイバ13は、入射端面に入射した光を出射端面に導く導光部材である。コリメータレンズ14は、光ファイバ13の出射端面から出射した活性化光を平行化する。シリンドリカルレンズ15は、XZ平面における屈折力(パワー)がXY平面における屈折力よりも強い光学部材である。コリメータレンズ14およびシリンドリカルレンズ15は、試料S(活性化照明部3の照明領域)における活性化光の断面形状を、Y方向とZ方向のうちZ方向を短手方向とする形状に成形する。
 スリット16は、視野絞り(絞り部材)であり、活性化照明部3の照明領域と光学的に共役な位置に配置されている。スリット16は、光源部10からの活性化光の少なくとも一部が通る開口部を有する。開口部の形状は、Z方向の寸法がY方向の寸法よりも短い形状に設定され、例えばZ方向に平行な短辺を有する矩形状である。スリット16の開口率は、固定値であってもよいし、可変値であってもよい。例えば、スリット16の開口部の形状と寸法の少なくとも一方は、可変であってもよい。例えば、スリット16の開口部は、Y方向とZ方向の少なくとも一方において内寸が可変なものであってもよい。
 レンズ群17は、例えば投影光学系であり、スリット16の開口部の像を活性化照明部3の照明領域に投影する。スリット16の開口部を通った活性化光は、レンズ群17を介して試料Sに照射される。第1照明光学系11の光出射側(例、レンズ群17)の開口数(NA)を小さくしておくことで、第1照明光学系11から出射する際の活性化光の広がり角を小さくすることができる。その結果、試料Sにおいて活性化光の厚み(光路のZ方向の幅)の変化を減らすことができる。
 このように、活性化照明部3は、試料SのうちZ方向の一部に活性化光を照射し、試料Sのうちシート状の部分を選択的に活性化できる。活性化されたシート状の部分を、以下の説明において活性化層という。
 本実施形態において、構造化照明顕微鏡1は、不活性化照明部20を備える。不活性化照明部20は、活性化光により活性化された蛍光色素を不活性化する不活性化光を、試料Sに照射する。不活性化照明部20は、光源部21、ミラー22、ダイクロイックミラー23、及び第1照明光学系11を備える。光源部21は、所定の蛍光色素を活性化された状態から不活性な状態へ遷移させる第2波長帯の光を含む不活性化光を発する。
 光源部21から出射した不活性化光は、ミラー22で反射し、ダイクロイックミラー23に入射する。ミラー22およびダイクロイックミラー23は、光源部21から出射した不活性化光を第1照明光学系11へ導く導光部である。ダイクロイックミラー23は、光源部10と集光レンズ12との間の光路に配置されている。ダイクロイックミラー23は、その内部に波長選択膜を有する。この波長選択膜は、光源部10からの活性化光が透過し、光源部21からの不活性化光が反射する特性を有する。ダイクロイックミラー23に入射した不活性化光は、波長選択膜で反射し、光源部10からの活性化光とほぼ同じ光路を通って、第1照明光学系11に入射する。第1照明光学系11に入射した不活性化光は、活性化光と同様に、シート状に成形されて試料Sに照射される。なお、構造化照明顕微鏡1は、光源部21を備えていなくてもよい。例えば、光源部21は、構造化照明顕微鏡1に交換可能(取り外し可能)に設けられ、構造化照明顕微鏡1の外部の装置であってもよい。
 本実施形態において、不活性化照明部20が不活性化光を照射する範囲(以下、不活性化照明部20の照明領域という)は、活性化照明部3が活性化光を照射する範囲(以下、活性化照明部3の照領域という)とほぼ一致する。不活性化照明部20の照明領域は、活性化照明部3の照明領域よりも広域に設定されていてもよい。例えば、第1照明光学系11のスリット16の開口部が可変である場合、スリット16の開口幅(例、Z方向の内径)は、第1照明光学系11を不活性化光が通る際に、第1照明光学系11を活性化光が通る際よりも大きく設定されてもよい。この場合、試料Sにおいて活性化された部分に不活性化されない部分が残ることを抑制できる。なお、制御部7は、スリット16の開口部を駆動する駆動部(図示せず)を制御し、スリット16の開口率を制御してもよい。
 励起照明部4は、励起光で形成される干渉縞で試料を照明する。励起照明部4は、光源部30、及び第2照明光学系31を備える。光源部30は、制御部7に制御され、励起光を発する。励起光は、所定の蛍光色素を励起する波長帯の光を含み、例えば不活性化光と同じ波長の光を含む。光源部30は、例えばレーザーダイオード(LD)などを含み、励起光としてコヒーレント光を発してもいいし、あるいは、発光ダイオード(LED)などを含み、励起光としてインコヒーレント光を発してもよい。ここでは、光源部30は、活性化光として直線偏光を発する。なお、構造化照明顕微鏡1は、光源部30を備えていなくてもよい。例えば、光源部30は、構造化照明顕微鏡1に交換可能(取り外し可能)に設けられ、構造化照明顕微鏡1の外部の装置であってもよい。
 第2照明光学系31は、対物レンズ32を介して励起光を試料Sに照射し、試料Sを落射照明する。対物レンズ32の光軸(第2照明光学系31の光出射側の光軸)は、Z方向に設定されている。第2照明光学系31の光軸AX2は、対物レンズ32よりも光源部30側においてダイクロイックミラー33により折り曲げられている。第2照明光学系31の光軸AX2は、ダイクロイックミラー33よりも光源部30側の光路において任意に設定され、例えばXY平面と平行な方向に設定される。
 第2照明光学系31は、光源部30の光出射側に、集光レンズ35、光ファイバ36、及びコレクタレンズ37を備える。集光レンズ35は、光源部30からの励起光を、光ファイバ36の入射端面に収まるように集光する。光ファイバ36は、入射端面に入射した光を出射端面に導く導光部材である。光ファイバ36は、例えば、偏波面保存型のシングルモードファイバであり、励起光の偏光状態をほぼ変化させないで、励起光を導く。光ファイバ36から出射する励起光は、例えば、Z方向の直線偏光である。コレクタレンズ37は、光ファイバ36の出射端面から出射した励起光を平行化する。
 第2照明光学系31は、コレクタレンズ37の光出射側に、偏光板38、回折格子39、1/2波長板40、及びレンズ41を備える。本実施形態において、第2照明光学系31の光軸AX2は、コレクタレンズ37からダイクロイックミラー33に至る光路において、X方向と平行に設定されている。偏光板38は、その透過軸に平行な直線偏光を通し、透過軸に垂直な直線偏光を遮断(遮光)する。偏光板38は、例えば、その透過軸がZ方向と平行に設定され、励起光のうち偏光状態が乱れた成分や、偏光板38よりも光源部30側からの迷光などを遮断する。
 回折格子39は、光源部30からの励起光を分岐する分岐部である。回折格子39は、励起光を回折により、複数の光束に分岐する。本実施形態において、第2照明光学系31は、回折格子39で発生する+1次回折光と-1次回折光との2光束干渉により、標本中で干渉縞を生成する。図1には、0次回折光を実線で示し、+1次回折光を鎖線、-1次回折光を2点鎖線で示した。
 回折格子39は、例えば1次元の周期構造を持つものである。この周期構造は、濃度(透過率)が周期的に変化する構造であってもよいし、段差(位相差)が周期的に変化する構造であってもよい。回折格子39が位相型である場合、±1次回折光の回折効率が高く、干渉縞の形成に±1次回折光を用いる場合に光のロスをへらすことができる。なお、試料Sに形成される干渉縞の周期は、撮像部5の結像光学系55(後述する)の解像限界よりわずかに小さい周期とするとよい。干渉縞の空間変調周波数を結像光学系55で形成できる限界にできるだけ近づけることで、復調処理により得られる試料像の解像度をより高めることができる。
 ところで、2D-SIMにおいて1枚の試料の像を取得する場合、復調処理における演算(復調演算)に、例えば、9枚の変調像が使われる。そのため、2D-SIMにおいては、干渉縞の向きを3通りに変化させ、かつ干渉縞の各向きに対して干渉縞の位相を3通りに変化させて、干渉縞の向きと位相との組み合わせが異なる9通りの各状態で変調像を撮像する。
 本実施形態に係る構造化照明顕微鏡1は、試料Sのうち活性化層の像を取得する際の復調演算に9枚の変調像を用いる(後述する)。干渉縞の向きは、干渉縞において光強度が周期的に変化する方向(光強度がほぼ変化しない方向の直交方向)に相当する。干渉縞の向きは、例えば、回折格子39を第2照明光学系31の光軸AX2の周りで回転(回動)させることで、変更可能である。また、干渉縞の位相は、干渉縞における明部の位置、暗部の位置に相当する。干渉縞の位相は、例えば、回折格子39を第2照明光学系31の光軸AX2に交差する方向に移動することで、変更可能である。
 本実施形態において、第2照明光学系31は、回折格子39を光軸AX2の周りで回転させる回転駆動部42を備える。回転駆動部42は、例えば電動モータなどのアクチュエータを含む。回転駆動部42は、制御部7によって制御され、回折格子39を回転させる。制御部7は、回転駆動部42を制御することにより、回折格子39の回転位置を、第1の回転位置と第2の回転位置と第3の回転位置とで切り替える(後に図3に示す)。例えば、第2の回転位置は、第1の回転位置から120°回転した回転位置であり、第3の回転位置は、第2の回転位置から120°(第1の回転位置から240°)回転した回転位置である。
 本実施形態において、第2照明光学系31は、回折格子39を光軸AX2に垂直な方向に駆動する平行駆動部43を備える。平行駆動部43は、例えばピエゾ素子などのアクチュエータを含む。平行駆動部43は、制御部7によって制御され、回折格子39を平行移動させる。制御部7は、平行駆動部43を制御することにより、YZ平面に平行な方向において回折格子39の位置を制御する。制御部7は、例えば、回折格子39の位置を変更するたびに、干渉縞の位相が所定量だけ変化するように、平行駆動部43を制御する。この所定量は、例えば、干渉縞の周期の約1/3(例、2π/3の位相)に設定される。
 1/2波長板40は、試料Sに入射する際の励起光の偏光状態がS偏光になるように、回折格子39からの励起光の偏光状態を調整する(後に図3および図4に示す)。レンズ41は、1/2波長板40からの励起光を瞳共役面44に集光する。励起光は、レンズ41によって、回折光の次数の応じた位置に集光される。例えば、励起光のうち0次回折光は、瞳共役面44上の光軸AX2に向かって集光される。励起光のうち+1次回折光は、瞳共役面44上の光軸AX2からずれた位置に向かって集光される。励起光のうち-1次回折光は、瞳共役面44上の光軸AX2に対して、+1次回折光の集光位置と対称的な位置に向かって集光される。
 第2照明光学系31は、レンズ41の光出射側に、マスク45、レンズ46、視野絞り47、レンズ48、励起フィルタ49、ダイクロイックミラー33、及び対物レンズ32を備える。
 マスク45(光束選択部)は、回折格子39からの複数の回折光のうち、干渉縞の形成に使われる次数の回折光を通し、干渉縞の形成に使われない次数の回折光を遮断する。本実施形態において、干渉縞の形成に使われる回折光は±1次であり、マスク45は、±1次回折光を通すとともに、0次回折光およびその他の回折光を遮断する。マスク45は、例えば、瞳共役面44(開口絞りの位置)に配置される。マスク45は、0次回折光の光路、+1次回折光の光路、及び-1次回折光の光路がいずれも重ならない位置に配置されていればよく、例えば瞳共役面44の近傍に配置されていてもよい。
 図2(A)は、マスク45の一例を示す図である。マスク45において光軸AX2を含む部分は、0次回折光が入射する部分であり、遮光部になっている。マスク45は、第2照明光学系31の光軸AX2から離れて配置された複数の開口部45a~開口部45fを有する。開口部45a~開口部45dは、光軸AX2の周りに60°おきに配置されている。開口部45a、開口部45dは、それぞれ、回折格子39が第1の回転位置に配置されている場合の+1次回折光L1、-1次回折光L2が通る位置に配置されている。開口部45c、開口部45fは、それぞれ、回折格子39が第2の回転位置に配置されている場合の+1次回折光、-1次回折光が通る位置に配置されている。開口部45b、開口部45eは、それぞれ、回折格子39が第3の回転位置に配置されている場合の+1次回折光、-1次回折光が通る位置に配置されている。開口部45a~開口部45fの内寸は、それぞれ、干渉縞の形成に使われる光束が通過する有効径を確保するように設定される。
 図2(B)は、マスク45の他の例を示す図である。このマスク45は、光軸AX2およびその周囲が円盤状の遮光部50になっている。マスク45は、環状の外縁部51を有し、遮光部50は帯状の支持部52によって外縁部51に支持されている。支持部52は、回折格子39が第1~第3の回転位置のいずれに配置されている場合においても±1次回折光が通らない位置に、配置されている。
 レンズ46は、マスク45からの励起光(±1次回折光)を、回折格子39の各位置で発生した回折光ごとに同じ位置に集光する。また、レンズ41およびレンズ46は、回折格子39の像を形成する。視野絞り47は、回折格子39と光学的に共役な位置に配置されている。視野絞り47は、励起光が通る開口部を有し、開口部の形状および寸法によって、第2照明光学系31の照明領域を規定する。
 励起フィルタ49は、レンズ46からの光のうち励起波長以外の光の少なくとも一部を遮断する。例えば、励起フィルタ49は、励起フィルタ49よりも光源部30側からの迷光をカットする。ダイクロイックミラー33は、光源部30からの励起光が反射し、試料Sからの蛍光が透過する特性を有する。ダイクロイックミラー33は、例えば、X方向と約45°の角度で傾斜して設けられる。励起フィルタ49からの励起光は、ダイクロイックミラー33で反射して光路が約90°折れ曲がり、+Z方向に進行して対物レンズ32に入射する。対物レンズ32は、視野絞り47と光学的に共役な位置に回折格子39の像を形成する。
 ここで、回折格子39の回転位置による励起光の光路および偏光状態について説明する。図3は、回折格子39の各回転位置における励起光の光路および偏光状態を示す図である。図4は、回折格子39の各回転位置において、対物レンズ32の瞳面32aにおける集光領域と励起光の偏光状態を示す図である。図3および図4において、丸枠の矢印は、励起光の偏光状態を示す。
 符号Q1は、回折格子39が第1の回転位置に配置された状態を示す。第1の回転位置は、任意に設定されるが、例えば、回折格子39の周期方向D1がZ方向と平行になる回転位置とする。偏光板38の透過軸38aは、例えば、Z方向と平行に設定され、偏光板38を通った励起光の偏光状態Q1aは、Z方向の直線偏光である。回折格子39で発生した+1次回折光L1と-1次回折光L2は、回折格子39の周期方向D1に互いに離れるように、分岐する。回折格子39と1/2波長板40との間の光路において、各回折光の偏光状態Q1bは、例えばZ方向の直線偏光である。状態Q1において、1/2波長板40の進相軸40aは、例えばY方向と-45°の角度をなす方向に設定される。1/2波長板40を通った各回折光のうち0次回折光は、マスク45に遮られ、試料Sへ向かう光路から除かれる。マスク45を通った+1次回折光L1および-1次回折光L2の偏光状態Q1cは、それぞれ、回折格子39の周期方向D1に直交する方向(Y方向)の直線偏光である。
 図4の状態Q1に示すように、+1次回折光L1および-1次回折光L2は、それぞれ、対物レンズ32の瞳面32a上の集光領域に集光される。ここで、光軸AX2の周りの回転位置θを、X方向と平行な径方向の回転位置を0°とし、-Z方向から見た場合に時計回りを正とする角度で表す。+1次回折光L1の集光領域は、θ=0°の回転位置に配置され、-1次回折光L2の集光領域は、θ=180°の回転位置に配置される。+1次回折光L1の集光領域と-1次回折光L2の集光領域とを結ぶ方向D4は、X方向に平行であり、試料Sに対する±1次回折光の入射面は、光軸AX2を含み方向D4に平行な面(XZ面)である。±1次回折光は、Y方向の直線偏光になっており、試料Sに対するS偏光になっている。
 また、図3および図4において符号Q2は、回折格子39が第2の回転位置に配置された状態を示す。状態Q2において、回折格子39の周期方向D2とZ方向との角度は、例えば120°である。偏光板38を通った励起光の偏光状態Q2aは、例えばZ方向の直線偏光である。回折格子39で発生した+1次回折光L1と-1次回折光L2は、回折格子39の周期方向D2に互いに離れるように、分岐する。回折格子39と1/2波長板40との間の光路において、各回折光の偏光状態Q2bは、例えばZ方向の直線偏光である。状態Q2において、1/2波長板40の進相軸40aは、例えばY方向と15°の角度をなす方向に設定される。1/2波長板40を通った各回折光のうち0次回折光は、マスク45に遮られ、試料Sへ向かう光路から除かれる。マスク45を通った+1次回折光L1および-1次回折光L2の偏光状態Q2cは、それぞれ、回折格子39の周期方向D2と直交する方向の直線偏光である。
 図4の状態Q2に示すように、+1次回折光L1および-1次回折光L2は、それぞれ、対物レンズ32の瞳面32a上の集光領域に集光される。+1次回折光L1の集光領域は、θ=120°の回転位置に配置され、-1次回折光L2の集光領域は、θ=300°の回転位置に配置される。+1次回折光L1の集光領域と-1次回折光L2の集光領域とを結ぶ方向D5は、+X方向から時計回りを正として120°の角度の方向である。試料Sに対する±1次回折光の入射面は、光軸AX2を含み方向D5に平行な面である。±1次回折光は、方向D5に直交する方向の直線偏光になっており、試料Sに対するS偏光になっている。
 また、図3および図4において符号Q3は、回折格子39が第3の回転位置に配置された状態を示す。状態Q3において、回折格子39の周期方向D3とZ方向との角度は、例えば240°である。偏光板38を通った励起光の偏光状態Q3aは、例えばZ方向の直線偏光である。回折格子39で発生した+1次回折光L1と-1次回折光L2は、回折格子39の周期方向D3に互いに離れるように、分岐する。回折格子39と1/2波長板40との間の光路において、各回折光の偏光状態Q3bは、例えばZ方向の直線偏光である。状態Q3において、1/2波長板40の進相軸40aは、例えばY方向と75°の角度をなす方向に設定される。1/2波長板40を通った各回折光のうち0次回折光は、マスク45に遮られ、試料Sへ向かう光路から除かれる。マスク45を通った+1次回折光L1および-1次回折光L2の偏光状態Q3cは、それぞれ、回折格子39の周期方向D3と直交する方向の直線偏光である。
 図4の状態Q3に示すように、+1次回折光L1および-1次回折光L2は、それぞれ、対物レンズ32の瞳面32a上の集光領域に集光される。+1次回折光L1の集光領域は、θ=240°の回転位置に配置され、-1次回折光L2の集光領域は、θ=60°の回転位置に配置される。+1次回折光L1の集光領域と-1次回折光L2の集光領域とを結ぶ方向D6は、+X方向から時計回りを正として240°の角度の方向である。試料Sに対する±1次回折光の入射面は、光軸AX2を含み方向D6に平行な面である。±1次回折光は、方向D6に直交する方向の直線偏光になっており、試料Sに対するS偏光になっている。
 なお、回折格子39の回転位置に応じて±1次回折光の偏光状態を調整するには、1/2波長板40を回転させてもよい。例えば、制御部7は、回転駆動部42を制御して回折格子39を120°回転させる際に、1/2波長板40を60°回転させてもよい。また、図2(A)に示したマスク45において、回折格子39の回転位置に応じて±1次回折光が通る開口部ごとに、1/2波長板40を固定しておいてもよい。この場合、開口部の位置に応じて、開口部ごとに1/2波長板40の進相軸の方向を設定すればよい。
 以上のようにして、図1に示した励起照明部4は、試料Sの活性化層に設定される照明領域に、±1次回折光による干渉縞を形成し、試料Sの活性化層において活性化された蛍光物質は、励起光によって蛍光を発する。この蛍光により、試料Sの蛍光密度分布を干渉縞で変調した変調像が得られる。
 撮像部5は、試料Sが干渉縞で変調された変調像を撮像する。撮像部5は、結像光学系55、及び撮像素子56を備える。結像光学系55は、対物レンズ32、ダイクロイックミラー33、バリアフィルタ57、及びレンズ58を備える。
 試料Sからの蛍光は、対物レンズ32を通って平行光に変換されたのち、ダイクロイックミラー33を透過して、バリアフィルタ57に入射する。バリアフィルタ57は、試料Sからの蛍光の波長以外の波長帯の光の少なくとも一部を遮断する。レンズ58は、対物レンズ32とともに試料S(励起照明部4の照明領域)を物体面とする像面を形成する。すなわち、対物レンズ32およびレンズ58は、試料Sの変調像を形成する。結像光学系55の焦点位置は、例えば、Z方向において活性化照明部3の照明領域内に設定される。
 撮像素子56は、例えば、CCDセンサやCMOSセンサなどのイメージセンサを含む。撮像素子56は、複数の画素が配列される受光面を有する。受光面は、結像光学系55の像面(試料Sと光学的に共役な面)に配置されている。受光面において、各画素にフォトダイオードなどの光電変換部が配置されており、撮像素子56は、試料Sからの蛍光を光電変換部により電荷に変換し、試料Sからの蛍光を検出する。
 このようにして、撮像部5は、変調像を撮像し、その撮像結果(以下、変調画像という)を復調部6に供給する。復調部6は、変調像の撮像結果を使って復調処理を実行し、試料Sの像を生成する。復調部6は、干渉縞の向きおよび方向が互いに異なる状態で撮像された、複数の変調像を用いて、復元画像を生成することができる。復調部6は、例えば、米国特許第8115806号明細書に開示された方法で復調処理を行ってもよいが、この方法に限られない。例えば、米国特許第8115806号明細書に開示された方法で行ってもよい。
 本実施形態において、構造化照明顕微鏡1は、試料Sの厚み方向において観察対象とする部分(以下、観察対象面という)を活性化照明部3の照明領域に保持し、活性化照明部3によって観察対象面を選択的に活性化できる。また、構造化照明顕微鏡1は、試料Sのうち観察対象面以外の厚み部分の少なくとも一部を不活性な状態に保持しながら、励起照明部4によって干渉縞を観察対象面に照射できる。このようにして、構造化照明顕微鏡1は、試料Sのうち観察対象面から選択的に蛍光を発生させ、観察対象面の変調像を撮像部5によって撮像できる。そして、この変調像を復調することによって、結像光学系55の解像限界を超えた超解像画像が得られる。
 本実施形態に係る構造化照明顕微鏡1は、試料Sのうち観察対象面以外の部分における蛍光の発生を抑制できるので、観察対象面からの蛍光に対して背景光を小さく抑えることができる。その結果、構造化照明顕微鏡1は、結像光学系55の焦点深度を超える厚みの試料Sに対して超解像画像を生成する際に、画質の低下を抑制することができる。
 図5は、活性化照明部3からの活性化光L4および励起照明部4の照明領域IRを示す図である。図5には、活性化照明部3の光軸AX1が、励起照明部4の光軸AX2を通るように設定された状態を示した。本実施形態において、活性化照明部3の光軸AX1は、励起照明部4の光軸AX2を通るように固定されている。
 励起照明部4の照明領域IRは、例えば、撮像素子56の受光面と光学的に共役な位置に設定される。活性化照明部3が活性化光L4を照射する範囲は、例えば、照明領域IRを含む範囲に設定される。例えば、活性化照明部3は、XY平面に平行な面において、照明領域IRよりも広い範囲にわたりシート状の活性化光L4を照射する。
 なお、活性化照明部3が活性化光L4を照射する範囲は、Z方向において照明領域IRとずれた位置に設定されていてもよい。この場合、Z方向における試料Sの一部を活性化した後、ステージ2によって試料SをZ方向に移動させて、活性化層を励起照明部4の照明領域IRに配置し、活性化層への励起光の照射および活性化層の変調像の撮像を実行してもよい。また、構造化照明顕微鏡1は、活性化照明部3が活性化光を照射する範囲と、励起照明部4の照明領域IRとの相対位置が可変であってもよい(変形例で説明する)。
 励起照明部4の照明領域IRにおける活性化光L4の厚みBは、例えば1μm以下に設定され、Z方向における試料Sの厚み以下に設定される。活性化光L4の、また、ステージ2のZ方向の位置(高さ)を変更することにより、試料SのうちZ方向の位置が異なる複数の観察対象面のそれぞれの変調像を取得できる。ステージ2のZ方向の位置をステップ的に変化させながら観察を行う場合、Z方向におけるステージ2の位置のステップ量は、例えば活性化光の厚みBと同じ値に設定されていてもよいし、厚みBより大きい値に設定されていてもよく、厚みB未満の値に設定されていてもよい。また、活性化光L4の厚みBは、例えば、結像光学系55の焦点深度以下の範囲に設定してもよい。この場合、試料Sのうち観察対象面以外の部分、からの蛍光が検出されにくい。
 本実施形態において、構造化照明顕微鏡1は、制御装置CONTを備える。制御部7および復調部6は、制御装置CONTに設けられている。制御装置CONTは、例えば、コンピュータシステムを含み、図示しない記憶装置から読み込まれる制御プログラムに従って各種の処理を実行する。この制御プログラムは、例えば、コンピュータに、試料に含まれた蛍光物質を活性化するための活性化光を、試料に第1方向から照射することと、第1方向と異なる第2方向から、蛍光物質を励起するための励起光を、干渉縞で試料に照射することと、干渉縞の方向および位相を制御することと、干渉縞が照射された試料の像を形成することと、像を撮像して第1画像を生成することと、撮像により生成された複数の第1画像を用いて、第2画像を生成することと、を含む処理の制御を実行させる。
 制御装置CONTは、例えば液晶ディスプレイなどの表示装置59が接続され、観察結果を示す画像(例、超解像画像)、構造化照明顕微鏡1の設定を示す画像などを表示装置59に表示させることができる。また、制御装置CONTには、例えばキーボード、マウス、タッチパネルなどの入力装置(図示せず)が接続される。この入力装置は、例えばユーザーから観察条件、構造化照明顕微鏡1の設定、指令などの情報の入力を受け付ける。観察条件は、例えば、試料Sのうち観察対象の部分の位置を含む。構造化照明顕微鏡1の設定は、例えば観察モードの設定を含む。指令は、例えば、観察の開始、中断、再開、終了などを含む。
 次に、上述のような構造化照明顕微鏡1の動作に基づき、試料Sの観察方法について説明する。図6は、構造化照明顕微鏡1の動作を示すフローチャートである。構造化照明顕微鏡1は、ステップS1において試料Sの高さ(Z方向の位置)を設定する。例えば、制御装置CONTの制御部7は、ユーザーから指定された試料Sの観察対象面を、ステージ2を制御することによって、活性化照明部3の照明領域に配置する。
 構造化照明顕微鏡1は、ステップS2において、活性化照明部3から試料Sに活性化光を照射する。例えば、制御部7は、光源部10を制御し、予め定められた光量の活性化光を試料Sに照射させる。光量の設定値は、例えば、照射時間、光源部10の発光強度、光源部10への供給電力などで規定される。光量の設定値は、例えば、試料Sの観察対象面における蛍光色素の活性化を飽和できるレベルに設定される。構造化照明顕微鏡1は、ステップS3において、例えば制御部7が光源部10を制御することにより、活性化照明部3から試料Sへの活性化光の照射を停止する。
 構造化照明顕微鏡1は、ステップS4において、励起照明部4が形成する干渉縞の条件を設定する。干渉縞の条件は、干渉縞の位相と向きの少なくとも一方を含む。例えば、制御部7は、次回の撮像において干渉縞の位相を変更する場合、平行駆動部43を制御して、回折格子39の位置を制御する。また、制御部7は、次回の撮像において干渉縞の向きを変更する場合、回転駆動部42を制御して、回折格子39の回転位置を制御する。なお、ステップS4の処理は、ステップS2の処理と並行して行ってもよいし、ステップS2の処理と重複しない期間に行ってもよい。
 構造化照明顕微鏡1は、ステップS3の処理およびステップS4の処理が終了した後に、ステップS5において励起照明部4から試料Sに励起光を照射する。また、構造化照明顕微鏡1は、ステップS6において、励起光が照射されている試料Sを撮像部5により撮像する。例えば、制御部7は、光源部30を制御して励起照明部4に励起光を照射させ、励起光の照射に対して予め定められたタイミングで撮像部5に試料Sを撮像させる。
 構造化照明顕微鏡1は、ステップS7において、所定数の撮像が完了したか否かを判定する。例えば、制御部7は、復調部6による復調演算に必要とされる変調画像が9枚である場合、これら9枚の変調画像が撮像済であるか否かを判定する。制御部7は、所定数の撮像が完了していないと判定した場合(ステップS7;No)、ステップS2からステップS6の処理を実行させる。制御部7は、所定数の撮像が完了したと判定した場合(ステップS7;Yes)、取得された変調画像を元に、復調部6に復調処理を実行させる(ステップS8)。
 また、制御部7は、ステップS9において、試料Sの深さ方向の観察領域において撮像が完了したか否かを判定する。深さ方向の観察領域は、例えば、ユーザーが指定する観察条件に規定される。例えば、ユーザーは、深さ方向において、観察開始位置と観察終了位置の2か所を指定することにより、観察領域を指定することができる。本実施形態において、制御装置CONTの制御部7は、ユーザーにより指定された観察終了位置に達するまでステージ2を移動させ、観察対象面を変更して変調画像の取得する処理を繰り返すことにより、所定の厚みの部分の超解像画像を生成する。制御部7は、所定の深さ方向の観察領域に対する撮像が完了していないと判定した場合(ステップS9;No)、ステップS10において、試料Sに対して不活性化照明部20から不活性化光を照射させる。制御部7は、例えば、不活性化照明部20から、予め定められた光量の不活性化光が照射された後に、不活性化照明部20による不活性化光の照射を停止させる(ステップS11)。また、構造化照明顕微鏡1は、ステップS11の処理の終了後、ステップS1からステップS8の処理を行って、次の観察対象面の超解像画像を生成する。制御部7は、深さ方向の観察領域の部分に対する撮像が完了したと判定した場合(ステップS9;Yes)、一連の処理を終了する。
 上述した実施例では、1枚の変調画像を撮像する毎に試料Sに活性化光を照射する場合を説明した。励起光を当てると、蛍光物質の一部が不活性化状態になる場合があるので、変調画像を撮像する毎に試料Sに活性化光を照射することにより、励起光により不活性化した蛍光物質を再度活性化して変調画像を撮像することができる。
例えば、干渉縞の方向を3通りに変更し、干渉縞の各方向について干渉縞の位相を3通りに変更する場合においては、構造化照明顕微鏡1は、干渉縞の方向と位相の9通りの組み合わせのそれぞれにおいて変調画像を撮像し、1枚の変調画像を撮像する毎に試料Sに活性化光を照射する。
 なお、構造化照明顕微鏡1は、複数の変調画像を撮像するたびに試料Sに活性化光を照射してもよい。例えば、構造化照明顕微鏡1は、干渉縞の位相を変更しながら3枚の変調画像を撮像する処理に対して、活性化光を照射する処理の回数が1回であってもよい。また、構造化照明顕微鏡1は、干渉縞の方向と位相の組み合わせを9通りに変更し、9枚の変調画像を撮像する処理に対して、活性化光を照射する処理の回数が1回であってもよい。また、構造化照明顕微鏡1は、活性化照明部3により活性化光を試料Sに照射するとともに励起照明部4により励起光を試料Sに照射し、試料Sを撮像部5により撮像してもよい。
 なお、ここでは、1つの試料Sがおける複数の観察対象面を含む場合を説明したが、観察対象面の数は1つでもよい。この場合、試料Sの蛍光色素を不活性化させなくてもよく、不活性化照明部20を省略可能である。また、不活性化照明部20は、活性化照明部3と第1照明光学系11が共通化されているが、第1照明光学系11と別の光路から不活性化光を試料に照射してもよい。不活性化照明部20が照射する不活性化光は、シート状でなくてもよい。また、構造化照明顕微鏡1は、励起照明部4を不活性化照明部20として利用したものでもよい。
 なお、制御部7は、ステップS3において、予め設定された活性化光の光量に基づいて活性化光の照射を停止するが、試料Sにおける蛍光色素の活性化のレベルを検出して、その検出結果に基づいて活性化光の照射を停止してもよい。
 図7は、試料Sにおける蛍光色素の活性化のレベルを検出する処理の一例を示すフローチャートである。制御部7は、ステップS20において、励起照明部4において+1次回折光を遮断する。例えば、図2に示したマスク45の開口部にシャッタを設けておき、制御部7は、シャッタを閉じることによって、+1次回折光が試料Sに照射されないようにする。また、制御部7は、ステップS21において、光源部30を制御することにより励起照明部4から試料Sに-1次回折光を照射させる。この場合、+1次回折光が遮断されているので試料Sに干渉縞が形成されず、励起照明部4は、+1次回折光を遮断しない場合と比較して均一な明るさで試料Sを照明できる。
 制御部7は、例えば、試料Sへの励起光の照射を継続させながら、ステップS22において試料Sからの蛍光を撮像素子56によって検出させる。制御部7は、ステップS23において、撮像素子56の検出値の時間変化量が閾値以下であるか否かを判定する。撮像部5の検出値の時間変化量が閾値以下であることは、試料Sにおける蛍光色素の活性化のレベルがほぼ飽和していることに相当する。制御部7は、撮像素子56の検出値の時間変化量が閾値よりも大きいと判定した場合(ステップS23;No)、ステップS22およびステップS23の処理を繰り返す。制御部7は、撮像素子56の検出値の時間変化量が閾値以下であると判定した場合(ステップS23;Yes)、ステップS3において活性化光の照射を停止させる。このように、制御部7は、蛍光物質の活性化状態が飽和状態となったと判定されるまで、活性化光を照射させる。この場合、構造化照明顕微鏡1は、試料Sにおける蛍光色素の活性化のレベルがほぼ飽和している状態で、試料Sを撮像できる。なお、制御部7は、撮像素子56の検出値が閾値以上の場合、蛍光物質の活性化状態が飽和状態となったと判定し、活性化光の照射を停止させてもよい。
 なお、構造化照明顕微鏡1は、試料Sを干渉縞で照明しながら試料Sにおける蛍光色素の活性化のレベルを検出してもよい。この場合、ステップS20の処理を行わなくてもよい。また、構造化照明顕微鏡1は、試料Sにおける蛍光色素の活性化のレベルが飽和していない状態で、励起光を試料Sに照射して、試料Sの変調像を撮像してもよい。例えば、試料Sにおける蛍光色素の活性化のレベルが飽和していると変調画像の明るさが過剰になる場合がある。また、例えば、試料Sに対する活性化光の照射の影響を減らすため、蛍光色素の活性化のレベルが飽和する前に、活性化光の照射を停止する場合がある。このような場合、ステップS23の判定処理の代わりに、あるいはステップS23の判定処理に加えて、撮像素子56の検出値が閾値以下であるか否かを判定してもよい。
 なお、制御部7は、図6に示したステップS11において、予め設定された不活性化光の光量に基づいて不活性化光の照射を停止するが、試料Sにおける蛍光色素の不活性化のレベルを検出して、その検出結果に基づいて活性化光の照射を停止してもよい。
 図8は、試料Sにおける蛍光色素の不活性化のレベルを検出する処理の一例を示すフローチャートである。制御部7は、ステップS25において、励起照明部4において+1次回折光を遮断する。制御部7は、ステップS26において、励起照明部4から試料Sに-1次回折光を照射させる。ステップS25およびステップS26の処理は、図8に示したステップS20およびステップS21の処理と同様でよい。
 制御部7は、例えば、試料Sへの励起光の照射を継続させながら、ステップS27において試料Sからの蛍光を撮像素子56によって検出させる。制御部7は、ステップS28において、撮像素子56の時間変化量が閾値以下であるか否かを判定する。撮像素子56の検出値の時間変化量が閾値以下であることは、試料Sにおける蛍光色素の不活性化のレベルがほぼ飽和していることに相当する。制御部7は、撮像素子56の検出値の時間変化量が閾値よりも大きいと判定した場合(ステップS28;No)、ステップS27およびステップS28の処理を繰り返す。制御部7は、撮像素子56の検出値の時間変化量が閾値以下であると判定した場合(ステップS28;Yes)、ステップS11において不活性化光の照射を停止させる。この場合、構造化照明顕微鏡1は、試料Sにおける蛍光色素の不活性化のレベルがほぼ飽和している状態で、次の観察対象面に対する変調像の撮像を行うことができる。そのため、次の観察対象面に励起光を照射した際に、前回の観察対象面から蛍光が発生することを抑制できる。なお、制御部7は、ステップS28において、撮像素子56の検出値の時間変化が閾値以下であるか否かを判定する代わりに、撮像素子56の検出値が閾値以下であるか否かを判定してもよい。
 なお、活性化照明部3は、試料Sのうちシート状の領域を選択的に照明できるものであればよく、上述の実施形態の構成に限定されない。以下、活性化照明部3の変形例について説明する。
 図9(A)は、第1変形例の第1照明光学系11を示す斜視図、図9(B)は第1変形例の第1照明光学系11の光路を示す図である。この第1照明光学系11は、光ファイバ13の光出射側に、コリメータレンズ14およびシリンドリカルレンズ15を備え、図1に示した構成からスリット16、及びレンズ群17を省略した構成である。このように、活性化照明部3は、スリット16によるビーム成形を行わなくてもよく、この場合、スリット16の像を投影するレンズ群17は省略可能である。
 図10(A)は、第2変形例の第1照明光学系11を示す斜視図、図10(B)は第2変形例の第1照明光学系11の光路を示す図である。この第1照明光学系11は、光ファイバ13側から試料S側に向かって、コリメータレンズ14、集光レンズ60、ピンホール61、コリメータレンズ62、及びシリンドリカルレンズ15を備える。ピンホール61は、例えば円形の開口を有する。集光レンズ60は、コリメータレンズ14からの活性化光をピンホール61の開口に向けて集光する。コリメータレンズ62は、ピンホール61からの活性化光を平行化する。シリンドリカルレンズ15は、コリメータレンズ62からの活性化光を、XZ平面に平行な面において屈折させるとともに、XY面に平行な面においてほぼ屈折させない。この第1照明光学系11も、活性化光をシート状に成型できる。このように、シリンドリカルレンズ15を使ってシート状の活性化を形成する場合、シリンドリカルレンズ15の配置は変更可能である。
 図11(A)は、第3変形例の第1照明光学系11を示す斜視図、図11(B)は第3変形例の第1照明光学系11の光路を示す図である。この第1照明光学系11は、光ファイバ13の光出射側に、コリメータレンズ14、スリット16、コリメータレンズ62、及びレンズ63を備える。スリット16は、Z方向において、コリメータレンズ14からの不活性光のビーム径よりも狭い開口部16aを有する。また、スリット16は、コリメータレンズ62の後側焦点位置に配置されている。開口部16a(図10(D)参照)は、Y方向とZ方向のうちZ方向を短手方向とする形状(例、Z方向に平行な短辺を有する矩形状)である。レンズ63の前側焦点位置と、コリメータレンズ62の後側焦点位置が一致するように配置され、コリメータレンズ62およびレンズ63は、スリット16の開口部16aを通った活性化光をシート状にして照明領域に集光する。
 図12(A)は、第4変形例の第1照明光学系11を示す斜視図、図12(B)は第4変形例の第1照明光学系11の光路を示す図である。この第1照明光学系11は、光ファイバ13の光出射側に、コリメータレンズ14、スリット16、及びレンズ63を備える。スリット16の開口部16aは、Y方向とZ方向のうちY方向を短手方向とする形状である。スリット16の開口部16aの寸法は、例えば長手方向(Z方向)において、コリメータレンズ14からの活性化光のビーム径よりも小さく設定される。スリット16は、レンズ63の後側焦点位置に配置されている。レンズ63は、スリット16の開口部16aを通った活性化光を照明領域に集光する。このように、第1照明光学系11は、スリット16によって活性化光を成形してもよく、シリンドリカルレンズを含まなくてもよい。
 図13(A)は、第5変形例の第1照明光学系11を示す斜視図、図13(B)は第5変形例の第1照明光学系11の光路を示す図である。この第1照明光学系11は、光ファイバ13の光出射側に、コリメータレンズ14、光軸AX1上の頂角が鈍角である三角プリズム64、レンズ群65を備える。三角プリズム64は、第1照明光学系11の光軸AX1に関して、軸対称な形状である。三角プリズム64は、レンズ群65(レンズ65aおよびレンズ65b)の瞳面の位置において、活性化光を2か所に集光させる。これらの集光した活性化光を、レンズ65bで試料に投影すると、試料に投影された光は、Z方向にベッセルビームであるシート光となる。このように、第1照明光学系11は、活性化光としてZ方向にベッセルビームであるシート光を試料Sに照射する。このような第1照明光学系11は、焦点深度を長くとることができ、照明領域の厚みを減らすことができる。また、第1照明光学系11は、活性化光の一部を遮光してビーム成形を行う構成と比較して、光のロスを減らすことができる。なお、この際の光ファイバの出射端の径を大きくしておくとよく、そうすることでZ方向のベッセルビーム状照明光の光軸上における光密度を高めることができる。
 図14(A)は、第6変形例の第1照明光学系11を示す斜視図、図14(B)は第6変形例の第1照明光学系11の光路を示す図である。この第1照明光学系11は、光ファイバ13の光出射側に、コリメータレンズ14、スリット16、及びレンズ66を備える。例えば、スリット16の開口部16aおよび開口部16bは、それぞれ、内縁の形状が円形でその内径が波長に比べて十分大きな貫通孔である。開口部16aと開口部16bは、第1照明光学系11の光軸AX1から離れており、光軸AX1に関して対称的に設けられている。このような第1照明光学系11は、上述した三角プリズム64を使わなくともZ方向にベッセルビームであるシート光を形成することができる。
 図15(A)は、第7変形例の第1照明光学系11を示す斜視図、図15(B)は第7変形例の第1照明光学系11の光路を示す図である。この第1照明光学系11は、光ファイバ13の光出射側に、コリメータレンズ14、ミラー67、及びレンズ63を備える。ミラー67は、コリメータレンズ14とレンズ63との間の光路に配置されている。ミラー67は、Z方向に平行な軸の周りで回転可能に設けられている。ミラー67は、ミラー駆動部68に駆動されて、回転する。ミラー67およびミラー駆動部68は、例えば、ガルバノミラー、MEMSミラーなどである。制御部7は、ミラー駆動部68を制御することにより、ミラー67の回転位置を制御できる。コリメータレンズ14により平行化された活性化光は、ミラー67で反射することにより、ミラー67の回転位置に応じてY方向に偏向し、レンズ63により集光する。このように、活性化照明部3は、YZ平面において集光した活性化光(直線状の活性化光)で試料SをY方向に走査することにより活性化光を照射してもよい。
 図16(A)は、第8変形例の第1照明光学系11を示す斜視図、図16(B)は第8変形例の第1照明光学系11の光路を示す図である。この第1照明光学系11は、光ファイバ13の光出射側に、コリメータレンズ14、集光レンズ15、ピンホール61、コリメータレンズ62、ミラー67、及びレンズ63を備える。集光レンズ15は、コリメータレンズ14によって平行化された活性化光を、ピンホール61の開口部に向けて集光する。コリメータレンズ62は、ピンホール61からの活性化光を平行化する。ミラー67は、コリメータレンズ62により平行化された活性化光を偏向する。レンズ63は、ミラー67で反射した活性化光を照明領域に集光する。このように、第1照明光学系11は、ピンホール61でビーム成形することにより、YZ平面において集光した活性化光(直線状の活性化光)で、試料Sを走査してもよい。
 図17(A)は、第9変形例の第1照明光学系11を示す斜視図、図17(B)は第1変形例の第1照明光学系11の光路を示す図である。この第1照明光学系11は、光ファイバ13の光出射側に、コリメータレンズ14、アキシコンレンズ69、レンズ群65、及びミラー67を備える。アキシコンレンズ69とレンズ群65は、コリメータレンズ14により平行化された活性化光をベッセルビームに成形する。ミラー67は、レンズ群65の瞳面に配置されており、レンズ群65を通る活性化光をY方向に偏向させる。このように、第1照明光学系11は、アキシコンレンズ69を用いてベッセルビームに成形された活性化光で試料Sを走査してもよい。
 図18(A)は、第10変形例の第1照明光学系11を示す斜視図、図18(B)は第1変形例の第1照明光学系11の光路を示す図である。この第1照明光学系11は、光ファイバ13の光出射側に、コリメータレンズ14、スリット16、レンズ群65、及びミラー67を備える。本変形例のスリット16の開口部16aは、第1照明光学系11の光軸AX1を中心とする輪帯状(円環状)である。スリット16およびレンズ群65は、コリメータレンズ14により平行化された活性化光をベッセルビームに成形する。ミラー67は、レンズ群65の瞳面に配置されており、レンズ群65を通る活性化光を偏向させる。このように、第1照明光学系11は、スリット16を用いてベッセルビームに成形された活性化光で試料Sを走査してもよい。
 図19は、第11変形例の活性化照明部3を示す図である。本変形例の活性化照明部3は、Z方向において活性化光の光路を変更する光路調整部70を備える。なお、図19(A)には、活性化光の光路が変更される前の状態を示し、図19(B)には、活性化光の光路が変更された後の状態を示した。
 光路調整部70は、例えば、活性化光が透過する平行平板71と、平行平板71を駆動する駆動部72とを備える。平行平板71は、例えば、第1照明光学系11内の光路において、活性化光が平行化されている位置に配置される。本変形例において、平行平板71は、レンズ群17の間の光路に配置されている。
 駆動部72は、Y方向に平行な軸の周りで平行平板71を回転駆動し、Z方向に対する平行平板71の角度(傾斜角)を変化させる。制御部7は、駆動部72を制御することにより、Z方向に対する平行平板71の角度を制御する。図19(B)に示すように、平行平板71が傾斜すると、活性化光は、平行平板71の入射側の界面および出射側の界面のそれぞれで屈折し、活性化光の光路がZ方向にシフトする。活性化光の光路のシフト量は、平行平板71の屈折率、平行平板71の厚み、平行平板71の傾斜角により定まる。制御部7は、平行平板71の傾斜角を制御することにより、光路のシフト量を制御できる。
 ところで、構造化照明顕微鏡1は、対物レンズ32と試料Sとの間に浸液(例、油)が配置された状態で、液浸型(油浸型)の顕微鏡として利用できる。この場合、一般には浸液と試料の屈折率が異なることから、対物レンズ32を固定しつつステージ2をZ方向に移動すると、光学的距離が変化する。そのため、励起照明部4により形成される構造化照明のコントラストの高い領域、および、対物レンズ2の焦点があっている面がZ方向にシフトし、活性化照明部3の照明領域とZ方向の位置が合わなくなる。このような場合、制御部7は、駆動部72を制御して、活性化光の光路をZ方向においてシフトさせることにより、活性化照明部3の照明領域を励起照明部4の照明領域に合わせることができる。活性化照明部3および不活性化照明部20を励起照明部4および撮像部5に対して、相対的にZ方向にシフトさせてもよい。
 図20は、第12変形例の活性化照明部3を示す図である。本変形例において、励起照明部4の光源部30は、不活性化照明部20の光源部21を兼ねている。不活性化照明部20は、光源部30と集光レンズ35との間の光路に挿脱可能なミラー75を備える。図20(A)には、光源部30と集光レンズ35との間の光路からミラー75が退避された状態(以下、退避状態という)を示し、図20(B)には、光源部30と集光レンズ35との間の光路にミラー75が挿入された状態(以下、挿入状態という)を示した。
 図20(A)に示すように、ミラー75の退避状態において、光源部30から出射した励起光は、集光レンズ35に入射し、第2照明光学系31を介して試料Sに照射される(図1参照)。また、図20(B)に示すように、ミラー75の挿入状態において、光源部30から出射した励起光は、ダイクロイックミラー23の波長選択膜で反射して、集光レンズ12に入射する。集光レンズ12に入射した励起光は、第1照明光学系11を介して、不活性化光として試料Sに照射される(図1参照)。
 制御部7は、ミラー75の駆動部(図示略)を制御し、ミラー75の退避状態と挿入状態とを切り替え可能である。なお、試料Sの変調像を撮像する際の励起光の光量は、例えば、試料Sを不活性化する際の不活性化光の光量よりも少なく設定される。制御部7は、ミラー75の退避状態において、ミラー75の挿入状態よりも光源部30の発光量を減らすこともできる。
[第2実施形態]
 次に、第2実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図21は、本実施形態に係る構造化照明顕微鏡1を示す図である。この構造化照明顕微鏡1は、試料Sの厚み方向(Z方向)の超解像画像を生成する3D-SIMモードを有する。
 本実施形態において、マスク45は、回折格子39で発生した0次回折光が通る開口部を有する。励起照明部4は、±1次の2光束による干渉縞と、0次と+1次の2光束による干渉縞と、0次と-1次の2光束による干渉縞とが合成された合成干渉縞を、照明領域に形成する。この合成干渉縞は、照明領域において、XY平面に平行な面内で光強度が周期的に変化するとともに、YZ平面に平行な面内においても光強度が周期的に変化する。
 本実施形態において、変調画像に重畳される変調成分は、-2次変調成分、-1次変調成分、0次変調成分、+1次変調成分、+2次変調成分の5種類になる。制御部7は、例えば、回転駆動部42を制御して干渉縞の向きを複数(例えば3種類)に変化させ、干渉縞の各向きに対して、平行駆動部43を制御して干渉縞の位相を複数(例えば5種類)に変化させながら、各位相における変調像を撮像部5に撮像させる。復調部6は、複数(上記例では15枚)の変調画像を使って、5種類の変調成分を分離し、超解像画像を生成する。なお、復調演算には、"Super-Resolution Video Microscopy of Live Cells by Structured Illumination", Peter Kner, Bryant B. Chhun, Eric R. Griffis, Lukman Winoto, and Mats G. L. Gustafsson, NATURE METHODS Vol.6 NO.5, pp.339-342, (2009)に記載されている手法を用いることもできるが、この方法に限られない
 なお、本実施形態に係る構造化照明顕微鏡1は、マスク45において0次回折光が通る開口部を開閉可能にすることで、第1実施形態で説明した2D-SIMモードを実行することもできる。例えば、構造化照明顕微鏡1は、ユーザーの指令により2D-SIMモードと3D-SIMモードとを切り替え可能である。2D-SIMモードは、例えば、活性化照明部3の照明領域の厚みが閾値以下(例、1μm以下)の場合に選択される。3D-SIMモードは、例えば活性化照明部3の照明領域の厚みが閾値を超える場合に選択される。
 なお、本発明の技術範囲は、上記の実施形態あるいは変形例に限定されるものではない。例えば、上記の実施形態あるいは変形例で説明した要件の1つ以上は、省略されることがある。また、上記の実施形態あるいは変形例で説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の各実施形態及び変形例で引用した全ての文献の開示を援用して本文の記載の一部とする。
1・・・構造化照明顕微鏡、2・・・ステージ、3・・・活性化照明部、
4・・・励起照明部、5・・・撮像部、6・・・復調部、7・・・制御部
S・・・試料、10・・・光源部、11・・・第1照明光学系
20・・・不活性化照明部、21・・・光源部、30・・・光源部
31・・・第2照明光学系、55・・・結像光学系
 

Claims (21)

  1.  試料に含まれた蛍光物質を活性化するための活性化光を、前記試料に第1方向から照射する第1照明光学系と、
     前記第1方向と異なる第2方向から、前記蛍光物質を励起するための励起光を、干渉縞で前記試料に照射する第2照明光学系と、
     前記干渉縞の方向および位相を制御する制御部と、
     前記干渉縞が照射された前記試料の像を形成する結像光学系と、
     前記結像光学系が形成した前記像を撮像して第1画像を生成する撮像素子と、
     前記撮像素子により生成された複数の前記第1画像を用いて、第2画像を生成する復調部と、
     を備えることを特徴とする構造化照明顕微鏡。
  2.  前記第1照明光学系は、シート状の前記活性化光を照射する
     ことを特徴とする請求項1に記載の構造化照明顕微鏡。
  3.  前記第1照明光学系は、シリンドリカルレンズを含む
     ことを特徴とする請求項1又は2に記載の構造化照明顕微鏡。
  4.  前記第1照明光学系は、前記活性化光を、前記第1の方向および前記第2の方向と異なる第3の方向に走査する
     ことを特徴とする請求項1から請求項3のいずれか1項に記載の構造化照明顕微鏡。
  5.  前記蛍光物質を不活性化するための不活性化光を、前記試料に照射する第3照明光学系をさらに有する
     ことを特徴とする請求項1から請求項4のいずれか1項に記載の構造化照明顕微鏡。
  6.  前記励起光の波長と、前記不活性化光の波長とが同じである
     ことを特徴とする請求項5に記載の構造化照明装置。
  7.   前記制御部は、
     前記第1の方向から前記活性化光を照射させて、前記蛍光物質を活性化させ、
     活性化された前記蛍光物質に、前記第2の方向から前記励起光を照射し、
     前記励起光を照射した後、前記不活性化光を前記試料に照射させる
     ことを特徴とする請求項5又は請求項6に記載の構造化照明装置。
  8.  前記第3照明光学系は、前記不活性化光を、前記試料に第1方向から照射する
     ことを特徴とする請求項5から請求項7のいずれか1項に記載の構造化照明顕微鏡。
  9.  前記第3照明光学系は、前記不活性化光を、前記試料に第2方向から照射する
     ことを特徴とする請求項5から請求項7のいずれか1項に記載の構造化照明顕微鏡。
  10.  前記第1照明光学系と、第3照明光学系との光路とは、少なくとも一部において共通である
     ことを特徴とする請求項5から請求項9のいずれか1項に記載の構造化照明顕微鏡。
  11.  前記第2照明光学系と、第3照明光学系との光路とは、少なくとも一部において共通である
     ことを特徴とする請求項5から請求項9のいずれか1項に記載の構造化照明顕微鏡。
  12.  前記不活性化光の強度は、前記励起光の強度よりも大きい
     ことを特徴とする請求項5から請求項11のいずれか一項に記載の構造化照明顕微鏡。
  13.  前記第1照明光学系は、前記試料と光学的に共役な位置に配置される絞り部材を備え、
     前記絞り部材の開口幅は、前記第1照明光学系を前記不活性化光が通る際に、前記第1照明光学系を前記活性化光が通る際よりも大きく設定される
     ことを特徴とする請求項5から請求項12のいずれか1項に記載の構造化照明顕微鏡。
  14.  前記制御部は、前記撮像部の検出値が閾値以下の場合に、前記不活性化光の照射を停止させる
     ことを特徴とする請求項5から請求項13のいずれか一項に記載の構造化照明顕微鏡。
  15.  前記制御部は、前記撮像部の検出値の時間変化量が閾値以下の場合に、前記不活性化光の照射を停止させる
     ことを特徴とする請求項5から請求項13のいずれか一項に記載の構造化照明顕微鏡。
     
  16.  前記制御部は、前記蛍光物質の活性化状態が飽和状態となるまで、前記活性化光を照射させることを特徴とする請求項1から請求項15のいずれか一項に記載の構造化照明顕微鏡。
  17.  前記制御部は、前記撮像部の検出値が閾値以上の場合に、前記活性化光の照射を停止させる
     ことを特徴とする請求項16に記載の構造化照明顕微鏡。
  18.  前記制御部は、前記撮像部の検出値の時間変化量が閾値以下の場合に、前記第1照明光学系からの前記活性化光の照射を停止させる
     ことを特徴とする請求項16または請求項17に記載の構造化照明顕微鏡。
  19.  前記第1照明光学系は、
     前記励起光を回折により複数の回折光に分岐する分岐部と、
     前記複数の回折光のうち、+1次回折光または-1次回折光の通過状態と遮断状態とを切り替え可能な遮光部と、を備え、
     前記制御部は、前記遮光部を前記遮断状態に設定し、前記第1照明光学系から前記活性化光を照射させながら、前記撮像部に前記試料からの光を検出させる
     ことを特徴とする請求項1~18のいずれか1項に記載の構造化照明顕微鏡。
  20.  試料に含まれた蛍光物質を活性化するための活性化光を、前記試料に第1方向から照射することと、
     前記第1方向と異なる第2方向から、前記蛍光物質を励起するための励起光を、干渉縞で前記試料に照射することと、
     前記干渉縞の方向および位相を制御することと、
     前記干渉縞が照射された前記試料の像を形成することと、
     前記像を撮像して第1画像を生成することと、
     前記撮像により生成された複数の前記第1画像を用いて、第2画像を生成することと、
     を含むことを特徴とする観察方法。
  21.  コンピュータに、
     試料に含まれた蛍光物質を活性化するための活性化光を、前記試料に第1方向から照射することと、
     前記第1方向と異なる第2方向から、前記蛍光物質を励起するための励起光を、干渉縞で前記試料に照射することと、
     前記干渉縞の方向および位相を制御することと、
     前記干渉縞が照射された前記試料の像を形成することと、
     前記像を撮像して第1画像を生成することと、
     前記撮像により生成された複数の前記第1画像を用いて、第2画像を生成することと、
     を実行させることを特徴とする制御プログラム。
PCT/JP2015/053211 2015-02-05 2015-02-05 構造化照明顕微鏡、観察方法、及び制御プログラム WO2016125281A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016573005A JP6635052B2 (ja) 2015-02-05 2015-02-05 構造化照明顕微鏡、及び観察方法
PCT/JP2015/053211 WO2016125281A1 (ja) 2015-02-05 2015-02-05 構造化照明顕微鏡、観察方法、及び制御プログラム
US15/666,842 US10649196B2 (en) 2015-02-05 2017-08-02 Structured illumination microscope, observation method , and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/053211 WO2016125281A1 (ja) 2015-02-05 2015-02-05 構造化照明顕微鏡、観察方法、及び制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/666,842 Continuation US10649196B2 (en) 2015-02-05 2017-08-02 Structured illumination microscope, observation method , and control program

Publications (1)

Publication Number Publication Date
WO2016125281A1 true WO2016125281A1 (ja) 2016-08-11

Family

ID=56563645

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/053211 WO2016125281A1 (ja) 2015-02-05 2015-02-05 構造化照明顕微鏡、観察方法、及び制御プログラム

Country Status (3)

Country Link
US (1) US10649196B2 (ja)
JP (1) JP6635052B2 (ja)
WO (1) WO2016125281A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019086529A (ja) * 2017-11-01 2019-06-06 株式会社ニコン 顕微鏡、照明装置、及び観察方法
DE102018108657A1 (de) 2018-04-12 2019-10-17 Jenoptik Optical Systems Gmbh Mikroskop mit strukturierter Beleuchtung
JP2020020929A (ja) * 2018-07-31 2020-02-06 株式会社ニコン 顕微鏡、観察方法、及び制御プログラム
WO2022195805A1 (ja) * 2021-03-18 2022-09-22 株式会社エビデント 顕微鏡システム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7058271B2 (ja) * 2017-07-26 2022-04-21 浜松ホトニクス株式会社 試料観察装置及び試料観察方法
DE102017127424B3 (de) * 2017-11-21 2019-04-25 Bruker Optik Gmbh Mikroskop
NL2020620B1 (en) 2018-01-16 2019-07-25 Illumina Inc Pattern angle spatial selection structured illumination imaging
US10247910B1 (en) 2018-03-14 2019-04-02 Nanotronics Imaging, Inc. Systems, devices and methods for automatic microscopic focus
US10146041B1 (en) * 2018-05-01 2018-12-04 Nanotronics Imaging, Inc. Systems, devices and methods for automatic microscope focus
CN109709025B (zh) * 2019-02-12 2021-07-16 军事科学院系统工程研究院卫勤保障技术研究所 一种多模成像光学系统
EP4090950A4 (en) * 2020-01-14 2023-12-27 Intelligent Imaging Innovations, Inc. SIMPLIFIED CYLINDRICAL LATTICE ILLUMINATOR OF LIGHT SHEETS FOR LIGHT SHEETS MICROSCOPE
WO2021179127A1 (zh) * 2020-03-09 2021-09-16 深圳华大生命科学研究院 超分辨成像系统与方法、生物样品识别系统与方法、核酸测序成像系统与方法及核酸识别系统与方法
CN114076750A (zh) * 2020-08-20 2022-02-22 深圳华大智造科技股份有限公司 超分辨成像装置与方法、生物样品识别系统与识别方法
JP2022069273A (ja) * 2020-10-23 2022-05-11 株式会社リガク 結像型x線顕微鏡
KR102576472B1 (ko) * 2021-08-11 2023-09-11 주식회사 나노바이오라이프 다채널 광학 진단 장치
US11927545B1 (en) 2023-01-12 2024-03-12 Camtek Ltd Semiconductor edge and bevel inspection tool system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011511966A (ja) * 2008-02-13 2011-04-14 カール ツァイス マイクロイメージング ゲーエムベーハー 試料の構造を空間的に高分解能で結像するための装置および方法
WO2014020911A1 (ja) * 2012-08-01 2014-02-06 株式会社ニコン 観察装置

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6903347B2 (en) * 1994-07-15 2005-06-07 Stephen C. Baer Superresolution in microlithography and fluorescence microscopy
US5671085A (en) * 1995-02-03 1997-09-23 The Regents Of The University Of California Method and apparatus for three-dimensional microscopy with enhanced depth resolution
US7217573B1 (en) * 1999-10-05 2007-05-15 Hitachi, Ltd. Method of inspecting a DNA chip
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US6750963B2 (en) * 2002-05-21 2004-06-15 Agilent Technologies, Inc. Imaging systems for signals on a surface
JPWO2004036284A1 (ja) * 2002-09-30 2006-02-16 独立行政法人科学技術振興機構 共焦点顕微鏡、共焦点顕微鏡を用いた蛍光測定方法及び偏光測定方法
DE10257423A1 (de) * 2002-12-09 2004-06-24 Europäisches Laboratorium für Molekularbiologie (EMBL) Mikroskop
WO2004113962A2 (en) * 2003-03-03 2004-12-29 Montana State University-Bozeman Miniature confocal optical device, system, and method
DE10317615B4 (de) * 2003-04-11 2005-10-06 Carl Zeiss Jena Gmbh Fluoreszenzmikroskopanordnung
US20050089208A1 (en) * 2003-07-22 2005-04-28 Rui-Tao Dong System and method for generating digital images of a microscope slide
KR100500610B1 (ko) * 2003-10-29 2005-07-11 한국전기연구원 형광 현미경 및 이를 사용한 관측 방법
US20060038144A1 (en) * 2004-08-23 2006-02-23 Maddison John R Method and apparatus for providing optimal images of a microscope specimen
US20060088844A1 (en) * 2004-10-22 2006-04-27 Honeywell International Inc. Real-time PCR microarray based on evanescent wave biosensor
WO2006058187A2 (en) * 2004-11-23 2006-06-01 Robert Eric Betzig Optical lattice microscopy
JP2006164861A (ja) * 2004-12-10 2006-06-22 Hitachi High-Technologies Corp 走査干渉電子顕微鏡
JP4812393B2 (ja) * 2005-03-04 2011-11-09 株式会社日立ハイテクノロジーズ 蛍光分子計測システム
EP1865355B1 (en) * 2005-03-30 2013-03-06 Nikon Corporation Image forming method and microscope device
US8081378B2 (en) * 2005-10-13 2011-12-20 Nikon Corporation Microscope
JP4917331B2 (ja) * 2006-03-01 2012-04-18 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び画像取得プログラム
US7619732B2 (en) * 2006-03-01 2009-11-17 Leica Microsystems Cms Gmbh Method and microscope for high spatial resolution examination of samples
EP3373174A1 (en) * 2006-03-31 2018-09-12 Illumina, Inc. Systems and devices for sequence by synthesis analysis
EP2093601B1 (en) * 2006-12-12 2013-03-13 Nikon Corporation Microscope device and image processing method
US7916304B2 (en) * 2006-12-21 2011-03-29 Howard Hughes Medical Institute Systems and methods for 3-dimensional interferometric microscopy
US8124944B2 (en) * 2007-01-17 2012-02-28 Honeywell International Inc. Microarray reader based on evanescent wave detection and method of reading a microarray
EP1953579B1 (en) * 2007-02-05 2010-01-13 Olympus Corporation Scanning laser microscope
DE102007015063B4 (de) * 2007-03-29 2019-10-17 Carl Zeiss Microscopy Gmbh Optische Anordnung zum Erzeugen eines Lichtblattes
JP4835750B2 (ja) * 2007-04-12 2011-12-14 株式会社ニコン 顕微鏡装置
DE102007045897A1 (de) * 2007-09-26 2009-04-09 Carl Zeiss Microimaging Gmbh Verfahren zur mikroskopischen dreidimensionalen Abbildung einer Probe
DE102007047464B4 (de) 2007-09-28 2023-03-02 Carl Zeiss Microscopy Gmbh Optische Anordnung zur Photomanipulation
US7772569B2 (en) * 2008-04-01 2010-08-10 The Jackson Laboratory 3D biplane microscopy
WO2010014244A2 (en) * 2008-07-30 2010-02-04 The Regents Of The University Of California, San Francisco Multidirectional selective plane illumination microscopy
WO2010088418A1 (en) * 2009-01-29 2010-08-05 The Regents Of The University Of California High resolution structured illumination microscopy
DE102009044986A1 (de) * 2009-09-24 2011-03-31 Carl Zeiss Microimaging Gmbh Mikroskop
DE102009044983A1 (de) * 2009-09-24 2011-03-31 Carl Zeiss Microimaging Gmbh Mikroskop
JP5852305B2 (ja) * 2009-10-28 2016-02-03 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 分解能の向上した顕微鏡法および顕微鏡
US8570649B2 (en) * 2009-10-29 2013-10-29 California Institute Of Technology Dual-mode raster point scanning/light sheet illumination microscope
EP3726274B1 (en) * 2010-04-26 2023-08-23 Nikon Corporation Structured illumination microscope apparatus and an image forming apparatus
US8809810B2 (en) * 2010-05-20 2014-08-19 Honeywell International Inc. Microarray reader based on evanescent wave detection
WO2012032981A1 (ja) * 2010-09-10 2012-03-15 オリンパス株式会社 単一発光粒子の光強度を用いた光分析方法
US8351120B2 (en) * 2010-09-15 2013-01-08 Visera Technologies Company Limited Optical device having extented depth of field and fabrication method thereof
EP2629133A4 (en) * 2010-10-14 2017-12-13 Nikon Corporation Structured illumination device, structured illumination microscope device, and surface shape measurement device
DE102010060121C5 (de) * 2010-10-22 2023-09-28 Leica Microsystems Cms Gmbh SPIM-Mikroskop mit sequenziellem Lightsheet
EP2642260A4 (en) * 2010-11-16 2015-12-09 Nikon Corp MULTIBAND CAMERA AND MULTIBAND IMAGING PROCESS
WO2013001805A1 (ja) * 2011-06-29 2013-01-03 株式会社ニコン 構造化照明光学系および構造化照明顕微鏡装置
US9184199B2 (en) * 2011-08-01 2015-11-10 Lytro, Inc. Optical assembly including plenoptic microlens array
WO2013080542A1 (ja) * 2011-12-01 2013-06-06 株式会社ニコン 構造化照明装置、その構造化照明装置の調整方法、コンピュータ実行可能な調整プログラム、構造化照明顕微鏡装置、面形状測定装置
DE102012211462A1 (de) * 2012-07-03 2014-01-23 Carl Zeiss Microscopy Gmbh Verfahren zur Vorbereitung und Durchführung der Aufnahme von Bildstapeln einer Probe aus verschiedenen Orientierungswinkeln
EP2870498A4 (en) * 2012-07-05 2016-03-02 Martin Russell Harris STRUCTURED LIGHTING MICROSCOPE AND METHOD
WO2014013720A1 (ja) * 2012-07-19 2014-01-23 株式会社ニコン 構造化照明顕微鏡装置
DE102012020240A1 (de) * 2012-10-12 2014-04-17 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur SPIM Mikroskopie
DE102012110077A1 (de) * 2012-10-23 2014-06-26 Karlsruher Institut für Technologie Mikroskop mit mindestens einem Beleuchtungsstrahl in Form einer Lichtscheibe
US9217665B2 (en) * 2013-01-31 2015-12-22 Hewlett Packard Enterprise Development Lp Viewing-angle imaging using lenslet array
US8978984B2 (en) * 2013-02-28 2015-03-17 Hand Held Products, Inc. Indicia reading terminals and methods for decoding decodable indicia employing light field imaging
US9658443B2 (en) * 2013-03-15 2017-05-23 The Board Of Trustees Of The Leland Stanford Junior University Optics apparatus with detection of light rays received at different angles for output indicative of aliased views
JP6086366B2 (ja) * 2013-04-05 2017-03-01 国立研究開発法人理化学研究所 顕微鏡、焦準器具、流体保持器具、及び光学ユニット
EP3605183A1 (en) * 2013-05-10 2020-02-05 European Molecular Biology Laboratory Microscope for selective plane illumination microscopy
DE102013107298A1 (de) * 2013-07-10 2015-01-15 Carl Zeiss Microscopy Gmbh Anordnung zur Lichtblattmikroskopie
DE102013107297A1 (de) * 2013-07-10 2015-01-15 Carl Zeiss Microscopy Gmbh Anordnung zur Lichtblattmikroskopie
WO2015008415A1 (ja) * 2013-07-17 2015-01-22 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡装置
DE102013112595A1 (de) * 2013-11-15 2015-05-21 Carl Zeiss Microscopy Gmbh Anordnung zur Lichtblattmikroskopie
DE102013112596B4 (de) * 2013-11-15 2023-12-28 Carl Zeiss Microscopy Gmbh Anordnung zur Lichtblattmikroskopie
EP3081976B1 (en) * 2013-12-12 2022-06-15 Nikon Corporation Structured illumination microscope, structured illumination method and program
DE102013021542A1 (de) * 2013-12-18 2015-06-18 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur SPIM Mikroskopie
JP2015135463A (ja) * 2013-12-19 2015-07-27 オリンパス株式会社 顕微鏡装置、及び、顕微鏡システム
US9678323B2 (en) * 2014-06-10 2017-06-13 President And Fellows Of Harvard College High throughput multichannel fluorescence microscopy with microlens arrays
US10247672B2 (en) * 2014-09-29 2019-04-02 Howard Hughes Medical Institute Non-linear structured illumination microscopy
US10181190B2 (en) * 2014-11-04 2019-01-15 Olympus Corporation Microscope and microscope image acquisition method
US10007100B2 (en) * 2014-11-04 2018-06-26 Olympus Corporation Light sheet illumination microscope and light sheet illumination method
JP6417262B2 (ja) * 2015-04-15 2018-11-07 オリンパス株式会社 シート照明顕微鏡
JP6503221B2 (ja) * 2015-05-13 2019-04-17 オリンパス株式会社 3次元情報取得装置、及び、3次元情報取得方法
JP2017090851A (ja) * 2015-11-17 2017-05-25 オリンパス株式会社 シート照明顕微鏡、及び、シート照明方法
US10409052B2 (en) * 2016-09-28 2019-09-10 University Of Washington Inverted light-sheet microscope

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011511966A (ja) * 2008-02-13 2011-04-14 カール ツァイス マイクロイメージング ゲーエムベーハー 試料の構造を空間的に高分解能で結像するための装置および方法
WO2014020911A1 (ja) * 2012-08-01 2014-02-06 株式会社ニコン 観察装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019086529A (ja) * 2017-11-01 2019-06-06 株式会社ニコン 顕微鏡、照明装置、及び観察方法
DE102018108657A1 (de) 2018-04-12 2019-10-17 Jenoptik Optical Systems Gmbh Mikroskop mit strukturierter Beleuchtung
DE102018108657B4 (de) 2018-04-12 2024-03-28 Jenoptik Optical Systems Gmbh Vorrichtung zur Aufnahme wenigstens eines mikroskopischen Bildes und Verfahren zur Aufnahme eines mikroskopischen Bildes
JP2020020929A (ja) * 2018-07-31 2020-02-06 株式会社ニコン 顕微鏡、観察方法、及び制御プログラム
JP7099143B2 (ja) 2018-07-31 2022-07-12 株式会社ニコン 顕微鏡、観察方法、及び制御プログラム
WO2022195805A1 (ja) * 2021-03-18 2022-09-22 株式会社エビデント 顕微鏡システム

Also Published As

Publication number Publication date
US10649196B2 (en) 2020-05-12
US20170329122A1 (en) 2017-11-16
JP6635052B2 (ja) 2020-01-22
JPWO2016125281A1 (ja) 2017-11-16

Similar Documents

Publication Publication Date Title
WO2016125281A1 (ja) 構造化照明顕微鏡、観察方法、及び制御プログラム
JP6264377B2 (ja) 構造化照明装置及び構造化照明顕微鏡装置
JP6360825B2 (ja) 結像光学系、照明装置および観察装置
JP6627871B2 (ja) 構造化照明顕微鏡システム、方法及びプログラム
US7915575B2 (en) Laser scanning microscope having an IR partial transmission filter for realizing oblique illumination
JP2017167535A (ja) ライトフィールド顕微鏡および照明方法
JP2018146602A (ja) 観察装置
US9715096B2 (en) Microscope apparatus
US20160306155A1 (en) Sample observation device
WO2016052743A1 (ja) 光軸方向走査型顕微鏡装置
US9729800B2 (en) Image generation system
JP6137324B2 (ja) 照明装置及び構造化照明顕微鏡装置
WO2014199713A1 (ja) 共焦点レーザ走査型顕微鏡
WO2018092246A1 (ja) 標本観察装置
JP6413364B2 (ja) 照明光学系及び顕微鏡装置
JP2019045783A (ja) ライトシート顕微鏡
JP5939301B2 (ja) 構造化照明観察装置
WO2015052920A1 (ja) 構造化照明装置及び構造化照明顕微鏡装置
WO2019176121A1 (ja) 構造化照明装置、構造化照明顕微鏡
JP2015161859A (ja) 観察装置
WO2018011869A1 (ja) 観察装置
JP7196422B2 (ja) 顕微鏡システム
JP2009086392A (ja) 位相差顕微鏡
JP2006154098A (ja) 観察光学装置及び顕微鏡

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15881098

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016573005

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15881098

Country of ref document: EP

Kind code of ref document: A1