WO2020179036A1 - 顕微鏡 - Google Patents

顕微鏡 Download PDF

Info

Publication number
WO2020179036A1
WO2020179036A1 PCT/JP2019/008966 JP2019008966W WO2020179036A1 WO 2020179036 A1 WO2020179036 A1 WO 2020179036A1 JP 2019008966 W JP2019008966 W JP 2019008966W WO 2020179036 A1 WO2020179036 A1 WO 2020179036A1
Authority
WO
WIPO (PCT)
Prior art keywords
microscope
illumination
sample
light
excitation light
Prior art date
Application number
PCT/JP2019/008966
Other languages
English (en)
French (fr)
Inventor
陽輔 藤掛
中山 繁
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to PCT/JP2019/008966 priority Critical patent/WO2020179036A1/ja
Publication of WO2020179036A1 publication Critical patent/WO2020179036A1/ja
Priority to US17/459,602 priority patent/US20210389577A1/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy

Definitions

  • the present invention relates to a microscope.
  • Non-Patent Document 1 A scanning microscope that detects fluorescence from a sample has been proposed (for example, see Non-Patent Document 1 below).
  • an illumination optical system that irradiates a sample on a sample surface with light to form striped illumination, and the striped illumination and the sample are combined with the sample surface.
  • a plurality of detectors are arranged at positions conjugate with the sample surface with respect to the system, and a detection unit for detecting light from the sample on the sample surface and the sample when the fringe illumination is in each of the plurality of phase states.
  • an image processing unit that generates an output image using the detection results detected by the plurality of detection units at a plurality of relative positions in the in-plane direction of the surface.
  • FIG. 6 is a flowchart showing an example of image processing in the first embodiment. It is a figure which shows the effective PSF in each position of the detection apparatus of 1st Embodiment. The figure showing a part of microscope of 2nd Embodiment. It is a flowchart which shows an example of the image acquisition flow in 2nd Embodiment. It is a flow chart which shows an example of image processing in a 2nd embodiment. It is a figure which shows the microscope of 3rd Embodiment. It is a figure which shows the microscope of 4th Embodiment. It is a figure which shows the microscope of 5th Embodiment. It is a figure which shows the microscope of 6th Embodiment. It is a figure which shows the microscope of 7th Embodiment.
  • FIG. 1 is a diagram showing an optical path of the microscope and excitation light of the first embodiment.
  • the microscope 1 will be described as being a scanning fluorescence microscope, but the microscope of the first embodiment is not limited to the scanning microscope or the fluorescence microscope.
  • the microscope 1 includes a stage 2, a light source 3, an illumination optical system 4, a detection optical system 5, and a detection device 6.
  • the microscope 1 further includes a control device CU having a control unit CB and an image processing unit 7.
  • the microscope 1 operates as follows.
  • Stage 2 holds the sample S to be observed.
  • the sample S is a cell or the like that has been fluorescently stained in advance.
  • the sample S contains a fluorescent substance such as a fluorescent dye.
  • the light source 3 emits excitation light L1 that excites the fluorescent substance contained in the sample S.
  • the illumination optical system 4 forms the interference fringes L2, and causes the interference fringes L2 in a plurality of directions (eg, X direction, Y direction) with respect to the sample S in a plurality of phase states of the light and dark phases of the interference fringes L2.
  • the stage 2 can move the relative positions of the sample S and the illumination optical system 4 in the X direction and the Y direction in FIG. 1 in a range wider than the scanning range of the interference fringes L2 by the illumination optical system 4.
  • the detection optical system 5 is arranged at a position where the fluorescence L3 (shown later in FIG. 6) from the sample S enters.
  • the detection device 6 includes a plurality of detection units 6 a (shown later in FIG. 6) that detect the fluorescence L3 from the sample S via the detection optical system 5.
  • the image processing unit 7 uses the detection results of the two or more detection units 6a of the detection device 6 to generate an output image (eg, super-resolution image).
  • an output image eg, super-resolution image
  • the light source 3 includes a light source such as a laser element.
  • the light source 3 generates coherent light in a predetermined wavelength band.
  • the predetermined wavelength band is set to a wavelength band including the excitation wavelength of the sample S.
  • the excitation light L1 emitted from the light source 3 is, for example, linearly polarized light.
  • a light guide member such as an optical fiber 11 is connected to the emission port of the light source 3.
  • the microscope 1 does not have to include the light source 3, and the light source 3 may be provided separately from the microscope 1.
  • the light source 3 may be provided interchangeably (attachable, removable) with the microscope 1.
  • the light source 3 may be externally attached to the microscope 1 when observing with the microscope 1.
  • the illumination optical system 4 is arranged at a position where the excitation light L1 from the light source 3 enters. Excitation light L1 is incident on the illumination optical system 4 from the light source 3 through the optical fiber 11.
  • the optical fiber 11 may be a part of the illumination optical system 4 or a part of a light source device including the light source 3.
  • the illumination optical system 4 includes a collimator lens 12, a ⁇ /4 wave plate 13, a polarizer 14, a mask 15 (aperture member), a phase modulator 25, a dichroic mirror 16, and a relay in order from the light source 3 side to the sample S side.
  • An optical system 17, an optical path changing unit 18, a lens 19, a lens 20, and an objective lens 21 are provided.
  • the XYZ Cartesian coordinate system shown in FIG. In this XYZ orthogonal coordinate system, the X direction and the Y direction are directions perpendicular to the optical axis 21a of the objective lens 21, respectively. Further, the Z direction is a direction parallel to the optical axis 21a of the objective lens 21. The optical axis 21a of the objective lens 21 coincides with the optical axis 4a of the illumination optical system 4.
  • the same side as the arrow is referred to as a + side (eg, +X side), and the opposite side is referred to as a ⁇ side (eg, ⁇ X side).
  • the directions corresponding to the X direction, the Y direction, and the Z direction are indicated with subscripts.
  • the Xa direction, the Ya direction, and the Za direction in FIG. 1 are directions corresponding to the X direction, the Y direction, and the Z direction in the optical path from the collimator lens 12 to the dichroic mirror 16, respectively.
  • the collimator lens 12 converts the excitation light L1 emitted from the optical fiber 11 into parallel light.
  • the collimator lens 12 is arranged, for example, such that the focal point on the same side as the light source 3 coincides with the light emission port of the optical fiber 11.
  • the lens included in the illumination optical system 4 the focus on the same side as the light source 3 is referred to as the rear focus, and the focus on the same side as the sample S is referred to as the front focus.
  • the ⁇ / 4 wave plate 13 changes the polarization state of the excitation light L1 to circularly polarized light.
  • the polarizer 14 is, for example, a polarizing plate, and has a characteristic of transmitting linearly polarized light having a predetermined polarization direction.
  • the polarizer 14 is arranged such that the light incident on the sample S is S-polarized (linearly polarized in the Y direction).
  • the polarizer 14 is rotatable around the optical axis 12a of the collimator lens 12.
  • the optical axis 12a of the collimator lens 12 coincides with the optical axis 4a of the illumination optical system 4.
  • the mask 15 is a light beam splitting unit that splits the excitation light that excites the fluorescent substance into a plurality of light beams.
  • the illumination optical system 4 scans the sample S by the interference fringes L2 generated by the interference of two or more light fluxes among the plurality of light fluxes divided by the mask 15.
  • the mask 15 is arranged at or near a position of a pupil conjugate plane P1 which is optically conjugate with the pupil plane P0 of the objective lens 21.
  • the vicinity of the pupil conjugate surface optically conjugate with the pupil surface P0 of the objective lens 21 is a range in which the excitation light L1 can be regarded as a parallel ray in the region including the pupil conjugate surface.
  • the excitation light L1 when the excitation light L1 is a Gaussian beam, it can be sufficiently regarded as a parallel light ray within a range within 1/10 of the Rayleigh length from the beam waist position.
  • Rayleigh length of the wavelength of the excitation light L1 lambda when the beam waist radius was w 0, is given by ⁇ w 0 2 / ⁇ .
  • the Rayleigh length is about 3 m
  • the mask 15 is within 300 mm in the vicinity of the pupil conjugate surface P1 optically conjugated to the pupil surface P0 of the objective lens 21. It may be arranged.
  • the mask 15 may be arranged on the pupil plane P0 or in the vicinity thereof.
  • the mask 15 has an opening 15a and an opening 15b through which the excitation light L1 passes. Interference between the excitation light L1a passing through the opening 15a and the excitation light L1b passing through the opening 15b forms an interference fringe L2.
  • the mask 15 is rotatable around the optical axis 12a of the collimator lens 12.
  • the mask 15 is fixed, for example, relative to the polarizer 14 and rotates integrally with the polarizer 14.
  • the mask 15 and the polarizer 14 are rotated by the torque supplied from the mask driving unit 22.
  • FIG. 2A is a diagram showing a mask in the first embodiment.
  • the openings 15a and 15b of the mask 15 are arranged symmetrically with respect to the optical axis 12a of the collimator lens 12 (see FIG. 1).
  • the openings 15a and 15b are arranged in the Xa direction.
  • FIG. 2B is a diagram showing the polarizer according to the first embodiment.
  • the transmission axis 14a of the polarizer 14 is parallel to a direction (Ya direction in FIG. 2B) perpendicular to the direction (Xa direction in FIG. 2A) in which the openings 15a and 15b are aligned in the mask 15. It is set.
  • FIG. 2C is a diagram showing the pupil plane P0 of the objective lens 21. Reference numerals P0a and P0b are regions where the excitation light L1 is incident, respectively. The parameters shown in FIG. 2C will be referred to later in the description of the image processing unit 7.
  • the phase modulation element 25 is, for example, a glass plate having a substantially disk shape, and can rotate around the optical axis 4a by the torque supplied from the phase modulation element drive unit 26.
  • FIG. 4 is a diagram showing an example of the phase modulation element 25.
  • FIG. 4A is a view of the phase modulation element 25 viewed from a direction perpendicular to the Za direction of FIG. 1 (for example, the Xa direction).
  • 4 (B) to 4 (D) are views of the phase modulation element 25 viewed from the Za direction of FIG. 1, and show a state in which one phase modulation element 25 is rotated by different angles with respect to the center Cn. It represents.
  • the phase modulation element 25 is arranged so that the center Cn substantially coincides with the optical axis 4a of the illumination optical system 4 of FIG.
  • the thickness of the substantially disk-shaped phase modulation element 25 is different in the region 25c, the region 25d, and the region 25e, and a phase difference is given between the light beams transmitted through each region.
  • the phase modulation element 25 having a rotation angle shown in FIG. 4B the excitation light L1a passing through the opening 15a and the excitation light L1b passing through the opening 15b both pass through the region 25c, so that the excitation light L1a and the excitation light L1a No phase difference is added between L1b.
  • the excitation light L1a passes through the region 25c and the excitation light L1b passes through the region 25d, so that between the excitation light L1a and the excitation light L1b. Is added with a predetermined first phase difference (eg 2 ⁇ / 3 [rad]). Further, in the case of the phase modulation element 25 having a rotation angle shown in FIG. 4D, the excitation light L1a passes through the region 25c and the excitation light L1b passes through the region 25e, so that between the excitation light L1a and the excitation light L1b. Is added with a predetermined second phase difference (eg 4 ⁇ / 3 [rad]).
  • a predetermined first phase difference eg 2 ⁇ / 3 [rad]
  • the present invention is not limited to this, and a phase difference having a different value may be added between the excitation light L1a and the excitation light L1b at any of the three rotation angles. Also in this case, the phase difference added between the pumping light L1a and the pumping light L1b may be different from each other by 2 ⁇ /3 [rad] at the above three rotation angles, for example.
  • the phase difference added between the excitation light L1a and the excitation light L1b does not necessarily have to differ by 2 ⁇ / 3 [rad] at the above-mentioned three rotation angles.
  • the regions 25c to 25e of the phase modulation element 25 are not limited to those in which the thickness of the phase modulation element 25 itself is different for each region as described above, and the glass disk having a uniform thickness is used.
  • a thin film having a predetermined thickness may be formed in at least two regions.
  • the dichroic mirror 16 has a property that the excitation light L1 is reflected and the fluorescence L3 (later shown in FIG. 6) from the sample S is transmitted.
  • the excitation light L1 that has passed through the openings 15a and 15b of the mask 15 and the phase modulation element 25 is reflected by the dichroic mirror 16, the optical path is bent, and enters the relay optical system 17.
  • the relay optical system 17 guides the excitation light L1 from the dichroic mirror 16 to the optical path changing unit 18.
  • the relay optical system 17 is represented by one lens in the figure, the number of lenses included in the relay optical system 17 is not limited to one. Further, the relay optical system 17 may not be necessary depending on the distance of the optical system and the like. In addition, in each drawing, two or more lenses may be represented by one lens even in a portion other than the relay optical system 17.
  • the optical path changing unit 18 scans the interference fringe L2 of the excitation light L1 on the sample S in two directions, the X direction and the Y direction. That is, the optical path changing unit 18 sets the position where the interference fringes L2 are formed by the excitation light L1 with respect to the sample surface Sa in two directions intersecting the optical axis 21a of the objective lens 21 (in-plane direction of the sample surface Sa).
  • a scanning unit that is relatively changed is configured.
  • the optical path changing unit 18 includes a deflection mirror 18a and a deflection mirror 18b. The tilts of the deflection mirror 18a and the deflection mirror 18b with respect to the optical path of the excitation light L1 are variable.
  • the deflection mirror 18a and the deflection mirror 18b are a galvano mirror, a MEMS mirror, a resonant mirror (resonance type mirror), etc., respectively.
  • the deflection mirror 18a and the deflection mirror 18b may be scanners.
  • the deflection mirror 18a changes the position where the excitation light L1 is incident on the sample S in the X direction.
  • the deflection mirror 18b changes the position on the sample S where the excitation light L1 is incident in the Y direction.
  • the optical path changing unit 18 sets, for example, the position conjugate with the pupil plane P0 of the objective lens 21 to be the position of the deflection mirror 18a, the position of the deflection mirror 18b, or the position between the deflection mirror 18a and the deflection mirror 18b. Will be placed.
  • the optical path changing unit 18 may be configured such that the deflection mirror 18a changes the position where the excitation light L1 is incident on the sample S in the Y direction and the deflection mirror 18b changes in the X direction.
  • the excitation light L1 from the optical path changing unit 18 enters the lens 19.
  • the lens 19 focuses the excitation light L1 on the sample conjugate surface Sb which is optically conjugate with the sample surface Sa with respect to the objective lens 21 and the lens 20.
  • the sample surface Sa is a surface that is arranged at a position near the front focal point or the front focal point of the objective lens 21 and is perpendicular to the optical axis 21a of the objective lens 21.
  • Interference fringes L2 are formed on the sample conjugate surface Sb by interference between the excitation light L1a passing through the opening 15a of the mask 15 and the excitation light L1b passing through the opening 15b.
  • the excitation light L1 that has passed through the sample conjugate surface Sb is incident on the lens 20.
  • the lens 20 converts the excitation light L1 into parallel light.
  • the excitation light L1 that has passed through the lens 20 passes through the pupil surface P0 of the objective lens 21.
  • the objective lens 21 focuses the excitation light L1 on the sample surface Sa.
  • the lens 20 and the objective lens 21 project the interference fringes formed on the sample conjugate surface Sb onto the sample surface Sa. Local interference fringes L2 are formed on the sample surface Sa.
  • the interference fringe L2 includes a bright portion having a relatively high light intensity and a dark portion having a relatively low light intensity.
  • the direction in which the bright part and the dark part are lined up (X direction in FIG. 1) is appropriately referred to as the periodic direction D1 of the interference fringes L2.
  • the periodic direction D1 of the interference fringe L2 corresponds to the direction in which the openings 15a and 15b of the mask 15 are arranged (Xa direction in FIG. 1).
  • the mask driving unit 22 rotates the mask 15 around the Za direction, the direction in which the openings 15a and 15b are aligned rotates, and the periodic direction D1 of the interference fringe L2 rotates around the Z direction. That is, the mask driving unit 22 is included in the fringe direction changing unit that changes the direction of the interference fringe L2.
  • the mask driving unit 22 (stripe direction changing unit) is a direction in which two or more light beams are arranged in a plane perpendicular to the optical axis 4a of the illumination optical system 4 (for example, a surface on the light emission side of the mask 15) (hereinafter, a light beam division direction). ) Is changed.
  • the above-described light beam splitting direction is, for example, a direction in which the opening 15a and the opening 15b are aligned, and the mask driving unit 22 changes the light beam splitting direction by rotating the mask 15.
  • the mask driving unit 22 rotates the polarizer 14 in conjunction with the mask 15 to change the direction of the transmission axis of the polarizer 14, and adjusts the excitation light L1 to enter the sample S as S-polarized light. .. That is, the polarizer 14 and the mask driving unit 22 are included in the polarization adjusting unit that adjusts the polarization state of the excitation light L1 based on the direction of the interference fringe L2.
  • FIG. 3 is a diagram showing the mask, the polarizer, the interference fringes, and the polarization state of the excitation light in the first embodiment.
  • the direction in which the openings 15a and 15b of the mask 15 are arranged is the Xa direction.
  • the transmission axis 14a of the polarizer 14 is in the Ya direction perpendicular to the Xa direction.
  • the excitation light L1 in the excitation light L1 (see FIG. 1), the light flux passing through the opening 15a and the light flux passing through the opening 15b are incident on the sample S to generate the interference fringes L2 in the periodic direction D1.
  • the excitation light L1 incident plane is parallel to the XZ plane.
  • the excitation light L1 when incident on the sample S is in the Y direction whose polarization direction D2 is perpendicular to the incident surface, that is, the excitation light L1 is incident on the sample S with S polarization.
  • the direction in which the openings 15a and 15b of the mask 15 are aligned is the direction obtained by rotating the Xa direction counterclockwise by 120°.
  • the transmission axis 14a of the polarizer 14 is a direction in which the Ya direction is rotated counterclockwise by 120 °.
  • the periodic direction of the interference fringe L2 is a direction rotated 120° counterclockwise with respect to the X direction.
  • the incident surface of the excitation light L1 is a surface obtained by rotating the XZ plane by 120 ° around the Z direction.
  • the excitation light L1 when entering the sample S has a polarization direction D2 perpendicular to the incident surface, that is, the excitation light L1 enters the sample S as S-polarized light.
  • the direction Xa in which the openings 15 a and 15 b of the mask 15 are arranged is rotated counterclockwise by 240°.
  • the transmission axis 14a of the polarizer 14 is a direction in which the Ya direction is rotated counterclockwise by 240 °.
  • the periodic direction D1 of the interference fringe L2 is a direction rotated counterclockwise by 240° with respect to the X direction.
  • the incident surface of the excitation light L1 is a surface obtained by rotating the XZ plane by 240 ° around the Z direction.
  • the excitation light L1 when entering the sample S has a polarization direction D2 perpendicular to the incident surface, that is, the excitation light L1 enters the sample S as S-polarized light.
  • the periodic direction of the interference fringe L2 is changed in three ways in increments of 120 °, but the periodic direction of the interference fringe L2 is not limited to this example.
  • the periodic direction of the interference fringes L2 corresponds to a direction in which the resolution can be improved (a direction in which the super-resolution effect can be obtained) in the output image generated by the image processing unit 7 described later.
  • the periodic direction of the interference fringe L2 is appropriately set so that a desired super-resolution effect can be obtained.
  • the periodic directions of the interference fringes L2 may be two or one at an angle of 90 ° to each other.
  • the mask 15 may be replaceable according to the magnification and NA (numerical aperture) of the objective lens 21 and the shape of the illumination pupil.
  • the positions of the excitation light L1a and the excitation light L1b with respect to the phase modulation element 25 shown in FIGS. 4A to 4C are set so that the optical axis 12a (center Cn of the phase modulation element 25) is rotated by the rotation of the mask 15. Rotate as the center. Therefore, when the mask 15 is rotated, the phase modulation element driving unit 26 also rotates the phase modulation element 25 by the same angle as the mask 15 about the center Cn in the above-described three states of the rotation angle.
  • FIG. 5 is a diagram showing a plurality of phase states of the interference fringe L2.
  • FIG. 5A is a diagram showing the phase state of the interference fringes L2a when the phase difference between the excitation light L1a and the excitation light L1b is 0.
  • FIG. 5B is a diagram showing the phase state of the interference fringes L2b when the phase difference between the excitation light L1a and the excitation light L1b is 2 ⁇ / 3 [rad.
  • FIG. 5C is a diagram showing the phase state of the interference fringes L2c when the phase difference between the excitation light L1a and the excitation light L1b is 4 ⁇ / 3 [rad].
  • the distribution shown by the broken line is an envelope (envelope) Ga representing the outer shape of the interference fringe L2, and the shape thereof is a Gaussian distribution as an example.
  • the width is determined by the diameters of the excitation light L1a and the excitation light L1b shown in FIG.
  • the distributions CSa, CSb, and CSc shown by the dotted lines indicate the square of the COS function with respect to the position on the horizontal axis (hereinafter referred to as COS square distribution), and the phase (position in the horizontal direction in the figure) is the excitation light. It is determined by the phase difference formed between L1a and the excitation light L1b.
  • the light intensity distribution (L2a, L2b, L2c) of the interference fringes L2 in each of FIGS. 5 (A) to 5 (C) is the product of the envelope Ga and the COS square distribution CSa, CSb, CSc. expressed.
  • the envelope Ga does not change, but the phases of the COS square distributions CSa, CSb, and CSc change.
  • the phase of the light-dark change of the interference fringes L2 (L2a, L2b, L2c), which is the product of them, also changes.
  • the envelope (envelope) Ga of the interference fringe L2 does not change (move).
  • the envelope Ga and the COS square distributions CSa, CSb, and CSc move integrally by the same amount of movement, so that the interference fringes move.
  • the envelope (envelope) of L2 also changes (moves).
  • FIG. 6 is a diagram showing the microscope and the optical path of fluorescence in the first embodiment.
  • the detection optical system 5 forms an image of the fluorescence L3 generated in the sample S.
  • the detection optical system 5 includes an objective lens 21, a lens 20, a lens 19, an optical path changing unit 18, a relay optical system 17, a dichroic mirror 16, and a lens 23 in the order from the sample S to the detection device 6.
  • the fluorescence L3 generated in the sample S passes through the objective lens 21, the lens 20, and the lens 19 in this order and enters the optical path changing unit 18.
  • the fluorescence L3 is descanned by the optical path changing unit 18, passes through the relay optical system 17, and enters the dichroic mirror 16.
  • the dichroic mirror 16 has the property of transmitting the fluorescence L3.
  • the fluorescence L3 transmitted through the dichroic mirror 16 enters the lens 23.
  • the lens 23 concentrates the fluorescence L3 on the detection device 6.
  • the detection device 6 is an image sensor and includes a plurality of detection units 6a arranged two-dimensionally.
  • the plurality of detection units 6a are arranged in two directions, the Xb direction and the Yb direction.
  • Each of the plurality of detection units 6a is a sensor cell including a photoelectric conversion element such as a photodiode, a pixel, or a photodetector.
  • Each of the plurality of detection units 6a can detect the fluorescence L3.
  • the detection unit 6a corresponds to, for example, one pixel, but a detection region (light receiving region) including a plurality of pixels may be used as one detection unit 6a.
  • step S101 the control unit CB of the microscope 1 drives the mask driving unit 22 to set the polarizer 14 and the mask 15 at a predetermined rotation angle, and sets the interference fringes L2 in a predetermined direction.
  • step S102 the control unit CB drives the phase modulation element drive unit 26 to set the phase modulation element 25 to a predetermined rotation angle, and sets the phase of the interference fringe L2 to a predetermined value.
  • step S103 the control unit CB sets the optical path changing unit 18 (scanning mirrors 18X, 18Y) to a predetermined setting (angle), and in step S104, the interference fringe L2 is set to a predetermined position of the optical path changing unit 18 sample surface Sa. And the fluorescent substance of the sample S is excited by the interference fringe L2.
  • step S105 the plurality of detection units 6a of the detection device 6 each detect the fluorescence L3 from the sample S.
  • the intensity information of the fluorescence L3 detected by the plurality of detection units 6a of the detection device 6 which is a two-dimensional image sensor is transmitted to the image processing unit 7.
  • the image processing unit 7 has set conditions for the optical path changing unit 18 corresponding to the position of the interference fringes L2 on the sample surface Sa when the intensity information of the fluorescence L3 is acquired, the phase of the interference fringes L2, and the interference fringes L2. Information about the direction is also transmitted together.
  • step S106 the control unit CB determines whether or not the setting of the optical path changing unit 18 (angles of the scanning mirrors 18X and 18Y) needs to be changed. If the scanning of the desired area on the sample surface Sa has not been completed, the step is performed. Returning to S103, the setting of the optical path changing unit 18 is changed to change the illumination area.
  • the microscope 1 repeats the process of detecting the fluorescence and the process of changing the illumination region to scan the desired region and acquire the fluorescence intensity distribution (measurement value of the detection device 6) in the desired region.
  • step S107 it is determined whether the phase of the interference fringe L2 needs to be changed. If the change is necessary, the process returns to step S102 to change the phase of the interference fringe L2, that is, the rotation angle of the phase modulation element 25. , Step S103 and the subsequent steps are executed again.
  • step S107 it is determined whether the phase of the interference fringes L2 need not be changed.
  • step S108 The image processing (image processing 1) step of step S108 is mainly performed by the image processing unit 7.
  • the process of image processing (image processing 1) in step S108 will be described in detail later.
  • step S109 it is determined whether or not the direction of the interference fringe L2 needs to be changed. If the change is necessary, the process returns to step S101 to change the direction of the interference fringe L2, that is, the rotation direction of the polarizer 14 and the mask 15. Then, step S102 and subsequent steps are executed again.
  • the image acquisition flow ends. If it is sufficient to acquire the image (fluorescence intensity distribution) only in one direction of the interference fringe L2, it is not necessary to determine in step S109 whether or not the direction of the interference fringe L2 needs to be changed.
  • Image processing 1 In the image processing 1 of step S108, the image processing unit 7 generates an output image based on the detection result of each detection unit 6a of the detection device 6 obtained as described above.
  • the processing executed by the image processing unit 7 will be described.
  • the coordinate system is appropriately described by a position vector.
  • scan coordinates (xs, ys)
  • position vector ks. (kxs,kys)
  • the wave number may be referred to as spatial frequency or frequency.
  • magnification of the detection optical system 5 is assumed to be 1 for convenience of description, but any magnification may be used.
  • the numerical aperture on the sample surface Sa side of the detection optical system 5 including the objective lens 21 is NA
  • the illumination light wavelength is ⁇ ex
  • the wavelength of the fluorescence L3 is ⁇ em
  • the pupil radius kNAex of the objective lens 21 when excitation light is incident is represented by the following equations (1) and (2).
  • the electric field amplitudes of the pupil plane and the image plane are connected by the Fourier transform, so the coordinates of the pupil position may be expressed by wave number coordinates.
  • kNAex and kNAem each represent the value of the pupil radius when the pupil is represented by wave number coordinates.
  • the pupil plane P0 is represented by a wave number coordinate space (frequency space).
  • the area inside the circle indicated by the dotted line in FIG. 2C is the pupil of the objective lens 21, and kNAex is the pupil radius of the objective lens 21.
  • the region P0a and the region P0b on which the excitation light L1 is incident are assumed to be circular here respectively, but are not limited to circular.
  • the radius of each of the region P0a and the region P0b is ⁇ kNAex.
  • is the ratio of the radius of the area P0a or the area P0b to the pupil radius of the objective lens 21.
  • the distance from the optical axis 21a of the objective lens 21 to the center of the region P0a is (1- ⁇ )kNAex.
  • the distance from the optical axis 21a of the objective lens 21 to the center of the region P0b is (1- ⁇ )kNAex.
  • the distance between the center of the region P0a and the center of the region P0b is, for example, 2(1- ⁇ )kNAex, but is not limited to this value.
  • the intensity (square of the electric field) ill(r) of the excitation light on the sample surface Sa is represented by the following equation (3).
  • PSFill (r) is a point spread function when the numerical aperture of the optical system is ⁇ NA.
  • the interval of the interference fringes L2 is appropriately referred to as a fringe interval or a period of the interference fringes L2.
  • is the phase of the change in brightness of the interference fringe L2, and is hereinafter simply referred to as the phase of the interference fringe L2.
  • the phase ⁇ can be changed by the phase modulation element 25.
  • the distribution of illumination light on the pupil plane of the illumination optical system as shown in FIG. 2C is called an illumination pupil.
  • the illumination pupil shown in FIG. 2C is called a dipole because the illumination light is concentrated and distributed in two regions.
  • the fluorescent substance contained in the sample S is excited by the excitation light L1, and the excited fluorescent substance emits the fluorescence L3.
  • each detection unit 6a of the detection device 6 receives the fluorescence L3 and images an image of the fluorescent substance formed by the detection optical system 5 to acquire image data.
  • the size of the detection unit 6a of the detection device 6 is smaller than the size corresponding to the cycle of the interference fringes L2 in the detection device 6 (the length on the detection device 6 corresponding to one cycle). Is small enough.
  • the size of the detection unit 6a is set to about ⁇ em/4NA.
  • the distribution of the fluorescent substance in the sample S is represented by Obj (r)
  • the image data obtained by each detection unit 6a of the detection device 6 is represented by I (r, rs).
  • r is the detector coordinate of each detection unit 6a as described above.
  • I(r,rs) is represented by the following equation (4).
  • PSFdet(r) is a detection PSF determined by the detection optical system 5 including the objective lens 21 and the fluorescence wavelength ⁇ em.
  • PSFeff(r,rs) is an effective PSF defined by the following equation (5).
  • FIG. 9 is a diagram showing an effective PSF in each detection unit of the detection device according to the first embodiment.
  • the horizontal axis is the Xb direction of the detection device 6.
  • Each of the three graphs in FIG. 9(A) represents the effective PSF (solid line) for the three detection units 6a whose coordinates in the Xb direction are different from each other.
  • the graph in the center of FIG. 9A represents the distribution Q1a (solid line) corresponding to the effective PSF of the detection unit 6a arranged at the position X1a.
  • the graph on the left side of FIG. 9A represents the distribution Q1b (solid line) corresponding to the effective PSF of the detection unit 6a arranged at the position X1b.
  • the graph on the right side of FIG. 9A represents the distribution Q1c (solid line) corresponding to the effective PSF of the detection unit 6a arranged at the position X1c.
  • the reference numeral Q2 corresponding to the broken line in FIG. 9 is a distribution corresponding to the intensity distribution of the interference fringe L2 shown in FIG.
  • the code Ga corresponding to the dotted line in FIG. 9 represents an envelope (envelope) representing the outer shape of the intensity distribution of the interference fringe L2, as shown in FIG.
  • the period of the intensity distribution Q2 of the interference fringes L2 and the period of the array of the three detection units 6a generally do not match.
  • the positions where the intensity of the interference fringes L2 is maximized, that is, the peak positions X2a, X2b, and X2c of the distribution Q2 can be obtained in advance by numerical simulation or the like.
  • Distribution Q2 includes partial distributions Q2a, Q2b, and Q2c.
  • the distribution Q2a is a distribution in the range from the minimum position before the peak position X2a to the next minimum position.
  • the distribution Q2b is a distribution in the range from the minimum position before the peak position X2b to the next minimum position.
  • the distribution Q2c is a distribution in the range from the minimum position before the peak position X2c to the next minimum position.
  • reference signs Q3a, Q3b, and Q3c corresponding to the two-dot chain line in FIG. 9 are distributions corresponding to the detection optical system 5 including the objective lens 21 and the detection PSF determined by the fluorescence wavelength ⁇ em.
  • the detected PSF corresponds to PSFdet(r) such as equation (4).
  • the distribution Q3a shown in the central graph of FIG. 9A is a distribution corresponding to the detection PSF of the detection unit 6a arranged at the position X1a among the plurality of detection units 6a.
  • the distribution Q3a has a maximum (peak) at the position X1a where the detector 6a is arranged (eg, the center position of the light receiving region of the detector 6a).
  • the position X1a is almost the same as the peak position X2a of the distribution Q2a corresponding to the intensity distribution of the interference fringe L2.
  • the distribution Q1a corresponding to the effective PSF is a distribution obtained by multiplying the distribution Q2 corresponding to the intensity distribution of the interference fringes L2 and the distribution Q3a corresponding to the detected PSF of the detection unit 6a arranged at the position X1a.
  • the position X1a of the detection unit 6a that is, the peak position of the detected PSF (peak position of the distribution Q3a) is deviated from the peak position X2a of the distribution Q2a corresponding to the intensity distribution of the interference fringe L2.
  • the amount is smaller than the predetermined value (for example, the shift amount is almost 0).
  • the effective PSF distribution Q1a has a single maximum (peak).
  • the peak position of the distribution Q1a is almost the same as the position X1a of the detection unit 6a or the peak position X2a of the distribution Q2a corresponding to the intensity distribution of the interference fringes L2.
  • the distribution Q3b shown in the graph on the left side of FIG. 9A is a distribution corresponding to the detection PSF of the detection unit 6a arranged at the position X1b among the plurality of detection units 6a.
  • the distribution Q3b reaches a maximum (peak) at the position X1b where the detection unit 6a is arranged (for example, the center position of the light receiving region of the detection unit 6a).
  • the position X1b deviates from the peak position X2b of the partial distribution Q2b including the position X1b in the distribution Q2 corresponding to the intensity distribution of the interference fringes L2.
  • the distribution Q1b corresponding to the effective PSF is a distribution obtained by multiplying the distribution Q2 corresponding to the intensity distribution of the interference fringe L2 and the distribution Q3b corresponding to the detected PSF of the detection unit 6a arranged at the position X1b.
  • the position X1b of the detector 6a that is, the peak position of the detected PSF (peak position of the distribution Q3b) is deviated from the peak position X2b of the distribution Q2b corresponding to the intensity distribution of the interference fringe L2.
  • the amount is larger than the predetermined value.
  • the distribution Q1b of the effective PSF has two maxima (peaks).
  • the peak of the effective PSF may be divided into two depending on the position of the detection unit 6a, and such a change in the shape of the effective PSF is called a collapse of the shape of the effective PSF.
  • the beak with the strongest effective PSF is called the main lobe, and the other peaks are called the side lobes.
  • the peak position of the main lobe of the effective PSF distribution Q1b deviates from the center position (X2a) of the detection device 6a. As described above, it can be seen that the position of the main lobe of the effective PSF also shifts due to the relationship between the position (r) of the detection unit 6a of the detection device 6 and the position of the intensity distribution of the interference fringe L2.
  • the displacement of the main lobe of the effective PSF is appropriately referred to as the displacement of the effective PSF.
  • the distribution Q3c shown in the graph on the right side of FIG. 9A is a distribution corresponding to the detection PSF of the detection unit 6a arranged at the position X1c among the plurality of detection units 6a.
  • the distribution Q3c has a maximum (peak) at the position X1c where the detector 6a is arranged (eg, the center position of the light receiving region of the detector 6a).
  • the position X1c deviates from the peak position X2c of the partial distribution Q2c including the position X1c in the distribution Q2 corresponding to the intensity distribution of the interference fringes L2.
  • the distribution Q1c corresponding to the effective PSF is a distribution obtained by multiplying the distribution Q2 corresponding to the intensity distribution of the interference fringes L2 and the distribution Q3c corresponding to the detected PSF of the detection unit 6a arranged at the position X1c.
  • the position X1c of the detection unit 6a that is, the peak position of the detected PSF (peak position of the distribution Q3c) deviates from the peak position X2c of the distribution Q2c corresponding to the intensity distribution of the interference fringe L2.
  • the amount is larger than the predetermined value.
  • the distribution Q1b of the effective PSF has two maximums (peaks), the shape of the effective PSF is deformed, and the position of the effective PSF is displaced.
  • the image processing unit 7 has the interference fringes so that the peak position of the partial distribution of the intensity distribution of the interference fringes L2 (eg, Q2b shown in the graph on the left side of FIG. 9A) matches the position of the detection unit 6a.
  • the phase of the intensity distribution of L2 is effectively shifted by image processing described later.
  • FIG. 9B shows an effective PSF for each detection unit 6a after the phase is effectively shifted by image processing.
  • the distribution Q2f is a distribution obtained by shifting the phase of the distribution Q2 so that the peak position X2b of the distribution Q2b of FIG. 9A matches the position X1b of the detection unit 6a. is there. Even if the phase distribution of the distribution Q2 is shifted, the envelope Ga of the distribution Q2 is not moved in the Xb direction. That is, in this image processing, the phase of the distribution Q2 included inside the envelope Ga is changed while maintaining the position of the envelope Ga of the distribution Q2 in the Xb direction.
  • Reference numeral Q1f is a distribution corresponding to the effective PSF obtained from the distribution Q2f whose phase is shifted and the detected PSF (distribution Q3b) of the detection unit 6a arranged at the position X1b. In the distribution Q1f, the collapse of the shape of the effective PSF is reduced.
  • the distribution Q2g has the phase of the distribution Q2 shifted so that the peak position X2c of the distribution Q2c of FIG. 9A matches the position X1c of the detection unit 6a. It is a distribution.
  • the peak position X2g of the distribution Q2g substantially coincides with the position X1c of the detection unit 6a.
  • Reference numeral Q1g is a distribution corresponding to the effective PSF obtained from the distribution Q2g having the shifted phase and the detected PSF (distribution Q3c) of the detection unit 6a arranged at the position X1c. In the distribution Q1g, the collapse of the shape of the effective PSF is reduced.
  • the shape of the effective PSF (solid line) for each detection unit 6a is corrected so as to be substantially the same.
  • the image processing unit 7 generates an output image using the intermediate image of each detection unit 6a having the effective PSF corrected to have substantially the same shape.
  • the image processing unit 7 further corrects the result of correcting the collapse of the effective PSF for each detecting unit 6a as described above, and further shifts the position of the intermediate image for each detecting unit 6a (the peak position of the effective PSFeff or the position of the main lobe). Misalignment) is corrected.
  • the misalignment of the intermediate image for each detection unit 6a can be obtained by theoretical calculation using various design values or from an image captured by the detection device 6 for a small object such as fluorescent beads.
  • the effective PSFs of the intermediate images obtained by the selected detection units 6a can be made substantially the same in shape and position.
  • the PSFeff of the intermediate image thus obtained can be approximately regarded as equivalent to the PSFeff of the detection unit (detection unit located on the optical axis) at the center position of the detection device 6. Details of the image processing for correcting the collapse of the effective PSF and the image processing for correcting the positional deviation of the intermediate image for each detection unit 6a will be described later.
  • the image processing unit 7 generates an output image by adding intermediate images acquired by each detection unit 6a and corrected to have substantially the same shape by PSFeff by the above image processing.
  • the image processing unit 7 can generate an output image (super-resolution image) ISR(rs) with good resolution and S/N ratio because the PSFeffs of the images to be added are almost the same.
  • the amount of signals can be increased by widening the range of the detection unit 6a used for generating the output image (super-resolution image) ISR (rs). Further, if the range of the detection unit 6a used for generating the output image (super-resolution image) ISR(rs) is narrowed, the sectioning ability can be increased.
  • FIG. 8 is a flowchart showing a processing flow of image processing 1 which is an example of image processing.
  • the image processing unit 7 selects one detection unit 6a from the plurality of detection units 6a and starts the image processing of the image acquired by the detection unit 6a.
  • equation (6) is specified as an argument and written as I (r, rs; ⁇ ) in order to clarify the dependence of phase ⁇ .
  • the image processing unit 7 scans the interference fringes L2 in a predetermined phase in the selected detection unit 6a, which corresponds to the left side of the equation (6), and obtains image data I (r, rs; ⁇ ).
  • 2D-FFT two-dimensional Fourier transform
  • a OTF'det (r, k s) e i2 ⁇ ksr OTFdet (k s).
  • OTFdet is the Fourier transform of PSFdet and represents the OTF of the detection optical system
  • OTFill is the Fourier transform of PSFill
  • Obj 1 to Obj are Fourier transforms of Obj.
  • the expression (7) is the sum of three terms. As shown in the following expression (8), each term is converted into the 0th order component I 1 to 0 (r, ks) and the +1st order component I 1 to +1 ( r, ks), -1st order component I ⁇ -1 (r, ks). ... Equation (8)
  • the 0th-order component I 1 to 0 (r,ks) and the +1st-order component I obtained as a result of the two-dimensional Fourier transform of the image data I(r,rs; ⁇ ) obtained by scanning the interference fringes L2.
  • ⁇ +1 (r, ks) and -1 order component I ⁇ -1 (r, ks) spread in the frequency space and overlap each other, so it is difficult to clearly separate them in the data. Is.
  • I 1 to 0 (r,ks), I 1 to +1 (r,ks), and I to ⁇ 1 (r,ks) can be obtained by using the following formula (11). .. ... Equation (11)
  • the equations (11) are given as ⁇ 1, ⁇ 2, and ⁇ 3. It can be seen that the inverse matrix in () should be set so that it exists.
  • ⁇ 1, ⁇ 2, and ⁇ 3 are 0, 2 ⁇ /3, 4 ⁇ /3 [rad], that is, they have a phase difference of 2 ⁇ /3 [rad] with each other. You can set it.
  • the values of ⁇ 1, ⁇ 2, and ⁇ 3 are not limited to the above values, but the mutual phase difference of ⁇ 1, ⁇ 2, and ⁇ 3 is between ⁇ /18 and 17 ⁇ /18 depending on the assumed S/N of the image. Should be set to.
  • step 123 on the basis of such a principle, the 0th order component I 1 to 0 (r,ks), the +1st order component I 1 to +1 (r,ks), and the ⁇ 1st order component I 1 to ⁇ 1 (r,ks). ) Is separated and extracted. That is, under the phase ⁇ of the interference fringes L2 of a plurality of types (three as an example), each of the plurality of images acquired by scanning the interference fringes L2 on the sample surface Sa by the optical path changing unit 18 is obtained. Fourier transform the image at scan coordinates rs.
  • each of the 0th-order component I to 0 (r, ks), the + 1st-order component I to +1 (r, ks), and the -1st-order component I to -1 (r, ks) are subjected to wave number coordinates ks ( Inverse Fourier transform (2D-inverse FFT) is performed on the wave number coordinate after the Fourier transform at the scan coordinate rs.
  • I 0 (r, rs), I +1 (r, rs), and I ⁇ 1 (r, rs) obtained by inverse Fourier transforming each of them are equivalent to the following Expression (12). ... Expression (12)
  • step S125 correction processing is performed to shift the phase of the interference fringe L2 in an image processing manner according to the coordinates of the detection unit 6a.
  • this correction process is performed by multiplying each of the above ⁇ primary components by the image processing phase shift amount ⁇ ⁇ (r) according to the detector coordinates r of the detection unit 6a.
  • the amount of phase shift of the interference fringe L2 for the above correction is determined as follows, for example.
  • the image processing unit 7 calculates the positional deviation amount of the signal detected at the detector coordinate r.
  • the image processing unit 7 calculates the above-described positional deviation amount by, for example, previously obtaining a peak position of a function obtained by the product of PSFdet(r+rs) and PSFill(rs) by simulation.
  • the position deviation of the effective PSF is proportional to the detector coordinate r, and the parameter indicating the degree of the position deviation is ⁇ , and the position deviation amount is represented by r/ ⁇ .
  • the value of ⁇ may be calculated from the peak position of the function obtained by the product of PSFdet(r+rs) and PSFill(rs), or may be calculated by another numerical simulation.
  • the amount of phase shift according to the detector coordinates is determined.
  • the image processing phase shift amount ⁇ (r) of the interference fringe L2 is determined so that the peak position of the function obtained by the product of PSFdet(r+rs) and PSFill(rs) coincides with the peak position of the interference fringe L2. ..
  • k0 is the wave number vector of the interference fringe L2.
  • the image processing unit 7 determines the amount of phase conversion (image processing phase shift amount) based on the light intensity distribution of the excitation light in the sample S.
  • the image processing unit 7 determines the image processing phase shift amount based on the intensity (square of the electric field) ill(r) of the excitation light on the sample surface Sa as the light intensity distribution of the excitation light on the sample S.
  • the image processing unit 7 After performing the phase shift process as described above, the image processing unit 7 performs a process of correcting the positional deviation of the effective PSF for each detection unit 6a in step S126. When the positional deviation correction process is performed, the effective PSFs of the intermediate images of the detection units 6a of the detection device 6 become substantially the same. In step S127, the image processing unit 7 adds an intermediate image for each detection unit 6a of the detection device 6 to generate an output image (super-resolution image) ISR(rs). This series of processing is represented by the following equation (15).
  • Equation (16) PH (r) is a pinhole function defined by equation (16) below. ... Equation (16)
  • the PSFSR (rs) which is the effective PSF of the output image (super-resolution image) ISR (rs) obtained by the calculation of the equation (15), is represented by the following equation (17).
  • step S1208 the image processing unit 7 determines whether or not the selected detection unit 6a needs to be changed. That is, in the processing so far, when unprocessed image data remains among the image data acquired by the detection unit 6a to be image-processed, the process returns to step S121, the predetermined detection unit 6a is selected, and the image data is selected. The process after step S122 is continued. On the other hand, if all the image data acquired by the detection unit 6a to be image-processed have been processed, the image processing unit 7 ends the processing of the image processing 1 and returns to step S109 in FIG. 7.
  • the number of bright parts is four. It is also known that when the pinhole of a normal confocal microscope is narrowed down sufficiently, the full width at half maximum of the PSF is 1.4 times narrower and the resolution is better than that of a normal fluorescence microscope.
  • the full width at half maximum of PSF is 1.5 times or more narrower than that of a normal fluorescence microscope. That is, in the embodiment, it is desirable that the bright portions included in the periodic direction of the interference fringe L2 be 3 or more.
  • the ratio ⁇ of the radius of the region P0a and the region P0b to the pupil radius of the objective lens 21 is 0.4 or less, and the region P0a and the region P0b are as much as possible of the objective lens. It is desirable to be located at the outer edge of the pupil radius of 21.
  • the outer circumferences of the regions P0a and the region P0b are in contact with the outer circumference of the pupil of the objective lens 21, or at least partially outside the outer circumference of the pupil of the objective lens 21. These are the same in other embodiments described below.
  • the scan interval and the interval of the detection unit 6a of the detection device 6 may be set based on the cutoff frequency and the Nyquist theorem.
  • the scan interval may be set to ⁇ ex/8NA or less in the periodic direction of the interference fringe L2. Further, the scan interval may be set to ⁇ ex/4NA or less in the direction perpendicular to the periodic direction of the interference fringes L2. Further, the interval between the detection units 6a of the detection device 6 may be set to ⁇ em/4NA or less.
  • the effective OTF can be obtained by Fourier transforming the above equation (17).
  • the OTF expands in the direction of the interference fringe L2 and has a cutoff frequency up to 2k cut conv .
  • the excitation wavelength and the fluorescence wavelength are assumed to be equal to ⁇ .
  • the OTF in the embodiment is a combination of the OTF of the ordinary fluorescence microscope and the component of the OTF of the ordinary fluorescence microscope shifted in the periodic direction of the interference fringes L2.
  • the microscope 1 of the embodiment improves the resolution of the interference fringes L2 in the periodic direction (X direction in FIG. 1).
  • the microscope 1 can also improve the resolution two-dimensionally by detecting the fluorescence from the sample S by changing the periodic direction of the interference fringes L2. Therefore, after the image processing in step S109 is completed, in step S109, as described above, it is determined whether or not the direction of the interference fringe L2 needs to be changed. If the change is necessary, the process returns to step S101, and the interference fringe L2 The direction, that is, the rotation direction of the polarizer 14 and the mask 15 is changed, and step S102 and subsequent steps are executed again.
  • the image processing unit 7 may generate the final output image that is a super-resolution image by the following processing.
  • the image processing section 7 performs Fourier transform super-resolution image I SRx (r s) and a super-resolution image I SRy the (r s) for each scan coordinate rs.
  • it represents those super-resolution image I SRx the (r s) obtained by Fourier transform in I ⁇ SRx (k s).
  • I ⁇ SR_x (k s) as compared to conventional fluorescence microscope, the cutoff frequency is increased with respect to the periodic direction of the interference fringes (X direction). Also, I ⁇ SRy (k s), as compared to conventional fluorescence microscope, the cutoff frequency is increased with respect to the periodic direction of the interference fringes (Y-direction).
  • the image processing section 7 adds up the I ⁇ SRx (k s) and I ⁇ SRy (k s). This increases the cutoff frequency in the two directions (X direction and Y direction).
  • the added effective OTF shape may be distorted depending on the combination of the directions that change the periodic direction of the interference fringes L2.
  • the image processing unit 7 may apply a frequency filter for correcting the shape of the effective OTF.
  • the image processing unit 7 performs an inverse Fourier transform on the above-mentioned added, added, and filtered data in the frequency space to generate a final output image.
  • it is possible to improve the resolution of the effective final output image than if summing the I SRx (r s) and I SRy (r s).
  • the change of the period direction of the interference fringe L2 is not limited to the above-mentioned two ways of 0° and 90°, and as described in FIG. 3, the period direction is changed to three ways of 0°, 120°, and 240°.
  • the detection device 6 may detect the fluorescence L3 for each of them.
  • the image processing unit 7 may generate the final output image by using the three detection results (for example, three images) detected by the detection device 6 in three different cycle directions. Also in this case, similarly to the above, the image processing unit 7 can obtain the final super-resolution image ISR by adding the three output image ISRs as they are.
  • the three output image ISRs can be Fourier transformed with the scan coordinates rs, added in the frequency space, processed by the frequency filter, and then Fourier inverse transformed to obtain the final output image ISR.
  • the microscope 1 scans the interference fringes L2 two-dimensionally by scanning the interference fringes L2 in two directions parallel to the sample surface Sa.
  • the microscope 1 of the embodiment may scan the interference fringes L2 three-dimensionally by scanning the interference fringes L2 in two directions parallel to the sample surface Sa and in one direction perpendicular to the sample surface Sa.
  • the process of scanning the interference fringes L2 in two directions parallel to the sample surface Sa (hereinafter, referred to as two-dimensional process) is the same as the process described in the above embodiment. is there.
  • the microscope 1 can generate, for example, a three-dimensional super-resolution image by changing the position in the Z direction and repeating the two-dimensional processing. Similarly in the embodiments described later, the microscope 1 may three-dimensionally scan the interference fringes L2.
  • the direction of the interference fringe L2 is first set, then the phase of the interference fringe L2 is set, and finally the scanning position of the interference fringe L2 (setting of the optical path changing unit 18) is set.
  • the configuration is changed, but the order of these settings is not limited to this.
  • the phase of the interference fringe L2 may be set first, and then the direction of the interference fringe L2 may be set, or the settings may be made in another order.
  • the image processing 1 of step S108 an image obtained by scanning a desired region under a plurality of phase conditions of the interference fringes L2 is required. Therefore, the image processing 1 of step S108 is performed after acquiring the image of the desired region on the sample surface Sa under a plurality of phase conditions.
  • each of the ⁇ first-order components contains a small amount of the other component, but in actual microscopic observation, such a small component is buried in noise, which is a practical problem. Does not occur. In this way, component separation can be performed even in the two-phase shift.
  • phase shift of 4 or more In the example of the image processing described above, the method of separating the 0th-order component and the ⁇ 1st-order component when the phase shift is performed twice (2 phase shifts) or three times (3 phase shifts) has been described.
  • the number of phase shifts may be four or more.
  • the phase shift amounts are, for example, 0, 2 ⁇ /N, 4 ⁇ /N,..., 2 ⁇ (N ⁇ 1)/N [rad], respectively.
  • a simultaneous equation similar to the equation (9) can be established for images captured in each phase. However, the number of simultaneous equations is N.
  • I 1 to 0 (r,ks), I 1 to +1 (r,ks), and I to -1 (r,ks) can be obtained from the N simultaneous equations. Is possible. In this way, the components can be separated even when the phase shift is N times. The image processing after the component separation is the same as the case of the above-mentioned three-phase shift.
  • FIG. 10 is a diagram showing a configuration in the vicinity of the dichroic mirror 16 of the microscope of the second embodiment.
  • the microscope of the second embodiment is the same as the microscope of the first embodiment shown in FIG. 1 except for the portion shown in FIG.
  • the microscope of the second embodiment includes, as the phase modulation element, the partial reflectors 25f and 25 g shown in FIG. 10 instead of the phase modulation element 25 made of the glass plate shown in FIG.
  • At least one of the partial reflectors 25f and 25g is held by the piezo elements 26f and 26g, and can move in the direction perpendicular to the mirror surface of each reflector.
  • the partial reflectors 25f and 25g are relatively displaced, so that an optical path difference (phase difference) is formed between the excitation light L1a and the excitation light L1b.
  • phase difference phase difference
  • step S201 the control unit CB of the microscope 1 sets the interference fringes L2 in a predetermined direction.
  • step S202 the control unit CB sets the optical path changing unit 18 (scanning mirrors 18X, 18Y) to a predetermined setting (angle), and in step S203, irradiates the interference fringe L2 at a predetermined position on the sample surface Sa.
  • the fluorescent substance of sample S is excited by the interference fringes L2.
  • the phase ⁇ (t) may have a difference of ⁇ 2m ⁇ [rad] (m is an integer).
  • the plurality of detection units 6a of the detection device 6 each detect the fluorescence L3 from the sample S at predetermined time intervals.
  • step S206 the control unit CB determines whether the elapsed time t is less than the predetermined time T.
  • step S204 the process returns to step S204, the phase of the interference fringes L2 is reset, and the detection of the fluorescence L3 in step S205 is repeated.
  • the process proceeds to step S207.
  • step S207 it is determined whether or not the setting of the optical path changing unit 18 (angles of the scanning mirrors 18X and 18Y) needs to be changed, and if scanning of the desired region on the sample surface Sa is not completed, the process returns to step S202 and the optical path is restored.
  • the illumination area is changed by changing the setting of the changing unit 18.
  • the process proceeds to the image processing (image processing 2) in step S208. Details of the image processing (image processing 2) in step S208 will be described later.
  • next step S209 it is determined whether or not the direction of the interference fringe L2 needs to be changed, and if the change is necessary, the process returns to step S201, the direction of the interference fringe L2 is changed, and steps S202 and subsequent steps are executed again. To do.
  • the above-mentioned fluorescence intensity distribution has already been acquired by the interference fringes L2 in a predetermined number of directions, it is determined that the direction of the interference fringes L2 does not need to be changed, and the image acquisition flow is terminated.
  • I to (r, rs; f) is the result of Fourier transforming I (r, rs; t) with the elapsed time t
  • f is the coordinates of the frequency space after the Fourier transform
  • is the Dirac delta function.
  • FIG. 12 is a flowchart showing an example of the processing flow of the image processing 2 in step S208 in the second embodiment.
  • the image processing unit 7 selects one detection unit 6a from the plurality of detection units 6a and starts image processing of the image acquired by the detection unit 6a.
  • the image detected by the one detection unit 6a at the detector coordinates x, y is three-dimensional data including the scan coordinates xs, ys and the elapsed time t.
  • step S224 phase shift processing by image processing is performed
  • step S225 processing for correcting the positional deviation of each detection unit 6a is performed
  • step S226, processing for adding images of each detection unit 6a is performed. Since the processes from step S224 to step S226 are the same as the processes from step S125 to step S127 in the image processing 1 of the first embodiment described above, the description thereof will be omitted.
  • each detection unit 6a acquires the fluorescence intensity at the time interval ⁇ t while the elapsed time t is 0 to T for each scanning position of the interference fringe L2.
  • the time interval ⁇ t is set so as to satisfy ⁇ t ⁇ 1 / (2f0)
  • the above-mentioned predetermined time T is set so as to satisfy T> 2 / f0. That is, the predetermined time T may be set to a time longer than twice the cycle of the phase change of the interference fringe L2, and the time interval ⁇ t may be set to a time shorter than half the cycle of the phase change of the interference fringe L2. desirable. If the predetermined time T is shorter than the above or the time interval ⁇ t is longer than the above, the accuracy of component separation of the 0th order component and the ⁇ 1st order components decreases.
  • FIG. 13 is a diagram showing a microscope 1b of the third embodiment.
  • the detection device 6 includes a line sensor (line detector) in which a plurality of detection units 6a are arranged one-dimensionally. The plurality of detection units 6a are arranged in one direction in the detection device 6. The detection device 6 is arranged at a position optically conjugate with the sample surface Sa.
  • the direction in which the plurality of detection units 6a are arranged (hereinafter referred to as the arrangement direction) is set in the direction corresponding to the periodic direction of the interference fringes L2.
  • the periodic direction of the interference fringes is the X direction
  • the arrangement direction of the plurality of detection units 6a is set to the Xb direction corresponding to the X direction.
  • the microscope 1b of this embodiment includes a ⁇ /2 wavelength plate 30 and an optical path rotating unit 31 that rotates the optical path around the optical axis.
  • the ⁇ /2 wave plate 30 rotates the polarized light passing through the optical path rotating unit 31 based on the rotation angle of the optical path by the optical path rotating unit 31.
  • the optical path rotating unit 31 is arranged in the optical path between the mask 15 and the sample S in the illumination optical system 4.
  • the optical path rotating unit 31 is arranged, for example, at a position where the excitation light L1 becomes substantially parallel light in the optical path of the illumination optical system 4.
  • the optical path rotating unit 31 is arranged at a position where the excitation light L1 passes in the illumination optical system 4 and the fluorescence L3 passes in the detection optical system 5, for example.
  • the optical path rotating unit 31 is disposed in the optical path between the dichroic mirror 16 and the sample S, for example.
  • the ⁇ / 2 wave plate 30 may be arranged on the same side as the sample S with respect to the optical path rotating portion 31, or on the opposite side of the optical path rotating portion 31 with the sample S (eg, the same as the light source of the excitation light). Side).
  • the optical path rotating unit 31 is, for example, an image rotator such as a Dove prism.
  • the optical path rotating unit 31 is provided rotatably around the optical axis of the illumination optical system 4.
  • the optical path rotation unit 31 is driven and rotated by the optical path rotation drive unit 32.
  • a Dove prism is used as the optical path rotating unit 31
  • the optical path on the light emission side (the sample S side) from the Dove prism is directed to the Dove prism.
  • the optical path on the light incident side (light source 3 side) is rotated by 2 ⁇ ° around the optical axis of the illumination optical system 4.
  • the incident surface of the excitation light L1 on the sample S rotates 2 ⁇ ° around the Z direction
  • the periodic direction of the interference fringes L2 rotates 2 ⁇ ° around the Z direction.
  • the optical path rotation drive unit 32 rotates the optical path rotation unit 31 by 45° around the optical axis of the illumination optical system 4.
  • the optical path rotating portion 31 is included in the fringe direction changing portion that changes the direction of the interference fringes with respect to the sample.
  • the ⁇ /2 wave plate 30 is provided so as to be rotatable around the optical axis of the illumination optical system 4.
  • the ⁇ / 2 wave plate 30 rotates in conjunction with the optical path rotating portion 31.
  • the ⁇ / 2 wave plate 30 rotates by an angle determined based on the rotation angle of the optical path rotating portion 31.
  • the ⁇ /2 wavelength plate 30 is fixed (eg, integrated) with the optical path rotating unit 31 and rotates together with the optical path rotating unit 31. In this case, the ⁇ /2 wave plate 30 rotates by the same angle as the rotation angle of the optical path rotating unit 31.
  • the polarization direction of the excitation light L1 is different from the polarization direction on the light incident side (the light source 3 side). Rotate 2 ⁇ ⁇ ° around the optical axis of. As a result, the polarization state of the excitation light L1 when entering the sample S becomes S-polarized.
  • the optical path rotating unit 31 of FIG. 13 is also included in the image rotating unit.
  • the image rotation unit rotates an image of the sample S (eg, an image of fluorescence from the sample S) with respect to the plurality of detection units 6a around the optical axis of the detection optical system 5. That is, the fringe direction changing portion and the image rotating portion include the optical path rotating portion 31 as the same member (optical member).
  • the optical path rotating unit 31 is arranged at a position on the optical path of the illumination optical system 4 where fluorescence enters.
  • the image rotating unit rotates the fluorescence image by the optical path rotating unit 31.
  • the optical path rotation unit 31 adjusts the cycle direction of the interference fringes L2 with respect to the arrangement direction of the plurality of detection units 6a in the detection device 6.
  • the Dove prism When the Dove prism is used as the optical path rotating unit 31, when the Dove prism is rotated by ⁇ ° around the optical axis of the illumination optical system 4, the cycle direction of the interference fringes L2 is rotated by 2 ⁇ ° around the Z direction. Then, the optical path of the fluorescence L3 from the sample S rotates ⁇ 2 ⁇ ° on the light emitting side (detecting device 6 side) with respect to the light incident side (sample S side) on the Dove prism.
  • the optical path of light toward the sample S through the dub prism is rotated, and the periodic direction of the interference fringe L2 with respect to the sample S changes. Further, the optical path of the light from the sample S to the detection device 6 via the dub prism rotates in the opposite direction to the optical path of the light toward the sample S by the same angle. Therefore, when the images of the plurality of detection units 6a (eg, the line detector) in the detection device 6 are projected onto the sample surface Sa via the detection optical system 5, the direction in which the plurality of detection units 6a are lined up and the periodic direction of the interference fringes. And always match even when the periodic direction of the interference fringes is changed by the Dove prism.
  • the plurality of detection units 6a eg, the line detector
  • the detection device 6 can detect the fluorescence L3 in the same manner before and after the change of the periodic direction of the interference fringe L2.
  • the image processing unit 7 generates an image based on the detection result of the detection device 6 by the processing described in the first embodiment to the second embodiment.
  • the mask driving unit 22 rotates the mask 15 to change the cycle direction of the interference fringes L2.
  • the optical path rotating unit 31 is also used.
  • the period direction of the interference fringe L2 may be changed by (for example, a Dove prism).
  • the fringe direction changing section for changing the periodic direction of the interference fringe L2 may be different from both the mask driving section 22 and the optical path rotating section 31.
  • the stage 2 may be rotatably provided around the Z direction, and the rotation may change the direction of the interference fringes L2 with respect to the sample S.
  • the stage 2 is included in the fringe direction changing portion that changes the direction of the interference fringe L2 with respect to the sample S.
  • FIG. 14 shows a microscope 1c of the microscope according to the fourth embodiment.
  • the position of the optical path rotating portion 31 of the microscope 1c of FIG. 14 is different from that of the microscope 1b of the third embodiment of FIG.
  • the fringe direction changing portion is the same as the microscope 1 of the first embodiment described above, and includes the mask 15 and the mask driving portion 22.
  • the optical path rotating portion 31 also serves as a fringe direction changing portion and an image rotating portion in the microscope 1b of the third embodiment of FIG. 13, but in the microscope 1c of the fourth embodiment of FIG. 14, the fringe direction is changed. It is provided separately from the unit (mask 15 and mask drive unit 22).
  • FIG. 14 shows a microscope 1c of the microscope according to the fourth embodiment.
  • the optical path rotating unit 31 is arranged at a position of the optical path of the detection optical system 5 that does not overlap with the optical path of the illumination optical system 4.
  • the optical path rotating unit 31 is arranged at a position where the excitation light L1 does not enter and the fluorescence L3 enters.
  • the optical path rotating unit 31 is arranged in the optical path between the dichroic mirror 16 and the detection device 6.
  • the mask driving unit 22 changes the periodic direction of the interference fringes L2 by rotating the mask 15 and the polarizer 14.
  • the optical path rotation drive unit 32 rotates the optical path rotation unit 31 by an angle determined based on the rotation angle of at least one of the mask 15 and the polarizer 14. In the microscope 1c, the drive unit 32 rotates the optical path rotation unit 31 to align the direction of the image projected on the detection device 6 with the direction in which the plurality of detection units 6a are arranged.
  • the image processing unit 7 also generates an image based on the detection result of each detection unit 6a of the detection device 6.
  • the image processing performed by the image processing unit 7 may be any of the image processing described in the above-described first embodiment or second embodiment.
  • FIG. 15 is a diagram showing a microscope 1d according to the fifth embodiment.
  • the microscope 1d includes a light blocking member 33.
  • the light shielding member 33 is arranged at a position optically conjugate with the sample surface Sa or in the vicinity thereof.
  • the detection device 6 is arranged at a position optically conjugate with the sample surface Sa, and the light blocking member 33 is arranged near the detection device 6.
  • the light shielding member 33 may be arranged at a position conjugate with the sample surface Sa or in the vicinity thereof.
  • the light shielding member 33 has an opening 33a through which the fluorescence L3 passes, and shields the fluorescence L3 around the opening 33a.
  • the opening 33a extends in the arrangement direction (Xb direction) of the plurality of detection units 6a in the detection device 6.
  • the opening 33a is, for example, a rectangular slit.
  • the light blocking member 33 is arranged such that the long side of the opening 33a is substantially parallel to the arrangement direction of the plurality of detection units 6a.
  • One or both of the size and the shape of the opening 33a may be variable in the light blocking member 33.
  • the light blocking member 33 may be a mechanical diaphragm having a variable light blocking region or a spatial light modulator (SLM). ..
  • SLM spatial light modulator
  • One or both of the size and the shape of the opening 33a may be fixed.
  • the detection device 6 detects the fluorescence L3 that has passed through the opening 33a of the light shielding member 33.
  • the image processing unit 7 generates an image based on the detection result of each detection unit 6a of the detection device 6.
  • the process performed by the image processing unit 7 may be any of the processes described in the above-described first embodiment or second embodiment.
  • FIG. 16 is a diagram showing a microscope 1e according to the sixth embodiment.
  • the microscope 1e includes a mask driving unit 22 like the microscope 1 of the first embodiment described above.
  • the detection device drive unit 34 that rotates the detection device 6 is provided.
  • the mask driving unit 22 rotates the mask 15 to change the cycle direction of the interference fringes L2.
  • the mask driving unit 22 is included in the fringe direction changing unit that changes the direction of the interference fringe L2 with respect to the sample S.
  • the detection device 6 is rotatable around the optical axis of the detection optical system 5 around the Zb direction.
  • the detection device drive unit 34 rotates the detection device 6 around the Zb direction.
  • the detection device drive unit 34 rotates the detection device 6 so that the arrangement direction of the detection units 6a in the detection device 6 corresponds to the cycle direction of the interference fringes L2. For example, when the mask driving unit 22 rotates the mask 15 by 90 °, the periodic direction of the interference fringe L2 changes by 90 °, so that the detecting device driving unit 34 rotates the detecting device 6 by 90 °.
  • the detection device drive unit 34 rotates the light shielding member 33 so that the relative position between the detection device 6 and the light shielding member 33 is maintained.
  • the light shielding member 33 and the detection device 6 are integrated, and the detection device driving unit 34 integrally rotates the light shielding member 33 and the detection device 6.
  • the microscope 1 may include the optical path rotating unit 31 shown in FIG. 14 instead of rotating the detecting device 6. Further, the microscope 1e may not include the light shielding member 33 as shown in FIG.
  • FIG. 17 is a diagram showing a microscope 1f according to a seventh embodiment.
  • the illumination pupil is divided into two poles (two regions) on the pupil plane P0 (see FIG. 2C)
  • the illumination pupil may have other forms.
  • a form in which the illumination pupil is divided into four poles (four regions) on the pupil plane will be described.
  • the illumination optical system 4 in the present embodiment has a collimator lens 12, a ⁇ /2 wavelength plate 35, a polarization separation element 36, a phase modulation element 25a, a mirror 37, a mask 38 (aperture member) on the light emission side of the optical fiber 11.
  • the phase modulation element 25b, the mirror 39, the mask 40 (opening member), and the polarization separation element 41 are provided.
  • the configuration of the illumination optical system 4 from the dichroic mirror 16 to the objective lens 21 is the same as that of the above-described first embodiment.
  • the excitation light L1 emitted from the optical fiber 11 is converted into substantially parallel light by the collimator lens 12 and enters the ⁇ /2 wavelength plate 35.
  • the excitation light L1 that has passed through the ⁇ / 2 wave plate 35 includes the excitation light L1c that is linearly polarized light in the first direction and the excitation light L1d that is linearly polarized light in the second direction.
  • the ⁇ /2 wave plate 35 has its optical axis (fast axis, slow axis) direction set such that the light quantity of the pump light L1c and the light quantity of the pump light L1d have a predetermined ratio.
  • the excitation light L1 (excitation light L1c and excitation light L1d) that has passed through the ⁇ / 2 wave plate 35 is incident on the polarization separation element 36.
  • the polarization separation element 36 has a polarization separation film 36a tilted with respect to the optical axis 12a of the collimator lens 12.
  • the polarization separation film 36a has a characteristic that linearly polarized light in the first direction is reflected and linearly polarized light in the second direction is transmitted.
  • the polarization separating element 36 is, for example, a polarization beam splitter prism (PBS prism).
  • the linearly polarized light in the first direction is S polarized light with respect to the polarization separation film 36a.
  • the linearly polarized light in the second direction is P-polarized light with respect to the polarization separation film 36a.
  • the excitation light L1c which is S-polarized light with respect to the polarization separation membrane 36a, is reflected by the polarization separation membrane 36a and is incident on the mask 38 via the phase modulation element 25a and the mirror 37.
  • the excitation light L1d which is P-polarized light with respect to the polarization separation membrane 36a, passes through the polarization separation membrane 36a and is incident on the mask 40 via the phase modulation element 25b and the mirror 39.
  • the mask 38 and the mask 40 are luminous flux dividing portions that divide the excitation light that excites the fluorescent substance into a plurality of luminous fluxes. The mask 38 and the mask 40 will be described later with reference to FIG.
  • the excitation light L1c that has passed through the mask 38 and the excitation light L1d that has passed through the mask 40 respectively enter the polarization separation element 41.
  • the polarization separation element 41 has a polarization separation membrane 41a inclined with respect to the optical path of the excitation light L1c and the optical path of the excitation light L1d.
  • the polarization separation film 41a has a characteristic that linearly polarized light in the first direction is reflected and linearly polarized light in the second direction is transmitted.
  • the polarization separating element 41 is, for example, a polarization beam splitter prism (PBS prism).
  • the linearly polarized light in the first direction is S polarized light with respect to the polarization separation film 41a.
  • the linearly polarized light in the second direction is P polarized light with respect to the polarization separation film 41a.
  • the excitation light L1c is S-polarized with respect to the polarization separation film 41a, is reflected by the polarization separation film 41a, and enters the dichroic mirror 16.
  • the excitation light L1d is P-polarized with respect to the polarization separation film 41a, passes through the polarization separation film 41a, and enters the dichroic mirror 16.
  • one or both of the polarization separation element 36 and the polarization separation element 41 may not be the PBS prism.
  • One or both of the polarization separating element 36 and the polarization separating element 41 may be a photonic crystal having different reflection and transmission between TE polarized light and TM polarized light.
  • FIG. 18 is a diagram showing polarization states of the mask and the excitation light in the seventh embodiment.
  • the Xc direction, the Yc direction, and the Zc direction are the directions corresponding to the X direction, the Y direction, and the Z direction on the sample surface Sa (see FIG. 17), respectively.
  • the mask 38 has an opening 38a and an opening 38b.
  • the mask 38 is arranged at or near the pupillary conjugate plane.
  • the openings 38a and 38b are arranged in the Xc direction.
  • the openings 38a and 38b are, for example, circular, but may have shapes other than circular.
  • the Xd direction, the Yd direction, and the Zd direction are the directions corresponding to the X direction, the Y direction, and the Z direction on the sample surface Sa (see FIG. 17), respectively.
  • the mask 40 is arranged on or near the pupil plane conjugate plane.
  • the mask 38 or the mask 40 may be arranged at or near the pupil plane.
  • the mask 40 has an opening 40a and an opening 40b.
  • the openings 40a and 40b are arranged in the Yd direction.
  • the opening 40a and the opening 40b are, for example, circular, but may have a shape other than circular.
  • the reference numeral AR2a is a region where the excitation light L1c passing through the opening 38a of the mask 38 is incident on the pupil surface P0 of the objective lens 21.
  • Reference numeral AR2b is a region on the pupil surface P0 where the excitation light L1c passing through the opening 38b of the mask 38 is incident.
  • the arrows in the regions AR2a and AR2b indicate the polarization directions of the incident excitation light L1c.
  • the area AR2a and the area AR2b are arranged in the X direction.
  • the excitation light L1c incident on the region AR2a and the excitation light L1c incident on the region AR2b are linearly polarized light in the Y direction, respectively.
  • the excitation light L1c incident on the region AR2a and the excitation light L1c incident on the region AR2b have the same polarization direction and interfere with each other on the sample surface Sa (see FIG. 17). Due to this interference, interference fringes whose periodic direction is the X direction are formed on the sample surface Sa.
  • the incident surface of the excitation light L1c with respect to the sample surface Sa is the XZ surface, and the excitation light L1c is incident on the sample surface Sa with S polarization.
  • reference numeral AR2c is a region on the pupil plane P0 on which the excitation light L1d passing through the opening 40a of the mask 40 is incident.
  • Reference numeral AR2d is a region on the pupil plane P0 on which the excitation light L1d passing through the opening 40b of the mask 40 is incident.
  • the arrows in the regions AR2c and AR2d indicate the polarization direction of the incident excitation light L1d.
  • the area AR2c and the area AR2d are arranged in the Y direction.
  • the excitation light L1d incident on the area AR2c and the excitation light L1d incident on the area AR2d are each linearly polarized in the X direction.
  • the excitation light L1d incident on the region AR2c and the excitation light L1d incident on the region AR2d have the same polarization direction and interfere with each other on the sample surface Sa (see FIG. 17). Due to this interference, interference fringes whose periodic direction is the Y direction are formed on the sample surface Sa.
  • the incident surface of the excitation light L1d on the sample surface Sa is the YZ plane, and the excitation light L1c is incident on the sample surface Sa as S-polarized light.
  • an interference fringe L2 is formed by synthesizing an interference fringe due to the interference of the excitation light L1c and an interference fringe due to the interference of the excitation light L1d. Since the polarization directions of the excitation light L1c and the excitation light L1d are substantially orthogonal to each other, interference between the excitation light L1c and the excitation light L1d is suppressed.
  • the detection device 6 detects the fluorescence L3 from the sample S via the detection optical system 5.
  • the detection device 6 is an image sensor in which a plurality of detection units 6a are arranged in two directions, an Xb direction and a Yb direction.
  • the detection device 6 respectively acquires the fluorescence from the sample S excited by the interference fringes L2 having a plurality of phases. Therefore, the angular positions of the phase modulation element 25a and the phase modulation element 256 arranged in the illumination optical system 4 are sequentially rotated and moved by the phase modulation element drive units 26a and 26, respectively, to change the phase of the interference fringe L2.
  • the configurations of the phase modulation element 25a and the phase modulation element 25b are the same as those of the phase modulation element 25 in the above-described first embodiment.
  • the image processing unit 7 generates an image based on the detection result of the detection device 6.
  • FIG. 19 is a diagram showing the distribution of the excitation light L1 on the pupil conjugate plane P1 in the seventh embodiment.
  • the pupil conjugate plane P1 is represented in the wave number coordinate space.
  • the kNAex (circle drawn by the dotted line) shown in FIG. 19 is the pupil radius of the objective lens 21.
  • the regions AR2a and AR2b in which the excitation light L1c is incident and the regions AR2c and AR2d in which the excitation light L1d is incident are assumed to be circular, respectively, but are not limited to circular.
  • the radius of each of the regions ARa to ARd is ⁇ kNAex.
  • the distance between the center of each region from the region ARa to the region ARd and the optical axis 21a of the objective lens 21 is (1- ⁇ ) kNAex.
  • the distance between the center of the region AR2a and the center of the region AR2b is, for example, 2 (1- ⁇ ) kNAex, but is not limited to this value.
  • the distance between the center of the area AR2c and the center of the area AR2d is, for example, 2(1- ⁇ )kNAex, but is not limited to this value.
  • the intensity (square of the electric field) ill(r) on the sample surface Sa is represented by the following equation (23).
  • k0x and k0y are wave vectors of the interference fringes L2, respectively.
  • the shape of the illumination pupil is different from each of the above-described embodiments, but the image acquisition flow and image processing described in the first and second embodiments described above are also applied to the seventh embodiment. Applicable. Therefore, the description of the image acquisition flow and the image processing will be omitted.
  • FIG. 20 is a diagram showing a microscope 1g of the eighth embodiment.
  • the microscope 1g includes the ⁇ /2 wavelength plate 30 and the optical path rotating unit 31 described in FIG. 13 in the illumination optical system 4.
  • the optical path rotation unit 31 is driven by the optical path rotation drive unit 32 and rotates around the optical axis of the illumination optical system 4.
  • the optical path rotating unit 31 rotates, the optical path of the excitation light L1c and the optical path of the excitation light L1d rotate around the optical axis of the illumination optical system 4, respectively.
  • the periodic direction of the interference fringe L2 formed on the sample surface Sa rotates around the Z direction.
  • FIG. 21 is a diagram showing the polarization state of the excitation light in the eighth embodiment.
  • regions AR4a on the pupil plane P0 on which the excitation light L1c is incident are arranged in the X direction.
  • the area AR4b and the area AR4b on which the excitation light L1d is incident on the pupil plane P0 are arranged in the Y direction.
  • the regions AR4a on the pupil plane P0 on which the excitation light L1c is incident are arranged in the direction rotated by 45° from the X direction.
  • the periodic direction of the interference fringes of the excitation light L1c on the sample surface Sa is a direction rotated by 45° from the X direction.
  • the regions AR4b on the pupil plane P0 on which the excitation light L1d is incident are arranged in the direction rotated by 45° from the Y direction.
  • the periodic direction of the interference fringes of the excitation light L1d on the sample surface Sa is a direction rotated by 45° from the Y direction.
  • the detection device 6 sets the phase modulation elements 25a and 25b to a predetermined rotation angle before and after the period direction of the interference fringe L2 is changed, and sets the interference fringes. Fluorescence L3 from sample S is detected while setting the phase of L2 to a plurality of predetermined values.
  • the image processing unit 7 generates an image based on the detection result of the detection device 6 before the change of the periodic direction of the interference fringe L2 and the detection result of the detection device 6 after the change of the periodic direction of the interference fringe L2.
  • the optical path rotating unit 31 may be arranged in the optical path between the dichroic mirror 16 and the detection device 6. Further, in the eighth embodiment, the microscope 1 changes the periodic direction of the interference fringes L2 by the optical path rotating unit 31, but the fringe direction changing unit that changes the periodic direction of the interference fringes L2 is different from the optical path rotating unit 31. It may be an embodiment.
  • FIG. 22 is a diagram showing a microscope 1h according to the ninth embodiment.
  • FIG. 23 is a diagram showing a mask according to the ninth embodiment.
  • the microscope 1h includes a drive unit 45 and a drive unit 46.
  • the mask 38 is rotatable around the optical axis of the illumination optical system 4.
  • the mask 38 is driven by the mask driving unit 45 to rotate (see FIG. 23A). In FIG. 23(A), the mask 38 is rotated counterclockwise by 45°.
  • the mask 40 is rotatable around the optical axis of the illumination optical system 4.
  • the mask 40 is driven by the mask driving unit 46 to rotate (see FIG. 23B).
  • the drive unit 46 rotates the mask 40 by the same angle as the drive unit 45 rotates the mask 38.
  • the mask 40 is rotated counterclockwise by 45°.
  • the periodic direction of the interference fringes L2 on the sample surface Sa rotates 45° around the Z direction.
  • a ⁇ /2 wavelength plate 48 is provided in the optical path between the polarization separation element 41 and the dichroic mirror 16.
  • the ⁇ /2 wave plate 48 is driven by the wave plate drive unit 49 and rotates around the optical axis of the illumination optical system 4.
  • the ⁇ /2 wave plate 48 and the wave plate drive unit 49 adjust the excitation light L1c and the excitation light L1d so that they are incident on the sample S as S-polarized light.
  • FIG. 24 is a diagram showing a microscope 1i according to the tenth embodiment.
  • the microscope 1i includes a relay optical system 47.
  • the relay optical system 47 is a part of the illumination optical system 4 and a part of the detection optical system 5.
  • the relay optical system 47 is arranged in the optical path between the deflection mirror 18a and the deflection mirror 18b in the optical path changing unit 18.
  • the deflection mirror 18b is arranged at substantially the same position as the first pupil conjugate surface that is optically conjugate with the pupil surface P0 of the objective lens 21.
  • the relay optical system 47 is provided so that a second pupil conjugate surface that is optically conjugate with the first pupil conjugate surface is formed between the relay optical system 47 and the relay optical system 17.
  • the deflection mirror 18a is arranged at substantially the same position as the second pupil conjugate plane.
  • the optical path changing unit 18 is not limited to the above-mentioned form.
  • the stage 2 may include a Y stage that moves in the Y direction with respect to the objective lens 21, and the optical path changing unit 18 may include the Y stage instead of the deflection mirror 18b.
  • the optical path changing unit 18 may scan the sample S with the excitation light L1 in the X direction by the deflection mirror 18a, and may scan the sample S with the excitation light L1 in the Y direction by moving the Y stage.
  • the deflection mirror 18a may be arranged at substantially the same position as the pupil conjugate plane optically conjugate with the pupil plane P0 of the objective lens 21.
  • the stage 2 may include an X stage that moves in the X direction with respect to the objective lens 21.
  • the sample S and the excitation light L1 may be relatively scanned in the X direction by the movement of the X stage, and the sample S and the excitation light L1 may be scanned in the Y direction by the deflection mirror 18b.
  • the deflection mirror 18b may be arranged at substantially the same position as the pupil conjugate plane optically conjugate with the pupil plane P0 of the objective lens 21.
  • the X stage and the deflection mirror 18b form a scanning unit that relatively scans the interference fringe L2 and the sample S.
  • the stage 2 may include an X stage that moves in the X direction with respect to the objective lens 21, and a Y stage that moves in the Y direction with respect to the objective lens 21.
  • the sample S and the excitation light L1 may be relatively scanned in the X direction by the movement of the X stage, and the sample S and the excitation light L1 may be relatively scanned in the Y direction by the movement of the Y stage. ..
  • the X stage and the Y stage form a scanning unit that relatively scans the interference fringe L2 and the sample S.
  • the scanning unit is not limited to the optical path changing unit described in the first to ninth embodiments described above, but the sample stage that holds the sample S such as the X stage and the Y stage described above and the illumination optical system 4 are included. And a moving mechanism that changes the relative position with respect to the detection optical system 5.
  • the scanning direction in which the sample S is scanned with the interference fringes is two directions, that is, the X direction and the Y direction, and the illumination optical system 4 scans the sample S two-dimensionally with the interference fringes.
  • the scanning direction in which the sample S is scanned with the interference fringes may be the X direction, the Y direction, and the Z direction.
  • the microscope 1 executes the 2D processing of scanning the sample S with the interference fringes in the X direction and the Y direction to obtain a 2D image.
  • at least one of the objective lens 21 and the stage 2 is moved to cause the interference fringes.
  • the sample S may be three-dimensionally scanned with the interference fringes by changing the position in the Z direction at which is generated and repeating the 2D processing.
  • the microscope 1 may three-dimensionally scan the sample S with interference fringes to acquire a plurality of 2D images having different positions in the Z direction and generate a 3D image (eg, Z-stack).
  • the illumination optical system 4 may scan in the X direction and the Y direction, and may scan in the Z direction by moving at least one of the objective lens 21 and the stage 2.
  • the illumination optical system 4 may scan the sample S three-dimensionally with interference fringes.
  • the microscope of Modification 1 will be described below. Since the configuration of the microscope of the first modification is the same as that of the microscope of each of the above-described embodiments except for the shape of the illumination pupil and the polarization state of the illumination light described below, the description of the configuration will be omitted. 25 and 26 are diagrams showing illuminated pupils in the microscope of the first modification.
  • the illumination pupil has two poles in FIG. 2 and four poles in FIG. 18, but has three poles in FIG. 25(A).
  • Reference numerals AR5a to AR5c are regions on the pupil plane P0 on which the excitation light enters.
  • the sample surface Sa on which the excitation light enters.
  • Two interference fringes and a third interference fringe formed by the excitation light incident on the area AR5c and the excitation light incident on the area AR5a are formed.
  • interference fringes that are a combination of the first interference fringes, the second interference fringes, and the third interference fringes are formed.
  • the periodic direction of the first interference fringes, the periodic direction of the second interference fringes, and the periodic direction of the third interference fringes are the respective periodic directions, and the periodic directions are three directions.
  • a super-resolution effect can be obtained.
  • the illumination pupil may have 5 or more poles.
  • reference numeral AR6 is a region where excitation light enters.
  • the region AR6 in FIG. 25B is a region surrounded by a circle AR6a which is a part of a circle centered on the optical axis 21a of the objective lens 21 and a straight line AR6b connecting both ends of the arc AR6a.
  • the region AR6 in FIG. 25C is a region surrounded by an arc which is a part of a circle centered on the optical axis 21a of the objective lens 21 and a curve AR6c symmetrical to the arc AR6a.
  • the resolution in the direction in which the interference fringes are not formed is better and the sectioning is better than that in the case of the circular illumination pupil.
  • the resolution in the direction in which the interference fringes are not formed is better and the sectioning is also better than that in the case of the illumination pupil of the shape of FIG. 25(C). ..
  • the resolution in the direction in which the interference fringes are formed is better than that in the case of the illumination pupil having the shape of FIG.
  • the illumination pupil has a form in which the dipole illumination pupil shown in FIG. 25(B) has four poles.
  • the illumination pupil has a form in which the dipole illumination pupil shown in FIG. 25(C) has four poles.
  • the number of the plurality of regions (the number of poles) on which the excitation light enters is set to an arbitrary number of 2 or more.
  • the shape of one of the plurality of areas on the pupil plane P0 on which the excitation light is incident may be different from the shape of the other areas.
  • the size of one region may be different from the size of the other regions.
  • the plurality of regions in which the excitation light is incident on the pupil surface P0 may be arranged asymmetrically with respect to the optical axis 21a of the objective lens 21.
  • each pole of the illumination pupil can be realized by, for example, determining the shape, size, and arrangement of the opening of the mask 15 shown in FIG.
  • the mask 15 may be a mechanical diaphragm having a variable light blocking area, a spatial light modulator (SLM), or the like.
  • FIG. 27 is a diagram showing a microscope 1j of the eleventh embodiment.
  • the illumination optical system 4 includes a collimator lens 50, a ⁇ /2 wavelength plate 51, a lens 52, a diffraction grating 53, a lens 54, and a mask 15 in this order from the optical fiber 11 to the dichroic mirror 16.
  • the collimator lens 50 converts the excitation light L1 from the optical fiber 11 into substantially parallel light.
  • the ⁇ / 2 wave plate 51 adjusts the polarization state of the excitation light L1 when it is incident on the sample S.
  • the lens 52 focuses the excitation light L1 on the diffraction grating 53.
  • the diffraction grating 53 splits the excitation light L1 into a plurality of light beams by diffraction.
  • the diffraction grating 53 is a light beam splitting unit that splits the excitation light that excites the fluorescent material into a plurality of light beams.
  • the diffraction grating 53 is arranged at or near the focal point of the lens 52. That is, the diffraction grating 53 is arranged on the surface conjugate with the sample surface Sa or in the vicinity thereof. The vicinity of the focus is within the range of the depth of focus of the light condensed by the lens 52.
  • the diffraction grating 53 may be arranged within 1 mm near the focus of the lens 52.
  • the plurality of light fluxes include 0th-order diffracted light, +1st-order diffracted light, and ⁇ 1st-order diffracted light.
  • the lens 54 converts the 0th-order diffracted light, the +1st-order diffracted light, and the -1st-order diffracted light into substantially parallel lights, respectively.
  • the mask 15 is provided so as to block the 0th-order diffracted light and pass at least a part of the +1st-order diffracted light and at least a part of the ⁇ 1st-order diffracted light.
  • the light amount of the excitation light L1 transmitted through the mask 15 can be increased as compared with each of the above-described embodiments.
  • the diffraction grating 53 may be designed so that the 0th-order diffracted light is not generated. Further, a configuration may be adopted in which the mask 15 is not provided.
  • the ⁇ 1st-order diffracted light divided by the diffraction grating 53 is condensed on the sample surface Sa by the illumination optical system 4 and forms an interference fringe L2 there.
  • the diffraction grating 53 is held by the diffraction grating drive unit 55 so as to be movable in the periodic direction of the diffraction grating 53.
  • the diffraction grating drive unit 55 slightly moves the diffraction grating 53 in the grating direction of the diffraction grating 53, the phase of the ⁇ first-order light generated from the diffraction grating 53 changes.
  • the position of the diffraction grating 53 is changed by the diffraction grating driving unit 55, thereby changing the bright/dark phase of the interference fringe L2 generated on the sample surface Sa.
  • the interference fringes L2 can be formed on the sample surface Sa by the ⁇ first-order light generated from the diffraction grating 53 as in the microscope 1j of the eleventh embodiment. ..
  • the diffraction grating 53 is held by the diffraction grating driving unit 55, and the diffraction grating driving unit 55 is moved slightly in the grating direction of the diffraction grating 53.
  • Modification of the polarization adjuster 28 and 29 are views showing a modification 1 and a modification 2 of the polarization adjusting unit, respectively.
  • These modifications can be arranged in the illumination optical system 4 of the microscopes of the above-described embodiments and modifications.
  • the illumination optical system 4 of the microscopes of the above-described embodiments and modifications the optical path is bent by the reflection member such as the dichroic mirror 16 shown in FIG. 1, but in FIGS. 28 and 29, the illumination optical system is shown. 4 is expanded and shown so that the optical axis 4a may become a straight line.
  • a person skilled in the art can easily understand the application of the modified example 1 and the modified example 2 of the polarization adjusting section shown in FIGS.
  • the Z direction is a direction parallel to the optical axis 4a
  • the X direction and the Y direction are directions perpendicular to the optical axis 4a, respectively.
  • the illumination optical system 4 includes a ⁇ /4 wavelength plate 61, a mask 15, and a ⁇ /4 wavelength plate 62.
  • the excitation light L1 emitted from the optical fiber 11 is linearly polarized light whose polarization direction is approximately the X direction and is incident on the ⁇ /4 wavelength plate 61.
  • a polarizer eg, a polarizing plate having a transmission axis in the X direction may be provided in the optical path between the optical fiber 11 and the ⁇ /4 wavelength plate 61.
  • the phase-advancing axis of the ⁇ / 4 wave plate 61 is set in the direction in which the X direction is rotated counterclockwise by 45 ° when viewed from the + Z side.
  • the excitation light L1 that has passed through the ⁇ /4 wavelength plate 61 becomes circularly polarized light and enters the mask 15.
  • the excitation light L1 that has passed through the openings 15a and 15b of the mask 15 is circularly polarized light and is incident on the ⁇ /4 wavelength plate 62.
  • the fast axis of the ⁇ /4 wave plate 62 is set in a direction obtained by rotating the X direction clockwise by 45° when viewed from the +Z side.
  • the excitation light L1 that has passed through the ⁇ /4 wavelength plate 62 becomes linearly polarized light whose polarization direction is the X direction, and is applied to the sample.
  • the mask 15 is rotatably provided around the optical axis 4a as described in the first embodiment.
  • the periodic direction of the interference fringes changes.
  • the openings 15a and 15b of the mask 15 are arranged in the Y direction, and the periodic direction of the interference fringes is the Y direction.
  • the periodic direction of the interference fringes is rotated 90° and becomes the X direction.
  • the ⁇ /4 wave plate 62 is rotatable around the optical axis 4a.
  • the ⁇ /4 wave plate 62 is provided so as to rotate by the same angle as the mask 15.
  • the ⁇ /4 wave plate 62 is integrated with the mask 15 and rotates integrally with the mask 15.
  • the ⁇ / 4 wave plate 62 is rotated by 90 ° and its phase advance axis becomes parallel to the phase advance axis of the ⁇ / 4 wave plate 61.
  • the excitation light L1 that has passed through the ⁇ /4 wavelength plate 62 becomes linearly polarized light whose polarization direction is the Y direction.
  • the plane of incidence of the excitation light L1 on the sample surface Sa is parallel to the periodic direction of the interference fringes, and the excitation light L1 when incident on the sample surface Sa is linearly polarized light whose polarization direction is perpendicular to the periodic direction of the interference fringes. Therefore, the excitation light L1 is applied to the sample surface Sa in the S-polarized state.
  • the ⁇ /4 wavelength plate 62 is included in the polarization adjusting unit that adjusts the polarization state of the excitation light when entering the sample.
  • Such a polarization adjusting unit can reduce the loss of the light amount of the excitation light L1 as compared with the aspect described in FIG.
  • the illumination optical system 4 includes a polarizer 65, a mask 15, and a ⁇ /2 wavelength plate 66.
  • the excitation light L1 emitted from the optical fiber 11 is linearly polarized light whose polarization direction is substantially the X direction and is incident on the polarizer 65.
  • the transmission axis of the polarizer 65 is set in the X direction.
  • the excitation light L1 that has passed through the polarizer 65 is linearly polarized light whose polarization direction is the X direction and is incident on the mask 15.
  • the excitation light L1 that has passed through the openings 15a and 15b of the mask 15 is linearly polarized light whose polarization direction is the X direction and is incident on the ⁇ /2 wavelength plate 66.
  • the fast axis of the ⁇ /2 wave plate 66 is set in a direction obtained by rotating the X direction clockwise by 45° when viewed from the +Z side.
  • the excitation light L1 that has passed through the ⁇ /2 wavelength plate 66 becomes linearly polarized light with a polarization direction of the Y direction, and is applied to the sample.
  • the mask 15 is rotatably provided around the optical axis 4a as described in the first embodiment.
  • the periodic direction of the interference fringes changes.
  • the openings 15a and 15b of the mask 15 are aligned in the X direction, and the periodic direction of the interference fringes is the X direction.
  • the periodic direction of the interference fringes is rotated by 90° and becomes the Y direction.
  • the ⁇ /2 wave plate 66 is rotatable around the optical axis 4a.
  • the ⁇ /2 wave plate 66 is provided so as to rotate by an angle half the rotation angle of the mask 15. For example, when the mask 15 rotates 90°, the ⁇ /2 wave plate 66 rotates 45°.
  • the excitation light L1 that has passed through the ⁇ /2 wave plate 66 becomes linearly polarized light whose polarization direction is the X direction.
  • the plane of incidence of the excitation light L1 on the sample surface Sa is parallel to the periodic direction of the interference fringes, and the excitation light L1 when incident on the sample surface Sa is linearly polarized light whose polarization direction is perpendicular to the periodic direction of the interference fringes.
  • the excitation light L1 is applied to the sample surface Sa in the S-polarized state.
  • the ⁇ / 2 wave plate 66 is included in the polarization adjusting unit that adjusts the polarization state of the excitation light when it enters the sample.
  • Such a polarization adjusting unit can reduce the loss of the light amount of the excitation light L1 as compared with the aspect described in FIG.
  • the image processing unit 7 includes, for example, a computer system.
  • the control unit CB and the image processing unit 7 read out a program such as an image processing program stored in the storage unit, and execute various processes according to the image processing program.
  • This program causes a computer to generate an image based on the detection result of the detection device 6.
  • the image processing program is stored in a storage medium such as a CD-ROM, and the image processing section 7 can load the image processing program from the storage medium into the above storage section.
  • the image processing program can be loaded into the image processing unit 7 via a network line such as the Internet line.
  • the microscope of each embodiment and each modification includes an illumination optical system 4 that irradiates the sample S on the sample surface Sa with light to form a stripe illumination (interference fringe) L2 that is a stripe illumination, and a stripe.
  • I have.
  • a processing unit 7. With this configuration, the microscope of each embodiment and each modification can acquire an output image having a good resolution and a good S/N ratio.
  • the image processing unit 7 detects the first image detected by each of the plurality of detection units 6a among the detection results and at least when the fringe illumination (interference fringe) L2 is in the first phase state, and the fringe illumination. From the second image detected when L2 is in the second phase state, the 0th order component corresponding to the 0th spatial frequency of the light/dark cycle of the striped illumination L2 and the +1st order of the bright/dark cycle of the striped illumination L2, respectively. The +1st-order component corresponding to the spatial frequency and the -1st-order component corresponding to the -1st-order spatial frequency of the light-dark cycle of the fringe illumination L2 can be separated and extracted.
  • a plurality of intermediate images corresponding to each of the plurality of detection units 6a are formed based on the 0th order component, the +1st order component, and the ⁇ 1st order component, and an output image is generated based on the plurality of intermediate images. It can also be. With this configuration, it is possible to generate an output image with further improved resolution and S/N ratio.
  • the first phase state and the second phase state can be in a state in which the phase of the fringe illumination differs by ⁇ [rad], whereby the irradiation of the fringe illumination L2 in the two phase states is performed.
  • An output image having a high resolution and a high S / N ratio can be generated by using the detection result obtained by.
  • the image processing unit 7 further uses the third image detected by the plurality of detection units 6a among the detection results when the fringe illumination is in the third phase state. , The 0th order component, the +1st order component, and the ⁇ 1st order component are separated and extracted, and the phases of the fringe illumination L2 are different between the first phase state, the second phase state, and the third phase state. This makes it possible to generate an output image having a higher resolution and a higher S / N ratio.
  • the image processing unit 7 corrects the plurality of intermediate images according to the respective positions of the plurality of detecting units 6a corresponding to the plurality of intermediate images, and adds them to generate an output image. With the configuration, it is possible to obtain an output image having a higher resolution and a higher S / N ratio.
  • the image processing unit 7 is provided with a stripe direction setting unit (mask 15) for setting the cycle direction of the stripe illumination L2, and the image processing unit 7 obtains a plurality of detection results obtained by irradiation of the stripe illumination L2 in the plurality of cycle directions. A plurality of output images are generated using each of the above, and a final output image is generated based on the plurality of output images, thereby generating a final output image with higher resolution and a higher S/N ratio. be able to.
  • the present invention is not limited to these contents.
  • each of the embodiments may be applied alone or in combination.
  • Other modes that are conceivable within the scope of the technical idea of the present invention are also included within the scope of the present invention.
  • the interference fringes formed by interference have been described as an example of striped illumination (stripe illumination), but the striped illumination (stripe illumination) formed by interference is not.
  • striped illumination (stripe illumination) formed by a method other than interference may be used.
  • stripes and stripes have a bright portion and a dark portion, and have a predetermined interval (predetermined period) between the bright portion and the bright portion or the dark portion and the dark portion.
  • predetermined interval predetermined period

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

顕微鏡は、試料面上の試料に光を照射して縞状の照明である縞照明を形成する照明光学系と、縞照明と試料とを、試料面の面内方向に相対走査させる走査部と、縞照明を複数の位相状態に設定する位相変調素子と、縞照明により照明された試料からの光が入射する検出光学系と、検出光学系に対して試料面と共役な位置に複数配置され、試料面上の試料からの光を検出する検出部と、縞照明が複数の位相状態の各状態にあるときに試料面の面内方向の複数の相対位置において複数の検出部が検出した検出結果を用いて出力画像を生成する画像処理部と、を備える。

Description

顕微鏡
 本発明は、顕微鏡に関する。
 試料からの蛍光を検出する走査型顕微鏡が提案されている(例えば、下記の非特許文献1参照)。
Confocal laser scanning microscopy with spatiotemporal structured illumination, Peng Gao, G. Ulrich Nienhaus, Optics Letters, Vol.41, No.6, 1193-1196, 2016.3.15
 本発明の第1の態様の顕微鏡は、試料面上の試料に光を照射して縞状の照明である縞照明を形成する照明光学系と、前記縞照明と前記試料とを、前記試料面の面内方向に相対走査させる走査部と、前記縞照明を複数の位相状態に設定する位相変調素子と、前記縞照明により照明された試料からの光が入射する検出光学系と、前記検出光学系に対して前記試料面と共役な位置に複数配置され、前記試料面上の試料からの光を検出する検出部と、前記縞照明が前記複数の位相状態の各状態にあるときに前記試料面の面内方向の複数の相対位置において複数の前記検出部が検出した検出結果を用いて出力画像を生成する画像処理部と、を備える。
第1実施形態の顕微鏡および励起光の光路を示す図である。 第1実施形態におけるマスクおよび偏光子を示す図である。 第1実施形態におけるマスク、偏光子、干渉縞、及び励起光の偏光状態を示す図である。 第1実施形態における位相変調素子を示す図である。 干渉縞の複数の位相状態を示す図である。 第1実施形態の顕微鏡および蛍光の光路を示す図である。 第1実施形態における画像取得フローの一例を示すフローチャートである。 第1実施形態における画像処理の一例を示すフローチャートである。 第1実施形態の検出装置の各位置における実効PSFを示す図である。 第2実施形態の顕微鏡の一部を表す図。 第2実施形態における画像取得フローの一例を示すフローチャートである。 第2実施形態における画像処理の一例を示すフローチャートである。 第3実施形態の顕微鏡を示す図である。 第4実施形態の顕微鏡を示す図である。 第5実施形態の顕微鏡を示す図である。 第6実施形態の顕微鏡を示す図である。 第7実施形態の顕微鏡を示す図である。 第7実施形態のマスクおよび励起光の偏光状態を示す図である。 第7実施形態における瞳共役面P1における励起光L1の分布を示す図である。 第8実施形態の顕微鏡を示す図である。 第8実施形態の励起光の偏光状態を示す図である。 第9実施形態の顕微鏡を示す図である。 第9実施形態のマスクを示す図である。 第10実施形態の顕微鏡を示す図である。 変形例における照明瞳を示す図である。 変形例における照明瞳を示す図である。 第11実施形態の顕微鏡を示す図である。 偏光調整部の第1の変形例を示す図である。 偏光調整部の第2の変形例を示す図である。
(顕微鏡の第1実施形態)
 顕微鏡の第1実施形態について説明する。図1は、第1実施形態の顕微鏡および励起光の光路を示す図である。以下の実施形態において、顕微鏡1は走査型の蛍光顕微鏡であるものとして説明するが、第1実施形態の顕微鏡は、走査型の顕微鏡あるいは蛍光顕微鏡に限定されない。顕微鏡1は、ステージ2と、光源3と、照明光学系4と、検出光学系5と、検出装置6とを備えている。顕微鏡1は、さらに制御部CBと画像処理部7とを有する制御装置CUを備えている。顕微鏡1は、概略すると以下のように動作する。
 ステージ2は、観察対象の試料Sを保持する。試料Sは、予め蛍光染色された細胞などである。試料Sは、蛍光色素などの蛍光物質を含む。光源3は、試料Sに含まれる蛍光物質を励起する励起光L1を発する。照明光学系4は、干渉縞L2を形成し、試料Sに対して、干渉縞L2を複数の方向(例、X方向、Y方向)に、干渉縞L2の明暗の位相の複数の位相状態において走査する。ステージ2は、照明光学系4による干渉縞L2の走査範囲よりも広範な範囲で、試料Sと照明光学系4との図1のX方向およびY方向の相対位置を移動させることができる。
 検出光学系5は、試料Sからの蛍光L3(後に図6に示す)が入射する位置に配置される。検出装置6は、検出光学系5を介して試料Sからの蛍光L3を検出する複数の検出部6a(後に図6に示す)を含む。画像処理部7は、検出装置6の2以上の検出部6aの検出結果を用いて、出力画像(例、超解像画像)を生成する。以下、顕微鏡1の各部について説明する。
 光源3は、例えばレーザー素子などの光源を含む。光源3は、所定の波長帯の可干渉光を発生する。所定の波長帯は、試料Sの励起波長を含む波長帯に設定される。光源3から出射する励起光L1は、例えば直線偏光光である。光源3の出射口には、光ファイバー11などの導光部材が接続されている。なお、顕微鏡1は、光源3を備えなくてもよく、光源3は、顕微鏡1と別に提供されてもよい。例えば、光源3は、顕微鏡1に交換可能(取り付け可能、取り外し可能)に設けられてもよい。光源3は、顕微鏡1による観察時などに、顕微鏡1に外付けされてもよい。
 照明光学系4は、光源3からの励起光L1が入射する位置に配置されている。照明光学系4には、光源3から光ファイバー11を介して励起光L1が入射する。光ファイバー11は、照明光学系4の一部でもよいし、光源3を含む光源装置の一部でもよい。照明光学系4は、光源3側から試料S側へ向かう順に、コリメーターレンズ12、λ/4波長板13、偏光子14、マスク15(開口部材)、位相変調素子25、ダイクロイックミラー16、リレー光学系17、光路変更部18、レンズ19、レンズ20、及び対物レンズ21を備えている。
 以下の説明において、適宜、図1などに示すXYZ直交座標系を参照する。このXYZ直交座標系において、X方向およびY方向は、それぞれ、対物レンズ21の光軸21aに垂直な方向である。また、Z方向は、対物レンズ21の光軸21aに平行な方向である。なお、対物レンズ21の光軸21aは、照明光学系4の光軸4aと一致している。また、X方向、Y方向、及びZ方向のそれぞれについて、適宜、矢印と同じ側を+側(例、+X側)と称し、矢印と反対側を-側(例、-X側)と称する。また、反射によって光路が折れ曲がる場合、X方向、Y方向、及びZ方向のそれぞれに対応する方向を、添え字を付けて表す。例えば、図1のXa方向、Ya方向、Za方向は、それぞれ、コリメーターレンズ12からダイクロイックミラー16までの光路において、X方向、Y方向、Z方向に対応する方向である。
 コリメーターレンズ12は、光ファイバー11から出射する励起光L1を平行光に変換する。コリメーターレンズ12は、例えば、その光源3と同じ側の焦点が光ファイバー11の光出射口と一致するように配置されている。以下の説明において、照明光学系4に含まれるレンズについて、適宜、光源3と同じ側の焦点を後側焦点と称し、試料Sと同じ側の焦点を前側焦点と称する。
 λ/4波長板13は、励起光L1の偏光状態を円偏光にする。偏光子14は、例えば偏光板であり、所定の偏光方向の直線偏光光が透過する特性を有する。偏光子14は、試料Sに入射する光がS偏光(Y方向の直線偏光)となるように、配置されている。偏光子14は、コリメーターレンズ12の光軸12aの周りで回転可能である。コリメーターレンズ12の光軸12aは、照明光学系4の光軸4aと一致している。
 マスク15は、蛍光物質を励起する励起光を複数の光束に分割する光束分割部である。照明光学系4は、マスク15が分割した複数の光束のうち2以上の光束の干渉によって生成される干渉縞L2によって、試料Sを走査する。マスク15は、対物レンズ21の瞳面P0と光学的に共役な瞳共役面P1の位置またはその近傍に配置されている。対物レンズ21の瞳面P0と光学的に共役な瞳共役面の近傍とは、瞳共役面を含む領域のうち励起光L1が平行光線と見なせる範囲である。例えば、励起光L1がガウスビームの場合は、ビームウェストの位置からレイリー長の1/10以内の範囲であれば十分に平行光線と見なすことが出来る。レイリー長は励起光L1の波長をλ、ビームウェスト半径をwとしたとき、πw /λで与えられる。例えば、励起光L1の波長が1um、ビームウェスト半径が1mmの時、レイリー長はおよそ3mとなり、マスク15は対物レンズ21の瞳面P0と光学的に共役な瞳共役面P1の近傍300mm以内に配置されてもよい。マスク15は、瞳面P0またはその近傍に配置されていてもよい。
 マスク15は、励起光L1が通る開口15aおよび開口15bを有する。開口15aを通った励起光L1aと開口15bを通った励起光L1bとの干渉によって、干渉縞L2が形成される。マスク15は、コリメーターレンズ12の光軸12aの周りで回転可能である。マスク15は、例えば偏光子14と相対的に固定され、偏光子14と一体的に回転する。マスク15および偏光子14は、マスク駆動部22から供給されるトルクによって回転する。
 図2(A)は、第1実施形態におけるマスクを示す図である。マスク15の開口15a、開口15bは、コリメーターレンズ12(図1参照)の光軸12aに関して、対称的に配置されている。図2(A)の状態において、開口15a、開口15bは、Xa方向に並んでいる。図2(B)は、第1実施形態における偏光子を示す図である。偏光子14の透過軸14aは、マスク15において開口15a、開口15bが並ぶ方向(図2(A)ではXa方向)に対して、垂直な方向(図2(B)ではYa方向)と平行に設定されている。図2(C)は、対物レンズ21の瞳面P0を示す図である。符号P0a、P0bは、それぞれ、励起光L1が入射する領域である。図2(C)に示すパラメーターについては、後に画像処理部7の説明において参照する。
 位相変調素子25は、一例として、略円板形状のガラス板であり、位相変調素子駆動部26から供給されるトルクによって光軸4aの周りで回転可能である。
 図4は、位相変調素子25の一例を示す図である。図4(A)は位相変調素子25を図1のZa方向に垂直な方向(例えばXa方向)から見た図である。図4(B)~図4(D)は位相変調素子25を図1のZa方向から見た図であり、1つの位相変調素子25が中心Cnを中心として相互に異なる角度だけ回転した状態を表している。位相変調素子25は、中心Cnが図1の照明光学系4の光軸4aに略一致するように配置されている。
 略円板形状の位相変調素子25の厚さは領域25c、領域25d、領域25eとで異なっており、各領域を透過する光束の間に位相差を与える。
 図4(B)に示す回転角度の位相変調素子25の場合、開口15aを通った励起光L1aと開口15bを通った励起光L1bは、共に領域25cを透過するため、励起光L1aと励起光L1bの間には位相差は付加されない。
 しかし、図4(C)に示す回転角度の位相変調素子25の場合、励起光L1aは領域25cを透過し、励起光L1bは領域25dを透過するため、励起光L1aと励起光L1bの間には所定の第1の位相差(例えば2π/3[rad])が付加される。
 また、図4(D)に示す回転角度の位相変調素子25の場合、励起光L1aは領域25cを透過し、励起光L1bは領域25eを透過するため、励起光L1aと励起光L1bの間には所定の第2の位相差(例えば4π/3[rad])が付加される。
 従って、位相変調素子25の回転角度を、図4(B)の状態から図4(C)および図4(D)の状態に順次変更することによって、励起光L1aと励起光L1bの間の位相差を順次変更することができ、干渉縞L2の明暗の位相を変更することができる。
 なお、上述の例では、図4(B)に示した位相変調素子25の回転角度においては、励起光L1aと励起光L1bの間に位相差が付加されないものとした。しかし、これに限らず、3つの回転角度のいずれにおいても、励起光L1aと励起光L1bの間に、それぞれ値の異なる位相差が付加される構成としてもよい。この場合にも、励起光L1aと励起光L1bとの間に付加される位相差が、上記の3つの回転角度において一例として相互に2π/3[rad]ずつ異なるようにすることもできる。
 なお、励起光L1aと励起光L1bとの間に付加される位相差は、上述の3つの回転角度において必ずしも2π/3[rad]ずつ異ならなくてもよい。
 また、位相変調素子25の各領域25c~25eは、上述のように位相変調素子25自体の厚さを領域毎に異ならせたものに限られるわけではなく、均一な厚さのガラス円板の少なくとも2カ所の領域に所定の厚さの薄膜を形成したものであっても良い。
 図1の説明に戻り、ダイクロイックミラー16は、励起光L1が反射し、かつ試料Sからの蛍光L3(後に図6に示す)が透過する特性を有する。マスク15の開口15a、開口15bおよび位相変調素子25を通った励起光L1は、ダイクロイックミラー16で反射して光路が折れ曲がり、リレー光学系17に入射する。リレー光学系17は、ダイクロイックミラー16からの励起光L1を光路変更部18へ導く。リレー光学系17は、図中1枚のレンズで表されているが、リレー光学系17に含まれるレンズの数は1枚とは限らない。また、リレー光学系17は、光学系の距離等によっては不要な場合もある。なお、各図において、リレー光学系17以外の部分についても2枚以上のレンズを1枚のレンズで表す場合がある。
 光路変更部18は、励起光L1の干渉縞L2を、試料S上でX方向とY方向との2方向に走査させる。すなわち、光路変更部18は、励起光L1によって干渉縞L2が形成される位置を、対物レンズ21の光軸21aに交差する2方向(試料面Saの面内方向)において、試料面Saに対して相対的に変更する走査部を構成する。光路変更部18は、偏向ミラー18aおよび偏向ミラー18bを含む。偏向ミラー18aおよび偏向ミラー18bは、励起光L1の光路に対する傾きが可変である。偏向ミラー18aおよび偏向ミラー18bは、それぞれ、ガルバノミラー、MEMSミラー、レゾナントミラー(共振型ミラー)等である。偏向ミラー18aおよび偏向ミラー18bは、スキャナであってもよい。
 偏向ミラー18aは、試料Sにおいて励起光L1が入射する位置をX方向に変化させる。偏向ミラー18bは、試料Sにおいて励起光L1が入射する位置をY方向に変化させる。光路変更部18は、例えば、対物レンズ21の瞳面P0と共役な位置が、偏向ミラー18aの位置、偏向ミラー18bの位置、または偏向ミラー18aと偏向ミラー18bとの間の位置になるように配置される。なお、光路変更部18は、試料Sにおいて励起光L1が入射する位置を、偏向ミラー18aがY方向に変化させ、偏向ミラー18bがX方向に変化させる構成でもよい。
 光路変更部18からの励起光L1は、レンズ19に入射する。レンズ19は、対物レンズ21およびレンズ20に対して試料面Saと光学的に共役な試料共役面Sbに、励起光L1を集光する。試料面Saは、対物レンズ21の前側焦点または前側焦点近傍の位置に配置され、対物レンズ21の光軸21aに垂直な面である。試料共役面Sbには、マスク15の開口15aを通った励起光L1aと開口15bを通った励起光L1bとの干渉によって、干渉縞L2が形成される。
 試料共役面Sbを通った励起光L1は、レンズ20に入射する。レンズ20は、励起光L1を平行光に変換する。レンズ20を通った励起光L1は、対物レンズ21の瞳面P0を通る。対物レンズ21は、励起光L1を試料面Sa上に集光する。レンズ20および対物レンズ21は、試料共役面Sbに形成される干渉縞を試料面Saに投影する。試料面Saには、局所的な干渉縞L2が形成される。
 干渉縞L2は、光強度が相対的に高い明部と、光強度が相対的に低い暗部とを含む。明部と暗部とが並ぶ方向(図1ではX方向)を、適宜、干渉縞L2の周期方向D1と称す。干渉縞L2の周期方向D1は、マスク15の開口15aと開口15bとが並ぶ方向(図1ではXa方向)に対応する。マスク駆動部22がマスク15をZa方向の周りで回転させると、開口15aと開口15bとが並ぶ方向が回転し、干渉縞L2の周期方向D1がZ方向の周りで回転する。すなわち、マスク駆動部22は、干渉縞L2の方向を変更する縞方向変更部に含まれる。マスク駆動部22(縞方向変更部)は、照明光学系4の光軸4aに垂直な面(例、マスク15の光出射側の面)において2以上の光束が並ぶ方向(以下、光束分割方向という)を変更する。上記の光束分割方向は、例えば、開口15aと開口15bとが並ぶ方向であり、マスク駆動部22は、マスク15を回転させることによって、光束分割方向を変更する。
 また、マスク15がZa方向の周りで回転すると、試料Sに対して励起光L1が入射する方向が変化する。マスク駆動部22は、偏光子14をマスク15と連動して回転させることによって、偏光子14の透過軸の向きを変化させ、励起光L1が、S偏光で試料Sに入射するように調整する。すなわち、偏光子14およびマスク駆動部22は、干渉縞L2の方向に基づいて、励起光L1の偏光状態を調整する偏光調整部に含まれる。
 図3は、第1実施形態におけるマスク、偏光子、干渉縞、及び励起光の偏光状態を示す図である。図3(A)において、マスク15の開口15aおよび開口15bが並ぶ方向は、Xa方向である。偏光子14の透過軸14aは、Xa方向に垂直なYa方向である。この場合、励起光L1(図1参照)は、開口15aを通った光束と、開口15bを通った光束が試料Sに入射して、周期方向D1の干渉縞L2が生成される。励起光L1入射面は、XZ平面に平行である。試料Sに入射する際の励起光L1は、その偏光方向D2が入射面に垂直なY方向であり、つまり、励起光L1は、S偏光で試料Sに入射する。
 図3(B)において、マスク15の開口15aおよび開口15bが並ぶ方向は、Xa方向を反時計回りに120°回転させた方向である。偏光子14の透過軸14aは、Ya方向を反時計回りに120°回転させた方向である。干渉縞L2の周期方向は、X方向に対して反時計回りに120°回転した方向である。励起光L1の入射面は、XZ平面をZ方向の周りで120°回転させた面である。試料Sに入射する際の励起光L1は、その偏光方向D2が入射面に垂直な方向であり、つまり、励起光L1は、S偏光で試料Sに入射する。
 図3(C)において、マスク15の開口15aおよび開口15bが並ぶ方向Xa方向を反時計回りに240°回転させた方向である。偏光子14の透過軸14aは、Ya方向を反時計回りに240°回転させた方向である。干渉縞L2の周期方向D1は、X方向に対して反時計回りに240°回転した方向である。励起光L1の入射面は、XZ平面をZ方向の周りで240°回転させた面である。試料Sに入射する際の励起光L1は、その偏光方向D2が入射面に垂直な方向であり、つまり、励起光L1は、S偏光で試料Sに入射する。
 上述のように励起光L1が試料面SaにS偏光で入射する場合、P偏光で入射する場合に比べて、干渉縞L2のコントラストが高くなる。なお、図3では、干渉縞L2の周期方向を120°の角度刻みで3通りに変化させているが、干渉縞L2の周期方向は、この例に限定されない。干渉縞L2の周期方向は、後述する画像処理部7が生成する出力画像において、分解能を向上させることが可能な方向(超解像効果が得られる方向)に相当する。干渉縞L2の周期方向は、所望の超解像効果が得られるように、適宜設定される。例えば、干渉縞L2の周期方向は、互いに90°の角度をなす2通りでもよいし、1通りでもよい。また、マスク15は、対物レンズ21の倍率およびNA(開口数)、照明瞳形状に合わせて交換可能でもよい。
 なお、図4(A)から図4(C)に示した位相変調素子25に対する励起光L1aおよび励起光L1bの位置は、マスク15の回転により光軸12a(位相変調素子25の中心Cn)を中心として回転する。従って、マスク15を回転させた場合には、位相変調素子駆動部26により位相変調素子25の回転角度の上述の3通りの状態も、中心Cnを中心としてマスク15と同じ角度だけ回転させる。
 位相変調素子25の回転角度を設定し、励起光L1aと励起光L1bとの間に所定の位相差を設定すると、試料面Sa上に形成される干渉縞L2の明暗の位相は、励起光L1aと励起光L1bとの間の位相差に応じて変化する。
 図5は、干渉縞L2の複数の位相状態を示す図である。図5(A)は、励起光L1aと励起光L1bとの間の位相差が0の場合の干渉縞L2aの位相状態を示す図である。図5(B)は、励起光L1aと励起光L1bとの間の位相差が2π/3[radの場合の干渉縞L2bの位相状態を示す図である。図5(C)は、励起光L1aと励起光L1bとの間の位相差が4π/3[rad]の場合の干渉縞L2cの位相状態を示す図である。
 図5(A)~図5(C)の各図において、破線で示した分布は、干渉縞L2の外形を表すエンベロープ(包絡線)Gaであり、その形状は一例としてガウス分布であり、その幅は図2等に示した励起光L1aおよび励起光L1bの径により定まる。一方、点線で示した分布CSa、CSb、CScは、横軸の位置に対するCOS関数の二乗(以下、COS二乗分布と呼ぶ)を示し、その位相(図中の左右方向の位置)は、励起光L1aと励起光L1bとの間に形成された位相差により決まる。そして、図5(A)~図5(C)の各図での干渉縞L2の光強度の分布(L2a、L2b、L2c)は、エンベロープGaとCOS二乗分布CSa、CSb、CScとの積で表される。
 励起光L1aと励起光L1bとの間に形成された位相差を変化させても、エンベロープGaは変化しないが、COS二乗分布CSa、CSb、CScの位相が変化する。この結果、それらの積である干渉縞L2(L2a、L2b、L2c)の明暗変化の位相も変化する。 なお、位相変調素子25により、励起光L1aと励起光L1bとの間の位相差を変化させても、干渉縞L2のエンベロープ(包絡線)Gaは変化(移動)しない。
 一方、偏向ミラー18aおよび偏向ミラー18bにより、干渉縞L2の位置を変更した場合には、エンベロープGaとCOS二乗分布CSa、CSb、CScとは、一体的に等しい移動量だけ移動するため、干渉縞L2のエンベロープ(包絡線)も変化(移動)する。
 図6は、第1実施形態における顕微鏡および蛍光の光路を示す図である。検出光学系5は、試料Sで発生した蛍光L3の像を形成する。検出光学系5は、試料Sから検出装置6に向かう順に、対物レンズ21、レンズ20、レンズ19、光路変更部18、リレー光学系17、ダイクロイックミラー16、及びレンズ23を含む。試料Sで発生した蛍光L3は、対物レンズ21、レンズ20、及びレンズ19をこの順に通って、光路変更部18に入射する。蛍光L3は、光路変更部18によってデスキャンされ、リレー光学系17を通ってダイクロイックミラー16に入射する。ダイクロイックミラー16は、蛍光L3が透過する特性を有する。ダイクロイックミラー16を透過した蛍光L3は、レンズ23に入射する。レンズ23は、蛍光L3を検出装置6に集光する。
 検出装置6は、イメージセンサであり、二次元的に配列された複数の検出部6aを含む。複数の検出部6aは、Xb方向とYb方向との2方向に配列されている。複数の検出部6aは、それぞれ、フォトダイオードなどの光電変換素子を含むセンサセル、ピクセル、あるいは光検出器等である。複数の検出部6aは、それぞれ、蛍光L3を検出可能である。検出部6aは例えば1画素に相当するが、複数の画素を含む検出領域(受光領域)を1つの検出部6aとして用いてもよい。
(画像取得フロー)
 以下、図7を参照して、第1実施形態の顕微鏡1における画像取得フローの一例について説明する。
 ステップS101において、顕微鏡1の制御部CBは、マスク駆動部22を駆動して偏光子14およびマスク15を所定の回転角度に設定し、干渉縞L2を所定の方向に設定する。続くステップS102において制御部CBは、位相変調素子駆動部26を駆動して位相変調素子25を所定の回転角度に設定して、干渉縞L2の位相を所定の値に設定する。
 ステップS103で、制御部CBは、光路変更部18(走査ミラー18X,18Y)を所定の設定(角度)に設定し、ステップS104で干渉縞L2を、光路変更部18試料面Saの所定の位置に照射し、試料Sの蛍光物質を干渉縞L2で励起する。そしてステップS105において、検出装置6の複数の検出部6aは、それぞれ試料Sからの蛍光L3を検出する。2次元イメージセンサである検出装置6の複数の検出部6aで検出された蛍光L3の強度情報は、画像処理部7に伝送される。画像処理部7には、蛍光L3の強度情報を取得した際の、試料面Sa上の干渉縞L2の位置に対応する光路変更部18の設定条件、および干渉縞L2の位相、干渉縞L2の方向に関する情報も、併せて伝送される。
 ステップS106において、制御部CBは光路変更部18の設定(走査ミラー18X,18Yの角度)の変更の要否を判断し、試料面Sa上の所望の領域の走査が未了であれば、ステップS103に戻り光路変更部18の設定を変更して上記照明領域を変更する。顕微鏡1は、蛍光を検出する処理と、照明領域を変更する処理とを繰り返すことで、所望の領域を走査し、所望の領域における蛍光強度分布(検出装置6の測定値)を取得する。
 ステップS106において、試料面Sa上の所望の領域の走査が完了しており光路変更部18の設定の変更は不要と判断されると、ステップS107に進む。ステップS107では、干渉縞L2の位相の変更が必要か否かを判断し、変更が必要であればステップS102に戻って、干渉縞L2の位相、すなわち位相変調素子25の回転角度を変更して、再度ステップS103以降を実行する。
 一方、既に所定数の位相条件の干渉縞L2で上述の蛍光強度分布を取得済の場合には、干渉縞L2の位相の変更が不要と判断され、ステップS107からステップS108に進む。
 ステップS108の画像処理(画像処理1)の工程は、主に画像処理部7によって処理される。ステップS108の画像処理(画像処理1)の工程については、後で詳述する。
 ステップS108の画像処理が終了すると、ステップS109に進む。ステップS109では、干渉縞L2の方向の変更が必要か否かを判断し、変更が必要であればステップS101に戻って、干渉縞L2の方向、すなわち偏光子14およびマスク15の回転方向を変更して、再度ステップS102以降を実行する。
 一方、既に所定数の方向の干渉縞L2で上述の蛍光強度分布を取得済の場合には、画像取得フローは終了する。
 なお、1通りの干渉縞L2の方向についてのみ画像(蛍光強度分布を)を取得すれば良い場合には、ステップS109の干渉縞L2の方向の変更が必要か否かの判断は不要である。
(画像処理1)
 ステップS108の画像処理1において、画像処理部7は、上述のようにして得られた検出装置6の各検出部6aでの検出結果に基づいて、出力画像を生成する。以下、画像処理部7が実行する処理について説明する。以下の説明に用いる数式において、適宜、座標系を位置ベクトルで記述する。試料面Saにおける座標および検出装置6における座標(以下、ディテクター座標という)を位置ベクトルr=(x,y)で表し、対応する波数座標(rでのフーリエ変換後の座標)を位置ベクトルk=(kx,ky)で表す。また、光路変更部18による走査先の座標(以下、スキャン座標という)を位置ベクトルrs=(xs,ys)で表し、その対応する波数座標(rsでのフーリエ変換後の座標)を位置ベクトルks=(kxs,kys)で表す。以下の説明において、波数を空間周波数もしくは周波数と称す場合がある。検出光学系5の倍率は、説明の便宜上1倍であるとするが、任意の倍率で構わない。
 対物レンズ21を含む検出光学系5の試料面Sa側の開口数をNA、照明光波長をλex、蛍光L3の波長をλemとすると、励起光が入射する場合の対物レンズ21の瞳半径kNAexおよび蛍光が入射する場合の対物レンズ21の瞳半径kNAemは、下記の式(1)および式(2)で表される。よく知られているように瞳面と像面の各々の電場振幅はフーリエ変換の関係で結ばれているため、瞳位置の座標を波数座標で表現することがある。kNAexおよびkNAemは各々、瞳を波数座標で表現した場合の瞳半径の値を示している。
Figure JPOXMLDOC01-appb-M000001
      ・・・式(1)
Figure JPOXMLDOC01-appb-M000002
      ・・・式(2)
 ここで、図2(C)を参照しつつ、各種パラメーターについて説明する。図2(C)では、瞳面P0を波数座標空間(周波数空間)で表している。図2(C)に示す点線で書かれた円の内部の領域は、対物レンズ21の瞳であり、kNAexは、対物レンズ21の瞳半径である。励起光L1が入射する領域P0a、領域P0bは、ここではそれぞれ円形であるとするが、円形に限られない。領域P0a、領域P0bのそれぞれの半径は、σkNAexである。σは対物レンズ21の瞳半径に対する領域P0a,もしくは領域P0bの半径の比である。対物レンズ21の光軸21aから領域P0aの中心までの距離は、(1-σ)kNAexである。また、対物レンズ21の光軸21aから領域P0bの中心までの距離は、(1-σ)kNAexである。領域P0aの中心と領域P0bの中心との距離は、例えば2(1-σ)kNAexであるが、この値に限らない。試料面Saでの励起光の強度(電場の二乗)ill(r)は、下記の式(3)で表される。
Figure JPOXMLDOC01-appb-M000003
      ・・・式(3)
 ここで、ベクトルk0=(k0,0)は干渉縞L2の波数ベクトルを示し、k0=2(1-σ)kNAexである。PSFill(r)は光学系の開口数がσNAである場合の点像強度分布関数(Point Spread Function)である。ill(r)の干渉縞の間隔(明部から次の明部までの距離)は、1/k0=1/(2(1-σ)kNAex)である。以下の説明において、干渉縞L2の間隔を、適宜、縞間隔または干渉縞L2の周期と称する。φは干渉縞L2の明暗変化の位相であり、以下、単に干渉縞L2の位相と呼ぶ。位相変調素子25によって位相φは変更可能である。
 なお、図2(C)に示したような、照明光学系の瞳面における照明光の分布を、照明瞳と呼ぶ。図2(C)に示した照明瞳は、照明光が2つの領域に集中して分布していることから、2極と呼ぶ。
 実施形態において、試料Sに含まれる蛍光物質は、励起光L1によって励起され、励起された蛍光物質から蛍光L3が放射される。上述のように、検出装置6の各検出部6aは、蛍光L3を受光し、検出光学系5により形成された蛍光物質の像を撮像して画像データを取得する。以下の説明では、検出装置6の検出部6aのサイズ(検出部サイズ)は、検出装置6における干渉縞L2の周期に相当する寸法(1周期に相当する検出装置6上の長さ)に比べて十分に小さいとする。例えば、検出部6aのサイズは、λem/4NA程度に設定される。
 ここで、試料Sにおける蛍光物質の分布をObj(r)で表し、検出装置6の各検出部6aで得られる画像データをI(r,rs)で表す。ここでrは、上述の通り、各検出部6aのディテクター座標である。I(r,rs)は、下記の式(4)で表される。
Figure JPOXMLDOC01-appb-M000004
  

         ・・・式(4)
 式(4)における*rsは、rsについてのコンボリューションである。ここで、PSFdet(r)は、対物レンズ21を含む検出光学系5および蛍光波長λemによって定まる検出PSFである。画像データI(r,rs)は、ディテクター座標r=(x,y)及びスキャン座標rs=(xs,ys)を独立変数に持つ4次元のデータである。また、PSFeff(r,rs)は、下記の式(5)で定義される実効PSFである。
Figure JPOXMLDOC01-appb-M000005
     
         ・・・式(5)
 上記の式(4)より、検出装置6の検出部6aごとに、相互に異なるObj(rs)の画像データが得られることが分かる。また、上記の式(5)より、検出装置6の検出部6aの位置(r)ごとに、実効PSFの形状が異なることが分かる。
 図9は、第1実施形態における検出装置の各検出部における実効PSFを示す図である。図9の各グラフにおいて、横軸は検出装置6のXb方向である。試料面Saは検出装置6と光学的に共役であり、試料面Saの座標Xと検出装置の座標Xbは適当な座標変換によって対応づけられる。例えば、光学系の倍率が1である場合、X=Xbとなる)。なお、図9は上述の照明光の位相φが0である場合を表している。
 図9(A)の3つのグラフのそれぞれは、Xb方向の座標が互いに異なる3つの検出部6aについての実効PSF(実線)を表している。例えば、図9(A)の中央のグラフは、位置X1aに配置される検出部6aの実効PSFに対応する分布Q1a(実線)を表す。また、図9(A)の左側のグラフは、位置X1bに配置される検出部6aの実効PSFに対応する分布Q1b(実線)を表す。また、図9(A)の右側のグラフは、位置X1cに配置される検出部6aの実効PSFに対応する分布Q1c(実線)を表す。
 また、図9の破線に対応する符号Q2は、図2等に示した干渉縞L2の強度分布に対応する分布である。また、図9の点線に対応する符号Gaは、図5に示したものと同じく、干渉縞L2の強度分布の外形を表すエンベロープ(包絡線)を表す。図9(A)に示したとおり、干渉縞L2の強度分布Q2の周期と、3つの検出部6aの配列の周期は、一般的には一致するものではない。分布Q2は、試料面Saでの励起光の強度(電場の二乗)ill(r)(上記の式(3)参照)でφ=0の場合に対応する。干渉縞L2の強度が極大となる位置、すなわち分布Q2のピーク位置X2a、X2b、及びX2cは、数値シミュレーション等によって予め求めることができる。
 分布Q2は、部分的な分布であるQ2a、Q2b、及びQ2cを含む。分布Q2aは、ピーク位置X2aの前の極小位置から次の極小位置までの範囲における分布である。分布Q2bは、ピーク位置X2bの前の極小位置から次の極小位置までの範囲における分布である。分布Q2cは、ピーク位置X2cの前の極小位置から次の極小位置までの範囲における分布である。
 また、図9の二点鎖線に対応する符号Q3a、符号Q3b、及びQ3cは、対物レンズ21を含む検出光学系5および蛍光波長λemによって定まる検出PSFに対応する分布である。検出PSFは、式(4)などのPSFdet(r)に対応する。
 図9(A)の中央のグラフに示す分布Q3aは、複数の検出部6aのうち位置X1aに配置される検出部6aの検出PSFに対応する分布である。分布Q3aは、検出部6aが配置される位置X1a(例、検出部6aの受光領域の中心位置)において極大(ピーク)になる。位置X1aは、干渉縞L2の強度分布に対応する分布Q2aのピーク位置X2aとほぼ同じである。実効PSFに対応する分布Q1aは、干渉縞L2の強度分布に対応する分布Q2と、位置X1aに配置される検出部6aの検出PSFに対応する分布Q3aとを掛け合わせた分布である。
 図9(A)の中央のグラフにおいて、検出部6aの位置X1aすなわち検出PSFのピーク位置(分布Q3aのピーク位置)は、干渉縞L2の強度分布に対応する分布Q2aのピーク位置X2aとのずれ量が所定値よりも小さい(例えば、ずれ量はほぼ0)。このような場合、実効PSFの分布Q1aは、単一の極大(ピーク)をとる。この場合、分布Q1aのピーク位置は、検出部6aの位置X1aあるいは干渉縞L2の強度分布に対応する分布Q2aのピーク位置X2aとほぼ同じになる。
 図9(A)の左側のグラフに示す分布Q3bは、複数の検出部6aのうち位置X1bに配置される検出部6aの検出PSFに対応する分布である。分布Q3bは、検出部6aが配置される位置X1b(例えば、検出部6aの受光領域の中心位置)において極大(ピーク)になる。位置X1bは、干渉縞L2の強度分布に対応する分布Q2のうちで位置X1bを含む部分的な分布Q2bのピーク位置X2bからずれている。実効PSFに対応する分布Q1bは、干渉縞L2の強度分布に対応する分布Q2と、位置X1bに配置される検出部6aの検出PSFに対応する分布Q3bとを掛け合わせた分布である。
 図9(A)の左側のグラフにおいて、検出部6aの位置X1bすなわち検出PSFのピーク位置(分布Q3bのピーク位置)は、干渉縞L2の強度分布に対応する分布Q2bのピーク位置X2bとのずれ量が所定値よりも大きい。この場合、実効PSFの分布Q1bが2つの極大(ピーク)をとる。このように、検出部6aの位置によって実効PSFのピークが2つに分かれる事があり、このような実効PSFの形状変化を実効PSFの形状の崩れと呼ぶ。実効PSFの最も強いビークをメインローブ、それ以外のピークをサイドローブと呼ぶ。
 実効PSFの分布Q1bのメインローブのピーク位置は、検出装置6aの中心位置(X2a)からずれている。このように、検出装置6の検出部6aの位置(r)と干渉縞L2の強度分布の位置との関係によって、実効PSFのメインローブの位置もずれることが分かる。以下の説明において、適宜、実効PSFのメインローブの位置のずれを実効PSFの位置ずれと呼ぶ。
 図9(A)の右側のグラフに示す分布Q3cは、複数の検出部6aのうち位置X1cに配置される検出部6aの検出PSFに対応する分布である。分布Q3cは、検出部6aが配置される位置X1c(例、検出部6aの受光領域の中心位置)において極大(ピーク)になる。位置X1cは、干渉縞L2の強度分布に対応する分布Q2のうちで位置X1cを含む部分的な分布Q2cのピーク位置X2cとずれている。実効PSFに対応する分布Q1cは、干渉縞L2の強度分布に対応する分布Q2と、位置X1cに配置される検出部6aの検出PSFに対応する分布Q3cとを掛け合わせた分布である。
 図9(A)の右側のグラフにおいて、検出部6aの位置X1cすなわち検出PSFのピーク位置(分布Q3cのピーク位置)は、干渉縞L2の強度分布に対応する分布Q2cのピーク位置X2cとのずれ量が所定値よりも大きい。この場合、実効PSFの分布Q1bが2つの極大(ピーク)をとり、実効PSFの形状の崩れ、実効PSFの位置ずれが発生している。
 画像処理部7は、干渉縞L2の強度分布の部分的な分布(例、図9(A)左側のグラフに示すQ2b)のピーク位置が、検出部6aの位置と整合するように、干渉縞L2の強度分布の位相を後述する画像処理によって実効的にシフトさせる。
 図9(B)は、画像処理によって実効的に位相をシフトさせた後の検出部6aごとの実効PSFである。図9(B)の左側のグラフにおいて、分布Q2fは、図9(A)の分布Q2bのピーク位置X2bが検出部6aの位置X1bと一致するように、分布Q2の位相をシフトさせた分布である。なお、分布Q2の位相分布はシフトさせても、分布Q2のエンベロープGaはXb方向に移動させない。すなわち、本画像処理においては、分布Q2のエンベロープGaのXb方向の位置を保ったまま、エンベロープGaの内部に含まれる分布Q2の位相を変化させる。分布Q2fのピーク位置X2fは、検出部6aの位置X1bとほぼ一致する。符号Q1fは、位相をシフトさせた分布Q2fと、位置X1bに配置された検出部6aの検出PSF(分布Q3b)とから得られる実効PSFに対応する分布である。分布Q1fは、実効PSFの形状の崩れが低減されている。
 また、図9(B)の右側のグラフにおいて、分布Q2gは、図9(A)の分布Q2cのピーク位置X2cが検出部6aの位置X1cと一致するように、分布Q2の位相をシフトさせた分布である。分布Q2gのピーク位置X2gは、検出部6aの位置X1cとほぼ一致する。符号Q1gは、位相をシフトさせた分布Q2gと、位置X1cに配置された検出部6aの検出PSF(分布Q3c)とから得られる実効PSFに対応する分布である。分布Q1gは、実効PSFの形状の崩れが低減されている。
 上述のような画像処理により、検出部6aごとの実効PSF(実線)の形状がほぼ同一となるように補正される。画像処理部7は、ほぼ同一の形状に補正された実効PSFを持つ検出部6aごとの中間画像を用いて、出力画像を生成する。
 画像処理部7は、上述のように各検出部6aごとの実効PSFの崩れを補正した結果について、さらに各検出部6aごとの中間画像の位置ずれ(実効PSFeffのピーク位置、もしくはメインローブの位置ずれ)を補正する。各検出部6aごとの中間画像の位置ずれは、各種設計値を用いた理論計算、あるいは蛍光ビーズなどの小物体を検出装置6によって撮影した撮像画像から取得可能である。
 このような位置ずれの補正を行うと、選択された検出部6aのそれぞれで得られる中間画像の実効PSFを形状および位置ともに、ほぼ同一にすることができる。このようにして得られた中間画像のPSFeffは、近似的に検出装置6の中心位置の検出部(光軸上に位置する検出部)のPSFeffと同等と見なせる。
 上述の実効PSFの崩れを補正する画像処理、および各検出部6aごとの中間画像の位置ずれを補正する画像処理の詳細については、後述する。
 画像処理部7は、各検出部6aにより取得され、上記の画像処理によりPSFeffがほぼ同一の形状に修正された中間画像を足し合わせることで、出力画像を生成する。画像処理部7は、足し合わされる画像のPSFeffがほぼ同一になっていることで、分解能およびS/N比が良好な出力画像(超解像画像)ISR(rs)を生成可能である。なお、出力画像(超解像画像)ISR(rs)の生成に用いる検出部6aの範囲を広くすると、信号量を増加することができる。また、出力画像(超解像画像)ISR(rs)の生成に用いる検出部6aの範囲を狭くすると、セクショニング能力を高くすることができる。
 以下、画像処理の詳細について説明する。
 理解を容易にするために、以下においては、干渉縞L2の周期方向はX方向とする。また、干渉縞L2の位相はφ=φ1, φ2, φ3の3通りの値をとる(3位相シフト)ものとする。φ1, φ2, φ3は、例えば、それぞれ0,2π/3,4π/3[rad]である。
 図8は、画像処理の一例である画像処理1の処理フローを表すフローチャートである。
 画像処理1の中のステップS121において、画像処理部7は、複数の検出部6aの中から1つの検出部6aを選択して、その検出部6aが取得した画像の画像処理を開始する。
(実効PSFの崩れを補正する画像処理)
 始めに、実効PSFの崩れを補正する画像処理について説明する。
 上述の式(4)と式(5)より、以下の式(6)が得られる。
Figure JPOXMLDOC01-appb-M000006
       ・・・式(6)
 式(6)では、位相φの依存性を明確にするために引数にφを明示してI(r,rs;φ)と書いている。
 画像処理部7は、ステップS122において、式(6)の左辺に相当する、選択された検出部6aにおいて所定の位相での干渉縞L2の走査により得られた画像データI(r,rs;φ)を、スキャン座標rs(2次元)について2次元フーリエ変換(2D-FFT)する。このフーリエ変換により得られるデータは、式(6)をスキャン座標rsについてフーリエ変換することで得られる下記の式(7)と等価である。
Figure JPOXMLDOC01-appb-M000007
       ・・・式(7)
 式(7)において、OTF’det(r,k)= ei2πksrOTFdet(k)である。また、OTFdetはPSFdetのフーリエ変換であり検出光学系のOTFを表し、OTFillはPSFillのフーリエ変換であり、ObjはObjのフーリエ変換である。
 式(7)は3つの項の和になっており、以下の式(8)で示すように、それぞれの項を、0次成分I (r,ks)、+1次成分I +1(r,ks)、-1次成分I -1(r,ks)と呼ぶ。
Figure JPOXMLDOC01-appb-M000008
       ・・・式(8)
 原理的には、式(8)の中の±1次成分(I +1(r,ks)、I -1(r,ks))に対して、所定の位相シフト量ψを掛け合わせることで、検出部6aの座標に合わせて干渉縞L2の位相を画像処理的にシフトする補正処理を行うことができる。なお、この位相シフト量は、画像処理において加えられる仮想的な位相シフト量であるため、以降「画像処理位相シフト量」と呼ぶ。
 ただし、実際には、干渉縞L2の走査により得られた画像データI(r,rs;φ)の2次元フーリエ変換の結果得られる0次成分I (r,ks)、+1次成分I +1(r,ks)、および-1次成分I -1(r,ks)は、周波数空間上においてそれぞれ広がり、相互にオーバーラップしているため、データ上で明確に分離することは困難である。
(成分分離)
 本実施形態では、干渉縞L2の位相を変更しつつ、干渉縞L2の異なる複数の位相において走査を行い画像を取得している。そこで、これらの複数の画像をそれぞれフーリエ変換したデータに基づいて、0次成分I (r,ks)、+1次成分I +1(r,ks)、-1次成分I -1(r,ks)を相互に分離することができる。
 ここで、干渉縞L2の位相φについて、φ1, φ2, φ3の3位相分の画像を取得したとする。すると、各々の位相に対して得られる画像I(r,rs;φ1~φ3)のスキャン座標rsに対するフーリエ変換は、以下の式(9)のように示される。
Figure JPOXMLDOC01-appb-M000009
       ・・・式(9)
 式(9)を行列形式で書くと、式(10)となる。
Figure JPOXMLDOC01-appb-M000010
       ・・・式(10)
 したがって、式(10)から、I (r,ks)、I +1(r,ks)、I -1(r,ks)を、以下の式(11)を用いて求めることが出来る。
Figure JPOXMLDOC01-appb-M000011
       ・・・式(11)
 上記から、I (r,ks)、I +1(r,ks)、I -1(r,ks)を求める(分離する)ためには、φ1, φ2, φ3を、式(11)中の逆行列が存在するように設定すればよいことが分かる。その一例としては、例えば上述の通り、φ1, φ2, φ3を、それぞれ、0,2π/3,4π/3[rad]であり、すなわち相互に2π/3[rad]の位相差を有するように設定すればよい。
 なお、φ1, φ2, φ3の値は上述の値に限らず、画像の想定されるS/Nに応じて、φ1, φ2, φ3の相互の位相差がπ/18から17π/18程度の間に設定されるのが良い。
 ステップ123においては、このような原理に基づいて、0次成分I (r,ks)、+1次成分I +1(r,ks)、および-1次成分I -1(r,ks)を分離して抽出する。
 すなわち、複数通り(例として3とおり)の干渉縞L2の位相φの下で、光路変更部18により試料面Sa上で干渉縞L2を走査させて取得した複数通りの画像に対して、それぞれの画像をスキャン座標rsでフーリエ変換する。そして、そのフーリエ変換の結果から、式(11)に基づいて、0次成分I (r,ks)、+1次成分I +1(r,ks)、および-1次成分I -1(r,ks)を求める(抽出する)ことができる。
 ステップS124において、0次成分I (r,ks)、+1次成分I +1(r,ks)、および-1次成分I -1(r,ks)のそれぞれを、波数座標ks(スキャン座標rsでのフーリエ変換後の波数座標)について逆フーリエ変換(2D-逆FFT)する。それぞれを逆フーリエ変換した、I(r,rs)、I+1(r,rs)、I-1(r,rs)は、以下の式(12)と等価である。
Figure JPOXMLDOC01-appb-M000012
       ・・・式(12)
(画像処理による位相シフト)
 続いて、ステップS125において、検出部6aの座標に合わせて干渉縞L2の位相を画像処理的にシフトする補正処理を行う。この補正処理は、式(13)に示す通り、上述の±1次成分にそれぞれ、検出部6aのディテクター座標rに応じた画像処理位相シフト量±ψ(r)を掛けることにより行う。一方、0次成分には位相シフト量の掛け合わせは不要である。
Figure JPOXMLDOC01-appb-M000013
       ・・・式(13)
 そして、式(13)の0次成分I’(r,rs)、+1次成分I’+1(r,rs)、-1次成分I’-1(r,rs)をすべて足し合わせることで、式(14)により表される画像(中間画像)が得られる。
Figure JPOXMLDOC01-appb-M000014
       ・・・式(14)
 これにより、ディテクター座標rに応じて干渉縞L2の位相が実効的にシフトされる。
 ここで、上記補正のための干渉縞L2の画像処理位相シフト量ψ(r)は、PSFdet(r+rs)とPSFill(rs)の積によって得られる関数のピーク位置に干渉縞L2のピークが来るように決めればよい。以下に、干渉縞L2のこの画像処理位相シフト量の決定方法について説明する。
 上記の補正のための干渉縞L2の位相のシフト量は、例えば、下記のように決定される。画像処理部7は、ディテクター座標rで検出した信号の位置ずれ量を算出する。画像処理部7は、例えば、予めシミュレーションにより、PSFdet(r+rs)とPSFill(rs)の積によって得られる関数のピーク位置を求めることで、上記の位置ずれ量を算出する。ここで実効PSFの位置ずれはディテクター座標rに比例すると考えてよく、位置ずれの度合いを表すパラメーターをβとし、位置ずれ量をr/βで表す。
 βの値は、PSFdet(r+rs)とPSFill(rs)との積によって得られる関数のピーク位置から算出されてもよいし、他の数値シミュレーションによって算出されてもよい。βが決まると、ディテクター座標に応じた位相シフト量が決まる。干渉縞L2の画像処理位相シフト量ψ(r)はPSFdet(r+rs)とPSFill(rs)との積によって得られる関数のピーク位置と、干渉縞L2のピーク位置とが一致するように決定される。このような処理によって、画像処理位相シフト量は、例えば、ψ(r)=2πk0・r/βとなる。前述のとおり、k0は干渉縞L2の波数ベクトルである。
 画像処理部7は、試料Sにおける励起光の光強度分布に基づいて、位相を変換する量(画像処理位相シフト量)を決定する。画像処理部7は、試料Sにおける励起光の光強度分布として試料面Saでの励起光の強度(電場の二乗)ill(r)に基づいて、画像処理位相シフト量を決定する。このように設定した画像処理位相シフト量ψ(r)を用いることで、式(13)に示した処理において、検出部6aの位置(ディテクター座標)rごとの実効PSFの形状の崩れが補正される。
(各検出部ごとの画像の位置ずれを補正する画像処理)
 画像処理部7は、上述のように位相シフト処理を行った後、ステップS126において、検出部6aごとの実効PSFの位置ずれを補正する処理を行う。位置ずれの補正処理を行うと、検出装置6の検出部6aごとの中間画像の実効PSFがほぼ同一となる。画像処理部7は、ステップS127において、検出装置6の検出部6aごとの中間画像を足し合わせることで、出力画像(超解像画像)ISR(rs)を生成する。この一連の処理は、下記の式(15)で表される。
Figure JPOXMLDOC01-appb-M000015
       ・・・式(15)
 式(15)において、PH(r)は、下記の式(16)で定義されるピンホール関数である。
Figure JPOXMLDOC01-appb-M000016
       ・・・式(16)
 ピンホールの半径に相当するrPHの値を調整することで、信号量およびセクショニング効果を調整することができる。rPHを大きくすると、信号量が増加する。また、rPHを小さくするとセクショニング能力が向上する。式(15)の演算によって得られる出力画像(超解像画像)ISR(rs)の実効PSFであるPSFSR(rs)は下記の式(17)で表される。
Figure JPOXMLDOC01-appb-M000017
       ・・・式(17)
 ステップS128において、画像処理部7は、選択した検出部6aの変更の要否を判断する。すなわち、これまでの処理において、画像処理すべき検出部6aが取得した画像データのうち未処理の画像データが残っている場合には、ステップS121に戻り、所定の検出部6aを選択して、ステップS122以降の処理を継続する。一方、画像処理すべき検出部6aが取得した画像データのすべてを処理済であれば、画像処理部7は、画像処理1の処理を終了して、図7のステップS109に戻る。
(第1実施形態の顕微鏡の分解能)
 干渉縞L2の周期方向、つまりk0方向に着目すると、式(17)より干渉縞L2の周期が小さいほどPSFSR(rs)の半値全幅は狭く、分解能が良くなることが分かる。つまり実施形態における干渉縞L2の周期方向に含まれる縞の数(明部)が多いほどPSFSRの半値全幅は狭くなり、分解能が良い。通常の蛍光顕微鏡の半値全幅は0.51λem/NAで与えられる。実施形態におけるPSFSRの半値全幅は、例えばσ=0.3の場合に0.3λex/NAとなり、通常の蛍光顕微鏡よりもPSFの半値全幅が1.7倍ほど狭く分解能が良い。
 実施形態における干渉縞L2の周期方向に含まれる明部の数は、例えばσ=0.3の場合に5である。実施形態におけるPSFSRの半値全幅は、例えばσ=0.4の場合は0.34λex/NAとなり、通常の蛍光顕微鏡よりもPSFの半値全幅が1.5倍ほど狭く分解能が良い。実施形態における干渉縞L2の周期方向に含まれる明部の数は、例えばσ=0.4の場合に3である。同様に、σ=0.35の場合には、明部の数は4である。また、通常の共焦点顕微鏡のピンホールを十分に小さく絞った場合、通常の蛍光顕微鏡よりもPSFの半値全幅が1.4倍ほど狭く分解能が良いことが知られている。
 共焦点顕微鏡に対して、分解能向上効果の優位性を持つためには、通常の蛍光顕微鏡よりもPSFの半値全幅が1.5倍以上狭いことが望ましい。すなわち、実施形態において干渉縞L2の周期方向に含まれる明部は3以上であることが望ましい。これを別の観点から見ると、対物レンズ21の瞳半径に対する領域P0aおよび領域P0bの半径の比であるσが0.4以下であり、かつ、領域P0aおよび領域P0bは、可能な限り対物レンズ21の瞳半径の外縁に位置することが望ましい。このとき、領域P0aおよび領域P0bの外周は、対物レンズ21の瞳の外周に接している、あるいは少なくとも部分的には、対物レンズ21の瞳の外周よりも外側にあることが好ましい。これらは、以降で説明する他の実施形態においても同様である。
 本実施形態において、スキャン間隔、検出装置6の検出部6aの間隔は、遮断周波数およびナイキストの定理に基づいて設定されてもよい。スキャン間隔は、干渉縞L2の周期方向においてλex/8NA以下に設定されてもよい。また、スキャン間隔は、干渉縞L2の周期方向と垂直な方向においてλex/4NA以下に設定されてもよい。また、検出装置6の検出部6aの間隔は、λem/4NA以下に設定されてもよい。
 上記の式(17)をフーリエ変換することで、実効OTFを求めることができる。通常の蛍光顕微鏡での遮断周波数であるkcut convは、kcut conv=2NA/λで与えられる。実施形態の顕微鏡は、干渉縞L2の方向にOTFが拡大し、2kcut convまでの遮断周波数を持つ。ここでは簡単のため、励起波長と蛍光波長は等しくλであるとした。実施形態におけるOTFは、通常の蛍光顕微鏡のOTFと、通常の蛍光顕微鏡のOTFが干渉縞L2の周期方向にシフトした成分とが合わさったものになる。
 上記の式(17)で説明したように、実施形態の顕微鏡1は、干渉縞L2の周期方向(図1ではX方向)の分解能が向上する。顕微鏡1は、干渉縞L2の周期方向を変更して試料Sからの蛍光を検出することで、2次元的に分解能を向上させることも可能である。そこで、ステップS109の画像処理の終了後に、上述のとおりステップS109において、干渉縞L2の方向の変更が必要か否かを判断し、変更が必要であればステップS101に戻って、干渉縞L2の方向、すなわち偏光子14およびマスク15の回転方向を変更して、再度ステップS102以降を実行する。
 干渉縞L2の周期方向を90°変更して再度ステップS102以降を実行して画像を取得する例について説明する。
 始めに干渉縞L2の周期方向がX方向である場合の超解像画像(出力画像)(ステップS108の画像処理1により得られた画像)をISRx(r)とし、干渉縞L2の周期方向を90°変更した後の周期方向がY方向である場合の超解像画像(出力画像)をISRy(r)とする。画像処理部7は、ステップS127においてISRx(r)とISRy(r)とを順次足し合わせることで、2次元的に分解能が向上した超解像画像である最終出力画像を生成する。
 あるいは、画像処理部7は、以下の処理によって超解像画像である最終出力画像を生成してもよい。
 画像処理部7は、超解像画像ISRx(r)および超解像画像ISRy(r)をそれぞれスキャン座標rsでフーリエ変換する。ここで、超解像画像ISRx(r)をフーリエ変換したものをI SRx(k)で表わす。また、超解像画像ISRy(r)をフーリエ変換したものをI SRy(k)で表す。I SR_x(k)は、通常の蛍光顕微鏡に比べて、干渉縞の周期方向(X方向)に関して遮断周波数が増大している。また、I SRy(k)は、通常の蛍光顕微鏡に比べて、干渉縞の周期方向(Y方向)に関して遮断周波数が増大している。画像処理部7は、I~SRx(k)とI~SRy(k)とを足し合わせる。これにより、2方向(X方向およびY方向)において、遮断周波数が増大する。
 なお、足し合わされた実効OTFの形状は、干渉縞L2の周期方向を変更する方向の組み合わせによって、いびつである場合がある。この場合、画像処理部7は、実効OTFの形状を補正する周波数フィルターをかけてもよい。
 画像処理部7は、上記の足し合わされた、または足し合わされ、かつフィルター処理された周波数空間上のデータを、逆フーリエ変換して、最終出力画像を生成する。これにより、ISRx(r)とISRy(r)とを足し合わせる場合よりも効果的に最終出力画像の分解能を向上させることができる。
 干渉縞L2の周期方向の変更は、上述の0°および90°の2通りに限られるわけでなく、図3で説明したように、周期方向を0°、120°、240°の3通りに変更し、検出装置6は、そのそれぞれについて蛍光L3を検出してもよい。画像処理部7は、3通りの周期方向について検出装置6が検出した3つの検出結果(例、3枚の画像)を用いて、最終出力画像を生成してもよい。この場合にも、上記と同様に、画像処理部7は、3通りの出力画像ISRをそのまま加算して最終的な超解像画像ISRを得ることができる。あるいは、3通りの出力画像ISRをスキャン座標rsでフーリエ変換し、周波数空間上で加算および周波数フィルターにより処理を行った後に、フーリエ逆変換して最終出力画像ISRを得ることもできる。
 なお、本実施形態において、顕微鏡1は、試料面Saと平行な2方向に干渉縞L2を走査することで、干渉縞L2を二次元的に走査する。実施形態の顕微鏡1は、試料面Saと平行な2方向、及び試料面Saに垂直な1方向に干渉縞L2を走査することで、干渉縞L2を三次元的に走査してもよい。干渉縞L2を三次元的に走査する場合、試料面Saと平行な2方向に干渉縞L2を走査する処理(以下、二次元処理という)については、上述の実施形態で説明した処理と同様である。顕微鏡1は、二次元処理をZ方向の位置を変更して繰り返すことにより、例えば、三次元的な超解像画像を生成可能である。後述の実施形態についても同様に、顕微鏡1は、干渉縞L2を三次元的に走査してもよい。
 なお、上述の画像取得のフローにおいては、始めに干渉縞L2の方向を設定し、次に干渉縞L2の位相を設定し、最後に干渉縞L2の走査位置(光路変更部18の設定)を変更する構成としているが、これらの設定の順序はこれに限られるものではない。例えば、始めに干渉縞L2の位相を設定し、次に干渉縞L2の方向を設定しても良く、他の順で設定を行ってもよい。なお、上述の通り、ステップS108の画像処理1においては干渉縞L2の複数の位相条件で所望の領域を走査した画像を必要とする。従って、テップS108の画像処理1は、試料面Sa上の所望の領域の画像を複数の位相条件で取得した後に行う。
(画像処理の変形例)
 上述の画像処理の例においては、干渉縞L2の位相が異なる3つの位相状態(3位相シフト)で取得した3つの画像を用いて、0次成分および±1次成分の成分分離を行う方法について説明した。しかし、成分分離は、3位相シフトに限らず、2位相シフトにおいても行うことができる。本変形例では、2位相シフトで成分分離を行う方法について説明する。なお、本変形例においては、顕微鏡1の構成は上述の第1実施形態と同じであり、ステップS108の画像処理(画像処理1)についても、図7のステップS123の成分分離の部分以外は第1実施形態と同じである。
 干渉縞L2の位相について、相互にπの位相差を有するφ=0、π[rad]の2位相分の画像を取得した場合、各々の位相に対して得られる画像のスキャン座標rsによるフーリエ変換は、上述の式(8)に対応して、以下の式(18)のように示される。
Figure JPOXMLDOC01-appb-M000018
       ・・・・式(18)
 ここで、画像を取得した干渉縞L2の2つの位相の位相差はπであり逆位相であるので、2つの画像のフーリエ変換の各々の和をとると、±1次成分は相殺され、0次成分が得られる(抽出される)。
Figure JPOXMLDOC01-appb-M000019
       ・・・・式(19)
 一方、2つの画像のフーリエ変換の各々の差をとると、+1次成分と-1次成分の和が得られる。
Figure JPOXMLDOC01-appb-M000020
       ・・・・式(20)
 ここで、±1次成分は、ks座標空間上での中心位置(空間周波数)が相互に離れているため、相互に重なる領域は非常に小さい。したがって、ks座標空間において、ks>0の領域のデータを抽出することで実質的にI +1(r,ks)を得ることができ、ks<0の領域のデータを抽出することで実質的にI -1(r,ks)を得ることができる。このように抽出した場合、±1次成分の各々には他方の成分が僅かながら含まれることになるが、実際の顕微観察ではこのような僅かな成分はノイズに埋もれてしまうため、事実上問題が生じない。このようにして、2位相シフトにおいても成分分離を行うことができる。
(4以上の位相シフトの場合)
上述の画像処理の例において、位相シフトを2回(2位相シフト)、もしくは3回(3位相シフト)の場合に、0次成分および±1次成分の成分分離を行う方法について説明した。位相シフトの回数は4回以上でもよい。位相シフトをN回行う場合(N>3)、位相シフト量は例えば、それぞれ、0、2π/N、4π/N、…、2π(N-1)/N [rad]とする。
 各々の位相で撮影した画像について、式(9)と同様の連立方程式を立てることができる。ただし、連立方程式の数はN個である。N個の連立方程式に対して、未知数はI (r,ks)、I +1(r,ks)、I -1(r,ks)の3つである。このような場合、最小二乗法を用いることで、上記N個の連立方程式からI (r,ks)、I +1(r,ks)、I -1(r,ks)を求めることが可能である。このようにして、位相シフトN回の場合にも、成分分離が可能である。成分分離を行った後の画像処理については、上述の3位相シフトの場合と同様である。
(第2実施形態の顕微鏡)
 第2実施形態の顕微鏡について、図10、図11、および図12を参照して説明する。図10は、第2実施形態の顕微鏡のダイクロイックミラー16の近傍の構成を表す図である。第2実施形態の顕微鏡は、図10に示されている部分以外は、図1に示した上述の第1実施形態の顕微鏡と同じである。第2実施形態の顕微鏡は、位相変調素子として、図1に示したガラス板からなる位相変調素子25の代わりに、図10に示した部分反射鏡25f、25gを備えている。
 部分反射鏡25f、25gのうちの少なくとも一方は、ピエゾ素子26f、26gにより保持され、各反射鏡の鏡面に垂直な方向に移動可能となっている。ピエゾ素子26f、26gの少なくとも一方を駆動することにより、部分反射鏡25f、25gが相対的に変位することで、励起光L1aと励起光L1bの間に光路差(位相差)が形成される。これにより、試料面Sa上に形成される干渉縞L2の位相を変化させることができる。
(画像取得フロー)
 以下、図11を参照して、第2実施形態の顕微鏡1における画像取得フローの一例について説明する。なお、以下の各ステップにおける処理について、上述の第1実施形態と共通する部分については、適宜説明を省略する。
 ステップS201において、顕微鏡1の制御部CBは、干渉縞L2を所定の方向に設定する。制御部CBは、ステップS202で、光路変更部18(走査ミラー18X,18Y)を所定の設定(角度)に設定し、ステップS203で干渉縞L2を、試料面Saの所定の位置に照射し、試料Sの蛍光物質を干渉縞L2で励起する。
 ステップS204において、制御部CBは、ピエゾ素子26f、26gを駆動して部分反射鏡25f、25gを経過時間tとともに変位させ、干渉縞L2の位相φを、φ(t)=2πf0t[rad]で、経過時間tとともに変化させる。なお、位相φ(t)の値には、±2mπ[rad](mは整数)の差があってもよい。そしてステップS205において、検出装置6の複数の検出部6aは、所定の時間間隔でそれぞれ試料Sからの蛍光L3を検出する。
 ステップS206において、制御部CBは経過時間tが所定の時間T未満であるか否かを判断する。そして、経過時間tが所定の時間T未満であれば、ステップS204に戻り、干渉縞L2の位相を再設定してステップS205の蛍光L3の検出を繰り返す。
 一方、経過時間tが所定の時間T以上であれば、ステップS207に進む。
 ステップS207では、光路変更部18の設定(走査ミラー18X,18Yの角度)の変更の要否を判断し、試料面Sa上の所望の領域の走査が未了であれば、ステップS202に戻り光路変更部18の設定を変更して上記照明領域を変更する。一方、試料面Sa上の所望の領域の走査が終了していれば、ステップS208の画像処理(画像処理2)に進む。
 ステップS208の画像処理(画像処理2)の処理の詳細は、後述する。
 次のステップS209では、干渉縞L2の方向の変更が必要か否かを判断し、変更が必要であればステップS201に戻って、干渉縞L2の方向を変更して、再度ステップS202以降を実行する。
 一方、既に所定数の方向の干渉縞L2で上述の蛍光強度分布を取得済の場合には、干渉縞L2の方向の変更が不要と判断され、画像取得フローを終了する。
(画像処理2)
 ステップS202からステップS207により検出部6aが取得する画像データは、上述の式(6)より以下の式(21)が示す画像と等価になる。
Figure JPOXMLDOC01-appb-M000021
         ・・・・式(21)
式(21)を経過時間tについてフーリエ変換すると、式(22)が得られる
Figure JPOXMLDOC01-appb-M000022
         ・・・・式(22)
 ここで、I(r,rs;f)は、I(r,rs;t)を経過時間tでフーリエ変換した結果、fはフーリエ変換後の周波数空間の座標、δはディラックのデルタ関数を表す。式(22)より、I(r,rs;f)は、f=0、±f0の近傍にのみ値を持つことが分かる。f=0近傍のデータを抽出してI(r,rs)とし、f=+f0近傍のデータを抽出してI+1(r,rs)とし、f=-f0近傍のデータを抽出してI-1(r,rs)とする。これらは上述の第1実施形態において式(12)で示したI(r,rs)、I+1(r,rs)、I-1(r,rs)と等価である。従って、各検出部6aが取得した画像を経過時間tに関してフーリエ変換することで、0次成分および±1次成分を成分分離することができる。
 すなわち、第2実施形態においては、ステップS202からステップS207により検出部6aが取得した画像を、経過時間tについてフーリエ変換することで、0次成分および±1次成分を成分分離する。
 図12は、第2実施形態におけるステップS208の画像処理2の処理フローの一例を表すフローチャートである。
 画像処理2の中のステップS221において、画像処理部7は、複数の検出部6aの中から1つの検出部6aを選択して、その検出部6aが取得した画像の画像処理を開始する。なお、ディテクター座標x, yにある1つ検出部6aが検出した画像は、スキャン座標xs, ys、および経過時間tの、合わせて3次元からなるデータである。
 画像処理部7は、ステップS222において、上述の通り、1つ検出部6aが検出した画像(検出結果)I(r,rs;t)を経過時間tでフーリエ変換する。そして、ステップS223において、フーリエ変換されたI(r,rs;f)のうち、f=0近傍のデータを抽出してI(r,rs)とし、f=+f0近傍のデータを抽出してI+1(r,rs)とし、f=-f0近傍のデータを抽出してI-1(r,rs)とする。上述の通り、これにより、0次成分と±1次成分の成分分離がなされる。
 その後、ステップS224にて画像処理による位相シフト処理を行い、ステップS225にて各検出部6aの位置ずれを補正する処理を行い、ステップS226において、各検出部6aの画像を加算する処理を行う。なお、ステップS224からステップS226までの処理は、上述の第1実施形態の画像処理1におけるステップS125からステップS127の各処理と同じであるので、説明を省略する。
 なお、ステップS204において、各検出部6aは、干渉縞L2の走査位置ごとに経過時間tが0~Tの間、時間間隔Δtで蛍光強度を取得する。このとき、時間間隔Δtは、Δt<1/(2f0)を満たし、かつ、上述の所定の時間Tは、T>2/f0を満たすように設定することが望ましい。
 すなわち、所定の時間Tは、干渉縞L2の位相変化の周期の2倍より長い時間に設定し、時間間隔Δtは、干渉縞L2の位相変化の周期の半分よりも短い時間に設定することが望ましい。所定の時間Tが上記より短い、あるいは、時間間隔Δtが上記より長いと、0次成分および±1次成分の成分分離の精度が低下する。
(第3実施形態の顕微鏡)
 第3実施形態の顕微鏡について説明する。第3実施形態の顕微鏡において、上述の各実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図13は、第3実施形態の顕微鏡1bを示す図である。本実施形態において、検出装置6は、複数の検出部6aが1次元的に配列されたラインセンサ(ラインディテクター)を含んでいる。複数の検出部6aは、検出装置6において1方向に配列されている。検出装置6は、試料面Saと光学的に共役な位置に配置されている。複数の検出部6aが並ぶ方向(以下、配列方向という)は、干渉縞L2の周期方向と対応する方向に設定されている。例えば、図13において、干渉縞の周期方向はX方向であり、複数の検出部6aの配列方向は、X方向に対応するXb方向に設定されている。
 本実施形態の顕微鏡1bは、λ/2波長板30と、光軸の周りで光路を回転させる光路回転部31とを備えている。λ/2波長板30は、光路回転部31による光路の回転角に基づいて、光路回転部31を通る偏光を回転させる。光路回転部31は、照明光学系4においてマスク15から試料Sまでの間の光路に配置されている。光路回転部31は、例えば、照明光学系4の光路において励起光L1がほぼ平行光になる位置に配置されている。光路回転部31は、例えば、照明光学系4において励起光L1が通り且つ検出光学系5において蛍光L3が通る位置に配置されている。光路回転部31は、例えば、ダイクロイックミラー16と試料Sとの間の光路に配置されている。λ/2波長板30は、光路回転部31に対して試料Sと同じ側に配置されていてもよいし、光路回転部31に対して試料Sと反対側(例、励起光の光源と同じ側)に配置されていてもよい。
 光路回転部31は、例えば、ダブプリズムなどのイメージローテーターである。光路回転部31は、照明光学系4の光軸の周りで回転可能に設けられている。光路回転部31は、光路回転駆動部32によって駆動されて回転する。光路回転部31としてダブプリズムを用いる場合、ダブプリズムを照明光学系4の光軸の周りでθ°回転させると、ダブプリズムからの光出射側(試料S側)における光路は、ダブプリズムへの光入射側(光源3側)における光路に対して、照明光学系4の光軸の周りで2×θ°回転する。これにより、試料Sに対する励起光L1の入射面は、Z方向の周りで2×θ°回転し、干渉縞L2の周期方向は、Z方向の周りで2×θ°回転する。例えば、干渉縞L2の周期方向を90°変更する場合、光路回転駆動部32は、光路回転部31を照明光学系4の光軸の周りで45°回転させる。このように、光路回転部31は、試料に対する干渉縞の方向を変更する縞方向変更部に含まれる。
 λ/2波長板30は、照明光学系4の光軸の周りで回転可能に設けられる。λ/2波長板30は、光路回転部31と連動して回転する。λ/2波長板30は、光路回転部31の回転角に基づいて定められる角度だけ回転する。例えば、λ/2波長板30は、光路回転部31と固定(例、一体化)され、光路回転部31とともに回転する。この場合、λ/2波長板30は、光路回転部31の回転角と同じ角度だけ回転する。
 λ/2波長板30を照明光学系4の光軸の周りでθ°回転させると、励起光L1の偏光方向は、光入射側(光源3側)における偏光方向に対して、照明光学系4の光軸の周りで2×θ°回転する。これにより、試料Sに入射する際の励起光L1の偏光状態は、S偏光になる。
 また、図13の光路回転部31は、像回転部にも含まれる。像回転部は、試料Sの像(例、試料Sからの蛍光の像)を複数の検出部6aに対して、検出光学系5の光軸の周りで回転させる。すなわち、縞方向変更部と像回転部とは、同一の部材(光学部材)として光路回転部31を含む。光路回転部31は、照明光学系4の光路のうち蛍光が入射する位置に配置される。像回転部は、光路回転部31によって蛍光の像を回転させる。光路回転部31は、検出装置6における複数の検出部6aの配列方向に対する干渉縞L2の周期方向を調整する。光路回転部31としてダブプリズムを用いる場合、ダブプリズムを照明光学系4の光軸の周りでθ°回転させると、干渉縞L2の周期方向がZ方向の周りで2×θ°回転する。そして、試料Sからの蛍光L3の光路は、ダブプリズムへの光入射側(試料S側)に対して、光出射側(検出装置6側)において-2×θ°回転する。
 ダブプリズムを回転させると、ダブプリズムを介して試料Sへ向かう光の光路が回転し、試料Sに対する干渉縞L2の周期方向が変化する。また、試料Sからダブプリズムを介して検出装置6へ向かう光の光路は、試料Sへ向かう光の光路と反対向きに同じ角度だけ回転する。したがって、検出装置6における複数の検出部6a(例、ラインディテクター)の像を、検出光学系5を介して試料面Saに投影した場合、複数の検出部6aが並ぶ方向と干渉縞の周期方向とは、ダブプリズムによって干渉縞の周期方向を変更した場合でも常に一致する。よって、検出装置6は、干渉縞L2の周期方向の変更前と変更後とで同じように、蛍光L3を検出可能である。画像処理部7は、検出装置6の検出結果に基づいて、第1実施形態から第2実施形態で説明した処理によって画像を生成する。
 なお、上述の第1実施形態の顕微鏡1は、マスク駆動部22がマスク15を回転させることで干渉縞L2の周期方向を変更するが、上述の第1実施形態においても上記の光路回転部31(例、ダブプリズム)によって干渉縞L2の周期方向を変更してもよい。また、第1実施形態および第3実施形態のいずれにおいても、干渉縞L2の周期方向を変更する縞方向変更部は、マスク駆動部22および光路回転部31のいずれとも異なる形態でもよい。例えば、ステージ2は、Z方向の周りで回転可能に設けられ、その回転によって試料Sに対する干渉縞L2の方向を変更してもよい。この場合、ステージ2は、試料Sに対する干渉縞L2の方向を変更する縞方向変更部に含まれる。
(第4実施形態の顕微鏡)
 図14は、第4実施形態の顕微鏡の顕微鏡1cを示す。図14の顕微鏡1cは、光路回転部31が設けられる位置が図13の第3実施形態の顕微鏡1bとは異なる。図14において、縞方向変更部は、上述の第1実施形態の顕微鏡1と同様であり、マスク15およびマスク駆動部22を含んでいる。光路回転部31は、図13の第3実施形態の顕微鏡1bにおいては、縞方向変更部と像回転部とを兼ねているが、図14の第4実施形態の顕微鏡1cにおいては、縞方向変更部(マスク15およびマスク駆動部22)とは別に設けられている。図14において、光路回転部31は、検出光学系5の光路のうち照明光学系4の光路と重複しない位置に配置されている。光路回転部31は、励起光L1が入射せず、蛍光L3が入射する位置に配置されている。光路回転部31は、ダイクロイックミラー16と検出装置6との間の光路に配置されている。
 顕微鏡1cは、マスク駆動部22がマスク15および偏光子14を回転させることで、干渉縞L2の周期方向を変更する。光路回転駆動部32は、マスク15および偏光子14の少なくとも一方の回転角に基づいて定まる角度だけ、光路回転部31を回転させる。顕微鏡1cは、駆動部32が光路回転部31を回転させることで、検出装置6に投影される像の方向を複数の検出部6aが並ぶ方向に対して整合させる。
 上述の第3実施形態の顕微鏡1bまたは第4実施形態の顕微鏡1bにおいても、画像処理部7は、検出装置6の各検出部6aの検出結果に基づいて、画像を生成する。画像処理部7が行う画像処理は、上述の第1実施形態または第2実施形態で説明した画像処理のいずれであってもよい。
(第5実施形態の顕微鏡)
 第5実施形態の顕微鏡について説明する。第5実施形態において、上述の各実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図15は、第5実施形態の顕微鏡1dを示す図である。第5実施形態において、顕微鏡1dは、遮光部材33を備えている。遮光部材33は、試料面Saと光学的に共役な位置またはその近傍に配置されている。図15において、検出装置6は、試料面Saと光学的に共役な位置に配置され、遮光部材33は、検出装置6の近傍に配置されている。遮光部材33は、試料面Saと共役な位置またはその近傍に配置されていてもよい。
 遮光部材33は、蛍光L3が通る開口33aを有し、開口33aの周囲において蛍光L3を遮光する。開口33aは、検出装置6における複数の検出部6aの配列方向(Xb方向)に延びている。開口33aは、例えば矩形状のスリットである。遮光部材33は、開口33aの長辺が複数の検出部6aの配列方向とほぼ平行になるように、配置されている。遮光部材33は、開口33aの寸法と形状の一方または双方が可変でもよい、例えば、遮光部材33は、光を遮る領域を可変な機械式の絞り、あるいは空間光変調器(SLM)などでもよい。なお、開口33aの寸法と形状の一方または双方が固定でもよい。
 検出装置6は、遮光部材33の開口33aを通った蛍光L3を検出する。画像処理部7は、検出装置6の各検出部6aの検出結果に基づいて、画像を生成する。画像処理部7が行う処理は、上述の第1実施形態または第2実施形態で説明した処理のいずれであってもよい。
(第6実施形態の顕微鏡)
 第6実施形態の顕微鏡について説明する。第6実施形態において、上述の各実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図16は、第6実施形態の顕微鏡1eを示す図である。本実施形態において、顕微鏡1eは、上述の第1実施形態の顕微鏡1と同様にマスク駆動部22を備えている。そして、検出装置6を回転させる検出装置駆動部34を備えている。マスク駆動部22は、マスク15を回転させ、干渉縞L2の周期方向を変更する。マスク駆動部22は、試料Sに対する干渉縞L2の方向を変更する縞方向変更部に含まれる。
 本実施形態において、検出装置6は、検出光学系5の光軸を中心としてZb方向の周りで回転可能である。検出装置駆動部34は、Zb方向の周りで検出装置6を回転させる。検出装置駆動部34は、検出装置6における検出部6aの配列方向が干渉縞L2の周期方向と対応するように、検出装置6を回転させる。例えば、マスク駆動部22がマスク15を90°回転させる場合、干渉縞L2の周期方向が90°変化するので、検出装置駆動部34は、検出装置6を90°回転させる。
 また、検出装置駆動部34は、検出装置6と遮光部材33との相対位置が維持されるように、遮光部材33を回転させる。例えば、遮光部材33と検出装置6とは一体化されており、検出装置駆動部34は、遮光部材33と検出装置6とを一体的に回転させる。
 なお、顕微鏡1は、検出装置6を回転させる代わりに、図14に示した光路回転部31を備えていてもよい。また、顕微鏡1eは、図14に示したように遮光部材33を備えなくてもよい。
(第7実施形態の顕微鏡)
 第7実施形態の顕微鏡について説明する。第7実施形態において、上述の各実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図17、第7実施形態の顕微鏡1fを示す図である。上述の第1実施形態において、瞳面P0(図2(C)参照)上で照明瞳が2極(2つの領域)に分かれる例を説明したが、照明瞳はその他の形態でもよい。ここでは、照明瞳が瞳面上で4極(4つの領域)に分かれる形態について説明する。
 本実施形態における照明光学系4は、光ファイバー11の光出射側に、コリメーターレンズ12、λ/2波長板35、偏光分離素子36、位相変調素子25a、ミラー37、マスク38(開口部材)、位相変調素子25b、ミラー39、マスク40(開口部材)、及び偏光分離素子41を備えている。照明光学系4は、ダイクロイックミラー16から対物レンズ21までの構成については、上述の第1実施形態と同様である。
 光ファイバー11から出射した励起光L1は、コリメーターレンズ12によってほぼ平行光に変換され、λ/2波長板35に入射する。λ/2波長板35を通った励起光L1は、第1方向の直線偏光である励起光L1c、および第2方向の直線偏光である励起光L1dを含む。λ/2波長板35は、励起光L1cの光量と励起光L1dの光量とが所定の比率になるように、その光学軸(進相軸、遅相軸)の方向が設定される。
 λ/2波長板35を通った励起光L1(励起光L1cおよび励起光L1d)は、偏光分離素子36に入射する。偏光分離素子36は、コリメーターレンズ12の光軸12aに対して傾いた偏光分離膜36aを有している。偏光分離膜36aは、第1方向の直線偏光が反射し、第2方向の直線偏光が透過する特性を有する。偏光分離素子36は、例えば、偏光ビームスプリッタプリズム(PBSプリズム)である。上記の第1方向の直線偏光は、偏光分離膜36aに対するS偏光である。上記の第2方向の直線偏光は、偏光分離膜36aに対するP偏光である。
 偏光分離膜36aに対するS偏光である励起光L1cは、偏光分離膜36aで反射し、位相変調素子25a、およびミラー37を介してマスク38に入射する。偏光分離膜36aに対するP偏光である励起光L1dは、偏光分離膜36aを透過し、位相変調素子25b、およびミラー39を介してマスク40に入射する。マスク38およびマスク40は、蛍光物質を励起する励起光を複数の光束に分割する光束分割部である。マスク38およびマスク40については、後に図18を参照して説明する。
 マスク38を通った励起光L1cおよびマスク40を通った励起光L1dは、それぞれ、偏光分離素子41に入射する。偏光分離素子41は、励起光L1cの光路および励起光L1dの光路に対して傾いた偏光分離膜41aを有している。偏光分離膜41aは、第1方向の直線偏光が反射し、第2方向の直線偏光が透過する特性を有する。偏光分離素子41は、例えば、偏光ビームスプリッタプリズム(PBSプリズム)である。上記の第1方向の直線偏光は、偏光分離膜41aに対するS偏光である。上記の第2方向の直線偏光は、偏光分離膜41aに対するP偏光である。
 励起光L1cは、偏光分離膜41aに対してS偏光になっており、偏光分離膜41aで反射してダイクロイックミラー16に入射する。励起光L1dは、偏光分離膜41aに対するP偏光になっており、偏光分離膜41aを透過してダイクロイックミラー16に入射する。なお、偏光分離素子36および偏光分離素子41の一方または双方は、PBSプリズムでなくてもよい。偏光分離素子36および偏光分離素子41の一方または双方は、TE偏光とTM偏光とで反射、透過が異なるフォトニック結晶などでもよい。
 図18は、第7実施形態におけるマスクおよび励起光の偏光状態を示す図である。図18(A)において、Xc方向、Yc方向、Zc方向は、それぞれ、試料面Sa(図17参照)におけるX方向、Y方向、Z方向に対応する方向である。マスク38は、開口38aおよび開口38bを有している。マスク38は、瞳面共役面またはその近傍に配置される。開口38aおよび開口38bは、Xc方向に並んでいる。開口38aおよび開口38bは、例えば円形であるが、円形以外の形状でもよい。
 図18(B)において、Xd方向、Yd方向、Zd方向は、それぞれ、試料面Sa(図17参照)におけるX方向、Y方向、Z方向に対応する方向である。マスク40は、瞳面共役面またはその近傍に配置されている。マスク38またはマスク40は、瞳面またはその近傍に配置されていてもよい。マスク40は、開口40aおよび開口40bを有する。開口40aおよび開口40bは、Yd方向に並んでいる。開口40aおよび開口40bは、例えば円形であるが、円形以外の形状でもよい。
 図18(C)において、符号AR2aは、対物レンズ21の瞳面P0において、マスク38の開口38aを通った励起光L1cが入射する領域である。符号AR2bは、瞳面P0において、マスク38の開口38bを通った励起光L1cが入射する領域である。領域AR2a、領域AR2bにおける矢印は、入射する励起光L1cの偏光方向を示す。領域AR2aと領域AR2bとは、X方向に並んでいる。
 領域AR2aに入射する励起光L1cおよび領域AR2bに入射する励起光L1cは、それぞれ、Y方向の直線偏光である。領域AR2aに入射する励起光L1cと領域AR2bに入射する励起光L1cとは、偏光方向が同じであり、試料面Sa(図17参照)において互いに干渉する。この干渉によって、試料面Saには、周期方向がX方向の干渉縞が形成される。試料面Saに対する励起光L1cの入射面は、XZ面であり、励起光L1cは、試料面SaにS偏光で入射する。
 また、図18(C)において、符号AR2cは、瞳面P0において、マスク40の開口40aを通った励起光L1dが入射する領域である。符号AR2dは、瞳面P0において、マスク40の開口40bを通った励起光L1dが入射する領域である。領域AR2c、領域AR2dにおける矢印は、入射する励起光L1dの偏光方向を示す。領域AR2cと領域AR2dとは、Y方向に並んでいる。
 領域AR2cに入射する励起光L1dおよび領域AR2dに入射する励起光L1dは、それぞれ、X方向の直線偏光である。領域AR2cに入射する励起光L1dと領域AR2dに入射する励起光L1dとは、偏光方向が同じであり、試料面Sa(図17参照)において互いに干渉する。この干渉によって、試料面Saには、周期方向がY方向の干渉縞が形成される。試料面Saに対する励起光L1dの入射面は、YZ面であり、励起光L1cは、試料面SaにS偏光で入射する。
 図17の説明に戻り、試料面Saには、励起光L1cの干渉による干渉縞と、励起光L1dの干渉による干渉縞とを合成した干渉縞L2が形成される。なお、励起光L1cと励起光L1dとで偏光方向が互いにほぼ直交するので、励起光L1cと励起光L1dとの干渉が抑制される。
 検出装置6は、試料Sからの蛍光L3を、検出光学系5を介して検出する。検出装置6は、第1実施形態で説明したように、Xb方向とYb方向との2方向に複数の検出部6aが配列されたイメージセンサである。第7実施形態においても、検出装置6は、複数の位相の干渉縞L2により励起された試料Sからの蛍光をそれぞれ取得する。そのために、照明光学系4に配置された位相変調素子25aおよび位相変調素子256の角度位置を、それぞれ位相変調素子駆動部26a,26により順次回転移動して、干渉縞L2の位相を変更する。位相変調素子25aおよび位相変調素子25bの構成は、上述の第1実施形態における位相変調素子25と同様である。画像処理部7は、検出装置6の検出結果に基づいて、画像を生成する。
 図19は、第7実施形態における瞳共役面P1における励起光L1の分布を示す図である。図19では、瞳共役面P1を波数座標空間で表している。図19に示すkNAex(点線で書かれた円)は、対物レンズ21の瞳半径である。励起光L1cが入射する領域AR2aおよび領域AR2bと、励起光L1dが入射する領域AR2cおよび領域AR2dとは、ここではそれぞれ円形であるとするが、円形に限られない。領域ARaから領域ARdの各領域の半径は、σkNAexである。領域ARaから領域ARdの各領域の中心と、対物レンズ21の光軸21aとの距離は、(1-σ)kNAexである。領域AR2aの中心と領域AR2bの中心との距離は、例えば2(1-σ)kNAexであるが、この値に限らない。また、領域AR2cの中心と領域AR2dの中心との距離は、例えば2(1-σ)kNAexであるが、この値に限らない。
 試料面Saでの強度(電場の二乗)ill(r)は、下記の式(23)で表される。式(23)において、k0x、k0yは、それぞれ干渉縞L2の波数ベクトルである。k0xは、k0x=(k0,0)で表される。k0yは、k0y=(0,k0)で表される。k0x、k0yの成分であるk0は、k0=2(1-σ) kNAexで表される。
Figure JPOXMLDOC01-appb-M000023
         ・・・・式(23)
 第7実施形態においては、上述の各実施形態とは照明瞳の形状が異なるが、上述の第1実施形態および第2実施形態で説明した画像取得フローおよび画像処理は、第7実施形態にも適用できる。従って、画像取得フローおよび画像処理の説明は省略する。
(第8実施形態の顕微鏡)
 第8実施形態の顕微鏡について説明する。第8実施形態の構成の大部分は、図17に示した第7実施形態の構成と共通するので、同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図20は、第8実施形態の顕微鏡1gを示す図である。本実施形態において、顕微鏡1gは、照明光学系4内に、図13で説明したλ/2波長板30および光路回転部31を備えている。光路回転部31は、光路回転駆動部32によって駆動され、照明光学系4の光軸の周りで回転する。光路回転部31が回転すると、励起光L1cの光路および励起光L1dの光路は、それぞれ、照明光学系4の光軸の周りで回転する。その結果、試料面Saに形成される干渉縞L2の周期方向は、Z方向の周りで回転する。
 図21は、第8実施形態における励起光の偏光状態を示す図である。図21(A)において、瞳面P0上で励起光L1cが入射する領域AR4aは、X方向に並んでいる。また、瞳面P0上で励起光L1dが入射する領域AR4bおよび領域AR4bは、Y方向に並んでいる。
 図21(B)は、図21(A)の状態から、ダブプリズム(図20の光路回転部31)およびλ/2波長板30が22.5°回転した状態に相当する。図21(B)において、瞳面P0上で励起光L1cが入射する領域AR4aは、X方向から45°回転した方向に並んでいる。この状態において、試料面Saにおける励起光L1cの干渉縞の周期方向は、X方向から45°回転した方向になる。また、瞳面P0上で励起光L1dが入射する領域AR4bは、Y方向から45°回転した方向に並んでいる。この状態において、試料面Saにおける励起光L1dの干渉縞の周期方向は、Y方向から45°回転した方向になる。
 図20の説明に戻り、第8実施形態において、検出装置6は、干渉縞L2の周期方向が変更される前後のそれぞれにおいて、位相変調素子25a,25bを所定の回転角度に設定して干渉縞L2の位相を複数の所定の値に設定しつつ、試料Sからの蛍光L3を検出する。画像処理部7は、干渉縞L2の周期方向の変更前における検出装置6の検出結果と、干渉縞L2の周期方向の変更後における検出装置6の検出結果とに基づいて、画像を生成する。なお、光路回転部31は、ダイクロイックミラー16と検出装置6との間の光路に配置されてもよい。
 また、第8実施形態において、顕微鏡1は、光路回転部31によって干渉縞L2の周期方向を変更するが、干渉縞L2の周期方向を変更する縞方向変更部は、光路回転部31と別の態様でもよい。
(第9実施形態の顕微鏡)
 第9実施形態の顕微鏡について説明する。第9実施形態の構成の大部分は、図17に示した第7実施形態および図20に示した第8実施形態の構成と共通するので、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。
 図22は、第9実施形態の顕微鏡1hを示す図である。図23は、第9実施形態におけるマスクを示す図である。第9実施形態において、顕微鏡1hは、駆動部45および駆動部46を備えている。マスク38は、照明光学系4の光軸の周りで回転可能である。マスク38は、マスク駆動部45に駆動されて、回転する(図23(A)参照)。図23(A)において、マスク38は、反時計周りに45°回転している。
 また、マスク40は、照明光学系4の光軸の周りで回転可能である。マスク40は、マスク駆動部46に駆動されて、回転する(図23(B)参照)。駆動部46は、駆動部45がマスク38を回転させる角度と同じ角度だけ、マスク40を回転させる。図23(B)において、マスク40は、反時計周りに45°回転している。これにより、試料面Saにおける干渉縞L2の周期方向は、Z方向の周りで45°回転する。
 偏光分離素子41とダイクロイックミラー16との間の光路には、λ/2波長板48が設けられる。λ/2波長板48は、波長板駆動部49によって駆動され、照明光学系4の光軸の周りで回転する。λ/2波長板48および波長板駆動部49は、励起光L1cおよび励起光L1dのそれぞれについて、S偏光で試料Sに入射するように調整する。
(第10実施形態の顕微鏡)
 第10実施形態の顕微鏡について説明する。本実施形態において、上述の各実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図24は、第10実施形態の顕微鏡1iを示す図である。本実施形態において、顕微鏡1iは、リレー光学系47を備えている。リレー光学系47は、照明光学系4の一部であり、かつ検出光学系5の一部である。リレー光学系47は、光路変更部18において、偏向ミラー18aと偏向ミラー18bとの間の光路に配置されている。偏向ミラー18bは、対物レンズ21の瞳面P0と光学的に共役な第1瞳共役面とほぼ同じ位置に配置されている。リレー光学系47は、リレー光学系47とリレー光学系17との間に上記の第1瞳共役面と光学的に共役な第2瞳共役面が形成されるように設けられている。偏向ミラー18aは、上記の第2瞳共役面とほぼ同じ位置に配置されている。
 なお、光路変更部18は、上述の形態に限定されない。例えば、ステージ2は、対物レンズ21に対してY方向に移動するYステージを含み、光路変更部18は、偏向ミラー18bの代わりにYステージを含んでいてもよい。この場合、光路変更部18は、偏向ミラー18aによって試料Sを励起光L1でX方向に走査し、Yステージの移動によって試料Sを励起光L1でY方向に走査してもよい。この場合、偏向ミラー18aは、対物レンズ21の瞳面P0と光学的に共役な瞳共役面とほぼ同じ位置に配置されていてもよい。
 また、ステージ2は、対物レンズ21に対してX方向に移動するXステージを含んでいてもよい。この場合、上記のXステージの移動によって試料Sと励起光L1とをX方向に相対走査し、偏向ミラー18bによって試料Sと励起光L1とをY方向に走査してもよい。この場合、偏向ミラー18bは、対物レンズ21の瞳面P0と光学的に共役な瞳共役面とほぼ同じ位置に配置されていてもよい。この場合には、Xステージと偏向ミラー18bが、干渉縞L2と試料Sとを相対走査する走査部を構成する。
 また、ステージ2は、対物レンズ21に対してX方向に移動するXステージと、対物レンズ21に対してY方向に移動するYステージとを含んでいてもよい。この場合、上記のXステージの移動によって試料Sをと励起光L1とをX方向に相対走査し、上記のYステージの移動によって試料Sと励起光L1とをY方向に相対走査してもよい。この場合には、XステージとYステージとが、干渉縞L2と試料Sとを相対走査する走査部を構成する。
 すなわち、走査部は、上述の第1実施形態から第9実施形態において説明した、光路変更部に限らず、上述のXステージおよびYステージ等の、試料Sを保持する試料台と照明光学系4および検出光学系5との相対位置を変化させる移動機構を含むものでよい。
 上述の各実施形態においては、試料Sを干渉縞で走査する走査方向がX方向およびY方向の2方向であり、照明光学系4は、試料Sを干渉縞で二次元的に走査する。なお、試料Sを干渉縞で走査する走査方向は、X方向、Y方向、及びZ方向の3方向でもよい。例えば、顕微鏡1は、試料Sを干渉縞でX方向およびY方向に走査して2D画像を取得する2D処理を実行し、例えば、対物レンズ21およびステージ2の少なくとも一方を移動させて、干渉縞が生成されるZ方向の位置を変更して2D処理を繰り返すことで、試料Sを干渉縞で三次元的に走査してもよい。顕微鏡1は、試料Sを干渉縞で三次元的に走査することで、Z方向の位置が異なる複数の2D画像を取得し、3D画像(例、Z-stack)を生成してもよい。試料Sを干渉縞で三次元的に走査する場合、照明光学系4がX方向およびY方向に走査し、対物レンズ21およびステージ2の少なくとも一方の移動によってZ方向に走査してもよい。また、照明光学系4が試料Sを干渉縞で三次元的に走査してもよい。
(変形例1の顕微鏡)
 以下、変形例1の顕微鏡について説明する。変形例1の顕微鏡の構成は、以下で述べる照明瞳の形状および照明光の偏光状態を除いては、上述の各実施形態の顕微鏡と同様であるため、構成の説明は省略する。図25及び図26は、変形例1の顕微鏡における照明瞳を示す図である。
 照明瞳は、図2においては2極であり、図18においては4極であるが、図25(A)においては3極である。符号AR5aから符号AR5cは、それぞれ、瞳面P0において励起光が入射する領域である。この場合、試料面Saには、領域AR5aに入射した励起光と領域AR5bに入射した励起光とによる第1干渉縞と、領域AR5bに入射した励起光と領域AR5cに入射した励起光とによる第2干渉縞と、領域AR5cに入射した励起光と領域AR5aに入射した励起光とによる第3干渉縞とが形成される。試料面Saには、上記の第1干渉縞と第2干渉縞と第3干渉縞とを合成した干渉縞が形成される。この干渉縞は、第1干渉縞の周期方向と、第2干渉縞の周期方向と、第3干渉縞の周期方向とがそれぞれ周期方向であり、周期方向が3方向であるので、3方向において超解像効果を得ることができる。なお、照明瞳は、5以上の極を有してもよい。
 また、照明瞳は、図2などにおいて円形であるが、その他の形状でもよい。図25(B)および図25(C)において、符号AR6は、励起光が入射する領域である。図25(B)の領域AR6は、対物レンズ21の光軸21aを中心とする円の一部である円AR6aと、円弧AR6aの両端を結ぶ直線AR6bとに囲まれる領域である。また、図25(C)の領域AR6は、対物レンズ21の光軸21aを中心とする円の一部である円弧と、円弧AR6aと対称な曲線AR6cとに囲まれる領域である。
 図25(B)あるいは図25(C)の形状の照明瞳である場合、円形の照明瞳である場合と比較して、干渉縞が形成されない方向の分解能が良くなり、セクショニングも良くなる。また、図25(B)の形状の照明瞳である場合、図25(C)の形状の照明瞳である場合と比較して、干渉縞が形成されない方向の分解能が良くなり、セクショニングも良くなる。また、図25(C)の形状の照明瞳である場合、図25(B)の形状の照明瞳である場合と比較して、干渉縞が形成される方向の分解能がよい。
 図26(A)において、照明瞳は、図25(B)に示した2極形状の照明瞳を4極にした形態である。図26(B)において、照明瞳は、図25(C)に示した2極形状の照明瞳を4極にした形態である。なお、円形以外の形状の照明瞳である場合についても、励起光が入射する複数の領域の数(極の数)は、2以上の任意の数に設定される。また、瞳面P0において励起光が入射する複数の領域のうち、1つの領域の形状が他の領域の形状と異なってもよい。また、瞳面P0において励起光が入射する複数の領域のうち、1つの領域の寸法が他の領域の寸法と異なってもよい。また、瞳面P0において励起光が入射する複数の領域は、対物レンズ21の光軸21aに関して非対称に配置されてもよい。
 照明瞳の各極の形状、寸法、及び配置は、例えば、図2に示したマスク15の開口の形状、寸法、及び配置を決定することで実現できる。また、マスク15は、光を遮る領域が可変な機械式の絞り、あるいは空間光変調器(SLM)などでもよい。
(第11実施形態の顕微鏡)
 図27は、第11実施形態の顕微鏡1jを示す図である。図27において、照明光学系4は、光ファイバー11からダイクロイックミラー16へ向かう順に、コリメーターレンズ50、λ/2波長板51、レンズ52、回折格子53、レンズ54、及びマスク15を備える。コリメーターレンズ50は、光ファイバー11からの励起光L1をほぼ平行光に変換する。λ/2波長板51は、試料Sに入射する際の励起光L1の偏光状態を調整する。レンズ52は、励起光L1を回折格子53に集光する。
 回折格子53は、励起光L1を回折によって複数の光束に分岐させる。回折格子53は、蛍光物質を励起する励起光を複数の光束に分割する光束分割部である。回折格子53はレンズ52の焦点もしくは焦点近傍に配置される。つまり、回折格子53は試料面Saと共役な面もしくはその近傍に配置される。焦点近傍とは、レンズ52で集光される光の焦点深度程度の範囲内のことである。例えば、レンズ52によって集光される光の波長が1um、NAが0.03の場合、焦点深度は1mm程度となるため、回折格子53はレンズ52の焦点近傍1mm以内に配置されればよい。上記の複数の光束は、0次回折光、+1次回折光、及び-1次回折光を含む。レンズ54は、0次回折光、+1次回折光、及び-1次回折光をそれぞれほぼ平行光に変換する。マスク15は、0次回折光を遮光し、かつ、+1次回折光の少なくとも一部と-1次回折光の少なくとも一部とが通るように設けられる。回折格子53を備えるこの第11実施形態の顕微鏡1jにおいては、上述の各実施形態に比べて、マスク15を透過する励起光L1の光量を増やすことができる。なお、回折格子53は、0次回折光が発生しないように設計されてもよい。また、マスク15を設けないような構成をとってもよい。
 回折格子53により分割された±1次回折光は、照明光学系4により試料面Sa上に集光され、ここに干渉縞L2を形成する。回折格子53は、回折格子駆動部55により、回折格子53の周期方向に移動可能に保持されている。回折格子駆動部55が回折格子53を、回折格子53の格子方向に微小移動させると、回折格子53から生じる±1次光の位相が変化する。第11実施形態の顕微鏡1jにおいては、回折格子駆動部55により回折格子53の位置を変化させることにより、試料面Sa上に生じる干渉縞L2の明暗の位相を変化させる。
 なお、上述の各実施形態の顕微鏡においても、第11実施形態の顕微鏡1jと同様に回折格子53から生じる±1次光により、試料面Sa上に干渉縞L2を形成する構成とすることができる。この場合、第11実施形態の顕微鏡1jと同様に回折格子53は回折格子駆動部55により保持され、回折格子駆動部55は回折格子53の格子方向に微小移動させる構成とする。
(偏光調整部の変形例)
 図28および図29は、それぞれ、偏光調整部の変形例1および変形例2を示す図である。これらの変形例は、上述の各実施形態および変形例の顕微鏡の照明光学系4内に配置することができる。なお、上述の各実施形態および変形例の顕微鏡の照明光学系4は、図1に示したダイクロイックミラー16などの反射部材によって光路が折れ曲がっているが、図28、図29においては、照明光学系4を、光軸4aが直線になるように展開して示している。図28、および図29に示した偏光調整部の変形例1および変形例2の、上述の各実施形態および変形例の顕微鏡の照明光学系4への適用は、当業者には容易に理解されるものである。図28、図29において、Z方向は光軸4aと平行な方向であり、X方向およびY方向は、それぞれ、光軸4aと垂直な方向である。
 図28に示した偏光調整部の変形例1において、照明光学系4は、λ/4波長板61、マスク15、及びλ/4波長板62を含む。光ファイバー11から出射した励起光L1は、偏光方向がほぼX方向の直線偏光光であり、λ/4波長板61に入射する。なお、光ファイバー11とλ/4波長板61との間の光路に、透過軸がX方向の偏光子(例、偏光板)が設けられてもよい。
 λ/4波長板61の進相軸は、+Z側から見た場合にX方向を反時計回りに45°回転させた方向に設定される。λ/4波長板61を通った励起光L1は、円偏光となりマスク15に入射する。マスク15の開口15a、開口15bを通った励起光L1は、円偏光であり、λ/4波長板62に入射する。λ/4波長板62の進相軸は、+Z側から見た場合にX方向を時計回りに45°回転させた方向に設定される。λ/4波長板62を通った励起光L1は、偏光方向がX方向の直線偏光光となり、試料に照射される。
 マスク15は、第1実施形態で説明したように、光軸4aの周りで回転可能に設けられる。マスク15が回転すると、干渉縞の周期方向が変化する。例えば、図28の状態において、マスク15の開口15aと開口15bとはY方向に並んでおり、干渉縞の周期方向はY方向になる。図28の状態からマスク15が90°回転すると、干渉縞の周期方向は90°回転して、X方向になる。
 λ/4波長板62は、光軸4aの周りで回転可能である。λ/4波長板62は、マスク15と同じ角度だけ回転するように、設けられる。例えば、λ/4波長板62は、マスク15と一体化され、マスク15と一体的に回転する。例えばマスク15が90°回転すると、λ/4波長板62は、90°回転して、その進相軸がλ/4波長板61の進相軸と平行になる。この場合、λ/4波長板62を通った励起光L1は、偏光方向がY方向の直線偏光光になる。試料面Saに対する励起光L1の入射面は、干渉縞の周期方向と平行であり、試料面Saに入射する際の励起光L1は偏光方向が干渉縞の周期方向と垂直な直線偏光光であるので、励起光L1は、S偏光の状態で試料面Saに照射される。
 このように、λ/4波長板62は、試料に入射する際の励起光の偏光状態を調整する偏光調整部に含まれる。このような偏光調整部は、図1で説明した態様に比べて、励起光L1の光量のロスを低減することができる。
 図29に示した偏光調整部の変形例2において、照明光学系4は、偏光子65、マスク15、及びλ/2波長板66を含む。光ファイバー11か出射した励起光L1は、偏光方向がほぼX方向の直線偏光光であり、偏光子65に入射する。偏光子65は、透過軸がX方向に設定される。偏光子65通った励起光L1は、偏光方向がX方向の直線偏光光であり、マスク15に入射する。マスク15の開口15a、開口15bを通った励起光L1は、偏光方向がX方向の直線偏光光であり、λ/2波長板66に入射する。λ/2波長板66の進相軸は、+Z側から見た場合にX方向を時計回りに45°回転させた方向に設定される。λ/2波長板66を通った励起光L1は、偏光方向がY方向の直線偏光光となり、試料に照射される。
 マスク15は、第1実施形態で説明したように、光軸4aの周りで回転可能に設けられる。マスク15が回転すると、干渉縞の周期方向が変化する。例えば、図29の状態において、マスク15の開口15aと開口15bとはX方向に並んでおり、干渉縞の周期方向はX方向になる。図29の状態からマスク15が90°回転すると、干渉縞の周期方向は90°回転して、Y方向になる。
 λ/2波長板66は、光軸4aの周りで回転可能である。λ/2波長板66は、マスク15の回転角の半分の角度だけ回転するように、設けられる。例えばマスク15が90°回転すると、λ/2波長板66は、45°回転する。この場合、λ/2波長板66を通った励起光L1は、偏光方向がX方向の直線偏光光になる。試料面Saに対する励起光L1の入射面は、干渉縞の周期方向と平行であり、試料面Saに入射する際の励起光L1は偏光方向が干渉縞の周期方向と垂直な直線偏光光であるので、励起光L1は、S偏光の状態で試料面Saに照射される。このように、λ/2波長板66は、試料に入射する際の励起光の偏光状態を調整する偏光調整部に含まれる。このような偏光調整部は、図1で説明した態様に比べて、励起光L1の光量のロスを低減することができる。
 上述の各実施形態および各変形例において、画像処理部7は、例えばコンピュータシステムを含む。制御部CBおよび画像処理部7は、記憶部に記憶されている画像処理プログラム等のプログラムを読み出し、この画像処理プログラムに従って各種の処理を実行する。このプログラムは、コンピュータに、検出装置6の検出結果に基づいて画像を生成することを実行させる。また、画像処理プログラムはCD-ROM等の記憶メディアに記憶され、画像処理部7は記憶メディアから上記の記憶部に画像処理プログラムをロードすることもできる。あるいは、画像処理プログラムは、インターネット回線等のネットワーク回線を経由して、画像処理部7にロードされることもできる。
(各実施形態および各変形例の効果)
(1)各実施形態および各変形例の顕微鏡は、試料面Sa上の試料Sに光を照射して縞状の照明である縞照明(干渉縞)L2を形成する照明光学系4と、縞照明L2と試料Sとを、試料面Saの面内方向に相対走査させる光路変更部18と、縞照明L2を複数の位相状態に設定する位相変調素子25と、縞照明L2により照明された試料Sからの光が入射する検出光学系5と、検出光学系5に対して試料面Saと共役な位置に複数配置され、試料面Sa上の試料Sからの光を検出する検出部6aとを備えている。そしてさらに、縞照明L2が複数の位相状態の各状態にあるときに試料面Saの面内方向の複数の相対位置において複数の検出部6aが検出した検出結果を用いて出力画像を生成する画像処理部7と、を備えている。
 この構成により、各実施形態および各変形例の顕微鏡は、分解能、かつS/N比の良好な出力画像を取得することができる。
(2)画像処理部7は、検出結果のうち、複数の検出部6aのそれぞれにより、少なくとも縞照明(干渉縞)L2が第1位相状態であるときに検出された第1画像と、縞照明L2が第2位相状態であるときに検出された第2画像とから、それぞれ縞照明L2の明暗周期の0次の空間周波数に対応する0次成分と、縞照明L2の明暗周期の+1次の空間周波数に対応する+1次成分と、縞照明L2の明暗周期の-1次の空間周波数に対応する-1次成分とを分離して抽出する構成とすることができる。そして、0次成分、+1次成分、および-1次成分に基づいて複数の検出部6aのそれぞれに対応する複数の中間画像を形成するとともに、複数の中間画像に基づいて出力画像を生成する構成とすることもできる。
 この構成により、分解能およびS/N比が一層向上した出力画像を生成することができる。
(3)(2)において、第1位相状態と第2位相状態とは、縞照明の位相がπ[rad]異なる状態とすることができ、これにより、2つの位相状態の縞照明L2の照射により得られた検出結果を用いて、分解能およびS/N比の高い出力画像を生成することができる。
(4)(2)において、画像処理部7は、さらに、検出結果のうち、複数の検出部6aのそれぞれにより、縞照明が第3位相状態であるときに検出された第3画像も用いて、0次成分、+1次成分、および-1次成分を分離して抽出するとともに、第1位相状態と第2位相状態と第3位相状態とは縞照明L2の位相が相互に異なる構成とすることで、さらに高分解能および高S/N比の出力画像を生成することができる。
(5)さらに、画像処理部7は、複数の中間画像を、複数の中間画像のそれぞれと対応する複数の検出部6aのそれぞれの位置に応じて補正し、加算して、出力画像を生成する構成とすることで、さらに高分解能および高S/N比の出力画像を得ることができる。
(6)さらに、縞照明L2の周期方向を設定する縞方向設定部(マスク15)を備え、画像処理部7は、複数の周期方向の縞照明L2のそれぞれの照射により得られる複数の検出結果のそれぞれを用いて出力画像を複数生成するとともに、複数の出力画像に基づいて最終出力画像を生成する構成とすることで、より一層の高分解能および高S/N比の最終出力画像を生成することができる。
 上記では、種々の実施形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。また、各実施形態は、それぞれ単独で適用しても良いし、組み合わせて用いても良い。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
 また、上記種々の実施形態および変形例において、干渉により形成される干渉縞を縞状の照明(縞照明)の一例として説明したが、干渉により形成される縞状の照明(縞照明)であってもよいし、干渉以外の手法により形成される縞状の照明(縞照明)であってもよい。なお、「縞」、「縞状」とは、明部と暗部を有し、明部から明部または暗部から暗部が所定の間隔(所定の周期)を有するものであり、「縞」、「縞状の照明(縞照明)」、「干渉縞」は、試料面で形成される。
1,1a~1h…顕微鏡、3…光源、4…照明光学系、5…検出光学系、6…検出装置、6a…検出部、7…画像処理部、L2…干渉縞、25…位相変調素子

Claims (17)

  1.  試料面上の試料に光を照射して縞状の照明である縞照明を形成する照明光学系と、
     前記縞照明と前記試料とを、前記試料面の面内方向に相対走査させる走査部と、
     前記縞照明を複数の位相状態に設定する位相変調素子と、
     前記縞照明により照明された試料からの光が入射する検出光学系と、
     前記検出光学系に対して前記試料面と共役な位置に複数配置され、前記試料面上の試料からの光を検出する検出部と、
     前記縞照明が前記複数の位相状態の各状態にあるときに前記試料面の面内方向の複数の相対位置において複数の前記検出部が検出した検出結果を用いて出力画像を生成する画像処理部と、
    を備える顕微鏡。
  2.  請求項1に記載の顕微鏡において、
     前記画像処理部は、前記検出結果のうち、前記複数の検出部のそれぞれにより、少なくとも
      前記縞照明が第1位相状態であるときに検出された第1画像と、
      前記縞照明が第2位相状態であるときに検出された第2画像と
    から、
     前記縞照明の明暗周期の0次の空間周波数に対応する0次成分と、
     前記縞照明の明暗周期の+1次の空間周波数に対応する+1次成分と、
     前記縞照明の明暗周期の-1次の空間周波数に対応する-1次成分と、
    を分離して抽出し、
     前記0次成分、前記+1次成分、および前記-1次成分に基づいて前記複数の検出部のそれぞれに対応する複数の中間画像を形成するとともに、
     前記複数の中間画像に基づいて前記出力画像を生成する、顕微鏡。
  3.  請求項2に記載の顕微鏡において、
     前記第1位相状態と前記第2位相状態とは、前記縞照明の位相がπ[rad]異なる、
    顕微鏡。
  4.  請求項2に記載の顕微鏡において、
     前記画像処理部は、さらに、前記検出結果のうち、前記複数の検出部のそれぞれにより、前記縞照明が第3位相状態であるときに検出された第3画像も用いて、前記0次成分、前記+1次成分、および前記-1次成分を分離して抽出するとともに、
     前記第1位相状態と前記第2位相状態と前記第3位相状態とは、前記縞照明の位相が相互に異なる、顕微鏡。
  5.  請求項4に記載の顕微鏡において、
     前記第1位相状態と前記第2位相状態と前記第3位相状態とは、前記縞照明の位相が相互に2π/3[rad]異なる、顕微鏡。
  6.  請求項2から請求項5までのいずれか一項に記載の顕微鏡において、
     前記画像処理部は、前記複数の中間画像を、前記複数の中間画像のそれぞれと対応する前記複数の検出部のそれぞれの位置に応じて補正し、加算して、前記出力画像を生成する、顕微鏡。
  7.  請求項6に記載の顕微鏡において、
     前記画像処理部による前記補正は、前記複数の検出部のそれぞれの位置に応じて、前記縞照明の位相を画像処理的にシフトする補正処理を含む、顕微鏡。
  8.  請求項1から請求項7までのいずれか一項に記載の顕微鏡において、
     前記縞照明の周期方向を設定する縞方向設定部を備え、
     前記画像処理部は、複数の周期方向の前記縞照明のそれぞれの照射により得られる複数の前記検出結果のそれぞれを用いて前記出力画像を複数生成するとともに、
     前記複数の前記出力画像に基づいて最終出力画像を生成する、顕微鏡。
  9.  請求項8に記載の顕微鏡において、
     前記最終出力画像の生成は、前記複数の前記出力画像の加算により行う、顕微鏡。
  10.  請求項8に記載の顕微鏡において、
     前記最終出力画像の生成は、
     前記複数の前記出力画像のそれぞれの空間周波数座標への変換と、
     前記空間周波数座標における前記出力画像の加算と、
     前記加算の結果に対するフィルタリング処理と、
     前記フィルタリング処理の結果の実座標空間への変換と、
    を含む、顕微鏡。
  11.  請求項1から請求項10までのいずれか一項に記載の顕微鏡において、
     前記検出部が検出する前記光は前記試料からの蛍光であり、
     前記検出光学系は、前記照明光学系が前記試料面上に照射する光と同じ波長の光を遮断し、前記試料からの蛍光の波長を通過させる波長分離素子を備える、顕微鏡。
  12.  請求項1から請求項11までのいずれか一項に記載の顕微鏡において、
     前記試料に照射する光の偏光状態を調整する偏光調整部を備える、顕微鏡。
  13.  請求項1から請求項12までのいずれか一項に記載の顕微鏡において、
     前記走査部は、前記照明光学系および前記検出光学系に設けられた光路変更部を含む、顕微鏡。
  14.  請求項1から請求項13までのいずれか一項に記載の顕微鏡において、
     前記走査部は、前記試料を載置する試料台と、前記照明光学系および前記検出光学系との相対位置を変化させる移動機構を含む、顕微鏡。
  15.  請求項1から請求項14までのいずれか一項に記載の顕微鏡において、
     前記位相変調素子は、前記縞照明のエンベロープを移動することなく、前記縞照明の位相を変更する、顕微鏡。
  16.  請求項1から請求項15までのいずれか一項に記載の顕微鏡において、
     前記縞照明の明暗周期の周期方向に含まれる明部の数は3以上である、顕微鏡。
  17.  請求項1から請求項16までのいずれか一項に記載の顕微鏡において、
     前記縞照明は、干渉縞である、顕微鏡。
PCT/JP2019/008966 2019-03-06 2019-03-06 顕微鏡 WO2020179036A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/008966 WO2020179036A1 (ja) 2019-03-06 2019-03-06 顕微鏡
US17/459,602 US20210389577A1 (en) 2019-03-06 2021-08-27 Microscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/008966 WO2020179036A1 (ja) 2019-03-06 2019-03-06 顕微鏡

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/459,602 Continuation US20210389577A1 (en) 2019-03-06 2021-08-27 Microscope

Publications (1)

Publication Number Publication Date
WO2020179036A1 true WO2020179036A1 (ja) 2020-09-10

Family

ID=72337759

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/008966 WO2020179036A1 (ja) 2019-03-06 2019-03-06 顕微鏡

Country Status (2)

Country Link
US (1) US20210389577A1 (ja)
WO (1) WO2020179036A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113189102A (zh) * 2021-04-29 2021-07-30 中国工程物理研究院激光聚变研究中心 双波长双共焦激光显微测量装置与测量方法
WO2021205356A1 (en) * 2020-04-08 2021-10-14 Perseus Biomics Space time imaging system and method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020205952A1 (en) * 2019-04-02 2020-10-08 Thermo Electron Scientific Instruments Llc Enhanced sample imaging using structured illumination microscopy

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009031418A1 (ja) * 2007-09-05 2009-03-12 Nikon Corporation 顕微鏡装置
WO2010088418A1 (en) * 2009-01-29 2010-08-05 The Regents Of The University Of California High resolution structured illumination microscopy
JP2010271522A (ja) * 2009-05-21 2010-12-02 Nikon Corp 非線形光学顕微鏡
WO2015052936A1 (ja) * 2013-10-09 2015-04-16 株式会社ニコン 構造化照明顕微鏡装置
WO2015118634A1 (ja) * 2014-02-05 2015-08-13 株式会社ニコン 照明装置、観察装置及び観察方法
JP2016105126A (ja) * 2014-12-01 2016-06-09 横河電機株式会社 顕微鏡装置
WO2016151665A1 (ja) * 2015-03-20 2016-09-29 株式会社ニコン 構造化照明顕微鏡、観察方法、及び画像処理プログラム
WO2017094184A1 (ja) * 2015-12-04 2017-06-08 オリンパス株式会社 走査型顕微鏡および顕微鏡画像取得方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009031418A1 (ja) * 2007-09-05 2009-03-12 Nikon Corporation 顕微鏡装置
WO2010088418A1 (en) * 2009-01-29 2010-08-05 The Regents Of The University Of California High resolution structured illumination microscopy
JP2010271522A (ja) * 2009-05-21 2010-12-02 Nikon Corp 非線形光学顕微鏡
WO2015052936A1 (ja) * 2013-10-09 2015-04-16 株式会社ニコン 構造化照明顕微鏡装置
WO2015118634A1 (ja) * 2014-02-05 2015-08-13 株式会社ニコン 照明装置、観察装置及び観察方法
JP2016105126A (ja) * 2014-12-01 2016-06-09 横河電機株式会社 顕微鏡装置
WO2016151665A1 (ja) * 2015-03-20 2016-09-29 株式会社ニコン 構造化照明顕微鏡、観察方法、及び画像処理プログラム
WO2017094184A1 (ja) * 2015-12-04 2017-06-08 オリンパス株式会社 走査型顕微鏡および顕微鏡画像取得方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021205356A1 (en) * 2020-04-08 2021-10-14 Perseus Biomics Space time imaging system and method
CN113189102A (zh) * 2021-04-29 2021-07-30 中国工程物理研究院激光聚变研究中心 双波长双共焦激光显微测量装置与测量方法

Also Published As

Publication number Publication date
US20210389577A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
US20210389577A1 (en) Microscope
US11287625B2 (en) Microscope and observation method
JP5888416B2 (ja) 構造化照明顕微鏡装置
EP2093601B1 (en) Microscope device and image processing method
JP6264377B2 (ja) 構造化照明装置及び構造化照明顕微鏡装置
JP6635052B2 (ja) 構造化照明顕微鏡、及び観察方法
US20100135547A1 (en) Optical sectioning microscopy
JP2007199397A (ja) 顕微鏡装置
US20130342886A1 (en) Variable orientation illumination-pattern rotator
WO2016199179A1 (ja) 構造化照明顕微鏡システム、方法及びプログラム
JPWO2008132976A1 (ja) 顕微鏡装置
US20120019647A1 (en) Method and configuration for the optical detection of an illuminated specimen
CN110487762B (zh) 基于多焦点光照明的超分辨贝塞尔显微成像装置及方法
JP6194710B2 (ja) 構造化照明装置及び構造化照明顕微鏡装置
JP4844137B2 (ja) 顕微鏡装置
JP2007279287A (ja) 構造化照明光学系、及びそれを備えた構造化照明顕微鏡
JP6693030B2 (ja) 補償光学系及び光学装置
JP6270615B2 (ja) 標本像データ生成装置、及び、標本像データ生成方法
JP6364750B2 (ja) 構造化照明装置、および構造化照明顕微鏡装置
JP6413364B2 (ja) 照明光学系及び顕微鏡装置
WO2020179032A1 (ja) 顕微鏡および観察方法
WO2020179040A1 (ja) 顕微鏡および観察方法
WO2020179039A1 (ja) 顕微鏡および観察方法
JP5939301B2 (ja) 構造化照明観察装置
WO2015052920A1 (ja) 構造化照明装置及び構造化照明顕微鏡装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19918210

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19918210

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP