WO2018150471A1 - 構造化照明顕微鏡、観察方法、及びプログラム - Google Patents

構造化照明顕微鏡、観察方法、及びプログラム Download PDF

Info

Publication number
WO2018150471A1
WO2018150471A1 PCT/JP2017/005356 JP2017005356W WO2018150471A1 WO 2018150471 A1 WO2018150471 A1 WO 2018150471A1 JP 2017005356 W JP2017005356 W JP 2017005356W WO 2018150471 A1 WO2018150471 A1 WO 2018150471A1
Authority
WO
WIPO (PCT)
Prior art keywords
frequency
signal
detection
light
reference signal
Prior art date
Application number
PCT/JP2017/005356
Other languages
English (en)
French (fr)
Inventor
陽介 奥平
杉崎 克己
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to PCT/JP2017/005356 priority Critical patent/WO2018150471A1/ja
Priority to JP2019500074A priority patent/JPWO2018150471A1/ja
Publication of WO2018150471A1 publication Critical patent/WO2018150471A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens

Definitions

  • the present invention relates to a structured illumination microscope, an observation method, and a program.
  • an illumination optical system that irradiates a sample with an interference fringe excitation light for exciting a fluorescent substance contained in the sample, a control unit that changes the phase of the interference fringe, and the sample
  • a structured illumination microscope comprising: a detection unit that locks in light from at least one frequency, and an image processing unit that generates an image of a sample using at least a part of the signal detected by lock-in Is done.
  • the illumination optical system that irradiates the sample with the interference fringes with the excitation light for exciting the phosphor contained in the sample, the control unit that changes the phase of the interference fringes, the sample A detection unit that locks in light at a predetermined frequency, and an image processing unit that generates an image of the sample using at least a part of the signal detected by the lock-in.
  • a structured illumination microscope including a first detection unit that receives light and a second detection unit that locks in a detection signal output from the first detection unit at a predetermined frequency.
  • the sample is irradiated with excitation light for exciting the fluorescent substance contained in the sample with interference fringes, the phase of the interference fringes is changed, and the light from the sample. , At least one frequency, and generating an image of the sample using at least a portion of the lock-in detected signal.
  • the computer is irradiated with excitation light for exciting the fluorescent substance contained in the sample with the interference fringe, and the phase of the interference fringe is changed.
  • FIG. 1 is a diagram illustrating a structured illumination microscope 1 according to the embodiment.
  • the structured illumination microscope 1 is, for example, a fluorescence microscope, and is used for observing a sample X including cells that have been fluorescently stained in advance.
  • the sample X is held on a stage (not shown), for example.
  • the structured illumination microscope 1 includes a 2D-SIM mode for forming a two-dimensional super-resolution image of a surface to be observed (hereinafter referred to as a sample surface) of the sample X and information in a direction perpendicular to the sample surface.
  • 3D-SIM mode for forming a three-dimensional three-dimensional super-resolution image.
  • the structured illumination microscope 1 locks in the fluorescence from the sample X while moving the interference fringes on the sample X to change the illumination intensity at each point on the sample X at a predetermined frequency, and the detection result Is used to generate a demodulated image (super-resolution image).
  • the structured illumination microscope 1 performs three-channel lock-in detection using an interference fringe whose periodic direction on the sample surface is one direction.
  • the case of the 3D-SIM mode the case where an interference fringe having three directions on the sample surface is used, the case where the number of lock-in detection channels is different, and the like will be described in order from the second embodiment.
  • the structured illumination microscope 1 includes a structured illumination device 2, an imaging device 3, a control device 4, a display device 5, and a storage device 6.
  • the structured illumination device 2 includes a light source unit 10 and an illumination optical system 11.
  • the light source unit 10 includes, for example, a laser diode, and emits coherent light such as laser light. In the following description, the light emitted from the light source unit 10 is referred to as illumination light.
  • the wavelength of the illumination light is set to a wavelength band that includes the excitation wavelength of the fluorescent substance contained in the sample X.
  • the light source unit 10 may not be included in the structured illumination device 2.
  • the light source unit 10 is unitized and may be provided in the structured lighting device 2 so as to be replaceable (attachable or removable).
  • the light source unit 10 may be attached to the structured illumination device 2 during observation with the structured illumination microscope 1.
  • the illumination optical system 11 irradiates the sample X with excitation light (illumination light) for exciting the fluorescent substance contained in the sample X with interference fringes.
  • the illumination optical system 11 includes a condenser lens 12, a light guide member 13, a collimator 14, and a branching unit 15 in order from the light source unit 10 toward the sample X.
  • the light guide member 13 includes, for example, an optical fiber.
  • the condensing lens 12 condenses the illumination light from the light source unit 10 on the end surface of the light guide member on the light incident side.
  • the light guide member 13 guides the illumination light from the condenser lens 12 to the collimator 14.
  • the collimator 14 converts the illumination light from the light guide member 13 into parallel light.
  • the illumination optical system 11 branches the illumination light into a plurality of lights by the branching unit 15.
  • the branch portion 15 may have a diffraction grating 16.
  • diffracted light is emitted from the diffraction grating 16.
  • the illumination optical system 11 illuminates the sample X with interference fringes (structured illumination) formed by interference of a plurality of diffracted lights.
  • FIG. 1 shows 0th-order diffracted light (shown by a solid line), + 1st-order diffracted light (shown by a broken line), and -1st-order diffracted light (shown by a two-dot chain line) among a plurality of light beams.
  • the illumination optical system 11 illuminates the sample with interference fringes formed by interference between the + 1st order diffracted light and the ⁇ 1st order diffracted light among the plurality of diffracted lights in the 2D-SIM mode.
  • the illumination optical system 11 forms interference fringes of + 1st order diffracted light and ⁇ 1st order diffracted light, and does not use 0th order diffracted light and second order or higher order diffracted light for forming interference fringes.
  • the illumination optical system 11 includes a rotationally symmetric lens member such as a spherical lens or an aspheric lens.
  • a rotationally symmetric lens member such as a spherical lens or an aspheric lens.
  • the symmetry axis of the lens member is referred to as the optical axis 11a of the illumination optical system 11.
  • the illumination optical system 11 may include a free-form surface lens.
  • the branching unit 15 branches the illumination light into a plurality of lights.
  • the branching unit 15 includes, for example, a diffraction grating 16 and a driving unit 17.
  • the diffraction grating 16 has, for example, a one-dimensional periodic structure in a plane intersecting the optical axis 11a of the illumination optical system 11. The direction in which the unit structures are arranged in this periodic structure corresponds to the aforementioned branching direction.
  • This periodic structure may be a structure in which the density (transmittance) changes periodically or a structure in which the step (phase difference) changes periodically.
  • the diffraction grating 16 is a phase type, the diffraction efficiency of ⁇ first-order diffracted light is high, and loss of light quantity can be reduced when ⁇ 1st-order diffracted light is used to form interference fringes.
  • the driving unit 17 moves the diffraction grating 16 in the YZ plane. Thereby, the interference fringes move on the sample surface (the phase of the interference fringes changes).
  • the drive unit 17 rotates the diffraction grating 16 around an axis parallel to the X direction. Thereby, the direction of the interference fringes changes on the sample surface.
  • the illumination optical system 11 includes a lens 20, a half-wave plate 21, a mask 22, a lens 23, a field stop 24, a lens 25, a filter 26, a dichroic mirror 27, and an objective lens 28 in order from the branching unit 15 toward the sample X. including.
  • Diffracted light generated at the branching portion 15 enters the lens 20.
  • the lens 20 is disposed so that its focal point substantially coincides with the branching portion 15.
  • the lens 20 condenses diffracted light of the same order among a plurality of light beams branched by the branching unit 15 at the same position at a position (pupil conjugate plane P1) conjugate with the rear focal plane (pupil plane) of the objective lens 28.
  • the lens 20 condenses the 0th-order diffracted light generated at the branching portion 15 on the optical axis 11a of the illumination optical system 11 at the pupil conjugate plane P1.
  • the lens 20 condenses the + 1st order diffracted light generated in the branching portion 15 at a position away from the optical axis 11a.
  • the lens 20 condenses the ⁇ 1st order diffracted light generated at the branching portion 15 at a position symmetrical to the + 1st order diffracted light with respect to the optical axis 11a on the pupil conjugate plane P1.
  • the half-wave plate 21 is disposed in the optical path between the lens 20 and the lens 23, for example, and adjusts the polarization state of the illumination light so that the polarization state of the illumination light when entering the sample X is S-polarized light.
  • the incident surface of the first-order diffracted light with respect to the sample X is an XZ plane
  • the half-wave plate 21 is a linearly polarized light whose illumination state emitted from the illumination optical system 11 is in the Y direction.
  • the polarization state of the illumination light is adjusted so that When the diffraction direction is changed in the branching section 15, the incident surface of the first-order diffracted light with respect to the sample X rotates around the Z direction. Therefore, the half-wave plate 21 adjusts the polarization state of the illumination light according to the diffraction direction.
  • the half-wave plate 21 may be disposed at any position on the optical path between the branching portion 15 and the sample X.
  • the mask 22 transmits diffracted light used for forming interference fringes and blocks diffracted light not used for forming interference fringes.
  • the mask 22 passes the first-order diffracted light and blocks the 0th-order diffracted light and the second-order or higher-order diffracted light.
  • the mask 22 is disposed at a position where the optical path of the first-order diffracted light is separated from the optical path of the zero-order diffracted light, for example, at the pupil conjugate plane P1.
  • the portion of the mask 22 where the 0th-order diffracted light is incident serves as a light shielding portion
  • the portion where the 1st-order diffracted light is incident serves as an opening (transmission portion).
  • the illumination light that has passed through the mask 22 enters the lens 23.
  • the lens 23 forms an intermediate image surface 23 a that is optically conjugate with the branch portion 15.
  • the field stop 24 is disposed, for example, on the intermediate image plane 23a.
  • the field stop 24 defines a range (illumination field, illumination area) in which illumination light is irradiated from the illumination optical system 11 to the sample X in a plane perpendicular to the optical axis 11a of the illumination optical system 11.
  • the illumination light that has passed through the field stop 24 enters the lens 25.
  • the lens 25 is, for example, a second objective lens.
  • the lens 25 condenses the + 1st order diffracted light from each point on the branching portion 15 on the rear focal plane (pupil plane P0) of the objective lens.
  • the lens 25 condenses the ⁇ 1st order diffracted light from each point on the branching portion 15 at another position on the rear focal plane (pupil plane P0) of the objective lens. That is, the lens 25 condenses the ⁇ 1st order diffracted light from each point of the branching portion 15 at a position symmetrical to the + 1st order diffracted light with respect to the optical axis 11 a of the illumination optical system 11.
  • the illumination light that has passed through the lens 25 enters the filter 26.
  • the filter 26 is an excitation filter, for example, and has a characteristic that light in a wavelength band including the excitation wavelength of the fluorescent material contained in the sample X selectively passes.
  • the filter 26 blocks at least a part of the illumination light other than the excitation wavelength, stray light, external light, and the like.
  • the light that has passed through the filter 26 enters the dichroic mirror 27.
  • the dichroic mirror 27 has a characteristic that light in a wavelength band including the excitation wavelength of the fluorescent substance contained in the sample X is reflected and light in a predetermined wavelength band (for example, fluorescence) out of the light from the sample X passes.
  • the light from the filter 26 is reflected by the dichroic mirror 27 and enters the objective lens 28.
  • the objective lens 28 forms a surface optically conjugate with the intermediate image surface 23a, that is, a surface optically conjugate with the branching portion 15, on the sample X. That is, the objective lens 28 forms structured illumination on the sample X.
  • the + 1st order diffracted light forms a spot on the pupil plane P0 of the objective lens 28 away from the optical axis 11a.
  • the ⁇ 1st order diffracted light forms a spot on the pupil plane P0 at a position symmetrical to the + 1st order diffracted light with respect to the optical axis 11a.
  • the spots formed by the first-order diffracted light are arranged, for example, on the outer periphery of the pupil plane P0.
  • the first-order diffracted light is incident on the sample X at a predetermined angle. For example, the first-order diffracted light is irradiated onto the sample X with parallel light.
  • interference fringes formed on the sample X have a periodic distribution of light intensity in a direction (in the XY plane) perpendicular to the optical axis 11a of the illumination optical system 11, for example.
  • This interference fringe is a pattern in which line-shaped bright portions and dark portions are periodically arranged in a direction corresponding to the periodic direction of the branching portion 15.
  • a direction parallel to the bright part and the dark part is referred to as a line direction
  • a direction in which the bright part and the dark part are arranged is referred to as a periodic direction.
  • the portion of the sample X arranged in the bright part of the interference fringe emits fluorescence when the fluorescent material is excited.
  • the spatial distribution pattern of the structure (eg, fluorescent material) in the sample X is referred to as a texture.
  • the fluorescent image of the sample X is a moire image of the interference fringes formed by the illumination optical system 11 and the texture of the sample X.
  • the imaging device 3 acquires this moire image.
  • the imaging device 3 includes an imaging optical system 31 and an imaging element 32.
  • the imaging optical system 31 includes an objective lens 28, a dichroic mirror 27, a filter 33, and a lens 34.
  • the imaging optical system 31 shares the objective lens 28 and the dichroic mirror 27 with the illumination optical system 11.
  • Light from the sample X (hereinafter referred to as observation light) enters the objective lens 28, passes through the dichroic mirror 27, and enters the filter 33.
  • the filter 33 is, for example, a fluorescent filter.
  • the filter 33 has a characteristic that light in a predetermined wavelength band (eg, fluorescence) of observation light from the sample X selectively passes.
  • the filter 33 blocks, for example, illumination light, external light, stray light, etc. reflected by the sample X.
  • the light that has passed through the filter 33 enters the lens 34.
  • the lens 34 forms a plane (image plane) optically conjugate with the focal plane (object plane) of the objective lens 28. An image (moire image) by fluorescence from the sample X is formed on this image plane.
  • the image sensor 32 includes a two-dimensional image sensor such as a CMOS image sensor or a CCD image sensor.
  • the imaging element 32 has a structure in which, for example, a plurality of pixels arranged two-dimensionally are provided, and a photodetector (photoelectric conversion element) such as a photodiode is disposed in each pixel.
  • the imaging element 32 reads out the electric charge generated by the observation light irradiated to the photoelectric conversion element by the observation light by the reading circuit.
  • a signal corresponding to the electric charge read from the photodetector is referred to as a detection signal.
  • the imaging device 3 detects lock-in of light from the sample X at at least one frequency.
  • the imaging device 3 includes an imaging element 32 (first detection unit) and a lock-in amplifier 35 (second detection unit).
  • the lock-in amplifier 35 performs lock-in detection on the detection signal output from the image sensor 32 and extracts a component having a predetermined frequency from the detection signal.
  • the image sensor 32 and the lock-in amplifier 35 may be configured integrally.
  • the image sensor 32 having the function of the lock-in amplifier 35 may be used.
  • the control device 4 includes an image processing unit 40 and a control unit 41.
  • the control unit 41 controls each part of the structured illumination microscope 1.
  • the control unit 41 changes the phase of the interference fringes.
  • the image processing unit 40 generates an image of the sample X using at least a part of the signal that is detected as being locked-in.
  • the image processing unit 40 generates a demodulated image as an image of the sample X.
  • the control device 4 supplies demodulated image data to the display device 5 and causes the display device 5 to display the demodulated image.
  • FIG. 2 is a diagram illustrating the operation of the branching unit 15.
  • the drive unit 17 translates the diffraction grating 16.
  • the drive unit 17 translates the diffraction grating 16 so that the interference fringes move in the periodic direction on the sample surface. If the angle between the moving direction of the diffraction grating 16 and the periodic direction is 0 ° or more and less than 90 °, the interference fringes move in the periodic direction on the sample surface.
  • the drive unit 17 moves the diffraction grating 16 in a direction parallel to the periodic direction of the diffraction grating 16. In FIG.
  • the periodic direction of the diffraction grating 16 is the Z direction
  • the drive unit 17 translates the diffraction grating 16 in the Z direction.
  • the drive unit 17 continuously moves the diffraction grating 16 at a constant speed so that the interference fringes move at least one period on the sample surface, and moves the interference fringes at a constant speed on the sample surface.
  • the driving unit 17 rotates the diffraction grating 16 to change the periodic direction (branching direction) of the diffraction grating 16.
  • the drive unit 17 rotates the diffraction grating 16 by 120 ° clockwise from the position of the diffraction grating 16 shown in FIG. 2A (hereinafter referred to as the first rotation position RP1), and the diffraction grating 16 is moved to FIG. B) is disposed at the rotational position (hereinafter referred to as the second rotational position RP2).
  • the first rotation position RP1 the position of the diffraction grating 16 shown in FIG. 2A
  • the second rotational position RP2 is disposed at the rotational position
  • the periodic direction of the diffraction grating 16 is a direction that forms an angle of 120 ° with the Z direction with the clockwise direction being positive, and the drive unit 17 translates the diffraction grating 16 in this periodic direction, for example.
  • the driving unit 17 rotates the diffraction grating 16 by 120 ° clockwise from the second rotation position RP2, and the rotation position shown in FIG. 2C (hereinafter, referred to as a third rotation position RP3).
  • the periodic direction of the diffraction grating 16 is a direction that forms an angle of 240 ° with respect to the Z direction with the clockwise direction being positive, and the drive unit 17 translates the diffraction grating 16 in this periodic direction, for example.
  • the distance that the diffraction grating 16 translates at the first rotational position RP1 the distance that the diffraction grating 16 translates at the second rotational position RP2, and the diffraction grating 16 third.
  • the distance moved in parallel at the rotational position RP3 may be the same. In this case, when the rotation to the next rotation position and the parallel movement at each rotation position are alternately performed, the diffraction grating 16 is returned to the original position (position before being translated in FIG. 2A). Can do.
  • the diffraction grating 16 may be at a position where it can receive at least part of the light beam emitted from the collimator 14.
  • FIG. 2D the movement of the diffraction grating 16 is emphasized and conceptually shown.
  • FIG. 3 is a diagram conceptually illustrating the illumination method according to the present embodiment.
  • FIG. 3A is a diagram showing a change over time of interference fringes on the sample surface.
  • the drive unit 17 in FIG. 2 translates the diffraction grating 16
  • the interference fringes move in the periodic direction on the sample surface.
  • the drive unit 17 in FIG. 2 moves the diffraction grating 16 in parallel
  • the phase of the interference fringes changes.
  • FIG. 3A shows the state of the interference fringes during a period in which the interference fringes move by a length corresponding to one period.
  • the horizontal axis represents the time when the interference fringe moving time for one period is 1 (arbitrary unit).
  • FIG. 3B is a diagram showing the spatial distribution of the illumination intensity in the periodic direction of the interference fringes at each time.
  • the horizontal axis is the illumination intensity
  • the vertical axis is the position of the interference fringes in the periodic direction.
  • the spatial distribution of illumination intensity at each time is sinusoidal and shifts in the periodic direction (the phase changes) as the interference fringes move.
  • the distribution of the illumination intensity returns to the same distribution as before the movement when the interference fringes move by one period.
  • FIG. 3 (C) is a diagram showing a temporal change in illumination intensity at an arbitrary point on the sample surface.
  • the illumination intensity at an arbitrary point on the sample surface changes at a frequency corresponding to the moving speed of the interference fringes.
  • the illumination intensity in the periodic direction of the interference fringes is sinusoidal, and the illumination intensity at an arbitrary point on the sample surface changes in a sinusoidal manner during the period in which the interference fringes move at a constant speed in the periodic direction.
  • the period in which the illumination intensity changes is the same as the time during which the interference fringe moves by one period.
  • FIG. 3D is a diagram showing a temporal change in fluorescence intensity corresponding to FIG. 3C
  • FIG. 3E shows a temporal change in the level of the detection signal corresponding to FIG. FIG.
  • fluorescence intensity changes with time in a sinusoidal shape having the same frequency as the change in illumination intensity with time, for example.
  • charges corresponding to the fluorescence intensity are accumulated in the photodetector of the image sensor 32 arranged at an image point optically conjugate with the object point on the sample surface, and the level of the detection signal is, for example, the fluorescence intensity.
  • the changing sine waves have the same phase, but may be different.
  • FIG. 4 is a conceptual diagram showing the operation of the lock-in amplifier 35.
  • the lock-in amplifier 35 performs, for example, two-phase lock-in detection.
  • the interference fringes shown in FIG. 3 have at least a first spatial frequency component (spatial frequency component in the periodic direction).
  • the lock-in amplifier 35 performs lock-in detection at least at the first frequency.
  • the frequency of lock-in detection is determined based on, for example, the spatial frequency of the interference fringes and the movement speed of the interference fringes.
  • the frequency of lock-in detection is determined based on, for example, the frequency of interference fringes with time.
  • the first frequency is, for example, the same predetermined frequency as the temporal change frequency of the illumination intensity (see FIG. 3C).
  • the lock-in amplifier 35 integrates the result (multiplication signal, multiplication value) obtained by multiplying the detection signal by the reference signal in the integration period T, and outputs the result (integration signal, integration value).
  • the integration period T is set to, for example, an integral multiple of a time (hereinafter referred to as a movement period) in which the amount of movement of the interference fringes becomes a length corresponding to one period (hereinafter referred to as a period length).
  • the lock-in amplifier 35 uses three types of reference signals.
  • the first reference signal is a DC signal (eg, 1).
  • the integrated signal obtained by multiplying the detection signal and the first reference signal is indicated by ID .
  • the integration period T is an integral multiple of the movement period of the interference fringes, the illumination intensity integrated during the integration period T is uniform on the sample surface. For example, when the I D corresponding to each pixel arranged in accordance with the pixel array, captured image captured on the sample surface that is uniformly illuminated is obtained.
  • the second reference signal is an AC signal (eg, sine wave) having a first frequency and a first initial phase.
  • an integrated signal obtained by multiplying the detection signal and the second reference signal and integrating them is represented by I C.
  • the third reference signal is an AC signal having a first frequency and a second initial phase.
  • the second initial phase is a phase shifted by ⁇ / 2 from the first initial phase.
  • the third reference signal is represented by sin ⁇ .
  • FIG. 5 is a diagram illustrating a configuration example of the lock-in amplifier 35.
  • the photodetector 32a of the image sensor 32 outputs a detection signal (represented by f (t) in the figure) to the filter 45, for example.
  • the filter 45 is an AC / DC filter (AD filter), and separates an AC component and a DC component from the detection signal.
  • the lock-in amplifier 35 performs lock-in detection using at least an AC component of the AC component and the DC component separated by the filter 45.
  • the lock-in detection means that a specific frequency component is extracted from the input signal. For example, the integrated signals (I C ) and (I S ) are acquired from the detection signal.
  • the lock-in amplifier 35 includes multipliers 46a to 46c and integrators (accumulators) 47a to 47c.
  • the input terminal of the multiplier 46 a is connected to the output terminal of the DC component in the filter 45.
  • the multiplier 46a multiplies the first reference signal (for example, 1), which is a DC signal supplied from, for example, a waveform generator (not shown), and the DC component of the detection signal, and the result (multiplication signal, Multiply value) is output.
  • the output terminal of the multiplier 46a is connected to the input terminal of the integrator 47a.
  • the integrator 47a integrates the multiplication signal from the multiplier 46a in the integration period T, and outputs an integration signal (I D ) indicating the result. To do. In other words, the integrator 47a is a low-pass filter.
  • the multiplier 46a may be omitted as appropriate.
  • An input terminal of the multiplier 46 b is connected to an AC component output terminal of the filter 45.
  • the multiplier 46b multiplies the second reference signal supplied from, for example, a waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the output terminal of the multiplier 46b is connected to the input terminal of the integrator 47b.
  • the integrator 47b integrates the multiplication signal from the multiplier 46b in the integration period T, and outputs an integration signal (I C ) indicating the result.
  • the integrator 47b is a low-pass filter.
  • the input terminal of the multiplier 46 c is connected to the AC component output terminal of the filter 45.
  • the multiplier 46c multiplies, for example, a third reference signal supplied from a waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the output terminal of the multiplier 46c is connected to the input terminal of the integrator 47c.
  • the integrator 47c integrates the multiplication signals from the multiplier 46c in the integration period T and outputs an integration signal (I S ) indicating the result.
  • the integrator 47c is a low-pass filter.
  • the lock-in amplifier 35 is controlled by the control unit 41, for example, and performs lock-in detection during a period when the interference fringes are moving at a constant speed.
  • the control unit 41 monitors an encoder or the like provided in the drive unit 17 and causes the lock-in amplifier 35 to perform lock-in detection when the speed of the diffraction grating 16 becomes constant.
  • the time from when the diffraction grating 16 starts to move in parallel until it reaches a certain speed is checked in advance, and the control unit 41 starts the parallel movement of the diffraction grating 16 from the drive unit 17 and the above time. After the elapse of time, the lock-in amplifier 35 may perform lock-in detection.
  • the structured illumination microscope 1 changes the direction of the interference fringes as shown in FIGS. 2A to 2C, and the observation light is detected by the image sensor 32 for each direction of the interference fringes.
  • the detection signal is converted into an integrated signal by the lock-in amplifier 35.
  • FIG. 6A is a diagram illustrating movement of interference fringes corresponding to FIG.
  • the branching unit 15 sets the periodic direction as shown in FIG. 6A, moves the interference fringes at a constant speed in the periodic direction, and the image sensor 32 transmits the observation light while the interference fringes are moving. To detect. Further, as shown in FIG. 6B, the branching unit 15 changes the periodic direction from the state of FIG.
  • the branching unit 15 changes the phase of the interference fringes
  • the imaging element 32 detects the observation light at least during a time during which the phase of the interference fringes is changing.
  • an interference fringe having a periodic structure in the first direction and moving in the first direction is irradiated on the sample surface. That is, an interference fringe whose phase changes in the first direction is irradiated on the sample surface. In other words, an interference fringe whose illumination intensity changes with time is irradiated at an arbitrary point on the sample surface.
  • the frequency of the time variation of the illumination intensity at an arbitrary point on the sample surface is ⁇ .
  • the lock-in amplifier 35 multiplies the DC component separated by the filter 45 by the first reference signal (for example, 1), which is a DC signal, at 46a, and at 47a, the period (2 ⁇ / Integration is performed in an integration period T that is an integral multiple of ⁇ ), and an integration signal (I D ) indicating the result is output.
  • the first reference signal for example, 1
  • I D integration signal
  • the lock-in amplifier 35 multiplies the AC component separated by the filter 45 in the multiplier 46b and the second reference signal oscillating at the frequency ⁇ , and integrates the multiplication signal from the multiplier 46b in the integrator 47b. Integration is performed during period T, and an integration signal (I C ) indicating the result is output.
  • the lock-in amplifier 35 multiplies the AC component separated by the filter 45 with the third reference signal that vibrates at the frequency ⁇ and is out of phase by ⁇ / 2.
  • the integrator 47c integrates the multiplication signal from the multiplier 46c in the integration period T and outputs an integration signal (I S ) indicating the result.
  • the filter 45 may be omitted as appropriate.
  • the detection signal f (t) output from the photodetector 32a of the image sensor 32 is input to 46a, 46b, and 46c, respectively.
  • the image processing unit 40 obtains a spatial frequency spectrum including the super-resolution component of the object by performing Fourier transform on the integrated signals I D , I C , and I S and performing linear transformation.
  • a spatial frequency spectrum including the super-resolution component of the object in the first direction can be obtained.
  • a spatial frequency spectrum including a super-resolution component of an object is obtained by performing a Fourier transform on the integrated signals I D , I C , and I S and performing a linear transformation has been described as an example.
  • the present invention is not limited to this, and other methods may be employed (the same applies to the following demodulation processing).
  • an interference fringe having a periodic structure in the second direction and moving in the second direction is illuminated on the sample surface, and the image processing unit 40 includes a spatial frequency including the super-resolution component of the object in the second direction.
  • Obtain a spectrum That is, the interference fringe whose phase changes in the second direction is illuminated on the sample surface, and the image processing unit 40 obtains a spatial frequency spectrum including the super-resolution component of the object in the second direction.
  • an interference fringe having a periodic structure in the third direction and moving in the direction 3 is illuminated on the sample surface, and the image processing unit 40 generates a spatial frequency spectrum including the super-resolution component of the object in the third direction. obtain. That is, the interference fringe whose phase changes in the third direction is illuminated on the sample surface, and the image processing unit 40 obtains a spatial frequency spectrum including the super-resolution component of the object in the third direction.
  • the image processing unit 40 includes a spatial frequency spectrum including a super-resolution component of the object in the first direction, a spatial frequency spectrum including a super-resolution component of the object in the second direction, and a super-resolution of the object in the third direction.
  • a super-resolution image (demodulated image) is obtained by rearranging the spatial frequency spectrum including the components in the frequency space and performing inverse Fourier transform on the rearranged spatial frequency spectrum.
  • the periodic direction of the interference fringes is three directions is exemplified, but the number of directions is not limited to three and may be changed as appropriate.
  • FIG. 7 is a flowchart showing the observation method according to the present embodiment.
  • the structured illumination microscope 1 sets the direction of interference fringes.
  • the control unit 41 controls the driving unit 17 to place the diffraction grating 16 at the first rotation position RP1 in FIG.
  • step S2 the structured illumination microscope 1 changes the phase of the interference fringes.
  • the structured illumination microscope 1 detects the observation light from the sample X while moving the interference fringes on the sample surface.
  • the control unit 41 causes the imaging element 32 to detect observation light while moving the interference fringes by the branching unit 15. That is, the control unit 41 causes the imaging element 32 to detect observation light while changing the phase of the interference fringes by the branching unit 15.
  • step S3 the structured illumination microscope 1 locks in the light from the sample at at least one frequency.
  • the structured illumination microscope 1 extracts a component corresponding to the time-varying frequency of the illumination intensity.
  • the control unit 41 causes the lock-in amplifier 35 to extract a component corresponding to the frequency of the temporal change in illumination intensity from the detection signal from the image sensor 32.
  • step S4 the structured illumination microscope 1 determines whether all the directions planned as the interference fringe directions have been completed. For example, the control unit 41 determines whether or not the detection of the observation light is finished for the three interference fringe directions shown in FIG. If the control unit 41 determines that there is an interference fringe direction for which the detection of the observation light has not been completed (step S4; No), the control unit 41 returns to step S1 and sets the interference fringe direction to the next direction. If the control unit 41 determines that there is no direction of interference fringes for which observation light detection has not been completed (step S4; Yes), in step S5, the structured illumination microscope 1 detects the lock-in detected signal. An image of the sample is generated using at least a part. For example, the image processing unit 40 generates a demodulated image according to the algorithm described above.
  • the structured illumination microscope 1 may perform lock-in detection after changing the direction of the interference fringes, for example, by storing the imaging result of the imaging device 32 in a storage unit or the like.
  • the structured illumination microscope 1 may perform lock-in detection using the imaging result corresponding to the previous interference fringe direction in parallel with the processing of steps S1 to S4 regarding the next interference fringe direction. This may be performed after the process of step S4.
  • the structured illumination microscope 1 may perform the demodulation processing using the imaging result according to the previous interference fringe direction in parallel with the processing of steps S1 to S4 regarding the next interference fringe direction.
  • the structured illumination microscope 1 according to the second embodiment performs five-channel lock-in detection using an interference fringe whose periodic direction is one direction on the sample surface.
  • the interference fringes used in the structured illumination microscope 1 according to the present embodiment have at least two spatial frequency components.
  • interference fringes formed by interference between 0th-order diffracted light and 1st-order diffracted light interference formed by interference between 0th-order diffracted light and + 1st-order diffracted light and interference between 0th-order diffracted light and ⁇ 1st-order diffracted light
  • the spatial frequency component of the fringe) and the spatial frequency component of the interference fringe formed by the interference between the + 1st order diffracted light and the ⁇ 1st order diffracted light The spatial frequency component of the fringe and the spatial frequency component of the interference fringe formed by the interference between the + 1st order diffracted light and the ⁇ 1st order diffracted light.
  • FIG. 8 is a diagram showing the structured illumination microscope 1 according to the present embodiment.
  • the optical path from the sample X to the image sensor 36 is omitted for easy viewing of the figure, but the imaging device 3 images the sample X in the same manner as in FIG. 1.
  • the structured illumination device 2 illuminates the sample X with structured illumination including interference fringes due to interference between the 0th-order diffracted light and the 1st-diffracted light ( ⁇ 1st-order diffracted light, 1st-order diffracted light).
  • the structured illumination microscope 1 uses the interference fringes of the ⁇ 1st order diffracted light and the + 1st order diffracted light for the structured illumination. Since the interference fringes are the same as in the first embodiment, The description is omitted.
  • the mask 22 passes the 0th-order diffracted light and the 1st-order diffracted light ( ⁇ 1st-order diffracted light, 1st-order diffracted light) and blocks the second-order and higher-order diffracted light.
  • the mask 22 includes, for example, a shutter unit that can switch between the passage and blocking of the 0th-order diffracted light, and is provided so that the 0th-order diffracted light passes in the 3D-SIM mode.
  • the mask 22 may be replaceable with a mask having an opening at a position where the 0th-order diffracted light is incident.
  • FIG. 9 is a diagram showing the lock-in amplifier 35 according to the present embodiment.
  • the interference fringes have at least a first spatial frequency component and a second spatial frequency component.
  • the lock-in amplifier 35 performs lock-in detection at least at the first frequency and the second frequency.
  • the lock-in amplifier 35 includes multipliers 46a to 46e and integrators (accumulators) 47a to 47e.
  • the lock-in amplifier 35 uses five types of reference signals (first to fifth reference signals).
  • the first reference signal is a DC signal (1).
  • the second to fourth reference signals are AC signals.
  • the frequency of the reference signal when lock-in detection is performed for each direction by the 3D-SIM is shown in [Table 1] below.
  • the input terminal of the multiplier 46 a is connected to the output terminal of the DC component in the filter 45.
  • the multiplier 46a multiplies the first reference signal (for example, 1), which is a DC signal supplied from, for example, a waveform generator (not shown), and the DC component of the detection signal, and the result (multiplication signal, Multiply value) is output.
  • the output terminal of the multiplier 46a is connected to the input terminal of the integrator 47a.
  • the integrator 47a integrates the multiplication signal from the multiplier 46a in the integration period T, and outputs an integration signal (I D ) indicating the result.
  • the integrator 47a is a low-pass filter.
  • the multiplier 46a may be omitted as appropriate.
  • the multiplier 46 b multiplies the second reference signal supplied from, for example, a waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the second reference signal is an AC signal (eg, cos (a 1 t)) of the first initial phase of the first frequency (a 1 ).
  • the first frequency is formed, for example, by interference fringes formed by interference between 0th-order diffracted light and 1st-order diffracted light (interference between 0th-order diffracted light and + 1st-order diffracted light and interference between 0th-order diffracted light and ⁇ 1st-order diffracted light). This is the same as the frequency of the time change of the illumination intensity generated at any point on the sample surface due to the phase change of the interference fringes.
  • the output terminal of the multiplier 46b is connected to the input terminal of the integrator 47b.
  • the integrator 47b integrates the multiplication signal from the multiplier 46b in the integration period T, and outputs an integration signal (I C, a1 ) indicating the result.
  • the integrator 47b is a low-pass filter.
  • the multiplier 46c multiplies, for example, a third reference signal supplied from a waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the third reference signal is an AC signal (eg, sin (a 1 t)) of the second initial phase having the same frequency (a 1 ) as the first frequency.
  • the input terminal of the multiplier 46 c is connected to the AC component output terminal of the filter 45.
  • the output terminal of the multiplier 46c is connected to the input terminal of the integrator 47c.
  • the integrator 47c integrates the multiplication signal from the multiplier 46c in the integration period T, and outputs an integration signal (I S, a1 ) indicating the result.
  • the integrator 47c is a low-pass filter.
  • the input terminal of the multiplier 46 d is connected to the output terminal of the AC component of the filter 45.
  • the multiplier 46d multiplies the fourth reference signal supplied from the waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the fourth reference signal is an AC signal (eg, cos (a 2 t)) of the first initial phase of the second frequency (a 2 ).
  • the second frequency (a 2 ) is, for example, a frequency different from the first frequency (a 1 ).
  • the second frequency (a 2 ) is, for example, the same as the frequency of the time change of the illumination intensity generated at any point on the sample surface due to the phase change of the interference fringes formed by the interference between the ⁇ 1st order diffracted light and the + 1st order diffracted light It is.
  • the output terminal of the multiplier 46d is connected to the input terminal of the integrator 47d.
  • the integrator 47d integrates the multiplication signal from the multiplier 46d in the integration period T, and outputs an integration signal (I C, a2 ) indicating the result.
  • the input terminal of the multiplier 46e is connected to the output terminal of the AC component of the filter 45.
  • the multiplier 46e multiplies the fifth reference signal supplied from the waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the fifth reference signal is an AC signal (eg, sin (a 2 t)) of the second initial phase of the second frequency (a 2 ).
  • the output terminal of the multiplier 46e is connected to the input terminal of the integrator 47e.
  • the integrator 47e integrates the multiplication signal from the multiplier 46e in the integration period T, and outputs an integration signal (I S, a2 ) indicating the result.
  • the integrated signal ID corresponding to the reference signal is obtained by extracting an unmodulated signal.
  • the integrated signals corresponding to the reference signal, I C, a2 , I S, a2 are obtained by extracting signals modulated by interference fringes due to interference between the + 1st order diffracted light and the ⁇ 1st order diffracted light.
  • the integrated signals I C, a1 , I S, a1 according to the above reference signal are interference fringes (interference between the 0th order diffracted light and the + 1st order diffracted light and the interference fringes formed by the interference between the 0th order diffracted light and the 1st order diffracted light.
  • the signal modulated by the interference fringes caused by the interference between the 0th-order diffracted light and the -1st-order diffracted light is extracted.
  • the interference fringes by the 0th order diffracted light and the 1st order diffracted light are irradiated on the sample. Since this interference fringe is an interference fringe due to three-beam interference, it has a periodic structure in a predetermined direction of the sample cross section and in the depth direction of the sample.
  • the sample cross section having an arbitrary depth has a periodic structure in the first direction and moves in the first direction. Interference fringes are irradiated.
  • an interference fringe whose phase changes in the first direction is irradiated on the sample cross section at an arbitrary depth.
  • an interference fringe whose illumination intensity changes with time is irradiated at an arbitrary point on the sample surface.
  • the temporal change in illumination intensity at an arbitrary point on the sample surface is composed of components that vibrate at two frequencies a 1 and a 2 . That is, the frequency of the time change of the illumination intensity at an arbitrary point on the sample surface is composed of two frequencies a 1 and a 2 .
  • the detection signal f (t) output from the photodetector 32 a of the image sensor 32 is separated into an AC component and a DC component by the filter 45.
  • the lock-in amplifier 35 multiplies the DC component separated by the filter 45 by the first reference signal (for example, 1), which is a DC signal, at 46a, and at 47a, the period (2 ⁇ / Integration is performed in an integration period T that is an integer multiple of a 1 ), and an integration signal (I D ) indicating the result is output.
  • the first reference signal for example, 1
  • I D integration signal
  • the integrator 47c integrates the multiplication signal from the multiplier 46c in the integration period T, and outputs an integration signal (I S, a1 ) indicating the result.
  • the multiplication signal from the unit 46d is integrated in the integration period T, and an integration signal (I C, a2 ) indicating the result is output.
  • the integrator 47e integrates the multiplication signal from the multiplier 46e in the integration period T, and outputs an integration signal (I S, a2 ) indicating the result.
  • the demodulator 41 of the control device 4 moves at least one of the objective lens 28 and the stage on which the sample is placed.
  • the interference having the periodic structure in the first direction in the sample cross section of an arbitrary depth and moving in the first direction.
  • the fringes are illuminated, and similarly, integrated signals I D , I C, a 1 , I S, a 1 , I C, a 2 , I S, a 2 are output from the lock-in amplifier 35.
  • the image processing unit 40 of the control device 4 includes the integrated signals I D , I C, a 1 , I S, a 1 , I C when the objective lens 28 and the stage are at the first distance or at the second distance. , A2, IS , a2 are read out and demodulated.
  • the image processing unit 40 performs Fourier transform on the integrated signals I D , I C, a 1 , I S, a 1 , I C, a 2 , I S, a 2 , and performs linear transformation to thereby obtain a super-resolution component of the object.
  • a spatial frequency spectrum including is obtained.
  • a spatial frequency spectrum including the super-resolution component of the object in the first direction can be obtained.
  • the objective lens 28 and the stage are at the first distance, when they are at the second distance, an interference fringe having a periodic structure in the second direction and moving in the second direction is illuminated, and the image The processing unit 40 obtains a spatial frequency spectrum including the super-resolution component of the object in the second direction. That is, when the objective lens 28 and the stage are at the first distance or when the objective lens 28 is at the second distance, the phase of the interference fringe is changed in the second direction, and the image processing unit 40 is moved in the second direction. A spatial frequency spectrum including the super-resolution component of the object is obtained.
  • an interference fringe having a periodic structure in the third direction and moving in the direction 3 is illuminated, and the image processing unit 40 obtains a spatial frequency spectrum including the super-resolution component of the object in the third direction. That is, when the objective lens 28 and the stage are at the first distance or at the second distance, the phase of the interference fringe is changed in the third direction, and the image processing unit 40 is moved in the third direction. A spatial frequency spectrum including the super-resolution component of the object is obtained.
  • the image processing unit 40 includes a spatial frequency spectrum including a super-resolution component of the object in the first direction, a spatial frequency spectrum including a super-resolution component of the object in the second direction, and a super-resolution of the object in the third direction.
  • a spatial frequency spectrum including the components is rearranged in the frequency space, and the rearranged spatial frequency spectrum is subjected to inverse Fourier transform to obtain a three-dimensional super-resolution image (demodulated image).
  • the objective lens 28 and the stage are set to the first distance to acquire the integrated signal, and the integrated signal is set to the second distance to acquire the three-dimensional super-resolution image (demodulated image). ) Is acquired, but the number of distances to be set may be one or more.
  • the objective lens 28 and the stage are set to the 1st to n-th (n is an integer of 1 or more) distance, the integrated signal is acquired, and the three-dimensional super-resolution image (demodulated image) is acquired.
  • the number of directions is not limited to three and may be changed as appropriate.
  • the structured illumination microscope 1 according to the present embodiment performs 7-channel lock-in detection using interference fringes with three periodic directions on the sample surface.
  • the interference fringes used in the structured illumination microscope 1 according to the present embodiment have at least three spatial frequency components.
  • each of the three directions has at least one spatial frequency component.
  • FIG. 10 is a diagram illustrating an illumination method according to the present embodiment.
  • FIG. 10A is a diagram illustrating the branching unit 15 according to the present embodiment.
  • the branching unit 15 includes a diffraction grating 16.
  • the diffraction grating 16 is a triangular lattice-shaped member, and has a periodic structure in three directions (indicated by D1 to D3 in the figure).
  • the drive unit 17 is controlled by the control unit 41 to translate the diffraction grating 16 in a predetermined direction. The moving direction of the diffraction grating 16 will be described later with reference to FIG.
  • FIG. 10B shows the mask 22 according to the present embodiment.
  • the mask 22 has an opening 22a, an opening 22d, and an opening 22e.
  • the opening 22a is disposed in the incident region of the + 1st order diffracted light La.
  • the opening 22d is disposed in the incident region of the + 1st order diffracted light Ld.
  • the opening 22d is disposed at a rotation position of 120 ° counterclockwise about the optical axis 11a with respect to the opening 22a.
  • the opening 22e is disposed in the incident region of the + 1st order diffracted light Le.
  • the opening 22e is arranged at a rotation position of 120 ° counterclockwise about the optical axis 11a with respect to the opening 22d.
  • the incident region of the ⁇ 1st order diffracted light Lb, the incident region of the ⁇ 1st order diffracted light Lc, and the incident region of the ⁇ 1st order diffracted light Lf are light shielding regions.
  • FIG. 10C is a diagram showing an incident area of diffracted light on the pupil plane P0.
  • the incident region of the + 1st order diffracted light La, the incident region of the + 1st order diffracted light Ld, and the incident region of the + 1st order diffracted light Le are arranged at equal intervals around the optical axis 11a.
  • the distance DL between the incident region of the + 1st order diffracted light La and the incident region of the + 1st order diffracted light Ld is set to a distance corresponding to about ⁇ 3NA (focal length f ⁇ ⁇ 3NA of the objective lens 28), for example. In this case, a resolution of up to ⁇ 3 times that of normal illumination can be obtained.
  • FIG. 11 is a diagram showing an incident area of diffracted light on the mask 22 and the pupil plane P0 according to the modification.
  • the mask 22 includes a mask main body 22A and a light shielding plate 22B.
  • the mask main body 22A has openings 22a to 22f.
  • the opening 22a is disposed in the incident region of the + 1st order diffracted light La branched in the periodic direction D3, and the opening 22b is disposed in the incident region of the ⁇ 1st order diffracted light Lb branched in the periodic direction D3.
  • the opening 22c is disposed in the incident region of the + 1st order diffracted light Lc branched in the periodic direction D2, and the opening 22d is disposed in the incident region of the ⁇ 1st order diffracted light Ld branched in the periodic direction D2.
  • the opening 22e is disposed in the incident region of the + 1st order diffracted light Le branched in the periodic direction D1
  • the opening 22f is disposed in the incident region of the ⁇ 1st order diffracted light Le branched in the periodic direction D1.
  • the light shielding plate 22B is rotatable with respect to the mask main body 22A.
  • the light shielding unit 22B is rotationally driven around the optical axis 11a by a drive unit (not shown).
  • the light shielding part 22B can be arranged at each rotational position shown in FIGS.
  • the light shielding unit 22B transmits the + 1st order diffracted light La and the ⁇ 1st order diffracted light Lb, and blocks the + 1st order diffracted light Lc, the ⁇ 1st order diffracted light Ld, the + 1st order diffracted light Le, and the ⁇ 1st order diffracted light Lf. Arranged at the rotational position.
  • the incident region of the + 1st order diffracted light La and the incident region of the ⁇ 1st order diffracted light Lb are arranged symmetrically with respect to the optical axis 11a.
  • the distance DL between the incident region of the + 1st order diffracted light La and the incident region of the ⁇ 1st order diffracted light Lb is set to a distance corresponding to about twice NA (focal length f ⁇ 2NA of the objective lens 28), for example.
  • the light shielding portion 22B is arranged at a rotation position rotated 120 ° from the clockwise direction in FIG. 11A.
  • the light shielding unit 22B is disposed at a rotational position that transmits the + 1st order diffracted light Le and the ⁇ 1st order diffracted light Lf and blocks the + 1st order diffracted light La, the ⁇ 1st order diffracted light Lb, the + 1st order diffracted light Lc, and the ⁇ 1st order diffracted light Ld.
  • the incident region of the + 1st order diffracted light Le and the incident region of the ⁇ 1st order diffracted light Lf rotate clockwise from the incident region of the + 1st order diffracted light La and the incident region of the ⁇ 1st order diffracted light Lb in FIG. It is arranged at a rotational position rotated 120 ° as positive.
  • the light shielding portion 22B is disposed at a rotation position rotated 120 ° clockwise from FIG. 11B.
  • the light shielding unit 22B is disposed at a rotational position that transmits the + 1st order diffracted light Lc and the ⁇ 1st order diffracted light Ld and blocks the + 1st order diffracted light La, the ⁇ 1st order diffracted light Lb, the + 1st order diffracted light Le, and the ⁇ 1st order diffracted light Lf.
  • the incident region of the + 1st order diffracted light Lc and the incident region of the ⁇ 1st order diffracted light Ld rotate clockwise from the incident region of the + 1st order diffracted light Le and the incident region of the ⁇ 1st order diffracted light Lf in FIG. It is arranged at a rotational position rotated 120 ° as positive.
  • the light shielding unit 22B is rotationally driven while the light detection unit in the image sensor 32 accumulates electric charges. Since the light shielding unit 22B selectively passes one pair from the three pairs of the first-order diffracted light, interference fringes that are not used for generating a demodulated image can be reduced.
  • FIG. 12 is a diagram for explaining the movement of interference fringes on the sample surface.
  • FIG. 12A is a diagram showing interference fringes on the sample surface.
  • FIG. 12B is a schematic diagram for explaining the movement direction of the interference fringes.
  • k 1 , k 2 , and k 3 indicate wave vector numbers of interference fringes, respectively, and have a corresponding relationship with the periodic directions D1, D2, and D3.
  • the illumination intensity due to the interference fringes has a sinusoidal spatial distribution component in each of the wave vector k 1 , k 2 , k 3 .
  • symbols g 1 and g 2 are lattice vectors.
  • the grating vector g 1 is a vector that represents an interference fringe period in a direction perpendicular to the wave vector k 2 .
  • Grating vector g 2 is a vector representing the interference fringe period in the direction perpendicular to the wave vector k 1.
  • the interference fringes are symmetric with respect to a translation that is an integral multiple of the lattice vectors g1 and g2.
  • the interference fringes move by n 1 periods in the direction parallel to the wave vector k 1 and move by n 2 periods in the direction parallel to the wave vector k 2.
  • the time change frequency of the wave vector k 1 component of the illumination intensity is b 1
  • the frequency of the wave vector k 2 component of the illumination intensity is b 2
  • the time change of the wave vector k 3 component of the illumination intensity is time change.
  • the interference fringes are moved one period wave vector k 1 direction, wave vector k 2 direction to move two cycles, moves three cycles to wave vector k 3 directions.
  • the frequency of the time variation of the wave vector k 1 components of illumination intensity and b 1 the frequency b 2 of the time variation of the wave vector k 2 components of the illumination intensity is doubled in b 1
  • the wave number vector of the illumination intensity The frequency b 3 of the time change of the k 3 component is three times b 1 .
  • the moving direction of the interference fringes, the number of cycles interference fringes in the wave vector k 1 direction moves, the number of cycles interference fringes in the wave vector k 2 direction movement, the interference fringes in the wave vector k 3 directions The number of moving periods is set so as to be different from each other.
  • the frequency of the time variation of the wave vector k 1 components of illumination intensity, and frequency of the time variation of the wave vector k 2 components of illumination intensity, and frequency of the time variation of the wave vector k 3 components of illumination intensity respectively
  • the predetermined frequency (first to third frequencies) is obtained.
  • the lock-in amplifier 35 performs lock-in detection at least at the first frequency, the second frequency, and the third frequency. When the first frequency (b 1 ), the second frequency (b 2 ), and the third frequency (b 3 ) are different from each other, frequency components corresponding to the respective directions are detected by lock-in detection. Can be extracted.
  • FIG. 13 is a diagram showing a lock-in amplifier 35 according to the present embodiment.
  • the lock-in amplifier 35 includes multipliers 46a to 46g and integrators (accumulators) 47a to 47g.
  • the lock-in amplifier 35 uses seven types of reference signals (first to seventh reference signals).
  • the first reference signal is a DC signal (1).
  • the second to seventh reference signals are AC signals.
  • the frequency of the reference signal at the time of lock-in detection in 3 directions at once by 2D-SIM is shown in [Table 2] below.
  • the input terminal of the multiplier 46 a is connected to the output terminal of the DC component in the filter 45.
  • the multiplier 46a multiplies the first reference signal (for example, 1), which is a DC signal supplied from, for example, a waveform generator (not shown), and the DC component of the detection signal, and the result (multiplication signal, Multiply value) is output.
  • the output terminal of the multiplier 46a is connected to the input terminal of the integrator 47a.
  • the integrator 47a integrates the multiplication signal from the multiplier 46a in the integration period T, and outputs an integration signal (I D ) indicating the result. To do. In other words, the integrator 47a is a low-pass filter.
  • the multiplier 46a may be omitted as appropriate.
  • An input terminal of the multiplier 46 b is connected to an AC component output terminal of the filter 45.
  • the multiplier 46b multiplies the second reference signal supplied from, for example, a waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the second reference signal is an AC signal (eg, cos (b 1 t)) of the first initial phase of the first frequency (b 1 ).
  • the first frequency (b 1 ) is the time-varying frequency of the wave number vector k 1 component of the illumination intensity.
  • the output terminal of the multiplier 46b is connected to the input terminal of the integrator 47b.
  • the integrator 47b integrates the multiplication signal from the multiplier 46b in the integration period T, and outputs an integration signal (I C, b1 ) indicating the result.
  • the integrator 47b is a low-pass filter.
  • the input terminal of the multiplier 46 c is connected to the AC component output terminal of the filter 45.
  • the multiplier 46c multiplies, for example, a third reference signal supplied from a waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the third reference signal is an AC signal (eg, sin (b 1 t)) of the second initial phase having the first frequency (b 1 ).
  • the output terminal of the multiplier 46c is connected to the input terminal of the integrator 47c.
  • the integrator 47c integrates the multiplication signal from the multiplier 46c in the integration period T, and outputs an integration signal (I S, b1 ) indicating the result.
  • the integrator 47c is a low-pass filter.
  • the input terminal of the multiplier 46 d is connected to the output terminal of the AC component of the filter 45.
  • the multiplier 46d multiplies the fourth reference signal supplied from the waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the fourth reference signal is an AC signal (eg, cos (b 2 t)) of the first initial phase of the second frequency (b 2 ).
  • the second frequency (b 2 ) is, for example, a frequency different from the first frequency (b 1 ).
  • the second frequency (b 2 ) is a time-varying frequency of the wave vector k 2 component of the illumination intensity.
  • the output terminal of the multiplier 46d is connected to the input terminal of the integrator 47d.
  • the integrator 47d integrates the multiplication signal from the multiplier 46d in the integration period T, and outputs an integration signal (I C, b2 ) indicating the result.
  • the input terminal of the multiplier 46e is connected to the output terminal of the AC component of the filter 45.
  • the multiplier 46e multiplies the fifth reference signal supplied from the waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the fifth reference signal is an AC signal (for example, sin (b 2 t)) of the second initial phase of the second frequency (b 2 ).
  • the output terminal of the multiplier 46e is connected to the input terminal of the integrator 47e.
  • the integrator 47e integrates the multiplication signal from the multiplier 46e in the integration period T and outputs an integration signal (I S, b2 ) indicating the result.
  • the input terminal of the multiplier 46 f is connected to the output terminal of the AC component of the filter 45.
  • the multiplier 46f multiplies the sixth reference signal supplied from the waveform generator (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the sixth reference signal is an AC signal (eg, cos (b 3 t)) of the first initial phase of the third frequency (b 3 ).
  • the third frequency (b 3 ) is a time-varying frequency of the wave number vector k 3 component of the illumination intensity.
  • the output terminal of the multiplier 46f is connected to the input terminal of the integrator 47f.
  • the integrator 47f integrates the multiplication signal from the multiplier 46f in the integration period T, and outputs an integration signal (I C, b3 ) indicating the result.
  • the input terminal of the multiplier 46g is connected to the output terminal of the AC component of the filter 45.
  • the multiplier 46g multiplies the seventh reference signal supplied from the waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the seventh reference signal is an AC signal (eg, sin (b 3 t)) of the second initial phase of the third frequency (b 3 ).
  • the second initial phase is a phase shifted by ⁇ / 2 from the first initial phase.
  • the output terminal of the multiplier 46g is connected to the input terminal of the integrator 47g.
  • the integrator 47g integrates the multiplication signal from the multiplier 46g in the integration period T, and outputs an integration signal (I S, b3 ) indicating the result.
  • interference fringes having a periodic structure are irradiated on the sample surface in the first direction, the second direction, and the third direction. Further, for example, the interference fringe moves in the direction of the vector D4 as shown in FIG. 12B, and the phase of the interference fringe changes. In other words, an interference fringe whose illumination intensity changes with time is irradiated at an arbitrary point on the sample surface.
  • the temporal change in illumination intensity at an arbitrary point on the sample surface is composed of components that vibrate at three frequencies b 1 , b 2 , and b 3 . That is, the frequency of the temporal change in illumination intensity at an arbitrary point on the sample surface is composed of three frequencies b 1 , b 2 and b 3 .
  • the lock-in amplifier 35 outputs integrated signals I D , I C, b 1 , I S, b 1 , I C, b 2 , I S, b 2 , I C, b 3 , I S, b 3 .
  • the image processing unit 40 of the control device 4 receives the integrated signals I D , I C, b 1 , I S, b 1 , I C, b 2 , I S, b 2 , I C, b 3 , I S, b 3 from the lock-in amplifier 35. Read and demodulate. For example, the image processing unit 40 performs a Fourier transform on the integrated signals I D , I C, b 1 , I S, b 1 , I C, b 2 , I S, b 2 , I C, b 3 , I S, b 3 to perform linear transformation. By doing so, a spatial frequency spectrum including the super-resolution component of the object is obtained.
  • a spatial frequency spectrum including the super-resolution component of the object in three directions can be obtained.
  • the image processing unit 40 rearranges the spatial frequency spectrum including the super-resolution component of the object in three directions in the frequency space, and performs inverse Fourier transform on the rearranged spatial frequency spectrum, thereby obtaining a super-resolution image (demodulated image). Get.
  • FIG. 14 is a flowchart illustrating an observation method according to the embodiment.
  • the structured illumination microscope 1 detects the observation light from the sample X while moving the interference fringes on the sample surface. That is, the structured illumination microscope 1 detects the observation light from the sample X while changing the phase of the interference fringes.
  • the control unit 41 causes the imaging element 32 to detect observation light while moving the interference fringes by the branching unit 15. That is, the control unit 41 causes the imaging element 32 to detect observation light while changing the phase of the interference fringes by the branching unit 15.
  • step S11 the structured illumination microscope 1 extracts a component corresponding to the frequency of the illumination intensity with time.
  • the control unit 41 causes the lock-in amplifier 35 to extract a component corresponding to the frequency of the temporal change in illumination intensity from the detection signal from the image sensor 32.
  • step S12 the image processing unit 40 performs a Fourier transform on the component extracted by the lock-in amplifier 35 and performs a linear transform, thereby obtaining a spatial frequency spectrum including the super-resolution component of the object.
  • the image processing unit 40 rearranges the spatial frequency spectrum in the frequency space, and obtains a super-resolution image (demodulated image) by performing inverse Fourier transform on the rearranged spatial frequency spectrum.
  • the lock-in amplifier 35 performs lock-in detection using seven types of reference signals in FIG. 13, but lock-in detection may be performed using fewer types of reference signals.
  • FIG. 15 is a diagram illustrating a lock-in amplifier according to a modification.
  • the interference fringes used in the structured illumination microscope 1 according to this modification have at least three spatial frequency components.
  • each of the three directions has at least one spatial frequency component.
  • the second reference signal has a first frequency (b 1 ) and a first initial phase.
  • the fourth reference signal has a second frequency (b 2 ) and a first initial phase.
  • the sixth reference signal has a third frequency (b 3 ) and a first initial phase.
  • the relationship between the three frequencies b 1 , b 2 , and b 3 is the same as in [Table 2] above.
  • the image processing unit 41 may generate an image of the sample X using the integrated signals I C, b1 , I C, b2 , I C, b3 .
  • the structured illumination microscope 1 according to the present embodiment performs 13-channel lock-in detection using interference fringes with three periodic directions on the sample surface.
  • interference fringes in the 3D-SIM mode are formed by allowing the 0th-order light to pass through the mask 22 shown in FIG.
  • the interference fringes used in the structured illumination microscope 1 according to the present embodiment have at least six spatial frequency components.
  • interference fringes with three periodic directions on the sample surface, interference fringes (0th-order diffracted light and + 1st-order diffracted light formed by interference between the 0th-order diffracted light and the 1st-order diffracted light in each of the 3 directions.
  • Interference frequency and interference frequency fringes formed by interference between 0th-order diffracted light and -1st-order diffracted light and spatial frequency components possessed by interference fringes formed by interference between + 1st-order diffracted light and -1st-order diffracted light
  • FIG. 16 is a diagram illustrating the lock-in amplifier 35 according to the present embodiment.
  • the lock-in amplifier 35 performs lock-in detection at least at the first frequency, the second frequency, the third frequency, the fourth frequency, the fifth frequency, and the sixth frequency.
  • the lock-in amplifier 35 includes multipliers 46a to 46m and integrators (accumulators) 47a to 47m.
  • the lock-in amplifier 35 uses 13 types of reference signals (first to thirteenth reference signals).
  • the first reference signal is a DC signal (1).
  • the second to thirteenth reference signals are AC signals.
  • the frequency of the reference signal when performing lock-in detection in the three directions at once with the 3D-SIM is shown in [Table 3] below.
  • the input terminal of the multiplier 46 a is connected to the output terminal of the DC component in the filter 45.
  • the multiplier 46a multiplies the first reference signal (for example, 1), which is a DC signal supplied from, for example, a waveform generator (not shown), and the DC component of the detection signal, and the result (multiplication signal, Multiply value) is output.
  • the output terminal of the multiplier 46a is connected to the input terminal of the integrator 47a.
  • the integrator 47a integrates the multiplication signal from the multiplier 46a in the integration period T, and outputs an integration signal (I D ) indicating the result. To do. In other words, the integrator 47a is a low-pass filter.
  • the multiplier 46a may be omitted as appropriate.
  • An input terminal of the multiplier 46 b is connected to an AC component output terminal of the filter 45.
  • the multiplier 46b multiplies the second reference signal supplied from, for example, a waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the second reference signal is an AC signal (eg, cos (c 1 t)) having a first initial phase having a first frequency (c 1 ).
  • the first frequency is the frequency of the time variation of the wave vector k 1 components of the illumination intensity.
  • the output terminal of the multiplier 46b is connected to the input terminal of the integrator 47b.
  • the integrator 47b integrates the multiplication signal from the multiplier 46b in the integration period T, and outputs an integration signal (I C, c1 ) indicating the result.
  • the integrator 47b is a low-pass filter.
  • the input terminal of the multiplier 46 c is connected to the AC component output terminal of the filter 45.
  • the multiplier 46c multiplies, for example, a third reference signal supplied from a waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the third reference signal is an AC signal (eg, sin (c 1 t)) of the second initial phase of the first frequency (c 1 ).
  • the output terminal of the multiplier 46c is connected to the input terminal of the integrator 47c.
  • the integrator 47c integrates the multiplication signal from the multiplier 46c in the integration period T, and outputs an integration signal (I S, c1 ) indicating the result.
  • the integrator 47c is a low-pass filter.
  • the input terminal of the multiplier 46 d is connected to the output terminal of the AC component of the filter 45.
  • the multiplier 46d multiplies the fourth reference signal supplied from the waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the fourth reference signal an AC signal of the first initial phase of the second frequency (c 2) a second frequency that is (e.g., cos (c 2 t)) is the wave vector k 2 components of illumination intensity Is the frequency of time change.
  • the second frequency (c 2 ) is, for example, a frequency different from the first frequency (c 1 ).
  • the output terminal of the multiplier 46d is connected to the input terminal of the integrator 47d.
  • the integrator 47d integrates the multiplication signal from the multiplier 46d in the integration period T, and outputs an integration signal (I C, c2 ) indicating the result.
  • the input terminal of the multiplier 46e is connected to the output terminal of the AC component of the filter 45.
  • the multiplier 46e multiplies the fifth reference signal supplied from the waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the fifth reference signal is an AC signal (eg, sin (c 2 t)) of the second initial phase of the second frequency (c 2 ).
  • the output terminal of the multiplier 46e is connected to the input terminal of the integrator 47e.
  • the integrator 47e integrates the multiplication signal from the multiplier 46e in the integration period T and outputs an integration signal (I S, c2 ) indicating the result.
  • the input terminal of the multiplier 46 f is connected to the output terminal of the AC component of the filter 45.
  • the multiplier 46f multiplies the sixth reference signal supplied from the waveform generator (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the sixth reference signal is an AC signal (eg, cos (c 3 t)) of the first initial phase of the third frequency (c 3 ).
  • the third frequency (c 3 ) is a time-varying frequency of the wave number vector k 3 component of the illumination intensity.
  • the output terminal of the multiplier 46f is connected to the input terminal of the integrator 47f.
  • the integrator 47f integrates the multiplication signal from the multiplier 46f in the integration period T and outputs an integration signal (I C, c3 ) indicating the result.
  • the input terminal of the multiplier 46g is connected to the output terminal of the AC component of the filter 45.
  • the multiplier 46g multiplies the seventh reference signal supplied from the waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the seventh reference signal is an AC signal (eg, sin (c 3 t)) of the second initial phase of the third frequency (c 3 ).
  • the second initial phase is a phase shifted by ⁇ / 2 from the first initial phase.
  • the output terminal of the multiplier 46g is connected to the input terminal of the integrator 47g.
  • the integrator 47g integrates the multiplication signal from the multiplier 46g in the integration period T, and outputs an integration signal (I S, c3 ) indicating the result.
  • the input terminal of the multiplier 46 h is connected to the output terminal of the AC component of the filter 45.
  • the multiplier 46h multiplies the eighth reference signal supplied from the waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the eighth reference signal is an AC signal (eg, cos (c 4 t)) of the first initial phase having the fourth frequency (c 4 ).
  • Fourth frequency is the frequency of the wave vector k 1 components of the illumination intensity.
  • the output terminal of the multiplier 46h is connected to the input terminal of the integrator 47h.
  • the integrator 47h integrates the multiplication signal from the multiplier 46h in the integration period T, and outputs an integration signal (I C, c4 ) indicating the result.
  • the input terminal of the multiplier 46 i is connected to the output terminal of the AC component of the filter 45.
  • the multiplier 46i multiplies the ninth reference signal supplied from the waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the ninth reference signal is an AC signal (eg, sin (c 4 t)) of the second initial phase having the fourth frequency (c 4 ).
  • the second initial phase is a phase shifted by ⁇ / 2 from the first initial phase.
  • the output terminal of the multiplier 46i is connected to the input terminal of the integrator 47i.
  • the integrator 47i integrates the multiplication signal from the multiplier 46i in the integration period T and outputs an integration signal (I S, c4 ) indicating the result.
  • the input terminal of the multiplier 46j is connected to the output terminal of the AC component of the filter 45.
  • the multiplier 46j multiplies the tenth reference signal supplied from the waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the tenth reference signal is an AC signal (eg, cos (c 5 t)) of the first initial phase of the fifth frequency (c 5 ).
  • Frequency of the fifth is the frequency of the time variation of the wave vector k 2 components of illumination intensity.
  • the output terminal of the multiplier 46j is connected to the input terminal of the integrator 47j.
  • the integrator 47j integrates the multiplication signal from the multiplier 46j in the integration period T and outputs an integration signal (I C, c5 ) indicating the result.
  • the input terminal of the multiplier 46k is connected to the output terminal of the AC component of the filter 45.
  • the multiplier 46k multiplies the eleventh reference signal supplied from the waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the eleventh reference signal is an AC signal (eg, sin (c 5 t)) of the second initial phase having the fifth frequency (c 5 ).
  • the second initial phase is a phase shifted by ⁇ / 2 from the first initial phase.
  • the output terminal of the multiplier 46k is connected to the input terminal of the integrator 47k.
  • the integrator 47k integrates the multiplication signals from the multiplier 46k in the integration period T, and outputs an integration signal (I S, c5 ) indicating the result.
  • the input terminal of the multiplier 46 l is connected to the output terminal of the AC component of the filter 45.
  • the multiplier 46l multiplies the twelfth reference signal supplied from the waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the twelfth reference signal is an AC signal (eg, cos (c 6 t)) of the first initial phase of the sixth frequency (c 6 ).
  • Sixth frequency is the frequency of the time variation of the wave vector k 3 components of the illumination intensity.
  • the output terminal of the multiplier 46l is connected to the input terminal of the integrator 47l.
  • the integrator 47l integrates the multiplication signal from the multiplier 46l in the integration period T, and outputs an integration signal (I C, c6 ) indicating the result.
  • the input terminal of the multiplier 46m is connected to the output terminal of the AC component of the filter 45.
  • the multiplier 46m multiplies the thirteenth reference signal supplied from the waveform generation unit (not shown) and the AC component of the detection signal, and outputs the result (multiplication signal, multiplication value).
  • the thirteenth reference signal is an AC signal (eg, sin (c 6 t)) of the second initial phase of the sixth frequency (c 6 ).
  • the second initial phase is a phase shifted by ⁇ / 2 from the first initial phase.
  • the output terminal of the multiplier 46m is connected to the input terminal of the integrator 47m.
  • the integrator 47m integrates the multiplication signal from the multiplier 46m in the integration period T and outputs an integration signal (I S, c6 ) indicating the result.
  • the integrated signal ID corresponding to the reference signal is obtained by extracting an unmodulated signal.
  • I C, c4 and I S, c4 are obtained by extracting signals modulated by interference fringes due to interference between the + 1st order diffracted light and the ⁇ 1st order diffracted light in the first direction.
  • I C, c5 and I S, c5 are obtained by extracting signals modulated by interference fringes due to interference between the + 1st order diffracted light and the ⁇ 1st order diffracted light in the second direction.
  • I C, c6 and I S, c6 are obtained by extracting signals modulated by interference fringes due to interference between the + 1st order diffracted light and the ⁇ 1st order diffracted light in the third direction. Further, I C, c1 , I S, c1 are interference fringes of the 0th-order diffracted light and the 1st-order diffracted light in the first direction (interference caused by the 0th-order diffracted light and the + 1st-order diffracted light and A signal modulated by interference fringes) is extracted.
  • I C, c2 , I S, c2 are interference fringes of the 0th-order diffracted light and the 1st-order diffracted light in the second direction (interference caused by the 0th-order diffracted light and the + 1st-order diffracted light and A signal modulated by interference fringes) is extracted.
  • I C, c3 , I S, c3 are interference fringes between the 0th-order diffracted light and the 1st-order diffracted light in the third direction (interference between 0th-order diffracted light and + 1st-order diffracted light and 0th-order diffracted light and ⁇ 1st-order diffracted light A signal modulated by interference fringes) is extracted.
  • FIG. 17 and 18 are diagrams for explaining the movement of the interference fringes on the sample surface.
  • FIG. 17A is a diagram showing interference fringes on the sample surface.
  • FIG. 17B is a schematic diagram for explaining the movement direction of the interference fringes.
  • k 1 , k 2 , and k 3 represent wave number vectors (indicated by solid lines) of interference fringes between the zero-order light and the first-order light, respectively.
  • the wave vector k 1 , k 2 , k 3 has a corresponding relationship with the periodic directions D1, D2, D3, respectively.
  • FIG. 17A is a diagram showing interference fringes on the sample surface.
  • FIG. 17B is a schematic diagram for explaining the movement direction of the interference fringes.
  • k 1 , k 2 , and k 3 represent wave number vectors (indicated by solid lines) of interference fringes between the
  • k 4 , k 5 , and k 6 indicate wave number vectors (indicated by dotted lines) of interference fringes between the + 1st order light and the ⁇ 1st order light, respectively.
  • the wave vector k 4 , k 5 , k 6 has a corresponding relationship with the periodic directions D1, D2, D3, respectively.
  • FIG. 18A is a diagram in which interference fringes (solid lines) between the zero-order light and the first-order light are extracted from FIG. 17B.
  • the illumination intensity due to the interference fringes between the 0th-order light and the + 1st-order light and the interference fringes between the 0th-order light and the ⁇ 1st-order light has a sinusoidal spatial distribution in each of the wave vector k 1 , k 2 , k 3 .
  • symbols g 1 and g 2 are lattice vectors.
  • the grating vector g 1 is a vector that represents an interference fringe period in a direction perpendicular to the wave vector k 2 .
  • Grating vector g 2 is a vector representing the interference fringe period in the direction perpendicular to the wave vector k 1.
  • the interference fringes are symmetric with respect to a translation that is an integral multiple of the lattice vectors g1 and g2.
  • the interference fringes are moved by the vector D5
  • the interference fringes are moved by n 1 cycles of the wave vector k 1
  • the interference fringes of the wave vector k 2 are moved by n 2 cycles
  • the wave vector k 3 is moved.
  • Interference fringes move by (n 1 + n 2 ) periods.
  • the time change frequency of the wave vector k 1 component of the illumination intensity is c 1
  • the frequency of time change of the wave vector k 2 component of the illumination intensity is c 2
  • the time change of the wave vector k 3 component of the illumination intensity is c
  • n 2 / n 1 is set to a positive integer larger than 2.
  • the interference fringes are moved one period in a direction parallel to the wave vector k 1, it moves three cycles in a direction parallel to the wave vector k 2, in a direction parallel to the wave vector k 3 Move 4 cycles.
  • frequency c 2 of the time variation of the wave vector k 2 components of illumination intensity three times the c 1
  • wave number vector of the illumination intensity The frequency c 3 of the time change of the k 3 component is four times c 1 .
  • FIG. 18B is a diagram in which interference fringes (dotted lines) of + 1st order light and ⁇ 1st order light are extracted from FIG. 17B.
  • the illumination intensity due to the interference fringes of the + 1st order light and the ⁇ 1st order light has a sinusoidal spatial distribution component in each of the wave vector k 4 , k 5 , k 6 .
  • D5 n 1 g 1 + n 2 g 2 using integers n 1 and n 2 different from each other, for example.
  • the demodulator 41 of the control device 4 moves at least one of the objective lens 28 and the stage on which the sample is placed.
  • an interference fringe having a periodic structure in three directions and moving in one direction is illuminated in the sample cross section at an arbitrary depth.
  • Integrated signals I D , I C, c 1 , I S, c 1 , I C, c 2 , I S, c 2 , I C, c 3 , I S, c 3 , I C, c 4 , I S, c 4 , I C, c5 , I S, c5 , I C, c6 , I S, c6 are output.
  • the image processing unit 40 of the control device 4 integrates signals I D , I C, c 1 , I S, c 1 , I C when the objective lens 28 and the stage are at the first distance or at the second distance. , C2, IS , c2 , IC, c3, IS , c3 , IC , c4 , IS , c4 , IC , c5 , IS , c5 , IC , c6, IS, c6 , Performs demodulation processing.
  • the image processing unit 40, the integrated signal I D, I C, c1, I S, c1, I C, c2, I S, c2, I C, c3, I S, c3, I C, c4, I S , C4 , I C, c5 , I S, c5 , I C, c6 , I S, c6 are subjected to Fourier transform, and a linear transformation is performed to obtain a spatial frequency spectrum including the super-resolution component of the object.
  • a spatial frequency spectrum including the super-resolution component of the object in three directions can be obtained.
  • the image processing unit 40 rearranges the spatial frequency spectrum including the super-resolution component of the object in three directions in the frequency space, and performs inverse Fourier transform on the rearranged spatial frequency spectrum to thereby obtain a three-dimensional super-resolution image ( A demodulated image is obtained.
  • the lock-in amplifier 35 performs lock-in detection using 13 types of reference signals in FIG. 16, but may perform lock-in detection using fewer types of reference signals.
  • FIG. 19 is a diagram illustrating a lock-in amplifier according to a modification.
  • lock-in detection is performed with a smaller number of channels (eg, 6 channels) than in FIG. 16 using interference fringes with three periodic directions.
  • the interference fringes used in the structured illumination microscope 1 according to this modification have at least six spatial frequency components.
  • each of the three directions has at least two spatial frequency components.
  • the second reference signal has a first frequency (c 1 ) and a first initial phase.
  • the fourth reference signal has a second frequency (c 2 ) and a first initial phase
  • the sixth reference signal has a third frequency (c 3 ) and a first initial phase.
  • the eighth reference signal has a fourth frequency (c 4 ) and a first initial phase.
  • the tenth reference signal has a fifth frequency (c 5 ) and a first initial phase.
  • the twelfth reference signal has a sixth frequency (c 4 ) and a first initial phase.
  • the relationship between the six frequencies c 1 , c 2 , c 3 , c 4 , c 5 , c 6 is the same as in the above [Table 3].
  • the image processing unit 41 may generate an image of the sample X using the integration signals I C, c 1 , I C, c 2 , I C, c 3 , I C, c 4 , I C, c 5 , I C, c 6. .
  • FIG. 20 (A) is a diagram showing a structured lighting device 2 according to a modification.
  • the structured lighting device 2 includes a light source unit 10, a phase adjusting unit 50, and a light emitting unit 51.
  • the structured illumination device 2 emits the excitation light from the light source unit 10 from the light emitting unit 51 via the phase adjusting unit 50.
  • the light emitting unit 51 is disposed at a position optically conjugate with the pupil plane P0 (pupil conjugate plane P1 in FIG. 1).
  • the optical system between the light emitting portion 51 and the sample X is the same as that in the first embodiment, and is not shown in FIG.
  • the light source unit 10 includes a plurality of light sources 52 (first light source 52a, second light source 52b, and third light source 52c).
  • the light source unit 10 is controlled by the control unit 41 and can selectively switch a light source to be turned on among the plurality of light sources 52.
  • Each of the first light source 52a, the second light source 52b, and the third light source 52c emits light in a wavelength band including the excitation wavelength of the fluorescent material included in the sample X, for example, emits light in the same wavelength band.
  • the first phase adjusting unit 50a branches the excitation light from the first light source 52a into two light beams and adjusts the phase difference between the two branched light beams.
  • One light beam branched by the first phase adjustment unit 50a is guided to the emission unit 54a of the light emission unit 51 via the optical fiber 53a, and the other light beam is guided to the emission unit 54b via the optical fiber 53b.
  • the emission part 54a and the emission part 54b are arranged at symmetrical positions with respect to the optical axis 11a.
  • the first phase adjustment unit 50a is controlled by the control unit 41 and adjusts the phase difference between the two light beams emitted from the emission unit 54a and the emission unit 54b, thereby removing the interference fringes generated by the two light beam interference. Translate up.
  • the second phase adjustment unit 50b branches the excitation light from the second light source 52b into two light beams and is controlled by the control unit 41 to adjust the phase difference between the two branched light beams.
  • One light beam branched by the second phase adjustment unit 50b is guided to the emission unit 54c of the light emission unit 51 via the optical fiber 53c, and the other light beam is guided to the emission unit 54d via the optical fiber 53d.
  • the emission part 54c and the emission part 54d are arranged at symmetrical positions with respect to the optical axis 11a.
  • the line connecting the injection part 54c and the injection part 54d forms an angle of 120 ° with the line connecting the injection part 54a and the injection part 54b being positive in the clockwise direction.
  • the second phase adjustment unit 50b is controlled by the control unit 41 and adjusts the phase difference between the two light beams emitted from the emission unit 54c and the emission unit 54d, thereby removing the interference fringes generated by the two light beam interference.
  • the third phase adjustment unit 50c branches the excitation light from the third light source 52c into two light beams and adjusts the phase difference between the two branched light beams.
  • One light beam branched by the third phase adjustment unit 50c is guided to the emission unit 54e of the light emission unit 51 via the optical fiber 53e, and the other light beam is guided to the emission unit 54f via the optical fiber 53f.
  • the emission part 54e and the emission part 54f are arranged at symmetrical positions with respect to the optical axis 11a.
  • the line connecting the injection part 54e and the injection part 54f forms an angle of 120 ° with the line connecting the injection part 54c and the injection part 54d being positive in the clockwise direction.
  • the third phase adjustment unit 50c is controlled by the control unit 41 and adjusts the phase difference between the two light beams emitted from the emission unit 54e and the emission unit 54f, thereby removing the interference fringes generated by the two light beam interference.
  • FIG. 20B is a timing chart showing the operation of the structured lighting device 2.
  • the photodetector performs charge accumulation a plurality of times due to incidence of observation light.
  • the controller 41 pulses the first light source 52a, the second light source 52b, and the third light source 52c for each charge accumulation period of the photodetector.
  • the control unit 41 turns on the first light source 52a and turns off the second light source 52b and the third light source 52c during the charge accumulation period Tq of the photodetector. Further, the control unit 41 causes the first phase adjustment unit 50a to adjust the phase difference between the two light beams branched from the excitation light from the first light source 52 during the period in which the first light source 52a is in the lighting state.
  • the control unit 41 turns off the first light source 52a, turns on the second light source 52b, and maintains the turned off state of the third light source 52c. Further, the control unit 41 causes the second phase adjustment unit 50b to adjust the phase difference between the two light beams obtained by branching the excitation light from the second light source 52 during the period in which the second light source 52b is in the lighting state.
  • the control unit 41 turns off the second light source 52b, turns on the third light source 52c, and maintains the turned off state of the first light source 52a. Further, the control unit 41 causes the third phase adjustment unit 50c to adjust the phase difference between the two light beams obtained by branching the excitation light from the third light source 52 during the period in which the third light source 52c is in the lighting state.
  • the structured illumination microscope 1 repeats the charge accumulation period Tq as described above, performs lock-in detection, and generates a demodulated image. Since the plurality of light sources 52 are lit without overlapping, the generation of interference fringes that are not used for generating a demodulated image can be suppressed.
  • the first light source 52a, the second light source 52b, and the third light source 52c may be different from each other within a range in which the wavelength band of the emitted excitation light includes the excitation wavelength of the fluorescent substance.
  • the first light source 52a, the second light source 52b, and the third light source 52c may have different wavelength bands of the emitted excitation light so that the emitted excitation light does not interfere with each other.
  • the coherence of the excitation light emitted from the first light source 52a, the second light source 52b, and the third light source 52c is negligible, at least two of the first light source 52a, the second light source 52b, and the third light source 52 are turned on simultaneously. It may be.
  • the structured lighting device 2 in FIG. 20 is an example applied to 2D-SIM, but can also be applied to 3D-SIM.
  • the emission unit emits excitation light having coherence with respect to each of the excitation light from the first light source 52a, the excitation light from the second light source 52b, and the excitation light from the third light source 52c.
  • the emission unit includes, for example, a period in which excitation light is emitted from the first light source 52a, a period in which excitation light is emitted from the second light source 52b, and a period in which excitation light is emitted from the third light source 52c. Excitation light is emitted intermittently or continuously.
  • FIG. 21 is a diagram illustrating the structured lighting device 2 according to the modification.
  • the optical system from the lens 20 to the sample X is the same as that in the first embodiment or the second embodiment, and the illustration thereof is omitted.
  • the structured lighting device 2 includes a light source unit 10 and a branching unit 15.
  • the light source unit 10 includes a first light source 52a, a second light source 52b, and a third light source 52c.
  • the first light source 52a, the second light source 52b, and the third light source 52c are different from each other within a range in which the wavelength of the excitation light to be emitted includes the excitation wavelength of the fluorescent material.
  • the difference in wavelength of the excitation light between the two light sources is, for example, about 10 nm to 20 nm.
  • the branching unit 15 includes a diffraction unit 60 and a driving unit 17.
  • the diffraction unit 60 includes a diffraction grating 16a, a diffraction grating 16b, a diffraction grating 16c, and a holding member 61.
  • the diffraction gratings 16a to 16c have mutually different periodic directions. For example, the periodic direction of the diffraction grating 16b forms an angle of 120 ° with the periodic direction of the diffraction grating 16a being positive in the clockwise direction.
  • the periodic direction of the diffraction grating 16c forms an angle of 120 ° with the periodic direction of the diffraction grating 16b being positive in the clockwise direction.
  • the diffraction gratings 16a to 16c are all held in the holding member 61 and unitized.
  • the excitation light from the first light source 52a is condensed by the condenser lens 62a and guided to the diffraction grating 16a via the optical fiber 63a and the collimator 64a.
  • the excitation light from the second light source 52b is condensed by the condenser lens 62b and guided to the diffraction grating 16b via the optical fiber 63b and the collimator 64b.
  • the excitation light from the third light source 52c is condensed by the condenser lens 62c and guided to the diffraction grating 16c through the optical fiber 63c and the collimator 64c.
  • the drive unit 17 moves the unitized diffraction gratings 16a to 16c (diffraction unit 60) in a lump.
  • the movement direction of the diffraction unit 60 is, for example, the same as that in FIG. 12B in the case of 2D-SIM and the same as that in FIG. 17 in the case of 3D-SIM.
  • at least one of the diffraction gratings 16a to 16c may not be unitized with other diffraction gratings.
  • the drive unit 17 may move the diffraction gratings 16a to 16c individually.
  • the direction of movement when the diffraction gratings 16a to 16c are individually moved is the same as in the case of unitization.
  • a mirror 65a, a dichroic mirror 66a, and a dichroic mirror 66b are provided in order toward the lens 20.
  • a dichroic mirror 66a and a dichroic mirror 66b are provided on the light emitting side of the diffraction grating 16b in order toward the lens 20.
  • a mirror 65b and a dichroic mirror 66b are provided in order toward the lens 20.
  • the dichroic mirror 66a has a characteristic that the excitation light from the first light source 52a is reflected and the excitation light from the second light source 52b is transmitted.
  • the dichroic mirror 66b has a characteristic that the excitation light from the first light source 52a and the excitation light from the second light source 52b are transmitted and the excitation light from the third light source 52c is reflected.
  • the excitation light from the diffraction grating 16a is reflected by the mirror 65a and the dichroic mirror 66a, passes through the dichroic mirror 66b, and enters the lens 20.
  • Excitation light from the diffraction grating 16 b passes through the dichroic mirror 66 a and the dichroic mirror 66 b and enters the lens 20.
  • the excitation light from the diffraction grating 16 c is reflected by the mirror 65 b and the dichroic mirror 66 b and enters the lens 20.
  • the excitation light from the first light source 52a, the excitation light from the second light source 52b, and the excitation light from the third light source 52c form interference fringes, respectively, and three kinds of interference fringes are superimposed on the sample surface.
  • the structured illumination microscope 1 may move the interference fringes on the sample surface by a method other than moving the diffraction grating 16 in parallel. In other words, the structured illumination microscope 1 may change the phase of the interference fringes by a method other than translating the diffraction grating 16.
  • the branching unit 15 may include an optical modulator using a ferroelectric liquid crystal, and may move the interference fringes by changing a voltage pattern applied to the ferroelectric liquid crystal.
  • the branching unit 15 may include an optical modulator using a ferroelectric liquid crystal, and may change the phase of the interference fringes by changing the voltage pattern applied to the ferroelectric liquid crystal.
  • the branching unit 15 may include an acoustooptic element (AOM) and move the interference fringes by a traveling wave generated in the acoustooptic element.
  • the branching unit 15 may include an acoustooptic element (AOM), and may change the phase of the interference fringes by a traveling wave generated in the acoustooptic element.
  • the branching unit 15 may move the interference fringes by changing the position of the standing wave generated in the acoustooptic device.
  • the branching unit 15 may change the phase of the interference fringes by changing the position of the standing wave generated in the acoustooptic device. That is, an optical modulator using a ferroelectric liquid crystal or an acoustooptic device can be used as a diffraction member.
  • FIG. 22 is a diagram showing a structured illumination microscope according to a modification.
  • the structured illumination microscope 1 includes a detection unit 70 provided in the image processing unit 40.
  • the detection unit 70 locks in the detection signal output from the image sensor 32 with a component of a predetermined frequency.
  • the imaging device 3 includes a high-speed video camera, and a storage unit (not shown) stores data output from the imaging element 32 (first detection unit).
  • the detection unit 70 (second detection unit) of the image processing unit 40 uses the data to perform the processing of the multiplier and integrator shown in FIG. 5, FIG. 9, FIG. 13, FIG. 15, FIG. A similar calculation is performed to calculate an integrated signal (integrated value).
  • the detection unit 70 is realized, for example, when a calculation unit of a computer executes the same calculation as the processing of the multiplier and the integrator.
  • the structured illumination microscope 1 may not include the lock-in amplifier 35 illustrated in FIG.
  • Acceleration is expected for structured illumination microscopes.
  • the sample may change due to movement or the like while acquiring a plurality of modulated images.
  • fluorescence observation there is a possibility that the influence of fading may become significant while acquiring a plurality of modulated images.
  • a structured illumination microscope, an observation method, and a program that can be speeded up can be provided.
  • the control device 4 includes, for example, a computer system.
  • the control device 4 reads a program (for example, an observation program) stored in the storage device 6 and executes various processes according to the program.
  • This program causes the computer to irradiate the sample with excitation light to excite the fluorescent substance contained in the sample with interference fringes and change the phase of the interference fringes, and locks the light from the sample at at least one frequency.
  • In-detection control and generation of an image of the sample using at least a part of the signal detected in lock-in are executed.
  • This program may be provided separately as a control program and an image processing program.
  • the above control program causes the computer to irradiate the sample with excitation light for exciting the fluorescent substance contained in the sample with interference fringes, and changes the phase of the interference fringes, and at least one frequency of light from the sample. And control to detect lock-in.
  • the above-described image processing program causes a computer to generate an image of a sample using at least a part of the signal detected as being locked-in.
  • the above-described program may be provided by being recorded on a computer-readable recording medium.
  • SYMBOLS 1 Structured illumination microscope, 11 ... Illumination optical system, 15 ... Branching part, 31 ... Imaging optical system, 32 ... Imaging element, 35 ... Lock-in amplifier, 40. ..Demodulation unit, 41 ... control unit

Abstract

【課題】高速化が可能な構造化照明顕微鏡を提供する。 【解決手段】構造化照明顕微鏡(1)は、試料(X)に含まれる蛍光物質を励起するための励起光を、干渉縞で試料に照射する照明光学系(11)と、干渉縞の位相を変化させる制御部(41)と、試料からの光を少なくとも1つの周波数でロックイン検出する検出部(35)と、ロックイン検出された信号の少なくとも一部を用いて、試料の画像を生成する画像処理部(40)と、を備える。

Description

構造化照明顕微鏡、観察方法、及びプログラム
 本発明は、構造化照明顕微鏡、観察方法、及びプログラムに関する。
 光学系の分解能を越えた観察を可能とする顕微鏡がある。(例えば、特許文献1を参照)。
米国再発行特許発明第38307号明細書
 本発明の第1の態様に従えば、試料に含まれる蛍光物質を励起するための励起光を、干渉縞で試料に照射する照明光学系と、干渉縞の位相を変化させる制御部と、試料からの光を少なくとも1つの周波数でロックイン検出する検出部と、ロックイン検出された信号の少なくとも一部を用いて、試料の画像を生成する画像処理部と、を備える構造化照明顕微鏡が提供される。
 本発明の第2の態様に従えば、試料に含まれる蛍光物質を励起するための励起光を、干渉縞で試料に照射する照明光学系と、干渉縞の位相を変化させる制御部と、試料からの光を所定周波数でロックイン検出する検出部と、ロックイン検出された信号の少なくとも一部を用いて、試料の画像を生成する画像処理部と、を備え、検出部は、試料からの光を受光する第1検出部と、第1検出部から出力された検出信号を所定周波数でロックイン検出する第2検出部と、を備える、構造化照明顕微鏡が提供される。
 本発明の第3の態様に従えば、試料に含まれる蛍光物質を励起するための励起光を、干渉縞で試料に照射することと、干渉縞の位相を変化させることと、試料からの光を少なくとも1つの周波数でロックイン検出することと、ロックイン検出された信号の少なくとも一部を用いて、試料の画像を生成することと、を含む観察方法が提供される。
 本発明の第4の態様に従えば、コンピュータに、試料に含まれる蛍光物質を励起するための励起光を、干渉縞で試料に照射し、干渉縞の位相を変化させる制御と、試料からの光を少なくとも1つの周波数でロックイン検出させる制御と、ロックイン検出された信号の少なくとも一部を用いて、試料の画像を生成することと、を実行させるプログラムが提供される。
実施形態に係る構造化照明顕微鏡を示す図である 第1実施形態に係る分岐部の動作を示す図である。 第1実施形態に係る照明方法を概念的に示す図である。 第1実施形態に係るロックインアンプの動作を示す概念図である。 第1実施形態に係るロックインアンプを示す図である。 第1実施形態に係る干渉縞の移動を示す図である。 実施形態に係る観察方法を示すフローチャートである。 第2実施形態に係る構造化照明顕微鏡を示す図である。 第2実施形態に係るロックインアンプを示す図である。 第2実施形態に係る照明方法を示す図である。 変形例に係るマスク、及び瞳面上の回折光を示す図である。 試料面における干渉縞の移動を説明するための図である。 第3実施形態に係るロックインアンプを示す図である。 実施形態に係る観察方法を示すフローチャートである。 変形例に係るロックインアンプを示す図である。 第4実施形態に係るロックインアンプを示す図である。 干渉縞の移動方向の例を示す図である。 干渉縞の移動方向の例を示す図である。 変形例に係るロックインアンプを示す図である。 変形例に係るマスク、及び瞳面上の回折光を示す図である。 変形例に係る構造化照明装置を示す図である。 変形例に係る構造化照明顕微鏡を示す図である。
 次に、図面を参照しながら実施形態について説明する。図1は、実施形態に係る構造化照明顕微鏡1を示す図である。構造化照明顕微鏡1は、例えば蛍光顕微鏡であり、予め蛍光染色された細胞などを含む試料Xの観察などに利用される。試料Xは、例えば、ステージ(図示せず)に保持される。
 構造化照明顕微鏡1は、試料Xのうち観察対象の面(以下、試料面という)の2次元的な超解像画像を形成する2D-SIMモードと、試料面に垂直な方向の情報を含む3次元的な3次元超解像画像を形成する3D-SIMモードとを有する。
 構造化照明顕微鏡1は、試料X上で干渉縞を移動させることにより、試料X上の各点の照明強度を所定周波数で変化させながら、試料Xからの蛍光をロックイン検出し、その検出結果を用いて復調画像(超解像画像)を生成する。
 第1実施形態に係る構造化照明顕微鏡1は、2D-SIMモードにおいて、試料面上の周期方向が1方向の干渉縞を用いて、3チャンネルのロックイン検波を行う。なお、3D-SIMモードの場合、試料面上の周期方向が3方向の干渉縞を用いる場合、ロックイン検出のチャンネル数が異なる場合などについては、第2実施形態以降で順に説明する。
[第1実施形態]
 構造化照明顕微鏡1は、構造化照明装置2と、撮像装置3と、制御装置4と、表示装置5と、記憶装置6とを備える。構造化照明装置2は、光源部10と、照明光学系11とを備える。光源部10は、例えばレーザダイオードを含み、レーザ光などの可干渉光を発する。以下の説明において、光源部10から発せられた光を照明光という。構造化照明顕微鏡1により蛍光観察を行う場合、照明光の波長は、試料Xに含まれる蛍光物質の励起波長を含む波長帯に設定される。
 なお、光源部10の少なくとも一部は、構造化照明装置2に含まれていなくてもよい。例えば、光源部10は、ユニット化されており、構造化照明装置2に交換可能(取り付け可能、取り外し可能)に設けられていてもよい。例えば、光源部10は、構造化照明顕微鏡1による観察時などに、構造化照明装置2に取り付けられてもよい。
 照明光学系11は、試料Xに含まれる蛍光物質を励起するための励起光(照明光)を、干渉縞で試料Xに照射する。照明光学系11は、光源部10から試料Xに向かう順に、集光レンズ12、導光部材13、及びコリメータ14、及び分岐部15を備える。導光部材13は、例えば光ファイバを含む。集光レンズ12は、光源部10からの照明光を、導光部材の光入射側の端面に集光する。導光部材13は、集光レンズ12からの照明光をコリメータ14へ導く。コリメータ14は、導光部材13からの照明光を平行光に変換する。
 照明光学系11は、分岐部15によって照明光を複数の光に分岐する。例えば、分岐部15は、回折格子16を有していてもよい。この場合、回折格子16から回折光が射出される。照明光学系11は、複数の回折光の干渉により形成される干渉縞(構造化照明)で試料Xを照明する。図1には、複数の光束のうち、0次回折光(実線で示す)、+1次回折光(破線で示す)、及び-1次回折光(2点鎖線で示す)を示した。以下の説明において、回折光のうち+1次回折光と-1次回折光の一方または双方を指す場合に、単に1次回折光と表記する。また、1次回折光が0次回折光に対して偏向する方向(図1ではZ方向)を、分岐方向という。
 照明光学系11は、2D-SIMモードにおいて、複数の回折光のうち+1次回折光と-1次回折光との干渉により形成される干渉縞によって試料を照明する。2D-SIMモードにおいて、照明光学系11は、例えば、+1次回折光と-1次回折光との干渉縞を形成し、0次回折光および2次以上の回折光を干渉縞の形成に用いない。
 照明光学系11は、例えば、球面レンズ、非球面レンズなどの回転対称な形状のレンズ部材を含む。以下、このレンズ部材の対称軸を、照明光学系11の光軸11aという。なお、照明光学系11は、自由曲面レンズを含んでいてもよい。
 分岐部15は、照明光を複数の光に分岐する。分岐部15は、例えば、回折格子16および駆動部17を備える。回折格子16は、照明光学系11の光軸11aに交差する面内に、例えば1次元の周期構造を有する。この周期構造において単位構造が並ぶ方向は、上述の分岐方向に相当する。この周期構造は、濃度(透過率)が周期的に変化する構造であってもよいし、段差(位相差)が周期的に変化する構造であってもよい。回折格子16が位相型である場合、±1次回折光の回折効率が高く、干渉縞の形成に±1次回折光を用いる場合に光量のロスを低減することができる。
 駆動部17は、回折格子16をYZ面内で移動させる。これにより、試料面上で干渉縞が移動する(干渉縞の位相が変化する)。駆動部17は、回折格子16をX方向と平行な軸の周りで回転させる。これにより、試料面上で干渉縞の方向が変化する。分岐部15の動作、及び干渉縞による照明方法については、後に図2等を参照して説明する。
 照明光学系11は、分岐部15から試料Xに向かう順に、レンズ20、1/2波長板21、マスク22、レンズ23、視野絞り24、レンズ25、フィルタ26、ダイクロイックミラー27、及び対物レンズ28を含む。
 分岐部15で発生した回折光は、レンズ20に入射する。レンズ20は、例えば、その焦点が分岐部15とほぼ一致するように、配置される。レンズ20は、対物レンズ28の後側焦点面(瞳面)と共役な位置(瞳共役面P1)において、分岐部15で分岐した複数の光束のうち同じ次数の回折光を同じ位置に集光する。例えば、レンズ20は、分岐部15で発生した0次回折光を、瞳共役面P1において照明光学系11の光軸11a上に集光する。レンズ20は、分岐部15で発生した+1次回折光を、光軸11aから離れた位置に集光する。レンズ20は、分岐部15で発生した-1次回折光を、瞳共役面P1において光軸11aに関して+1次回折光と対称的な位置に集光する。
 1/2波長板21は、例えばレンズ20とレンズ23との間の光路に配置され、試料Xに入射する際の照明光の偏光状態がS偏光になるように、照明光の偏光状態を調整する。例えば、図1の状態において、試料Xに対する1次回折光の入射面はXZ平面であり、1/2波長板21は、照明光学系11から射出される照明光の偏光状態がY方向の直線偏光になるように、照明光の偏光状態を調整する。分岐部15において回折方向が変更されると試料Xに対する1次回折光の入射面がZ方向の周りで回転するため、1/2波長板21は、回折方向に応じて照明光の偏光状態を調整する。なお、1/2波長板21は、分岐部15と試料Xとの間の光路のいずれの位置に配置されていてもよい。
 マスク22は、干渉縞の形成に使われる回折光を通し、干渉縞の形成に使われない回折光を遮断する。マスク22は、2D-SIMモードにおいて、1次回折光を通し、0次回折光および2次以上の回折光を遮断する。マスク22は、1次回折光の光路が0次回折光の光路から分離する位置、例えば瞳共役面P1に配置される。2D-SIMモードにおいて、マスク22は、0次回折光が入射する部分が遮光部になり、1次回折光が入射する分が開口部(透過部)になる。
 マスク22を通った照明光は、レンズ23に入射する。レンズ23は、分岐部15と光学的に共役な中間像面23aを形成する。視野絞り24は、例えば中間像面23aに配置される。視野絞り24は、照明光学系11の光軸11aに垂直な面内において、照明光学系11から試料Xに照明光が照射される範囲(照野、照明領域)を規定する。
 視野絞り24を通った照明光は、レンズ25に入射する。レンズ25は、例えば第2対物レンズである。レンズ25は、分岐部15上の各点からの+1次回折光を、対物レンズ28の後側焦点面(瞳面P0)に集光する。また、レンズ25は、分岐部15上の各点からの-1次回折光を、対物レンズ28の後側焦点面(瞳面P0)の他の位置に集光する。つまり、レンズ25は、分岐部15の各点からの-1次回折光を、照明光学系11の光軸11aに関して+1次回折光と対称的な位置に集光する。
 レンズ25を通った照明光は、フィルタ26に入射する。フィルタ26は、例えば励起フィルタであり、試料Xに含まれる蛍光物質の励起波長を含む波長帯の光が選択的に通る特性を有する。フィルタ26は、例えば、照明光のうち励起波長以外の波長の少なくとも一部、迷光、外光などを遮断する。フィルタ26を通った光は、ダイクロイックミラー27に入射する。ダイクロイックミラー27は、試料Xに含まれる蛍光物質の励起波長を含む波長帯の光が反射し、試料Xからの光のうち所定の波長帯の光(例、蛍光)が通る特性を有する。フィルタ26からの光は、ダイクロイックミラー27で反射し、対物レンズ28に入射する。
 対物レンズ28は、中間像面23aと光学的に共役な面、すなわち分岐部15と光学的に共役な面を試料X上に形成する。つまり、対物レンズ28は、試料X上に、構造化照明を形成する。+1次回折光は、対物レンズ28の瞳面P0上で光軸11aから離れたスポットを形成する。-1次回折光は、瞳面P0において、光軸11aに関して+1次回折光と対称的な位置にスポットを形成する。1次回折光が形成するスポットは、例えば、瞳面P0の外周部に配置される。1次回折光は、所定の角度で試料Xに入射する。例えば、1次回折光は、平行光で試料Xに照射される。
 試料Xは、観察時に、その観察対象の部分が対物レンズ28の焦点面に配置される。2DSIMモードにおいて、試料Xに形成される干渉縞は、例えば、照明光学系11の光軸11aに垂直な方向(XY面内)に光強度の周期的な分布を有する。この干渉縞は、分岐部15の周期方向に応じた方向に、ライン状の明部と暗部とが周期的に並ぶパターンである。ここでは、干渉縞において、明部および暗部に平行な方向をライン方向と称し、明部と暗部とが並ぶ方向を周期方向と称する。
 試料Xのうち干渉縞の明部に配置されている部分は、蛍光物質が励起されて、蛍光を発する。以下、試料Xにおける構造(例、蛍光物質)の空間分布のパターンをテクスチャという。試料Xの蛍光像は、照明光学系11が形成する干渉縞と、試料Xのテクスチャとのモアレ像である。撮像装置3は、このモアレ像の画像を取得する。
 撮像装置3は、結像光学系31、及び撮像素子32を備える。結像光学系31は、対物レンズ28、ダイクロイックミラー27、フィルタ33、及びレンズ34を備える。結像光学系31は、対物レンズ28およびダイクロイックミラー27を照明光学系11と共用している。試料Xからの光(以下、観察光という)は、対物レンズ28に入射してダイクロイックミラー27を通ってフィルタ33に入射する。
 フィルタ33は、例えば蛍光フィルタである。フィルタ33は、試料Xからの観察光のうち所定の波長帯の光(例、蛍光)が選択的に通る特性を有する。フィルタ33は、例えば、試料Xで反射した照明光、外光、迷光などを遮断する。フィルタ33を通った光は、レンズ34に入射する。レンズ34は、対物レンズ28の焦点面(物体面)と光学的に共役な面(像面)を形成する。試料Xからの蛍光による像(モアレ像)は、この像面に形成される。
 撮像素子32は、例えばCMOSイメージセンサ、CCDイメージセンサなどの二次元イメージセンサを含む。撮像素子32は、例えば、二次元的に配列された複数の画素を有し、各画素にフォトダイオードなどの光検出器(光電変換素子)が配置された構造である。撮像素子32は、例えば、観察光によって光電変換素子への観察光の照射によって生じた電荷を、読出回路によって読み出す。以下、光検出器から読み出された電荷に相当する信号を、検出信号という。
 本実施形態において、撮像装置3(検出部)は、試料Xからの光を少なくとも1つの周波数でロックイン検出する。撮像装置3は、撮像素子32(第1検出部)およびロックインアンプ35(第2検出部)を備える。ロックインアンプ35は、撮像素子32から出力された検出信号に対してロックイン検出を行って、検出信号から所定周波数の成分を抽出する。なお、撮像素子32とロックインアンプ35とは一体的に構成されていてもよい。例えば、ロックインアンプ35の機能を有する撮像素子32を用いてもよい。
 制御装置4は、画像処理部40および制御部41を備える。制御部41は、構造化照明顕微鏡1の各部の制御を実行する。制御部41は、干渉縞の位相を変化させる。画像処理部40は、ロックイン検出された信号の少なくとも一部を用いて、試料Xの画像を生成する。画像処理部40は、例えば、試料Xの画像として復調画像を生成する。制御装置4は、例えば、復調画像のデータを表示装置5に供給し、表示装置5に復調画像を表示させる。
 次に、本実施形態に係る分岐部15、ロックインアンプ35、及び画像処理部40の動作に基づき、照明方法、観察光の検出方法、及び復調方法について説明する。
 図2は、分岐部15の動作を示す図である。図2(A)に示すように、駆動部17は、回折格子16を平行移動させる。駆動部17は、試料面上で干渉縞が周期方向に移動するように、回折格子16を平行移動させる。回折格子16の移動方向と周期方向との角度が0°以上90°未満であれば、試料面上で干渉縞が周期方向に移動する。駆動部17は、例えば、回折格子16の周期方向と平行な方向に、回折格子16を移動させる。図2(A)において回折格子16の周期方向はZ方向であり、駆動部17は、回折格子16をZ方向に平行移動させる。駆動部17は、試料面上で干渉縞が少なくとも1周期分移動するように回折格子16を連続的に一定の速度で移動させ、試料面上で干渉縞を一定の速度で移動させる。
 駆動部17は、回折格子16を回転させ、回折格子16の周期方向(分岐方向)を変更する。駆動部17は、例えば、図2(A)に示す回折格子16の位置(以下、第1回転位置RP1という)から、回折格子16を時計回りに120°回転させ、回折格子16を図2(B)に示す回転位置(以下、第2回転位置RP2という)に配置する。図2(B)において、回折格子16の周期方向は、時計回りを正としてZ方向と120°の角度をなす方向であり、駆動部17は、例えば、この周期方向に回折格子16を平行移動させる。
 また、駆動部17は、例えば、回折格子16を第2回転位置RP2から時計回りに120°回転させ、回折格子16を図2(C)に示す回転位置(以下、第3回転位置RP3という)に配置する。図2(C)において、回折格子16の周期方向は、時計回りを正としてZ方向と240°の角度をなす方向であり、駆動部17は、例えば、この周期方向に回折格子16を平行移動させる。
 なお、図2(D)に示すように、回折格子16が第1回転位置RP1で平行移動する距離と、回折格子16が第2回転位置RP2で平行移動する距離と、回折格子16が第3回転位置RP3で平行移動する距離とが同じであってもよい。この場合、次の回転位置への回転と、各回転位置での平行移動とを交互に行うと、回折格子16を元の位置(図2(A)において平行移動させる前の位置)に戻すことができる。なお、各回転位置で回折格子16が平行移動するが例えば、回折格子16はコリメータ14から照射される光束の少なくとも一部を受光できる位置にあればよい。図2(D)においては回折格子16の移動を強調して概念的に示した。
 図3は、本実施形態に係る照明方法を概念的に示す図である。図3(A)は、試料面上の干渉縞の時間変化を示す図である。図2の駆動部17が回折格子16を平行移動させると、試料面上で干渉縞が周期方向に移動する。言い換えると、図2の駆動部17が回折格子16を平行移動させると、干渉縞の位相が変化する。図3(A)には、干渉縞が1周期分の長さだけ移動する期間の干渉縞の状態を示した。図3の各図において、横軸は、干渉縞が1周期分移動する時間を1(任意単位)とした時刻である。
 図3(B)は、干渉縞の周期方向における照明強度の空間分布を各時刻について示した図である。図3(B)において、各時刻における照明強度の空間分布は、横軸が照明強度であり、縦軸が干渉縞の周期方向の位置である。各時刻における照明強度の空間分布は、正弦波状であり干渉縞の移動に伴って周期方向にシフトする(位相が変化する)。照明強度の分布は、干渉縞が1周期分移動すると、移動前と同じ分布に戻る。
 図3(C)は、試料面上の任意の点における照明強度の時間変化を示す図である。ここでは、任意の点として、図3(A)および図3(B)に二点鎖線で示す線上の点の照明強度の時間変化を示した。試料面上の任意の点における照明強度は、干渉縞の移動速度に応じた周波数で変化する。干渉縞の周期方向における照明強度が正弦波状であり、干渉縞が周期方向に一定の速度で移動する期間において、試料面上の任意の点における照明強度は、正弦波状に変化する。照明強度が変化する周期は、干渉縞が1周期分移動する時間と同じである。
 図3(D)は、図3(C)に対応する蛍光強度の時間変化を示す図であり、図3(E)は、図3(D)に対応する検出信号のレベルの時間変化を示す図である。試料面上で蛍光物質が存在する位置では、照明強度に応じた強度の蛍光が発生する。蛍光強度は、例えば、照明強度の時間変化と同じ周波数の正弦波状に時間変化する。また、試料面上の物点と光学的な共役な像点に配置された撮像素子32の光検出器には、蛍光強度に応じた電荷が蓄積され、検出信号のレベルは、例えば、蛍光強度の時間変化と同じ周波数の正弦波状に時間変化する。なお、図3(C)に示される照明強度の時間変化の正弦波と、図3(D)に示される蛍光強度の時間変化の正弦波と、図3(E)に示される検出信号の時間変化の正弦波は同じ位相であるが、異なっていてもよい。
 図4は、ロックインアンプ35の動作を示す概念図である。ロックインアンプ35は、例えば、2相ロックイン検出を行う。図3に示した干渉縞は、少なくとも第1の空間周波数成分(周期方向の空間周波数成分)を有する。ロックインアンプ35は、少なくとも第1の周波数でロックイン検出を行う。ロックイン検出の周波数は、例えば、干渉縞の空間周波数と干渉縞の移動速度に基づいて決定される。ロックイン検出の周波数は、例えば、干渉縞の時間変化の周波数に基づいて決定される。第1の周波数は、例えば、照明強度(図3(C)参照)の時間変化の周波数と同じ所定周波数である。ロックインアンプ35は、検出信号に参照信号を掛け合わせた結果(乗算信号、乗算値)を積算期間Tにおいて積算し、その結果(積算信号、積算値)を出力する。積算期間Tは、例えば、干渉縞の移動量が1周期に相当する長さ(以下、周期長という)になる時間(以下、移動周期という)の整数倍に設定される。
 本実施形態において、ロックインアンプ35は、3種類の参照信号を用いる。第1の参照信号は、直流信号(例、1)である。以下、検出信号と第1の参照信号とを掛け合わせて積算した積算信号をIで表す。積算期間Tが干渉縞の移動周期の整数倍である場合、積算期間Tで積算した照明強度は試料面上で均一になる。例えば、各画素に対応するIを画素配列に応じて配列すると、一様に照明されている試料面上を撮像した撮像画像が得られる。
 第2の参照信号は、第1の周波数および第1の初期位相を有する交流信号(例、正弦波)である。以下、検出信号と第2の参照信号とを掛け合わせて積算した積算信号をIで表す。第3の参照信号は、第1の周波数および第2の初期位相を有する交流信号である。例えば、第2の初期位相は第1の初期位相とπ/2ずれた位相である。第2の参照信号がcosθで表されるときに、第3の参照信号はsinθで表される。以下、検出信号と第2の参照信号とを掛け合わせて積算した積算信号をIで表す。
 図5は、ロックインアンプ35の構成例を示す図である。撮像素子32の光検出器32aは、検出信号(図中にf(t)で表す)を、例えばフィルタ45に出力する。フィルタ45は、交流直流フィルタ(ADフィルタ)であり、検出信号から交流成分と直流成分とを分離する。ロックインアンプ35は、フィルタ45が分離した交流成分と直流成分のうち少なくとも交流成分を用いてロックイン検出を行う。なお、ロックイン検出とは、入力信号から特定の周波数成分を取り出すことを言い、例えば、検出信号から積算信号(I)、(I)を取得することである。ロックインアンプ35は、乗算器46a~46c、及び積分器(積算器)47a~47cを備える。
 乗算器46aの入力端子は、フィルタ45における直流成分の出力端子と接続される。乗算器46aは、例えば波形生成部(図示せず)から供給される直流信号である第1の参照信号(例、1)と、検出信号の直流成分とを掛け合わせ、その結果(乗算信号、乗算値)を出力する。乗算器46aの出力端子は、積分器47aの入力端子に接続される。積分器47aは、乗算器46aからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(I)を出力する。する。言い換えると、積分器47aは、ローパスフィルタである。なお、乗算器46aは適宜省略されてもよい。
 乗算器46bの入力端子は、フィルタ45における交流成分の出力端子と接続される。乗算器46bは、例えば波形生成部(図示せず)から供給される第2の参照信号と、検出信号の交流成分とを掛け合わせ、その結果(乗算信号、乗算値)を出力する。乗算器46bの出力端子は、積分器47bの入力端子に接続される。積分器47bは、乗算器46bからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(I)を出力する。言い換えると、積分器47bは、ローパスフィルタである。
 乗算器46cの入力端子は、フィルタ45における交流成分の出力端子と接続される。乗算器46cは、例えば波形生成部(図示せず)から供給される第3の参照信号と、検出信号の交流成分とを掛け合わせ、その結果(乗算信号、乗算値)を出力する。乗算器46cの出力端子は、積分器47cの入力端子に接続される。積分器47cは、乗算器46cからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(I)を出力する。言い換えると、積分器47cは、ローパスフィルタである。
 ロックインアンプ35は、例えば、制御部41に制御され、干渉縞が一定の速度で移動している期間に、ロックイン検出を行う。例えば、制御部41は、駆動部17に設けられるエンコーダなどを監視し、回折格子16の速度が一定になった際に、ロックインアンプ35にロックイン検出を実行させる。また、回折格子16が平行移動を開始してから一定の速度に至るまでの時間を予め調べておき、制御部41は、駆動部17に回折格子16の平行移動を開始させてから上記の時間が経過した後に、ロックインアンプ35にロックイン検出を実行させてもよい。
 本実施形態において、構造化照明顕微鏡1は、図2(A)~(C)に示したように干渉縞の方向を変更し、干渉縞の方向ごとに、観察光を撮像素子32により検出信号に変換し、検出信号をロックインアンプ35により積算信号に変換する。図6(A)は、図2(B)に対応する干渉縞の移動を示す図である。分岐部15は、図6(A)に示すように周期方向を設定し、干渉縞を周期方向に一定の速度で移動させ、撮像素子32は、干渉縞が移動している間に観察光を検出する。また、分岐部15は、図6(B)に示すように周期方向を図6(A)の状態から変更し、干渉縞を周期方向に一定の速度で移動させ、撮像素子32は、干渉縞が移動している間に観察光を検出する。つまり、分岐部15は、干渉縞の位相を変化させ、撮像素子32は、干渉縞の位相が変化している間の少なくとも一部の時間において観察光を検出する。
 次に、上記説明した照明方法、観察光の検出方法、及び復調方法について具体的に説明する。まず、試料面において、第1の方向に周期構造を持ち、第1の方向で移動する干渉縞が照射される。つまり、試料面において、第1の方向で位相が変化する干渉縞が照射される。言い換えると、試料面上の任意の点において照明強度が時間変化する干渉縞が照射される。ここで、試料面上の任意の点における照明強度の時間変化の周波数をωとする。まず、撮像素子32の光検出器32aから出力された検出信号f(t)は、フィルタ45において交流成分と直流成分に分離される。
 ロックインアンプ35は、46aにおいて、フィルタ45により分離された直流成分と、直流信号である第1の参照信号(例えば1)とを掛け合わせ、47aにおいて、照明強度の時間変化の周期(2π/ω)の整数倍である積算期間Tで積算し、その結果を示す積算信号(I)を出力する。
 ロックインアンプ35は、乗算器46bにおいて、フィルタ45により分離された交流成分と、周波数ωで振動する第2の参照信号とを掛け合わせ、積分器47bにおいて、乗算器46bからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(I)を出力する。
 ロックインアンプ35は、乗算器46cにおいて、フィルタ45により分離された交流成分と、周波数ωで振動し、第2の参照信号と位相がπ/2ずれた第3の参照信号とを掛け合わせ、積分器47cにおいて、乗算器46cからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(I)を出力する。
 なお、フィルタ45は適宜省略されてもよい。フィルタ45が省略される場合、撮像素子32の光検出器32aから出力された検出信号f(t)は、46a、46b、46cにそれぞれ入力される。
 制御装置4の画像処理部40は、ロックインアンプ35から積算信号I、I、Iを読み出し、積算信号I、I、Iを用いて復調処理を行う。例えば、画像処理部40は、積算信号I、I、Iをフーリエ変換し、線形変換を行うことにより、物体の超解像成分を含む空間周波数スペクトルを得る。こうして、第1の方向における物体の超解像成分を含む空間周波数スペクトルを得ることができる。なお、上記では、積算信号I、I、Iをフーリエ変換し、線形変換を行うことにより、物体の超解像成分を含む空間周波数スペクトルを得る場合を例として説明したが、これに限らず他の手法を採用してもよい(以下の復調処理においても同様)。
 同様に、試料面において、第2の方向において周期構造を持ち第2の方向で移動する干渉縞が照明され、画像処理部40は、第2の方向おける物体の超解像成分を含む空間周波数スペクトルを得る。つまり、試料面において、第2の方向で位相が変化する干渉縞が照明され、画像処理部40は、第2の方向おける物体の超解像成分を含む空間周波数スペクトルを得る。さらに、試料面において、第3の方向において周期構造を持ち3の方向で移動する干渉縞が照明され、画像処理部40は、第3の方向における物体の超解像成分を含む空間周波数スペクトルを得る。つまり、試料面において、第3の方向で位相が変化する干渉縞が照明され、画像処理部40は、第3の方向おける物体の超解像成分を含む空間周波数スペクトルを得る。
 画像処理部40は、第1の方向における物体の超解像成分を含む空間周波数スペクトル、第2の方向における物体の超解像成分を含む空間周波数スペクトル、第3の方向における物体の超解像成分を含む空間周波数スペクトルを周波数空間で再配置し、再配置した空間周波数スペクトルを逆フーリエ変換することにより、超解像画像(復調画像)を得る。なお、本実施形態では、干渉縞の周期方向が3方向の場合を例示したが、方向数は3に限らず適宜変更してもよい。
 次に、上述のような構造化照明顕微鏡1の動作に基づき、観察方法について説明する。図7は、本実施形態に係る観察方法を示すフローチャートである。ステップS1において、構造化照明顕微鏡1は、干渉縞の方向を設定する。例えば、制御部41は、駆動部17を制御し、回折格子16を図2(A)の第1回転位置RP1に配置させる。
 ステップS2において、構造化照明顕微鏡1は、干渉縞の位相を変化させる。例えば、構造化照明顕微鏡1は、干渉縞を試料面上で移動させながら、試料Xからの観察光を検出する。例えば、制御部41は、分岐部15により干渉縞を移動させながら、撮像素子32により観察光を検出させる。つまり、制御部41は、分岐部15により干渉縞の位相を変化させながら、撮像素子32により観察光を検出させる。
 ステップS3において、構造化照明顕微鏡1は、試料からの光を少なくとも1つの周波数でロックイン検出する。例えば、構造化照明顕微鏡1は、照明強度の時間変化の周波数に応じた成分を抽出する。例えば、制御部41は、撮像素子32からの検出信号から照明強度の時間変化の周波数に応じた成分をロックインアンプ35により抽出させる。
 ステップS4において、構造化照明顕微鏡1は、干渉縞の方向として予定されている全ての方向が終了したか否かを判定する。例えば、制御部41は、図2に示した3通りの干渉縞の方向について、観察光の検出が終了したか否かを判定する。制御部41は、観察光の検出が完了していない干渉縞の方向があると判定した場合(ステップS4;No)、ステップS1に戻り、干渉縞の方向を次の方向に設定する。また、観察光の検出が完了していない干渉縞の方向がないと制御部41が判定した場合(ステップS4;Yes)、ステップS5において、構造化照明顕微鏡1は、ロックイン検出された信号の少なくとも一部を用いて、試料の画像を生成する。例えば、画像処理部40は、上記説明したアルゴリズムに従って、復調画像を生成する。
 なお、構造化照明顕微鏡1は、例えば、撮像素子32による撮像結果を記憶部などに記憶させておき、干渉縞の方向を変更した後にロックイン検出を行ってもよい。例えば、構造化照明顕微鏡1は、前回の干渉縞の方向に応じた撮像結果を使ったロックイン検出を、次回の干渉縞の方向に関するステップS1~S4の処理と並行して行ってもよいし、ステップS4の処理の後で行ってもよい。また、構造化照明顕微鏡1は、前回の干渉縞の方向に応じた撮像結果を使った復調処理を、次の干渉縞の方向に関するステップS1~S4の処理と並行して行ってもよい。
[第2実施形態]
 第2実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。第2実施形態に係る構造化照明顕微鏡1は、3D-SIMモードにおいて、試料面上の周期方向が1方向の干渉縞を用いて、5チャンネルのロックイン検波を行う。本実施形態に係る構造化照明顕微鏡1で用いられる干渉縞は、少なくとも2つの空間周波数成分を有する。より具体的には、0次回折光と1次回折光との干渉により形成される干渉縞(0次回折光と+1次回折光との干渉および0次回折光と-1次回折光との干渉によって形成される干渉縞)が有する空間周波数成分と、+1次回折光と-1次回折光との干渉によって形成される干渉縞が有する空間周波数成分を有する。
 図8は、本実施形態に係る構造化照明顕微鏡1を示す図である。図8においては、図を見やすくするために試料Xから撮像素子36までの光路を省略したが、撮像装置3は、図1と同様に試料Xを撮像する。3D-SIMモードにおいて、構造化照明装置2は、0次回折光と1回折光(-1次回折光、1次回折光)との干渉による干渉縞を含む構造化照明で試料Xを照明する。なお、3D-SIMにおいて、構造化照明顕微鏡1は、-1次回折光と+1次回折光との干渉縞を構造化照明に用いるが、この干渉縞は第1実施形態と同様であるので、適宜、その説明を省略する。
 マスク22は、3D-SIMモードにおいて、0次回折光および1次回折光(-1次回折光、1次回折光)を通し、2次以上の回折光を遮断する。マスク22は、例えば、0次回折光の通過と遮断とを切り替え可能なシャッタ部を備え、3D-SIMモードにおいては0次回折光が通過するように設けられる。なお、構造化照明装置2は、3D-SIMモードに使用される際に、マスク22を、0次回折光が入射する位置に開口部を有するマスクに交換可能であってもよい。
 図9は、本実施形態に係るロックインアンプ35を示す図である。本実施形態において、干渉縞は、少なくとも第1の空間周波数成分および第2の空間周波数成分を有する。ロックインアンプ35は、少なくとも第1の周波数および第2の周波数でロックイン検出を行う。ロックインアンプ35は、乗算器46a~46e、及び積分器(積算器)47a~47eを備える。ロックインアンプ35は、5種類の参照信号(第1~第5の参照信号)を用いる。第1の参照信号は直流信号(1)である。第2~第4の参照信号は、交流信号である。3D-SIMで1方向ごとにロックイン検波する際の参照信号の周波数を下記の[表1]に示す。
Figure JPOXMLDOC01-appb-T000001
 乗算器46aの入力端子は、フィルタ45における直流成分の出力端子と接続される。乗算器46aは、例えば波形生成部(図示せず)から供給される直流信号である第1の参照信号(例、1)と、検出信号の直流成分とを掛け合わせ、その結果(乗算信号、乗算値)を出力する。乗算器46aの出力端子は、積分器47aの入力端子に接続される。積分器47aは、乗算器46aからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(I)を出力する。言い換えると、積分器47aは、ローパスフィルタである。なお、乗算器46aは適宜省略されてもよい。
 乗算器46bの入力端子は、フィルタ45における交流成分の出力端子と接続される。乗算器46bは、例えば波形生成部(図示せず)から供給される第2の参照信号と、検出信号の交流成分とを掛け合わせ、その結果(乗算信号、乗算値)を出力する。第2の参照信号は、第1の周波数(a)の第1の初期位相の交流信号(例、cos(at))である。第1の周波数は、例えば、0次回折光と1次回折光との干渉により形成される干渉縞(0次回折光と+1次回折光との干渉および0次回折光と-1次回折光との干渉により形成される干渉縞)の位相変化によって試料面上任意の点に生じる照明強度の時間変化の周波数と同じである。乗算器46bの出力端子は、積分器47bの入力端子に接続される。積分器47bは、乗算器46bからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IC,a1)を出力する。言い換えると、積分器47bは、ローパスフィルタである。
 乗算器46cは、例えば波形生成部(図示せず)から供給される第3の参照信号と、検出信号の交流成分とを掛け合わせ、その結果(乗算信号、乗算値)を出力する。第3の参照信号は、第1の周波数と同じ周波数(a)の第2の初期位相の交流信号(例、sin(at))である。乗算器46cの入力端子は、フィルタ45における交流成分の出力端子と接続される。乗算器46cの出力端子は、積分器47cの入力端子に接続される。積分器47cは、乗算器46cからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IS,a1)を出力する。言い換えると、積分器47cは、ローパスフィルタである。
 乗算器46dの入力端子は、フィルタ45の交流成分の出力端子に接続される。乗算器46dは、波形生成部(図示せず)から供給される第4の参照信号と検出信号の交流成分とを掛け合わせて、その結果(乗算信号、乗算値)を出力する。第4の参照信号は、第2の周波数(a)の第1の初期位相の交流信号(例、cos(at))である。第2の周波数(a)は、例えば、第1の周波数(a)と異なる周波数である。第2の周波数(a)は、例えば、-1次回折光と+1次回折光との干渉により形成される干渉縞の位相変化によって試料面上任意の点に生じる照明強度の時間変化の周波数と同じである。第2の周波数(a)は、例えば第1の周波数(a)に対して2以上の整数倍(例、a=2a)である。乗算器46dの出力端子は、積分器47dの入力端子に接続される。積分器47dは、乗算器46dからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IC,a2)を出力する。
 乗算器46eの入力端子は、フィルタ45の交流成分の出力端子に接続される。乗算器46eは、波形生成部(図示せず)から供給される第5の参照信号と検出信号の交流成分とを掛け合わせて、その結果(乗算信号、乗算値)を出力する。第5の参照信号は、第2の周波数(a)の第2の初期位相の交流信号(例、sin(at))である。乗算器46eの出力端子は、積分器47eの入力端子に接続される。積分器47eは、乗算器46eからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IS,a2)を出力する。
 上記の参照信号に応じた積算信号Iは、無変調の信号が抽出されたものである。上記の参照信号に応じた積算信号、IC,a2、IS,a2は、+1次回折光と-1次回折光との干渉による干渉縞により変調された信号が抽出されたものである。また、上記の参照信号に応じた積算信号IC,a1、IS,a1は、0次回折光と1次回折光との干渉により形成される干渉縞(0次回折光と+1次回折光との干渉および0次回折光と-1次回折光の干渉による干渉縞)により変調された信号が抽出されたものである。
 次に、上記説明した照明方法、観察光の検出方法、及び復調方法について具体的に説明する。まず、試料に0次回折光および1次回折光(-1次回折光、1次回折光)による干渉縞が照射される。この干渉縞は3光束干渉による干渉縞であるため、試料断面の所定方向および試料の深さ方向に周期構造を有する。対物レンズ28と、試料が載置されているステージとが第1の距離にある場合に、任意の深さの試料断面において、第1の方向に周期構造を持ち、第1の方向で移動する干渉縞が照射される。つまり、対物レンズ28と、試料が載置されているステージとが第1の距離にある場合に、任意の深さの試料断面において、第1の方向に位相が変化する干渉縞が照射される。言い換えると、試料面上の任意の点において照明強度が時間変化する干渉縞が照射される。
 ここで、試料面上の任意の点における照明強度の時間変化は2つの周波数aとaとで振動する成分から構成される。つまり、試料面上の任意の点における照明強度の時間変化の周波数は、2つの周波数aとaとから構成される。撮像素子32の光検出器32aから出力された検出信号f(t)は、フィルタ45において交流成分と直流成分に分離される。
 ロックインアンプ35は、46aにおいて、フィルタ45により分離された直流成分と、直流信号である第1の参照信号(例えば1)とを掛け合わせ、47aにおいて、照明強度の時間変化の周期(2π/a)の整数倍である積算期間Tで積算し、その結果を示す積算信号(I)を出力する。
 ロックインアンプ35は、乗算器46bにおいて、フィルタ45により分離された交流成分と、周波数aで振動する第2の参照信号とを掛け合わせ、積分器47bにおいて、乗算器46bからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IC,a1)を出力する。
 ロックインアンプ35は、乗算器46cにおいて、フィルタ45により分離された交流成分と、周波数aで振動し、第2の参照信号と位相がπ/2ずれた第3の参照信号とを掛け合わせ、積分器47cにおいて、乗算器46cからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IS,a1)を出力する。
 ロックインアンプ35は、乗算器46dにおいて、フィルタ45により分離された交流成分と、周波数a(a=2a)で振動する第4の参照信号とを掛け合わせ、積分器47dにおいて、乗算器46dからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IC,a2)を出力する。
 ロックインアンプ35は、乗算器46eにおいて、フィルタ45により分離された交流成分と、周波数aで振動し、第4の参照信号と位相がπ/2ずれた第5の参照信号とを掛け合わせ、積分器47eにおいて、乗算器46eからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IS,a2)を出力する。
 制御装置4の復調部41は、対物レンズ28および試料が載置されているステージの少なくとも一方を移動する。そして、対物レンズ28とステージとが第1の距離および第2の距離にある場合それぞれにおいて、任意の深さの試料断面において第1の方向に周期構造を持ち、第1の方向で移動する干渉縞が照明され、同様に、ロックインアンプ35から積算信号I、IC,a1、IS,a1、IC,a2、IS,a2が出力される。
 制御装置4の画像処理部40は、対物レンズ28とステージとが第1の距離にある場合、第2の距離にある場合における積算信号I、IC,a1、IS,a1、IC,a2、IS,a2を読み出し、復調処理を行う。例えば、画像処理部40は、積算信号I、IC,a1、IS,a1、IC,a2、IS,a2をフーリエ変換し、線形変換を行うことにより、物体の超解像成分を含む空間周波数スペクトルを得る。こうして、第1の方向における物体の超解像成分を含む空間周波数スペクトルを得ることができる。
 同様に、対物レンズ28とステージとが第1の距離にある場合、第2の距離にある場合において、第2の方向において周期構造を持ち第2の方向で移動する干渉縞が照明され、画像処理部40は、第2の方向おける物体の超解像成分を含む空間周波数スペクトルを得る。つまり、対物レンズ28とステージとが第1の距離にある場合、第2の距離にある場合において、第2の方向に干渉縞の位相を変化させて、画像処理部40は、第2の方向おける物体の超解像成分を含む空間周波数スペクトルを得る。
 さらに、対物レンズ28とステージとが第1の距離にある場合、第2の距離にある場合において、第3の方向において周期構造を持ち3の方向で移動する干渉縞が照明され、画像処理部40は、第3の方向における物体の超解像成分を含む空間周波数スペクトルを得る。つまり、対物レンズ28とステージとが第1の距離にある場合、第2の距離にある場合において、第3の方向に干渉縞の位相を変化させて、画像処理部40は、第3の方向おける物体の超解像成分を含む空間周波数スペクトルを得る。
 画像処理部40は、第1の方向における物体の超解像成分を含む空間周波数スペクトル、第2の方向における物体の超解像成分を含む空間周波数スペクトル、第3の方向における物体の超解像成分を含む空間周波数スペクトルを周波数空間で再配置し、再配置した空間周波数スペクトルを逆フーリエ変換することにより、3次元の超解像画像(復調画像)を得る。
 なお、上記では、対物レンズ28とステージとを第1の距離に設定して積算信号を取得し、第2の距離に設定して積算信号を取得して3次元の超解像画像(復調画像)を取得したが、設定される距離の数は1以上であればよい。言い換えると、対物レンズ28とステージとを第1~第n(nは1以上の整数)の距離に設定し、積算信号を取得して3次元の超解像画像(復調画像)を取得してよい。また、干渉縞の方向が3方向の場合を例示したが、方向数は3に限らず適宜変更してもよい。
[第3実施形態]
 第3実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。本実施形態に係る構造化照明顕微鏡1は、2D-SIMモードにおいて、試料面上の周期方向が3方向である干渉縞を用いて、7チャンネルのロックイン検出を行う。言い換えると、本実施形態に係る構造化照明顕微鏡1で用いられる干渉縞は、少なくとも3つの空間周波数成分を有する。例えば、試料面上の周期方向が3方向である干渉縞の場合、3方向それぞれに少なくとも1つの空間周波数成分を有する。
 図10は、本実施形態に係る照明方法を示す図である。図10(A)は、本実施形態に係る分岐部15を示す図である。分岐部15は、回折格子16を備える。回折格子16は、三角格子状の部材であり、3方向(図中、D1~D3で示す)に周期構造を有する。駆動部17は、制御部41に制御されて、回折格子16を所定の方向に平行移動させる。回折格子16の移動方向については、後に図12を参照しつつ説明する。
 図10(B)は、本実施形態に係るマスク22を示す図である。マスク22は、開口部22a、開口部22d、及び開口部22eを有する。開口部22aは、+1次回折光Laの入射領域に配置される。開口部22dは、+1次回折光Ldの入射領域に配置される。開口部22dは、開口部22aに対して光軸11aを中心とする反時計回りに120°の回転位置に配置される。開口部22eは、+1次回折光Leの入射領域に配置される。開口部22eは、開口部22dに対して光軸11aを中心とする反時計回りに120°の回転位置に配置される。マスク22は、-1次回折光Lbの入射領域、-1次回折光Lcの入射領域、及び-1次回折光Lfの入射領域が遮光領域になっている。
 図10(C)は、瞳面P0における回折光の入射領域を示す図である。瞳面P0において、+1次回折光Laの入射領域、+1次回折光Ldの入射領域、及び+1次回折光Leの入射領域は、光軸11aの周囲に等間隔で並んでいる。+1次回折光Laの入射領域と+1次回折光Ldの入射領域との距離DLは、例えば、約√3NAに相当する距離(対物レンズ28の焦点距離f×√3NA)に設定される。この場合、通常照明に比べて最大で√3倍の解像度が得られる。
 図11は、変形例に係るマスク22、及び瞳面P0上における回折光の入射領域を示す図である。このマスク22は、マスク本体22Aと、遮光板22Bとを備える。マスク本体22Aは、開口部22a~22fを有する。開口部22aは、周期方向D3に分岐した+1次回折光Laの入射領域に配置され、開口部22bは、周期方向D3に分岐した-1次回折光Lbの入射領域に配置される。開口部22cは、周期方向D2に分岐した+1次回折光Lcの入射領域に配置され、開口部22dは、周期方向D2に分岐した-1次回折光Ldの入射領域に配置される。開口部22eは、周期方向D1に分岐した+1次回折光Leの入射領域に配置され、開口部22fは、周期方向D1に分岐した-1次回折光Leの入射領域に配置される。遮光板22Bは、マスク本体22Aに対して回転可能である。遮光部22Bは、駆動部(図示せず)により、光軸11aの周りで回転駆動される。遮光部22Bは、図11(A)~(C)に示す各回転位置に配置可能である。
 図11(A)において、遮光部22Bは、+1次回折光Laおよび-1次回折光Lbを通し、かつ+1次回折光Lc、-1次回折光Ld、+1次回折光Le、及び-1次回折光Lfを遮る回転位置に配置される。瞳面P0において、+1次回折光Laの入射領域および-1次回折光Lbの入射領域は、光軸11aに関して対称的に配置される。+1次回折光Laの入射領域と-1次回折光Lbの入射領域との距離DLは、例えば、NAの約2倍に相当する距離(対物レンズ28の焦点距離f×2NA)に設定される。
 図11(B)において、遮光部22Bは、図11(A)から時計回りを正として120°回転した回転位置に配置される。遮光部22Bは、+1次回折光Leおよび-1次回折光Lfを通し、かつ+1次回折光La、-1次回折光Lb、+1次回折光Lc、及び-1次回折光Ldを遮る回転位置に配置される。瞳面P0において、+1次回折光Leの入射領域および-1次回折光Lfの入射領域は、図11(A)の+1次回折光Laの入射領域および-1次回折光Lbの入射領域から、時計回りを正として120°回転した回転位置に配置される。
 図11(C)において、遮光部22Bは、図11(B)から時計回りを正として120°回転した回転位置に配置される。遮光部22Bは、+1次回折光Lcおよび-1次回折光Ldを通し、かつ+1次回折光La、-1次回折光Lb、+1次回折光Le、及び-1次回折光Lfを遮る回転位置に配置される。瞳面P0において、+1次回折光Lcの入射領域および-1次回折光Ldの入射領域は、図11(B)の+1次回折光Leの入射領域および-1次回折光Lfの入射領域から、時計回りを正として120°回転した回転位置に配置される。
 遮光部22Bは、撮像素子32における光検出部が電荷を蓄積している間に回転駆動される。遮光部22Bは、対になる3組の1次回折光から1組ずつ択一的に通すので、復調画像の生成に用いない干渉縞を低減することができる。
 図12は、試料面における干渉縞の移動を説明するための図である。図12(A)は、試料面における干渉縞を示す図である。図12(B)は、干渉縞の移動方向を説明するための模式図である。図12(B)において、k、k、kは、それぞれ、干渉縞の波数ベクトルを示し、周期方向D1、D2、D3と対応関係にある。波数ベクトルkは、例えば、k=k+kの関係を満たす。干渉縞による照明強度は、波数ベクトルk、k、kのそれぞれの方向において正弦波状の空間分布の成分を有する。
 図12(B)において、符号g、gは、格子ベクトルである。格子ベクトルgは、波数ベクトルkに垂直な方向の干渉縞周期を表すベクトルである。格子ベクトルgは、波数ベクトルkに垂直な方向の干渉縞周期を表すベクトルである。干渉縞の移動方向を示すベクトルD4は、例えば、互いに異なる整数n、nを用いて、D4=n+nで表される。言い換えると、干渉縞は、格子ベクトルg1およびg2の整数倍の並進に対して対称性を持つ。
 干渉縞をベクトルD4の分だけ移動させると、干渉縞は、波数ベクトルkに平行な方向にn周期分移動し、波数ベクトルkに平行な方向にn周期分移動し、波数ベクトルkに平行な方向に(n+n)周期分移動する。ここで、照明強度の波数ベクトルk成分の時間変化の周波数をbとし、照明強度の波数ベクトルk成分の時間変化の周波数をbとし、照明強度の波数ベクトルk成分の時間変化の周波数をbとする。b、b、bは、b=(n/n)b、b=(1+n/n)bを満たす。
 図12(B)では、例えば、n=1、n=2の場合を示している。図12(B)において、干渉縞は、波数ベクトルk方向に1周期分移動し、波数ベクトルk方向に2周期分移動し、波数ベクトルk方向に3周期分移動する。また、照明強度の波数ベクトルk成分の時間変化の周波数をbとすると、照明強度の波数ベクトルk成分の時間変化の周波数bはbの2倍になり、照明強度の波数ベクトルk成分の時間変化の周波数bはbの3倍になる。
 このように、干渉縞の移動方向は、波数ベクトルk方向において干渉縞が移動する周期数と、波数ベクトルk方向において干渉縞が移動する周期数と、波数ベクトルk方向において干渉縞が移動する周期数とが互いに異なるように、設定される。この場合、照明強度の波数ベクトルk成分の時間変化の周波数と、照明強度の波数ベクトルk成分の時間変化の周波数と、照明強度の波数ベクトルk成分の時間変化の周波数とが、それぞれ、所定周波数(第1~第3の周波数)となる。本実施形態において、ロックインアンプ35は、少なくとも第1の周波数、第2の周波数および第3の周波数でロックイン検出を行う。第1の周波数(b)と、第2の周波数(b)と、、第3の周波数(b)とを互いに異なる値にすると、各方向に応じた周波数の成分をロックイン検出により抽出することができる。
 図13は、本実施形態に係るロックインアンプ35を示す図である。このロックインアンプ35は、乗算器46a~46g、及び積分器(積算器)47a~47gを備える。ロックインアンプ35は、7種類の参照信号(第1~第7の参照信号)を用いる。第1の参照信号は直流信号(1)である。第2~第7の参照信号は、交流信号である。本実施形態において、2D-SIMで3方向一括してロックイン検波する際の参照信号の周波数を下記の[表2]に示す。
Figure JPOXMLDOC01-appb-T000002
 乗算器46aの入力端子は、フィルタ45における直流成分の出力端子と接続される。乗算器46aは、例えば波形生成部(図示せず)から供給される直流信号である第1の参照信号(例、1)と、検出信号の直流成分とを掛け合わせ、その結果(乗算信号、乗算値)を出力する。乗算器46aの出力端子は、積分器47aの入力端子に接続される。積分器47aは、乗算器46aからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(I)を出力する。する。言い換えると、積分器47aは、ローパスフィルタである。なお、乗算器46aは適宜省略されてもよい。
 乗算器46bの入力端子は、フィルタ45における交流成分の出力端子と接続される。乗算器46bは、例えば波形生成部(図示せず)から供給される第2の参照信号と、検出信号の交流成分とを掛け合わせ、その結果(乗算信号、乗算値)を出力する。第2の参照信号は、第1の周波数(b)の第1の初期位相の交流信号(例、cos(bt))である。第1の周波数(b)は、照明強度の波数ベクトルk成分の時間変化の周波数である。乗算器46bの出力端子は、積分器47bの入力端子に接続される。積分器47bは、乗算器46bからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IC,b1)を出力する。言い換えると、積分器47bは、ローパスフィルタである。
 乗算器46cの入力端子は、フィルタ45における交流成分の出力端子と接続される。乗算器46cは、例えば波形生成部(図示せず)から供給される第3の参照信号と、検出信号の交流成分とを掛け合わせ、その結果(乗算信号、乗算値)を出力する。第3の参照信号は、第1の周波数(b)の第2の初期位相の交流信号(例、sin(bt))である。乗算器46cの出力端子は、積分器47cの入力端子に接続される。積分器47cは、乗算器46cからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IS,b1)を出力する。言い換えると、積分器47cは、ローパスフィルタである。
 乗算器46dの入力端子は、フィルタ45の交流成分の出力端子に接続される。乗算器46dは、波形生成部(図示せず)から供給される第4の参照信号と検出信号の交流成分とを掛け合わせて、その結果(乗算信号、乗算値)を出力する。第4の参照信号は、第2の周波数(b)の第1の初期位相の交流信号(例、cos(bt))である。第2の周波数(b)は、例えば、第1の周波数(b)と異なる周波数である。第2の周波数(b)は、照明強度の波数ベクトルk成分の時間変化の周波数である。第2の周波数(b)は、例えば第1の周波数(b)に対して2以上の整数倍(例、b=2b)である。乗算器46dの出力端子は、積分器47dの入力端子に接続される。積分器47dは、乗算器46dからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IC,b2)を出力する。
 乗算器46eの入力端子は、フィルタ45の交流成分の出力端子に接続される。乗算器46eは、波形生成部(図示せず)から供給される第5の参照信号と検出信号の交流成分とを掛け合わせて、その結果(乗算信号、乗算値)を出力する。第5の参照信号は、第2の周波数(b)の第2の初期位相の交流信号(例、sin(bt))である。乗算器46eの出力端子は、積分器47eの入力端子に接続される。積分器47eは、乗算器46eからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IS,b2)を出力する。
 乗算器46fの入力端子は、フィルタ45の交流成分の出力端子に接続される。乗算器46fは、波形生成部(図示せず)から供給される第6の参照信号と検出信号の交流成分とを掛け合わせて、その結果(乗算信号、乗算値)を出力する。第6の参照信号は、、第3の周波数(b)の第1の初期位相の交流信号(例、cos(bt))である。、第3の周波数(b)は、照明強度の波数ベクトルk成分の時間変化の周波数である。、第3の周波数(b)は、例えば、第2の周波数(b=2b)と異なり、かつ第1の周波数(b)に対して2以上の整数倍(例、b=3b)である。乗算器46fの出力端子は、積分器47fの入力端子に接続される。積分器47fは、乗算器46fからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IC,b3)を出力する。
 乗算器46gの入力端子は、フィルタ45の交流成分の出力端子に接続される。乗算器46gは、波形生成部(図示せず)から供給される第7の参照信号と検出信号の交流成分とを掛け合わせて、その結果(乗算信号、乗算値)を出力する。第7の参照信号は、、第3の周波数(b)の第2の初期位相の交流信号(例、sin(bt))である。例えば、第2の初期位相は第1の初期位相とπ/2ずれた位相である。乗算器46gの出力端子は、積分器47gの入力端子に接続される。積分器47gは、乗算器46gからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IS,b3)を出力する。
 次に、上記説明した照明方法、観察光の検出方法、及び復調方法について具体的に説明する。まず、試料面において、第1の方向、第2の方向および第3の方向に周期構造を持つ干渉縞が照射される。また、この干渉縞は、例えば、図12(B)に示すようにベクトルD4の向きに移動し、干渉縞の位相が変化する。言い換えると、試料面上の任意の点において照明強度が時間変化する干渉縞が照射される。
 ここで、試料面上の任意の点における照明強度の時間変化は3つの周波数b、b、bとで振動する成分から構成される。つまり、試料面上の任意の点における照明強度の時間変化の周波数は、3つの周波数b、b、bとから構成される。ロックインアンプ35は、図13に示すように、積算信号I、IC,b1、IS,b1、IC,b2、IS,b2、IC,b3、IS,b3を出力する。
 制御装置4の画像処理部40は、ロックインアンプ35から積算信号I、IC,b1、IS,b1、IC,b2、IS,b2、IC,b3、IS,b3を読み出し、復調処理を行う。例えば、画像処理部40は、積算信号I、IC,b1、IS,b1、IC,b2、IS,b2、IC,b3、IS,b3をフーリエ変換し、線形変換を行うことにより、物体の超解像成分を含む空間周波数スペクトルを得る。こうして、3方向における物体の超解像成分を含む空間周波数スペクトルを得ることができる。画像処理部40は、3方向の物体の超解像成分を含む空間周波数スペクトルを周波数空間で再配置し、再配置した空間周波数スペクトルを逆フーリエ変換することにより、超解像画像(復調画像)を得る。
 次に、上述のような構造化照明顕微鏡1の動作に基づき、観察方法について説明する。図14は、実施形態に係る観察方法を示すフローチャートである。ステップS10において、構造化照明顕微鏡1は、干渉縞を試料面上で移動させながら、試料Xからの観察光を検出する。つまり、構造化照明顕微鏡1は、干渉縞の位相を変化させながら、試料Xからの観察光を検出する。例えば、制御部41は、分岐部15により干渉縞を移動させながら、撮像素子32により観察光を検出させる。つまり、制御部41は、分岐部15により干渉縞の位相を変化させながら、撮像素子32により観察光を検出させる。
 ステップS11において、構造化照明顕微鏡1は、照明強度の時間変化の周波数に応じた成分を抽出する。例えば、制御部41は、撮像素子32からの検出信号から照明強度の時間変化の周波数に応じた成分をロックインアンプ35により抽出させる。
 ステップS12において、画像処理部40は、ロックインアンプ35により抽出された成分をフーリエ変換し、線形変換を行うことにより、物体の超解像成分を含む空間周波数スペクトルを得る。また、画像処理部40は、空間周波数スペクトルを周波数空間で再配置し、再配置した空間周波数スペクトルを逆フーリエ変換することにより、超解像画像(復調画像)を得る。
 なお、ロックインアンプ35は、図13において7種類の参照信号を用いてロックイン検出を行ったが、これよりも少ない種類の参照信号を用いてロックイン検出を行ってもよい。図15は、変形例に係るロックインアンプを示す図である。
 本変形例において、周期方向が3方向である干渉縞を用いて、図13よりも少ないチャンネル数(例、3チャンネル)のロックイン検出を行う。言い換えると、本変形例に係る構造化照明顕微鏡1で用いられる干渉縞は、少なくとも3つの空間周波数成分を有する。例えば、試料面上の周期方向が3方向である干渉縞の場合、3方向それぞれに少なくとも1つの空間周波数成分を有する。
 図15に示すロックインアンプ35は、第2の参照信号(C(t)=cos(bt))を用いてロックイン検出を行って、積算信号IC,b1を出力する。第2の参照信号は、第1の周波数(b)および第1の初期位相を有する。また、ロックインアンプ35は、第4の参照信号(C(t)=cos(bt))を用いてロックイン検出を行って、積算信号IC,b2を出力する。第4の参照信号は、第2の周波数(b)および第1の初期位相を有する。また、ロックインアンプ35は、第6の参照信号(C(t)=cos(bt))を用いてロックイン検出を行って、積算信号IC,b3を出力する。第6の参照信号は、第3の周波数(b)および第1の初期位相を有する。3つの周波数b、b、bの関係は、上記の[表2]と同様である。画像処理部41は、積算信号IC,b1、IC,b2、IC,b3を用いて試料Xの画像を生成してもよい。
[第4実施形態]
 第4実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。本実施形態に係る構造化照明顕微鏡1は、3D-SIMモードにおいて、試料面上の周期方向が3方向である干渉縞を用いて、13チャンネルのロックイン検出を行う。例えば、図11に示したマスク22において0次光を通すことにより、3D-SIMモードにおける干渉縞が形成される。言い換えると、本実施形態に係る構造化照明顕微鏡1で用いられる干渉縞は、少なくとも6つの空間周波数成分を有する。例えば、試料面上の周期方向が3方向である干渉縞の場合には、3方向それぞれに0次回折光と1次回折光との干渉により形成される干渉縞(0次回折光と+1次回折光との干渉および0次回折光と-1次回折光との干渉によって形成される干渉縞)が有する空間周波数成分と、+1次回折光と-1次回折光との干渉によって形成される干渉縞が有する空間周波数成分とを有する。
 図16は、本実施形態に係るロックインアンプ35を示す図である。ロックインアンプ35は、少なくとも第1の周波数、第2の周波数、第3の周波数、第4の周波数、第5の周波数および第6の周波数でロックイン検出を行う。このロックインアンプ35は、乗算器46a~46m、及び積分器(積算器)47a~47mを備える。ロックインアンプ35は、13種類の参照信号(第1~第13の参照信号)を用いる。第1の参照信号は直流信号(1)である。第2~第13の参照信号は、交流信号である。本実施形態において、3D-SIMで3方向一括してロックイン検波する際の参照信号の周波数を下記の[表3]に示す。
Figure JPOXMLDOC01-appb-T000003
 乗算器46aの入力端子は、フィルタ45における直流成分の出力端子と接続される。乗算器46aは、例えば波形生成部(図示せず)から供給される直流信号である第1の参照信号(例、1)と、検出信号の直流成分とを掛け合わせ、その結果(乗算信号、乗算値)を出力する。乗算器46aの出力端子は、積分器47aの入力端子に接続される。積分器47aは、乗算器46aからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(I)を出力する。する。言い換えると、積分器47aは、ローパスフィルタである。なお、乗算器46aは適宜省略されてもよい。
 乗算器46bの入力端子は、フィルタ45における交流成分の出力端子と接続される。乗算器46bは、例えば波形生成部(図示せず)から供給される第2の参照信号と、検出信号の交流成分とを掛け合わせ、その結果(乗算信号、乗算値)を出力する。第2の参照信号は、第1の周波数(c)の第1の初期位相の交流信号(例、cos(ct))である。第1の周波数は、照明強度の波数ベクトルk成分の時間変化の周波数である。乗算器46bの出力端子は、積分器47bの入力端子に接続される。積分器47bは、乗算器46bからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IC,c1)を出力する。言い換えると、積分器47bは、ローパスフィルタである。
 乗算器46cの入力端子は、フィルタ45における交流成分の出力端子と接続される。乗算器46cは、例えば波形生成部(図示せず)から供給される第3の参照信号と、検出信号の交流成分とを掛け合わせ、その結果(乗算信号、乗算値)を出力する。第3の参照信号は、第1の周波数(c)の第2の初期位相の交流信号(例、sin(ct))である。乗算器46cの出力端子は、積分器47cの入力端子に接続される。積分器47cは、乗算器46cからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IS,c1)を出力する。言い換えると、積分器47cは、ローパスフィルタである。
 乗算器46dの入力端子は、フィルタ45の交流成分の出力端子に接続される。乗算器46dは、波形生成部(図示せず)から供給される第4の参照信号と検出信号の交流成分とを掛け合わせて、その結果(乗算信号、乗算値)を出力する。第4の参照信号は、第2の周波数(c)の第1の初期位相の交流信号(例、cos(ct))である第2の周波数は、照明強度の波数ベクトルk成分の時間変化の周波数である。第2の周波数(c)は、例えば、第1の周波数(c)と異なる周波数である。第2の周波数(c)は、例えば、第1の周波数(c)に対して2以上の整数倍(例、c=3c)である。乗算器46dの出力端子は、積分器47dの入力端子に接続される。積分器47dは、乗算器46dからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IC,c2)を出力する。
 乗算器46eの入力端子は、フィルタ45の交流成分の出力端子に接続される。乗算器46eは、波形生成部(図示せず)から供給される第5の参照信号と検出信号の交流成分とを掛け合わせて、その結果(乗算信号、乗算値)を出力する。第5の参照信号は、第2の周波数(c)の第2の初期位相の交流信号(例、sin(ct))である。乗算器46eの出力端子は、積分器47eの入力端子に接続される。積分器47eは、乗算器46eからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IS,c2)を出力する。
 乗算器46fの入力端子は、フィルタ45の交流成分の出力端子に接続される。乗算器46fは、波形生成部(図示せず)から供給される第6の参照信号と検出信号の交流成分とを掛け合わせて、その結果(乗算信号、乗算値)を出力する。第6の参照信号は、、第3の周波数(c)の第1の初期位相の交流信号(例、cos(ct))である。、第3の周波数(c)は、照明強度の波数ベクトルk成分の時間変化の周波数である。、第3の周波数(c)は、例えば、第2の周波数(c=3c)と異なり、かつ第1の周波数(c)に対して2以上の整数倍(例、c=4c)である。乗算器46fの出力端子は、積分器47fの入力端子に接続される。積分器47fは、乗算器46fからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IC,c3)を出力する。
 乗算器46gの入力端子は、フィルタ45の交流成分の出力端子に接続される。乗算器46gは、波形生成部(図示せず)から供給される第7の参照信号と検出信号の交流成分とを掛け合わせて、その結果(乗算信号、乗算値)を出力する。第7の参照信号は、、第3の周波数(c)の第2の初期位相の交流信号(例、sin(ct))である。例えば、第2の初期位相は第1の初期位相とπ/2ずれた位相である。乗算器46gの出力端子は、積分器47gの入力端子に接続される。積分器47gは、乗算器46gからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IS,c3)を出力する。
 乗算器46hの入力端子は、フィルタ45の交流成分の出力端子に接続される。乗算器46hは、波形生成部(図示せず)から供給される第8の参照信号と検出信号の交流成分とを掛け合わせて、その結果(乗算信号、乗算値)を出力する。第8の参照信号は、第4の周波数(c)の第1の初期位相の交流信号(例、cos(ct))である。第4の周波数は、照明強度の波数ベクトルk成分の周波数である。第4の周波数(c)は、例えば、第2の周波数および、第3の周波数のいずれとも異なり、かつ第1の周波数(c)に対して2以上の整数倍(例、c=2c)である。乗算器46hの出力端子は、積分器47hの入力端子に接続される。積分器47hは、乗算器46hからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IC,c4)を出力する。
 乗算器46iの入力端子は、フィルタ45の交流成分の出力端子に接続される。乗算器46iは、波形生成部(図示せず)から供給される第9の参照信号と検出信号の交流成分とを掛け合わせて、その結果(乗算信号、乗算値)を出力する。第9の参照信号は、第4の周波数(c)の第2の初期位相の交流信号(例、sin(ct))である。例えば、第2の初期位相は第1の初期位相とπ/2ずれた位相である。乗算器46iの出力端子は、積分器47iの入力端子に接続される。積分器47iは、乗算器46iからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IS,c4)を出力する。
 乗算器46jの入力端子は、フィルタ45の交流成分の出力端子に接続される。乗算器46jは、波形生成部(図示せず)から供給される第10の参照信号と検出信号の交流成分とを掛け合わせて、その結果(乗算信号、乗算値)を出力する。第10の参照信号は、第5の周波数(c)の第1の初期位相の交流信号(例、cos(ct))である。第5の周波数は、照明強度の波数ベクトルk成分の時間変化の周波数である。第5の周波数(c)は、例えば、第1~第4の周波数のいずれとも異なり、かつ第1の周波数(c)に対して2以上の整数倍(例、c=6c)である。乗算器46jの出力端子は、積分器47jの入力端子に接続される。積分器47jは、乗算器46jからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IC,c5)を出力する。
 乗算器46kの入力端子は、フィルタ45の交流成分の出力端子に接続される。乗算器46kは、波形生成部(図示せず)から供給される第11の参照信号と検出信号の交流成分とを掛け合わせて、その結果(乗算信号、乗算値)を出力する。第11の参照信号は、第5の周波数(c)の第2の初期位相の交流信号(例、sin(ct))である。例えば、第2の初期位相は第1の初期位相とπ/2ずれた位相である。乗算器46kの出力端子は、積分器47kの入力端子に接続される。積分器47kは、乗算器46kからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IS,c5)を出力する。
 乗算器46lの入力端子は、フィルタ45の交流成分の出力端子に接続される。乗算器46lは、波形生成部(図示せず)から供給される第12の参照信号と検出信号の交流成分とを掛け合わせて、その結果(乗算信号、乗算値)を出力する。第12の参照信号は、第6の周波数(c)の第1の初期位相の交流信号(例、cos(ct))である。第6の周波数は、照明強度の波数ベクトルk成分の時間変化の周波数である。第6の周波数(c)は、例えば、、第3の周波数(c)に対して2以上の整数倍(例、c=2c=8c)である。乗算器46lの出力端子は、積分器47lの入力端子に接続される。積分器47lは、乗算器46lからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IC,c6)を出力する。
 乗算器46mの入力端子は、フィルタ45の交流成分の出力端子に接続される。乗算器46mは、波形生成部(図示せず)から供給される第13の参照信号と検出信号の交流成分とを掛け合わせて、その結果(乗算信号、乗算値)を出力する。第13の参照信号は、第6の周波数(c)の第2の初期位相の交流信号(例、sin(ct))である。例えば、第2の初期位相は第1の初期位相とπ/2ずれた位相である。乗算器46mの出力端子は、積分器47mの入力端子に接続される。積分器47mは、乗算器46mからの乗算信号を積算期間Tにおいて積算し、その結果を示す積算信号(IS,c6)を出力する。
 上記の参照信号に応じた積算信号Iは、無変調の信号が抽出されたものである。IC,c4、IS,c4は、第1の方向の+1次回折光と-1次回折光との干渉による干渉縞により変調された信号が抽出されたものである。また、IC,c5、IS,c5は、第2の方向の+1次回折光と-1次回折光との干渉による干渉縞により変調された信号が抽出されたものである。また、IC,c6、IS,c6は、第3の方向の+1次回折光と-1次回折光との干渉による干渉縞により変調された信号が抽出されたものである。また、IC,c1、IS,c1は、第1の方向の0次回折光と1次回折光の干渉縞(0次回折光と+1次回折光とによる干渉及び0次回折光と-1次回折光との干渉による干渉縞)により変調された信号が抽出されたものである。また、IC,c2、IS,c2は、第2の方向の0次回折光と1次回折光の干渉縞(0次回折光と+1次回折光とによる干渉および0次回折光と-1次回折光との干渉による干渉縞)により変調された信号が抽出されたものである。また、IC,c3、IS,c3は、第3の方向の0次回折光と1次回折光の干渉縞(0次回折光と+1次回折光との干渉及び0次回折光と-1次回折光との干渉による干渉縞)により変調された信号が抽出されたものである。
 図17および図18は、試料面における干渉縞の移動を説明するための図である。図17(A)は、試料面における干渉縞を示す図である。図17(B)は、干渉縞の移動方向を説明するための模式図である。図17(B)において、k、k、kは、それぞれ、0次光と1次光との干渉縞の波数ベクトル(実線で示す)を示す。波数ベクトルk、k、kは、それぞれ、周期方向D1、D2、D3と対応関係にある。波数ベクトルkは、例えば、k=k+kの関係を満たす。図17(B)において、k、k、kは、それぞれ、+1次光と-1次光との干渉縞の波数ベクトル(点線で示す)を示す。波数ベクトルk、k、kは、それぞれ、周期方向D1、D2、D3と対応関係にある。
 図17(B)の干渉縞において、0次光と1次光との干渉縞を実線で表し、+1次光と-1次光との干渉縞を点線で表した。図18(A)は、図17(B)から0次光と1次光との干渉縞(実線)を抽出した図である。0次光と+1次光との干渉縞および0次光と-1次光との干渉縞による照明強度は、波数ベクトルk、k、kのそれぞれの方向において正弦波状の空間分布の成分を有する。
 図18(A)において、符号g、gは、格子ベクトルである。格子ベクトルgは、波数ベクトルkに垂直な方向の干渉縞周期を表すベクトルである。格子ベクトルgは、波数ベクトルkに垂直な方向の干渉縞周期を表すベクトルである。干渉縞の移動方向を示すベクトルD4は、例えば、互いに異なる整数n、nを用いて、D5=n+nで表される。言い換えると、干渉縞は、格子ベクトルg1およびg2の整数倍の並進に対して対称性を持つ。
 干渉縞をベクトルD5の分だけ移動させると、干渉縞は、波数ベクトルkの干渉縞がn周期分移動し、波数ベクトルkの干渉縞がn周期分移動し、波数ベクトルkの干渉縞が(n+n)周期分移動する。ここで、照明強度の波数ベクトルk成分の時間変化の周波数をcとし、照明強度の波数ベクトルk成分の時間変化の周波数をcとし、照明強度の波数ベクトルk成分の時間変化周波数をcとすると、c、c、cは、c=(n/n)c、c=(1+n/n)cを満たす。ここで、第4の周波数(c)はcの2倍であることから、n/nを2よりも大きい正の整数にする。
 図18(a)では、例えば、n=1、n=3の場合を示している。図18(a)において、干渉縞は、波数ベクトルkに平行な方向に1周期分移動し、波数ベクトルkに平行な方向に3周期分移動し、波数ベクトルkに平行な方向に4周期分移動する。また、照明強度の波数ベクトルk成分の時間変化の周波数をcとすると、照明強度の波数ベクトルk成分の時間変化の周波数cはcの3倍になり、照明強度の波数ベクトルk成分の時間変化の周波数cはcの4倍になる。
 図18(B)は、図17(B)から+1次光と-1次光との干渉縞(点線)を抽出した図である。波数ベクトルkは、例えば、k=k+kの関係を満たす。また、k、k、kは、それぞれ、k=2k1、=2k2、=2kの関係を満たす。+1次光と-1次光の干渉縞による照明強度は、波数ベクトルk、k、kのそれぞれの方向において正弦波状の空間分布の成分を有する。
 +1次光と-1次光の干渉縞の移動方向を示すベクトルD5は、例えば、互いに異なる整数n、nを用いて、D5=n+nで表される。干渉縞をベクトルD5の分だけ移動させると、干渉縞は、波数ベクトルkの干渉縞が2n周期分移動し、波数ベクトルkの干渉縞が2n周期分移動し、波数ベクトルkの干渉縞が2(n+n)周期分移動する。ここで、照明強度の波数ベクトルk成分の周波数をcとし、照明強度の波数ベクトルk成分の周波数をcとし、照明強度の波数ベクトルk成分の周波数をcとすると、c=2c、c=2c、c=2cとなる。したがって、c、c、c、c、c、cの関係は、上記の表3の通りとなる。
 制御装置4の復調部41は、対物レンズ28および試料が載置されているステージの少なくとも一方を移動する。そして、対物レンズ28とステージとが第1の距離および第2の距離にある場合それぞれにおいて、任意の深さの試料断面において3方向に周期構造を持ち、1方向で移動する干渉縞が照明され、ロックインアンプ35から積算信号I、IC,c1、IS,c1、IC,c2、IS,c2、IC,c3、IS,c3、IC,c4、IS,c4、IC,c5、IS,c5、IC,c6、IS,c6が出力される。
 制御装置4の画像処理部40は、対物レンズ28とステージとが第1の距離にある場合、第2の距離にある場合における積算信号I、IC,c1、IS,c1、IC,c2、IS,c2、IC,c3、IS,c3、IC,c4、IS,c4、IC,c5、IS,c5、IC,c6、IS,c6を読み出し、復調処理を行う。例えば、画像処理部40は、積算信号I、IC,c1、IS,c1、IC,c2、IS,c2、IC,c3、IS,c3、IC,c4、IS,c4、IC,c5、IS,c5、IC,c6、IS,c6をフーリエ変換し、線形変換を行うことにより、物体の超解像成分を含む空間周波数スペクトルを得る。こうして、3方向における物体の超解像成分を含む空間周波数スペクトルを得ることができる。
 画像処理部40は、3方向における物体の超解像成分を含む空間周波数スペクトルを周波数空間で再配置し、再配置した空間周波数スペクトルを逆フーリエ変換することにより、3次元の超解像画像(復調画像)を得る。
 なお、ロックインアンプ35は、図16において13種類の参照信号を用いてロックイン検出を行ったが、これよりも少ない種類の参照信号を用いてロックイン検出を行ってもよい。図19は、変形例に係るロックインアンプを示す図である。
 本変形例において、周期方向が3方向である干渉縞を用いて、図16よりも少ないチャンネル数(例、6チャンネル)のロックイン検出を行う。言い換えると、本変形例に係る構造化照明顕微鏡1で用いられる干渉縞は、少なくとも6つの空間周波数成分を有する。例えば、試料面上の周期方向が3方向である干渉縞の場合、3方向それぞれに少なくとも2つの空間周波数成分を有する。
 図19に示すロックインアンプ35は、第2の参照信号(C(t)=cos(ct))を用いてロックイン検出を行って、積算信号IC,,c1を出力する。第2の参照信号は、第1の周波数(c)および第1の初期位相を有する。また、ロックインアンプ35は、第4の参照信号(C(t)=cos(ct))を用いてロックイン検出を行って、積算信号IC,,c2を出力する。第4の参照信号は、第2の周波数(c)および第1の初期位相を有するまた、ロックインアンプ35は、第6の参照信号(C(t)=cos(ct))を用いてロックイン検出を行って、積算信号IC,,c3を出力する。第6の参照信号は、第3の周波数(c)および第1の初期位相を有する。
 また、ロックインアンプ35は、第8の参照信号(C(t)=cos(ct))を用いてロックイン検出を行って、積算信号IC,,c4を出力する。第8の参照信号は、第4の周波数(c)および第1の初期位相を有する。また、ロックインアンプ35は、第10の参照信号(C(t)=cos(ct))を用いてロックイン検出を行って、積算信号IC,,c5を出力する。第10の参照信号は、第5の周波数(c)および第1の初期位相を有する。また、ロックインアンプ35は、第12の参照信号(C(t)=cos(ct))を用いてロックイン検出を行って、積算信号IC,,c6を出力する。第12の参照信号は、第6の周波数(c)および第1の初期位相を有する。6つの周波数c、c、c、c、c、cの関係は、上記の[表3]と同様である。画像処理部41は、積算信号IC,c1、IC,c2、IC,c3、IC,c4、IC,c5、IC,c6を用いて試料Xの画像を生成してもよい。
[変形例]
 次に、変形例について説明する。上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。
 図20(A)は、変形例に係る構造化照明装置2を示す図である。構造化照明装置2は、光源部10、位相調整部50、及び光射出部51を備える。構造化照明装置2は、光源部10からの励起光を、位相調整部50を介して光射出部51から射出する。光射出部51は、瞳面P0と光学的に共役な位置(図1の瞳共役面P1)に配置される。光射出部51と試料Xとの間の光学系は、第1実施形態と同様であり、図20にはその図示を省略した。
 光源部10は、複数の光源52(第1光源52a、第2光源52b、第3光源52c)を備える。光源部10は、制御部41に制御され、複数の光源52のうち点灯させる光源を択一的に切り替え可能である。第1光源52a、第2光源52b、及び第3光源52cは、いずれも、試料Xに含まれる蛍光物質の励起波長を含む波長帯の光を射出し、例えば同じ波長帯の光を射出する。
 第1位相調整部50aは、第1光源52aからの励起光を2光束に分岐するとともに、分岐した2光束間の位相差を調整する。第1位相調整部50aで分岐した一方の光束は、光ファイバ53aを介して光射出部51の射出部54aに導かれ、他方の光束は光ファイバ53bを介して射出部54bに導かれる。射出部54aおよび射出部54bは、光軸11aに関して対称的な位置に配置される。第1位相調整部50aは、制御部41に制御され、射出部54aおよび射出部54bから射出される2光束間の位相差を調整することによって、2光束干渉により生成される干渉縞を試料面上で平行移動する。
 第2位相調整部50bは、第2光源52bからの励起光を2光束に分岐するとともに、制御部41に制御され、分岐した2光束間の位相差を調整する。第2位相調整部50bで分岐した一方の光束は、光ファイバ53cを介して光射出部51の射出部54cに導かれ、他方の光束は光ファイバ53dを介して射出部54dに導かれる。射出部54cおよび射出部54dは、光軸11aに関して対称的な位置に配置される。射出部54cと射出部54dとを結ぶ線は、射出部54aと射出部54bとを結ぶ線と、時計回りを正として120°の角度をなしている。第2位相調整部50bは、制御部41に制御され、射出部54cおよび射出部54dから射出される2光束間の位相差を調整することによって、2光束干渉により生成される干渉縞を試料面上で平行移動する。
 第3位相調整部50cは、第3光源52cからの励起光を2光束に分岐するとともに、分岐した2光束間の位相差を調整する。第3位相調整部50cで分岐した一方の光束は、光ファイバ53eを介して光射出部51の射出部54eに導かれ、他方の光束は光ファイバ53fを介して射出部54fに導かれる。射出部54eおよび射出部54fは、光軸11aに関して対称的な位置に配置される。射出部54eと射出部54fとを結ぶ線は、射出部54cと射出部54dとを結ぶ線と、時計回りを正として120°の角度をなしている。第3位相調整部50cは、制御部41に制御され、射出部54eおよび射出部54fから射出される2光束間の位相差を調整することにより、2光束干渉により生成される干渉縞を試料面上で平行移動する。
 図20(B)は、構造化照明装置2の動作を示すタイミングチャートである。光検出器は、ロックインアンプの積算期間Tの間に、観察光の入射による電荷の蓄積を複数回数行う。制御部41は、光検出器の電荷蓄積期間ごとに、第1光源52a、第2光源52b、及び第3光源52cをパルス駆動する。
 制御部41は、光検出器の電荷蓄積期間Tqの間に、第1光源52aを点灯状態とし、第2光源52bおよび第3光源52cを消灯状態にする。また、制御部41は、第1光源52aが点灯状態である期間に、第1光源52からの励起光を分岐した2光束の位相差を第1位相調整部50aにより調整させる。
 制御部41は、光検出器の電荷蓄積期間Tqの間に、第1光源52aを消灯状態とした後に、第2光源52bを点灯状態とし、第3光源52cの消灯状態を維持する。また、制御部41は、第2光源52bが点灯状態である期間に、第2光源52からの励起光を分岐した2光束の位相差を第2位相調整部50bにより調整させる。
 制御部41は、光検出器の電荷蓄積期間Tqの間に、第2光源52bを消灯状態とした後に、第3光源52cを点灯状態とし、第1光源52aの消灯状態を維持する。また、制御部41は、第3光源52cが点灯状態である期間に、第3光源52からの励起光を分岐した2光束の位相差を第3位相調整部50cにより調整させる。
 構造化照明顕微鏡1は、以上のような電荷蓄積期間Tqを繰り返し、ロックイン検出を行って、復調画像を生成する。複数の光源52を重複させずに点灯させるので、復調画像の生成に用いない干渉縞の発生を抑制することができる。
 なお、第1光源52a、第2光源52b、及び第3光源52cは、射出する励起光の波長帯が、蛍光物質の励起波長を含む範囲内で互いに異なっていてもよい。第1光源52a、第2光源52b、及び第3光源52cは、射出する励起光が互いに干渉しないように、射出する励起光の波長帯が互いに異なっていてもよい。第1光源52a、第2光源52b、及び第3光源52cが射出する励起光のコヒーレンスが無視できる場合、第1光源52a、第2光源52b、及び第3光源52の少なくとも2つが同時に点灯状態になっていてもよい。
 なお、図20の構造化照明装置2は、2D-SIMに適用した例であるが、3D-SIMに適用することもできる。3D-SIMに適用する場合、例えば、光射出部51における光軸11aの部分に、第2実施形態で説明した0次回折光(図8中に実線で示す光束)に相当する光束を射出する射出部を設ける。この射出部は、第1光源52aからの励起光、第2光源52bからの励起光、及び第3光源52cからの励起光のそれぞれに対してコヒーレンスを有する励起光を射出する。この射出部は、例えば、第1光源52aから励起光が射出される期間と、第2光源52bから励起光が射出される期間と、第3光源52cから励起光が射出される期間とに、間欠的または連続的に励起光を射出する。
 図21は、変形例に係る構造化照明装置2を示す図である。構造化照明装置2において、レンズ20から試料Xまでの光学系は、第1実施形態あるいは第2実施形態と同様であり、その図示を省略した。
 図21(A)に示すように、構造化照明装置2は、光源部10、及び分岐部15を備える。光源部10は、第1光源52a、第2光源52b、及び第3光源52cを含む。第1光源52a、第2光源52b、及び第3光源52cは、射出する励起光の波長が、蛍光物質の励起波長を含む範囲内で互いに異なる。2光源間の励起光の波長の差は、例えば、10nm~20nm程度である。
 分岐部15は、回折部60および駆動部17を備える。回折部60(図21(B)参照)は、回折格子16a、回折格子16b、回折格子16c、及び保持部材61を備える。回折格子16a~16cは、周期方向が互いに異なる。例えば、回折格子16bの周期方向は、回折格子16aの周期方向と、時計回りを正として120°の角度をなす。また、回折格子16cの周期方向は、回折格子16bの周期方向と、時計回りを正として120°の角度をなす。回折格子16a~16cは、いずれも保持部材61に保持され、ユニット化されている。
 第1光源52aからの励起光は、集光レンズ62aにより集光され、光ファイバ63aおよびコリメータ64aを介して、回折格子16aに導かれる。第2光源52bからの励起光は、集光レンズ62bにより集光され、光ファイバ63bおよびコリメータ64bを介して、回折格子16bに導かれる。第3光源52cからの励起光は、集光レンズ62cにより集光され、光ファイバ63cおよびコリメータ64cを介して、回折格子16cに導かれる。
 図21(B)に示すように、駆動部17は、ユニット化された回折格子16a~16c(回折部60)を一括して移動させる。回折部60の移動方向は、例えば、2D-SIMの場合には図12(B)と同様であり、3D-SIMの場合には図17と同様である。なお、回折格子16a~16cの少なくとも1つは、他の回折格子とユニット化されていなくてもよい。例えば、駆動部17は、回折格子16a~16cを個別に移動させてもよい。回折格子16a~16cを個別に移動させる場合の移動方向は、ユニット化されている場合と同様である。
 回折格子16aの光出射側には、レンズ20に向かう順にミラー65a、ダイクロイックミラー66a、及びダイクロイックミラー66bが設けられる。回折格子16bの光出射側には、レンズ20に向かう順にダイクロイックミラー66a、及びダイクロイックミラー66bが設けられる。回折格子16cの光出射側には、レンズ20に向かう順にミラー65b、及びダイクロイックミラー66bが設けられる。
 ダイクロイックミラー66aは、第1光源52aからの励起光が反射し、第2光源52bからの励起光が透過する特性を有する。ダイクロイックミラー66bは、第1光源52aからの励起光および第2光源52bからの励起光が透過し、第3光源52cからの励起光が反射する特性を有する。
 回折格子16aからの励起光は、ミラー65aおよびダイクロイックミラー66aで反射し、ダイクロイックミラー66bを透過してレンズ20に入射する。回折格子16bからの励起光は、ダイクロイックミラー66aおよびダイクロイックミラー66bを透過してレンズ20に入射する。回折格子16cからの励起光は、ミラー65bおよびダイクロイックミラー66bで反射してレンズ20に入射する。第1光源52aからの励起光、第2光源52bからの励起光、第3光源52cからの励起光は、それぞれ干渉縞を形成し、3種の干渉縞が試料面上で重ねあわされる。
 なお、構造化照明顕微鏡1は、回折格子16を平行移動させる以外の手法により、試料面上で干渉縞を移動させてもよい。言い換えると、構造化照明顕微鏡1は、回折格子16を平行移動させる以外の手法により、干渉縞の位相を変化させてもよい。例えば、分岐部15は、強誘電性液晶を用いた光変調器を備え、強誘電性液晶に印加する電圧パターンを変化させることにより、干渉縞を移動させてもよい。言い換えると、例えば、分岐部15は、強誘電性液晶を用いた光変調器を備え、強誘電性液晶に印加する電圧パターンを変化させることにより、干渉縞の位相を変化させてもよい。また、分岐部15は、音響光学素子(AOM)を備え、音響光学素子に発生する進行波により、干渉縞を移動させてもよい。言い換えると、分岐部15は、音響光学素子(AOM)を備え、音響光学素子に発生する進行波により、干渉縞の位相を変化させてもよい。また、分岐部15は、音響光学素子に発生する定常波の位置を変化させることにより、干渉縞を移動させてもよい。言い換えると、分岐部15は、音響光学素子に発生する定常波の位置を変化させることにより、干渉縞の位相を変化させてもよい。つまり、強誘電性液晶を用いた光変調器や、音響光学素子を回折部材として用いることができる。
 図22は、変形例に係る構造化照明顕微鏡を示す図である。この構造化照明顕微鏡1は、画像処理部40に設けられた検出部70を備える。検出部70は、撮像素子32から出力される検出信号を所定周波数の成分でロックイン検出する。例えば、撮像装置3は、高速度ビデオカメラを有し、記憶部(図示せず)は、撮像素子32(第1検出部)から出力されるデータを記憶する。画像処理部40の検出部70(第2検出部)は、このデータを使って図5、図9、図13、図15、図16、あるいは図19に示した乗算器および積分器の処理と同様の演算を実行し、積算信号(積算値)を算出する。検出部70は、例えばコンピュータの演算部が乗算器および積分器の処理と同様の演算を実行することで、実現される。このように、構造化照明顕微鏡1は、図1などに示したロックインアンプ35を備えていなくてもよい。
 構造化照明顕微鏡には高速化が期待される。例えば、生物の試料である場合、複数の変調画像を取得する間に試料が移動などにより変化することがある。また、蛍光観察を行う場合、複数の変調画像を取得する間に、褪色の影響が顕著になる可能性がある。上述の実施形態によれば、高速化が可能な構造化照明顕微鏡、観察方法、及びプログラムを提供することができる。
 上述の各実施形態において、制御装置4は、例えばコンピュータシステムを含む。制御装置4は、例えば、記憶装置6に記憶されているプログラム(例、観察プログラム)を読み出し、このプログラムに従って、各種の処理を実行させる。このプログラムは、コンピュータに、試料に含まれる蛍光物質を励起するための励起光を干渉縞で試料に照射させ、干渉縞の位相を変化させる制御と、試料からの光を少なくとも1つの周波数でロックイン検出させる制御と、ロックイン検出された信号の少なくとも一部を用いて、試料の画像を生成することと、を実行させる。このプログラムは、制御プログラムと、画像処理プログラムとに分かれて提供されてもよい。上記の制御プログラムは、コンピュータに、試料に含まれる蛍光物質を励起するための励起光を干渉縞で試料に照射させ、干渉縞の位相を変化させる制御と、試料からの光を少なくとも1つの周波数でロックイン検出させる制御と、を実行させる。上記の画像処理プログラムは、コンピュータに、ロックイン検出された信号の少なくとも一部を用いて、試料の画像を生成することを実行させる。上述のプログラムは、コンピュータ読み取り可能な記録媒体に記録されて提供されてもよい。
 なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の1つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。
1・・・構造化照明顕微鏡、11・・・照明光学系、15・・・分岐部、31・・・結像光学系、32・・・撮像素子、35・・・ロックインアンプ、40・・・復調部、41・・・制御部

Claims (20)

  1.  試料に含まれる蛍光物質を励起するための励起光を、干渉縞で前記試料に照射する照明光学系と、
     前記干渉縞の位相を変化させる制御部と、
     前記試料からの光を少なくとも1つの周波数でロックイン検出する検出部と、
     前記ロックイン検出された信号の少なくとも一部を用いて、前記試料の画像を生成する画像処理部と、を備える構造化照明顕微鏡。
  2.  前記検出部は2相ロックイン検出を行う、請求項1に記載の構造化照明顕微鏡。
  3.  前記干渉縞は、第1の空間周波数成分を有し、
     前記検出部は、第1の周波数でロックイン検出を行う、請求項1又は請求項2に記載の構造化照明顕微鏡。
  4.  前記干渉縞は、第1の空間周波数成分および第2の空間周波数成分を有し、
     前記検出部は、第1の周波数および第2の周波数でロックイン検出を行う、請求項1又は請求項2に記載の構造化照明顕微鏡。
  5.  前記干渉縞は、第1の空間周波数成分と、第2の空間周波数成分と、第3の空間周波数成分を有し、
     前記検出部は、第1の周波数、第2の周波数および第3の周波数でロックイン検出を行う、請求項1又は請求項2に記載の構造化照明顕微鏡。
  6.  前記干渉縞は、第1の空間周波数成分と、第2の空間周波数成分と、第3の空間周波数成分を有し、第4の空間周波数成分と、第5の空間周波数成分と、第6の空間周波数成分を有し、
     前記検出部は、第1の周波数、第2の周波数、第3の周波数、第4の周波数、第5の周波数および第6の周波数でロックイン検出を行う、請求項1又は請求項2に記載の構造化照明顕微鏡。
  7.  前記検出部は、
     前記試料からの光を受光する第1検出部と、
     前記第1検出部から出力された検出信号を前記少なくとも1つの周波数でロックイン検出する第2検出部と、を備える、請求項1から請求項6のいずれか一項に記載の構造化照明顕微鏡。
  8.  前記第1検出部は撮像素子であり、
     前記第2検出部はロックインアンプである、請求項7に記載の構造化照明顕微鏡。
  9.  前記検出部は、前記検出信号の直流成分と交流成分とを分離するフィルタを備え、
     前記第2検出部は、前記検出信号の少なくとも前記交流成分を用いてロックイン検出を行う、請求項7又は請求項8に記載の構造化照明顕微鏡。
  10.  試料に含まれる蛍光物質を励起するための励起光を、干渉縞で前記試料に照射する照明光学系と、
     前記干渉縞の位相を変化させる制御部と、
     前記試料からの光を少なくとも1つの周波数でロックイン検出する検出部と、
     前記ロックイン検出された信号の少なくとも一部を用いて、前記試料の画像を生成する画像処理部と、を備え、
     前記検出部は、
     前記試料からの光を受光する第1検出部と、
     前記第1検出部から出力された検出信号を前記少なくとも1つの周波数でロックイン検出する第2検出部と、を備える、構造化照明顕微鏡。
  11.  前記第1検出部は撮像素子であり、
     前記第2検出部はロックインアンプである、請求項10に記載の構造化照明顕微鏡。
  12.  前記検出部は、前記検出信号の直流成分と交流成分とを分離するフィルタを備え、
     前記第2検出部は、前記検出信号の少なくとも前記交流成分を用いてロックイン検出を行う、請求項10又は請求項11に記載の構造化照明顕微鏡。
  13.  前記干渉縞は、第1の空間周波数成分を有し、
     前記第2検出部は、
     第1の周波数および第1の初期位相を有する参照信号と前記検出信号の少なくとも一部とを掛け合わせて積算した信号と、
     第1の周波数および第2の初期位相を有する参照信号と前記検出信号の少なくとも一部とを掛け合わせて積算した信号と、
     前記検出信号の少なくとも一部を積算した信号と、を出力する、請求項10から請求項12のいずれか一項に記載の構造化照明顕微鏡。
  14.  前記干渉縞は、第1の空間周波数成分および第2の空間周波数成分を有し、
     前記第2検出部は、
     第1の周波数および第1の初期位相を有する参照信号と前記検出信号の少なくとも一部とを掛け合わせて積算した信号と、
     第1の周波数および第2の初期位相を有する参照信号と前記検出信号の少なくとも一部とを掛け合わせて積算した信号と、
     第2の周波数および第1の初期位相を有する参照信号と前記検出信号の少なくとも一部とを掛け合わせて積算した信号と、
     第2の周波数および第2の初期位相を有する参照信号と前記検出信号の少なくとも一部とを掛け合わせて積算した信号と、
     前記検出信号の少なくとも一部を積算した信号と、を出力する、請求項10から請求項12のいずれか一項に記載の構造化照明顕微鏡。
  15.  前記干渉縞は、第1の空間周波数成分と、第2の空間周波数成分と、第3の空間周波数成分を有し、
     前記第2検出部は、
     第1の周波数および第1の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
     第1の周波数および第2の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
     第2の周波数および第1の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
     第2の周波数および第2の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
    第3の周波数および第1の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
     第3の周波数および第2の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
     前記検出信号の少なくとも一部を積算した信号と、を出力する、請求項10から請求項12のいずれか一項に記載の構造化照明顕微鏡。
  16.  前記干渉縞は、第1の空間周波数成分と、第2の空間周波数成分と、第3の空間周波数成分を有し、
     前記第2検出部は、
     第1の周波数および第1の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
     第2の周波数および第1の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
    第3の周波数および第1の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、を出力する、請求項10から請求項12のいずれか一項に記載の構造化照明顕微鏡。
  17.  前記干渉縞は、第1の空間周波数成分と、第2の空間周波数成分と、第3の空間周波数成分を有し、第4の空間周波数成分と、第5の空間周波数成分と、第6の空間周波数成分を有し、
     前記第2検出部は、
     第1の周波数および第1の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
     第1の周波数および第2の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
     第2の周波数および第1の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
     第2の周波数および第2の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
    第3の周波数および第1の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
     第3の周波数および第2の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
    第4の周波数および第1の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
     第4の周波数および第2の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
     第5の周波数および第1の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
     第5の周波数および第2の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
    第6の周波数および第1の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
     第6の周波数および第2の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
     前記検出信号の少なくとも一部を積算した信号と、を出力する、請求項10から請求項12のいずれか一項に記載の構造化照明顕微鏡。
  18.  前記干渉縞は、第1の空間周波数成分と、第2の空間周波数成分と、第3の空間周波数成分を有し、第4の空間周波数成分と、第5の空間周波数成分と、第6の空間周波数成分を有し、
     前記第2検出部は、
     第1の周波数および第1の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
     第2の周波数および第1の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
     第3の周波数および第1の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
     第4の周波数および第1の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
     第5の周波数および第1の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
    第6の周波数および第1の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、を出力する、請求項10から請求項12のいずれか一項に記載の構造化照明顕微鏡。
  19.  試料に含まれる蛍光物質を励起するための励起光を、干渉縞で前記試料に照射することと、
     前記干渉縞の位相を変化させることと、
     前記試料からの光を少なくとも1つの周波数でロックイン検出することと、
     前記ロックイン検出された信号の少なくとも一部を用いて、前記試料の画像を生成することと、を含む観察方法。
  20.  コンピュータに、
     試料に含まれる蛍光物質を励起するための励起光を干渉縞で前記試料に照射させ、前記干渉縞の位相を変化させる制御と、
     前記試料からの光を少なくとも1つの周波数でロックイン検出させる制御と、
     前記ロックイン検出された信号の少なくとも一部を用いて、前記試料の画像を生成することと、を実行させるプログラム。
PCT/JP2017/005356 2017-02-14 2017-02-14 構造化照明顕微鏡、観察方法、及びプログラム WO2018150471A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/005356 WO2018150471A1 (ja) 2017-02-14 2017-02-14 構造化照明顕微鏡、観察方法、及びプログラム
JP2019500074A JPWO2018150471A1 (ja) 2017-02-14 2017-02-14 構造化照明顕微鏡、観察方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/005356 WO2018150471A1 (ja) 2017-02-14 2017-02-14 構造化照明顕微鏡、観察方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2018150471A1 true WO2018150471A1 (ja) 2018-08-23

Family

ID=63170651

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/005356 WO2018150471A1 (ja) 2017-02-14 2017-02-14 構造化照明顕微鏡、観察方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2018150471A1 (ja)
WO (1) WO2018150471A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496463A (zh) * 2020-03-19 2021-10-12 深圳华大生命科学研究院 图像重构方法、系统、电子装置及存储介质
GB2605310A (en) * 2020-01-17 2022-09-28 Element Biosciences Inc High performance fluorescence imaging module for genomic testing assay

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012078827A (ja) * 2010-09-30 2012-04-19 Carl Zeiss Microimaging Gmbh 顕微鏡システム、顕微鏡法、及び記憶媒体
WO2015162921A1 (ja) * 2014-04-25 2015-10-29 株式会社ニコン 構造化照明顕微鏡装置及び構造化照明観察方法
WO2016151666A1 (ja) * 2015-03-20 2016-09-29 株式会社ニコン 構造化照明顕微鏡、観察方法、及び画像処理プログラム
WO2016151665A1 (ja) * 2015-03-20 2016-09-29 株式会社ニコン 構造化照明顕微鏡、観察方法、及び画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012078827A (ja) * 2010-09-30 2012-04-19 Carl Zeiss Microimaging Gmbh 顕微鏡システム、顕微鏡法、及び記憶媒体
WO2015162921A1 (ja) * 2014-04-25 2015-10-29 株式会社ニコン 構造化照明顕微鏡装置及び構造化照明観察方法
WO2016151666A1 (ja) * 2015-03-20 2016-09-29 株式会社ニコン 構造化照明顕微鏡、観察方法、及び画像処理プログラム
WO2016151665A1 (ja) * 2015-03-20 2016-09-29 株式会社ニコン 構造化照明顕微鏡、観察方法、及び画像処理プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2605310A (en) * 2020-01-17 2022-09-28 Element Biosciences Inc High performance fluorescence imaging module for genomic testing assay
GB2605310B (en) * 2020-01-17 2023-05-24 Element Biosciences Inc Method for imaging molecules in a flow cell
CN113496463A (zh) * 2020-03-19 2021-10-12 深圳华大生命科学研究院 图像重构方法、系统、电子装置及存储介质

Also Published As

Publication number Publication date
JPWO2018150471A1 (ja) 2019-12-19

Similar Documents

Publication Publication Date Title
JP5888416B2 (ja) 構造化照明顕微鏡装置
JP4123305B2 (ja) 画像作成方法および顕微鏡装置
JP6540760B2 (ja) 構造化照明顕微鏡、構造化照明方法、及びプログラム
US8019136B2 (en) Optical sectioning microscopy
US9897790B2 (en) Structured illumination device and structured illumination microscope device
US8817088B2 (en) Sample observation device for generating super resolution image
WO2015052936A1 (ja) 構造化照明顕微鏡装置
WO2007043314A1 (ja) 顕微鏡装置
JP2007199397A (ja) 顕微鏡装置
WO2017068620A1 (ja) 構造化照明顕微鏡、観察方法、及び顕微鏡制御プログラム
JP2006268004A (ja) 顕微鏡装置
US20150042780A1 (en) 4f-based optical phase imaging system
WO2019053768A1 (ja) 顕微鏡および観察方法
WO2018150471A1 (ja) 構造化照明顕微鏡、観察方法、及びプログラム
JP5278522B2 (ja) 顕微鏡装置
WO2016151666A1 (ja) 構造化照明顕微鏡、観察方法、及び画像処理プログラム
JP6413364B2 (ja) 照明光学系及び顕微鏡装置
WO2014064935A1 (ja) 撮像装置及び顕微鏡システム
JP5892410B2 (ja) 走査型顕微鏡
JP6286982B2 (ja) 構造化照明顕微鏡装置
WO2020179039A1 (ja) 顕微鏡および観察方法
JP2020020929A (ja) 顕微鏡、観察方法、及び制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17896774

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019500074

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17896774

Country of ref document: EP

Kind code of ref document: A1