WO2019176121A1 - 構造化照明装置、構造化照明顕微鏡 - Google Patents

構造化照明装置、構造化照明顕微鏡 Download PDF

Info

Publication number
WO2019176121A1
WO2019176121A1 PCT/JP2018/010662 JP2018010662W WO2019176121A1 WO 2019176121 A1 WO2019176121 A1 WO 2019176121A1 JP 2018010662 W JP2018010662 W JP 2018010662W WO 2019176121 A1 WO2019176121 A1 WO 2019176121A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical
light
wavelength
structured
sample
Prior art date
Application number
PCT/JP2018/010662
Other languages
English (en)
French (fr)
Inventor
亮介 小松
範夫 三宅
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to PCT/JP2018/010662 priority Critical patent/WO2019176121A1/ja
Publication of WO2019176121A1 publication Critical patent/WO2019176121A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes

Definitions

  • the present invention relates to a structured illumination device and a structured illumination microscope.
  • a super-resolution microscope is effective for observation of specimens such as living cells.
  • a structured illumination microscope which is a kind of super-resolution microscope, is a microscope that can acquire information on a fine structure with a high spatial frequency by illuminating a specimen with interference fringes (for example, Patent Documents). 1).
  • a structured illumination apparatus exemplifying the present invention includes an optical branching device that branches light from a light source into a plurality of lights, and illumination optics that forms interference fringes on a sample using at least a part of the plurality of branched lights. And a control unit that controls a voltage pattern applied to the optical branching unit, and the control unit is configured such that when the light having the first wavelength is incident on the optical branching unit, the first voltage pattern is Control is performed such that the second voltage pattern is applied to the optical splitter when light having a second wavelength is incident on the optical splitter.
  • Another structured illumination apparatus exemplifying the present invention forms an interference fringe on a sample using an optical branching device that branches light from a light source into a plurality of lights and at least a part of the plurality of branched lights.
  • An illumination optical system and a control unit that controls a voltage applied to the optical branching unit, wherein the control unit is configured to first apply light to the sample when light having a first wavelength is incident on the optical branching unit.
  • the voltage applied to the optical splitter is controlled so that the second interference fringe is formed on the sample.
  • Yet another structured illumination device that exemplifies the present invention includes an optical branching device that branches light from a light source into a plurality of lights, an objective lens, and uses at least a part of the plurality of branched lights.
  • An illumination optical system that forms an interference fringe on the sample; and a control unit that controls a voltage pattern applied to the optical branching unit, wherein the control unit makes light of a first wavelength incident on the optical branching unit.
  • a first voltage pattern is applied to the optical splitter, and a second voltage pattern is applied to the optical splitter when light having a second wavelength is incident on the optical splitter. To be controlled.
  • a structured illumination microscope exemplifying the present invention includes the structured illumination device, an imaging optical system that forms an image by imaging light from the sample, an imaging unit that captures the formed image, An image processing unit configured to generate an image of the specimen using a plurality of images captured by the imaging unit.
  • FIG. 1 is a configuration diagram of a structured illumination microscope system 1 according to a first embodiment.
  • FIG. It is a figure explaining SLM13. It is a figure explaining the cell of SLM13.
  • 3 is a diagram illustrating a configuration example of a light beam selection unit 100.
  • FIG. It is a figure which shows the state of the polarization in the element shown in FIG. It is a figure which shows the example of the mask. It is a figure explaining the relationship between the objective lens 6 and the sample 5.
  • FIG. It is a schematic diagram which shows an example of the lattice pattern formed in SLM13. It is a figure explaining the change of the height of the condensing point of the ⁇ 1st-order diffracted light beam in the pupil plane 6A.
  • a structured illumination microscope (2D-SIM: Two-Dimensional Structured Illumination Microscopy) system using two-beam interference
  • 2D-SIM Two-Dimensional Structured Illumination Microscopy
  • TIRFM total internal reflection fluorescence microscope
  • FIG. 1 is a configuration diagram of the structured illumination microscope system 1.
  • the structured illumination microscope system 1 includes a laser unit 300 that is a light source, an optical fiber 11, an illumination optical system 10, an imaging optical system 30, an imaging element 35 that is an imaging unit, and a control.
  • a control device 39 that is an image processing unit, an image storage / arithmetic device 40 that is an image processing unit, an image display device 45 that is a display unit, a stage 50, and a specimen 5 are arranged.
  • the laser unit 300, the optical fiber 11, the illumination optical system 10, the control device 39 and the image display device 45 constitute a structured illumination device.
  • the structured lighting device may not include the laser unit 300, the optical fiber 11, the image display device 45, and the like.
  • the laser unit 300 includes a first laser light source 301, a second laser light source 302, shutters 303 and 304, a mirror 305, a dichroic mirror 306, and a lens 307.
  • Each of the first laser light source 301 and the second laser light source 302 is a coherent light source, and the emission wavelengths thereof are different from each other.
  • the wavelength ⁇ 1 (first wavelength) of the first laser light source 301 is longer than the wavelength ⁇ 2 (second wavelength) of the second laser light source 302 ( ⁇ 1> ⁇ 2).
  • the first laser light source 301, the second laser light source 302, and the shutters 303 and 304 are driven by the control device 39, respectively.
  • the optical fiber 11 is composed of, for example, a polarization-preserving single mode fiber in order to guide the laser light emitted from the laser unit 300.
  • the illumination optical system 10 is, for example, an epi-illumination illumination optical system that illuminates the specimen 5 placed on the stage 50 with laser light.
  • the illumination optical system 10 includes a collector lens 12, a polarizing plate 23, a polarization beam splitter (PBS) 14, a diffraction grating 13 that is an optical splitter, a condenser lens 16, and a light beam selection unit that is a light selection unit.
  • PBS polarization beam splitter
  • a condenser lens diffraction grating 13 that is an optical splitter
  • a condenser lens 16 and a light beam selection unit that is a light selection unit.
  • a condenser lens 25 a field stop 26, a field lens 27, an excitation filter 28, a dichroic mirror 7, and an objective lens 6 are disposed.
  • the diffraction grating 13 of the illumination optical system 10 is, for example, a light modulator (LM).
  • the diffraction grating 13 of the illumination optical system 10 is, for example, a spatial light modulator (SLM).
  • SLM spatial light modulator
  • a driver 13A which is a liquid crystal driving circuit, is connected to the SLM 13.
  • An optical modulator is an element and device that changes the intensity and phase of light.
  • the spatial light modulator is an element and device that changes the intensity or phase distribution two-dimensionally with respect to the spatial distribution of light intensity and phase.
  • the imaging optical system 30 is an imaging optical system that forms an image of the sample 5 on the imaging surface 36 of the imaging element 35.
  • an objective lens 6, a dichroic mirror 7, a barrier filter 31, and an imaging lens 32 are arranged.
  • the objective lens 6 and the dichroic mirror 7 of the imaging optical system 30 are also used as the illumination optical system 10.
  • the objective lens 6 is an immersion type objective lens such as an oil immersion type.
  • the specimen 5 is a biological specimen such as a cultured cell or tissue section having a thickness of several ⁇ m to several tens of ⁇ m, for example.
  • the specimen 5 is composed of a parallel flat cover glass 5g and a culture solution 5c dropped on the surface of the cover glass 5g.
  • Living cells are cultured inside the culture solution 5c, and a fluorescent substance is expressed inside the living cells.
  • the wavelengths ⁇ 1 and ⁇ 2 described above are set to values corresponding to the excitation wavelengths of the fluorescent materials.
  • symbol 6i of FIG. 7 is immersion liquid (oil).
  • the image sensor 35 is a two-dimensional image sensor such as a CCD or a CMOS, and images an image formed on the imaging surface 36 to generate an image (a modulated image described later).
  • the image generated by the image sensor 35 is taken into the image storage / arithmetic device 40 via the control device 39.
  • Stage 50 supports specimen 5.
  • the distance between the objective lens 6 and the sample 5 is adjusted by moving the objective lens 6 along the optical axis AZ of the objective lens 6 by a control device 39 described later. Thereby, the depth of the focal plane P of the objective lens 6 in the sample 5 is adjusted.
  • the focal plane P is an observation target plane of the structured illumination microscope system 1.
  • the focal plane P of the objective lens 6 is referred to as “observation target plane P”. Note that the distance between the objective lens 6 and the sample 5 may be adjusted by moving the stage 50 along the optical axis AZ of the objective lens 6 by the control device 39.
  • the control device 39 controls the driver 13A, the light beam selection unit 100, the image sensor 35, the stage 50, the laser unit 300, and the objective lens 6, and acquires a plurality of modulated images necessary for super-resolution.
  • the image storage / calculation device 40 creates a fluorescence super-resolution image based on the plurality of modulated images acquired by the control device 39.
  • Laser light emitted from the laser unit 300 propagates inside the optical fiber 11, and then forms a point light source at the emission end of the optical fiber 11, and is emitted as a divergent light beam from the point light source.
  • the divergent light beam is converted into a parallel light beam by the collector lens 12 and then passes through the polarizing plate 23 to adjust the polarization direction.
  • the parallel light flux whose polarization direction is adjusted enters the PBS 14, it is reflected by the polarization separation surface of the PBS 14 and enters the SLM 13 from the front.
  • the axis of the polarizing plate 23 is set so that the parallel light flux from the polarizing plate 23 toward the polarization separation surface of the PBS 14 becomes S-polarized light. Therefore, the parallel light beam directed toward the polarization separation surface of the PBS 14 is guided to the SLM 13 with high efficiency.
  • the parallel light beam incident on the SLM 13 is diffracted and reflected by the SLM 13 and branched into a plurality of diffracted light beams having different angles.
  • FIG. 1 only three light beams of a 0th-order diffracted light beam, a 1st-order diffracted light beam, and a ⁇ 1st-order diffracted light beam are shown.
  • the plurality of diffracted light beams emitted from the SLM 13 enter the PBS 14 and then pass through the polarization separation surface of the PBS 14 and enter the condenser lens 16 at different angles.
  • the plurality of diffracted light beams incident on the condensing lens 16 are subjected to the condensing action of the condensing lens 16 and are condensed toward mutually different positions on the pupil conjugate surface 6A ′.
  • the pupil conjugate plane 6A ′ is a plane conjugate with the pupil plane 6A of the objective lens 6 with respect to the field lens 27 and the condenser lens 25.
  • the “conjugate surface” mentioned here includes a surface determined by a person skilled in the art in consideration of design necessary items such as aberration and vignetting of the objective lens 6, the field lens 27, the condenser lens 25, and the like.
  • the light beam selection unit 100 allows the ⁇ first-order diffracted light beam among the received diffracted light beams to pass through and shields the 0th-order diffracted light beam and the second and higher-order diffracted light beams.
  • a configuration example of the light beam selection unit 100 will be described with reference to FIG.
  • the ⁇ first-order diffracted light beams that have passed through the light beam selection unit 100 are incident on the image conjugate plane at different angles when receiving the condensing action of the lens 25, and form a primary image of the SLM 13 on the image conjugate plane.
  • a field stop 26 is disposed on the image conjugate plane.
  • Each of the ⁇ first-order diffracted light beams emitted from the image conjugate plane is converted into a convergent light beam by the field lens 27, reflected by the dichroic mirror 7 after passing through the excitation filter 28, and different positions on the pupil plane 6A of the objective lens 6. Concentrate toward.
  • the interference fringes correspond to a secondary image of the SLM 13 formed by the condenser lens 16, the condenser lens 25, the field lens 27, and the objective lens 6. That is, the condenser lens 16, the condenser lens 25, the field lens 27, and the objective lens 6 as a whole have a “projection optical system” function that projects the image of the SLM 13 onto the observation target plane P.
  • the spatial frequency of the density distribution of the fluorescent material on the observation target surface P is shifted to a frequency lower by the magnitude of the spatial frequency K of the interference fringes, so that the fineness of the fluorescent material is reduced.
  • This has the function of transmitting various structural information to the image side of the objective lens 6.
  • Fluorescence generated at each position on the observation target surface P is incident on the tip of the objective lens 6, is emitted as a parallel light beam, and enters the imaging lens 32 via the dichroic mirror 7 and the barrier filter 31.
  • the parallel light beam incident on the imaging lens 32 is subjected to the condensing action of the imaging lens 32 to form a fluorescent image of the observation target surface P on the imaging surface 36 of the imaging device 35.
  • This fluorescent image is a modulated image modulated by an interference fringe pattern.
  • the fluorescent image on the imaging surface 36 is imaged by the imaging device 35.
  • An image obtained by this imaging is a “modulated image” on which an interference fringe pattern is superimposed.
  • This modulated image is taken into the image storage / arithmetic unit 40 via the control device 39 and demodulated in the image storage / arithmetic unit 40.
  • a fluorescence super-resolution image of the observation target surface P is generated.
  • the fluorescence super-resolution image is stored in an internal memory (not shown) of the image storage / calculation device 40 and displayed on the image display device 45.
  • the method described in US Pat. No. 8,115,806 can be used, but the method is not limited to this method.
  • the excitation filter 28 has a function of transmitting light having the same wavelength as laser light and blocking light having the same wavelength as fluorescence.
  • the dichroic mirror 7 has a function of reflecting light having the same wavelength as laser light and transmitting light having the same wavelength as fluorescence.
  • the barrier filter 31 has a function of transmitting light having the same wavelength as fluorescence and blocking light having other wavelengths (leakage light).
  • the SLM 13 as a diffraction grating will be described.
  • the SLM 13 has a number of reflective liquid crystal cells (also referred to as “pixels Px”) arranged two-dimensionally.
  • the number of cells arranged is smaller than the actual number.
  • the liquid crystal in each cell is, for example, a ferroelectric liquid crystal, and the ellipse in FIG. 2 schematically represents liquid crystal molecules viewed from the front of the SLM 13.
  • the reference axis is an axis indicating an intermediate direction between the direction of liquid crystal molecules in the turned-on cell (see FIG. 3A) and the direction of liquid crystal molecules in the turned-off cell (see FIG. 3B). It is.
  • the direction (longitudinal direction of the ellipse) of the liquid crystal molecules in the turned-on cell (on-cell) is rotated by an angle ⁇ from the reference axis as shown in FIG.
  • the direction of the liquid crystal molecules in the off cell (off cell) is rotated by an angle ⁇ from the reference axis as shown in FIG.
  • This angle ⁇ is an angle uniquely determined by the type of liquid crystal.
  • Each of these turned-on cells and turned-off cells has the same function as a half-wave plate with the fast axis oriented in the same direction as the liquid crystal molecules in the cells.
  • the fast axis of the half-wave plate is an axis indicating the polarization direction of incident light that minimizes the amount of phase delay.
  • a pattern in which turned-on cells and turned-off cells are periodically arranged in one direction that is, a one-dimensional lattice pattern that is a striped branching pattern is displayed (formed) on the SLM 13. Then, the SLM 13 can be used as a one-dimensional diffraction grating.
  • the SLM 13 functions as a “phase diffraction grating having a phase difference 4 ⁇ ”.
  • the SLM 13 functions as a “phase diffraction grating having a phase difference of ⁇ ”.
  • the driver 13A of the SLM 13 is controlled by the control device 39, applies a voltage (voltage pattern) to the SLM 13, and turns on / off individual cells arranged in the SLM 13, thereby switching the grid pattern displayed on the SLM 13 as follows.
  • the voltage pattern is voltage information applied to individual cells arranged in the SLM 13.
  • the driver 13A switches the spatial frequency of the interference fringes generated on the observation target surface P by switching the lattice pitch (interval) of the lattice pattern formed on the SLM 13.
  • the driver 13 ⁇ / b> A switches the direction of interference fringes (structured illumination) generated on the observation target surface P by switching the direction of the lattice pattern formed on the SLM 13.
  • the driver 13 ⁇ / b> A shifts the phase of the interference fringes generated on the observation target surface P by shifting the phase of the lattice pattern formed on the SLM 13.
  • the angle ⁇ specific to the liquid crystal of the SLM 13 is 45 °, but the angle ⁇ specific to the liquid crystal may be less than 45 °.
  • the light beam selection unit 100 has a function of selecting a light beam incident on the observation target surface P and a function of maintaining the polarization state of the ⁇ first-order diffracted light beams incident on the observation target surface P as S-polarized light.
  • the polarization direction of the ⁇ 1st-order diffracted light beam toward the observation target surface P should be orthogonal to the branching direction of the ⁇ 1st-order diffracted light beam Good.
  • the function of maintaining the polarization state of the ⁇ first-order diffracted light beams incident on the observation target surface P in the light beam selection unit 100 as S-polarized light may be omitted as appropriate.
  • the direction of the lattice pattern of the SLM 13 is switched in order to switch the direction of the interference fringes.
  • the branching direction of the ⁇ first-order diffracted light beam is also switched. Therefore, the light beam selection unit 100 needs to cope with this switching.
  • FIG. 4 is a diagram illustrating a configuration example of the light beam selection unit 100.
  • the SLM 13 and the PBS 14 are shown on the incident side of the light beam selector 100, respectively.
  • positioned at the incident side of the light beam selection part 100 is abbreviate
  • the light beam selection unit 100 includes a half-wave plate 101, a segment wave plate 17, a fixed polarizing plate 102, and liquid crystal half-wave plates 103 and 104 in order from the incident side.
  • the half-wave plate 101 is arranged so that the fast axis is rotated by 35 ° from the horizontal when viewed from the light traveling direction.
  • the segment wave plate 17 is, for example, a transmissive liquid crystal SLM.
  • a driver 17A which is a liquid crystal driving circuit, is connected to the segment wavelength plate 17.
  • the segment wave plate 17 has a plurality of cells that can be controlled on / off by the driver 17A.
  • the segment wave plate 17 includes a circular cell disposed at the center, and six cells formed by dividing a ring-shaped region in the circumferential direction, disposed on the outer periphery of the circular cell. have.
  • the driver 17A of the segment wave plate 17 determines whether or not each cell of the segment wave plate 17 functions as a half-wave plate in the direction of the fast axis set in advance. Can be controlled by value.
  • the cell in the ON state in the segment wave plate 17 functions as a half-wave plate whose fast axis is 20 ° from the horizontal when viewed from the light traveling direction.
  • the cell in the off state in the segment wave plate 17 does not have a polarization control function, and light is transmitted while the polarization state when incident is preserved.
  • the fixed polarizing plate 102 is arranged so that the polarization direction is 70 ° from the horizontal when viewed from the light traveling direction.
  • the liquid crystal half-wave plate 103 is controlled to be turned on / off by a driver 103A which is a liquid crystal driving circuit.
  • the liquid crystal half-wave plate 103 functions as a half-wave plate in which the fast axis is set to a direction rotated by 10 ° from the horizontal when viewed from the traveling direction of light when in the on state. Further, the liquid crystal half-wave plate 103 has no polarization control function when in the off state, and transmits light while maintaining the polarization state when incident.
  • the liquid crystal half-wave plate 104 is controlled to be turned on / off by a driver 104A that is a liquid crystal driving circuit.
  • the liquid crystal half-wave plate 104 functions as a half-wave plate whose fast axis is set in a direction rotated by 40 ° from the horizontal when viewed from the traveling direction of light when in the on state.
  • the liquid crystal half-wave plate 104 does not have a polarization control function when in the off state, and transmits light while maintaining the polarization state when incident.
  • the drivers 17A, 103A, and 104A are controlled by the control device 39, respectively.
  • FIG. 5 is a diagram showing the state of polarization in the elements shown in FIG. In FIGS. 4 and 5, as an example, the polarization state when the structured illumination is 40 ° is shown.
  • the polarization direction of the ⁇ 1st-order diffracted light beam emitted from the PBS 14 is the polarization direction of light that can be transmitted through the polarization separation surface of the PBS 14, and thus remains unchanged regardless of switching of the branching direction of the ⁇ 1st-order diffracted light beam.
  • the light beam selection unit 100 makes the polarization direction of the incident ⁇ 1st-order diffracted light beam perpendicular to the branch direction of 40 ° (linear polarization of ⁇ 50 °). Need to be converted to For this purpose, the polarization direction is first rotated in a predetermined direction by the fixed half-wave plate 101.
  • the polarization direction after transmission through the PBS 14 is set to 0 ° horizontally, and the fast axis of the half-wave plate 101 is arranged in a direction rotated 35 ° from the horizontal when viewed from the light traveling direction. Then, the polarization direction can be rotated by 70 ° (see FIG. 5B).
  • the control device 39 performs control to turn off the cells where the ⁇ 1st-order diffracted light beams with a branching direction of 40 ° are incident and turn on the other cells through the driver 17A.
  • the on-cell of the segment wave plate 17 functions as a half-wave plate whose phase axis is set to a direction rotated 35 ° from the horizontal when viewed from the light traveling direction, and the off-cell of the segment wave plate 17 is polarized. There is no control function, and light is transmitted while the polarization state when incident is preserved.
  • the polarization state after the segment wave plate 17 is such that the light that has passed through the region where the ⁇ 1st-order diffracted light beam having a branching direction of 40 ° is incident (the cell off the segment wave plate 17) is seen from the light traveling direction.
  • the light that remains linearly polarized at 70 ° from the horizontal and passes through the other region (the cell in which the segment wave plate 17 is turned on) is converted into linearly polarized light at ⁇ 20 ° from the horizontal when viewed from the light traveling direction. (See FIG. 5C).
  • the light transmitted through the segment wave plate 17 enters the fixed polarizing plate 102.
  • the light passing through the ON cell of the segment wave plate 17 is converted into linearly polarized light of ⁇ 20 ° from the horizontal when viewed from the traveling direction of the light, and is thus blocked by the fixed polarizing plate 102 whose polarization direction is 70 °. (See the upper part of FIG. 5 (d)).
  • the light passing through the off-cells of the segment wave plate 17 is linearly polarized light of 70 ° from the horizontal when viewed from the light traveling direction, and therefore passes through the fixed polarizing plate 102 having the polarization direction of 70 ° as it is (see FIG. 5 (d) Refer to the lower part).
  • control device 39 performs control to turn on the liquid crystal half-wave plate 103 via the driver 103A.
  • control device 39 performs control to turn off the liquid crystal half-wave plate 104 via the driver 104A.
  • the liquid crystal half-wave plate 103 functions as a half-wave plate whose phase axis is set to a direction rotated 10 ° from the horizontal when viewed from the light traveling direction when turned on.
  • the ⁇ 1st order diffracted light having a branching direction of 40 ° that has passed through the off-cell of the segment wave plate 17 was linearly polarized light of 70 ° from the horizontal when viewed from the traveling direction of the light, but a liquid crystal having a fast axis at 10 °.
  • the half-wave plate 103 converts the light into -50 ° linearly polarized light from the horizontal as seen from the light traveling direction (see FIG. 5E).
  • the liquid crystal half-wave plate 104 Since the liquid crystal half-wave plate 104 is off, light is transmitted through the liquid crystal half-wave plate 104 while maintaining the polarization state. Thus, after passing through the light beam selector 100, the ⁇ first-order diffracted light beams emitted from the PBS 14 are converted into a ⁇ 50 ° polarization state orthogonal to the branch direction 40 °.
  • the control device 39 When changing the branching direction of the ⁇ 1st-order diffracted light beams in the light beam selection unit 100, the control device 39 turns on / off the cells of the segment wave plate 17, turns on / off the liquid crystal half wave plate 103, and The liquid crystal half-wave plate 104 may be switched on / off as appropriate.
  • the liquid crystal half-wave plate 103 and the liquid crystal half-wave plate 104 which have a function of maintaining the polarization state of the ⁇ first-order diffracted light beams incident on the observation target plane P in the light beam selection unit 100, are S-polarized light. It may be omitted as appropriate.
  • a mask 18 having an opening corresponding to each cell of the segment wave plate 17 is used as the light beam. You may insert in the optical path of the selection part 100.
  • the mask 18 is, for example, a black thin mask substrate in which an opening (hole) is formed only in a necessary diffracted light incident region.
  • the mask 18 may be, for example, a liquid crystal element in which a transmission cell is disposed in an incident area of necessary diffracted light and an opaque cell is disposed in an incident area of unnecessary diffracted light.
  • FIG. 6 is a diagram illustrating an example of the mask 18 inserted into the light beam selection unit 100.
  • FIG. 6A shows an example of the pattern of the mask 18 for three light beams when 0th-order diffracted light and ⁇ 1st-order diffracted light are allowed to pass as will be described later.
  • FIG. 6B shows an example of the pattern of the mask 18 for two light beams when ⁇ 1st-order diffracted light is allowed to pass.
  • the black portion of the mask 18 indicates a light shielding area.
  • the diffraction direction and phase of the diffracted light generated in the SLM 13 are determined by the distribution of the turned-on cells and the turned-off cells in the plurality of pixels Px of the SLM 13.
  • the control device 39 supplies the driver 13A with bitmap data (information relating to the voltage pattern (voltage) applied to the SLM 13), and the driver 13A applies a voltage pattern according to the bitmap data to the SLM 13 and grids the SLM 13. A pattern is displayed (formed). Thereby, interference fringes are generated on the observation target surface P. Further, the direction and phase of the interference fringes generated on the observation target surface P are controlled by forming a lattice pattern on the SLM 13.
  • This bitmap data is, for example, data in which a gradation value (for example, 0 or 1) indicating whether the pixel Px is on-cell or off-cell and the position of the pixel Px are associated with each other.
  • FIG. 8 is a schematic diagram showing an example of a lattice pattern formed on the SLM 13 of the present embodiment.
  • the control device 39 supplies bitmap data to the driver 13A, and the driver 13A applies a voltage pattern corresponding to the bitmap data to the SLM 13, thereby causing the SLM 13 to form the lattice pattern shown in FIG.
  • the grating patterns A1 to A3 shown in FIG. 8 are configured such that the phase difference of interference fringes formed on the observation target surface P is 2 ⁇ / N [rad].
  • the grating pattern A1 and the grating pattern A2 are configured such that the phase difference between the interference fringes formed by the grating pattern A1 and the grating pattern A2 is 2 ⁇ / 3 [rad].
  • the grating pattern A2 and the grating pattern A3 are configured such that the phase difference between the interference fringes formed by each of them is 2 ⁇ / 3 [rad].
  • the control device 39 causes the SLM 13 to sequentially form these lattice patterns A1 to A3 via the driver 13A.
  • the lattice patterns B1 to B3 shown in FIG. 8 are configured to have a direction different from the direction of the lattice patterns A1 to A3 (for example, a direction of ⁇ 60 degrees).
  • the grating patterns B1 to B3 are configured such that the phase difference between interference fringes formed by adjacent grating patterns is, for example, 2 ⁇ / 3 [rad], similarly to the grating patterns A1 to A3.
  • the lattice patterns C1 to C3 shown in FIG. 8 are configured to have different directions (for example, +60 degrees) with respect to the directions of the lattice patterns A1 to A3.
  • the grating patterns C1 to C3 are configured such that the phase difference between the interference fringes formed by the adjacent grating patterns is 2 ⁇ / 3 [rad], for example.
  • the symbols A, B, and C indicate the direction of the lattice pattern
  • the numbers 1, 2, and 3 attached to the symbols A, B, and C indicate the phases in the lattice pattern.
  • the incident angle of the ⁇ first-order diffracted light beam incident on the observation target surface P needs to satisfy the total reflection condition (TIRF condition) that is the evanescent field generation condition. .
  • the condensing point of the ⁇ 1st-order diffracted light beam on the pupil plane 6A only needs to be located in a predetermined annular zone (TIRF area) on the outermost periphery of the pupil plane 6A.
  • TIRF area a predetermined annular zone
  • the ⁇ first-order diffracted light beam collected on the pupil surface 6A is totally reflected from the objective lens 6 toward the observation target surface P and reflected on the observation target surface P.
  • an evanescent field is generated in the vicinity of the observation target surface P due to the ⁇ first-order diffracted light beams totally reflected on the observation target surface P.
  • evanescent light is emitted to the back side of the observation target surface P, and the specimen placed on the back side of the observation target surface P is illuminated by the evanescent light.
  • This illumination excites a fluorescent region (fluorescent dye or the like in the specimen) on the observation target surface P to generate fluorescence.
  • the imaging optical system 30 receives this fluorescence and forms a modulated image of the sample.
  • the wavelength (light source wavelength) of the laser light emitted from the laser unit 300 is switched.
  • the light source wavelength is ⁇ 1
  • the shutter 303 is opened and the laser light of ⁇ 1 is emitted from the laser unit 300.
  • the shutter 304 is closed, and the laser light of ⁇ 2 is shielded or attenuated.
  • the light source wavelength is ⁇ 2
  • the shutter 304 is opened and the laser light of ⁇ 2 is emitted from the laser unit 300.
  • the shutter 303 is closed and the laser light of ⁇ 1 is shielded or attenuated.
  • the light source wavelengths ⁇ 1 and ⁇ 2 are simultaneously irradiated
  • the shutter 303 and the shutter 304 are opened, and the laser light of ⁇ 1 and the laser light of ⁇ 2 are emitted from the laser unit 300.
  • the distance from the optical axis AZ to the light beam is simply referred to as “height”.
  • the diffraction angle of the ⁇ first-order diffracted light beam emitted from the SLM 13 depends on the grating pitch of the grating pattern formed on the SLM 13 and the light source wavelength. Therefore, for example, when a shorter wavelength ⁇ 2 is irradiated with respect to the grating pitch of the grating pattern that satisfies the TIRF condition at the light source wavelength ⁇ 1, the angle (branching amount) of the ⁇ first-order diffracted light beams emitted from the SLM 13 is reduced.
  • the condensing point of the ⁇ first-order diffracted light beam on the pupil plane 6A is not located in a predetermined annular zone (TIRF region) on the outermost periphery of the pupil plane 6A, and the TIRF condition is not satisfied.
  • the control device 39 changes the grating pitch of the grating pattern formed on the SLM 13 in accordance with the irradiation with the shorter wavelength ⁇ 2. Specifically, a lattice pattern having a lattice pitch that satisfies the TIRF condition at the wavelength ⁇ ⁇ b> 2 is formed on the SLM 13. In this way, when the TIRF condition is satisfied at the wavelength ⁇ 1 and the light source wavelength is changed to a shorter wavelength ⁇ 2, the lattice pitch formed in the SLM 13 is changed (decreased), and even at the wavelength ⁇ 2. It is possible to satisfy the TIRF condition.
  • the grating pitch of the grating pattern formed on the SLM 13 is changed according to the light source wavelength.
  • codes representing the direction and phase of the grating pattern for example, A1 to A3, B1 to B1 is attached after B3, C1 to C3).
  • they are referred to as an A1 ⁇ 1 lattice pattern, a C2 ⁇ 1 lattice pattern, or the like.
  • the grating pattern has a grating pitch that satisfies the TIRF condition at the wavelength ⁇ 2 (second pitch for the wavelength ⁇ 2)
  • attach ⁇ 2 after the sign indicating the direction and phase of the grating pattern For example, it is referred to as a B3 ⁇ 2 lattice pattern, a C3 ⁇ 2 lattice pattern, or the like.
  • Each of the lattice patterns A1 ⁇ 1 to C3 ⁇ 1 is a pattern having a first pitch and having a different direction or phase (first branching pattern).
  • Each of the lattice patterns A1 ⁇ 2 to C3 ⁇ 2 has a second pitch and a pattern (second branch pattern) having a different direction or phase.
  • FIG. 10 shows a state in which a predetermined lattice pattern is formed on the SLM 13.
  • the SLM 13 is described as having pixels arranged in nx columns and ny rows.
  • the above-described turned-on cells (pixels) are black, for example, the turned-off cells (pixels) are, for example, white, and the turned-on cells and the turned-off cells are periodically arranged in one direction.
  • a one-dimensional lattice pattern is formed.
  • the lattice pattern formed in this way will be described by paying attention to the pixel P11, the pixel P12, the pixel Pny1, and the pixel Pny2 (all are indicated by hatching in the drawing).
  • the vertex P11a and the vertex P12a are points serving as a reference for obtaining the “direction” and “pitch” of the lattice pattern.
  • the vertices at the lower right of the pixels Pny1 and Pny2 are denoted as Pny1a and Pny2a, respectively.
  • the vertices Pny1a and Pny2a are points serving as references for obtaining the “direction” and “pitch” of the lattice pattern in the same manner as the vertices P11a and P12a.
  • a line (auxiliary line) from P11a to Pny1a is defined as L1A.
  • a line (auxiliary line) from P12a to Pny2a is defined as L2A.
  • L1A and L2A are boundary lines on the right side of turned-on cells (for example, black pixels) periodically arranged in one direction.
  • the “direction” of the lattice pattern is an angle formed between the X axis and L1a in the clockwise direction (denoted by d in the figure).
  • auxiliary line (indicated by a double arrow line in the figure) extending from L1A to L2A that is perpendicular to L1A
  • the distance of the auxiliary line p becomes the “pitch” of the lattice pattern. That is, changing the direction of the lattice pattern means that the cells (pixels) that are turned on and the cells (pixels) that are turned off are periodically arranged in one direction so that d in FIG. 10 changes. . Further, changing the pitch of the lattice pattern means that the turned-on cells (pixels) and the turned-off cells (pixels) are periodically arranged in one direction so that p in FIG. 10 changes. Say.
  • the method for obtaining the “direction” and “pitch” of the lattice pattern is not limited to the above.
  • pixel information complemented for example, anti-aliasing
  • the right boundary line of the periodically arranged ON cells (black pixels) formed in the SLM 13 is used.
  • the lattice pattern “direction” and “pitch” are used by using the left boundary line. You may ask for. Further, “direction” and “pitch” in the right boundary line and the left boundary line of the periodically arranged ON cells (black pixels) formed in the SLM 13 are obtained, respectively.
  • the average value may be the “direction” and “pitch” of the lattice pattern.
  • the “direction” and “pitch” of the lattice pattern formed on the SLM 13 are obtained, but the “direction” and “pitch” of the spatial frequency of the interference fringes generated on the observation symmetry plane P are obtained,
  • the lattice pattern formed in the SLM 13 may be changed so that the “direction” and “pitch” of the spatial frequency of the interference fringes generated on the observation symmetry plane P are changed.
  • the A1 ⁇ 1 lattice pattern, the A2 ⁇ 1 lattice pattern, and the A3 ⁇ 1 lattice pattern are formed in this order on the SLM 13.
  • a lattice pattern of B1 ⁇ 1, a lattice pattern of B2 ⁇ 1, and a lattice pattern of B3 ⁇ 1 are formed in this order.
  • a lattice pattern of C1 ⁇ 1, a lattice pattern of C2 ⁇ 1, and a lattice pattern of C3 ⁇ 1 are formed in this order.
  • the time for forming one lattice pattern is, for example, the same (for example, Ts), and within the time for which each lattice pattern is formed, the observation target surface P is photographed, and each lattice pattern (observation target surface P An image (SIM configuration image) corresponding to each interference fringe formed in (1) is generated.
  • SIM configuration image image corresponding to each interference fringe formed in (1) is generated.
  • Each captured SIM component image is restored (image demodulation) to obtain a fluorescence super-resolution image (referred to as “SIM restored image ⁇ 1”) of the specimen 5 excited by the wavelength ⁇ 1.
  • FIGS. 12 to 14 show specific examples of the order in which the grating pattern is formed and the photographing order of each SIM component image when the light source wavelength is changed (switching between ⁇ 1 and ⁇ 2).
  • SLM display in the drawing represents a lattice pattern formed on the SLM 13
  • DSC Digital Still Camera
  • Pic in the figure means an image (SIM configuration image) captured by the image sensor 35.
  • Pic in the figure means an image (SIM configuration image) captured by the image sensor 35.
  • picA1 ⁇ 1 means a SIM configuration image taken when a lattice pattern of A1 ⁇ 1 is formed on the SLM 13.
  • all SIM configuration images (first modulated images for wavelength ⁇ 1) when the light source wavelength is ⁇ 1 are acquired.
  • the light source wavelength is ⁇ 1
  • lattice patterns A1 ⁇ 1, A2 ⁇ 1, A3 ⁇ 1, B1 ⁇ 1, B2 ⁇ 1, B3 ⁇ 1, C1 ⁇ 1, C2 ⁇ 1, and C3 ⁇ 1 are formed in this order on the SLM 13.
  • the time for forming one lattice pattern is, for example, the same (Ts), and the respective SIM configuration images picA1 ⁇ 1 to picC3 ⁇ 1 are photographed within the time for which each lattice pattern is formed.
  • the light source wavelength is switched to ⁇ 2, and all SIM configuration images (second modulated image for wavelength ⁇ 2) when the light source wavelength is ⁇ 2 are acquired.
  • lattice patterns of A1 ⁇ 2, A2 ⁇ 2, A3 ⁇ 2, B1 ⁇ 2, B2 ⁇ 2, B3 ⁇ 2, C1 ⁇ 2, C2 ⁇ 2, and C3 ⁇ 2 are formed in this order on the SLM 13.
  • the time for forming one lattice pattern is, for example, the same (Ts), and within the time for which each lattice pattern is formed, the respective SIM configuration images picA1 ⁇ 2 to picC3 ⁇ 2 are photographed.
  • an interference fringe (first interference fringe) having a predetermined spatial frequency is formed on the sample 5 (observation target surface P), and when an A2 ⁇ 1 lattice pattern is formed on the SLM 13 5, an interference fringe (third interference fringe) having the same direction (and pitch) as the first interference fringe but having a different phase is formed.
  • an interference fringe (fourth interference fringe) having the same phase (and pitch) and different direction as the first interference fringe is formed on the sample 5, and the A1 ⁇ 2 grating pattern is formed on the SLM 13. Then, an interference fringe (second interference fringe) having a spatial frequency different from that of the first interference fringe is formed on the sample 5.
  • the image storage / arithmetic unit 40 generates the SIM restored image ⁇ 1 excited by the wavelength ⁇ 1 by using the photographed SIM component images picA1 ⁇ 1 to picC3 ⁇ 1. Furthermore, a fluorescence super-resolution image (referred to as “SIM restored image ⁇ 2”) of the specimen 5 excited by the wavelength ⁇ 2 is generated using the photographed SIM component images picA1 ⁇ 2 to picC3 ⁇ 2.
  • the image storage / arithmetic device 40 may display the SIM restored image ⁇ 1 and the SIM restored image ⁇ 2 on the image display device 45, respectively, or may display the SIM restored image ⁇ 1 and the SIM restored image ⁇ 2 in a superimposed manner. Also good.
  • the time required to photograph all of the SIM component images picA1 ⁇ 1 to picC3 ⁇ 1 is 9Ts.
  • the time required to photograph all of the SIM component images picA1 ⁇ 2 to picC3 ⁇ 2 is also 9 Ts.
  • the photographing time of the SIM configuration image necessary for the SIM restored image ⁇ 1 is the shortest compared to the order examples 2 and 3 described later. For this reason, even if the movement of the living cell contained in the specimen 5 is fast, it is possible to acquire a plurality of SIM configuration images with little displacement of the fluorescent substance expressed in the living cell excited by the wavelength ⁇ 1.
  • the imaging time of the SIM component image necessary for the SIM restored image ⁇ 2 is the shortest compared to the order examples 2 and 3 described later. For this reason, even if the movement of the living cell contained in the specimen 5 is fast, it is possible to acquire a plurality of SIM configuration images with little displacement of the fluorescent substance expressed in the living cell excited by the wavelength ⁇ 2. Therefore, the order example 1 is suitable for photographing when the movement of the living cells included in the specimen 5 is fast.
  • the wavelength ⁇ 1 and the wavelength ⁇ 2 are switched every time one SIM configuration image is acquired. Specifically, first, the light source wavelength is set to ⁇ 1, and a lattice pattern of A1 ⁇ 1 is formed on the SLM 13 to photograph the SIM configuration image picA1 ⁇ 1. Next, the light source wavelength is switched to ⁇ 2, a lattice pattern of A1 ⁇ 2 is formed on the SLM 13, and the SIM configuration image picA1 ⁇ 2 is photographed. Next, the light source wavelength is switched again to ⁇ 1, and a lattice pattern of A2 ⁇ 1 is formed on the SLM 13 to photograph the SIM configuration image picA2 ⁇ 1.
  • the light source wavelength is switched to ⁇ 2, and a lattice pitch of A2 ⁇ 2 is formed on the SLM 13 to photograph the SIM configuration image picA2 ⁇ 2.
  • a lattice pitch of A2 ⁇ 2 is formed on the SLM 13 to photograph the SIM configuration image picA2 ⁇ 2.
  • the SIM configuration images picA1 ⁇ 1 to picC3 ⁇ 1 and the SIM configuration images picA1 ⁇ 2 to picC3 ⁇ 2 are alternately photographed one by one. Therefore, the SIM configuration necessary for the SIM restored image ⁇ 1 is compared to the sequence example 1.
  • the simultaneouseity of the image capturing time and the SIM composing image capturing time required for the SIM restored image ⁇ 2 is increased.
  • the sequence example 2 shows what is simultaneously performed at a plurality of locations in the specimen 5 (the fluorescent material expressed inside the living cell excited by the wavelength ⁇ 1 and the fluorescent material expressed inside the living cell excited by the wavelength ⁇ 2). Suitable for analyzing what is happening.
  • the shooting time of the SIM restored image ⁇ 1 and the shooting time of the SIM restored image ⁇ 2 are both 17Ts.
  • the wavelength ⁇ 1 and the wavelength ⁇ 2 are switched every time one SIM configuration image is acquired. For example, each time a plurality of SIM configuration images are acquired, the wavelength ⁇ 1 and the wavelength ⁇ 2 are switched. Also good.
  • the wavelength ⁇ ⁇ b> 1 and the wavelength ⁇ ⁇ b> 2 are switched every time a plurality of SIM configuration images (for example, three) are acquired. Further, the wavelength ⁇ 1 and the wavelength ⁇ 2 are switched for each direction of interference fringes generated on the observation target surface P (direction of the grating pattern formed on the SLM 13). Specifically, first, the light source wavelength is set to ⁇ 1, and the lattice patterns A1 ⁇ 1, A2 ⁇ 1, and A3 ⁇ 1 are formed in this order on the SLM 13, and three SIM configuration images picA1 ⁇ 1 to picA3 ⁇ 1 are sequentially photographed.
  • the light source wavelength is switched to ⁇ 2, but each lattice pattern of A1 ⁇ 2, A2 ⁇ 2, A3 ⁇ 2 is formed in this order on the SLM 13 so that the direction of the interference fringes generated on the observation target surface P is not changed.
  • the SIM configuration images picA1 ⁇ 2 to picA3 ⁇ 2 are photographed sequentially.
  • each lattice pattern of B1 ⁇ 1, B2 ⁇ 1, B3 ⁇ 1 is formed in this order on the SLM 13
  • the SIM configuration images picB1 ⁇ 1 to picB3 ⁇ 1 are sequentially photographed.
  • the light source wavelength is switched again to ⁇ 2, but each lattice pattern of B1 ⁇ 2, B2 ⁇ 2, and B3 ⁇ 2 is formed in this order on the SLM 13 so that the direction of the interference fringes generated on the observation target surface P is not changed.
  • the SIM configuration images picB1 ⁇ 2 to picB3 ⁇ 2 are photographed sequentially.
  • the lattice patterns C1 ⁇ 1, C2 ⁇ 1, and C3 ⁇ 1 are formed in this order on the SLM 13, and the SIM configuration image picC1 ⁇ 1 ⁇ PicC3 ⁇ 1 is photographed sequentially.
  • the light source wavelength is switched again to ⁇ 2, but each lattice pattern of C1 ⁇ 2, C2 ⁇ 2, and C3 ⁇ 2 is formed in this order on the SLM 13 so that the direction of the interference fringes generated on the observation target surface P is not changed, and the SIM configuration image PicC1 ⁇ 2 to picC3 ⁇ 2 are photographed sequentially.
  • the simultaneity of the photographing time of the SIM constituent image necessary for the SIM restored image ⁇ 1 and the photographing time of the SIM constituent image necessary for the SIM restored image ⁇ 2 is higher. Get higher. Since the shooting time of the SIM restored image ⁇ 1 and the shooting time of the SIM restored image ⁇ 2 are both 15 Ts, they are shorter than those in the order example 2. Therefore, what is happening simultaneously at a plurality of locations in the specimen 5 (the fluorescent material expressed inside the living cell excited by the wavelength ⁇ 1 and the fluorescent material expressed inside the living cell excited by the wavelength ⁇ 2). It is relatively suitable for analysis, and even if the living cells contained in the specimen 5 move relatively quickly, it is possible to take a plurality of SIM configuration images with little displacement of the fluorescent substance expressed in the living cells.
  • FIG. 15 is a configuration diagram of the structured illumination microscope system 2. As shown in FIG. 15, the structured illumination microscope system 2 is different from the structured illumination microscope system 1 in that a barrier filter exchanger 34 is provided instead of the barrier filter 31 arranged in the imaging optical system 30. Other configurations are the same as those of the structured illumination microscope system 1.
  • the barrier filter exchanger 34 includes two barrier filters 34A and 34B, and one of them can be selectively disposed on the optical axis AZ. Selection (switching) of the barrier filters 34A and 34B by the barrier filter exchanger 34 is controlled by the control device 39.
  • the barrier filter 34A is configured to transmit fluorescence excited from the sample 5 when the light source wavelength is ⁇ 1, and not transmit other light.
  • the barrier filter 34B is configured to transmit fluorescence excited from the sample 5 when the light source wavelength is ⁇ 2, and not transmit other light.
  • the order of the lattice patterns formed on the SLM 13 is the same as the order example 1 described above.
  • the sample 5 is irradiated with both the wavelength ⁇ 1 and the wavelength ⁇ 2 at the same time. That is, in the order example 4, the light source wavelengths ⁇ 1 and ⁇ 2 are simultaneously irradiated, and the lattice patterns of A1 ⁇ 1, A2 ⁇ 1, A3 ⁇ 1, B1 ⁇ 1, B2 ⁇ 1, B3 ⁇ 1, C1 ⁇ 1, C2 ⁇ 1, C3 ⁇ 1 are formed in this order on the SLM 13 first.
  • Each SIM configuration image picA1 ⁇ 1 to picC3 ⁇ 1 is sequentially photographed within the time when each lattice pattern is formed.
  • the lattice patterns A1 ⁇ 2, A2 ⁇ 2, A3 ⁇ 2, B1 ⁇ 2, B2 ⁇ 2, B3 ⁇ 2, C1 ⁇ 2, C2 ⁇ 2, and C3 ⁇ 2 are formed in this order on the SLM 13.
  • the respective SIM configuration images picA1 ⁇ 2 to picC3 ⁇ 2 are sequentially photographed.
  • the barrier filter 34A is arranged on the optical path during the period when the SIM component images picA1 ⁇ 1 to picC3 ⁇ 1 are photographed
  • the barrier filter 34B is arranged on the optical path during the period when the SIM component images picA1 ⁇ 2 to picC3 ⁇ 2 are photographed.
  • the barrier filters 34A and 34B it takes time to switch the barrier filters 34A and 34B. However, if the switching time can be shortened, the effect that the imaging time of the SIM component image required for the SIM restored image ⁇ 1 and the imaging time of the SIM component image required for the SIM restored image ⁇ 2 are short (both are 9 Ts) is in order. Since it is equivalent to Example 1, it is suitable for imaging when the movement of the living cells contained in the specimen 5 is fast.
  • the switching of the barrier filters 34A and 34B in the order example 4 may be applied to the order example 2 and the order example 3 described above.
  • FIG. 17 is a configuration diagram of the structured illumination microscope system 3.
  • the structured illumination microscope system 3 includes another imaging element 35 ⁇ / b> B (imaging surface 36 ⁇ / b> B) in addition to the imaging element 35, and instead of the barrier filter 31 arranged in the imaging optical system 30.
  • the structured illumination microscope system 1 is different from the structured illumination microscope system 1 in that a dichroic mirror 33 and a barrier filter 34A are provided, and a mirror 37 and a barrier filter 34B are provided between the dichroic mirror 33 and the imaging device 35B. This is the same as the chemical illumination microscope system 1.
  • the dichroic mirror 33 is configured to transmit the fluorescence excited from the sample 5 when the light source wavelength is ⁇ 1, and to reflect the other light toward the mirror 37.
  • the mirror 37 is configured to reflect the light reflected by the dichroic mirror 33 toward the barrier filter 34B.
  • the barrier filters 34A and 34B have the same functions as the barrier filters 34A and 34B included in the barrier filter exchanger 34 in the structured illumination microscope system 2. That is, the barrier filter 34A is configured such that, of the light transmitted through the dichroic mirror 33, the fluorescence excited from the sample 5 is transmitted when the light source wavelength is ⁇ 1, and the other light is not transmitted.
  • the barrier filter 34B is configured such that, of the light reflected by the mirror 37, the fluorescence excited from the sample 5 is transmitted when the light source wavelength is ⁇ 2, and the other light is not transmitted.
  • the order of the lattice patterns formed on the SLM 13 is the same as the order example 1 described above.
  • the major difference is that, in the order example 5, as in the order example 4, both the wavelength ⁇ 1 and the wavelength ⁇ 2 are irradiated onto the sample 5 at the same time.
  • two image sensors 35 and 35B are provided, and the SIM component images picA1 ⁇ 1 to picC3 ⁇ 1 are photographed by the image sensor 35, and the SIM component images picA1 ⁇ 2 to picC3 ⁇ 2 are photographed by the image sensor 35B.
  • the light source wavelengths ⁇ 1 and ⁇ 2 are simultaneously irradiated, and the lattice patterns of A1 ⁇ 1, A2 ⁇ 1, A3 ⁇ 1, B1 ⁇ 1, B2 ⁇ 1, B3 ⁇ 1, C1 ⁇ 1, C2 ⁇ 1, and C3 ⁇ 1 are formed in this order on the SLM 13 first. . Then, the respective SIM configuration images picA1 ⁇ 1 to picC3 ⁇ 1 are sequentially photographed by the image sensor 35 within the time when the respective lattice patterns are formed. At this time, photographing by the image sensor 35B is not performed. That is, the control device 39 causes the image pickup device 35 to sequentially photograph in synchronization with the formation of the lattice patterns A1 ⁇ 1 to C3 ⁇ 1 on the SLM 13. Note that imaging by the image sensor 35B may be performed.
  • lattice patterns of A1 ⁇ 2, A2 ⁇ 2, A3 ⁇ 2, B1 ⁇ 2, B2 ⁇ 2, B3 ⁇ 2, C1 ⁇ 2, C2 ⁇ 2, and C3 ⁇ 2 are formed in this order on the SLM 13 while simultaneously irradiating the light source wavelengths ⁇ 1 and ⁇ 2.
  • the respective SIM configuration images picA1 ⁇ 2 to picC3 ⁇ 2 are sequentially photographed by the image sensor 35B.
  • photographing by the image sensor 35 is not performed. That is, the control device 39 causes the image pickup device 35B to sequentially photograph in synchronization with the formation of the lattice patterns A1 ⁇ 2 to C3 ⁇ 2 on the SLM 13. Note that imaging by the image sensor 35 may be performed.
  • the cost can be reduced.
  • the imaging time of the SIM component image necessary for the SIM restored image ⁇ 1 and the imaging time of the SIM component image necessary for the SIM restored image ⁇ 2 are short (both are 9 Ts), and thus are included in the sample 5 Suitable for shooting when the movement of living cells is fast.
  • the switching of the imaging elements 35 and 35B of the order example 5 may be applied to the previous order example 2 and order example 3.
  • the SLM 13 is provided as a diffraction grating, and the TIRF condition in the TIRF-SIM can be applied to different light source wavelengths by changing the grating pitch of the grating pattern formed on the SLM 13. It is easily possible to satisfy. Changing the lattice pitch of the lattice pattern formed in the SLM 13 is not limited to the purpose only for satisfying the TIRF condition in the TIRF-SIM, and can be applied.
  • the super-resolution effect is the ratio of the resolving power at the time of modulation (the resolving power by the structured illumination light) based on the resolving power at the time of non-modulation (resolving power by the uniform illumination light).
  • (Resolving power by uniform illumination light) / (Resolving power by structured illumination light) (pupil diameter + distance between condensing points) / (pupil diameter). Therefore, the greater the ratio of the height of the focal point to the pupil radius of the objective lens 6, the higher the super-resolution effect.
  • the control device 39 sets the grating pitch of the grating pattern formed on the SLM 13 to the diffraction angle (branch amount) of the ⁇ 1st-order diffracted light beam emitted from the SLM 13, and the diffraction at the time of ⁇ 1. Change (decrease) to be equal to the angle (branch amount). By doing so, the height from the optical axis AZ of each condensing point of the ⁇ first-order diffracted light beams on the pupil plane 6A shown at the left end of FIGS. 9A and 9B is made constant regardless of the light source wavelength. Can keep. As a result, the super-resolution effect can be kept constant.
  • the SLM 13 is used as an optical branching device of the super-resolution microscope, and the diffraction angle (branching amount) of the ⁇ first-order diffracted light beam emitted from the SLM 13 that varies depending on the light source wavelength is expressed by the grating pitch of the grating pattern formed on the SLM 13
  • An application example to adjust by is introduced. As described above, the higher the ratio of the height of the focal point to the pupil radius of the objective lens 6, the higher the super-resolution effect.
  • the objective lens 6 is provided so as to be detachable (replaceable), the grating pitch of the grating pattern formed on the SLM 13 is changed according to the pupil diameter of the objective lens 6, thereby The super-resolution effect can be kept constant regardless of the pupil diameter.
  • a table of bitmap data supplied from the control device 39 to the driver 13A may be created and used. For example, a table of information relating to bitmap data corresponding to the grating bitch determined by the objective lens 6 (pupil diameter) and the light source wavelength is created, and this table is stored in the storage unit X (FIGS. 1, 15, and FIG. 17).
  • the bitmap data itself may be stored, the address of the bitmap data may be stored, or only the value of the lattice pitch may be stored.
  • the control device 39 may dynamically generate bitmap data corresponding to the lattice pitch each time.
  • FIG. 19 shows an example of a bitmap data table.
  • This bitmap data table includes three objective lenses having different pupil diameters, specifically, objective lenses having a magnification of 100, a magnification of 60, and a magnification of 40 (“object 100 ⁇ ”, “object 60 ⁇ ”, respectively) Stores information related to bitmap data corresponding to a grating bitch determined by three objective light wavelengths (wavelengths ⁇ 1, ⁇ 2, and ⁇ 3).
  • this bitmap data table includes “A1 ⁇ 1-100 ⁇ .bmp” as information on bitmap data corresponding to the grating bitch determined by the objective lens having a magnification of 100 and the wavelength ⁇ 1.
  • FIG. 20 shows an example of each lattice pattern formed in the SLM 13 based on information on these nine bitmap data.
  • the information related to the bitmap data “A1 ⁇ 1-100 ⁇ .bmp” is information related to the bitmap data corresponding to the lattice pattern of A1 ⁇ 1 in the above description, and the pupil diameter of the objective lens having the lattice pitch of 100 is used.
  • This is information relating to bitmap data corresponding to a lattice pattern set to a value suitable for the above (the same applies to information relating to other bitmap data).
  • the image display device 45 is provided with information regarding the grating pitch and bitmap data. It may be displayed. By displaying such information, it is possible to perform structured lighting after confirming that the determined lattice pitch and information related to bitmap data are appropriate, and the reliability of structured lighting Can be improved.
  • FIG. 21 shows an example of information displayed on the image display device 45.
  • three directions (direction 1, direction 2, and direction 3) in the lattice pattern, three phases (phase 1, phase 2, and phase 3), an objective lens (pupil diameter), and a light source wavelength Information relating to bitmap data associated with (identification information written as “A1 ⁇ 1-100 ⁇ .bmp” or the like) is displayed.
  • identification information written as “A1 ⁇ 1-100 ⁇ .bmp” or the like
  • the present invention is not limited to this, and the numerical value of the lattice pitch may be displayed together.
  • information regarding settings may be displayed on the image display device 45 so that it can be understood what settings are set regarding the imaging method, the light source wavelength irradiation method, and the like. .
  • information about the setting it is possible to perform structured illumination after confirming whether the setting is appropriate, and it is possible to improve the reliability of the structured illumination.
  • FIG. 22 shows an example of information related to settings displayed on the image display device 45.
  • imaging method speed priority, time simultaneity priority, normal imaging
  • illumination information ( ⁇ 1 ⁇ 2 alternating, ⁇ 1 ⁇ 2 simultaneous, indicating a light source wavelength irradiation method).
  • camera information indicating the image sensor corresponding to the light source wavelength.
  • the present invention is not limited to this, and information regarding other settings may be displayed.
  • a transmissive spatial light modulator may be used as a diffraction grating (optical splitter). Moreover, you may provide three or more wavelengths as a light source wavelength. Further, the transmissive spatial light modulator may include a liquid crystal different from the ferroelectric liquid crystal, for example, a nematic liquid crystal.

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

構造化照明顕微鏡システム（１）は、光源（３００）からの光を複数の光に分岐する光分岐器（１３）と、光分岐器（１３）により分岐された複数の光の少なくとも一部を用いて干渉縞を標本（５）に形成する照明光学系（１０）と、光分岐器（１３）に印加される電圧を制御する制御部（３９）と、を備える。制御部（３９）は、第１の波長（λ１）の光が光分岐器（１３）に入射する場合に第１の電圧パターンが光分岐器（１３）に印加されるように制御し、第２の波長（λ２）の光が光分岐器（１３）に入射する場合に第２の電圧パターンが光分岐器（１３）に印加されるように制御する。

Description

構造化照明装置、構造化照明顕微鏡
　本発明は、構造化照明装置、構造化照明顕微鏡に関する。
　生体細胞などの標本の観察に超解像顕微鏡が有効である。超解像顕微鏡の一種である構造化照明顕微鏡（ＳＩＭ：Structured Illumination Microscopy）は、干渉縞で標本を照明することにより、空間周波数の高い微細構造の情報を取得できる顕微鏡である（例えば、特許文献１を参照）。
米国再発行特許発明第３８３０７号明細書
　本発明を例示する構造化照明装置は、光源からの光を複数の光に分岐する光分岐器と、前記分岐された複数の光の少なくとも一部を用いて干渉縞を標本に形成する照明光学系と、前記光分岐器に印加される電圧パターンを制御する制御部と、を備え、前記制御部は、第１の波長の光が前記光分岐器に入射する場合に第１の電圧パターンが前記光分岐器に印加されるように制御し、第２の波長の光が前記光分岐器に入射する場合に第２の電圧パターンが前記光分岐器に印加されるように制御する。
　本発明を例示する別の構造化照明装置は、光源からの光を複数の光に分岐する光分岐器と、前記分岐された複数の光の少なくとも一部を用いて干渉縞を標本に形成する照明光学系と、前記光分岐器に印加される電圧を制御する制御部と、を備え、前記制御部は、第１の波長の光が前記光分岐器に入射する場合に前記標本に第１の干渉縞が形成され、第２の波長の光が前記光分岐器に入射する場合に前記標本に第２の干渉縞が形成されるように、前記光分岐器に印加される電圧を制御する。
　本発明を例示するさらに別の構造化照明装置は、光源からの光を複数の光に分岐する光分岐器と、対物レンズを有し、前記分岐された複数の光の少なくとも一部を用いて干渉縞を標本に形成する照明光学系と、前記光分岐器に印加される電圧パターンを制御する制御部と、を備え、前記制御部は、第１の波長の光が前記光分岐器に入射する場合に第１の電圧パターンが前記光分岐器に印加されるように制御し、第２の波長の光が前記光分岐器に入射する場合に第２の電圧パターンが前記光分岐器に印加されるように制御する。
　本発明を例示する構造化照明顕微鏡は、前記構造化照明装置と、前記標本からの光を結像して像を形成する結像光学系と、前記形成された像を撮像する撮像部と、前記撮像部により撮像された画像を複数用いて前記標本の画像を生成する画像処理部と、を有する。
第１実施形態に係る構造化照明顕微鏡システム１の構成図である。 ＳＬＭ１３を説明する図である。 ＳＬＭ１３のセルを説明する図である。 光束選択部１００の構成例を示す図である。 図４に示す要素での偏光の状態を示す図である。 マスク１８の例を示す図である。 対物レンズ６と標本５との関係を説明する図である。 ＳＬＭ１３に形成される格子パターンの一例を示す模式図である。 瞳面６Ａにおける±１次回折光束の集光点の高さの変化を説明する図である。 ＳＬＭ１３における格子パターンの方向とピッチの求め方を示す図である。 ＳＬＭ１３における各格子パターンの形成順序の一例を示す図である。 ＳＬＭ１３における各格子パターンの形成順序と各ＳＩＭ構成画像の撮影順序に係る順序例１を示す図である。 ＳＬＭ１３における各格子パターンの形成順序と各ＳＩＭ構成画像の撮影順序に係る順序例２を示す図である。 ＳＬＭ１３における各格子パターンの形成順序と各ＳＩＭ構成画像の撮影順序に係る順序例３を示す図である。 第２実施形態に係る構造化照明顕微鏡システム２の構成図である。 ＳＬＭ１３における各格子パターンの形成順序と各ＳＩＭ構成画像の撮影順序に係る順序例４を示す図である。 第３実施形態に係る構造化照明顕微鏡システム３の構成図である。 ＳＬＭ１３における各格子パターンの形成順序と各ＳＩＭ構成画像の撮影順序に係る順序例５を示す図である。 ビットマップデータテーブルの一例を示す図である。 ビットマップデータによりＳＬＭ１３に形成される格子パターン例を示す図である。 画像表示装置４５に表示するビットマップデータに関する情報の一例を示す図である。 画像表示装置４５に表示する設定に関する情報の一例を示す図である。
［第１実施形態］
　以下、本発明の第１実施形態として２光束干渉を利用した構造化照明顕微鏡（２Ｄ－ＳＩＭ：Two-Dimensional Structured Illumination Microscopy）システムを例示して説明する。また以下では、構造化照明顕微鏡を、蛍光性を有した試料（標本）の表面の極めて薄い層を観察する全反射蛍光顕微鏡（ＴＩＲＦＭ：Total Internal Reflection Fluorescence Microscopy）として使用する場合（「ＴＩＲＦ－ＳＩＭ」と称する）についても説明する。
　図１は構造化照明顕微鏡システム１の構成図である。図１に示すとおり構造化照明顕微鏡システム１には、光源であるレーザユニット３００と、光ファイバ１１と、照明光学系１０と、結像光学系３０と、撮像部である撮像素子３５と、制御部である制御装置３９と、画像処理部である画像記憶・演算装置４０と、表示部である画像表示装置４５と、ステージ５０と、標本５とが配置される。構造化照明顕微鏡システム１のうち、レーザユニット３００、光ファイバ１１、照明光学系１０、制御装置３９および画像表示装置４５により構造化照明装置が構成される。なお、構造化照明装置には、レーザユニット３００、光ファイバ１１、画像表示装置４５などは含まれていなくてもよい。
　レーザユニット３００には、第１レーザ光源３０１、第２レーザ光源３０２、シャッタ３０３，３０４、ミラー３０５、ダイクロイックミラー３０６、レンズ３０７が備えられる。第１レーザ光源３０１と第２レーザ光源３０２の各々は可干渉光源であって、互いの出射波長は異なる。ここでは、第１レーザ光源３０１の波長λ１（第１の波長）は、第２レーザ光源３０２の波長λ２（第２の波長）よりも長いと仮定する（λ１＞λ２）。これらの第１レーザ光源３０１、第２レーザ光源３０２、シャッタ３０３，３０４は、それぞれ制御装置３９によって駆動される。
　光ファイバ１１は、レーザユニット３００から射出したレーザ光を導光するために、例えば、偏波面保存型のシングルモードファイバによって構成される。
　照明光学系１０は、ステージ５０に載置された標本５をレーザ光で照明する、例えば落射型照明光学系である。照明光学系１０には、コレクタレンズ１２と、偏光板２３と、偏光ビームスプリッタ（ＰＢＳ）１４と、光分岐器である回折格子１３と、集光レンズ１６と、光選択部である光束選択部１００と、集光レンズ２５と、視野絞り２６と、フィールドレンズ２７と、励起フィルタ２８と、ダイクロイックミラー７と、対物レンズ６とが配置される。
　照明光学系１０の回折格子１３は、例えば、光変調器（ＬＭ：Light Modulator）である。また、照明光学系１０の回折格子１３は、例えば、空間光変調器（ＳＬＭ：Spatial Light Modulator）である。以下、回折格子１３を反射型液晶ＳＬＭであると仮定して「ＳＬＭ１３」と称する。ＳＬＭ１３には液晶駆動回路であるドライバ１３Ａが接続される。なお、光変調器とは、光の強度・位相を変化させる素子および装置のことである。また、空間光変調器とは、光の強度・位相の空間的な分布に対して、２次元的に強度あるいは位相の分布を変化させる素子および装置のことである。
　結像光学系３０は、撮像素子３５の撮像面３６に標本５の像を形成する結像光学系である。結像光学系３０には、対物レンズ６と、ダイクロイックミラー７と、バリアフィルタ３１と、結像レンズ３２とが配置されている。結像光学系３０の対物レンズ６及びダイクロイックミラー７は、照明光学系１０に兼用される。
　対物レンズ６は、例えば油浸型などの液浸型対物レンズである。標本５は、例えば数μｍから数十μｍの厚さを有した培養細胞や組織切片などの生体標本である。
　図７に示すとおり、平行平板状のカバーガラス５ｇと、カバーガラス５ｇの表面に滴下された培養液５ｃとによって標本５が構成されていると仮定する。培養液５ｃの内部では生体細胞が培養されており、生体細胞の内部には蛍光物質が発現している。前述した波長λ１と波長λ２は、それぞれ、蛍光物質の励起波長に対応した値に設定されている。図７の符号６ｉは、浸液（油）である。
　図１に戻り、撮像素子３５は、ＣＣＤやＣＭＯＳ等の二次元撮像素子であって、撮像面３６に形成された像を撮像して画像（後述する変調画像）を生成する。撮像素子３５が生成した画像は、制御装置３９を介して画像記憶・演算装置４０へ取り込まれる。
　ステージ５０は、標本５を支持する。対物レンズ６と標本５との間隔は、後述の制御装置３９により対物レンズ６を対物レンズ６の光軸ＡＺに沿って移動させることにより、調節される。これによって、標本５における対物レンズ６の焦点面Ｐの深さが調節される。焦点面Ｐは、構造化照明顕微鏡システム１の観察対象面である。以下、対物レンズ６の焦点面Ｐを「観察対象面Ｐ」と称す。なお、対物レンズ６と標本５との間隔は、制御装置３９によりステージ５０を対物レンズ６の光軸ＡＺに沿って移動させることにより、調節されてもよい。
　制御装置３９は、ドライバ１３Ａおよび光束選択部１００、撮像素子３５、ステージ５０、レーザユニット３００および対物レンズ６を制御し、超解像に必要な複数枚の変調画像を取得する。
　画像記憶・演算装置４０は、制御装置３９が取得した複数枚の変調画像に基づき蛍光超解像画像を作成する。
　次に、構造化照明顕微鏡システム１における光の振る舞いを説明する。
　レーザユニット３００から射出したレーザ光は、光ファイバ１１の内部を伝播した後、光ファイバ１１の出射端に点光源を形成し、点光源から発散光束となって射出する。発散光束は、コレクタレンズ１２によって平行光束に変換された後、偏光板２３を通過することにより偏光方向を整える。偏光方向の整えられた平行光束は、ＰＢＳ１４へ入射すると、ＰＢＳ１４の偏光分離面で反射し、ＳＬＭ１３へ正面から入射する。
　偏光板２３の軸は、偏光板２３からＰＢＳ１４の偏光分離面へ向かう平行光束がＳ偏光となるように設定されている。よって、ＰＢＳ１４の偏光分離面へ向かった平行光束が高い効率でＳＬＭ１３へ導光される。
　ＳＬＭ１３へ入射した平行光束は、ＳＬＭ１３にて回折反射し、角度の異なる複数の回折光束に分岐される。図１では、複数の回折光束のうち、０次回折光束、１次回折光束、－１次回折光束の３光束のみを示している。
　ＳＬＭ１３から射出した複数の回折光束は、ＰＢＳ１４へ入射した後、ＰＢＳ１４の偏光分離面を透過すると、互いに異なる角度で集光レンズ１６に入射する。
　集光レンズ１６に入射した複数の回折光束は、集光レンズ１６の集光作用を受け、瞳共役面６Ａ´の互いに異なる位置に向かって集光する。
　瞳共役面６Ａ´は、フィールドレンズ２７及び集光レンズ２５に関して対物レンズ６の瞳面６Ａと共役な面である。ここでいう「共役な面」には、当業者が対物レンズ６、フィールドレンズ２７、集光レンズ２５などの収差、ビネッティング等の設計上必要な事項を考慮して決定した面も含まれる。
　集光レンズ１６を介して瞳共役面６Ａ´に向かう複数の回折光束は、光束選択部１００に入射する。２ＤＳＩＭ、ＴＩＲＦ－ＳＩＭの場合、光束選択部１００は、受けた回折光束のうち±１次回折光束を通過させ、０次回折光束及び２次以上の高次回折光束を遮光する。光束選択部１００の構成例については図４で説明する。
　光束選択部１００を通過した±１次回折光束は、レンズ２５の集光作用を受けると、互いに異なる角度で像共役面へ入射し、像共役面にＳＬＭ１３の一次像を形成する。
　像共役面は、対物レンズ６及びフィールドレンズ２７に関して対物レンズ６の焦点面（＝観察対象面Ｐ）と共役な面である。この像共役面には、視野絞り２６が配置される。
　像共役面から射出した±１次回折光束の各々は、フィールドレンズ２７によって収束光束へと変換され、励起フィルタ２８を経てからダイクロイックミラー７で反射し、対物レンズ６の瞳面６Ａの互いに異なる位置に向かって集光する。
　瞳面６Ａから発散光束となって射出した±１次回折光束の各々は、対物レンズ６の先端から平行光束となって射出し、対物レンズ６の焦点面（＝観察対象面Ｐ）へ所定の角度関係で入射し、標本５にストライプ状の干渉縞を形成する。
　この干渉縞は、集光レンズ１６、集光レンズ２５、フィールドレンズ２７、対物レンズ６によるＳＬＭ１３の二次像に相当する。つまり、集光レンズ１６、集光レンズ２５、フィールドレンズ２７、対物レンズ６の全体には、ＳＬＭ１３の像を観察対象面Ｐへ投影する「投影光学系」の機能がある。
　観察対象面Ｐに投影された干渉縞には、観察対象面Ｐにおける蛍光物質の密度分布が有する空間周波数を、干渉縞の空間周波数Ｋの大きさだけ低い周波数へとシフトさせ、蛍光物質の微細な構造情報を対物レンズ６の像側へ伝達させるという働きがある。
　観察対象面Ｐの各位置で発生した蛍光は、対物レンズ６の先端へ入射すると、平行光束となって射出し、ダイクロイックミラー７、バリアフィルタ３１を介して結像レンズ３２へ入射する。
　結像レンズ３２へ入射した平行光束は、結像レンズ３２の集光作用を受け、撮像素子３５の撮像面３６上に観察対象面Ｐの蛍光像を形成する。この蛍光像は、干渉縞パターンにより変調された変調像である。
　撮像面３６上の蛍光像は、撮像素子３５によって画像化される。この画像化で得られる画像は、干渉縞パターンの重畳された「変調画像」である。この変調画像は、制御装置３９を介して画像記憶・演算装置４０へと取り込まれ、画像記憶・演算装置４０において復調演算が施される。この復調演算の結果、観察対象面Ｐの蛍光超解像画像が生成される。この蛍光超解像画像は、画像記憶・演算装置４０の内部メモリ（図示せず）に記憶されるとともに、画像表示装置４５へ表示される。画像記憶・演算装置４０に取り込まれた変調画像を復調する方法については、例えば、米国特許番号８１１５８０６に記載の方法が使用できるが、この方法に限られない。
　以上の構造化照明顕微鏡システム１において、励起フィルタ２８には、レーザ光と同じ波長の光を透過し、蛍光と同じ波長の光を遮光する機能がある。ダイクロイックミラー７には、レーザ光と同じ波長の光を反射し、蛍光と同じ波長の光を透過する機能がある。バリアフィルタ３１には、蛍光と同じ波長の光を透過し、他の波長の光（漏れ光）を遮光する機能がある。
　次に、回折格子としてのＳＬＭ１３を説明する。図２に示すとおりＳＬＭ１３は、多数の反射型液晶セル（「画素Ｐｘ」とも称する）を二次元に配列している。但し、図２では、セルの配列数を実際より少なく描いている。各セルの液晶は、例えば強誘電体液晶であり、図２中の楕円は、ＳＬＭ１３の正面から見た液晶分子を模式的に表している。
　ＳＬＭ１３のセルがオン／オフされると、セル内の液晶分子が基準軸の周りを回転する。基準軸は、オンされたセル（図３（ａ）を参照）における液晶分子の方向とオフされたセル（図３（ｂ）を参照）における液晶分子の方向との中間方向を示す軸のことである。
　オンされたセル（オンセル）における液晶分子の方向（楕円の長手方向）は、図３（ａ）に示すとおり基準軸から角度αだけ回転している。一方、オフされたセル（オフセル）における液晶分子の方向は、図３（ｂ）に示すとおり基準軸から角度－αだけ回転している。この角度αは、液晶の種類によって一義的に決まる角度である。
　これらのオンされたセルとオフされたセルとの各々には、セル内の液晶分子と同じ方向に進相軸を向けた１／２波長板と同じ機能がある。１／２波長板の進相軸とは、位相遅延量が最小となる入射光の偏光方向を示す軸のことである。
　よって、図２に示すとおりオンされたセルとオフされたセルとが一方向に亘って周期配列されたパターン、つまり縞状の分岐用パターンである一次元の格子パターンをＳＬＭ１３へ表示（形成）すれば、ＳＬＭ１３を一次元回折格子として使用することが可能となる。
　ここで、ＳＬＭ１３に対する入射光の偏光方向は、ＳＬＭ１３の基準軸に一致していると仮定する。この場合、ＳＬＭ１３は「位相差４αの位相回折格子」として機能する。
　例えば、角度αが４５°であるならば、オンされたセルは、入射光の偏光方向を２×α＝＋９０°だけ回転させ、オフされたセルは、入射光の偏光方向を２×（－α）＝－９０°だけ回転させる。そのため、オンされたセルが入射光に与える位相遅延量と、オフされたセルが入射光に与える位相遅延量との差は、４α＝１８０°＝πｒａｄとなる。よって、この場合、ＳＬＭ１３は「位相差πの位相回折格子」として機能する。
　次に、ＳＬＭ１３のドライバ１３Ａを説明する。ドライバ１３Ａは、制御装置３９により制御されてＳＬＭ１３に電圧（電圧パターン）を印加し、ＳＬＭ１３に配列された個々のセルをオン／オフすることにより、ＳＬＭ１３に表示される格子パターンを次のとおり切り替える。ここで、電圧パターンとは、ＳＬＭ１３に配列された個々のセルに印加する電圧情報である。
　例えば、ドライバ１３Ａは、ＳＬＭ１３に形成する格子パターンの格子ピッチ（間隔）を切り替えることにより、観察対象面Ｐに生成される干渉縞の空間周波数を切り替える。ドライバ１３Ａは、ＳＬＭ１３に形成する格子パターンの方向を切り替えることにより、観察対象面Ｐに生成される干渉縞（構造化照明）の方向を切り替える。ドライバ１３Ａは、ＳＬＭ１３に形成する格子パターンの位相をシフトさせることにより、観察対象面Ｐに生成される干渉縞の位相をシフトさせる。
　以上の説明では、ＳＬＭ１３の液晶に固有の角度αを４５°としたが、液晶に固有の角度αは４５°未満であっても構わない。
　次に、図１に示す光束選択部１００について説明する。光束選択部１００には、観察対象面Ｐへ入射する光束を選択する機能と、観察対象面Ｐへ入射する±１次回折光束の偏光状態をＳ偏光に維持する機能がある。観察対象面Ｐへ入射する±１次回折光束をＳ偏光とするためには、観察対象面Ｐへ向かう±１次回折光束の偏光方向を、±１次回折光束の分岐方向に直交させればよい。なお、光束選択部１００に、観察対象面Ｐへ入射する±１次回折光束の偏光状態をＳ偏光に維持する機能は、適宜省略されてもよい。
　本実施形態では、干渉縞の方向切り替えのためにＳＬＭ１３の格子パターンの方向が切り替わる。このとき、±１次回折光束の分岐方向も切り替わる。よって、光束選択部１００は、この切り替えに対応する必要がある。
　図４は、光束選択部１００の構成例を示す図である。図４では、ＳＬＭ１３およびＰＢＳ１４を光束選択部１００の入射側にそれぞれ示す。光束選択部１００の入射側に配置される集光レンズ１６の図示は省略している。
　光束選択部１００は、入射側から順に、１／２波長板１０１、セグメント波長板１７、固定偏光板１０２、液晶１／２波長板１０３，１０４を有している。
　１／２波長板１０１は、光の進行方向から見て進相軸が水平から３５°回転した方向となるように配置される。
　セグメント波長板１７は、例えば透過型の液晶ＳＬＭである。セグメント波長板１７には液晶駆動回路であるドライバ１７Ａが接続される。
　セグメント波長板１７は、ドライバ１７Ａによりそれぞれオン／オフの制御が可能な複数のセルを有している。例えば、セグメント波長板１７は、中央部に配置される円形状のセルと、この円形状のセルの外周に配置され、リング状の領域を円周方向に分割して形成された６つのセルとを有している。セグメント波長板１７のドライバ１７Ａは、セグメント波長板１７の個々のセルがあらかじめ設定された進相軸の方向で１／２波長板として機能するか否かを、個々のセルに与えるべき駆動信号の値によって制御できる。
　セグメント波長板１７においてオンの状態のセルは、光の進行方向から見て進相軸が水平から２０°となる１／２波長板として機能する。セグメント波長板１７においてオフの状態のセルは偏光制御機能がなく、入射したときの偏光状態が保存されたまま光が透過する。
　固定偏光板１０２は、光の進行方向から見て偏光方向が水平から７０°となるように配置されている。
　液晶１／２波長板１０３は、液晶駆動回路であるドライバ１０３Ａによりオン／オフが制御される。液晶１／２波長板１０３は、オンの状態のときに光の進行方向から見て進相軸が水平から１０°回転した方向に設定された１／２波長板として機能する。また、液晶１／２波長板１０３は、オフの状態のときには偏光制御機能がなく、入射したときの偏光状態が保存されたまま光が透過する。
　液晶１／２波長板１０４は、液晶駆動回路であるドライバ１０４Ａによりオン／オフが制御される。液晶１／２波長板１０４は、オンの状態のときに光の進行方向から見て進相軸が水平から４０°回転した方向に設定された１／２波長板として機能する。液晶１／２波長板１０４は、オフの状態のときには偏光制御機能がなく、入射したときの偏光状態が保存されたまま光が透過する。
　ドライバ１７Ａ、１０３Ａ、１０４Ａは、それぞれ制御装置３９により制御される。
　図５は、図４に示す要素での偏光の状態を示す図である。図４および図５では、一例として、構造化照明４０°であるときの偏光の状態を示している。
　図４、図５において各要素に付与した矢印のうち矢じりを黒く塗りつぶしたものは、各要素に入射及び射出する光の偏光方向を示している。図４、図５の矢印のうち矢じりを塗りつぶしていないものは素子の軸方向を示している。図４、図５では各要素を模式的に示しているので実際と同じとは限らない。
　ＰＢＳ１４から射出した±１次回折光束の偏光方向は、ＰＢＳ１４の偏光分離面を透過できる光の偏光方向であるので、±１次回折光束の分岐方向の切り替えに拘わらず不変である。
　±１次回折光束の分岐方向が４０°であるとき、光束選択部１００は、入射した±１次回折光束の偏光方向を、分岐方向の４０°と直交する方向（－５０°の直線偏光）へと変換する必要がある。そのために、まず固定の１／２波長板１０１で偏光方向を所定の方向に回転する。ここではＰＢＳ１４の透過後の偏光方向を水平０°とし、１／２波長板１０１の進相軸を光の進行方向から見て水平から３５°回転した方向に配置する。すると偏光方向を同７０°に回転することができる（図５（ｂ）を参照）。
　続いて、制御装置３９は、ドライバ１７Ａを介して、セグメント波長板１７のセルのうち分岐方向４０°の±１次回折光束が入射するセルをオフとし、それ以外のセルをオンとする制御を行う。セグメント波長板１７のオンのセルは光の進行方向から見て進相軸が水平から３５°回転した方向に設定された１／２波長板として機能し、セグメント波長板１７のオフのセルは偏光制御機能がなく、入射したときの偏光状態が保存されたまま光が透過する。その結果、セグメント波長板１７の後の偏光状態は、分岐方向４０°の±１次回折光束が入射する領域（セグメント波長板１７のオフのセル）を通った光は、光の進行方向から見て水平から７０°の直線偏光のままであり、それ以外の領域（セグメント波長板１７のオンのセル）を通過する光は光の進行方向から見て水平から－２０°の直線偏光に変換される（図５（ｃ）を参照）。
　セグメント波長板１７を透過した光は固定偏光板１０２に入射する。このとき、セグメント波長板１７のオンのセルを通過する光は光の進行方向から見て水平から－２０°の直線偏光に変換されるため、偏光方向が７０°の固定偏光板１０２で遮断される（図５（ｄ）上段を参照）。一方、セグメント波長板１７のオフのセルを通った光は、光の進行方向から見て水平から７０°の直線偏光であるので、偏光方向が７０°の固定偏光板１０２をそのまま透過する（図５（ｄ）下段を参照）。
　そして、制御装置３９は、ドライバ１０３Ａを介して、液晶１／２波長板１０３をオンにする制御を行う。また、制御装置３９は、ドライバ１０４Ａを介して、液晶１／２波長板１０４をオフにする制御を行う。
　液晶１／２波長板１０３は、オンにすることで光の進行方向から見て進相軸が水平から１０°回転した方向に設定された１／２波長板として機能する。セグメント波長板１７のオフのセルを通過した分岐方向４０°の±１次回折光は、光の進行方向から見て水平から７０°の直線偏光であったが、１０°に進相軸をもつ液晶１／２波長板１０３によって光の進行方向から見て水平から－５０°の直線偏光に変換される（図５（ｅ）を参照）。液晶１／２波長板１０４はオフであるので、偏光状態が保存されたまま液晶１／２波長板１０４を光が透過する。このように、ＰＢＳ１４から射出した±１次回折光束は、光束選択部１００を通過した後は、分岐方向４０°に直交した－５０°の偏光状態に変換される。
　光束選択部１００において、±１次回折光束の分岐方向を変化させる場合には、制御装置３９により、セグメント波長板１７のセルのオン／オフと、液晶１／２波長板１０３のオン／オフおよび液晶１／２波長板１０４のオン／オフを適宜切り替えればよい。なお、光束選択部１００に、観察対象面Ｐへ入射する±１次回折光束の偏光状態をＳ偏光に維持する機能である、液晶１／２波長板１０３および、液晶１／２波長板１０４は適宜省略されてもよい。
　図４に示す光束選択部１００において、ＳＬＭ１３のピクセル構造などに起因して発生したノイズ回折光の通過を抑制するために、セグメント波長板１７の各セルに対応する開口を備えたマスク１８を光束選択部１００の光路に挿入してもよい。マスク１８は、例えば、必要な回折光の入射領域にのみ開口部（孔）を形成した黒色の薄いマスク基板である。或いは、マスク１８は、例えば、必要な回折光の入射領域に透過セルを配置し、かつ不要な回折光の入射領域に不透明セルを配置した液晶素子であってもよい。図６は、光束選択部１００に挿入されるマスク１８の例を示す図である。図６（ａ）は、後述のように０次回折光と±１次回折光とを通過させる場合の３光束用のマスク１８のパターン例を示す。図６（ｂ）は、±１次回折光を通過させる場合の２光束用のマスク１８のパターン例を示す。図６において、マスク１８の黒い部分は遮光領域を示す。
　ＳＬＭ１３で発生する回折光の回折方向および位相は、ＳＬＭ１３の複数の画素Ｐｘにおけるオンされたセルとオフされたセルとの分布により定まる。制御装置３９は、ドライバ１３Ａにビットマップデータ（ＳＬＭ１３に印加される電圧パターン（電圧）に関する情報）を供給し、ドライバ１３Ａは、ビットマップデータに応じた電圧パターンをＳＬＭ１３に印加してＳＬＭ１３に格子パターンを表示（形成）させる。これにより、観察対象面Ｐに干渉縞が生成される。また、ＳＬＭ１３に格子パターンを形成させることによって、観察対象面Ｐに生成される干渉縞の方向および位相を制御する。このビットマップデータは、例えば、画素Ｐｘがオンセルであるか、もしくはオフセルであるかを示す階調値（例えば、０または１）と、この画素Ｐｘの位置とを関連付けたデータである。
　図８は、本実施形態のＳＬＭ１３に形成される格子パターンの一例を示す模式図である。制御装置３９は、ドライバ１３Ａにビットマップデータを供給し、ドライバ１３Ａは、ビットマップデータに応じた電圧パターンをＳＬＭ１３に印加することで、ＳＬＭ１３に図８に示す格子パターンを形成させる。
　図８に示す格子パターンＡ１～Ａ３は、観察対象面Ｐに形成される干渉縞の位相差が、２π／Ｎ［ｒａｄ］となるように構成されている。例えば、格子パターンＡ１および格子パターンＡ２は、それぞれによって形成される干渉縞の位相差が２π／３［ｒａｄ］となるように構成されている。格子パターンＡ２と格子パターンＡ３とは、それぞれによって形成される干渉縞の位相差が２π／３［ｒａｄ］となるように構成されている。制御装置３９は、ドライバ１３Ａを介してこれらの格子パターンＡ１～Ａ３をＳＬＭ１３に順次形成させる。
　図８に示す格子パターンＢ１～Ｂ３は、格子パターンＡ１～Ａ３の方向とは異なる方向（例えば、－６０度の方向）となるように構成されたものである。格子パターンＢ１～Ｂ３は、隣あう格子パターンそれぞれによって形成される干渉縞の位相差が、格子パターンＡ１～Ａ３と同様に、例えば、２π／３［ｒａｄ］となるように構成される。図８に示す格子パターンＣ１～Ｃ３は、格子パターンＡ１～Ａ３の方向に対して別の異なる方向（例えば、＋６０度の方向）となるように構成されたものである。格子パターンＣ１～Ｃ３も、隣あう格子パターンそれぞれによって形成される干渉縞の位相差が、格子パターンＡ１～Ａ３と同様に、例えば、２π／３［ｒａｄ］となるように構成される。このように、符号Ａ，Ｂ，Ｃは格子パターンの方向を示しており、符号Ａ，Ｂ，Ｃに添付する数字１，２，３は格子パターンにおける位相を示している。
　次に、構造化照明顕微鏡システム１がＴＩＲＦＭとして使用される場合（ＴＩＲＦ－ＳＩＭ）について説明する。
　構造化照明顕微鏡システム１がＴＩＲＦＭとして使用される場合、観察対象面Ｐに入射する±１次回折光束の入射角度は、エバネッセント場の生成条件である全反射条件（ＴＩＲＦ条件）を満たす必要がある。
　このＴＩＲＦ条件を満たすためには、瞳面６Ａにおける±１次回折光束の集光点が、瞳面６Ａの最外周における所定の輪帯状領域（ＴＩＲＦ領域）に位置していればよい。この場合、瞳面６Ａに集光した±１次回折光束は、対物レンズ６から観察対象面Ｐに向かい観察対象面Ｐにおいて全反射する。その際に、観察対象面Ｐ近傍には、観察対象面Ｐにおいて全反射した±１次回折光束によるエバネッセント場が生起する。このエバネッセント場からは、観察対象面Ｐの裏側にエバネッセント光が放出され、このエバネッセント光により、観察対象面Ｐの裏側に載置された標本が照明される。この照明により、観察対象面Ｐにおける蛍光領域（標本内の蛍光色素等）が励起されて蛍光を発生する。結像光学系３０は、この蛍光を受けて、標本の変調像を形成する。
　次に、レーザユニット３００から射出するレーザ光の波長（光源波長）を切り替える場合について、図９を参照して説明する。なお、光源波長をλ１としている時は、シャッタ３０３は開状態とされレーザユニット３００からλ１のレーザ光が射出される。この時シャッタ３０４は閉状態とされλ２のレーザ光は遮光もしくは減光される。光源波長をλ２としている時は、シャッタ３０４は開状態とされレーザユニット３００からλ２のレーザ光が射出される。この時シャッタ３０３は閉状態とされλ１のレーザ光は遮光もしくは減光される。光源波長λ１とλ２を同時照射している時は、シャッタ３０３およびシャッタ３０４は開状態とされレーザユニット３００からλ１のレーザ光およびλ２のレーザ光が射出される。
　図９（Ａ）→（Ｂ）に示すとおり、光源波長が長い波長λ１から短い波長λ２へ切り替わると、ＳＬＭ１３から射出する±１次回折光束の回折角度（分岐量）が小さくなるため、図９（Ａ），（Ｂ）の左端に示すとおり瞳面６Ａにおける±１次回折光束それぞれの集光点の光軸ＡＺからの高さが変化してしまう。ここでは、光軸ＡＺから光線までの距離を単に「高さ」と称する。
　ＳＬＭ１３から射出する±１次回折光束の回折角度は、ＳＬＭ１３に形成される格子パターンの格子ピッチと、光源波長に依存する。そのため、例えば光源波長λ１でＴＩＲＦ条件を満たす格子パターンの格子ピッチに対し、より短い波長λ２を照射した場合、ＳＬＭ１３から射出する±１次回折光束の角度（分岐量）が小さくなる。それにより、瞳面６Ａにおける±１次回折光束の集光点が、瞳面６Ａの最外周における所定の輪帯状領域（ＴＩＲＦ領域）に位置せず、ＴＩＲＦ条件を満たさなくなってしまう。
　そこで、より短い波長λ２の照射に合わせて、制御装置３９はＳＬＭ１３に形成される格子パターンの格子ピッチを変更する。具体的には、ＳＬＭ１３に対して、波長λ２でＴＩＲＦ条件を満たす格子ピッチの格子パターンを形成させる。このようにすることで、波長λ１においてＴＩＲＦ条件を満たし、さらに光源波長をより短い波長λ２に変更した場合には、ＳＬＭ１３に形成する格子ピッチを変更する（小さくする）ことで、波長λ２においてもＴＩＲＦ条件を満たすことが可能である。
　このように構造化照明顕微鏡システム１では、ＴＩＲＦ条件を満たすために、ＳＬＭ１３に形成する格子パターンの格子ピッチを、光源波長によって変更する。以下、波長λ１においてＴＩＲＦ条件を満たす格子ピッチ（波長λ１用の第1ピッチ）を有する格子パターンであることを示す場合は、格子パターンの方向と位相を表す符号（例えば、Ａ１～Ａ３、Ｂ１～Ｂ３、Ｃ１～Ｃ３）の後に、λ１を添付することとする。例えば、Ａ１λ１の格子パターン、Ｃ２λ１の格子パターン等と称する。同様に、波長λ２においてＴＩＲＦ条件を満たす格子ピッチ（波長λ２用の第２ピッチ）を有する格子パターンであることを示す場合は、格子パターンの方向と位相を表す符号の後に、λ２を添付することとする。例えば、Ｂ３λ２の格子パターン、Ｃ３λ２の格子パターン等と称する。Ａ１λ１～Ｃ３λ１の各々の格子パターンは、第１ピッチを有して方向または位相が互いに異なるパターン（第１分岐用パターン）となる。Ａ１λ２～Ｃ３λ２の各々の格子パターンは、第２ピッチを有して方向または位相が互いに異なるパターン（第２分岐用パターン）となる。
　次に図１０を参照してＳＬＭ１３に形成される縞状の分岐用のパターンである一次元の格子パターンの「方向」と、格子パターンの「ピッチ（間隔）」の求め方について説明する。図１０は所定の格子パターンをＳＬＭ１３上に形成している様子を示している。図１０では記載の都合上ＳＬＭ１３をｎｘ列ｎｙ行に画素が配列されているものとして記載する。また、図１０では前述のオンされたセル（画素）を例えば黒、オフされたセル（画素）を例えば白として、オンされたセルとオフされたセルとを一方向に亘って周期配列して一次元の格子パターンを形成している。このように形成された格子パターンに対して、画素Ｐ１１、画素Ｐ１２、画素Ｐｎｙ１、画素Ｐｎｙ２（図中いずれも斜線を付して表記）に着目して説明する。画素Ｐ１１、画素Ｐ１２はＹ＝１行目に隣接する縞（格子）の黒色画素であり、かつＸ方向に隣接する右側の画素が白色である。このような画素Ｐ１１、画素Ｐ１２の右下の頂点をそれぞれＰ１１ａ、Ｐ１２ａとする。頂点Ｐ１１ａ、頂点Ｐ１２ａは、格子パターンの「方向」と「ピッチ」を求める基準となる点である。さらに画素Ｐｎｙ１、画素Ｐｎｙ２はＹ＝ｎｙ行目に隣接する縞（格子）の黒色画素であり、かつＸ方向に隣接する右側の画素が白色である。このような画素Ｐｎｙ１、画素Ｐｎｙ２の右下の頂点をそれぞれＰｎｙ１ａ、Ｐｎｙ２ａとする。頂点Ｐｎｙ１ａ、頂点Ｐｎｙ２ａは、頂点Ｐ１１ａ、頂点Ｐ１２ａと同様に格子パターンの「方向」と「ピッチ」を求める基準となる点である。
　これら頂点Ｐ１１ａ、頂点Ｐ１２ａ、頂点Ｐｎｙ１ａ、頂点Ｐｎｙ２ａを用いて格子パターンの「方向」と「ピッチ」を求める。まず、Ｐ１１ａからＰｎｙ１ａに向かう線（補助線）をＬ１Ａとする。同様にＰ１２ａからＰｎｙ２ａに向かう線（補助線）をＬ２Ａとする。このＬ１ＡとＬ２Ａは一方向に亘って周期配列されたオンされたセル（例えば黒色画素）の右側の境界線である。このとき、格子パターンの「方向」とはＸ軸とＬ１ａの時計回りになす角（図中ｄで表記）のことである。また、Ｌ１Ａと直角をなす、Ｌ１ＡからＬ２Ａに向かう補助線（図中両矢線で表記）をｐとすると、この補助線ｐの距離が格子パターンの「ピッチ」となる。すなわち格子パターンの方向を変化させるということは、図１０中のｄが変化するようにオンされたセル（画素）とオフされたセル（画素）とを一方向に亘って周期配列することである。また、格子パターンのピッチを変化させるということは、図１０中のｐが変化するようにオンされたセル（画素）とオフされたセル（画素）とを一方向に亘って周期配列することをいう。もちろん格子パターンの「方向」と「ピッチ」を求める方法は上記のみに限定されるものではなく、例えばＬ１ＡとＬ２Ａを求める場合に画素情報を補完（例えばアンチエイリアス）したものを用いてもよい。また、上述の例ではＳＬＭ１３に形成される周期配列されたオンされたセル（黒色画素）の右側の境界線を用いたが、左側の境界線を用いて格子パターンの「方向」と「ピッチ」を求めてもよい。さらにＳＬＭ１３に形成される周期配列されたオンされたセル（黒色画素）の右側の境界線と左側の境界線における「方向」と「ピッチ」をそれぞれ求め、それぞれの「方向」と「ピッチ」の例えば平均値を格子パターンの「方向」と「ピッチ」としてもよい。なお、上述の例ではＳＬＭ１３に形成される格子パターンの「方向」と「ピッチ」を求めたが、観察対称面Ｐに生成される干渉縞の空間周波数の「方向」と「ピッチ」を求め、観察対称面Ｐに生成される干渉縞の空間周波数の「方向」と「ピッチ」が変化するようにＳＬＭ１３に形成される格子パターンを変化させてもよい。
　ここで、構造化照明顕微鏡システム１において、所定の標本５を観察（撮影）するのに際し、ＳＬＭ１３に形成される格子パターンの順序について説明する。まず、光源波長が１つ（λ１）の場合の格子パターンの形成順序の一例を、図１１を参照して説明する。
　図１１に示す例では、ＳＬＭ１３に、まず、Ａ１λ１の格子パターン、Ａ２λ１の格子パターン、Ａ３λ１の格子パターンをこの順序で形成する。次に、Ｂ１λ１の格子パターン、Ｂ２λ１の格子パターン、Ｂ３λ１の格子パターンをこの順序で形成し、最後に、Ｃ１λ１の格子パターン、Ｃ２λ１の格子パターン、Ｃ３λ１の格子パターンをこの順序で形成する。１つの格子パターンが形成される時間は例えば同じ（例えば、Ｔｓとする）であり、各格子パターンが形成される時間内において、観察対象面Ｐを撮影して、各格子パターン（観察対象面Ｐに形成される各干渉縞）に対応する画像（ＳＩＭ構成画像）を生成する。撮影した各ＳＩＭ構成画像を復元（画像復調）することにより、波長λ１により励起された標本５の蛍光超解像画像（「ＳＩＭ復元画像λ１」と称する）を得る。
　次に、構造化照明顕微鏡システム１において、光源波長を変更する（λ１とλ２とを切り替える）場合の格子パターンを形成する順序と各ＳＩＭ構成画像の撮影順序の具体例について、図１２～図１４を参照して説明する。図中の「ＳＬＭ表示」は、ＳＬＭ１３に形成される格子パターンを表し、「ＤＳＣ」（ＤＳＣ：Digital Still Camera）は撮像素子３５を表している。図中の「ｐｉｃ」は撮像素子３５により撮影された画像(ＳＩＭ構成画像)を意味する。例えば、「ｐｉｃＡ１λ１」は、Ａ１λ１の格子パターンをＳＬＭ１３に形成したときに撮影されたＳＩＭ構成画像を意味する。
　図１２に示す順序例１では、まず、光源波長がλ１の時のＳＩＭ構成画像（波長λ１用の第１変調画像）をすべて取得する。具体的には、光源波長をλ１とし、ＳＬＭ１３に対し、Ａ１λ１、Ａ２λ１、Ａ３λ１、Ｂ１λ１、Ｂ２λ１、Ｂ３λ１、Ｃ１λ１、Ｃ２λ１、Ｃ３λ１の各格子パターンをこの順序で形成する。１つの格子パターンが形成される時間は例えば同じ（Ｔｓ）であり、その各格子パターンが形成される時間内において、それぞれのＳＩＭ構成画像ｐｉｃＡ１λ１～ｐｉｃＣ３λ１を撮影する。
　次に、光源波長をλ２に切り替え、光源波長がλ２の時のＳＩＭ構成画像（波長λ２用の第２変調画像）をすべて取得する。具体的には、ＳＬＭ１３に対し、Ａ１λ２、Ａ２λ２、Ａ３λ２、Ｂ１λ２、Ｂ２λ２、Ｂ３λ２、Ｃ１λ２、Ｃ２λ２、Ｃ３λ２の各格子パターンをこの順序で形成する。１つの格子パターンが形成される時間は例えば同じ（Ｔｓ）であり、その各格子パターンが形成される時間内において、それぞれのＳＩＭ構成画像ｐｉｃＡ１λ２～ｐｉｃＣ３λ２を撮影する。なお、例えば、ＳＬＭ１３にＡ１λ１の格子パターンを形成すると標本５（観察対象面Ｐ）に所定の空間周波数の干渉縞（第１の干渉縞）が形成され、ＳＬＭ１３にＡ２λ１の格子パターンを形成すると標本５に第１の干渉縞と方向（およびピッチ）が同じで位相が異なる干渉縞（第３の干渉縞）が形成される。ＳＬＭ１３にＢ１λ１の格子パターンを形成すると標本５に第１の干渉縞と位相（およびピッチ）が同じで方向が異なる干渉縞（第４の干渉縞）が形成され、ＳＬＭ１３にＡ１λ２の格子パターンを形成すると標本５に第１の干渉縞と空間周波数が異なる干渉縞（第２の干渉縞）が形成される。
　画像記憶・演算装置４０は、撮影した各ＳＩＭ構成画像ｐｉｃＡ１λ１～ｐｉｃＣ３λ１を用いて、波長λ１により励起されたＳＩＭ復元画像λ１を生成する。さらに、撮影した各ＳＩＭ構成画像ｐｉｃＡ１λ２～ｐｉｃＣ３λ２を用いて、波長λ２により励起された標本５の蛍光超解像画像（「ＳＩＭ復元画像λ２」と称する）を生成する。なお、画像記憶・演算装置４０は、画像表示装置４５にＳＩＭ復元画像λ１とＳＩＭ復元画像λ２をそれぞれ表示してもよいし、ＳＩＭ復元画像λ１とＳＩＭ復元画像λ２とを重畳して表示してもよい。
　この順序例１では、ＳＩＭ構成画像ｐｉｃＡ１λ１～ｐｉｃＣ３λ１のすべてを撮影するのに必要な時間（「ＳＩＭ復元画像λ１の撮影時間」と称する）は、９Ｔｓとなる。同様に、ＳＩＭ構成画像ｐｉｃＡ１λ２～ｐｉｃＣ３λ２のすべてを撮影するのに必要な時間（「ＳＩＭ復元画像λ２の撮影時間」と称する）は、同じく９Ｔｓとなる。
　このように順序例１によれば、後述の順序例２，３に比較して、ＳＩＭ復元画像λ１に必要なＳＩＭ構成画像の撮影時間が最も短くなる。このため、標本５に含まれる生体細胞の動きが早くても、波長λ１により励起される生体細胞内部に発現した蛍光物質の位置ずれが少ない複数のＳＩＭ構成画像を取得することが可能である。同様に、この順序例１によれば、後述の順序例２，３に比較して、ＳＩＭ復元画像λ２に必要なＳＩＭ構成画像の撮影時間が最も短くなる。このため、標本５に含まれる生体細胞の動きが速くても、波長λ２により励起される生体細胞内部に発現した蛍光物質の位置ずれの少ない複数のＳＩＭ構成画像を取得することが可能である。そのため、順序例１は、標本５に含まれる生体細胞の動きが速い場合の撮影に適している。
　図１３に示す順序例２では、ＳＩＭ構成画像を１枚取得するごとに波長λ１と波長λ２とを切り替える。具体的には、まず、光源波長をλ１とし、ＳＬＭ１３にＡ１λ１の格子パターンを形成してＳＩＭ構成画像ｐｉｃＡ１λ１を撮影する。次に、光源波長をλ２に切り替え、ＳＬＭ１３にＡ１λ２の格子パターンを形成してＳＩＭ構成画像ｐｉｃＡ１λ２を撮影する。次いで、光源波長をλ１に再び切り替え、ＳＬＭ１３にＡ２λ１の格子パターンを形成してＳＩＭ構成画像ｐｉｃＡ２λ１を撮影する。さらに、光源波長をλ２に切り替え、ＳＬＭ１３にＡ２λ２の格子ピッチを形成してＳＩＭ構成画像ｐｉｃＡ２λ２を撮影する。このように、光源波長を交互に切り替えながら、ＳＩＭ構成画像ｐｉｃＡ１λ１～ｐｉｃＣ３λ１のすべての撮影と、ＳＩＭ構成画像ｐｉｃＡ１λ２～ｐｉｃＣ３λ２のすべての撮影を順次行う。
　この順序例２によれば、ＳＩＭ構成画像ｐｉｃＡ１λ１～ｐｉｃＣ３λ１とＳＩＭ構成画像ｐｉｃＡ１λ２～ｐｉｃＣ３λ２とが１枚ずつ交互に撮影されるので、順序例１に比較して、ＳＩＭ復元画像λ１に必要なＳＩＭ構成画像の撮影時間とＳＩＭ復元画像λ２に必要なＳＩＭ構成画像の撮影時間との同時性が高くなる。このため、順序例２は、標本５における複数の箇所（波長λ１により励起される生体細胞内部に発現した蛍光物質と、波長λ２により励起される生体細胞内部に発現した蛍光物質）において、同時に何が起こっているのかを解析するのに適している。順序例２においては、ＳＩＭ復元画像λ１の撮影時間とＳＩＭ復元画像λ２の撮影時間は、どちらも１７Ｔｓとなる。なお、上述の順序例２では、ＳＩＭ構成画像を１枚取得するごとに波長λ１と波長λ２とを切り替えたが、例えばＳＩＭ構成画像を複数枚取得するごとに波長λ１と波長λ２とを切り替えてもよい。
　図１４に示す順序例３では、ＳＩＭ構成画像を複数枚（例えば３枚）取得するごとに波長λ１と波長λ２とを切り替える。また、観察対象面Ｐに生成される干渉縞の方向（ＳＬＭ１３に形成される格子パターンの方向）ごとに波長λ１と波長λ２とを切り替える。具体的には、まず、光源波長をλ１とし、ＳＬＭ１３にＡ１λ１、Ａ２λ１、Ａ３λ１の各格子パターンをこの順序で形成し、３枚のＳＩＭ構成画像ｐｉｃＡ１λ１～ｐｉｃＡ３λ１を順次撮影する。次に、光源波長をλ２に切り替えるが、観察対象面Ｐに生成される干渉縞の方向は変えないように、ＳＬＭ１３にＡ１λ２、Ａ２λ２、Ａ３λ２の各格子パターンをこの順序で形成し、３枚のＳＩＭ構成画像ｐｉｃＡ１λ２～ｐｉｃＡ３λ２を順次撮影する。
　次に、光源波長を再びλ１に切り替えるとともに、観察対象面Ｐに生成される干渉縞の方向を切り替えるために、ＳＬＭ１３にＢ１λ１、Ｂ２λ１、Ｂ３λ１の各格子パターンをこの順序で形成し、３枚のＳＩＭ構成画像ｐｉｃＢ１λ１～ｐｉｃＢ３λ１を順次撮影する。次いで、光源波長を再びλ２に切り替えるが、観察対象面Ｐに生成される干渉縞の方向は変えないように、ＳＬＭ１３にＢ１λ２、Ｂ２λ２、Ｂ３λ２の各格子パターンをこの順序で形成し、３枚のＳＩＭ構成画像ｐｉｃＢ１λ２～ｐｉｃＢ３λ２を順次撮影する。
　さらに、光源波長を再びλ１に切り替えるとともに、観察対象面Ｐに生成される干渉縞の方向を切り替えるために、ＳＬＭ１３にＣ１λ１、Ｃ２λ１、Ｃ３λ１の各格子パターンをこの順序で形成し、ＳＩＭ構成画像ｐｉｃＣ１λ１～ｐｉｃＣ３λ１を順次撮影する。次いで、光源波長を再びλ２に切り替えるが、観察対象面Ｐに生成される干渉縞の方向は変えないように、ＳＬＭ１３にＣ１λ２、Ｃ２λ２、Ｃ３λ２の各格子パターンをこの順序で形成し、ＳＩＭ構成画像ｐｉｃＣ１λ２～ｐｉｃＣ３λ２を順次撮影する。
　このように順序例３によれば、順序例１に比較して、ＳＩＭ復元画像λ１に必要なＳＩＭ構成画像の撮影時間とＳＩＭ復元画像λ２に必要なＳＩＭ構成画像の撮影時間との同時性が高くなる。ＳＩＭ復元画像λ１の撮影時間と、ＳＩＭ復元画像λ２の撮影時間は、どちらも１５Ｔｓとなるので、順序例２に比較して短い。そのため、標本５における複数の箇所（波長λ１により励起される生体細胞内部に発現した蛍光物質と、波長λ２により励起される生体細胞内部に発現した蛍光物質）において、同時に何が起こっているのかを解析するのに比較的適しており、標本５に含まれる生体細胞が比較的速く動いても生体細胞内部に発現した蛍光物質の位置ずれの少ない複数のＳＩＭ構成画像の撮影が可能となる。
［第２実施形態］
　次に、本発明の第２実施形態としての構造化照明顕微鏡システム２を説明する。図１５は構造化照明顕微鏡システム２の構成図である。図１５に示すとおり構造化照明顕微鏡システム２は、結像光学系３０に配置されていたバリアフィルタ３１に代わり、バリアフィルタ交換器３４を備えている点において上記構造化照明顕微鏡システム１と異なり、その他の構成は構造化照明顕微鏡システム１と同様である。
　バリアフィルタ交換器３４は、２個のバリアフィルタ３４Ａ，３４Ｂを備え、それらのうちの一方を選択的に光軸ＡＺ上に配置することが可能に構成されている。バリアフィルタ交換器３４によるバリアフィルタ３４Ａ，３４Ｂの選択（切替え）は、制御装置３９により制御される。バリアフィルタ３４Ａは、光源波長がλ１の時に標本５から励起される蛍光は透過し、それ以外の光は透過させないように構成されている。一方、バリアフィルタ３４Ｂは、光源波長がλ２の時に標本５から励起される蛍光は透過し、それ以外の光は透過させないように構成されている。
　構造化照明顕微鏡システム２において、所定の標本５を観察（撮影）するのに際し、ＳＬＭ１３に形成される格子パターンの順序と各ＳＩＭ構成画像の撮影順序の具体例（順序例４）について、図１６を参照して説明する。
　図１６に示す順序例４では、ＳＬＭ１３に形成される格子パターンの順序は、上記順序例１と同様である。大きく異なるのは、この順序例４では、波長λ１と波長λ２との両方を同時に標本５に照射する点にある。すなわち、順序例４では、光源波長λ１とλ２を同時照射し、ＳＬＭ１３に、まず、Ａ１λ１、Ａ２λ１、Ａ３λ１、Ｂ１λ１、Ｂ２λ１、Ｂ３λ１、Ｃ１λ１、Ｃ２λ１、Ｃ３λ１の各格子パターンをこの順序で形成し、その各格子パターンが形成される時間内において、それぞれのＳＩＭ構成画像ｐｉｃＡ１λ１～ｐｉｃＣ３λ１を順次撮影する。
　次に、光源波長λ１とλ２を同時照射したまま、ＳＬＭ１３に、Ａ１λ２、Ａ２λ２、Ａ３λ２、Ｂ１λ２、Ｂ２λ２、Ｂ３λ２、Ｃ１λ２、Ｃ２λ２、Ｃ３λ２の各格子パターンをこの順序で形成し、その各格子パターンが形成される時間内において、それぞれのＳＩＭ構成画像ｐｉｃＡ１λ２～ｐｉｃＣ３λ２を順次撮影する。なお、ＳＩＭ構成画像ｐｉｃＡ１λ１～ｐｉｃＣ３λ１を撮影している期間は、バリアフィルタ３４Ａを光路上に配置し、ＳＩＭ構成画像ｐｉｃＡ１λ２～ｐｉｃＣ３λ２を撮影している期間は、バリアフィルタ３４Ｂを光路上に配置する。
　この順序例４では、光源波長に応じてバリアフィルタを切り替えることで、所望の光源波長に対応した画像を取得することが可能である。ＳＩＭ復元画像λ１に必要なＳＩＭ構成画像の撮影時間中はλ２の照射を遮光もしくは減光し、ＳＩＭ復元画像λ２に必要なＳＩＭ構成画像の撮影時間中はλ１の照射を遮光もしくは減光してもよい。しかし、この順序例４では光源波長に応じてバリアフィルタを切り替えているため、両波長を同時に照射していてもよい。順序例４では、波長を切り替える（一方の波長を遮光もしくは減光する）制御が不要となる。
　この順序例４では、バリアフィルタ３４Ａ，３４Ｂを切り替えるための時間が必要となる。しかし、その切替え時間を短くすることができれば、ＳＩＭ復元画像λ１に必要なＳＩＭ構成画像の撮影時間とＳＩＭ復元画像λ２に必要なＳＩＭ構成画像の撮影時間が短い（どちらも９Ｔｓ）という効果は順序例１と同等なので、標本５に含まれる生体細胞の動きが速い場合の撮影に適している。この順序例４のバリアフィルタ３４Ａ，３４Ｂの切り替えを、先の順序例２と順序例３に適用してもよい。
［第３実施形態］
　次に、本発明の第３実施形態としての構造化照明顕微鏡システム３を説明する。図１７は構造化照明顕微鏡システム３の構成図である。図１７に示すとおり構造化照明顕微鏡システム３は、撮像素子３５の他に別の撮像素子３５Ｂ（撮像面３６Ｂ）を備えている点、結像光学系３０に配置されていたバリアフィルタ３１に代わり、ダイクロイックミラー３３とバリアフィルタ３４Ａを備え、ダイクロイックミラー３３と撮像素子３５Ｂとの間に、ミラー３７とバリアフィルタ３４Ｂを備えている点において上記構造化照明顕微鏡システム１と異なり、その他の構成は構造化照明顕微鏡システム１と同様である。
　ダイクロイックミラー３３は、光源波長がλ１の時に標本５から励起される蛍光は透過し、それ以外の光はミラー３７に向けて反射させるように構成されている。ミラー３７は、ダイクロイックミラー３３で反射された光を、バリアフィルタ３４Ｂに向けて反射するように構成されている。バリアフィルタ３４Ａ，３４Ｂは、上記構造化照明顕微鏡システム２におけるバリアフィルタ交換器３４が備えるバリアフィルタ３４Ａ，３４Ｂと同じ機能を備えている。すなわち、バリアフィルタ３４Ａは、ダイクロイックミラー３３を透過した光のうち、光源波長がλ１の時に標本５から励起される蛍光は透過し、それ以外の光は透過させないように構成されている。一方、バリアフィルタ３４Ｂは、ミラー３７で反射された光のうち、光源波長がλ２の時に標本５から励起される蛍光は透過し、それ以外の光は透過させないように構成されている。
　構造化照明顕微鏡システム３において、所定の標本５を観察（撮影）するのに際し、ＳＬＭ１３に形成される格子パターンの順序と各ＳＩＭ構成画像の撮影順序の具体例（順序例５）について、図１８を参照して説明する。なお、図１８中のＤＳＣ１は撮像素子３５を表しており、ＤＳＣ２は撮像素子３５Ｂを表している。
　図１８に示す順序例５では、ＳＬＭ１３に形成される格子パターンの順序は、上記順序例１と同じである。大きく異なるのは、この順序例５では、順序例４と同じく、波長λ１と波長λ２との両方を同時に標本５に照射する点にある。但し、この順序例５では、２個の撮像素子３５，３５Ｂを備え、ＳＩＭ構成画像ｐｉｃＡ１λ１～ｐｉｃＣ３λ１は撮像素子３５により撮影し、ＳＩＭ構成画像ｐｉｃＡ１λ２～ｐｉｃＣ３λ２は撮像素子３５Ｂにより撮影する。
　すなわち、この順序例５では、光源波長λ１とλ２を同時照射し、ＳＬＭ１３に、まず、Ａ１λ１、Ａ２λ１、Ａ３λ１、Ｂ１λ１、Ｂ２λ１、Ｂ３λ１、Ｃ１λ１、Ｃ２λ１、Ｃ３λ１の各格子パターンをこの順序で形成する。そして、その各格子パターンが形成される時間内において、それぞれのＳＩＭ構成画像ｐｉｃＡ１λ１～ｐｉｃＣ３λ１を、撮像素子３５により順次撮影する。このときに撮像素子３５Ｂによる撮影は行われない。つまり制御装置３９はＡ１λ１～Ｃ３λ１の各格子パターンをＳＬＭ１３に形成するのに同期して撮像素子３５により順次撮影をさせる。なお、撮像素子３５Ｂによる撮影が行われていてもよい。
　次に、光源波長λ１とλ２を同時照射したまま、ＳＬＭ１３に、Ａ１λ２、Ａ２λ２、Ａ３λ２、Ｂ１λ２、Ｂ２λ２、Ｂ３λ２、Ｃ１λ２、Ｃ２λ２、Ｃ３λ２の各格子パターンをこの順序で形成する。そして、その各格子パターンが形成される時間内において、それぞれのＳＩＭ構成画像ｐｉｃＡ１λ２～ｐｉｃＣ３λ２を、撮像素子３５Ｂにより順次撮影する。このときに撮像素子３５による撮影は行われない。つまり制御装置３９はＡ１λ２～Ｃ３λ２の各格子パターンをＳＬＭ１３に形成するのに同期して撮像素子３５Ｂにより順次撮影をさせる。なお、撮像素子３５による撮影が行われていてもよい。
　この順序例５では、順序例４と同様に、光源波長を切り替える（一方の波長を遮光もしくは減光する）制御が不要となるので、コストを低減することが可能となる。また、順序例１と同様に、ＳＩＭ復元画像λ１に必要なＳＩＭ構成画像の撮影時間とＳＩＭ復元画像λ２に必要なＳＩＭ構成画像の撮影時間が短い（どちらも９Ｔｓ）ので、標本５に含まれる生体細胞の動きが速い場合の撮影に適している。この順序例５の撮像素子３５，３５Ｂの切り替えを、先の順序例２と順序例３に適用してもよい。
　以上説明した各実施形態によれば、回折格子としてＳＬＭ１３を備えており、そのＳＬＭ１３に形成される格子パターンの格子ピッチを変更することにより、異なる光源波長に対しても、ＴＩＲＦ－ＳＩＭにおけるＴＩＲＦ条件を満たすことが容易に可能となっている。ＳＬＭ１３に形成される格子パターンの格子ピッチを変更することは、ＴＩＲＦ－ＳＩＭにおけるＴＩＲＦ条件を満たすためだけの目的に限定されるものではなく、応用が可能である。
　例えば、先に図９（Ａ）→（Ｂ）に示したように、光源波長が長いλ１から短いλ２へ切り替わるとＳＬＭ１３から射出する±１次回折光束の回折角度（分岐量）が小さくなる。このため、図９（Ａ），（Ｂ）の左端に示す通り瞳面６Ａにおける±１次回折光束それぞれの集光点の光軸ＡＺからの高さが変化してしまう。このように集光点の高さが波長λ１、λ２の間で変化すると、波長λ１、λ２の間で超解像効果が変化してしまう。超解像効果とは、非変調時の解像力（一様照明光による解像力）を基準とした変調時の解像力（構造化照明光による解像力）の割合のことであって、（超解像効果）＝（一様照明光による解像力）／（構造化照明光による解像力）＝（瞳径＋集光点間の距離）／（瞳径）が成り立つ。よって、対物レンズ６の瞳半径に対する集光点の高さの割合が大きいほど、超解像効果は高くなる。
　そこで、短い波長λ２の照射に合わせて、制御装置３９はＳＬＭ１３に形成される格子パターンの格子ピッチを、ＳＬＭ１３から射出する±１次回折光束の回折角度（分岐量）を、λ１の時の回折角度（分岐量）と等しくなるように変更する（小さくする）。こうすることにより、図９（Ａ），（Ｂ）の左端に示す瞳面６Ａにおける±１次回折光束のそれぞれの集光点の光軸ＡＺからの高さを、光源波長によらず一定に保つことができる。これにより超解像効果も一定に保つことが可能となる。
　ここでは、超解像顕微鏡の光分岐器としてＳＬＭ１３を用い、光源波長によって変化する、ＳＬＭ１３から射出する±１次回折光束の回折角度（分岐量）を、ＳＬＭ１３に形成される格子パターンの格子ピッチにより調整する応用例を紹介した。前述のように、対物レンズ６の瞳半径に対する集光点の高さの割合が大きいほど、超解像効果は高くなる。そのため、仮に対物レンズ６が挿脱可能（交換可能）に設けられていた場合、対物レンズ６の瞳径に応じて、ＳＬＭ１３に形成される格子パターンの格子ピッチを変更することで、対物レンズの瞳径によらず超解像効果を一定に保つことが可能となる。
　ＳＬＭ１３に形成される格子パターンの格子ピッチの切替えには、制御装置３９からドライバ１３Ａに供給されるビットマップデータのテーブルを作成しておき、これを利用するようにしてもよい。例えば、対物レンズ６（瞳径）と光源波長とによって決定される格子ビッチに対応したビットマップデータに関する情報のテーブルを作成し、これを制御装置３９の記憶部Ｘ（図１、図１５、図１７を参照）に格納しておいてもよい。このテーブルにはビットマップデータそのものを格納してもよいし、ビットマップデータのアドレスを格納してもよいし、格子ピッチの値だけを格納してもよい。格子ピッチの値を格納した場合は、例えば制御装置３９によって、動的に格子ピッチに応じたビットマップデータをその都度生成してもよい。
　図１９に、ビットマップデータテーブルの一例を示す。このビットマップデータテーブルには、瞳径が異なる３個の対物レンズ、具体的には、倍率１００、倍率６０、倍率４０の各対物レンズ（それぞれ、「対物１００×」、「対物６０×」、「対物４０×」と表記）と、３つの光源波長（波長λ１、λ２、λ３）によって決定される格子ビッチに対応したビットマップデータに関する情報が格納されている。例えば、図１９に示すように、このビットマップデータテーブルには、倍率１００の対物レンズと波長λ１とにより決定される格子ビッチに対応したビットマップデータに関する情報として、「Ａ１λ１－１００×．ｂｍｐ」、「Ａ２λ１－１００×．ｂｍｐ」、「Ａ３λ１－１００×．ｂｍｐ」、「Ｂ１λ１－１００×．ｂｍｐ」、「Ｂ２λ１－１００×．ｂｍｐ」、「Ｂ３λ１－１００×．ｂｍｐ」、「Ｃ１λ１－１００×．ｂｍｐ」、「Ｃ２λ１－１００×．ｂｍｐ」、「Ｃ３λ１－１００×．ｂｍｐ」の９個のビットマップデータに関する情報が格納されている。
　これら９個のビットマップデータに関する情報によりＳＬＭ１３に形成される各格子パターンの例を図２０に示す。「Ａ１λ１－１００×．ｂｍｐ」のビットマップデータに関する情報とは、これまでの説明におけるＡ１λ１の格子パターンに対応するビットマップデータに関する情報であり、かつその格子ピッチが倍率１００の対物レンズの瞳径に適した値に設定された格子パターンに対応するビットマップデータに関する情報である（他のビットマップデータに関する情報についても同様）。
　対物レンズ６（瞳径）と光源波長とによって決定される格子ビッチや、ビットマップデータに関する情報が正しいかどうかを判断できるようにするため画像表示装置４５に、格子ピッチやビットマップデータに関する情報を表示してもよい。このような情報を表示することによって、決定された格子ピッチや、ビットマップデータに関する情報が適切なものであるか確認をしてから構造化照明を行うことが可能となり、構造化照明の信頼性を向上させることが可能となる。
　図２１に、画像表示装置４５に表示する情報の一例を示す。図２１の例では、格子パターンにおける３つの方向（方向１、方向２、方向３）と、３つの位相（位相１、位相２、位相３）と、対物レンズ（瞳径）と、光源波長とに対応付けられたビットマップデータに関する情報（「Ａ１λ１－１００×．ｂｍｐ」等と表記された識別情報）が表示される。勿論、これに限定されるものではなく、格子ピッチの数値を併せて表示するようにしてもよい。
　構造化照明を行うのに際し、撮影方式や光源波長の照射方法等に関して、どのような設定（Setting）がされているのかが分かるように、設定に関する情報を画像表示装置４５に表示してもよい。設定に関する情報を表示することによって、設定が適切なものであるか確認をしてから構造化照明を行うことが可能となり、構造化照明の信頼性を向上させることが可能となる。
　図２２に、画像表示装置４５に表示する設定に関する情報の一例を示す。図２２の例では、撮影方法の違いを示す「撮影方式」の情報（速度優先、時間同時性優先、通常撮影）と、光源波長の照射方法を示す「照明」の情報（λ１λ２交互、λ１λ２同時）と、光源波長に対応した撮像素子を示す「カメラ」の情報が表示される。勿論、これに限定されるものではなく、他の設定に関する情報を表示するようにしてもよい。
　以上、本発明の実施形態を説明したが、上記各実施形態は本発明の一具体例を示しているものであり、本発明はこれらに限定されるものではない。例えば、透過型の空間光変調器を回折格子（光分岐器）として用いるようにしてもよい。また、光源波長として、３個以上の波長を備えてもよい。また、透過型の空間光変調器を、強誘電性液晶とは異なる液晶、例えばネマティック液晶を備えたものとしてもよい。
　１，２，３　構造化照明顕微鏡システム
　５　標本
　６　対物レンズ
　１０　照明光学系
　１１　光ファイバ
　３０　結像光学系
　３５，３５Ｂ　撮像素子
　３９　制御装置
　４０　画像記憶・演算装置
　４５　画像表示装置
　５０　ステージ
　Ｐ　観察対象面
　Ｘ　記憶部

Claims (35)

  1. 　光源からの光を複数の光に分岐する光分岐器と、
    　前記分岐された複数の光の少なくとも一部を用いて干渉縞を標本に形成する照明光学系と、
    　前記光分岐器に印加される電圧パターンを制御する制御部と、を備え、
    　前記制御部は、第１の波長の光が前記光分岐器に入射する場合に第１の電圧パターンが前記光分岐器に印加されるように制御し、第２の波長の光が前記光分岐器に入射する場合に第２の電圧パターンが前記光分岐器に印加されるように制御する構造化照明装置。
  2. 　前記光分岐器に前記第１の電圧パターンが印加される場合、前記標本に第１の干渉縞が形成され、前記光分岐器に前記第２の電圧パターンが印加される場合、前記標本に第２の干渉縞が形成される請求項１に記載の構造化照明装置。
  3. 　前記第１の干渉縞の空間周波数と、前記第２の干渉縞の空間周波数は異なる請求項２に記載の構造化照明装置。
  4. 　前記標本に前記第１の干渉縞が形成される場合に前記分岐された複数の光の少なくとも一部が前記標本で全反射し、前記標本に前記第２の干渉縞が形成される場合に前記分岐された複数の光束の少なくとも一部が前記標本で全反射する請求項２又は３に記載の構造化照明装置。
  5. 　前記制御部は、
    　少なくとも前記第１の干渉縞と方向が同じで位相が異なる第３の干渉縞と、前記第１の干渉縞と位相が同じで方向が異なる第４の干渉縞とが前記標本に形成されるように前記光分岐器に印加される電圧パターンを制御した後、
    　前記第２の干渉縞が前記標本に形成されるように、前記光分岐器に印加される電圧パターンを制御する請求項２～４のいずれか１項に記載の構造化照明装置。
  6. 　前記光分岐器は、光変調器を有する請求項１～５のいずれか１項に記載の構造化照明装置。
  7. 　前記制御部は、前記光分岐器に入射する光の波長に関する情報に関連づけられた前記光分岐器に印加される電圧パターンに関する情報を有する請求項１～６のいずれか１項に記載の構造化照明装置。
  8. 　前記照明光学系は対物レンズを有し、
    　前記制御部は、前記光分岐器に入射する光の波長に関する情報と、前記対物レンズに関する情報とに関連づけられた前記光分岐器に印加される電圧パターンに関する情報を有する請求項１～７のいずれか１項に記載の構造化照明装置。
  9. 　表示部をさらに有し、
    　前記制御部は、前記光分岐器に印加される電圧パターンに関する情報を前記表示部に表示する請求項１～８のいずれか１項に記載の構造化照明装置。
  10. 　前記制御部は、前記光分岐器に印加される電圧パターンに関する情報と前記光分岐器に入射する光の波長に関する情報とを関連づけて前記表示部に表示する請求項９に記載の構造化照明装置。
  11. 　前記照明光学系は対物レンズを有し、
    　前記制御部は、前記光分岐器に印加される電圧パターンに関する情報と前記対物レンズに関する情報とを関連づけて前記表示部に表示する請求項９又は１０に記載の構造化照明装置。
  12. 　請求項１～１１のいずれか１項に記載の構造化照明装置と、
    　前記標本からの光を結像して像を形成する結像光学系と、
    　前記形成された像を撮像する撮像部と、
    　前記撮像部により撮像された画像を複数用いて前記標本の画像を生成する画像処理部と、を有する構造化照明顕微鏡。
  13. 　光源からの光を複数の光に分岐する光分岐器と、
    　前記分岐された複数の光の少なくとも一部を用いて干渉縞を標本に形成する照明光学系と、
    　前記光分岐器に印加される電圧を制御する制御部と、を備え、
    　前記制御部は、第１の波長の光が前記光分岐器に入射する場合に前記標本に第１の干渉縞が形成され、第２の波長の光が前記光分岐器に入射する場合に前記標本に第２の干渉縞が形成されるように、前記光分岐器に印加される電圧を制御する構造化照明装置。
  14. 　前記第１の干渉縞の空間周波数と、前記第２の干渉縞の空間周波数は異なる請求項１３に記載の構造化照明装置。
  15. 　前記標本に前記第１の干渉縞が形成される場合に前記分岐された複数の光の少なくとも一部が前記標本で全反射し、前記標本に前記第２の干渉縞が形成される場合に前記分岐された複数の光の少なくとも一部が前記標本で全反射する請求項１３又は１４に記載の構造化照明装置。
  16. 　前記制御部は、
    　少なくとも前記第１の干渉縞と方向が同じで位相が異なる第３の干渉縞と、前記第１の干渉縞と位相が同じで方向が異なる第４の干渉縞とが前記標本に形成されるように前記光分岐器に印加される電圧を制御した後、
    　前記第２の干渉縞が前記標本に形成されるように、前記光分岐器に印加される電圧を制御する請求項１３～１５のいずれか１項に記載の構造化照明装置。
  17. 　前記光分岐器は、光変調器を有する請求項１３～１６のいずれか１項に記載の構造化照明装置。
  18. 　前記制御部は、前記光分岐器に入射する光の波長に関する情報に関連づけられた前記光分岐器に印加される電圧に関する情報を有する請求項１３～１７のいずれか１項に記載の構造化照明装置。
  19. 　前記照明光学系は対物レンズを有し、
    　前記制御部は、前記光分岐器に入射する光の波長に関する情報と、前記対物レンズに関する情報とに関連づけられた前記光分岐器に印加される電圧に関する情報を有する請求項１３～１８のいずれか１項に記載の構造化照明装置。
  20. 　表示部をさらに有し、
    　前記制御部は、前記光分岐器に印加される電圧に関する情報を前記表示部に表示する請求項１３～１９のいずれか１項に記載の構造化照明装置。
  21. 　前記制御部は、前記光分岐器に印加される電圧に関する情報と前記光分岐器に入射する光の波長に関する情報とを関連づけて前記表示部に表示する請求項２０に記載の構造化照明装置。
  22. 　前記照明光学系は対物レンズを有し、
    　前記制御部は、前記光分岐器に印加される電圧に関する情報と前記対物レンズに関する情報とを関連づけて前記表示部に表示する請求項２０又は２１に記載の構造化照明装置。
  23. 　請求項１３～２２のいずれか１項に記載の構造化照明装置と、
    　前記標本からの光を結像して像を形成する結像光学系と、
    　前記形成された像を撮像する撮像部と、
    　前記撮像部により撮像された画像を複数用いて前記標本の画像を生成する画像処理部と、を有する構造化照明顕微鏡。
  24. 　光源からの光を複数の光に分岐する光分岐器と、
    　対物レンズを有し、前記分岐された複数の光の少なくとも一部を用いて干渉縞を標本に形成する照明光学系と、
    　前記光分岐器に印加される電圧パターンを制御する制御部と、を備え、
    　前記制御部は、第１の波長の光が前記光分岐器に入射する場合に第１の電圧パターンが前記光分岐器に印加されるように制御し、第２の波長の光が前記光分岐器に入射する場合に第２の電圧パターンが前記光分岐器に印加されるように制御する構造化照明装置。
  25. 　前記光分岐器に前記第１の電圧パターンが印加される場合、前記標本に第１の干渉縞が形成され、前記光分岐器に前記第２の電圧パターンが印加される場合、前記標本に第２の干渉縞が形成される請求項２４に記載の構造化照明装置。
  26. 　前記第１の干渉縞の空間周波数と、前記第２の干渉縞の空間周波数は異なる請求項２５に記載の構造化照明装置。
  27. 　前記標本に前記第１の干渉縞が形成される場合に前記分岐された複数の光の少なくとも一部が前記標本で全反射し、前記標本に前記第２の干渉縞が形成される場合に前記分岐された複数の光束の少なくとも一部が前記標本で全反射する請求項２５又は２６に記載の構造化照明装置。
  28. 　前記制御部は、
    　少なくとも前記第１の干渉縞と方向が同じで位相が異なる第３の干渉縞と、前記第１の干渉縞と位相が同じで方向が異なる第４の干渉縞とが前記標本に形成されるように前記光分岐器に印加される電圧を制御した後、
    　前記第２の干渉縞が前記標本に形成されるように、前記光分岐器に印加される電圧を制御する請求項２５～２７のいずれか１項に記載の構造化照明装置。
  29. 　前記光分岐器は、光変調器を有する請求項２４～２８のいずれか１項に記載の構造化照明装置。
  30. 　前記制御部は、前記光分岐器に入射する光の波長に関する情報に関連づけられた前記光分岐器に印加される電圧パターンに関する情報を有する請求項２４～２９のいずれか１項に記載の構造化照明装置。
  31. 　前記制御部は、前記光分岐器に入射する光の波長に関する情報と、前記対物レンズに関する情報とに関連づけられた前記光分岐器に印加される電圧パターンに関する情報を有する請求項２４～３０のいずれか１項に記載の構造化照明装置。
  32. 　表示部をさらに有し、
    　前記制御部は、前記光分岐器に印加される電圧パターンに関する情報を前記表示部に表示する請求項２４～３１のいずれか１項に記載の構造化照明装置。
  33. 　前記制御部は、前記光分岐器に印加される電圧パターンに関する情報と前記光分岐器に入射する光の波長に関する情報とを関連づけて前記表示部に表示する請求項３２に記載の構造化照明装置。
  34. 　前記制御部は、前記光分岐器に印加される電圧パターンに関する情報と前記対物レンズに関する情報とを関連づけて前記表示部に表示する請求項３２又は３３に記載の構造化照明装置。
  35. 　請求項２４～３４のいずれか１項に記載の構造化照明装置と、
    　前記標本からの光を結像して像を形成する結像光学系と、
    　前記形成された像を撮像する撮像部と、
    　前記撮像部により撮像された画像を複数用いて前記標本の画像を生成する画像処理部と、を有する構造化照明顕微鏡。
     
PCT/JP2018/010662 2018-03-16 2018-03-16 構造化照明装置、構造化照明顕微鏡 WO2019176121A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/010662 WO2019176121A1 (ja) 2018-03-16 2018-03-16 構造化照明装置、構造化照明顕微鏡

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/010662 WO2019176121A1 (ja) 2018-03-16 2018-03-16 構造化照明装置、構造化照明顕微鏡

Publications (1)

Publication Number Publication Date
WO2019176121A1 true WO2019176121A1 (ja) 2019-09-19

Family

ID=67908144

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/010662 WO2019176121A1 (ja) 2018-03-16 2018-03-16 構造化照明装置、構造化照明顕微鏡

Country Status (1)

Country Link
WO (1) WO2019176121A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220039632A1 (en) * 2020-08-05 2022-02-10 Gyrus Acmi, Inc. D/B/A Olympus Surgical Technologies America Depth and contour detection for anatomical targets

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001059940A (ja) * 1999-08-24 2001-03-06 Nikon Corp 顕微鏡及び記録媒体
JP2015055706A (ja) * 2013-09-11 2015-03-23 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡装置
WO2015052920A1 (ja) * 2013-10-07 2015-04-16 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001059940A (ja) * 1999-08-24 2001-03-06 Nikon Corp 顕微鏡及び記録媒体
JP2015055706A (ja) * 2013-09-11 2015-03-23 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡装置
WO2015052920A1 (ja) * 2013-10-07 2015-04-16 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220039632A1 (en) * 2020-08-05 2022-02-10 Gyrus Acmi, Inc. D/B/A Olympus Surgical Technologies America Depth and contour detection for anatomical targets

Similar Documents

Publication Publication Date Title
JP6627871B2 (ja) 構造化照明顕微鏡システム、方法及びプログラム
US9897790B2 (en) Structured illumination device and structured illumination microscope device
US10649196B2 (en) Structured illumination microscope, observation method , and control program
EP2437095B1 (en) Sample observation device for generating super resolution image
JP6194710B2 (ja) 構造化照明装置及び構造化照明顕微鏡装置
US20160062102A1 (en) Structured illumination microscope apparatus and an image forming apparatus
JP5888416B2 (ja) 構造化照明顕微鏡装置
WO2015052936A1 (ja) 構造化照明顕微鏡装置
JP2007199572A (ja) 顕微鏡装置
JP5915748B2 (ja) 構造化照明装置及び構造化照明顕微鏡
EP2887116B1 (en) Microscope apparatus
JP6137324B2 (ja) 照明装置及び構造化照明顕微鏡装置
JP2007199571A (ja) 顕微鏡装置
US9729800B2 (en) Image generation system
WO2019176121A1 (ja) 構造化照明装置、構造化照明顕微鏡
US20140291484A1 (en) Microscope with structured illumination
JP2020112735A (ja) 構造化照明装置、構造化照明顕微鏡装置
JP6269239B2 (ja) 構造化照明装置及び構造化照明顕微鏡装置
JP6413364B2 (ja) 照明光学系及び顕微鏡装置
JP6761267B2 (ja) 顕微鏡照明システム及びサンプルを照明する装置を動作させる方法
JP2015084062A (ja) 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム
WO2015052920A1 (ja) 構造化照明装置及び構造化照明顕微鏡装置
JP2015049467A (ja) 構造化照明装置及び構造化照明顕微鏡装置
JP2015064438A (ja) 構造化照明顕微鏡装置
JP2002196253A (ja) 干渉縞投影光学系及びこの光学系を用いた顕微鏡

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18910191

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18910191

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP