WO2007043314A1 - 顕微鏡装置 - Google Patents

顕微鏡装置 Download PDF

Info

Publication number
WO2007043314A1
WO2007043314A1 PCT/JP2006/318875 JP2006318875W WO2007043314A1 WO 2007043314 A1 WO2007043314 A1 WO 2007043314A1 JP 2006318875 W JP2006318875 W JP 2006318875W WO 2007043314 A1 WO2007043314 A1 WO 2007043314A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical system
image
microscope apparatus
illumination
modulation element
Prior art date
Application number
PCT/JP2006/318875
Other languages
English (en)
French (fr)
Inventor
Hisao Osawa
Hiroshi Ooki
Yumiko Ouchi
Yasuo Yonezawa
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to US11/887,822 priority Critical patent/US8081378B2/en
Priority to EP06798263A priority patent/EP1936422A4/en
Priority to JP2007539854A priority patent/JP4831072B2/ja
Publication of WO2007043314A1 publication Critical patent/WO2007043314A1/ja

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0056—Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/06—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the phase of light

Definitions

  • the present invention relates to a microscope apparatus.
  • Non-Patent Documents 1 and 2 JP-A-11 242189
  • Patent Document 2 US Reissue Patent No. 38307 Specification
  • Patent Document 1 W.Lukosz, Optical systems with resolving powers exceeding the clasi cal limit. II "Journal of the Optical Society of America, Vol.37, PP.932, 1967 .Opt. Acta. 10,241,1963
  • optical demodulation uses a spatial modulation element such as a diffraction grating, it does not take much time, but the demodulation accuracy depends on the shape accuracy and placement accuracy of the spatial modulation element, so a good super-resolution image is obtained. It is difficult.
  • the optical path related to modulation and the optical path related to demodulation are parallel, and different portions of the diffraction grating common to modulation and modulation are different.
  • the observation field is extremely narrow because the pupil of the optical system related to modulation and the pupil of the optical system related to demodulation cannot be conjugated. is there.
  • an object of the present invention is to provide a microscope apparatus capable of generating information of a super-resolution image at high speed.
  • the microscope apparatus of the present invention includes an imaging optical system that forms an intermediate image of light emitted from an object to be observed, a relay optical system that forms an image of the intermediate image, and a surface on which the intermediate image is formed Illumination optics that shares the optical path of the imaging optical system with the spatial modulation element to be projected and projects the pattern of the spatial modulation element onto the object to be observed through the optical path of the imaging optical system And a system.
  • the microscope apparatus of the present invention further includes phase change means for changing the phase of the illumination pattern formed by projecting the pattern of the spatial modulation element onto the object to be observed by the illumination optical system. May be.
  • the microscope apparatus of the present invention may further include a direction changing unit that changes a direction of an illumination pattern formed by projecting the pattern of the spatial modulation element onto the object to be observed by the illumination optical system. .
  • the detection means for detecting the image of the intermediate image and generating data of the image, and the time integration data of the image during the phase change are detected.
  • Acquisition means for acquiring from the means may be further provided.
  • the microscope apparatus of the present invention further includes direction changing means for changing a direction of an illumination pattern formed by projecting the pattern of the spatial modulation element onto the object to be observed by the illumination optical system.
  • the means may acquire the time integration data for each of a plurality of states having different directions.
  • the microscope apparatus of the present invention may further include a calculation unit that synthesizes the plurality of acquired time integration data.
  • the arithmetic means may average and synthesize the spatial frequency components included in the plurality of time integration data in common.
  • a detection means for detecting the intermediate image and generating data of the image, and a pattern of the spatial modulation element are projected onto the object by the illumination optical system.
  • a charge storage type image pickup device is used as the detection unit, and the acquisition unit sets the storage time of the image pickup device to be approximately equal to the time during which the phase of the illumination pattern changes by an integer period. Good.
  • an imaging device that is not a charge storage type is used as the detection means, and the acquisition means includes a low-pass filter or an integration circuit having a time constant substantially equal to the time during which the phase of the illumination pattern changes by an integer period. It may be provided for each pixel of the image sensor.
  • the microscope apparatus of the present invention includes at least detection means for detecting the image of the intermediate image and generating data of the image, and the object-side numerical aperture NA ′ of the relay optical system is: The object-side numerical aperture NA of the imaging optical system, the imaging magnification M of the imaging optical system, and the constant a
  • NA ′> a-NA ZM is satisfied, and the constant a is at least that of the detection means.
  • the range of the constant a is preferably 2 ⁇ a.
  • the upper limit of the spatial frequency of the illumination pattern formed by projecting the spatial modulation element pattern onto the object to be observed by the illumination optical system takes into account the MTF and pupil diameter of the imaging optical system and the relay optical system.
  • the lower limit of the spatial frequency of the illumination pattern is preferably determined in consideration of the super-resolution effect.
  • NA the numerical aperture
  • ⁇ the wavelength
  • b is a constant.
  • the spatial modulation element is preferably a diffraction grating, and the ratio el of the intensity of the first-order light to the intensity of the 0th-order diffracted light is preferably 0.37 ⁇ el ⁇ l.9.
  • a microscope apparatus capable of generating super-resolution image information at high speed is realized.
  • FIG. 1 is a schematic configuration diagram of a microscope apparatus according to a first embodiment.
  • FIG. 2 is a diagram for explaining the numerical aperture of the imaging light beam from the specimen 11 to the lens 7 of the observation optical system LS2.
  • FIG. 3 is a diagram showing the MTF after re-modulation for the spatial frequency standardized by NAZ ⁇ in the microscope apparatus of the present embodiment calculated by substituting an appropriate value for the spatial frequency kO.
  • FIG. 5 is an operation flowchart regarding control of the control / arithmetic apparatus 42 of the first embodiment.
  • FIG. 6 is an operation flowchart regarding the calculation of the control / calculation device 42.
  • FIG. 7 is a diagram illustrating step S21.
  • FIG. 8 is a diagram illustrating step S22.
  • FIG. 9 is an operation flowchart relating to control of the control / arithmetic apparatus 42 of the second embodiment.
  • FIG. 1 is a schematic configuration diagram of the microscope apparatus.
  • this microscope apparatus includes a light source 1, a collector lens 2, a lens 3, an excitation filter 4, a dichroic mirror 5, a lens 7, a diffraction grating 8, a second objective lens 9, an objective lens 10, and a fluorescent dye.
  • Specimens labeled with (biological specimens, etc.) 11, barrier filter 6, lens 12, imaging device (CCD camera, etc.) 25, control 'arithmetic unit (circuit, computer, etc.) 42, image display device 43, actuator 40, rotation Ste 41 is placed.
  • the light source 1, collector lens 2, lens 3, excitation filter 4, dichroic mirror 5, lens 7, diffraction grating 8, second objective lens 9, and objective lens 10 constitute an illumination optical system LSI.
  • the objective lens 10, the second objective lens 9, the diffraction grating 8, the lens 7, the dichroic mirror 5, the noria filter 6, and the lens 12 constitute the observation optical system LS2.
  • the objective lens 10 and the second objective lens 9 constitute an imaging optical system LS21, and the lens 7 and the lens 12 constitute a relay optical system LS22.
  • the illumination optical system LSI and the observation optical system LS2 share the optical path from the objective lens 10 to the diced mouth mirror 5.
  • Light from the light source 1 of the illumination optical system LSI is converted into parallel light by the collector lens 2, and a light source image is formed on the pupil conjugate plane 31 by the lens 3.
  • the light from the light source image 31 is wavelength-selected by the excitation filter 4 and then deflected by the dichroic mirror 5 and enters the common optical path of the illumination optical system LSI and the observation optical system LS2, and the conjugate plane of the sample 11 by the lens 7.
  • Concentrate on 22 The light emitted from the conjugate surface 22 enters the lens 9 via the diffraction grating 8 disposed on the conjugate surface 22, is converted into parallel light, and then is reflected on the specimen 11 via the objective lens 10.
  • An image 23 of 8 is formed (at this time, a light source image 32 is formed on the rear focal plane of the objective lens 10;).
  • the specimen 11 is illuminated (structured illumination) with spatially modulated illumination light.
  • the diffraction grating 8 is, for example, a phase type or amplitude type diffraction grating having a one-dimensional periodic structure.
  • an amplitude type diffraction grating is preferable because a white light source can be used as the light source 1 because of its good wavelength characteristics.
  • a light source having a single wavelength may be used instead of a white light source, or light having a laser light source power may be guided by an optical fiber, and a secondary light source formed on the end face may be used as the light source 1. ⁇ .
  • the luminance distribution of the structure illumination (the luminance distribution of the image 23 of the diffraction grating 8) sinusoidal
  • it may be removed at an appropriate position after the diffraction grating 8 (for example, the pupil plane of the objective lens 10).
  • the concentration distribution of the diffraction grating 8 is made sinusoidal in advance, the generation of excessive diffraction components can be suppressed and the loss of light quantity can be suppressed.
  • Fluorescence is generated on the specimen 11 using the structured illumination light as excitation light.
  • This The structure of the specimen 11, which also saw the side force of the objective lens 10, is modulated by the structure illumination.
  • Moire fringes are generated in the modulated structure.
  • This moiré fringe is a moiré fringe formed by the fine structure of the specimen 11 and the pattern of the structure illumination.
  • the fine structure of the specimen 11 is converted to a lower spatial frequency band by the spatial frequency of the structured illumination. Yes. Therefore, even the light having a high spatial frequency structure exceeding the resolution limit is captured by the objective lens 10.
  • the fluorescence captured by the objective lens 10 forms a modulated image of the sample 11 on the conjugate plane 22 by the imaging optical system LS21 including the objective lens 10 and the second objective lens 9.
  • the modulated image is remodulated by the diffraction grating 8 disposed on the conjugate plane 22.
  • the structure of the sample 11 with the spatial frequency changed is returned to the original spatial frequency.
  • This re-modulated image contains the demodulated image of sample 11.
  • the re-modulated image includes a diffraction component that is unnecessary for the demodulated image.
  • Unnecessary diffraction components are ⁇ 1st order diffracted components generated by diffraction grating 8 for 0th order diffracted light emitted from sample 11, 0th order diffracted components for 1st order diffracted light emitted from sample 11, and emitted from sample 11 + 0th order diffraction component for 1st order diffracted light.
  • the diffraction grating 8 can be driven and averaged for one period or N periods (N is a natural number)!
  • Fluorescence with remodulated image power passes through the dichroic mirror 5 through the lens 7, enters the single optical path of the observation optical system LS2, passes through the noria filter 6, and then remodulates through the lens 12.
  • a magnified image 24 of the image is formed. That is, the remodulated image remodulated by the diffraction grating 8 is relayed to the enlarged image 24 by the relay optical system LS22 including the lens 7 and the lens 12.
  • the magnified image 24 is picked up by the image pickup device 25, and image data of a remodulated image is generated.
  • the imaging device 25 if the diffraction grating 8 is powered by one period or N periods (N is a natural number) and is averaged by accumulating remodulated images, demodulated image data is obtained. be able to.
  • This image data includes information for super-resolution observation of the specimen 11 by structural illumination.
  • the image data is taken in by the control 'arithmetic unit 42, subjected to calculation, and sent to the image display unit 43.
  • the optical path from the conjugate plane 22 of the specimen 11 to the specimen 11 is completely made a common optical path by the illumination optical system LSI and the observation optical system LS2, and the diffraction grating 8 is arranged on the conjugate plane 22. is doing.
  • the diffraction grating 8 is used to modulate the fine structure of the specimen 11.
  • the microstructure of the modulated specimen 11 is automatically remodulated by the diffraction grating 8 placed at this position.
  • the diffraction grating 8 can be moved by the actuator 40 in a direction Db perpendicular to the grating lines. This movement changes the phase of the structured illumination.
  • Control and arithmetic unit 42 controls the actuator 40 and the imaging device 25, and changes the phase by one period or N periods (N is a natural number) while accumulating image data for one frame. Then, the structure illumination pattern and unnecessary diffraction components generated during re-modulation are deleted from the image data.
  • a charge storage type image sensor such as a CCD is used as the image sensor of the image pickup device 25, and the phase of the structure illumination is required to change by one period or N periods (N is a natural number).
  • N is a natural number.
  • an image sensor that is not a charge storage type, such as NMOS or CMOS, as the image sensor of the image pickup device 25, and connect a low-pass filter or an integration circuit to the output of each pixel.
  • the pattern and unwanted diffraction components generated during re-modulation may be eliminated.
  • the time must be longer than the time required for the phase of the structure illumination to change by one period or N periods (N is a natural number) as the time constant of the low-pass filter or integration circuit to be connected.
  • the diffraction grating 8 can be rotated around the optical axis together with the actuator 40 by the rotary stage 41. This rotation changes the direction of the structure illumination. If the control 'arithmetic unit 42 controls the rotary stage 41 and the imaging device 25 and acquires image data every time the direction of the structured illumination is changed in a plurality of directions, information for super-resolution observation in a plurality of directions is obtained. Obtainable. This enables two-dimensional super-resolution observation of the specimen 11.
  • FIG. 2 is a diagram for explaining the numerical aperture of the imaging light beam from the specimen 11 to the lens 7 of the observation optical system LS2 in this microscope apparatus.
  • the image 23 of the diffraction grating 8 and the sample 11 are drawn in a staggered manner, and the conjugate plane 22 of the sample 11 and the diffraction grating 8 are staggered in order to make the change in the spread of the light beam easier. It was.
  • the fluorescence LA generated by the high spatial frequency structure of the specimen 11 has a large exit angle, and therefore normally proceeds as indicated by the broken line and enters the pupil diameter of the objective lens 10. I can't. However, since the fluorescence LA is modulated by the image 23 of the diffraction grating 8 (that is, the structure illumination), the emission angle changed to the low frequency side (that is, the small angle) proceeds as shown by the solid line. It is possible to enter the pupil diameter of the objective lens 10.
  • the fluorescence LA is imaged on the conjugate plane 22 by the imaging optical system LS21 and then remodulated in the diffraction grating 8.
  • the emission angle of the re-modulated fluorescence LA ' is returned to the high frequency side (ie, a large angle).
  • the object-side numerical aperture NA ′ of the relay optical system LS22 needs to be set large in advance.
  • the super-resolution effect by the structure illumination is about twice the resolution limit of the objective lens 10. This is because the spatial frequency of structural illumination projected onto the specimen 11 by the illumination optical system LSI is also a force whose upper limit is the resolution limit of the objective lens 10. Therefore, it is sufficient that the object-side numerical aperture NA ′ of the relay optical system LS22 is large to some extent.
  • the numerical aperture of the objective lens 10 in the imaging optical system LS21 is 1.49, and the imaging magnification of the imaging optical system LS21 is 60 times.
  • the numerical aperture on the intermediate image side (diffraction grating 8 side) of the imaging optical system LS21 is as follows.
  • the light beam after being re-modulated by the diffraction grating 8 can contribute to demodulation.
  • Shi The first-order diffracted light is separated from the center by an interval corresponding to the diffraction angle by the diffraction grating 8. Since the shape is circular with the pupil diameter on the intermediate image side of the imaging optical system LS21 as a radius, the maximum value is as follows.
  • the object-side numerical aperture NA ′ of the relay optical system LS22 is 0.072. It is not particularly difficult for the relay optical system LS22 to meet this specification.
  • the object-side numerical aperture NA of the relay optical system LS22 must satisfy at least NA '> a-NA ZM for the object-side numerical aperture NA and the imaging magnification M of the imaging optical system LS21.
  • Yes (a is a constant and is determined depending on the value of the pupil diameter on the intermediate image side of the imaging optical system LS21 and the diffraction angle by the diffraction grating 8).
  • the object-side numerical aperture NA of the relay optical system LS22 is the same as that of the imaging optical system LS21.
  • NA, 2NA ZM.
  • the pupil image of the imaging optical system LS21 is formed on the pupil plane of the relay optical system LS22, the light from the imaging optical system LS21 is diffracted by the diffraction grating 8, so the pupil plane of the relay optical system LS22
  • the pupil of the imaging optical system LS21 is arranged symmetrically around the optical axis as 0th order diffracted light, ⁇ 1st order diffracted light, and ⁇ 2nd order diffracted light.
  • the spatial frequency component with a normal microscope image is the force sample 11 obtained as a result of the interference of light of the same order among the above 0th order diffracted light, ⁇ 1st order diffracted light, and 2nd order diffracted light.
  • the super-resolution information obtained by illuminating the structure is the result of interference between adjacent diffracted light such as 0th order diffracted light and ⁇ 1st order diffracted light, ⁇ 1st order diffracted light and ⁇ 2nd order diffracted light, Reproduced as an image.
  • the complex amplitude of the diffraction grating 8 generally attenuates while its sign is inverted, so the image of the 0th order diffracted light and the + 1st order diffracted light is the image of the + 1st order diffracted light and the + 2nd order diffracted light. , + 2nd order diffracted light and + 3rd order diffracted light are canceled out by ..., and the contrast is attenuated.
  • a relay optical system LS22 which can pass as many 0-order diffracted light and ⁇ 1st-order diffracted light components as possible and cannot pass as much as ⁇ 2nd-order and higher-order diffracted light components.
  • the object-side numerical aperture NA 'of the relay optical system LS 22 needs to be determined.
  • the contrast becomes zero at the spatial frequency at the resolution limit, so here we will evaluate using the image contrast of the 90% spatial frequency structure.
  • the resolution limit kg re-modulated by the diffraction grating 8 is the spatial frequency kO of the structure illumination.
  • FIG. 3 is a diagram showing the MTF after re-modulation for the spatial frequency standardized by NAZ ⁇ in the microscope apparatus of this embodiment calculated by substituting an appropriate value for the spatial frequency kO.
  • the pupil diameter of the relay optical system LS22 is set to a size that allows only the 0, 1st order diffracted light diffracted by the diffraction grating 8 of the image side pupil of the imaging optical system LS21.
  • the minimum value of the image contrast that can be recognized by the device is 2Z256 0.01. In this case as well, 90% of the standardized spatial frequency at the resolution limit described above is sufficiently observable.
  • the pitch of the structured illumination needs to be within a predetermined range in order to obtain an appropriate super-resolution in consideration of the conditions of the apparatus and the optical system.
  • the first factor that determines the lower limit of the pitch is the attenuation of fringe contrast due to the MTF of the imaging optical system LS21.
  • the first factor that determines the upper limit of the pitch is the effect of super-resolution. (Ratio of increasing resolution).
  • MTF be the MTF of the imaging optical system LS21 when the pattern of the diffraction grating 8 is projected onto the specimen 11 via the imaging optical system LS21 using light of a predetermined wavelength. This makes structured lighting
  • the MTF of the imaging optical system LS21 is used as the MTF when imaging light (reflected light, fluorescence) from the structured illuminated specimen 11 onto the image sensor via the observation optical system LS. .
  • the MTF shown in (1) attenuates as the pitch of the pattern of the diffraction grating 8 increases.
  • MTF 1 regardless of the pitch.
  • the MTF shown in (2) shows that when the imaging relationship from sample 11 to the image sensor is incoherent imaging (illumination light power S incoherent, or even if illumination light is coherent, from sample 11 (When imaging incoherent light), attenuation must be taken into account.
  • the resolving power in the case of coherent imaging does not meet the purpose of the present invention, which is only half that of incoherent imaging.
  • MTF is the MTF including the relay optical system after re-modulation.
  • the overall MTF is
  • k be the reciprocal of the pitch of the structure light (the spatial frequency of the fringes), and the value of k be the resolution limit of the optical system.
  • Figure 4 shows the MTF for incoherent imaging of an aberration-free optical system with the spatial frequency standardized by NAZ ⁇ .
  • the horizontal axis in Fig. 4 should be read as 2b.
  • the imaging device 25 is an image sensor with 1024 gradations, the lower limit of the contrast to be acquired is 0.002,
  • MTF 1 MTF> 0.002
  • the lower limit of the contrast to be acquired is 0.01.
  • MTF MTF> 0.12
  • the force shown in Fig. 4 is 2b ⁇ l.55, that is, b ⁇ 0.78.
  • the range of k is determined by using the imaging objective lens ⁇ ⁇ and the observation wavelength (fluorescence wavelength).
  • the preferable range of b is 0.5 ⁇ b ⁇ 0.98.
  • the light source 1 is shifted by a predetermined amount with respect to the optical axis of the illumination optical system LSI in a direction orthogonal to the grating pattern of the diffraction grating 8, and the 0th-order light and the first-order diffracted light of the diffracted light by the diffraction grating 8 are illuminated If it is configured so as to be symmetric with respect to the optical axis of the optical system LSI, the spatial frequency of the structural illumination formed on the specimen 11 can be set higher.
  • the predetermined shift amount s is expressed as follows, where fc is the combined focal length of the optical system from the light source 1 to the diffraction grating 8, and ⁇ g is the first diffraction angle of the diffraction grating 8.
  • the ratio of the 1st-order diffracted light intensity to the 0th-order light intensity of the diffraction grating 8 is used to optimize the contrast of the structured illumination formed on the specimen 11 and the spectral component ratio of the MTF of the demodulated image. It must be within a certain predetermined range.
  • the specimen The contrast C1 of the structure formed on 11 is shown as follows, where el is the ratio of the 1st-order diffracted light intensity il l to the 0th-order light intensity ilO in the diffraction grating 8 in the illumination optical system LSI. Is done.
  • the contrast CI of illumination is preferably high. Assuming that C1> 0.8, the range 0.25-el 3.9 ⁇ -(A) is obtained.
  • the specimen 11 is diffracted by this structural illumination, and the diffraction intensity at that time is
  • the first-order diffracted light intensity ⁇ is
  • the 0th-order light intensity 10 is
  • the intensity ratio of the first-order diffracted light to the 0th-order light intensity is generally determined by the step and duty ratio in the case of a phase type diffraction grating, and is determined by the OD (optical density) and duty ratio in the case of a density type diffraction grating.
  • the manufacturing parameters may be controlled so that the preferable el is obtained.
  • FIG. 5 is an operation flowchart regarding control of the control / arithmetic unit 42.
  • the control unit 42 when acquiring the image data of the re-modulated image, the control unit 42 is in the period from the start of exposure (step S11) to the end of exposure (step S13) of the imaging device 25. Change the phase of structured illumination by one period (step S12).
  • the image data acquired in this way is the time integration of the re-modulated image during the phase change of the structure illumination, and the luminance distribution of the structure illumination is sinusoidal.
  • the structure illumination pattern is erased.
  • unnecessary diffraction components generated during re-modulation are also deleted from the image data. Therefore, this image data represents a demodulated image.
  • several methods other than this can be applied as described above.
  • control unit 42 changes the direction of the structural illumination and also changes the force (step S15).
  • the processing of steps S11 to S13 is performed again, and another pattern in which the structural illumination pattern is erased is obtained. Acquire demodulated image data.
  • step S14 The process of acquiring demodulated image data in steps S11 to S13 described above is repeated until the direction of the structure illumination is set in all predetermined directions (until YES in step S14). Image data of demodulated images from which illumination patterns have been erased is acquired in the number of set directions.
  • control unit 42 performs the processing of steps S11 to S13 in the direction of structured illumination.
  • the image data I, 1 and 1 of the three demodulated images from which the structure illumination pattern is erased are obtained by repeating until the three directions of 0 °, 120 ° and 240 ° are set.
  • the direction of super-resolution differs by 120 ° between data I, 1 and 1.
  • FIG. 6 is an operation flowchart regarding the calculation of the control / calculation device 42.
  • the image data I, 1, 1 of three demodulated images with different super resolution directions by 120 ° are acquired
  • control unit 42 calculates each of the three demodulated image data I 1, 1, 1 by Fourier transform.
  • the demodulated image data I 1, 1, 1 are shown in Fig. 7 (A), (B), (C).
  • the imaging optical system LS21 (the first-order modulation component), and the symbol I is kO transmitted by the imaging optical system LS21 in an unmodulated state (as the 0th-order diffracted light).
  • the symbol Db indicates the direction of super-resolution (the direction of the structured illumination), and the symbol K indicates the spatial frequency of structured illumination.
  • control 'arithmetic unit 42 displays the image data I, I and I of the three demodulated images as shown in Fig. 8 kl k2 k3
  • the image data I, I, and I of the three demodulated images overlap each other's data range (both kl k2 k3
  • control unit 42 takes the average value of the overlapped data, and uses the average value as the data of the composite image data I. .
  • the contribution of the low frequency component of the composite image data I is large.
  • control 'arithmetic unit 42 performs inverse Fourier transform on the composite image data I and displays the result in real space.
  • This image data I represents a super-resolution image of the sample 11 in three directions that are different by 120 ° (step S23).
  • the control 'arithmetic device 42 sends this image data I to the image display device 43 and displays a super-resolution image.
  • the demodulated image is obtained by driving the diffraction grating 8 and averaging it to remove unnecessary diffraction components. Therefore, the demodulated image data can be obtained at high speed as much as the demodulation operation is not performed.
  • the modulation pattern and re-modulation can be the same. Therefore, the shape error and the arrangement error of the diffraction grating 8 hardly give noise to the image data of the demodulated image. The same applies when the phase of structured illumination is changed or when the direction of structured illumination is changed. Therefore, this microscope apparatus can obtain a super-resolution image with high accuracy.
  • the relay optical system LS22 of this microscope device satisfies the above-mentioned conditions (conditions (i), (ii), and other conditions), so it is possible to reliably acquire information necessary for super-resolution.
  • this microscope apparatus averages the spatial frequency components that the image data has in common, so that there is little attenuation of high frequency components A good super-resolution image can be obtained.
  • a second embodiment of the microscope apparatus of the present invention will be described. Here, only the differences from the first embodiment will be described. The difference is in the operation of the control / arithmetic unit 42.
  • FIG. 9 is an operation flowchart relating to the control of the control / arithmetic apparatus 42 of the present embodiment.
  • the control unit 42 when acquiring the image data of the demodulated image, the control unit 42 obtains the structure light illumination during the period from the start of exposure (step S31) to the end of exposure (step S35) of the imaging device 25.
  • the phase is changed by one period and the force is also changed (step S32), and the direction of the structure illumination is changed (step S34), and the phase change process in step S32 is performed again.
  • step S32 The phase change process in step S32 is repeated until the direction of the structure illumination is set in all predetermined directions (until YES in step S33), and then the control / calculation device 42 is used in the imaging device. Finish exposure of 25 and acquire image data (Step S35)
  • the control / arithmetic unit 42 repeats the phase change process in step S32 until the structured illumination directions are set to three directions of 0 °, 120 °, and 240 °, and the pattern of the structural illumination is erased. Obtain the image data of one demodulated image.
  • the image data of the demodulated image obtained in this way indicates the time integration of the re-modulated image during a change in direction as well as the phase of the structure illumination. Therefore, this demodulated image data represents the super-resolution image of the sample 11 in a plurality of directions as it is. Therefore, the control 'arithmetic device 42 of the present embodiment sends the image data of the demodulated image as it is to the image display device 43 to display the super-resolution image.
  • the diffraction grating 8 having a one-dimensional structure period and the actuator 40 that moves the diffraction grating 8 in one direction are used.
  • a diffraction grating with a periodic structure and an actuator that moves the diffraction grating in two directions are used.
  • the relayed re-modulated image (enlarged image 24) is detected by the imaging device 25, but the enlarged image 24 is deformed so that it can be observed with the naked eye via an eyepiece. May be.
  • the diffraction grating is used as the spatial modulation element.
  • another spatial modulation element having the same effect on the incident light beam may be used.
  • phase change and direction change of the structure illumination can be performed electrically, and an actuator or a rotary stage is used. It is possible to further increase the speed.
  • the present invention is applied to a fluorescence microscope.
  • the present invention is not limited to this, and a reflection microscope can also be configured.

Abstract

　本発明は、高速に超解像画像の情報を生成することのできる顕微鏡装置を提供することを目的とする。そのために、本発明の顕微鏡装置は、被観察物（１１）から射出した光の中間像（２２）を形成する結像光学系（ＬＳ２１）と、前記中間像（２２）の像（２４）を形成するリレー光学系（ＬＳ２２）と、前記結像光学系（ＬＳ２１）の光路を共有し、前記結像光学系（ＬＳ２１）の光路を介して前記被観察物（１１）を照明する照明光学系（ＬＳ１）と、前記中間像（２２）の形成面に配置される空間変調素子（８）とを備えたことを特徴とする。本顕微鏡装置では、この空間変調素子（８）の像（２３）で被観察物（１１）を構造化照明する。この構造化照明により変調された被観察物（１１）からの光は、空間変調素子（８）において自動的に再変調される。

Description

明 細 書
顕微鏡装置
技術分野
[0001] 本発明は、顕微鏡装置に関する。
背景技術
[0002] 生体標本などの被観察物を超解像観察するための手法に、照明光を空間変調す る手法がある (特許文献 1, 2,非特許文献 1, 2など参照)。この手法では、空間変調 された照明光で被観察物の構造の空間周波数を変調し、解像限界を超える高い空 間周波数の情報を顕微鏡光学系の結像に寄与させる。
但し、超解像画像を観察するためには変調された被観察物の像 (変調像)を復調 する必要がある。復調の方法は大別して 2種類あり、光学的な復調 (非特許文献 1, 2 参照）と、演算による復調 (特許文献 1, 2参照）とがある。なお、光学的な復調は、回 折格子などの空間変調素子を用いて変調像を再変調することによって実現する。 特許文献 1 :特開平 11 242189号公報
特許文献 2 :米国再発行特許発明第 38307号明細書
特許文献 1： W.Lukosz, Optical systems with resolving powers exceeding the clasi cal limit. II "Journal of the Optical Society of America, Vol.37, PP.932, 1967 非特許文献 2 :W丄 ukosz and M.Marchand.Opt. Acta. 10,241,1963
発明の開示
発明が解決しょうとする課題
[0003] しかし、演算による復調は複雑な演算処理を要するので時間が掛かり、被観察物を リアルタイム観察することが難し 、。
一方、光学的な復調は回折格子などの空間変調素子を用いるので時間は掛から ないが、その復調精度は空間変調素子の形状精度や配置精度などに依存するので 、良好な超解像画像を得ることが難しい。
[0004] 因みに、非特許文献 2に記載の復調方法 (光学的な復調)では、変調に関する光 路と復調に関する光路とを平行にし、変調と変調とに共通の回折格子の異なる部分 を用いることで配置精度の問題改善を図っているが、変調に関わる光学系の瞳と復 調に関わる光学系の瞳とを共役にすることができないため、観察視野が極端に狭い という欠点がある。
そこで本発明は、高速に超解像画像の情報を生成することのできる顕微鏡装置を 提供することを目的とする。
課題を解決するための手段
[0005] 本発明の顕微鏡装置は、被観察物から射出した光の中間像を形成する結像光学 系と、前記中間像の像を形成するリレー光学系と、前記中間像の形成面に配置され る空間変調素子と、前記結像光学系の光路を共有し、前記空間変調素子のパター ンを前記結像光学系の光路を介して前記被観察物上に投影することにより照明する 照明光学系と、を備えたことを特徴とする。
[0006] なお、本発明の顕微鏡装置には、前記空間変調素子のパターンが前記照明光学 系によって前記被観察物上に投影されてできる照明パターンの位相を変化させる位 相変化手段が更に備えられてもよい。
また、本発明の顕微鏡装置には、前記空間変調素子のパターンが前記照明光学 系によって前記被観察物上に投影されてできる照明パターンの方向を変化させる方 向変化手段が更に備えられてもよい。
[0007] また、本発明の顕微鏡装置には、前記中間像の像を検出してその像のデータを生 成する検出手段と、前記位相の変化中における前記像の時間積分データを前記検 出手段から取得する取得手段とが更に備えられてもよい。
また、本発明の顕微鏡装置には、前記空間変調素子のパターンが前記照明光学 系によって前記被観察物上に投影されてできる照明パターンの方向を変化させる方 向変化手段が更に備えられ、前記取得手段は、前記方向の異なる複数の状態の各 々にお 1、て前記時間積分データを取得してもよ!、。
[0008] また、本発明の顕微鏡装置には、前記取得された複数の前記時間積分データを合 成する演算手段が更に備えられてもよい。
また、前記演算手段は、前記複数の時間積分データに共通して含まれる空間周波 数成分を平均化して合成してもよ ヽ。 また、本発明の顕微鏡装置には、前記中間像の像を検出してその像のデータを生 成する検出手段と、前記空間変調素子のパターンが前記照明光学系によって前記 被観察物上に投影されてできる照明パターンの方向を変化させる方向変化手段と、 前記位相及び前記方向の変化中における前記像の時間積分データを前記検出手 段から取得する取得手段とが更に備えられてもよ 、。
[0009] また、前記検出手段として電荷蓄積型撮像素子が用いられ、前記取得手段は、前 記撮像素子の蓄積時間を、前記照明パターンの位相が整数周期変化する時間とほ ぼ等しくしてちよい。
また、前記検出手段として電荷蓄積型ではない撮像素子が用いられ、前記取得手 段は、前記照明パターンの位相が整数周期変化する時間とほぼ等しい時定数を持 つローパスフィルター、もしくは、積分回路を前記撮像素子の各画素に備えてもよい
[0010] また、本発明の顕微鏡装置には、前記中間像の像を検出してその像のデータを生 成する検出手段が少なくとも備えられ、前記リレー光学系の物体側開口数 NA'は、 前記結像光学系の物体側開口数 NA ,前記結像光学系の結像倍率 M、定数 aに
obj
対して NA' >a-NA ZMの式を満たし、前記定数 aは、少なくとも前記検出手段の
obj
階調で分解できる限界画像コントラストを考慮しつつ、前記結像光学系及びリレー光 学系を介して前記検出手段で検出される前記像のコントラストから逆算して算出され ることが望ましい。
[0011] また、前記定数 aの範囲が、 2< aであることが望ましい。
また、前記空間変調素子のパターンが前記照明光学系によって前記被観察物上 に投影されてできる照明パターンの空間周波数の上限は、前記結像光学系及びリレ 一光学系の MTF及び瞳径を考慮して決定され、前記照明パターンの空間周波数の 下限は、超解像効果を考慮して決定されることが望まし 、。
[0012] また、前記空間変調素子のパターンが前記照明光学系によって前記被観察物上 に投影されてできる照明パターンの空間周波数 kを k=b* (2 * NAZ λ )で表す場合 、 0. 5<b<0. 98であることが望ましい。但し、 NAは開口数、 λは波長、 bは定数で ある。 また、前記空間変調素子が回折格子であって、 0次回折光の強度に対する、 1次回 折光の強度の比 elが、 0. 37< el < l. 9であることが望ましい。
発明の効果
[0013] 本発明によれば、高速に超解像画像の情報を生成することのできる顕微鏡装置 が実現する。
図面の簡単な説明
[0014] [図 1]第 1実施形態の顕微鏡装置の概略構成図である。
[図 2]観察光学系 LS2の標本 11からレンズ 7までの結像光束の開口数を説明する図 である。
[図 3]空間周波数 kOに適当な値を代入して計算した本実施の形態の顕微鏡装置に おいて、 NAZ λで規格ィ匕した空間周波数に対する再変調後の MTFを示した図で ある。
[図 4]空間周波数を ΝΑΖ λで規格化した、無収差光学系のインコヒーレント結像の MTFである。
[図 5]第 1実施形態の制御 ·演算装置 42の制御に関する動作フローチャートである。
[図 6]制御 ·演算装置 42の演算に関する動作フローチャートである。
[図 7]ステップ S21を説明する図である。
[図 8]ステップ S22を説明する図である。
[図 9]第 2実施形態の制御 ·演算装置 42の制御に関する動作フローチャートである。 発明を実施するための最良の形態
[0015] [第 1実施形態]
本発明の顕微鏡装置の第 1実施形態を説明する。
先ず、本顕微鏡装置の構成を説明する。
図 1は、本顕微鏡装置の概略構成図である。図 1に示すとおり、本顕微鏡装置には 、光源 1、コレクタレンズ 2、レンズ 3、励起フィルタ 4、ダイクロイツクミラー 5、レンズ 7、 回折格子 8、第 2対物レンズ 9、対物レンズ 10、蛍光色素で標識された標本 (生体標 本など） 11、バリアフィルタ 6、レンズ 12、撮像装置 (CCDカメラなど） 25、制御'演算 装置（回路やコンピュータなど) 42、画像表示装置 43、ァクチユエータ 40、回転ステ ージ 41が配置される。
[0016] このうち、光源 1、コレクタレンズ 2、レンズ 3、励起フィルタ 4、ダイクロイツクミラー 5、 レンズ 7、回折格子 8、第 2対物レンズ 9、対物レンズ 10が照明光学系 LSIを構成し ており、対物レンズ 10、第 2対物レンズ 9、回折格子 8、レンズ 7、ダイクロイツクミラー 5 、ノリアフィルタ 6、レンズ 12が観察光学系 LS2を構成している。また、対物レンズ 10 と第 2対物レンズ 9とが結像光学系 LS21を構成し、レンズ 7とレンズ 12とがリレー光学 系 LS22を構成している。照明光学系 LSIと観察光学系 LS2とは、対物レンズ 10か らダイク口イツクミラー 5までの光路を共有して 、る。
[0017] 照明光学系 LSIの光源 1からの光は、コレクタレンズ 2において平行光に変換され 、レンズ 3により瞳共役面 31に光源像を形成する。その光源像 31からの光は、励起 フィルタ 4によって波長選択されたのちダイクロイツクミラー 5によって偏向され、照明 光学系 LSIと観察光学系 LS2との共通光路へ入り、レンズ 7により標本 11の共役面 22上に集光する。共役面 22から射出した光は、その共役面 22に配置された回折格 子 8を介してレンズ 9へ入射し、平行光に変換された後、対物レンズ 10を介して標本 11上に回折格子 8の像 23を形成する（このとき、対物レンズ 10の後側焦点面に光源 像 32が形成される。；)。これによつて標本 11上は、空間変調された照明光で照明 (構 造化照明）される。
[0018] ここで、回折格子 8は、例えば、 1次元の周期構造をもつ位相型又は振幅型の回折 格子である。特に、振幅型の回折格子は波長特性が良いため、光源 1に白色光源を 使用できるので好ましい。光源 1としては、白色光源の代わりに単一波長の光源を用 いてもよいし、レーザ光源力もの光を光ファイバで導き、その端面に形成される二次 光源を光源 1として用いてもょ ヽ。
[0019] また、構造ィ匕照明の輝度分布（回折格子 8の像 23の輝度分布)を正弦波状にする ために、回折格子 8で生じる次数 2以上の余分な回折成分を除去することが望ましい 。その際には、回折格子 8よりも後段の適当な箇所 (例えば対物レンズ 10の瞳面)で 除去するとよい。或いは、回折格子 8の濃度分布を予め正弦波状にしておけば、余 分な回折成分の発生を抑え、光量の損失を抑えることができる。
[0020] さて、構造化照明された光を励起光として標本 11上では蛍光が発生する。このと きに対物レンズ 10側力も見た標本 11の構造は、構造ィ匕照明により変調されている。 変調された構造には、モアレ縞が生じている。このモアレ縞は、標本 11が有する微細 構造と構造ィ匕照明のパターンとが成すモアレ縞であり、標本 11の微細構造が、構造 化照明の空間周波数の分だけ低い空間周波数帯域に変換されている。よって、解像 限界を超える高い空間周波数の構造の光までもが、対物レンズ 10によって捉えられ ることになる。
[0021] 対物レンズ 10によって捉えられた蛍光は、対物レンズ 10及び第 2対物レンズ 9から なる結像光学系 LS21により、共役面 22上に標本 11の変調像を形成する。その変調 像は、その共役面 22に配置された回折格子 8によって再変調される。このようにして 生じた再変調像では、空間周波数を変化させた標本 11の構造が、元の空間周波数 に戻される。この再変調像に、標本 11の復調像が含まれている。
[0022] 但し、この再変調像には、復調像にとって不要な回折成分が含まれている。不要な 回折成分とは、標本 11から射出された 0次回折光に対し回折格子 8で生じた ± 1次 回折成分、標本 11から射出された 1次回折光に対する 0次回折成分、標本 11から 射出された + 1次回折光に対する 0次回折成分である。これらの不要な回折成分を 再変調像から除去するためには、回折格子 8を 1周期分若しくは N周期分 (Nは自然 数)動力して平均化すればよ!、。
[0023] 再変調像力もの蛍光は、レンズ 7を介してダイクロイツクミラー 5を透過した後、観察 光学系 LS2の単独光路へ入り、ノリアフィルタ 6を透過したのち、レンズ 12を介して 再変調像の拡大像 24を形成する。つまり、回折格子 8で再変調された再変調像は、 レンズ 7及びレンズ 12からなるリレー光学系 LS22によって、拡大像 24へとリレーされ る。この拡大像 24は、撮像装置 25によって撮像され、再変調像の画像データが生成 される。なお、撮像装置 25で撮像する場合、回折格子 8を 1周期若しくは N周期 (N は自然数)動力している間、再変調像を蓄積することによって平均化すれば、復調像 の画像データを得ることができる。
[0024] この画像データは、標本 11を構造ィ匕照明によって超解像観察するための情報を含 む。その画像データは、制御'演算装置 42によって取り込まれ、演算が施されてから 、画像表示装置 43へと送出される。 以上、本顕微鏡装置は、標本 11の共役面 22から標本 11までの光路を照明光学系 LSIと観察光学系 LS2とで完全に共通光路にすると共に、その共役面 22に回折格 子 8を配置している。本顕微鏡装置ではこの回折格子 8により、標本 11の微細構造 の変調を図る。そして、変調された標本 11の微細構造は、この位置に配置された回 折格子 8により、自動的に再変調される。
[0025] なお、回折格子 8は、ァクチユエータ 40によって格子線に直交する方向 Dbへ移動 可能である。この移動により、構造化照明の位相が変化する。制御 ·演算装置 42がァ クチユエータ 40及び撮像装置 25を制御し、 1フレーム分の画像データを蓄積して ヽ る間にその位相を 1周期分若しくは N周期分 (Nは自然数)だけ変化させることで、そ の画像データから、構造ィ匕照明のパターンと、再変調時に生じた不要な回折成分と を消去する。
[0026] あるいは、撮像装置 25の撮像素子として CCDなど電荷蓄積型の撮像素子を用い 、構造ィ匕照明の位相が 1周期分若しくは N周期分 (Nは自然数)だけ変化するのに必 要な時間を蓄積時間とすることで、構造化照明のパターンと、再変調時に生じた不要 な回折成分を消去してもよい。
あるいは、撮像装置 25の撮像素子として NMOS、 CMOSなど電荷蓄積型ではな い撮像素子を用い、更に各画素の出力にローパスフィルター、もしくは、積分回路を 接続しておくことで、構造ィ匕照明のパターンと、再変調時に生じた不要な回折成分を 消去してもよい。その際には、接続するローパスフィルター、もしくは、積分回路の時 定数として構造ィ匕照明の位相が 1周期分若しくは N周期分 (Nは自然数)だけ変化す るのに必要な時間以上とする。
[0027] また、回折格子 8は、回転ステージ 41によってァクチユエータ 40と共に光軸の周り を回転可能である。この回転により、構造ィ匕照明の方向が変化する。制御'演算装置 42が回転ステージ 41及び撮像装置 25を制御し、構造化照明の方向を複数方向に 変化させる度に画像データを取得すれば、複数方向に亘り超解像観察するための 情報を得ることができる。これにより、標本 11の二次元の超解像観察が可能となる。
[0028] また、以上の動作に必要なプログラムは、例えば CD— ROMなどの記録媒体ゃィ ンターネットを介して制御 ·演算装置 42に予めインストールされて 、る。 次に、本顕微鏡装置のリレー光学系 LS22に必要な条件を説明する。 図 2は、本顕微鏡装置における観察光学系 LS2の標本 11からレンズ 7までの結像 光束の開口数を説明する図である。なお、図 2では、光束の広がりの変化をわ力りや すくするために、回折格子 8の像 23と標本 11とをずらして描き、標本 11の共役面 22 と回折格子 8とをずらして描いた。
[0029] 図 2に示すとおり、標本 11の高い空間周波数の構造で発生した蛍光 LAは射出角 度が大きいため、通常は破線のとおり進行して対物レンズ 10の瞳径内に入射するこ とができない。しかし、その蛍光 LAは回折格子 8の像 23 (つまり構造ィ匕照明）により 変調されるので、その射出角度が低周波数側（つまり小角度）に変化したものは、実 線のとおり進行して対物レンズ 10の瞳径内に入射することが可能になる。
[0030] この蛍光 LAは、結像光学系 LS21によって共役面 22上に結像した後、回折格子 8 において再変調される。再変調された蛍光 LA'の射出角度は、高周波側（つまり大 角度）に戻されている。
このような蛍光 LA'を含む結像光束を導光するためには、リレー光学系 LS22の物 体側開口数 NA'を、予め大きく設定しておく必要がある。
[0031] 特に、構造化照明の空間周波数 (つまり回折格子 8の格子周波数)が高いほど、そ の結像光束の開き角は大きくなるので、リレー光学系 LS22の物体側開口数 NA'も 大きくする必要がある。
但し、一般に、構造ィ匕照明による超解像効果は、対物レンズ 10の解像限界の 2倍 程度である。なぜなら、照明光学系 LSIによって標本 11上に投影される構造ィ匕照明 の空間周波数は、対物レンズ 10の解像限界が上限だ力もである。したがって、リレー 光学系 LS22の物体側開口数 NA'は、或る程度大きければ十分である。
[0032] 例えば、結像光学系 LS21内の対物レンズ 10の開口数を 1. 49,結像光学系 LS2 1の結像倍率を 60倍とする。このとき、結像光学系 LS21の中間像側（回折格子 8側) の開口数は、以下の値となる。
1. 49/60 = 0. 024
このとき、回折格子 8によって再変調された後の光束のうち復調に寄与できる 0, 士 1次の回折光は、これらの中心が回折格子 8による回折角に相当する間隔だけ離れ て並ぶと共に、結像光学系 LS21の中間像側の瞳径を半径とした円形になるため、 最大で以下の値をとる。
3 X 0. 024 = 0. 72
したがって、リレー光学系 LS22の物体側開口数 NA'は、 0. 072あれば十分であ る。リレー光学系 LS22がこのスペックを満たすことは特に難しいことではない。
[0033] この値となるのは上記 0, ± 1次回折光が最大の間隔で並ぶとき、すなわち、最大の 超解像効果が得られるときであるが、回折格子 8による回折角が小さく最大の超解像 効果が得られな!/、場合の NA 'は上記の値より小さくともよ!/、。
その場合でも超解像効果として従来の顕微鏡の 1. 5倍程度を持たせることが望ま しぐこの場合の NA'は、
2 X 0. 24 = 0. 048
であればよい。
[0034] 以上の条件を一般化すると、以下の (i) , (ii)のとおりになる。
(i)リレー光学系 LS22の物体側開口数 NA，は、結像光学系 LS21の物体側開口 数 NA と結像倍率 Mとに対し、少なくとも NA' >a-NA ZMの式を満たす必要が obj
ある（aは定数であり、結像光学系 LS21の中間像側の瞳径と回折格子 8による回折 角との値に依存して決定される）。
[0035] (ii)超解像効果として最低でも 1. 5倍程度を持たせることが望ましぐその場合には 、リレー光学系 LS22の物体側開口数 NA，は、結像光学系 LS21の物体側開口数 N A と結像倍率 Mとに対し、おおよそ NA，= 2NA ZMの式を満たしていればよい。
obj obj
但し、現実的には撮像装置 25で取得された画像のコントラストの観点力も検討する 必要がある。
[0036] リレー光学系 LS22の瞳面には結像光学系 LS21の瞳の像ができるが、回折格子 8 によって結像光学系 LS21からの光が回折されるため、リレー光学系 LS22の瞳面に は結像光学系 LS21の瞳が光軸を中心に 0次回折光、 ± 1次回折光、 ± 2次回折光 として対称に並んでいる。
通常の顕微鏡画像を持つ空間周波数成分は、上記 0次回折光、 ± 1次回折光、士 2次回折光のうち互いに同じ次数の光同士による干渉の結果得られる力 標本 11を 構造ィ匕照明したことにより得られる超解像の情報は、 0次回折光と ± 1次回折光、 ± 1 次回折光と ± 2次回折光、といった具合に隣り合う回折光が干渉した結果、像面に画 像として再現される。
[0037] ところで、回折格子 8の複素振幅は一般にその符号が反転しながら減衰していくた め、 0次回折光と + 1次回折光による画像は、 + 1次回折光と + 2次回折光による画 像、 + 2次回折光と + 3次回折光による画像、 · · ·により打ち消され、コントラストを減 衰させてしまう。
このため、できるだけ多くの 0次回折光、 ± 1次回折光の成分が通過でき、 ± 2次以 上の高次回折光の成分はできるだけ通過できないようなリレー光学系 LS22が必要と なる。
[0038] 以上の検討内容と、さらに撮像装置 25の検出能力とを考慮して、リレー光学系 LS 22の物体側開口数 NA'を決める必要がある。
コントラストの減衰を検討する際、解像限界の空間周波数ではコントラストが 0になつ てしまうので、ここではその 9割の空間周波数の構造の画像コントラストを用いて評価 することとする。結像光学系 LS21の開口数 NA、波長 λとすると、回折格子 8によつ て再変調された解像限界 kgは、構造ィ匕照明の空間周波数 kOとすると、
kg = 2水 ΝΑΖ λ +kO
で表され、その 9割の空間周波数を kghとすると、
kgh=0. 9 * (2 * NAZ +kO)
となる。
[0039] 図 3は、空間周波数 kOに適当な値を代入して計算した本実施形態の顕微鏡装置 において、 NAZ λで規格ィ匕した空間周波数に対する再変調後の MTFを示した図 である。但し、リレー光学系 LS22の瞳径は、結像光学系 LS21の像側瞳が回折格子 8で回折された 0, 士 1次回折光だけが入るようなサイズとした。
図 3を用いて、空間周波数 kghに対する再変調後の MTFを算出する。図 3から MT Fが 0になる (解像限界のとき）ときの規格ィ匕空間周波数 (横軸の値)は、約 3. 7であり 、前述したようにその 9割の空間周波数 (約 3. 7 * 0. 9=約 3. 33)で評価すると、そ のときの MTFの値は約 0. 025である。 [0040] 撮像装置 25に 1024階調の撮像素子を用いる場合、素子が認識できる画像コント ラストの最低値は、 2Z1024 0. 002である。この場合は、上記 kghの MTFが 0. 0 02となる空間周波数まで観察可能であり、前述の解像限界のときの規格ィ匕空間周波 数の 9割の空間周波数は十分観測可能ということになる。
撮像装置 25に 256階調の撮像素子を用いる場合、素子が認識できる画像コントラ ストの最低値は、 2Z256 0. 01である。この場合も、前述の解像限界のときの規格 化空間周波数の 9割の空間周波数は十分観測可能ということになる。
[0041] また、構造化照明のピッチ (縞のピッチ）は、装置や光学系の状況を考慮した上で 適当な超解像を得るため所定の範囲内である必要がある。ピッチの下限（どこまで細 力べできる力 を決めるファクタ一は結像光学系 LS21の MTFによる縞コントラストの 減衰であり、ピッチの上限（どこまで粗くできるカゝ）を決めるファクタ一は超解像の効果 (解像力を増加させる割合)である。
[0042] まず、ピッチの下限の決定方法について説明する。ピッチを決定するために考慮す べき MTFは以下の 2種類である。
(1)所定波長の光を用いて回折格子 8のパターンを結像光学系 LS21を介して標本 11へ投影する場合の結像光学系 LS21の MTFを MTFとする。これにより構造化照
il
明のコントラストが決定される。
(2)構造化照明された標本 11からの所定波長の光 (反射光、蛍光)を観察光学系 LS を介して撮像素子上へ結像する場合の結像光学系 LS21の MTFを MTF とする。こ
im
れにより撮像素子上の像のコントラストが決定される。
[0043] ここで、 （1)に示す MTFは、照明光力インコヒーレントの場合 (例えば、光源がラン プ等の場合）は回折格子 8のパターンのピッチが細力べなるにしたがって減衰する。 一方コヒーレントの場合は、パターンのピッチが光学系の分解能以上であればピッチ によらず MTF = 1である。（2)に示す MTFは、標本 11から撮像素子までの結像関 係がインコヒーレント結像の場合 (照明光力 Sインコヒーレントの場合、或いは照明光が コヒーレントの場合であっても標本 11からの蛍光 (インコヒーレント光）を結像する場合 )に減衰を考慮する必要がある。なお、コヒーレント結像の場合は、（1)と同様に光学 系の分解能以上であれば MTF = 1であるため減衰を考慮する必要がないが、そも
im そもコヒーレント結像の場合の解像力は、インコヒーレント結像の半分しかなぐ本発 明の目的には合わないのでここでは考えない。
[0044] なお、インコヒーレント照明一インコヒーレント結像の場合、全体の MTFは、
MTF =MTF * MTF
totall il lm
で表される。ここで MTF は再変調後のリレー光学系まで含んだ MTFである。
im
コヒーレント照明一インコヒーレント結像の場合、全体の MTFは、
MTF = 1 * MTF
total2 im
で表される。
[0045] kを構造ィ匕照明のピッチの逆数 (縞の空間周波数)とし、 kの値を光学系の解像限界
( λ Ζ2ΝΑ)で規格ィ匕するパラメータ bを導入して、
k=b * (2 * NAZ
と表す。
図 4は空間周波数を NAZ λで規格ィ匕した、無収差光学系のインコヒーレント結像 の MTFである。すなわち、空間周波数 kに対する MTFを考えるとき図 4の横軸を 2b と読み替えればよい。
[0046] 撮像装置 25が 1024階調の撮像素子とすると、取得するコントラストの下限が 0. 00 2であるので、
(1)インコヒーレント照明一インコヒーレント結像の場合、
MTF =MTF MTF >0. 002より、
totall il im
MTF水 MTF >0. 002
il im
ここで、 MTF =MTF より
il im
MTF〉0. 045が必要である。
il
(2)コヒーレント照明一インコヒーレント結像の場合、
MTF = 1 MTF >0. 002
total2 im
MTF >0. 002が必要である。
im
[0047] (1)の MTF =MTF >0. 045の場合は、図 4力ら 2bく 1. 77すなわち b< 0. 89
il im
となり、（2)の MTF >0. 002の場合は、図 4力ら 2b< l. 97すなわち b< 0. 98とな
im
る。 同様に撮像装置素子 25の撮像素子が 256階調とすると、取得するコントラストの下 限は 0. 01になるので、
(1)の場合 MTF =MTF >0. 1となり、図 4力ら 2bく 1. 61すなわち bく 0. 81とな
il im
り、（2)の MTF >0. 01の場合は、図 4力ら 2b< l. 91すなわち b< 0. 96となる。
im
[0048] また、他は同じ条件で、撮像装置 25が取得するコントラストの下限に少し余裕を持 た■¾：て 0. 015とすると、
(1)の場合 MTF =MTF >0. 12となり、図 4力ら 2b< l. 55すなわち b< 0. 78と
il im
なり、（2)の MTF >0. 015の場合は、図 4力ら 2b< l. 89すなわち b< 0. 95となる
im
[0049] 以上説明したようにして照明と結像のコヒーレンシ一で場合分けして算出した bの範 囲から、設定した所定の ΝΑ、 λは 1)では照明の対物レンズ ΝΑ,照明波長 (励起波 長）、 2)では結像の対物レンズ ΝΑ、観察波長（蛍光波長）を用いることにより、 kの範 囲が決定される。
次に、ピッチの上限の決定方法について説明する。
[0050] 超解像効果 αは、 α = (2 * ΝΑ/ λ +k) / (2 * ΝΑ/ λ )で表せる。すなわち、 k
= (2 * NAZ λ ) * ( α— 1) であるので、超解像効果 αの値に依存して、設定した 所定の ΝΑ、 λ (反射または蛍光の波長）を用いることにより kの値が決定される。 前述と同様に k=b * (2 * NAZ )とおけば、 b= ひ 1であり、例えば、超解像効 果ひを 1. 5倍にする場合は b = 0. 5となり、 1. 7倍にする場合は b = 0. 7となる。
[0051] 以上をまとめると、 bの好ましい範囲は 0. 5<b< 0. 98である。
また、光源 1を照明光学系 LSIの光軸に対して、回折格子 8の格子パターンと直交 する方向へ所定量シフトして、回折格子 8による回折光のうち 0次光と 1次回折光が 照明光学系 LSIの光軸に対して対称になるように構成すると、標本 11上に形成され る構造ィ匕照明の空間周波数をより高く設定することができる。所定のシフト量 sは、光 源 1から回折格子 8までの光学系の合成焦点距離を fc、回折格子 8の 1次回折角を Θ gとするとき、
[0052] [数 1]
Figure imgf000016_0001
[0053] となるよう設定するとよい。
ここで、回折格子 8の 0次光強度に対する 1次回折光強度の比は、標本 11上に形 成される構造化照明のコントラストや、復調画像の MTFのスペクトル成分比を最適化 するために、ある所定の範囲内にある必要がある。
例えば、構造ィ匕照明の空間周波数を照明光学系の解像限界程度とし、照明光学 系 LS 1の瞳面の直径方向に最も離れた 2点に光源 1の像を集光させるとすると、標本 11上に形成される構造ィ匕照明のコントラスト C1は、照明光学系 LSI内の回折格子 8 における 0次光強度 ilOに対する 1次回折光強度 il lの比を elとしたとき、以下のと おり表される。
[0054] [数 2] ci = …
Figure imgf000016_0002
[0055] 構造ィ匕照明のコントラスト CIは高い方が好ましい。仮に C1 >0. 8とすると、 0. 25 く elく 3. 9 · - (A)という範囲が得られる。
ちなみに、回折格子 8における 0次光強度 ilOと 1次回折光強度 il lは、 [0056] [数 3] il l = j^ …
2
[0057] である。ここで jは回折格子 8の振幅分布もしくは位相分布が矩形形状であれば、 j
=0. 8、正弦波形状であれば j = lである。
さらに、この構造ィ匕照明で標本 11が回折されるがその際の回折強度は、
1次回折光強度 Πは、
[0058] [数 4] …(
[0059] 0次光強度 10は、
[0060] [数 5]
… )
Figure imgf000017_0001
[0061] そして、この標本 11からの結像光力 結像光学系 LS21の回折格子 8で再変調さ れるときの 0次光強度 i20に対する 1次回折強度 i21の比を elとすると、以下のとおり 表される。
[0062] [数 6]
...(6)
10
[0063] e2は高い方が好ましいが、 1を超える場合には低周波のスペクトル強度が下がるた め、復調像が標本 11の構造の高周波成分を強調したような画像になってしまい、好 ましくない。一般の光学系で見慣れたスペクトル強度分布を考慮すると e2>0. 15く らいあればよい。そのとき el>0.37であり、これは（B)の範囲を規定する。
また、さらに、再変調後、不要な回折成分を時間積分することで DC成分に変換さ れて復調像を得るが、その際の DC成分の割合 dは、
[0064] [数 7] d = l-i20- 2xi21 = l-10xil0-2x II xill ---(7)
[0065] さらに（3)式より
[0066] [数 8] d = l-I0x-J—— 2xl x^^- ■(8)
2el +1 2el + l
[0067] で表せる。 j =lとして、 d<0.8とすると el<6.6であり、 d<0.7とすると、 el<l. 9· ·· (C)程度である。
上記 (A) (B) (C)の範囲を考慮すると、照明光学系 LSI内の回折格子 8における 0 次光強度 ilOに対する 1次回折光強度 il lの比を elとしたとき、好ましい elの範囲は
0. 37< el < l. 9
である。
0次光強度に対する 1次回折光の強度比は、一般に位相型回折格子であれば段差 、 Duty比で決定され、濃度型回折格子であれば、 OD (光学濃度)、 Duty比で決定さ れる。上記好ましい elになるように、上記の製造パラメータを制御すればよい。
[0068] 次に、制御，演算装置 42の制御に関する動作を説明する。
図 5は、制御 ·演算装置 42の制御に関する動作フローチャートである。図 5に示すと おり、制御'演算装置 42は、再変調像の画像データを取得するに当たり、撮像装置 2 5の露光開始 (ステップ S 11)から露光終了（ステップ S 13)までの期間に、構造化照 明の位相を 1周期分だけ変化させる (ステップ S12)。
[0069] このようにして取得された画像データは、構造ィ匕照明の位相変化中における再変 調像の時間積分であり、構造ィ匕照明の輝度分布は正弦波状なので、この画像データ 力もは、構造ィ匕照明のパターンは消去される。また、この画像データからは、再変調 時に生じた不要な回折成分も消去される。よって、この画像データは、復調像を表す 。なお、これらの消去には、これ以外にも、上述したとおり何通りかの方法が適用可能 である。
[0070] さらに、制御'演算装置 42は、構造ィ匕照明の方向を変化させて力も (ステップ S15) 、再びステップ S11〜S13の処理を行い、構造ィ匕照明のパターンの消去された別の 復調像の画像データを取得する。
そして、以上のステップ S11〜S13における復調像の画像データの取得処理は、 構造ィ匕照明の方向が予め決められた全方向に設定されるまで (ステップ S14YESと なるまで)繰り返され、構造ィ匕照明のパターンの消去された復調像の画像データが、 設定された方向の数だけ取得される。
[0071] 例えば、制御'演算装置 42は、ステップ S11〜S13の処理を、構造化照明の方向 が 0° , 120° , 240° の 3方向に設定されるまで繰り返し、構造ィ匕照明のパターン の消去された 3つの復調像の画像データ I , 1 , 1を取得する。これらの復調像の画像
1 2 3
データ I , 1 , 1の間では、超解像の方向が 120° ずつ異なる。
1 2 3
次に、制御，演算装置 42の演算に関する動作を説明する。
[0072] 図 6は、制御 ·演算装置 42の演算に関する動作フローチャートである。ここでは、超 解像の方向が 120° ずつ異なる 3つの復調像の画像データ I , 1 , 1を取得した場合
1 2 3
の演算を説明する。
先ず、制御'演算装置 42は、 3つの復調像の画像データ I , 1 , 1の各々をフーリエ
1 2 3
変換し、波数空間で表現された 3つの復調像の画像データ I , 1 , 1 を得る (ステツ kl k2 k3
プ S21)。これら復調像の画像データ I , 1 , 1 を図 7 (A) , (B) , (C)に示した。
kl k2 k3
[0073] なお、図 7 (A) , (B) , (C)において符号 I , I は、変調された状態で（± 1次回折 k+1 k-1
光として）結像光学系 LS 21によって伝達された成分（士 1次変調成分)を示し、符号 I は、変調されな 、状態で (0次回折光として)結像光学系 LS21によって伝達された kO
成分 (0次変調成分)を示す。また、符号 Dbは、超解像の方向 (構造ィ匕照明の方向） を示し、符号 Kは、構造化照明の空間周波数を示す。
[0074] 続いて、制御'演算装置 42は、 3つの復調像の画像データ I , I , I を、図 8に示 kl k2 k3
すとおり波数空間上で合成し、 1つの合成画像データ I
kを得る (ステップ S22)。
3つの復調像の画像データ I , I , I は、互いのデータ範囲を重複させている（共 kl k2 k3
通の空間周波数成分を含んでいる）ので、制御'演算装置 42は、合成に当たり、重 複したデータについてはそれらの平均値をとり、その平均値を合成画像データ Iのデ k ータとする。この平均によって、合成画像データ Iの低周波数成分の寄与が大きくな k
りすぎるのを抑えることで、高周波数成分の相対的な寄与が小さくなるのを防ぐことが できる。
[0075] 続いて、制御'演算装置 42は、合成画像データ Iを逆フーリエ変換し、実空間で表 k
現された画像データ Iを得る。この画像データ Iは、 120° ずつ異なる 3方向に亘る標 本 11の超解像画像を表現する (ステップ S23)。制御'演算装置 42は、この画像デー タ Iを画像表示装置 43へ送出し、超解像画像を表示する。
以上、本顕微鏡装置では、図 1に示したとおり標本 11力 の光が回折格子 8で再変 調され、さらに回折格子 8を動力して平均化して不要な回折成分を除去することによ つて復調像を得ている。したがって、復調演算をしない分だけ復調像の画像データ は高速に得られる。
[0076] し力も、変調と再変調とに同一の回折格子 8の同一の領域が用いられるので、仮に その回折格子 8に形状誤差や配置誤差があつたとしても、変調のパターンと再変調 のパターンとを同一にすることができる。したがって、回折格子 8の形状誤差や配置 誤差は、復調像の画像データに対しノイズを殆ど与えない。このことは、構造化照明 の位相を変化させたときや、構造ィ匕照明の方向を変化させたときにも同様に当てはま る。したがって、本顕微鏡装置では超解像画像が高精度に得られる。
[0077] また、本顕微鏡装置では、標本 11の共役面 22に回折格子 8を配置する都合上、そ の共役面 2に形成された再変調像をリレーして力ゝら撮像素子 25で撮像する必要があ る。しかし、本顕微鏡装置のリレー光学系 LS22などは、上述した条件 (条件 (i)、 (ii) 、その他の条件)を満足するので、超解像に必要な情報を確実に取得することができ る。
[0078] また、本顕微鏡装置では、複数の画像データを合成する際に（図 6ステップ S22)、 それら画像データが共通して有する空間周波数成分を平均化するので、高周波数 成分の減衰の少ない良好な超解像画像を得ることができる。
[第 2実施形態]
本発明の顕微鏡装置の第 2実施形態を説明する。ここでは、第 1実施形態との相違 点のみ説明する。相違点は、制御，演算装置 42の動作にある。
[0079] 図 9は、本実施形態の制御 ·演算装置 42の制御に関する動作フローチャートである 。図 9に示すとおり、制御'演算装置 42は、復調像の画像データを取得するに当たり 、撮像装置 25の露光開始 (ステップ S31)から露光終了（ステップ S35)までの期間に 、構造ィ匕照明の位相を 1周期分変化させて力も (ステップ S32)、さらに構造ィ匕照明の 方向を変化させて (ステップ S 34)、再びステップ S32における位相変化処理を行う。
[0080] このステップ S32における位相変化処理は、構造ィ匕照明の方向が予め決められた 全方向に設定されるまで (ステップ S33YESとなるまで)繰り返され、その後、制御 · 演算装置 42は撮像装置 25の露光を終了して画像データを取得する (ステップ S35) 例えば、制御 ·演算装置 42は、ステップ S32における位相変化処理を、構造化照 明の方向が 0° , 120° , 240° の 3方向に設定されるまで繰り返し、構造ィ匕照明の パターンの消去された 1つの復調像の画像データを取得する。
[0081] このようにして取得された復調像の画像データは、構造ィ匕照明の位相だけでなく方 向の変化中における再変調像の時間積分を示す。よって、この復調像の画像データ は、そのまの状態で複数方向に亘る標本 11の超解像画像を表す。したがって、本実 施形態の制御'演算装置 42は、この復調像の画像データをそのまま画像表示装置 4 3へ送出して超解像画像を表示する。
[0082] 以上、本実施形態では、撮像装置 25の露光期間内に構造ィ匕照明の位相だけでな く方向をも変化させるので、超解像画像を第 1実施形態よりも高速に得ることができる なお、本実施形態では、 1次元の構造周期を持つ回折格子 8と、その回折格子 8を 1方向（格子線に直交する方向）に移動させるァクチユエータ 40とを使用したが、 2次 元の周期構造を持つ回折格子と、その回折格子を 2方向 (格子線に直交する方向） に移動させるァクチユエ一タとを使用すれば、 2方向に亘る超解像画像の情報を略 同時に取得することができるので、さらなる高速化を図ることができる。
[0083] [その他]
なお、上述した各実施形態の顕微鏡装置は、リレーされた再変調像 (拡大像 24)を 撮像装置 25で検出したが、拡大像 24を接眼レンズを介して肉眼で観察できるよう〖こ 変形されてもよい。
また、上述した各実施形態の顕微鏡装置は、空間変調素子として回折格子を使用 したが、入射光束に対し同様の作用をする別の空間変調素子を使用してもよい。
[0084] 例えば、回折格子 8の代わりに透過型液晶表示素子などの空間変調素子を用いれ ば、構造ィ匕照明の位相変化及び方向変化を電気的に行うことができ、ァクチユエータ や回転ステージを用いずに構成し、さらなる高速化を図ることができる。
さらに、上述の各実施形態では蛍光顕微鏡への応用であつたが、特にこれに限定 されるものではなぐ同様に反射顕微鏡を構成することもできる。

Claims

請求の範囲
[1] 被観察物から射出した光の中間像を形成する結像光学系と、
前記中間像の像を形成するリレー光学系と、
前記中間像の形成面に配置される空間変調素子と、
前記結像光学系の光路を共有し、前記空間変調素子のパターンを前記結像光学 系の光路を介して前記被観察物上に投影することにより照明する照明光学系と、 を備えたことを特徴とする顕微鏡装置。
[2] 請求項 1に記載の顕微鏡装置において、
前記空間変調素子のパターンが前記照明光学系によって前記被観察物上に投影 されてできる照明パターンの位相を変化させる位相変化手段を更に備えた
ことを特徴とする顕微鏡装置。
[3] 請求項 1又は請求項 2に記載の顕微鏡装置において、
前記空間変調素子のパターンが前記照明光学系によって前記被観察物上に投影 されてできる照明パターンの方向を変化させる方向変化手段を更に備えた
ことを特徴とする顕微鏡装置。
[4] 請求項 2に記載の顕微鏡装置において、
前記中間像の像を検出してその像のデータを生成する検出手段と、
前記位相の変化中における前記像の時間積分データを前記検出手段から取得す る取得手段と
を更に備えたことを特徴とする顕微鏡装置。
[5] 請求項 4に記載の顕微鏡装置において、
前記空間変調素子のパターンが前記照明光学系によって前記被観察物上に投影 されてできる照明パターンの方向を変化させる方向変化手段を更に備え、
前記取得手段は、
前記方向の異なる複数の状態の各々にお 、て前記時間積分データを取得する ことを特徴とする顕微鏡装置。
[6] 請求項 5に記載の顕微鏡装置において、
前記取得された複数の前記時間積分データを合成する演算手段を更に備えた ことを特徴とする顕微鏡装置。
[7] 請求項 6に記載の顕微鏡装置において、
前記演算手段は、
前記複数の時間積分データに共通して含まれる空間周波数成分を平均化して合 成する
こと特徴とする顕微鏡装置。
[8] 請求項 2に記載の顕微鏡装置において、
前記中間像の像を検出してその像のデータを生成する検出手段と、
前記空間変調素子のパターンが前記照明光学系によって前記被観察物上に投影 されてできる照明パターンの方向を変化させる方向変化手段と、
前記位相及び前記方向の変化中における前記像の時間積分データを前記検出手 段から取得する取得手段と
を更に備えたことを特徴とする顕微鏡装置。
[9] 請求項 4〜請求項 8の何れか一項に記載の顕微鏡装置において、前記検出手段と して電荷蓄積型撮像素子が用いられ、前記取得手段は、前記撮像素子の蓄積時間 を、前記照明パターンの位相が整数周期変化する時間とほぼ等しくすることを特徴と する顕微鏡装置。
[10] 請求項 4〜請求項 8の何れか一項に記載の顕微鏡装置において、前記検出手段と して電荷蓄積型ではない撮像素子が用いられ、前記取得手段は、前記照明パター ンの位相が整数周期変化する時間とほぼ等しい時定数を持つローパスフィルター、 もしくは、積分回路を前記撮像素子の各画素に備えたことを特徴とする顕微鏡装置。
[11] 請求項 1〜請求項 10の何れか一項に記載の顕微鏡装置において、
前記中間像の像を検出してその像のデータを生成する検出手段を少なくとも備え、 前記リレー光学系の物体側開口数 NA'は、
前記結像光学系の物体側開口数 NA ,前記結像光学系の結像倍率 M、定数 aに obj
対して NA' >a'NA ZMの式を満たし、
obj
前記定数 aは、
少なくとも前記検出手段の階調で分解できる限界画像コントラストを考慮しつつ、前 記結像光学系及びリレー光学系を介して前記検出手段で検出される前記像のコント ラストから逆算して算出されることを特徴とする顕微鏡装置。
[12] 請求項 11に記載の顕微鏡装置において、
前記定数 aの範囲が、 2 < aであることを特徴とする顕微鏡装置。
[13] 請求項 1〜請求項 12の何れか一項に記載の顕微鏡装置において、
前記空間変調素子のパターンが前記照明光学系によって前記被観察物上に投影 されてできる照明パターンの空間周波数の上限は、前記結像光学系及びリレー光学 系の MTFを考慮して決定され、前記照明パターンの空間周波数の下限は、超解像 効果を考慮して決定されることを特徴とする顕微鏡装置。
[14] 請求項 1〜請求項 13の何れか一項に記載の顕微鏡装置において、
前記空間変調素子のパターンが前記照明光学系によって前記被観察物上に投影 されてできる照明パターンの空間周波数 kを k=b* (2 * ΝΑΖ λ )で表す場合、 0. 5 <b<0. 98であることを特徴とする顕微鏡装置。
但し、 NAは開口数、 λは波長、 bは定数である。
[15] 請求項 1〜請求項 14の何れか一項に記載の顕微鏡装置において、
前記空間変調素子が回折格子であって、 0次回折光の強度に対する、 1次回折光の 強度の比 elが、 0. 37<el< l. 9であることを特徴とする顕微鏡装置。
PCT/JP2006/318875 2005-10-13 2006-09-22 顕微鏡装置 WO2007043314A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US11/887,822 US8081378B2 (en) 2005-10-13 2006-09-22 Microscope
EP06798263A EP1936422A4 (en) 2005-10-13 2006-09-22 MICROSCOPE
JP2007539854A JP4831072B2 (ja) 2005-10-13 2006-09-22 顕微鏡装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005-299329 2005-10-13
JP2005299329 2005-10-13
JP2006-024851 2006-02-01
JP2006024851 2006-02-01

Publications (1)

Publication Number Publication Date
WO2007043314A1 true WO2007043314A1 (ja) 2007-04-19

Family

ID=37942565

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/318875 WO2007043314A1 (ja) 2005-10-13 2006-09-22 顕微鏡装置

Country Status (4)

Country Link
US (1) US8081378B2 (ja)
EP (1) EP1936422A4 (ja)
JP (1) JP4831072B2 (ja)
WO (1) WO2007043314A1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009043475A1 (de) * 2007-09-28 2009-04-09 Carl Zeiss Meditec Ag Vorrichtung und verfahren zur untersuchung des augenhintergrundes, insbesondere der photorezeptoren
WO2009043546A1 (de) * 2007-09-28 2009-04-09 Carl Zeiss Microimaging Gmbh Verfahren und anordnung zur optischen erfassung einer beleuchteten probe
JP2010532878A (ja) * 2007-07-06 2010-10-14 ナショナル ユニヴァーシティー オブ シンガポール 蛍光焦点変調顕微鏡システムおよびその方法
JP2010540998A (ja) * 2007-09-28 2010-12-24 カール ツァイス マイクロイメージング ゲーエムベーハー 照明された試料を光学的に捕捉するための方法および装置
EP2437095A2 (en) 2010-09-30 2012-04-04 Olympus Medical Systems Corporation Sample observation device for generating super resolution image
JP2012078827A (ja) * 2010-09-30 2012-04-19 Carl Zeiss Microimaging Gmbh 顕微鏡システム、顕微鏡法、及び記憶媒体
JP2013011728A (ja) * 2011-06-29 2013-01-17 Yokogawa Electric Corp 顕微鏡装置
JP2013088808A (ja) * 2011-10-19 2013-05-13 Natinal Synchrotron Radiation Research Center 構造光照明を用いる光学撮像システム
JP2013152304A (ja) * 2012-01-24 2013-08-08 Olympus Corp 顕微鏡システム
WO2015008415A1 (ja) * 2013-07-17 2015-01-22 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡装置
JPWO2013001805A1 (ja) * 2011-06-29 2015-02-23 株式会社ニコン 構造化照明光学系および構造化照明顕微鏡装置
WO2015052920A1 (ja) * 2013-10-07 2015-04-16 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡装置
JP2015096954A (ja) * 2013-11-15 2015-05-21 株式会社ミツトヨ 投影アーティファクト抑制要素を含む構造化照明顕微鏡法光学装置
CN105814402A (zh) * 2013-11-27 2016-07-27 苏州大学 连续可调结构光照明的超分辨显微成像方法与系统
US9995919B2 (en) 2007-11-26 2018-06-12 Carl Zeiss Microscopy Gmbh Method and configuration for the optical detection of an illuminated specimen

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189191B2 (en) 2005-07-26 2012-05-29 Tufts University Spectroscopic imaging microscopy
JP4978470B2 (ja) * 2005-10-11 2012-07-18 株式会社ニコン 顕微鏡装置及び観察方法
US9234845B2 (en) 2006-10-19 2016-01-12 Olympus Corporation Microscope with reflecting fluorescence illumination optical system
JP4835750B2 (ja) * 2007-04-12 2011-12-14 株式会社ニコン 顕微鏡装置
FR2922658B1 (fr) * 2007-10-18 2011-02-04 Centre Nat Rech Scient Systeme d'illuminations structuree d'un echantillon
DE102009024941A1 (de) * 2009-06-09 2010-12-23 Carl Zeiss Surgical Gmbh Beleuchtungsvorrichtung und medizinisch-optisches Beobachtungsgerät
WO2011005239A1 (en) * 2009-07-08 2011-01-13 Freescale Semiconductor, Inc. Device for forming a high-resolution image, imaging system, and method for deriving a high-spatial-resolution image
JP5639182B2 (ja) * 2009-11-02 2014-12-10 オリンパス株式会社 ビームスプリッタ装置、光源装置および走査型観察装置
WO2011119678A2 (en) 2010-03-23 2011-09-29 California Institute Of Technology Super resolution optofluidic microscopes for 2d and 3d imaging
WO2011135819A1 (ja) * 2010-04-26 2011-11-03 株式会社ニコン 構造化照明顕微鏡装置
WO2012058233A2 (en) 2010-10-26 2012-05-03 California Institute Of Technology Scanning projective lensless microscope system
US9643184B2 (en) 2010-10-26 2017-05-09 California Institute Of Technology e-Petri dishes, devices, and systems having a light detector for sampling a sequence of sub-pixel shifted projection images
US9569664B2 (en) * 2010-10-26 2017-02-14 California Institute Of Technology Methods for rapid distinction between debris and growing cells
WO2012118436A1 (en) * 2011-03-01 2012-09-07 Applied Precision, Inc. Systems and methods for illumination phase control in fluorescence microscopy
WO2012119094A2 (en) 2011-03-03 2012-09-07 California Institute Of Technology Light guided pixel
DE102011114500B4 (de) 2011-09-29 2022-05-05 Fei Company Mikroskopvorrichtung
JP5562919B2 (ja) * 2011-09-30 2014-07-30 オリンパス株式会社 超解像観察装置
US9952418B2 (en) 2013-03-15 2018-04-24 Intelligent Imaging Innovations, Inc. Multi-channel simultaneous photostimulation
CN103256888B (zh) * 2013-05-09 2015-12-02 哈尔滨工业大学 一种超分辨移动光栅共焦成像装置与方法
WO2016125281A1 (ja) * 2015-02-05 2016-08-11 株式会社ニコン 構造化照明顕微鏡、観察方法、及び制御プログラム
WO2016199179A1 (ja) 2015-06-08 2016-12-15 株式会社ニコン 構造化照明顕微鏡システム、方法及びプログラム
CN105301794B (zh) * 2015-10-30 2017-08-25 中国科学院遗传与发育生物学研究所 用于快速运动物体的超高分辨成像装置
RU172410U1 (ru) * 2017-02-03 2017-07-07 Федеральное государственное унитарное предприятие "Всероссийский научно-исследовательский институт автоматики им. Н.Л. Духова" (ФГУП "ВНИИА") Устройство для получения микроскопического изображения удаленных объектов на основе системы оптического переноса
DE102017108873A1 (de) * 2017-04-26 2018-10-31 Carl Zeiss Microscopy Gmbh Phasenkontrast-Bildgebung mit Übertragungsfunktion
US10429315B2 (en) * 2017-07-18 2019-10-01 Samsung Electronics Co., Ltd. Imaging apparatus and imaging method
EP3752879A1 (en) 2018-02-12 2020-12-23 Intelligent Imaging Innovations, Inc. Tiling light sheet selective plane illumination microscopy using discontinuous light sheets

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1164797A (ja) * 1997-08-12 1999-03-05 Ishikawajima Harima Heavy Ind Co Ltd 位相差ピンホール型光学素子及びこれを用いた共焦点顕微鏡
JPH11242189A (ja) * 1997-12-25 1999-09-07 Olympus Optical Co Ltd 像形成法、像形成装置
EP1248132A2 (de) 2001-04-07 2002-10-09 CARL ZEISS JENA GmbH Verfahren und Anordnung zur tiefenaufgelösten optischen Erfassung einer Probe
JP2002311335A (ja) * 2001-04-12 2002-10-23 Nikon Corp 格子照明顕微鏡
JP2003262798A (ja) * 2002-03-12 2003-09-19 Olympus Optical Co Ltd 顕微鏡

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3826317C1 (ja) * 1988-08-03 1989-07-06 Ernst Leitz Wetzlar Gmbh, 6330 Wetzlar, De
US5671085A (en) 1995-02-03 1997-09-23 The Regents Of The University Of California Method and apparatus for three-dimensional microscopy with enhanced depth resolution
US5969855A (en) * 1995-10-13 1999-10-19 Olympus Optical Co., Ltd. Microscope apparatus
US6020963A (en) * 1996-06-04 2000-02-01 Northeastern University Optical quadrature Interferometer
ATE236412T1 (de) * 1997-10-22 2003-04-15 Max Planck Gesellschaft Programmierbares räumlich lichtmoduliertes mikroskop und mikroskopieverfahren
JP4020714B2 (ja) * 2001-08-09 2007-12-12 オリンパス株式会社 顕微鏡
DE10254139A1 (de) * 2002-11-15 2004-05-27 Carl Zeiss Jena Gmbh Verfahren und Anordnung zur tiefenaufgelösten optischen Erfassung einer Probe
JP4239166B2 (ja) * 2002-12-27 2009-03-18 関西ティー・エル・オー株式会社 多層観察型光学顕微鏡及び多層観察ユニット
US7075058B2 (en) * 2003-03-28 2006-07-11 The United States Of America As Represented By The United States Department Of Energy Photothermal imaging scanning microscopy

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1164797A (ja) * 1997-08-12 1999-03-05 Ishikawajima Harima Heavy Ind Co Ltd 位相差ピンホール型光学素子及びこれを用いた共焦点顕微鏡
JPH11242189A (ja) * 1997-12-25 1999-09-07 Olympus Optical Co Ltd 像形成法、像形成装置
EP1248132A2 (de) 2001-04-07 2002-10-09 CARL ZEISS JENA GmbH Verfahren und Anordnung zur tiefenaufgelösten optischen Erfassung einer Probe
JP2002311335A (ja) * 2001-04-12 2002-10-23 Nikon Corp 格子照明顕微鏡
JP2003262798A (ja) * 2002-03-12 2003-09-19 Olympus Optical Co Ltd 顕微鏡

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
See also references of EP1936422A4
W. LUKOSZ; M. MARCHAND, OPT. ACTA., vol. 10, 1963, pages 241
W.LUKOSZ: "Optical systems with resolving powers exceeding the classical limit. II", JOURNAL OF THE OPTICAL SOCIETY OF AMERICA, vol. 37, 1967, pages 932

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010532878A (ja) * 2007-07-06 2010-10-14 ナショナル ユニヴァーシティー オブ シンガポール 蛍光焦点変調顕微鏡システムおよびその方法
US8567948B2 (en) 2007-09-28 2013-10-29 Carl Zeiss Meditec Ag Device and method for examining the eye fundus, especially the photoreceptors
WO2009043546A1 (de) * 2007-09-28 2009-04-09 Carl Zeiss Microimaging Gmbh Verfahren und anordnung zur optischen erfassung einer beleuchteten probe
JP2010540998A (ja) * 2007-09-28 2010-12-24 カール ツァイス マイクロイメージング ゲーエムベーハー 照明された試料を光学的に捕捉するための方法および装置
WO2009043475A1 (de) * 2007-09-28 2009-04-09 Carl Zeiss Meditec Ag Vorrichtung und verfahren zur untersuchung des augenhintergrundes, insbesondere der photorezeptoren
US9995919B2 (en) 2007-11-26 2018-06-12 Carl Zeiss Microscopy Gmbh Method and configuration for the optical detection of an illuminated specimen
EP2781943A1 (en) 2010-09-30 2014-09-24 Olympus Corporation Sample observation device for generating super resolution image
EP2437095A3 (en) * 2010-09-30 2012-05-09 Olympus Medical Systems Corporation Sample observation device for generating super resolution image
JP2012078827A (ja) * 2010-09-30 2012-04-19 Carl Zeiss Microimaging Gmbh 顕微鏡システム、顕微鏡法、及び記憶媒体
US8780192B2 (en) 2010-09-30 2014-07-15 Olympus Corporation Sample observation device for generating super resolution image
US8817088B2 (en) 2010-09-30 2014-08-26 Olympus Corporation Sample observation device for generating super resolution image
JP2012078408A (ja) * 2010-09-30 2012-04-19 Olympus Corp 標本観察装置
EP2437095A2 (en) 2010-09-30 2012-04-04 Olympus Medical Systems Corporation Sample observation device for generating super resolution image
JP2013011728A (ja) * 2011-06-29 2013-01-17 Yokogawa Electric Corp 顕微鏡装置
US10739574B2 (en) 2011-06-29 2020-08-11 Nikon Corporation Structured illumination optical system and structured illumination microscope device
US10095018B2 (en) 2011-06-29 2018-10-09 Nikon Corporation Structured illumination optical system and structured illumination microscope device
US10067328B2 (en) 2011-06-29 2018-09-04 Nikon Corporation Structured illumination optical system and structured illumination microscope device
JPWO2013001805A1 (ja) * 2011-06-29 2015-02-23 株式会社ニコン 構造化照明光学系および構造化照明顕微鏡装置
US9599805B2 (en) 2011-10-19 2017-03-21 National Synchrotron Radiation Research Center Optical imaging system using structured illumination
JP2013088808A (ja) * 2011-10-19 2013-05-13 Natinal Synchrotron Radiation Research Center 構造光照明を用いる光学撮像システム
JP2013152304A (ja) * 2012-01-24 2013-08-08 Olympus Corp 顕微鏡システム
JPWO2015008415A1 (ja) * 2013-07-17 2017-03-02 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡装置
WO2015008415A1 (ja) * 2013-07-17 2015-01-22 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡装置
JPWO2015052920A1 (ja) * 2013-10-07 2017-03-09 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡装置
WO2015052920A1 (ja) * 2013-10-07 2015-04-16 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡装置
JP2015096954A (ja) * 2013-11-15 2015-05-21 株式会社ミツトヨ 投影アーティファクト抑制要素を含む構造化照明顕微鏡法光学装置
CN105814402A (zh) * 2013-11-27 2016-07-27 苏州大学 连续可调结构光照明的超分辨显微成像方法与系统
CN105814402B (zh) * 2013-11-27 2018-11-06 苏州大学 连续可调结构光照明的超分辨显微成像方法与系统

Also Published As

Publication number Publication date
EP1936422A4 (en) 2013-01-16
US20090268280A1 (en) 2009-10-29
US8081378B2 (en) 2011-12-20
JP4831072B2 (ja) 2011-12-07
EP1936422A1 (en) 2008-06-25
JPWO2007043314A1 (ja) 2009-04-16

Similar Documents

Publication Publication Date Title
JP4831072B2 (ja) 顕微鏡装置
JP4835750B2 (ja) 顕微鏡装置
EP2781943B1 (en) Sample observation device for generating super resolution image
JP5136422B2 (ja) 顕微鏡装置及び画像処理方法
US8019136B2 (en) Optical sectioning microscopy
US6239909B1 (en) Image-forming method and image-forming apparatus
JP2007199572A (ja) 顕微鏡装置
JP4123305B2 (ja) 画像作成方法および顕微鏡装置
JP5888416B2 (ja) 構造化照明顕微鏡装置
JP2007199397A (ja) 顕微鏡装置
JP4844137B2 (ja) 顕微鏡装置
US20220076379A1 (en) Method for super-resolution evaluation of microscope images illuminated in a structured manner and microscope having structured illumination
JP7063337B2 (ja) 顕微鏡および観察方法
TWI414818B (zh) 使用空間光調變器的超解析率廣視野光切片顯微鏡

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2007539854

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11887822

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2006798263

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE