WO2017055405A1 - Hochauflösende scanning-mikroskopie mit der unterscheidung mindestens zweier spektralbereiche - Google Patents

Hochauflösende scanning-mikroskopie mit der unterscheidung mindestens zweier spektralbereiche Download PDF

Info

Publication number
WO2017055405A1
WO2017055405A1 PCT/EP2016/073194 EP2016073194W WO2017055405A1 WO 2017055405 A1 WO2017055405 A1 WO 2017055405A1 EP 2016073194 W EP2016073194 W EP 2016073194W WO 2017055405 A1 WO2017055405 A1 WO 2017055405A1
Authority
WO
WIPO (PCT)
Prior art keywords
channels
radiation
sample
detector
diffraction
Prior art date
Application number
PCT/EP2016/073194
Other languages
English (en)
French (fr)
Inventor
Ingo Kleppe
Ralf Wolleschensky
Yauheni Novikau
Original Assignee
Carl Zeiss Microscopy Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy Gmbh filed Critical Carl Zeiss Microscopy Gmbh
Priority to US15/764,238 priority Critical patent/US10401607B2/en
Priority to JP2018535251A priority patent/JP6753935B2/ja
Priority to CN201680057202.7A priority patent/CN108139578B/zh
Publication of WO2017055405A1 publication Critical patent/WO2017055405A1/de

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0064—Optical details of the image generation multi-spectral or wavelength-selective arrangements, e.g. wavelength fan-out, chromatic profiling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/04—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
    • G02B6/06—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images
    • G02B6/08—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images with fibre bundle in form of plate
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/04—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres

Definitions

  • the invention relates to a method for high-resolution scanning microscopy of a sample, wherein the sample is excited with illumination radiation for emitting fluorescence radiation such that the illumination radiation is focused at a point in or on the sample to a diffraction-limited illumination spot, the point diffraction-limited in a diffraction image is imaged onto a spatially resolving detector device which has a
  • the point is moved relative to the sample in different scan positions with a pitch smaller than half the diameter of the illumination spot, read by the detector means for each scan position intensity data and from the intensity data and their associated Scan positions an image of the sample is generated, which has a resolution that is increased above a resolution limit of the image of the point.
  • the invention further relates to a microscope for high-resolution scanning microscopy with a sample chamber for receiving a sample which can be excited to emit fluorescence radiation, an optic having a focal plane lying in the sample chamber and a
  • Resolution limit has, a lighting device having an input for supplying illumination radiation and the optics with the sample space
  • Illuminated illumination radiation such that the optics bundles the illumination radiation at a point in the focal plane to a diffraction-limited illumination spot, an imaging device for diffraction-limited imaging of the point in the focal plane through the optics in a diffraction pattern on a detector device, the detection surface is in a plane conjugate to the focal plane detector wherein the detector device has a spatial resolution which resolves a diffraction pattern of the diffraction image
  • Evaluation device for reading out intensity data of the detector device and for generating an image of the sample having a resolution which is increased beyond the resolution limit, from the intensity data and the scan positions assigned to it.
  • luminescence microscopy A classical field of application of light microscopy for the investigation of biological preparations is luminescence microscopy.
  • certain dyes so-called Phosphors or fluorophores
  • the sample is illuminated with illumination radiation representing excitation radiation and the luminescence radiation stimulated thereby is detected with suitable detectors.
  • illumination radiation representing excitation radiation
  • luminescence radiation stimulated thereby is detected with suitable detectors.
  • the representation of individual, differently colored cell parts in the microscope is possible.
  • several parts of a preparation can be colored simultaneously with different, specifically attaching to different structures of the preparation dyes. This process is called multiple luminescence. It is also possible to measure samples which luminesce per se, ie without the addition of dye.
  • Luminescence is here, as is common practice, as a generic term for phosphorescence and
  • LSM laser scanning microscopes
  • a confocal detection arrangement one speaks of a confocal LSM
  • a non-linear sample interaction so-called multiphoton microscopy
  • An optical section is obtained, and the recording of multiple optical sections at different depths of the sample allows to generate a three-dimensional image of the sample composed of the various optical sections.
  • Laser scanning microscopy is thus suitable for the examination of thick specimens.
  • a combination of luminescence microscopy and laser scanning microscopy is also used in which a luminescent sample is imaged at different depth levels by means of an LSM.
  • optical resolution of a light microscope including that of an LSM, is diffraction-limited by the laws of physics.
  • high resolution is used here for
  • the resolution can be raised to a factor of up to 10 compared to a diffraction-limited confocal LSM.
  • a method is described for example in US 586691 1.
  • Various approaches are known, for example as described in DE 4416558 C2, US 6633432 or DE 10325460 A1.
  • Activation signal can be activated. Only in the activated state can the
  • Fluorescence radiation to be excited is done so that at least some of the activated label molecules are activated by adjacent ones
  • Molecules are spaced so that they measured by the optical resolution of
  • Microscopy are separated or subsequently separable. After recording the
  • Fluorescence radiation imaging repeated until all possible labeling molecules were once contained in a subset and isolated.
  • EP 2037255 A1 relates to a multispectral detection of sample light.
  • a generic method and microscope is known from EP 2317362 A1; It is known as Airy Scan Microscopy.
  • This generic document combined in the illustrated and described there in Fig. 5 embodiment diffraction-limited illumination of the sample with an area detector, which dissolves the diffraction pattern of the illuminated point.
  • the detector is thus in a plane in which would be the pinhole in a conventional LSM.
  • a scanning device shifts illumination spots over the sample and is so formed such that the diffraction pattern of the spot illuminated with the illumination spot rests on the area detector.
  • the surface detector in the pinhole plane is provided with a spatial resolution which, relative to the image scale, causes an oversampling of the diffraction image and thus together with a special signal processing makes it possible to scan the diffraction structure of the diffraction image.
  • EP 2317362 A1 provides an embodiment in which a color analysis is possible.
  • a plurality of detectors are provided which lie in corresponding spectral channels, which are formed by a dichroic color divider.
  • This approach has long been known for laser scanning microscopy.
  • it has the disadvantage that for each color channel a corresponding color divider with a corresponding detector is necessary.
  • this requirement is largely unproblematic;
  • an oversampling surface detector according to EP 2317362 A1 a considerable outlay arises, especially as such surface detectors are expensive.
  • these multiple area detectors would have to be adjusted with subpixel precision, since otherwise a color error would arise between the generated images of the individual color channels, which would result from the fact that for the
  • the data of the area detectors on the scan position which is moved in steps that are small compared to the diameter of the illumination spot is moved. Only when the area detectors in all color channels to the optical axis are adjusted with sub-pixel accuracy, the images of the individual color channels match each other.
  • DE 102013019378 A1 proposes a development for color analysis for the microscope known from EP 2317362 A1, in which the two spatially resolving area detectors are formed by two optical fiber bundles which guide the radiation to a detector which has a plurality of detector elements. One half of the detector elements are connected to an optical fiber, the other half to the other optical fiber. A spectrally dividing element ensures that the two optical fibers radiate different
  • the invention has the object of providing a method or a microscope of the type mentioned in such a way that color information can be obtained, the adjustment is reduced for several color channels or even eliminated and at the same time the achievable spatial resolution is not reduced as possible, so that also a variety of
  • Color channels is possible. This object is achieved by a method for high-resolution scanning microscopy of a sample, wherein the sample is excited with illumination radiation for emitting fluorescence radiation, that the illumination radiation is concentrated to a point in or on the sample to a diffraction-limited illumination spot, the point diffraction limited in a diffraction image on a detection surface of a
  • Position-resolving detector device is imaged, wherein the detection surface has local channels that define a spatial resolution of the detector device, which a
  • Diffraction structure of the diffraction pattern dissolves, the detector device detector elements for detecting the radiation of the diffraction image, for the plurality of local channels, the radiation guided there spectrally separated into several spectral channels and merged into mixed channels again, wherein in each mixed channel radiation from different local channels comes, and in the majority of mixed channels too
  • Radiation from different spectral channels are merged, and each mixed channel is passed to one of the detector elements, the point is moved relative to the sample in different scanning positions with a pitch which is smaller than half
  • Diameter of the illumination spot read from the detector elements for each scan position intensity data and from the intensity data and their associated scan positions, an image of the sample is generated, having a resolution which is increased above a resolution limit of the image of the point, wherein for each detector element, the spectral channels and local channels of the radiation are considered and the image of the sample is generated multispectral.
  • a method for high-resolution scanning microscopy of a sample wherein the sample is excited with illumination radiation for emitting fluorescence radiation such that the illumination radiation is focused at a point in or on the sample to a diffraction-limited illumination spot, the point diffraction-limited in a diffraction image is imaged on a detection surface of a spatially resolving detector device, wherein the detection surface has local channels which have a spatial resolution of Determine detector device which dissolves a diffraction structure of the diffraction image, the detector device comprises at least as many detector elements as local channels, wherein the radiation of the diffraction image incident on the local channels is passed to the detector elements, the detector device comprises a spectral separating and mixing device, which spectrally separated radiation into multiple spectral channels in each local channel, with an individual assignment of local channels for each of the spectral channels
  • Detector elements are such that a plurality of the detector elements receive radiation in different spectral channels and from different local channels, the point is shifted relative to the sample in different scan positions with a pitch which is smaller than half the diameter of the illumination spot, read from the detector elements for each scan position intensity data and generating from the intensity data and the associated scan positions an image of the sample having a resolution which is increased above a resolution limit of the image of the point, taking into account for each detector element the spectral channels and local channels associated therewith and the image of the sample multispectral is produced.
  • the object is further achieved with a microscope for high-resolution scanning microscopy with a sample chamber for receiving a sample, which is used for dispensing
  • Fluorescence radiation is excitable, an optic having a focal plane lying in the sample chamber and a resolution limit, a lighting device having an input to the
  • Detection surface has local channels that define a spatial resolution of the detector device, which resolves a diffraction structure of the diffraction image, the detector device
  • Detector device comprises a separation and mixing device which spectrally separates the radiation guided there for the plurality of local channels in each case in multiple spectral channels and merges again to form mixed channels, wherein the separation and mixing device in each mixed channel radiation, which originates from different local channels, and in the plurality of mixed channels also combines radiation from different spectral channels, and directs each mixed channel to one of the detector elements, a scanning device for shifting the point to different scan positions with a step size smaller than half the diameter of the illumination spot, an evaluation device for reading of intensity data from the detector elements and the scan positions assigned to them, and to generate an image of the sample from the intensity data and theirs
  • a microscope for high-resolution scanning microscopy with a sample chamber for receiving a sample which can be excited to emit fluorescence radiation, an optic which has a focal plane lying in the sample space and a
  • Resolution limit has, a lighting device having an input for supplying illumination radiation and the optics with the sample space
  • Illuminated illumination radiation such that the optics bundles the illumination radiation at a point in the focal plane to a diffraction-limited illumination spot, an imaging device for diffraction-limited imaging of the point in the focal plane through the optics in a diffraction image, a spatially resolving detector device with a
  • Detection surface which lies in a detector plane conjugate to the focal plane, wherein the detection surface has local channels that define a spatial resolution of the detector device, which dissolves a diffractive structure of the diffraction image, the detector device has at least as many detector elements as local channels, wherein the radiation of the diffraction image on the Local channels falls, is directed to the detector elements, the detector device comprises a spectral separating and mixing device, which spectrally separates the radiation recorded in each local channel into a plurality of spectral channels, wherein the separating and mixing device for each of the spectral channels an individual assignment of local channels
  • Detector elements so that several of the detector elements receive radiation in different spectral channels and from different local channels, a scanning device for moving the point to different scan positions with a step size smaller than half the diameter of the illumination spot, an evaluation device for reading intensity data from the detector elements and their associated scan positions and to generate an image of the sample from the intensity data and theirs
  • Detector element considers its associated spectral channels and local channels and generates the image of the sample multispectral.
  • EP 2317362 A1 takes the radiation in the detection plane in one Variety of local channels, which are dimensioned so that the diffraction structure of
  • Diffraction image is resolved.
  • the radiation of each local channel is guided in its own beam path.
  • a separating element separates the radiation of the plurality of local channels into a plurality of spectral channels and then mixes the separate radiations from different preferably different local channels and different spectral channels into new independent optical paths, ie mixed channels.
  • the mixed channels simultaneously contain radiation in different spectral channels and from different local channels.
  • Each of the mixed channels then leads to a detector element that measures the sum intensity of the radiation in that mixed channel. For each detector element is known from which
  • the mixture is effected by spectrally separating the recorded radiation into a plurality of spectral channels for the majority of the local channels. In this state, there are several spectral channels for each local channel. These spectral channels are then merged back to the mixed channels, of course not the spectral channels of a
  • Spectral channels an individual assignment of local channels to detector elements. Several, in particular all detector elements then receive radiation in the various
  • This mixing or redistribution of the spectral information and the local channels can be physically interpreted as manipulation of the point spread image function (PSF).
  • PSF point spread image function
  • the point image ashes function is present as it is provided diffraction-limited by the image or the optics, for example in the form of the above-mentioned Airy disk.
  • This point spread image function is now manipulated by the redistribution of the local channels and the spectral information when forwarding to the radiation-sensitive detector elements, that the color information and the location information are mixed on the radiation-sensitive detector elements, so that they are distributed differently than in the detection surface / Pinholeebene.
  • the demixing and reconstruction is then still possible without problems, since due to the small increment, with the
  • the quality of the spectral separation is essentially dominated by the quality of the spectral splitting in the spectral separation and mixing element, but not by errors in the image information acquisition, ie the data-related segregation.
  • the mixing can be done for example by a fiber coupling in the detector plane, ie in the plane in which the detection surface is located, whereby the beam paths of the local channels can be parallelized crosstalk-free and freely resorted. Subsequently, the spectral separation, ie a chromatic splitting for the individual local channels.
  • the spectral channels of the local channels are then mixed back together in such a way that the effective point spread functions for the spectral channels converged in a mixed channel are as different as possible.
  • the equation system formed for the extraction of location and color information (demixing) has many linearly independent equations.
  • the procedure according to the invention makes it possible to use a detector device
  • the number of detector elements is equal to the product of the number of local channels and the number of spectral channels. In contrast, it is preferred for the invention that the number of detector elements used is smaller than this product. Particularly preferably, the number of detector elements is equal to the number of local channels.
  • each detector element receives radiation from at least two, preferably from all spectral channels.
  • Diffraction image is needed, it is a redistribution element in the form of a Provide optical fiber bundle, wherein the entrance facets lie in an entrance surface of the bundle, which forms the detection surface.
  • the entrance facets of the optical fibers thus define the local channels.
  • the spectral separating and mixing device is arranged downstream of the optical fibers and individual separating elements, each local channel is assigned a single separating element, so that each optical fiber directs the guided by her radiation of the respective local channel to one of the individual separating elements and the single separating element Radiation of this local channel is divided into the spectral channels.
  • the radiation can be directed as a free-space optic to a detector having the detector elements, wherein the geometry in which the detector elements are arranged and the geometry in which the individual separation elements are arranged, are coordinated. If, for example, a detector row is used as the detector, the individual separating elements are also lined up in cells. Alternatively, it is possible to couple the radiation back into the optical fibers after the individual separating elements, and each optical fiber then leads to one of the detector elements.
  • a diffraction disk is created by diffracting an optical beam at a circular aperture. A central maximum appears, the diffraction disk surrounded by rings of decreasing radiation intensity. Even a microscope that is perfect according to the laws of geometrical optics, that is also without aberrations, can not map a point exactly to one point, but only to a fuzzy spot by diffracting the light at the aperture. This is called diffraction-limited mapping. The same applies to diffraction-limited illumination of a point. Two points can be separated in classical ray optics according to the so-called Rayleigh criterion, if the maxima of their images in the diffraction image are at least about the radius r of the diffraction disk apart.
  • the shape of the spot depends reciprocally on the shape of the aperture, in particular its size is inversely proportional to the size of the aperture.
  • the diffraction disk (so the central diffraction spot) is also called Airy disk according to the English astronomer George Biddell Airy.
  • the aperture given by the round version of the optics, is circular in both illumination and imaging. Since the size of the diffraction disc also depends on the wavelength, it is smaller in the excitation-limited diffraction-limited illumination than in the Stokes-shifted, ie longer-wave fluorescence radiation.
  • diffraction-limited should not be limited to the diffraction limit according to Abbe's theory, but also include cases in which the theoretical maximum is missed by 20% due to real imperfections or limitations. This is called a diffraction structure.
  • a diffraction structure As in the reconstruction method according to EP 2317362 A1 due to the scanning
  • the inventive concept can also be carried out simultaneously in parallelized form for a plurality of spots, as is known for laser scanning microscopy. Several spots are then scanned on the sample by scanning, and the individual images of the plurality of spots lie dormant in the detection plane next to one another.
  • the following description focuses on the example of scanning with a single dot spot. However, this should not be construed as limiting, and the features and principles explained apply mutatis mutandis to the parallel scanning of multiple dot spots as well as the use of a line stain. The latter is, of course, only diffraction-limited transverse to the line extension, so that the relevant features of this
  • Lens pupil which can change with the choice of the objective to couple.
  • the resolution of the diffraction structure of the single image additionally allows one
  • Moving direction of the spot to move along this is moved during the scanning of the sample.
  • this direction of movement is basically known from the mechanics of the scanner (for example, a scanning mirror or a movable sample stage), this results in residual inaccuracies due to mechanical reasons.
  • These can be eliminated by evaluating signals of individual pixels of the detector array by means of cross-correlation. It makes use of the fact that, based on the diffraction-limited image of the illuminated point in a sample, adjacent image pixels in the sample overlap a certain degree, but their centers are adjacent. By subjecting the signals of such image pixels to cross-correlation, one can reduce or completely eliminate residual uncertainty, which remains due to unavoidable tolerances of the scan mechanics.
  • FIG. 1 a schematic representation of how radiation from different local channels and different spectral channels is mixed on detector elements of the microscope of FIG. 1,
  • Point spread image function is entered for two colors
  • FIG. 4 is a schematic representation of the dot image spreading function resulting from the action of a separating and mixing device of the microscope of FIG. 1, FIG.
  • LSM 1 schematically shows a laser scanning microscope 1, which is designed for microscopy of a sample 2.
  • the laser scanning microscope (hereinafter abbreviated as LSM) 1 is controlled by a control unit C and comprises an illumination beam path 3 and an imaging beam path 4.
  • the illumination beam path illuminates a spot in the sample 2, and the imaging beam 4 forms this spot diffraction-limited for detection.
  • Illumination beam path 3 and imaging beam path 4 share an optic.
  • the illumination of the sample 2 takes place in the LSM 1 by means of a provided laser beam 5 which is coupled to a mirror 8 via a deflection mirror 6 which is not required to be functionally necessary and a lens 7.
  • the mirror 8 ensures that the laser beam 5 at a reflection angle to a coupling element, for. B. an emission filter 9 falls. to
  • the laser beam 5 is biaxially deflected by a scanner 10 and focused by means of lenses 1 1 and 12 through a lens 13 as a diffraction-limited illumination spot 14 in a focal plane 29 in the sample 2.
  • the illumination spot 14 is punctiform in the illustration of Fig. 1, but it is also a line-shaped illumination spot possible. Fluorescence radiation at the location (eg point) of the
  • Illuminating spot 14 was excited, is guided from the focal plane 29 via the lens 13, the lenses 1 1 and 12 again to the scanner 10, after again in the imaging direction is a stationary light beam. This falls through the emission filter 9, which additionally has the function here, the fluorescence radiation in the illumination spot 14 with respect to their
  • a lens 16 ensures that the total of the location of the illumination spot 14 in a diffraction-limited
  • Diffraction image 17 is displayed, which lies in a detection plane 18.
  • Detection plane 18 is a conjugate plane to the focal plane 29, in which the
  • Illumination spot 14 is located in the sample 2.
  • the diffraction pattern 17 of the illumination spot 14 is recorded in the detection plane 18 by a detector device 19. It spatially resolves the diffraction-limited image 17 of the spot 14 in the detection plane 18, thus causing oversampling in the pinhole plane.
  • a control unit C controls all components of the LSM 1, in particular scanner 10 and detector device 19.
  • the control unit records the data of each individual image 17 for various scan positions, analyzes its diffraction structure and generates a high-resolution overall image of the sample 2, as will be explained below ,
  • the LSM 1 of FIG. 1 is exemplified for a single illumination spot 14 scanned on the sample. However, it can also be used at the same time for scanning according to a line illumination spot, for example, perpendicular to the
  • Drawing plane of FIG. 1 extends. It is also possible to design the LSM 1 of FIG. 1 such that a plurality of adjacent spot illumination spots in the sample are scanned. Your corresponding diffraction patterns 17 are then in the
  • Detection level 18 also next to each other.
  • the detector device 19 is then designed accordingly to detect the adjacent diffraction patterns 17 in the detection plane 18.
  • the detector device 19 has an optical fiber bundle 20, which under
  • the optical fiber bundle 20 is composed of individual light fibers 21. Entrance facets 26 of the
  • Optical fibers 21 form the optical fiber bundle entrance, which lies in the detection plane 18.
  • the entrance facets 26 of the optical fibers 21 thus represent the input of local channels or pixels, with which the diffraction pattern 17 of the illumination spot 14 is recorded.
  • the illumination spot 14 in the embodiment of FIG. 1 is by way of example a spot spot
  • the diffraction pattern 17 is an Airy slice, the extent of which lies within the circle which illustrates the detection plane 18 in FIG. It should be noted that Fig. 1 contains a simplification in this respect. The extent of the
  • Separating and mixing device 30 is connected, for which an embodiment in Fig. 5 is shown. From there runs another optical fiber bundle 27 with optical fibers 28 to a z. B. elongated connector 23, in which the output-side ends of the optical fibers 28 are adjacent. The plug 23 is designed to match the geometric arrangement of the detector row 24, d. H. Each output end of an optical fiber 28 is located in front of a detector element 25 of the detector line 24th
  • the embodiment of the detector device 19 with respect to the coupling and integration of the separating and mixing device 30 is exemplary.
  • Detection level 18 performs an oversampling of the diffraction pattern 17 and the thus created local channels on the separation and mixing device 30 to detector elements 25th passes.
  • these can also be a rectangular detector surface with the detector elements realizing pixels.
  • Illuminating spot 14 due to its diffraction-limited properties, has an intensity that increases toward the center.
  • the intensity of the radiation in the diffraction image 14 increases as the first location considered moves more and more into the center of the illumination spot 14. If the center of the illumination spot 14 over the considered place
  • Illumination intensity of the illumination spot 14 (taking into account the step size and fluorescence sensitivity of the first site). Since, however, a second location is present in close proximity, this second location also begins to contribute fluorescence radiation to the diffraction pattern 1 7, more so the closer it moves to the center of the illumination spot 14. Otherwise, of course, the same applies for the second position as for the first position. The result is obtained for the step positions
  • Illuminance intensities in the diffraction pattern 17 that are different than if only a single fluorescent spot were present.
  • the current scan position can thus be determined mathematically, that and also at what distance two locations in the focal plane 29 fluoresced, although these two locations would not be identifiable by itself with a diffraction-limited resolution.
  • an equation is set up for each scan position for evaluating the data of the area detector 19, which contains a plurality of unknowns, in particular intensity and distance of the locations in the focal plane 29.
  • the multiplicity of scan positions results in an equation system which overdetermines is and allows, radiation intensity and distance, ie also the location, the
  • the separating and mixing device 30 causes a manipulation of
  • the beam profile is local channelwise, d. H. pixel by pixel, resorted.
  • a two-color spectral information i. H. considered the use of two spectral channels in a case with ten local channels.
  • the local channels are designated by the Arabic numbers 1 to 10.
  • the ten local channels correspond to ten detector elements 25, numbered 1 to X for explanation.
  • the optical fiber bundle 20 then has a number of ten input facets 26, ie ten local channels lead to the separating and mixing device 30.
  • the separating and mixing device 30 separates each of these local channels into two spectral channels, e.g. B. a red spectral channel R and a green spectral channel G.
  • the separating and mixing device 30 then mixes two different spectral channels from two different local channels always in pairs and thus forms ten mixed channels. These are then passed to the detector elements 25.
  • Fig. 2 shows schematically the condition then obtained. Here are the ten
  • Figures 3 and 4 show the effect of this local channel resorting.
  • Fig. 3 shows the point spread image function in the detector plane 18, simplified as a linear
  • the point spread image function 32a applies to the red spectral channel R, the point spread image function 32b for the green spectral channel G.
  • the effect of the separating and mixing device on this Point spread image function can be seen in FIG.
  • the dot image spreading function for the red spectral channel R now basically differs from that of the green one
  • Spectral Channels G For example, wander over the illumination spot during the scan process
  • Detection surface 18 the order differs, in which the intensity of the individual detector elements 25 with the number I to X increases or decreases, clearly for a
  • Object point which fluoresces in the red color channel R from an object point, which fluoresces in the green color channel G.
  • the detector elements 25 with the numbers I to III would first indicate a high radiation intensity and then the other detector elements 25, whereas at an object point which fluoresces in the green color channel G, first the detector elements Nos. IV to VI first would indicate a high intensity.
  • the controller C which acts as an evaluation, the assignment, which performs the separation and mixing device 30 during separation and mixing, known, so that the controller C in the image generation not only an image with a spatial resolution generated by the optical resolution of the microscope 1, but at the same time provides information about the spectral channels.
  • Color channels and a different number of local channels and detector elements can be used.
  • FIG. 5 shows a possible realization for the separating and mixing device 30. It has an input coupler 31, on which the optical fibers 21 of the optical fiber 21 of FIG. 5
  • the optical fibers 21 can already carry out a resorting so that desired local channels are juxtaposed at the input coupler 31.
  • the optical fiber bundle 20 is in this respect a functional part of the separating and mixing device 30.
  • the radiation 32 in each local channel is directed to a line 33 of discrete elements, for example, different prisms 34 and 35.
  • These Prisms guide the radiation, which is shown here again by way of example for two color channels R and G, onto an output coupler 34, to which the optical fibers 28 are connected.
  • the line 33 to individual separating elements 34, 35 is then optionally to supplement a downstream optics, such as a mini-lens optics, etc., which directs the radiation to the detector line.
  • the separating and mixing device 30 separates the radiation from the local channels into different spectral channels, here R and G, and mixes them together again, so that mixed channels are created.
  • the lowermost channel in the illustration of FIG. 5 contains, for example, the red spectral channel R from the radiation 32, which originates from the local channel which is connected to the lowermost connection of the input coupler 31.
  • this mixed channel contains the green spectral component G, which originates from the radiation 32 of that local channel which was fed in at the directly overlying connection of the input coupler 31.
  • Equation system is first considered the case that the separation and
  • the offset can be considered as an additional color, its weight
  • equation (5) is.
  • the colors can be determined using a linear regression
  • Equation (9) is written in matrix form as follows:
  • ⁇ ( ⁇ ) is an apodization filter, for example
  • the color resolving power is defined by the matrix.
  • the number of resolvable colors is one less than the number of step increments r.
  • condition number of a matrix S is generally defined as
  • condition number ' the less the solution with regard to errors in the input data, ie with regard to noise, resilient.
  • a finite condition number ie a value of any size small infinity, would be sufficient for color resolution. In reality, however, there are noisy readings, which is why the matrix is designed to be one
  • an assignment function is specified for each color, which specifies the location of the detection within the point spread function, r, with the number of the
  • the geometry of the detector elements is not important, in particular those described
  • condition number 6ex matrix [x (a>)] aa is as small as possible. This is achieved when the difference of the contributions of the different colors over all detector elements n, and over all frequencies co in terms of the assignment function
  • FIG. 6 shows by way of example a flow chart for the microscopy method which can be carried out, for example, with the microscope of FIG. 1.
  • a step S1 the
  • EP 2317362 A1 is known to the person skilled in the art. That is, a point on the sample becomes
  • a step S2 the diffraction image is resolved in different location channels.
  • This step S2 can also be understood as pixelation.
  • For each local channel thus creates a separate beam path.
  • these individual beam paths of the local channels are divided chromatically, wherein the number of divisions determines the desired number of spectral channels.
  • a step S4 the spectral channels are merged in a predetermined manner again to mixed channels.
  • the criteria for selecting this mixing operation have been explained above with reference to the derivation of equation (16).
  • a step S5 the detection of the radiation from the mixed channels and the signal evaluation for generating the high-resolution multispectral image.
  • the division into local channels in step S2, the chromatic division in step S3, and the defined mixing in step S4 can also be combined in combinations or executed in partly different order. It has been explained with reference to FIG. 5 that the resorting of the local channels by appropriate configurations of the optical fiber bundle 20 and its assignment to the separating and mixing device 30 can already be part of the defined mixing of the step S 4. It is essential that locus-independent beam paths are formed, chromatically divided and mixed again differently. This mixing process is already prepared in the embodiment of FIG. 5 by the cooperation of the optical fiber bundle 20. However, this is optional. For example, it is also possible after the spectral
  • each mixed channel receives radiation of different spectral channels. This is advantageous in terms of demixing, and it is particularly advantageous if each mixed channel only receives radiation from different spectral channels. However, it may also be advantageous here for a referencing or signal normalization if in individual mixed channels several identical spectral channels are combined with radiation originating from different local channels.
  • the microscope 1 can also be operated in a manner that does not generate a high-resolution image but only a spectrum.
  • intensity data of the detector elements 25 are read out for a scan position and, taking into account the spectral channels assigned to each detector element 25, a spectrum of the sample is obtained.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Zur hochauflösenden Scanning-Mikroskopie wird eine Probe (2) mit Beleuchtungsstrahlung (5) derart zur Abgabe von Fluoreszenzstrahlung angeregt, dass die Beleuchtungsstrahlung (5) an einen Punkt in oder auf der Probe (2) zu einem beugungsbegrenzten Beleuchtungsfleck (14) gebündelt wird. Der Punkt wird beugungsbegrenzt in ein Beugungsbild (17) auf einen Detektor (19) abgebildet, wobei der Detektor (19) Detektorelemente (25) mehrere Ortskanäle (21) hat, die eine Beugungsstruktur des Beugungsbildes (17) auflösen. Die Probe (2) wird mittels verschiedener Scanpositionen mit einer Schrittweite abgetastet, die kleiner sind als der halbe Durchmesser des Beleuchtungsflecks (14). Aus den Daten des Detektors (19) und aus den diesen Daten zugeordneten Scanpositionen wird ein Bild der Probe (2) erzeugt, das eine Auflösung aufweist, die über eine Auflösungsgrenze der Abbildung gesteigert ist. Zum Unterscheiden von mindestens zwei vorbestimmten Spektralkanälen (R, G) in der Fluoreszenzstrahlung von der Probe (2) besteht für jeden Ortskanal (21) ein unabhängiger Strahlengang bis zu einem Trennelement (30), das diese Strahlengänge in die Spektralkanäle (R, G) spektral aufteilt, die Spektralkanäle (R, G) der verschiedenen Ortskanäle wieder zu einer gleichen Anzahl an weiteren unabhängigen Strahlengängen (28) so mischt, dass mehrere der weiteren unabhängigen Strahlengänge (28) die Strahlung in verschiedenen Spektralkanälen (R, G) und von verschiedenen Ortskanälen (21) erhält, und jeden dieser weiteren unabhängigen Strahlengänge (28) zu einem der Detektorelemente (25) leitet.

Description

Hochauflösende Scanning-Mikroskopie mit der Unterscheidung mindestens zweier
Spektralbereiche
Die Erfindung bezieht sich auf ein Verfahren zur hochauflösenden Scanning-Mikroskopie einer Probe, wobei die Probe mit Beleuchtungsstrahlung derart zur Abgabe von Fluoreszenzstrahlung angeregt wird, dass die Beleuchtungsstrahlung an einen Punkt in oder auf der Probe zu einem beugungsbegrenzten Beleuchtungsfleck gebündelt wird, der Punkt beugungsbegrenzt in ein Beugungsbild auf eine ortsauflösende Detektoreinrichtung abgebildet wird, die eine
Ortsauflösung aufweist, welche eine Beugungsstruktur des Beugungsbildes auflöst, der Punkt relativ zur Probe in verschiedene Scanpositionen mit einer Schrittweite verschoben wird, die kleiner ist als der halbe Durchmesser des Beleuchtungsflecks, von der Detektoreinrichtung für jede Scanposition Intensitätsdaten ausgelesen und aus den Intensitätsdaten und den ihnen zugeordneten Scanpositionen ein Bild der Probe erzeugt wird, das eine Auflösung aufweist, die über eine Auflösungsgrenze der Abbildung des Punktes gesteigert ist.
Die Erfindung bezieht sich weiter auf ein Mikroskop zur hochauflösenden Scanning-Mikroskopie mit einem Probenraum zur Aufnahme einer Probe, die zur Abgabe von Fluoreszenzstrahlung anregbar ist, einer Optik, die ein im Probenraum liegende Fokalebene und eine
Auflösungsgrenze hat, einer Beleuchtungseinrichtung, die einen Eingang zum Zuführen von Beleuchtungsstrahlung aufweist und die über die Optik den Probenraum mit der
Beleuchtungsstrahlung derart beleuchtet, dass die Optik die Beleuchtungsstrahlung an einem Punkt in der Fokalebene zu einem beugungsbegrenzten Beleuchtungsfleck bündelt, einer Abbildungseinrichtung zum beugungsbegrenzten Abbilden des Punktes in der Fokalebene durch die Optik in ein Beugungsbild auf eine Detektoreinrichtung, deren Detektionsfläche in einer zur Fokalebene konjugierten Detektorebene liegt, wobei die Detektoreinrichtung eine Ortsauflösung aufweist, die eine Beugungsstruktur des Beugungsbildes auflöst, einer
Scaneinrichtung zur Verschiebung des Punktes in verschiedene Scanpositionen mit einer Schrittweite, die kleiner ist als ein halber Durchmesser des Beleuchtungsflecks, einer
Auswerteeinrichtung zum Auslesen von Intensitätsdaten der Detektoreinrichtung und zum Erzeugen eines Bildes der Probe, das eine Auflösung aufweist, die über die Auflösungsgrenze gesteigert ist, aus den Intensitätsdaten und den ihnen zugeordneten Scanpositionen.
Ein klassisches Anwendungsgebiet der Lichtmikroskopie zur Untersuchung von biologischen Präparaten ist die Lumineszenzmikroskopie. Hierbei werden bestimmte Farbstoffe (sogenannte Phosphore oder Fluorophore) zur spezifischen Markierung von Proben, z. B. von Zellteilen, verwendet. Die Probe wird mit Anregungsstrahlung darstellender Beleuchtungsstrahlung beleuchtet und die dadurch angeregte Lumineszenzstrahlung mit geeigneten Detektoren erfasst. Durch dieses Vorgehen ist die Darstellung einzelner, verschieden gefärbter Zellteile im Mikroskop möglich. Natürlich können auch mehrere Teile eines Präparates gleichzeitig mit verschiedenen, sich spezifisch an unterschiedliche Strukturen des Präparates anlagernden Farbstoffen eingefärbt werden. Dieses Verfahren bezeichnet man als Mehrfachlumineszenz. Auch kann man Proben vermessen, die per se, also ohne Farbstoffzugabe lumineszieren. Lumineszenz wird hier, wie allgemein üblich, als Oberbegriff für Phosphoreszenz und
Fluoreszenz verstanden, erfasst also beide Prozesse. Soweit hier von Fluoreszenz gesprochen wird, ist das pars pro toto und nicht einschränken zu verstehen.
Zur Probenuntersuchung ist es auch bekannt, Laser-Scanning-Mikroskope (auch LSM abgekürzt) zu verwenden, die mittels einer konfokalen Detektionsanordnung (dann spricht man von einem konfokalen LSM) oder einer nichtlinearen Probenwechselwirkung (sogenannte Multiphotonenmikroskopie) nur diejenige Ebene abbilden, die sich in der Fokusebene des Objektives befindet. Es wird ein optischer Schnitt gewonnen, und die Aufzeichnung mehrerer optischer Schnitte in verschiedenen Tiefen der Probe erlaubt es, ein dreidimensionales Bild der Probe zu generieren, das aus den verschiedenen optischen Schnitten zusammengesetzt ist. Die Laser-Scanning-Mikroskopie ist somit zur Untersuchung von dicken Präparaten geeignet. Natürlich wird auch eine Kombination von Lumineszenzmikroskopie und Laser-Scanning- Mikroskopie verwendet, bei der eine lumineszierende Probe in verschiedenen Tiefenebenen mit Hilfe eines LSM abgebildet wird.
Prinzipiell ist die optische Auflösung eines Lichtmikroskops, auch die eines LSM, durch die physikalischen Gesetze beugungsbegrenzt. Der Begriff„hochauflösend" wird hier für
Auflösungen jenseits der Beugungsgrenze verwendet. Die US 5043570 beschreibt einen Versuch, die Auflösung durch "oversampling" zu erhöhen. Dies führt nicht zu einer deutlich verbesserten Auflösung unterhalb der Beugungsgrenze des Mikroskops.
Mit Hilfe nicht-linearer Entvölkerungsprozesse kann die Auflösung auf einen Faktor von bis zu 10 gegenüber einem beugungsbegrenzten konfokalen LSM angehoben werden. Ein solches Verfahren ist beispielsweise in der US 586691 1 beschrieben. Für die Entvölkerungsprozesse sind verschiedene Ansätze bekannt, beispielsweise wie in der DE 4416558 C2 , US 6633432 oder DE 10325460 A1 beschrieben.
Ein weiteres hochauflösendes Mikroskopieverfahren wird in US 5867604 angesprochen, in der ein Objekt mit einer periodischen Struktur abgetastet wird. Ein ähnliches Verfahren zur
Auflösungssteigerung wird in der EP 1 157297 B1 angesprochen. Strukturierte Beleuchtung nutz nichtlineare Prozesse, z. B. eine Sättigung der Fluoreszenz. Der Ansatz erfordert einen Rekonstruktionsalgorithmus zur Bilderzeugung und die Verwertung mehrerer Aufnahmen für ein Bild.
Ein Verfahren, das im Weitfeld eine Hochauflösung erreicht, ist aus der WO 2006127692 und der DE 102006021317 bekannt. Dieses mit PALM abgekürzte Verfahren (Photo Activated Light Microscopy) verwendet eine Markierungssubstanz, welche mittels eines optischen
Aktivierungssignals aktiviert werden kann. Nur im aktivierten Zustand kann die
Markierungssubstanz mit Anregungsstrahlung zur Abgabe von bestimmter
Fluoreszenzstrahlung angeregt werden. Die Aktivierung wird so vorgenommen, dass zumindest ein gewisser Anteil der aktivierten Markierungsmoleküle von benachbarten aktivierten
Molekülen so beabstandet sind, dass sie gemessen an der optischen Auflösung der
Mikroskopie getrennt oder nachträglich trennbar sind. Nach Aufnahme der
Lumineszenzstrahlung wird für diese isolierten Moleküle dann das Zentrum deren
auflösungsbegrenzt bedingter Strahlungsverteilung ermittelt und daraus rechnerisch die Lage der Moleküle mit höherer Genauigkeit bestimmt, als es die optische Abbildung eigentlich zulässt. Zur Abbildung der gesamten Probe wird die Isolierung der Markierungsmoleküle der Teilmenge durch Einbringen der Aktivierungsstrahlung, nachfolgende Anregung und
Fluoreszenzstrahlungsabbildung so lange wiederholt, bis möglichst alle Markierungsmoleküle einmal in einer Teilmenge enthalten und isoliert waren.
Weitere hochauflösende Verfahren sind in Hell, "Far-Field Optical Nanoscopy", Science 316, 1153 - 1 158, 2007 und DE 102013017468 A1 beschrieben. Die EP 2037255 A1 betrifft eine multispektrale Erfassung von Probenlicht.
Ein gattungsgemäßes Verfahren und Mikroskop ist aus der EP 2317362 A1 bekannt; es ist als Airy-Scan-Mikroskopie bekannt. Diese gattungsbildende Druckschrift kombiniert in der dort in Fig. 5 dargestellten und beschriebenen Ausführungsform eine beugungsbegrenzte Beleuchtung der Probe mit einem Flächendetektor, der das Beugungsbild des beleuchteten Punktes auflöst. Der Detektor liegt damit in einer Ebene, in der bei einem herkömmlichen LSM das Pinhole wäre. Eine Scaneinrichtung verschiebt Beleuchtungsspots über die Probe und ist so ausgebildet, dass das Beugungsbild des mit dem Beleuchtungsfleck beleuchteten Punktes auf dem Flächendetektor ruht. Im Konzept der EP 2317362 A1 ist der Flächendetektor in der Pinhole-Ebene mit einer Ortsauflösung versehen, die bezogen auf den Abbildungsmaßstab eine Überabtastung des Beugungsbildes bewirkt und es somit zusammen mit einer besonderen Signalverarbeitung erlaubt, die Beugungsstruktur des Beugungsbildes abzutasten.
Die EP 2317362 A1 sieht eine Ausführungsform vor, bei der eine Farbanalyse möglich ist. Dazu werden mehrere Detektoren vorgesehen, die in entsprechenden Spektralkanälen liegen, welche durch einen dichroitischen Farbteiler gebildet werden. Dieser Ansatz ist für die Laser-Scanning- Mikroskopie schon seit langem bekannt. Er hat jedoch den Nachteil, dass für jeden Farbkanal ein entsprechender Farbteiler mit entsprechendem Detektor nötig ist. Bei der herkömmlichen Laser-Scanning-Mikroskopie, die einen nicht ortsauflösenden Detektor hinter einer konfokalen Lochblende (Pinhole) verwendet, ist diese Anforderung weitgehend unproblematisch; bei der Verwendung eines überabtastenden Flächendetektors gemäß EP 2317362 A1 entsteht jedoch ein erheblicher Aufwand, zumal solche Flächendetektoren teuer sind. Zudem müssten im Überabtastungsprinzip gemäß EP 2317362 A1 diese mehreren Flächendetektoren sub- pixelgenau zueinander justiert werden, da ansonsten ein Farbfehler zwischen den erzeugten Bildern der einzelnen Farbkanäle entstünde, der dadurch herrührt, dass für die
hochauflösenden Bilder die Daten der Flächendetektoren auf die Scanposition, welche in Schritten verschoben wird, die klein gegen den Durchmesser des Beleuchtungsflecks sind, verschoben wird. Nur wenn die Flächendetektoren in allen Farbkanälen zur optischen Achse sub-pixelgenau justiert sind, passen die Bilder der einzelnen Farbkanäle übereinander.
Die DE 102013019378 A1 schlägt für das aus der EP 2317362 A1 bekannte Mikroskop eine Weiterbildung zur Farbanalyse vor, bei der die zwei ortsauflösenden Flächendetektoren durch zwei Lichtleitfaserbündel gebildet werden, die die Strahlung zu einem Detektor führen, der mehrere Detektorelemente hat. Eine Hälfte der Detektorelemente sind mit einer Lichtleitfaser verbunden, die andere Hälfte mit der anderen Lichtleitfaser. Ein spektral aufgliederndes Element sorgt dafür, dass die beiden Lichtleitfasern Strahlungen unterschiedlicher
Spektralkanäle erhalten. Die Farbinformation wird somit auf Kosten einer stark verringerten Ortsauflösung erreicht. Dies Problematik verschärft sich mit der Zahl der Farben.
Die DE 102012204128 A1 , DE 102013015931 A1 , DE 102013015932 A1 , DE 102013019347 A1 , DE 102013019348 A1 , WO 2013/135487 A1 und DE 102013015933 A1 bilden das Konzept der EP 2317362 A1 weiter. Eine Weiterbildung der Airy-Scan-Mikroskopie zur Erzeugung mind. zweifarbiger Bilder ist in der nachveröffentlichten deutschen Anmeldung DE 1 020141 1 1 167 A1 beschrieben.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren bzw. ein Mikroskop der eingangs genannten Art so weiterzubilden, dass eine Farbinformation gewonnen werden kann, wobei der Justieraufwand für mehrere Farbkanäle gemindert ist oder sogar entfällt und zugleich die erzielbare Ortsauflösung möglichst nicht reduziert ist, so dass auch eine Vielzahl von
Farbkanälen möglich ist. Diese Aufgabe wird erfindungsgemäß gelöst mit einem Verfahren zur hochauflösenden Scanning-Mikroskopie einer Probe, wobei die Probe mit Beleuchtungsstrahlung derart zur Abgabe von Fluoreszenzstrahlung angeregt wird, dass die Beleuchtungsstrahlung an einen Punkt in oder auf der Probe zu einem beugungsbegrenzten Beleuchtungsfleck gebündelt wird, der Punkt beugungsbegrenzt in ein Beugungsbild auf eine Detektionsfläche einer
ortsauflösenden Detektoreinrichtung abgebildet wird, wobei die Detektionsfläche Ortskanäle aufweist, die eine Ortsauflösung der Detektoreinrichtung festlegen, welche eine
Beugungsstruktur des Beugungsbildes auflöst, die Detektoreinrichtung Detektorelemente zur Detektion der Strahlung des Beugungsbildes aufweist, für die Mehrzahl der Ortskanäle die dort geführte Strahlung jeweils in mehrere Spektralkanäle spektral aufgetrennt und zu gemischten Kanälen wieder zusammengeführt wird, wobei in jedem gemischten Kanal Strahlung, die aus verschiedenen Ortskanälen stammt, und in die Mehrzahl der gemischten Kanäle auch
Strahlung aus verschiedenen Spektralkanälen zusammengeführt werden, und jeder gemischte Kanal auf eines der Detektorelemente geleitet wird, der Punkt relativ zur Probe in verschiedene Scanpositionen mit einer Schrittweite verschoben wird, die kleiner ist als der halbe
Durchmesser des Beleuchtungsflecks, von den Detektorelementen für jede Scanposition Intensitätsdaten ausgelesen und aus den Intensitätsdaten und den ihnen zugeordneten Scanpositionen ein Bild der Probe erzeugt wird, das eine Auflösung aufweist, die über eine Auflösungsgrenze der Abbildung des Punktes gesteigert ist, wobei für jedes Detektorelement die Spektralkanäle und Ortskanäle der Strahlung berücksichtigt werden und das Bild der Probe multispektral erzeugt wird.
Insbesondere ist vorgesehen ein Verfahren zur hochauflösenden Scanning-Mikroskopie einer Probe, wobei die Probe mit Beleuchtungsstrahlung derart zur Abgabe von Fluoreszenzstrahlung angeregt wird, dass die Beleuchtungsstrahlung an einen Punkt in oder auf der Probe zu einem beugungsbegrenzten Beleuchtungsfleck gebündelt wird, der Punkt beugungsbegrenzt in ein Beugungsbild auf eine Detektionsfläche einer ortsauflösenden Detektoreinrichtung abgebildet wird, wobei die Detektionsfläche Ortskanäle aufweist, die eine Ortsauflösung der Detektoreinrichtung festlegen, welche eine Beugungsstruktur des Beugungsbildes auflöst, die Detektoreinrichtung mindestens so viele Detektorelemente wie Ortskanäle aufweist, wobei die Strahlung des Beugungsbildes, die auf die Ortskanäle fällt, auf die Detektorelemente geleitet wird, die Detektoreinrichtung eine spektrale Trenn- und Mischeinrichtung aufweist, welche die in jedem Ortskanal aufgenommene Strahlung in mehrere Spektralkanäle spektral auftrennt, wobei für jeden der Spektralkanäle eine individuelle Zuordnung von Ortskanälen zu
Detektorelementen so erfolgt, dass mehrere der Detektorelemente Strahlung in verschiedenen Spektralkanälen und von verschiedenen Ortskanälen empfangen, der Punkt relativ zur Probe in verschiedene Scanpositionen mit einer Schrittweite verschoben wird, die kleiner ist als der halbe Durchmesser des Beleuchtungsflecks, von den Detektorelementen für jede Scanposition Intensitätsdaten ausgelesen und aus den Intensitätsdaten und den ihnen zugeordneten Scanpositionen ein Bild der Probe erzeugt wird, das eine Auflösung aufweist, die über eine Auflösungsgrenze der Abbildung des Punktes gesteigert ist, wobei für jedes Detektorelement die ihm zugeordneten Spektralkanäle und Ortskanäle berücksichtigt werden und das Bild der Probe multispektral erzeugt wird.
Die Aufgabe wird weiter gelöst mit einem Mikroskop zur hochauflösenden Scanning- Mikroskopie mit einem Probenraum zur Aufnahme einer Probe, die zur Abgabe von
Fluoreszenzstrahlung anregbar ist, einer Optik, die ein im Probenraum liegende Fokalebene und eine Auflösungsgrenze hat, einer Beleuchtungseinrichtung, die einen Eingang zum
Zuführen von Beleuchtungsstrahlung aufweist und die über die Optik den Probenraum mit der Beleuchtungsstrahlung derart beleuchtet, dass die Optik die Beleuchtungsstrahlung an einem Punkt in der Fokalebene zu einem beugungsbegrenzten Beleuchtungsfleck bündelt, einer Abbildungseinrichtung zum beugungsbegrenzten Abbilden des Punktes in der Fokalebene durch die Optik in ein Beugungsbild, eine ortsauflösende Detektoreinrichtung mit einer
Detektionsfläche, die in einer zur Fokalebene konjugierten Ebene liegt, wobei die
Detektionsfläche Ortskanäle aufweist, die eine Ortsauflösung der Detektoreinrichtung festlegen, welche eine Beugungsstruktur des Beugungsbildes auflöst, die Detektoreinrichtung
Detektorelemente zur Detektion der Strahlung des Beugungsbildes aufweist, die
Detektoreinrichtung eine Trenn- und Mischeinrichtung aufweist, welche für die Mehrzahl der Ortskanäle die dort geführte Strahlung jeweils in mehrere Spektralkanäle spektral auftrennt und zu gemischten Kanälen wieder zusammenführt, wobei die Trenn- und Mischeinrichtung in jeden gemischten Kanal Strahlung, die aus verschiedenen Ortskanälen stammt, und in der Mehrzahl der gemischten Kanäle auch Strahlung aus verschiedenen Spektralkanälen zusammenführt, und jeden gemischten Kanal auf eines der Detektorelemente leitet, einer Scaneinrichtung zur Verschiebung des Punktes in verschiedene Scanpositionen mit einer Schrittweite, die kleiner ist als der halbe Durchmesser des Beleuchtungsflecks, einer Auswerteeinrichtung zum Auslesen von Intensitätsdaten von den Detektorelementen und den ihnen zugeordneten Scanpositionen und zum Erzeugen eines Bildes der Probe aus den Intensitätsdaten und den ihnen
zugeordneten Scanpositionen erzeugt wird, das eine Auflösung aufweist, die über die
Auflösungsgrenze der Optik gesteigert ist, wobei die Auswerteeinrichtung für jedes
Detektorelement die Spektralkanäle und Ortskanäle der ihm zugeführten Strahlung
berücksichtigt und das Bild der Probe multispektral erzeugt.
Insbesondere ist vorgesehen ein Mikroskop zur hochauflösenden Scanning-Mikroskopie mit einem Probenraum zur Aufnahme einer Probe, die zur Abgabe von Fluoreszenzstrahlung anregbar ist, einer Optik, die ein im Probenraum liegende Fokalebene und eine
Auflösungsgrenze hat, einer Beleuchtungseinrichtung, die einen Eingang zum Zuführen von Beleuchtungsstrahlung aufweist und die über die Optik den Probenraum mit der
Beleuchtungsstrahlung derart beleuchtet, dass die Optik die Beleuchtungsstrahlung an einem Punkt in der Fokalebene zu einem beugungsbegrenzten Beleuchtungsfleck bündelt, einer Abbildungseinrichtung zum beugungsbegrenzten Abbilden des Punktes in der Fokalebene durch die Optik in ein Beugungsbild, eine ortsauflösende Detektoreinrichtung mit einer
Detektionsfläche, die in einer zur Fokalebene konjugierten Detektorebene liegt, wobei die Detektionsfläche Ortskanäle aufweist, die eine Ortsauflösung der Detektoreinrichtung festlegen, welche eine Beugungsstruktur des Beugungsbildes auflöst, die Detektoreinrichtung mindestens so viele Detektorelemente wie Ortskanäle aufweist, wobei die Strahlung des Beugungsbildes, die auf die Ortskanäle fällt, auf die Detektorelemente geleitet ist, die Detektoreinrichtung eine spektrale Trenn- und Mischeinrichtung aufweist, welche die in jedem Ortskanal aufgenommene Strahlung in mehrere Spektralkanäle spektral auftrennt, wobei die Trenn- und Mischeinrichtung für jeden der Spektralkanäle eine individuelle Zuordnung von Ortskanälen zu
Detektorelementen so bewirkt, dass mehrere der Detektorelemente Strahlung in verschiedenen Spektralkanälen und von verschiedenen Ortskanälen empfangen, einer Scaneinrichtung zur Verschiebung des Punktes in verschiedene Scanpositionen mit einer Schrittweite, die kleiner ist als der halbe Durchmesser des Beleuchtungsflecks, einer Auswerteeinrichtung zum Auslesen von Intensitätsdaten von den Detektorelementen und den ihnen zugeordneten Scanpositionen und zum Erzeugen eines Bildes der Probe aus den Intensitätsdaten und den ihnen
zugeordneten Scanpositionen erzeugt wird, das eine Auflösung aufweist, die über die
Auflösungsgrenze der Optik gesteigert ist, wobei die Auswerteeinrichtung für jedes
Detektorelement die ihm zugeordneten Spektralkanäle und Ortskanäle berücksichtigt und das Bild der Probe multispektral erzeugt.
Das aus der EP 2317362 A1 bekannte und auch dem hier beschriebenen Mikroskop bzw. Verfahren zugrundeliegende Prinzip nimmt in der Detektionsebene die Strahlung in einer Vielzahl an Ortskanälen auf, die so bemessen sind, dass die Beugungsstruktur des
Beugungsbildes aufgelöst wird. Zum Erreichen einer spektralen Auflösung wird die Strahlung eines jeden Ortskanals in einem eigenen Strahlengang geführt. Ein Trennelement trennt die Strahlung der Mehrzahl der Ortskanäle in mehrere Spektralkanäle und mischt dann die getrennten Strahlungen aus verschiedenen bevorzugt verschiedenen Ortskanälen und verschiedenen Spektralkanälen zu neuen unabhängigen Strahlengängen, also gemischten Kanälen, zusammen. Damit enthalten die gemischten Kanäle gleichzeitig Strahlungen in verschiedenen Spektralkanälen und aus verschiedenen Ortskanälen. Jeder der gemischten Kanäle führt dann zu einem Detektorelement, das die Summenintensität der Strahlung in diesem gemischten Kanal misst. Für jedes Detektorelement ist bekannt, aus welchen
Ortskanälen und Spektralkanälen die Strahlung kombiniert ist, die das Detektorelement empfängt. Mit dieser bekannten Information kann dann in der Auswertung sowohl eine
Ortsinformation, die über die Beugungsgrenze der Abbildung hinausgeht, als auch eine Farbinformation gewonnen werden.
Die Mischung wird dadurch bewirkt, dass für die Mehrzahl der Ortskanäle die aufgenommene Strahlung in mehrere Spektralkanäle spektral aufgetrennt wird. In diesem Zustand liegen für jeden Ortskanal mehrere Spektralkanäle vor. Diese Spektralkanäle werden dann wieder zu den gemischten Kanälen zusammengeführt, wobei natürlich nicht die Spektralkanäle eines
Ortskanals wieder zusammengefasst werden, sondern es werden Spektralkanäle
unterschiedlicher Ortskanäle und/oder Ortskanäle unterschiedlicher Spektralkanäle
zusammengefasst. Dadurch bewirkt die Trenn- und Mischeinrichtung für jeden der
Spektralkanäle eine individuelle Zuordnung von Ortskanälen zu Detektorelementen. Mehrere, insbesondere alle Detektorelemente empfangen dann Strahlung in den verschiedenen
Spektralkanälen und aus verschiedenen Ortskanälen.
Dieses Mischen oder Umverteilen der spektralen Information und der Ortskanäle kann physikalisch als Manipulation der Punktbildverwaschungsfunktion (PSF) aufgefasst werden. An der Detektionsfläche liegt die Punktbildverwaschungsfunktion so vor, wie sie beugungsbegrenzt von der Abbildung bzw. der Optik bereitgestellt ist, beispielsweise in Form des eingangs genannten Airy-Scheibchens. Diese Punktbildverwaschungsfunktion wird nun beim Weiterleiten auf die strahlungsempfindlichen Detektorelemente durch die Umverteilung der Ortskanäle und der Spektralinformation so manipuliert, dass auf den strahlungsempfindlichen Detektorelemente die Farbinformation und die Ortsinformation gemischt werden, so dass sie anders verteilt sind, als in der Detektionsfläche/Pinholeebene. Die Entmischung und Rekonstruktion ist dann immer noch unproblematisch möglich, da aufgrund der geringen Schrittweite, mit der die
Scanpositionen auseinander liegen, jedes Beugungsbild eines punktförmigen Emitters in der Probe mehrere Male in unterschiedlichen Lagen auf der Detektionsfläche abgebildet und mit der durch die Umverteilung manipulierten Punktbildverwaschungsfunktion erfasst wird.
Die Güte der spektralen Trennung wird im Wesentlichen durch die Güte der spektralen Aufspaltung im spektralen Trenn- und Mischelement dominiert, nicht jedoch von Fehlern bei der Bildinformationsgewinnung, also dem datentechnischen Entmischen. Das Mischen kann beispielsweise durch eine Faserkopplung in der Detektorebene, also in der Ebene, in welcher die Detektionsfläche liegt, geschehen, wodurch die Strahlengänge der Ortskanäle quasi crosstalk-frei parallelisiert und beliebig umsortiert werden können. Anschließend erfolgt die spektrale Trennung, also eine chromatische Aufspaltung für die einzelnen Ortskanäle.
Die Spektralkanäle der Ortskanäle werden idealerweise dann so wieder zusammengemischt, dass sich die effektiven Punktbildverwaschungsfunktionen für die in einem gemischten Kanal zusammengeführten Spektralkanäle möglichst maximal unterscheiden. Auf diese Weise besitzt das für die Gewinnung der Orts- und Farbinformation (Entmischen) gebildete Gleichungssystem viele linear unabhängige Gleichungen.
Das erfindungsgemäße Vorgehen erlaubt es, mit einer Detektoreinrichtung eine
Spektralinformation zu gewinnen, ohne dass die Zahl der Ortskanäle reduziert wäre. Die Zahl der Ortskanäle wirkt sich letztlich darauf aus, wie stark das erzeugte Bild über die Ortsauflösung der Optik hinaus aufgelöst ist. Bei den Ansätzen des Standes der Technik, bei denen für jeden Spektralkanal ein eigenständiger Detektor verwendet wird, ist die Zahl der Detektorelemente gleich dem Produkt aus Anzahl der Ortskanäle und Anzahl der Spektralkanäle. Es ist für die Erfindung hingegen bevorzugt, dass die Zahl der verwendeten Detektorelemente kleiner ist als dieses Produkt. Besonders bevorzugt ist die Zahl der Detektorelemente gleich der Zahl der Ortskanäle.
Es ist im Rahmen der Erfindung möglich, einzelne Detektorelemente mit Strahlung aus nur einem Spektralkanal oder Ortskanal zu beaufschlagen, beispielsweise um ein spektrales oder ein neutrales Referenzsignal zu erzeugen, das beispielsweise für Normierungen verwendet werden kann. Im Hinblick auf eine möglichst maximale Orts- und Spektralauflösung ist es jedoch bevorzugt, dass jedes Detektorelement Strahlung von mindestens zwei, bevorzugt von allen Spektralkanälen empfängt. Eine im Stand der Technik bekannte Methode, um Detektoren einsetzen zu können, deren Geometrie von dem Bildfeld abweicht, das in der Detektionsfläche zur Aufnahme des
Beugungsbildes benötigt wird, ist es, ein Umverteilungselement in Form eines Lichtleitfaserbündels vorzusehen, wobei die Eintrittsfacetten in einer Eintrittsfläche des Bündels liegen, welche die Detektionsfläche bildet. Die Eintrittsfacetten der Lichtleitfasern legen damit die Ortskanäle fest. In Weiterbildung dieses bekannten Konzeptes, ist die spektrale Trenn- und Mischeinrichtung den Lichtleitfasern nachgeordnet und weist Einzeltrennelemente auf, wobei jedem Ortskanal ein Einzeltrennelement zugeordnet ist, so dass jede Lichtleitfaser die von ihr geführte Strahlung des jeweiligen Ortskanals zu einem der Einzeltrennelemente leitet und das Einzeltrennelement die Strahlung dieses Ortskanals in die Spektralkanäle aufteilt. Anschließend kann die Strahlung als Freistrahloptik dann auf einen Detektor, der die Detektorelemente aufweist, geleitet werden, wobei die Geometrie, in welcher die Detektorelemente angeordnet sind und die Geometrie, in welcher die Einzeltrennelemente angeordnet sind, aufeinander abgestimmt sind. Wird beispielsweise als Detektor eine Detektorzeile verwendet, werden auch die Einzeltrennelemente zellenförmig aufgereiht. Alternativ ist es möglich, die Strahlung nach den Einzeltrennelementen wieder in Lichtleitfasern einzukoppeln, und jede Lichtleitfaser führt dann zu einem der Detektorelemente.
Ein Beugungsscheibchen entsteht bei der Beugung eines optischen Strahls an einer kreisförmigen Blende. Es erscheint ein zentrales Maximum, das Beugungsscheibchen, das umgeben ist von Ringen abnehmender Strahlungsintensität. Selbst ein nach den Gesetzen der geometrischen Optik perfektes Mikroskop, also auch ohne Abbildungsfehler, kann einen Punkt nicht genau auf einen Punkt abbilden , sondern durch die Beugung des Lichts an der Apertur nur auf einen unscharfen Fleck. Dies wird als beugungsbegrenzte Abbildung bezeichnet. Gleiches gilt bei beugungsbegrenzter Beleuchtung eines Punktes. Zwei Punkte lassen sich in klassischer Strahlenoptik nach dem sog. Rayleigh-Kriterium trennen, wenn die Maxima ihrer Abbilder im Beugungsbild mindestens um den Radius r des Beugungsscheibchens auseinander liegen. Die Form des Flecks hängt reziprok von der Form der Apertur ab, insbesondere ist seine Größe umgekehrt proportional zur Größe der Apertur. Die Größe des Beugungsscheibchens ergibt sich aus der ersten Nullstelle der Besselfunktion erster Art, die bei etwa r = 0,6098 liegt. Das Beugungsscheibchen (also der zentrale Beugungsfleck) wird nach dem englischen Astronomen George Biddell Airy auch Airy-Scheibchen genannt. Im Scanning-Mikroskop ist sowohl bei Beleuchtung als auch bei Abbildung die Apertur, gegeben durch die runde Fassung der Optiken, kreisförmig. Da Größe des Beugungsscheibchens zudem von der Wellenlänge abhängt, ist es bei der zu Anregung dienenden beugungsbegrenzten Beleuchtung kleiner als bei der stokesverschobenen, also langwelligeren Fluoreszenzstrahlung. Der Begriff „beugungsbegrenzt" soll hier nicht auf die Beugungsgrenze gemäß der Abbe'schen Theorie beschränkt sein, sondern auch Fälle erfassen, in denen auf Grund realer Unzulänglichkeiten oder Einschränkungen das theoretische Maximum um 20 % verfehlt wird. Auch dann hat das Einzelbild eine Struktur, die hier als Beugungsstruktur bezeichnet wird. Sie wird überabgetastet. Da im Rekonstruktionsverfahren gemäß EP 2317362 A1 aufgrund der scannenden
Verschiebung mit einer Schrittweite, die kleiner ist als die Größe des Beleuchtungsflecks, eine Vielzahl an Messungen für jeden einzelnen Punkt in der Probe vorliegt, ergibt sich eine Überbestimmtheit im aufzustellenden und zu lösenden Gleichungssystem, so dass nicht nur die Ortsangaben und Intensitäten für die einzelnen Punkte mit einer Hochauflösung angegeben werden können, sondern auch die Angabe der Spektralbereiche, d. h. der Farbe.
Das erfindungsgemäße Konzept kann auch in parallelisierter Form für mehrere Flecken gleichzeitig durchgeführt werden, wie dies für die Laserscanningmikroskopie bekannt ist. Es werden dann mehrere Spots auf der Probe scannend abgetastet, und die Einzelbilder der mehreren Spots liegen ruhend in der Detektionsebene nebeneinander. Die nachfolgende Beschreibung konzentriert sich exemplarisch auf die Abtastung mit einem einzelnen Punkt- Fleck. Dies soll jedoch nicht als Einschränkung verstanden werden, und die erläuterten Merkmale und Grundsätze gelten sinngemäß auch für die parallele Abtastung mehrerer Punkt- Flecken wie auch für die Verwendung eines Linienflecks. Letzterer ist natürlich nur quer zur Linienerstreckung beugungsbegrenzt, so dass die diesbezüglichen Merkmale dieser
Beschreibung dann nur in einer Richtung (quer zur Linienerstreckung) gelten. Die Abbildung eines gewünschten Bereichs der Probe erfolgt wie in einem üblichen LSM scannend. Da Beleuchtung und die Abbildung bzw. die entsprechenden Einrichtungen eine gemeinsame optische Scaneinrichtung haben, welche den Beleuchtungsfleck über die Probe führt und zugleich den mit dem Beleuchtungsfleck zusammenfallenden Punkt, an dem die Probe abgebildet wird, in Bezug auf den Detektor wieder descannt, kann man eine Zoomoptik in den gemeinsamen Teil von Beleuchtungs- und Abbildungseinrichtung setzen. Sie erlaubt es, eine Anpassung des Beugungsbildes an die Größe des Flächendetektors vorzunehmen und zusätzlich die verfügbare Beleuchtungsstrahlung ohne Randverluste vollständig in die
Objektivpupille, welche sich mit Wahl des Objektives ändern kann, einzukoppeln. Die Auflösung der Beugungsstruktur des Einzelbildes erlaubt es zusätzlich, eine
Bewegungsrichtung des Flecks zu ermitteln, entlang dieser während des Abtastens der Probe verschoben wird. Diese Bewegungsrichtung ist zwar grundsätzlich aus der Mechanik des Scanners (beispielsweise eines Scanspiegels oder eines beweglichen Probentisches) bekannt, jedoch ergeben sich hier mechanisch bedingte Restungenauigkeiten. Diese können eliminiert werden, indem Signale einzelner Pixel des Detektorarrays mittels Kreuzkorrelation ausgewertet werden. Dabei macht man sich zunutze, dass sich, bezogen nebeneinanderliegende Bildpixel in der Probe aufgrund der beugungsbegrenzten Abbildung des beleuchteten Punktes in einem gewissen Maß überlappen , ihre Zentren jedoch nebeneinander liegen. Unterzieht man die Signale solcher Bildpixel einer Kreuzkorrelation , kann man eine Restungenauigkeit, welche aufgrund unvermeidlicher Toleranzen der Scanmechanik verbleibt, reduzieren bzw. vollständig eliminieren.
Soweit hier ein Verfahren beschrieben wird, realisiert eine Auswerteeinrichtung, z. B. ein Steuergerät, diese Verfahrensschritte im Betrieb des Mikroskops.
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen , sondern auch in anderen
Kombinationen oder in Alleinstellung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Nachfolgend wird die Erfindung beispielsweise anhand der beigefügten Zeichnungen, die auch erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Es zeigen : eine Schemadarstellung eines Laser-Scanning-Mikroskops zur hochauflösenden Mikroskopie,
eine Schemadarstellung, wie Strahlung aus verschiedenen Ortskanälen und verschiedenen Spektralkanälen auf Detektorelementen des Mikroskops der Fig. 1 gemischt ist,
eine Schemadarstellung der Punktbildverwaschungsfunktion am Eingang einer
Detektoreinrichtung des Mikroskops der Fig. 1 , wobei die
Punktbildverwaschungsfunktion für zwei Farben eingetragen ist,
eine Schemadarstellung der sich durch Wirkung einer Trenn- und Mischeinrichtung des Mikroskops der Fig. 1 ergebenden Punktbildverwaschungsfunktion,
eine Schemadarstellung einer Ausführungsform des Trenn- und Mischelementes des
Mikroskops der Fig. 1 , und
ein Ablaufdiagramm für ein vom Mikroskop der Fig. 1 durchgeführtes
Mikroskopieverfahren zur hochauflösenden Scanning-Mikroskopie mit der
Unterscheidung mindestens zweier Spektralbereiche.
Fig. 1 zeigt schematisch ein Laserscanningmikroskop 1 , das zum Mikroskopieren einer Probe 2 ausgebildet ist. Das Laserscanningmikroskop (nachfolgend als LSM abgekürzt) 1 wird von einem Steuergerät C gesteuert und umfasst einen Beleuchtungsstrahlengang 3 sowie einen Abbildungsstrahlengang 4. Der Beleuchtungsstrahlengang beleuchtet einen Spot in der Probe 2, und der Abbildungsstrahlengang 4 bildet diesen Spot beugungsbegrenzt zur Detektion ab. Beleuchtungsstrahlengang 3 und Abbildungsstrahlengang 4 teilen sich eine Optik.
Die Beleuchtung der Probe 2 erfolgt im LSM 1 mittels eines bereitgestellten Laserstrahls 5, der über einen nicht weiter funktionell erforderlichen Umlenkspiegel 6 und eine Linse 7 auf einen Spiegel 8 eingekoppelt wird. Der Spiegel 8 sorgt dafür, dass der Laserstrahl 5 unter einem Reflexionswinkel auf ein Einkoppelelement, z. B. einen Emissionsfilter 9 fällt. Zur
übersichtlicheren Darstellung ist für den Laserstrahl 5 lediglich dessen Hauptachse eingezeichnet.
Nach Reflexion am Emissionsfilter 9 wird der Laserstrahl 5 von einem Scanner 10 zweiachsig abgelenkt und mittels Linsen 1 1 und 12 durch ein Objektiv 13 als beugungsbegrenzter Beleuchtungsfleck 14 in eine Fokalebene 29 in der Probe 2 fokussiert. Der Beleuchtungsfleck 14 ist dabei in der Darstellung der Fig. 1 punktförmig, es ist jedoch auch ein linienförmiger Beleuchtungsfleck möglich. Fluoreszenzstrahlung, die am Ort (z. B. Punkt) des
Beleuchtungsfleck 14 angeregt wurde, wird aus der Fokalebene 29 über das Objektiv 13, die Linsen 1 1 und 12 wieder zum Scanner 10 geleitet, nachdem in Abbildungsrichtung wiederum ein ruhender Lichtstrahl vorliegt. Dieser fällt durch das Emissionsfilter 9, welches hier zusätzlich die Funktion hat, die Fluoreszenzstrahlung im Beleuchtungsfleck 14 hinsichtlich ihrer
Wellenlänge zu selektieren und der Beleuchtungsstrahlung des Laserstrahls 5, die
beispielsweise als Anregungsstrahlung dienen kann, abzublocken. Zusätzlich ist optional ein Emissionsfilter 15 zum Abblocken der Beleuchtungsstrahlung vorgesehen. Eine Linse 16 sorgt dafür, dass insgesamt der Ort des Beleuchtungsflecks 14 in ein beugungsbegrenztes
Beugungsbild 17 abgebildet wird, welches in einer Detektionsebene 18 liegt. Die
Detektionsebene 18 ist eine konjugierte Ebene zur Fokalebene 29, in welcher der
Beleuchtungsfleck 14 in der Probe 2 liegt.
Das Beugungsbild 17 des Beleuchtungsflecks 14 wird in der Detektionsebene 18 von einer Detektoreinrichtung 19 aufgenommen. Sie löst das beugungsbegrenzte Bild 17 des Spots 14 in der Detektionsebene 18 räumlich auf, bewirkt also eine Überabtastung in der Pinhole-Ebene.
Ein Steuergerät C steuert alle Komponenten des LSM 1 , insbesondere Scanner 1 0 und Detektoreinrichtung 19. Das Steuergerät nimmt für verschiedene Scanstellungen die Daten jedes einzelnen Bildes 17 auf, analysiert dessen Beugungsstruktur und erzeugt ein hochaufgelöstes Gesamtbild der Probe 2, wie nachfolgend noch erläutert werden wird. Das LSM 1 der Fig. 1 ist exemplarisch für einen einzigen Beleuchtungsfleck 14, der auf der Probe abgetastet wird, dargestellt. Es kann jedoch zugleich auch zur Abtastung gemäß einem Linien-Beleuchtungsfleck verwendet werden, der sich beispielsweise senkrecht zur
Zeichnungsebene der Fig. 1 erstreckt. Auch ist es möglich, das LSM 1 der Fig. 1 so auszuführen, dass mehrere nebeneinanderliegende Punkt- Beleuchtungsflecke in der Probe abgetastet werden. Ihre entsprechenden Beugungsbilder 17 liegen dann in der
Detektionsebene 18 ebenfalls nebeneinander. Die Detektoreinrichtung 19 ist dann entsprechend ausgestaltet, um die nebeneinanderliegenden Beugungsbilder 17 in der Detektionsebene 18 zu erfassen.
Die Detektoreinrichtung 19 weist ein Lichtleitfaserbündel 20 auf, welches unter
Zwischenschaltung einer Trenn- und Mischeinrichtung 30 ein Detektorarray 24 speist. Das Lichtleitfaserbündel 20 ist aus Einzellichtfasern 21 aufgebaut. Eintrittsfacetten 26 der
Lichtleitfasern 21 bilden den Lichtleitfaserbündeleingang, der in der Detektionsebene 18 liegt. Die Eintrittsfacetten 26 der Lichtleitfasern 21 stellen somit den Eingang von Ortskanälen oder Pixeln dar, mit denen das Beugungsbild 17 des Beleuchtungsflecks 14 aufgenommen wird.
Da der Beleuchtungsflecks 14 in der Ausführungsform der Fig. 1 exemplarisch ein Punkt-Spot ist, ist das Beugungsbild 17 ein Airy-Scheibchen, dessen Ausdehnung innerhalb des Kreises liegt, welcher in Fig. 1 die Detektionsebene 18 veranschaulicht. Es sei darauf hingewiesen, dass Fig. 1 in dieser Hinsicht eine Vereinfachung enthält. Die Ausdehnung des
Lichtleitfaserbündeleingangs ist so groß, dass damit die Ausdehnung des Beugungsbildes 17 abgedeckt wird. Die einzelnen Lichtleitfasern 21 im Lichtleitfaserbündel 20 sind mit ihren Ausgängen an die
Trenn- und Mischeinrichtung 30 angeschlossen, für die eine Ausführungsform in Fig. 5 gezeigt ist. Von dort läuft ein weiteres Lichtleitfaserbündel 27 mit Lichtleitfasern 28 zu einem z. B. längserstreckten Stecker 23, in dem die ausgangsseitigen Enden der Lichtleitfasern 28 nebeneinander liegen. Der Stecker 23 ist passend zur geometrischen Anordnung der Detektorzeile 24 ausgebildet, d. h. jedes ausgangsseitige Ende einer Lichtleitfaser 28 liegt genau vor einem Detektorelement 25 der Detektorzeile 24.
Es sei darauf hingewiesen, dass die Ausführung der Detektoreinrichtung 19 hinsichtlich der Ankopplung und Einbindung der Trenn- und Mischeinrichtung 30 exemplarisch ist.
Grundsätzlich genügt für das Mikroskop 1 eine Detektoreinrichtung 19, die in der
Detektionsebene 18 eine Überabtastung des Beugungsbildes 17 vornimmt und die derart geschaffenen Ortskanäle über die Trenn- und Mischeinrichtung 30 zu Detektorelementen 25 leitet. Insbesondere kann es sich bei diesen auch um eine rechteckige Detektorfläche mit die Detektorelemente realisierenden Pixeln handeln.
Ohne die Trenn- und Mischeinrichtung 30 entstünde bei der beugungsbegrenzten Abbildung des mit dem Beleuchtungsfleck 14 beleuchteten Punktes in der Fokalebene 29 in der zugeordneten konjugierten Detektionsebene 18 ein Beugungsbild 17, das aufgrund der kreisförmigen Appertur des Objektivs 13 ein Beugungsscheibchen ist. Die Entstehung solcher Beugungsscheibchen wurde im Allgemeinen bei der Beschreibung bereits erläutert. Bei der Mikroskopietechnik, wie sie in der EP 2317362 A1 beschrieben ist, wird durch Überabtastung des Beugungsbildes 17 dessen Struktur analysiert, und im Zusammenhang mit den
Scanpositionen, die eine Schrittweite haben, welche klein gegen die minimale Abmessung des Beleuchtungsflecks 14 ist, kann eine Strukturaufklärung erfolgen, die über die
Auflösungsgrenze der beugungsbegrenzten Abbildung hinausgeht. Zur Erläuterung dieses Prinzips seien gedanklich zwei Stellen betrachtet, die in der Fokalebene 29 so eng beieinander liegen, dass sie mit der beugungsbegrenzten Auflösung nicht erfasst werden können. Beim Scannen des Beleuchtungsflecks 14 mit Schrittweiten, die klein gegen den Durchmesser des (in diesem Gedankenexperiment kreisförmigen) Beleuchtungsflecks sind, gelangt zuerst eine der beiden Stellen in den Beleuchtungsfleck. Die Strahlungsintensität im Beugungsbild 17 steigt je mehr diese erste Stelle in den Beleuchtungsfleck 14 gerät. Der
Beleuchtungsfleck 14 hat aufgrund seiner beugungsbegrenzten Eigenschaften eine Intensität, die zum Zentrum hin steigt. Somit steigt die Intensität der Strahlung im Beugungsbild 14 in dem Maß, in dem die betrachtete erste Stelle mehr und mehr ins Zentrum des Beleuchtungsflecks 14 rückt. Wenn das Zentrum des Beleuchtungsflecks 14 über die betrachtete Stelle
hinweggewandert ist, nimmt die Intensität der Strahlung von dieser ersten Stelle wieder ab. Wäre die gedanklich angenommene zweite Stelle nicht benachbart, würde die
Strahlungsintensität im Beugungsbild 1 7 wieder abklingen, wobei das Ansteigen und das Abnehmen der Strahlungsintensität im Beugungsbild 17 exakt mit dem Verlauf der
Beleuchtungsintensität des Beleuchtungsflecks 14 (unter Berücksichtigung der Schrittweite und der Fluoreszenzempfindlichkeit der ersten Stelle) korreliert. Da nun aber eine zweite Stelle in enger Nachbarschaft vorhanden ist, beginnt diese zweite Stelle ebenfalls Fluoreszenzstrahlung zum Beugungsbild 1 7 beizusteuern, und zwar umso mehr, je näher ihr das Zentrum des Beleuchtungsflecks 14 rückt. Ansonsten gilt für die zweite Stelle natürlich genau das gleiche, wie für die erste Stelle. Im Ergebnis erhält man für die Schrittpositionen
Beleuchtungsintensitäten im Beugungsbild 17, die anders sind, als wenn nur eine einzelne fluoreszierende Stelle vorhanden wäre. Durch die Auswertung der Daten des Flächendetektors 19 und Berücksichtigung der aktuellen Scanposition lässt sich damit mathematisch ermitteln, dass und auch in welchem Abstand zwei Stellen in der Fokalebene 29 fluoreszierten, obwohl diese zwei Stellen mit einer beugungsbegrenzten Auflösung für sich alleine nicht identifizierbar wären. In der dem Fachmann technisch bekannten Umsetzung wird zur Auswertung der Daten des Flächendetektors 19 für jede Scanposition eine Gleichung aufgestellt, die mehrere Unbekannte enthält, insbesondere Intensität und Abstand der Stellen in der Fokalebene 29. Durch die Vielzahl an Scanpositionen erhält man ein Gleichungssystem, das überbestimmt ist und es erlaubt, Strahlungsintensität und Abstand, d. h. damit auch die Lage, der
fluoreszierenden Stellen zu ermitteln. Dies wird nachfolgend noch erläutert werden. Die Trenn- und Mischeinrichtung 30 bewirkt eine Manipulation der
Punktbildverwaschungsfunktion, wie sie in der Detektorebene 18 vorliegt. Das Strahlprofil wird ortskanalweise, d. h. pixelweise, umsortiert. Um dieses Umsortieren leichter verständlich zu machen, sei als einfaches Beispiel eine zweifarbige Spektralinformation, d. h. die Verwendung von zwei Spektralkanälen in einem Fall mit zehn Ortskanälen betrachtet. Die Ortskanäle werden mit den arabischen Nummern 1 bis 10 bezeichnet. Die zehn Ortskanäle entsprechen zehn Detektorelementen 25, die für die Erläuterung mit I bis X durchnummeriert werden.
Gleichermaßen hat dann das Lichtleitfaserbündel 20 eine Anzahl von zehn Eingangsfacetten 26, es führen also zehn Ortskanäle zur Trenn- und Mischeinrichtung 30. Die Trenn- und Mischeinrichtung 30 trennt jeden dieser Ortskanäle in zwei Spektralkanäle auf, z. B. einen roten Spektralkanal R und einen grünen Spektralkanal G. Die Trenn- und Mischeinrichtung 30 mischt dann zwei verschiedene Spektralkanäle aus zwei verschiedenen Ortskanälen immer paarweise zusammen und bildet so zehn gemischte Kanäle. Diese werden dann an die Detektorelemente 25 geleitet. Fig. 2 zeigt schematisch den dann erhaltenen Zustand. Hier sind die zehn
Detektorelemente 25 mit den Nummern I ... X schematisch als Kästchen eingetragen, auf denen jeweils der Spektralkanal R und der Spektralkanal G aus verschiedenen Ortskanälen zusammengefasst sind. Unter der Detektorzeile 25 sind die Nummern 1 bis 10 der Ortskanäle aufgetragen, aus denen die Strahlung des Spektralkanales G stammt. Über der Detektorzeile 24 die entsprechenden Nummern 1 bis 10 des Ortskanals, aus dem der Spektralkanal R stammt. Beispielsweise enthält das Detektorelement 25 mit der Nummer I den grünen
Spektralkanal G aus dem Ortskanal Nummer 1 und den roten Spektralkanal R aus dem Ortskanal Nummer 6.
Die Figuren 3 und 4 zeigen die Wirkung dieser ortskanalweisen Umsortierung. Fig. 3 zeigt die Punktbildverwaschungsfunktion in der Detektorebene 18, vereinfacht als lineare
Schnittdarstellung über Ortskanälen mit Nummern 1 bis 10. Die Punktbildverwaschungsfunktion 32a gilt dabei für den roten Spektralkanal R, die Punktbildverwaschungsfunktion 32b für den grünen Spektralkanal G. Die Wirkung der Trenn- und Mischeinrichtung auf diese Punktbildverwaschungsfunktion ist in Fig. 4 zu sehen. Die Punktbildverwaschungsfunktion für den roten Spektralkanal R unterscheidet sich nun grundsätzlich von der des grünen
Spektralkanals G. Wandert beispielsweise ein Beleuchtungsspot während des Scannvorgangs über die
Detektionsfläche 18, unterscheidet sich die Reihenfolge, in der die Intensität an den einzelnen Detektorelementen 25 mit den Nummer I bis X zu- oder abnimmt, deutlich für einen
Objektpunkt, der im roten Farbkanal R fluoresziert von einem Objektpunkt, der im grünen Farbkanal G fluoresziert. Im Falle eines roten Farbkanals R würden beispielsweise die Detektorelemente 25 mit den Nummern I bis III zuerst eine hohe Strahlungsintensität anzeigen und danach die anderen Detektorelemente 25, wohingegen bei einem Objektpunkt, der im grünen Farbkanal G fluoresziert, zuerst die Detektorelemente Nr. IV bis VI zuerst eine hohe Intensität anzeigen würden. Durch diese drastische farbabhängige Modulation der Punktbildverwaschungsfunktion ist ein einfaches Entmischen der Farbinformation auf der Detektorzeile 25 bei der Aufstellung des Gleichungssystems möglich. Dem Steuergerät C, das als Auswerteeinrichtung fungiert, ist die Zuordnung, welche die Trenn- und Mischeinrichtung 30 beim Trennen und Mischen vornimmt, bekannt, so dass das Steuergerät C bei der Bilderzeugung nicht nur ein Bild mit einer Ortsauflösung erzeugt, die über die optische Auflösung des Mikroskops 1 hinausgeht, sondern zugleich auch Informationen über die Spektralkanäle liefert.
Natürlich ist die Erläuterung anhand der Figuren 2 und 4 mit zwei Farbkanälen und zehn Ortskanälen bzw. zehn Detektorelementen 25 rein exemplarisch und soll nur dem Verständnis des verfolgten Prinzips dienen. Selbstverständlich kann auch eine größere Anzahl an
Farbkanälen und eine andere Anzahl an Ortskanälen und Detektorelementen verwendet werden.
Fig. 5 zeigt exemplarisch eine mögliche Realisierung für die Trenn- und Mischeinrichtung 30. Sie verfügt über einen Eingangskoppler 31 , an dem die Lichtleitfasern 21 des
Lichtleitfaserbündels 20 angekoppelt werden. Wie in Fig. 5 veranschaulicht ist, können die Lichtleitfasern 21 dabei bereits eine Umsortierung vornehmen, so dass gewünschte Ortskanäle am Eingangskoppler 31 nebeneinanderliegen. Das Lichtleitfaserbündel 20 ist in dieser Hinsicht funktionaler Bestandteil der Trenn- und Mischeinrichtung 30.
Vom Eingangskoppler 31 wird die Strahlung 32 in jedem Ortskanal auf eine Zeile 33 aus Einzeltrennelementen geleitet, beispielsweise unterschiedlichen Prismen 34 und 35. Diese Prismen leiten die Strahlung, die hier exemplarisch wieder für zwei Farbkanäle R und G eingezeichnet ist, auf einen Ausgangskoppler 34, an der die Lichtleitfasern 28 angeschlossen sind. Diese führen in der Bauweise der Fig. 5 zu einzelnen Detektorelementen 25. Dies soll veranschaulichen, dass anstelle einer Detektorzeile 24 auch eine Gruppe an einzelnen, d. h. eigenständigen Detektorelementen 25 verwendet werden kann. Alternativ ist es auch möglich, anstelle des Ausgangskopplers 34 direkt eine Detektorzeile zu setzen. Die Zeile 33 an Einzeltrennelementen 34, 35 ist dann gegebenenfalls um eine nachgeschaltete Optik, beispielsweise eine Minilinsenoptik etc. zu ergänzen, welche die Strahlung auf die Detektorzeile leitet.
Die Trenn- und Mischeinrichtung 30 trennt die Strahlung aus den Ortskanälen in verschiedene Spektralkanäle, hier R und G, auf und mischt diese wieder zusammen, so dass gemischte Kanäle entstehen. Der unterste Kanal in der Darstellung der Fig. 5 enthält beispielsweise den roten Spektralkanal R aus der Strahlung 32, welche aus demjenigen Ortskanal stammt, der am untersten Anschluss des Eingangskopplers 31 angeschlossen ist. Weiter enthält dieser gemischte Kanal den grünen Spektralanteil G, der aus der Strahlung 32 desjenigen Ortskanals stammt, der am direkt darüber liegenden Anschluss des Eingangskopplers 31 eingespeist wurde. In Kombination mit der Umsortierung durch das Lichtleitfaserbündel 30 ist damit eine im Wesentlichen frei vorgebbare Trennung und Umsortierung durch das Trenn- und Mischelement 30 realisiert.
Zur genaueren Erläuterung der mathematischen Analyse der Aufstellung des
Gleichungssystems sei zur Einführung zuerst der Fall betrachtet, dass die Trenn- und
Mischeinrichtung 30 nicht vorhanden sei. Bezeichnet man mit 0{x) das Objekt, mit £(r) die Punktbildverwaschungsfunktion (PSF) der Anregung und mit /7(r) die PSF der Detektion, erhält man als Signal D (r,p) für jeden Bildpunkt folgende Gleichung, wobei r den Abstand vom Ort p des Beleuchtungsflecks bezeichnet:
Figure imgf000020_0001
Eine Fourier-Transformation von D (r,p) bezüglich des Ortes p liefert:
Figure imgf000020_0002
Das Produkt im Realraum wird im Fourier-Raum die folgende Faltung:
Figure imgf000021_0002
Führt man eine Trägerfunktion am Ort r ein:
Figure imgf000021_0003
ergibt sich aus Gleichung (2)
Figure imgf000021_0004
Unterschiedliche Orte r am Flächendetektor werden mittels eines Wiener-Filters (vgl.
http://en.wikipedia.org/wiki/Wiener_deconvolution) kombiniert
Figure imgf000021_0001
wobei die entsprechenden spektralen Leistungsdichten des Signals
Figure imgf000021_0005
("O") und des Rauschens (n) sind.
Die Gleichung (2) der Rekombination in der Airy-Scan-Mikroskopie gilt für eine Farbe (der Begriff „Farbe" wird nachfolgend als einfacherer Ausdruck für den Begriff „Spektralkanal" verwendet. Mehrere Farben sind an jedem Ort r gemischt, wobei Gewichtungsfaktoren eine Rolle spielen, mit welcher die Trenn- und Mischeinrichtung 30 die einzelnen Spektralkanäle und Ortskanäle in den gemischten Kanälen zusammenfasst. Man erhält dann:
Figure imgf000022_0004
Dabei ist b ein Versatz und B (ω) ein Versatzspektrum:
Figure imgf000022_0005
Der Versatz kann als zusätzliche Farbe angesehen werden, deren Gewicht
Figure imgf000022_0006
beträgt. Damit kann man Gleichung (5) umschreiben in folgende Form:
Figure imgf000022_0007
Figure imgf000022_0001
Für jede Frequenz können die Farben mittels einer linearen Regression
Figure imgf000022_0008
entmischt werden:
Figure imgf000022_0002
Das Minimieren der Gleichung (8) im Hinblick auf den Wert von Οχ (ω) führt zu einem System linearer Gleichungen für jede Frequenz
Figure imgf000022_0009
Figure imgf000022_0003
Schreibt man den Versatz aus, erhält man
Figure imgf000023_0001
wobei χ durch alle aufzulösenden Farben läuft. Gleichung (9) schreibt sich in Matrixform folgendermaßen:
Figure imgf000023_0002
Hier gilt Die Lösung für liefert:
Figure imgf000023_0006
Figure imgf000023_0003
Figure imgf000023_0007
Hier ist Α(ω) ein Apodisationsfilter, beispielsweise
Figure imgf000023_0004
Wäre nur eine Farbe vorhanden, würde man analog zu Gleichung (4) erhalten
Figure imgf000023_0005
Das Farbauflösevermögen wird durch die Matrix definiert. Bei nicht rauschbehafteten
Figure imgf000023_0008
Daten müssen zur Farbauflösung die Reihen/Spalten der Matrix linear unabhängig
Figure imgf000023_0009
sein. Dies ist bereits dann erfüllt, wenn sich die Punktbildverwaschungsfunktionen für die verschiedenen Farben unterscheiden. Am Beispiel von zwei Farben wurde dies bereits anhand der Figuren 3 und 4 erläutert. In diesem Fall ist die Zahl der auflösbaren Farben um eins geringer als die Zahl der Schrittstellungen r.
Im Falle rauschbehafteter Daten wird die Robustheit der Lösbarkeit durch die Konditionszahl der Matrix Die Konditionszahl einer Matrix S ist generell definiert als
Figure imgf000024_0001
Figure imgf000024_0002
. Hierin bezeichnet
Figure imgf000024_0007
die Norm der Matrix. Umso größer die Konditionszahl ' ist, umso weniger ist die Lösung hinsichtlich Fehlern in den Eingabedaten, d. h. hinsichtlich rauschen, belastbar. Für rauschfreie Daten wäre eine endliche Konditionszahl, d. h. ein Wert beliebiger Größe kleiner Unendlich, zur Farbauflösung bereits ausreichend. In der Realität liegen jedoch rauschbehaftete Messwerte vor, weshalb die Matrix so ausgelegt wird, dass sie eine
Figure imgf000024_0003
möglichst geringe Konditionszahl hat. Um dies zu erreichen, sollten die Unterschiede der Beiträge verschiedener Farben, welche durch die einzelnen Punktbildverwaschungsfunktionen der Farben aufgrund der Trennung und Mischung erzeugt werden, an jeder Detektorstelle so groß wie möglich sein. Im Beispiel der Fig. 4 ist dies durch eine annähernd orthogonale Gestaltung der Punktbildverwaschungsfunktionen erreicht.
Als allgemeinere Regel wird für jede Farbe eine Zuordnungsfunktion angegeben, die den Ort der Detektion innerhalb der Punktbildverwaschungsfunktion, r, mit der Nummer des
Detektorelementes 25 verknüpft, die durch n: n = Mc (r) gegeben sei. Auf die Geometrie der Detektorelemente kommt es dabei nicht an, insbesondere sind die beschriebenen
zellenförmigen Detektorelemente möglich. Dann ergibt sich als Signal der gemischten Kanäle auf den Detektorelementen n folgendes:
Figure imgf000024_0004
Hier ist die Zuordnungsfunktion noch nicht festgelegt. Um die Zuordnungsfunktion Mc(r) auszuwählen bzw. deren in Gleichung (15) erscheinenden invertierten Form, , ist die
Figure imgf000024_0005
Wahl so zu treffen, dass die Konditionszahl 6ex Matrix [x(a>)]a a möglichst gering ist. Dies wird dann erreicht, wenn der Unterschied der Beiträge der verschiedenen Farben über alle Detektorelemente n, und über alle Frequenzen co hinsichtlich der Zuordnungsfunktion
maximal wird. Dies führt zu folgender Gleichung:
Figure imgf000024_0006
Figure imgf000025_0001
Anhand dieser Gleichung kann die Zuordnungsfunktion, d. h. die Wirkung der Trenn- und
Mischeinrichtung 30 einfach festgelegt werden. Beispielsweise wird in der Bauweise der Fig. 5 die Vertauschung der einzelnen Lichtleitfasern 21 , d. h. ihre Zuordnung am Eingangsstecker 31 sowie die Wirkung der Einzeltrennelemente 33 so gewählt, dass die Gleichung 16 maximiert ist. Das durch die Gleichung (16) gegebene Maß ist eine mögliche Bedingung für die Wahl der Zuordnung. Andere, alternative Zuordnungskriterien sind ebenfalls geeignet. Beispielsweise kann man anstelle einer Integration über die Frequenzen co auch bestimmte Frequenzbänder festlegen, bei denen die Farbtrennung empfindlicher sein soll, als bei anderen. Letztlich gibt die Gleichung (16) bzw. geben alternative Vorgehensweisen eine klare, für den Fachmann umzusetzende Zuordnungsregel, wie die Trenn- und Mischeinrichtung die spektral aufgeteilten Ortskanäle zu den gemischten Kanälen zusammenfügt und wie das Entmischen zu erfolgen hat.
Fig. 6 zeigt exemplarisch ein Ablaufdiagramm für das Mikroskopieverfahren, das beispielsweise mit dem Mikroskop der Fig. 1 ausgeführt werden kann. In einem Schritt S1 wird die
herkömmliche Airy-Scan-Mikroskopie ausgeführt, wie sie aus der bereits genannten
EP 2317362 A1 dem Fachmann bekannt ist. D. h., ein Punkt auf der Probe wird
beugungsbegrenzt beleuchtet und in einer Vielzahl von Scanpositionen auf eine zur Fokalebene konjugierte Ebene beugungsbegrenzt abgebildet.
In einem Schritt S2 wird das Beugungsbild in verschiedenen Ortskanälen aufgelöst. Dieser Schritt S2 kann auch als Pixelierung verstanden werden. Für jeden Ortskanal entsteht somit ein eigener Strahlengang. In einem Schritt S3 werden diese einzelnen Strahlengänge der Ortskanäle chromatisch geteilt, wobei die Anzahl an Teilungen die gewünschte Anzahl an Spektralkanälen festlegt.
In einem Schritt S4 werden die Spektralkanäle auf vorgegebene Art und Weise wieder zu gemischten Kanälen zusammengeführt. Die Kriterien für die Auswahl dieses Mischvorgangs wurden vorstehend anhand der Herleitung der Gleichung (16) erläutert. Abschließend erfolgt in einem Schritt S5 die Detektion der Strahlung aus den gemischten Kanälen und die Signalauswertung zur Erzeugung des hochaufgelösten multispektralen Bildes.
Für das zuvor geschilderte Konzept sind folgende Abweichungen bzw. Erweiterungen möglich :
Soweit vorstehend nur zwei Farbkanäle R, G beschrieben wurden, ist dies rein exemplarisch. Natürlich kann eine größere Anzahl an Farbkanälen gleichermaßen verwendet werden.
Die Aufteilung in Ortskanäle im Schritt S2, die chromatische Teilung im Schritt S3 und das definierte Mischen im Schritt S4 kann auch in Kombinationen zusammengefasst werden oder in zum Teil anderer Reihenfolge ausgeführt werden. Anhand der Fig. 5 wurde erläutert, dass das Umsortieren der Ortskanäle durch entsprechende Ausgestaltungen des Lichtleitfaserbündels 20 und seine Zuordnung zur Trenn- und Mischeinrichtung 30 bereits Teil des definierten Mischens des Schrittes S4 sein kann. Wesentlich ist, dass ortskanalunabhängige Strahlengänge gebildet, chromatisch geteilt und unterschiedlich wieder gemischt werden. Dieser Mischvorgang ist in der Ausführungsform der Fig. 5 bereits vorbereitet durch die Mitwirkung des Lichtleitfaserbündels 20. Das ist jedoch optional. Beispielsweise ist es auch möglich, nach der spektralen
Auftrennung ein weiteres Lichtleitfaserbündel einzuschalten, das die unterschiedlichen
Spektralkanäle in der gewünschten Mischung zusammenführt, beispielsweise durch den Einsatz von Faservereinigern.
Die Verwendung der Faserkopplung in der Ebene, die zur Fokalebene 29 konjugiert ist, erlaubt es, die Ortskanäle crosstalk-frei zu parallelisieren. Zuerst die Ortskanäle zu bilden und dann das spektrale Trennen und Mischen auszuführen hat zudem den Vorteil, dass die Aufteilung in eine große Vielzahl von Spektralkanälen einfacher ist. Es ist aber auch möglich, die
Reihenfolge des spektralen Trennens und des Bildens der Ortskanäle, d. h. die Schritte S3 und S2 zu vertauschen, indem die Strahlung vor der zur Fokalebene 29 konjugierten Ebene über einen Farbteiler in mehrere Spektralbänder aufgespalten wird. Diese können dann mit Mikrolinsen in ein Faserbündel abgebildet und dann räumlich neu zusammengemischt werden, beispielsweise durch eine Mehrfachbelegung an den Detektorelementen 25.
Vorstehend wurden Ausführungsformen beschrieben, in denen alle Ortskanäle, d. h. sämtliche Strahlung des Beugungsbildes 17 dem Vorgang des spektralen Trennens und Mischens unterzogen wurde. Es ist aber auch möglich, einzelne oder mehrere Ortskanäle unverändert zu lassen, entweder indem sie gar nicht über die Trenn- und Mischeinrichtung 30 geleitet werden, oder indem die Trenn- und Mischeinrichtung 30 die Spektralinformation die Strahlung eines oder mehrerer Ortskanäle wieder in einem gemischten Kanal zusammenführt. Dies kann vorteilhaft sein, beispielsweise um eine Intensitätsreferenzierung vorzunehmen.
Vorstehend wurde weiter erläutert, dass jeder gemischte Kanal Strahlung verschiedener Spektralkanäle erhält. Dies ist im Hinblick auf das Entmischen vorteilhaft, wobei es besonders günstig ist, wenn jeder gemischte Kanal nur Strahlung aus verschiedenen Spektralkanälen erhält. Es kann jedoch aber auch hier für eine Referenzierung oder Signalnormierung von Vorteil sein, wenn in einzelnen gemischten Kanälen mehrere gleiche Spektralkanäle mit Strahlung, die aus verschiedenen Ortskanälen stammt, zusammengefasst wird.
Zusätzlich zum beschriebenen Betriebsmodus, in dem ein hochaufgelöstes Bild erzeugt wird, kann das Mikroskop 1 auch auf eine Art und Weise betrieben werden, die kein hochauflösendes Bild, sondern ausschließlich ein Spektrum erzeugt. Dazu werden für eine Scanposition Intensitätsdaten der Detektorelemente 25 ausgelesen und unter Berücksichtigung der jedem Detektorelement 25 zugeordneten Spektralkanäle ein Spektrum der Probe gewonnen.

Claims

Patentansprüche
1. Verfahren zur hochauflösenden Scanning-Mikroskopie einer Probe (2), wobei
- die Probe (2) mit Beleuchtungsstrahlung (5) derart zur Abgabe von Fluoreszenzstrahlung angeregt wird, dass die Beleuchtungsstrahlung an einen Punkt in oder auf der Probe (2) zu einem beugungsbegrenzten Beleuchtungsfleck (14) gebündelt wird,
der Punkt beugungsbegrenzt in ein Beugungsbild (17) auf eine Detektionsfläche (18) einer ortsauflösenden Detektoreinrichtung (19) abgebildet wird, wobei
- die Detektionsfläche (18) Ortskanäle (21 ) aufweist, die eine Ortsauflösung der
Detektoreinrichtung (19) festlegen, welche eine Beugungsstruktur (30-33) des
Beugungsbildes (17) auflöst,
die Detektoreinrichtung (19) Detektorelemente (25) zur Detektion der Strahlung des Beugungsbildes (17) aufweist,
- für die Mehrzahl der Ortskanäle (21 ) die dort geführte Strahlung (32) jeweils in mehrere Spektralkanäle (R, G) spektral aufgetrennt und zu gemischten Kanälen (28) wieder zusammengeführt wird, wobei in jedem gemischten Kanal (28) Strahlung, die aus verschiedenen Ortskanälen (21 ) stammt, und in die Mehrzahl der gemischten Kanäle (28) auch Strahlung aus verschiedenen Spektralkanälen (R, G) zusammengeführt werden, und jeder gemischte Kanal (28) auf eines der Detektorelemente (25) geleitet wird, der Punkt relativ zur Probe (2) in verschiedene Scanpositionen mit einer Schrittweite verschoben wird, die kleiner ist als der halbe Durchmesser des Beleuchtungsflecks (14),
von den Detektorelementen (25) für jede Scanposition Intensitätsdaten ausgelesen und aus den Intensitätsdaten und den ihnen zugeordneten Scanpositionen ein Bild der Probe (2) erzeugt wird, das eine Auflösung aufweist, die über eine Auflösungsgrenze der Abbildung des Punktes gesteigert ist, wobei für jedes Detektorelement (25) die Spektralkanäle (R, G) und Ortskanäle (21 ) der Strahlung (32) berücksichtigt werden und das Bild der Probe (2) multispektral erzeugt wird.
2. Verfahren nach Anspruch 1 , wobei k Ortskanäle (21 ), n Spektralkanäle (R, G) und j Detektorelemente (25) verwendet werden und wobei j < k * n gilt, bevorzugt j = k.
3. Verfahren nach Anspruch 1 oder 2, wobei die Anzahl der gemischten Kanäle (28) gleich der Anzahl der Ortskanäle (21 ), die spektral aufgetrennt werden, ist.
4. Verfahren nach einem der Ansprüche 1 bis 3, wobei
die Detektionsfläche (18) durch eine Eintrittsfläche eines Bündels (20) aus Lichtleitfasern (21 ) mit Eintrittsfacetten (26) gebildet ist, wobei an den Eintrittsfacetten (26) der Lichtleitfasern (21 ) in der Eintrittsfläche die Ortskanäle beginnen,
eine spektrale Trenn- und Mischeinrichtung (30) Einzeltrennelemente (34, 35) aufweist, wobei die Anzahl der Einzeltrennelemente (34, 35) der Anzahl an aufgetrennten Ortskanälen entspricht, und
jede Lichtleitfaser (21 ) die Strahlung zu einem der Einzeltrennelemente (34, 35) leitet und das Einzeltrennelement (34, 35) die Strahlung in die Spektralkanäle (R, G) aufteilt.
5. Verfahren nach einem der Ansprüche 1 bis 4, wobei die Mehrzahl der Ortskanäle (21 ) und/oder die Mehrzahl der gemischten Kanäle (28) mind. 60%, 80%, 90%, oder 95% ist oder alle Ortskanäle (21 ) bzw. Kanäle (28) umfasst.
6. Verfahren nach einem der Ansprüche 1 bis 5, wobei zur Schnellaufnahme eines
Spektrums der Fluoreszenzstrahlung von den Detektorelementen (25) die Intensitätsdaten für eine Scanposition ausgelesen und aus den Intensitätsdaten und unter Berücksichtigung der jedem Detektorelement (25) zugeordneten Spektralkanäle (R, G) ein Spektrum der Probe (2) an der Scanposition erzeugt wird.
7. Verfahren nach einem der Ansprüche 1 bis 6, wobei das multispektrale Bild der Probe (2) erzeugt wird, indem
für jede Scanposition ein Gleichungssystem aufgestellt wird, das für jedes
Detektorelement (25) eine Gleichung enthält, wobei die jedem Detektorelement (25) zugeordneten Spektralkanäle (R, G) und Ortskanäle (21 ) in jeder Gleichung enthalten sind, und das Gleichungssystem nach Intensitäts- und Spektralinformation für die Probe gelöst wird.
8. Mikroskop zur hochauflösenden Scanning-Mikroskopie mit
einem Probenraum zur Aufnahme einer Probe (2), die zur Abgabe von
Fluoreszenzstrahlung anregbar ist,
einer Optik (1 1 -13), die ein im Probenraum liegende Fokalebene (29) und eine
Auflösungsgrenze hat,
- einer Beleuchtungseinrichtung (3), die einen Eingang (6) zum Zuführen von
Beleuchtungsstrahlung (5) aufweist und die über die Optik (1 1 -13) den Probenraum mit der Beleuchtungsstrahlung (5) derart beleuchtet, dass die Optik (1 1 -13) die Beleuchtungsstrahlung (5) an einem Punkt in der Fokalebene (29) zu einem beugungsbegrenzten Beleuchtungsfleck (14) bündelt,
einer Abbildungseinrichtung (4) zum beugungsbegrenzten Abbilden des Punktes in der Fokalebene (29) durch die Optik (1 1 -13) in ein Beugungsbild (30-33),
- eine ortsauflösende Detektoreinrichtung (19) mit einer Detektionsfläche (18), die in einer zur Fokalebene (29) konjugierten Ebene liegt, wobei
die Detektionsfläche (18) Ortskanäle aufweist, die eine Ortsauf lösung der Detektoreinrichtung (19) festlegen, welche eine Beugungsstruktur (30-33) des
Beugungsbildes (17) auflöst,
- die Detektoreinrichtung (19) Detektorelemente (25) zur Detektion der Strahlung des Beugungsbildes (17) aufweist,
die Detektoreinrichtung (19) eine Trenn- und Mischeinrichtung (30) aufweist, welche für die Mehrzahl der Ortskanäle (21 ) die dort geführte Strahlung (32) jeweils in mehrere Spektralkanäle (R, G) spektral auftrennt und zu gemischten Kanälen (28) wieder zusammenführt, wobei die Trenn- und Mischeinrichtung (30) in jeden gemischten Kanal
Strahlung (32), die aus verschiedenen Ortskanälen (21 ) stammt, und in der Mehrzahl der gemischten Kanäle (28) auch Strahlung aus verschiedenen Spektralkanälen (R, G) zusammenführt, und jeden gemischten Kanal (28) auf eines der Detektorelemente (25) leitet,
- einer Scaneinrichtung (10) zur Verschiebung des Punktes in verschiedene
Scanpositionen mit einer Schrittweite, die kleiner ist als der halbe Durchmesser des
Beleuchtungsflecks (14),
einer Auswerteeinrichtung (C) zum Auslesen von Intensitätsdaten von den
Detektorelementen (25) und den ihnen zugeordneten Scanpositionen und zum Erzeugen eines Bildes der Probe (2) aus den Intensitätsdaten und den ihnen zugeordneten Scanpositionen erzeugt wird, das eine Auflösung aufweist, die über die Auf lösungsgrenze der Optik (1 1 -13) gesteigert ist, wobei die Auswerteeinrichtung (C) für jedes Detektorelement (25) die
Spektralkanäle (R, G) und Ortskanäle (21 ) der ihm zugeführten Strahlung berücksichtigt und das Bild der Probe (2) multispektral erzeugt.
9. Mikroskop nach Anspruch 8, das k Ortskanäle (21 ), n Spektralkanäle (R, G) und j Detektorelemente (25) aufweist, wobei j < k * n gilt, bevorzugt j = k.
10. Mikroskop nach Anspruch 8 oder 9, wobei die Anzahl der gemischten Kanäle (28) gleich der Anzahl der Ortskanäle (21 ), die spektral aufgetrennt werden, ist.
1 1 . Mikroskop nach einem der Ansprüche 8 bis 10, wobei die Mehrzahl der Ortskanäle (21 ) und/oder die Mehrzahl der gemischten Kanäle (28) mind. 60%, 80%, 90%, oder 95% ist oder alle Ortskanäle (21 ) bzw. Kanäle (28) umfasst.
12. Mikroskop nach einem der Ansprüche 8 bis 1 1 , wobei
die Detektionsfläche (18) durch eine Eintrittsfläche eines Bündels (20) aus Lichtleitfasern (21 ) mit Eintrittsfacetten (26) gebildet ist, wobei die Eintrittsfacetten (26) der Lichtleitfasern (21 ) den Beginn der Ortskanäle (21 ) festlegen,
die spektrale Trenn- und Mischeinrichtung (30) Einzeltrennelemente (34, 35) aufweist, wobei die Anzahl der Einzeltrennelemente (34, 35) der Anzahl an aufgetrennten Ortskanälen entspricht, und
jede Lichtleitfaser (21 ) die Strahlung zu einem der Einzeltrennelemente (34, 35) leitet und das Einzeltrennelement (34, 35) die Strahlung in die Spektralkanäle (R, G) aufteilt.
PCT/EP2016/073194 2015-09-29 2016-09-29 Hochauflösende scanning-mikroskopie mit der unterscheidung mindestens zweier spektralbereiche WO2017055405A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/764,238 US10401607B2 (en) 2015-09-29 2016-09-29 High-resolution scanning microscopy resolving at least two spectral ranges
JP2018535251A JP6753935B2 (ja) 2015-09-29 2016-09-29 少なくとも２つのスペクトル幅を区別する高解像度走査顕微鏡法
CN201680057202.7A CN108139578B (zh) 2015-09-29 2016-09-29 分辨至少两个光谱范围的高分辨率扫描显微术

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015116435.3 2015-09-29
DE102015116435.3A DE102015116435A1 (de) 2015-09-29 2015-09-29 Hochauflösende Scanning-Mikroskopie mit der Unterscheidung mindestens zweier Spektralbereiche

Publications (1)

Publication Number Publication Date
WO2017055405A1 true WO2017055405A1 (de) 2017-04-06

Family

ID=57103991

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/073194 WO2017055405A1 (de) 2015-09-29 2016-09-29 Hochauflösende scanning-mikroskopie mit der unterscheidung mindestens zweier spektralbereiche

Country Status (5)

Country Link
US (1) US10401607B2 (de)
JP (1) JP6753935B2 (de)
CN (1) CN108139578B (de)
DE (1) DE102015116435A1 (de)
WO (1) WO2017055405A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020202804A1 (de) 2020-03-05 2021-09-09 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zur Bilderfassung
DE102019124587B4 (de) 2018-09-18 2024-02-29 Analog Devices International Unlimited Company Bildsensor mit aktiven pixeln

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017113683A1 (de) 2017-06-21 2018-12-27 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie mit der Unterscheidung mindestens zweier Wellenlängenbereiche
IT201800001891A1 (it) * 2018-01-25 2019-07-25 Fondazione St Italiano Tecnologia Metodo di imaging risolto nel tempo ad alta risoluzione spaziale.
CN108897126B (zh) * 2018-08-09 2020-11-03 中国科学院半导体研究所 一种荧光成像系统
DE102018124044B3 (de) 2018-09-28 2020-02-06 Carl Zeiss Microscopy Gmbh Verfahren zum Betreiben eines Vielstrahl-Teilchenstrahlmikroskops und Vielstrahl-Teilchenstrahlsystem
DE102018127281A1 (de) * 2018-10-31 2020-04-30 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur Mikroskopie
DE102018128590A1 (de) * 2018-11-14 2020-05-14 Carl Zeiss Microscopy Gmbh Fluktuationsbasierte Fluoreszenzmikroskopie
DE102019100184A1 (de) * 2019-01-07 2020-07-09 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102019107267A1 (de) * 2019-03-21 2020-09-24 Carl Zeiss Microscopy Gmbh Verfahren zur hochauflösenden Scanning-Mikroskopie
CN112444506B (zh) * 2019-09-04 2022-03-18 复旦大学 显微成像的方法及装置
CN113313778B (zh) * 2021-05-13 2023-02-17 中国科学院深圳先进技术研究院 磁共振图像的重建方法、计算机设备及存储介质
CN114040069B (zh) * 2021-11-05 2023-03-24 东方晶源微电子科技（北京）有限公司 基于探测器通道的自动对焦方法和装置、设备及存储介质

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5043570A (en) 1989-07-13 1991-08-27 Anritsu Corporation High resolution microscoping system using convolution integration process
DE4416558C2 (de) 1994-02-01 1997-09-04 Hell Stefan Verfahren zum optischen Messen eines Probenpunkts einer Probe und Vorrichtung zur Durchführung des Verfahrens
US5867604A (en) 1995-08-03 1999-02-02 Ben-Levy; Meir Imaging measurement system
US5866911A (en) 1994-07-15 1999-02-02 Baer; Stephen C. Method and apparatus for improving resolution in scanned optical system
EP1157297B1 (de) 1999-03-02 2002-11-06 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und vorrichtung zur objektabbildung
US6633432B2 (en) 2000-08-21 2003-10-14 Olympus Optical Co., Ltd. Optical device and a microscope
DE10325460A1 (de) 2003-04-13 2004-11-11 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Räumlich hochauflösendes Abbilden
WO2006127692A2 (en) 2005-05-23 2006-11-30 Hess Harald F Optical microscopy with phototransformable optical labels
DE102006021317B3 (de) 2006-05-06 2007-10-11 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Fluoreszenzlichtmikroskop zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
EP2037255A1 (de) 2006-06-05 2009-03-18 Nikon Corporation Spektrumbeobachtungsverfahren und -system
EP2317362A1 (de) 2009-10-28 2011-05-04 Carl Zeiss MicroImaging GmbH Mikroskopisches Verfahren und Mikroskop mit gesteigerter Auflösung
WO2013135487A1 (de) 2012-03-15 2013-09-19 Carl Zeiss Microscopy Gmbh Hochauflösende scanning-mikroskopie
DE102013019378A1 (de) 2013-11-19 2014-07-24 Daimler Ag Verriegelungseinrichtung für ein Flügelelement, insbesondere einen Verdeckkastendeckel, eines Kraftwagens
DE102013019347A1 (de) 2013-08-15 2015-02-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102013019348A1 (de) 2013-08-15 2015-02-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102013017468A1 (de) 2013-09-03 2015-03-05 Georg-August-Universität Göttingen Stiftung Öffentlichen Rechts Verfahren zum Erstellen eines Mikroskopbildes und Mikroskopiervorrichtung
DE102013015931A1 (de) 2013-09-19 2015-03-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102013015933A1 (de) 2013-09-19 2015-03-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102013015932A1 (de) 2013-09-19 2015-03-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102014111167A1 (de) 2014-08-06 2016-02-11 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie mit der Unterscheidung mindestens zweier Wellenlängenbereiche

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3517980A (en) * 1966-12-05 1970-06-30 Ceskoslovenska Akademie Ved Method and arrangement for improving the resolving power and contrast
ATE204086T1 (de) 1994-02-01 2001-08-15 Hell Stefan Vorrichtung und verfahren zum optischen messen eines probenpunktes einer probe mit hoher ortsauflösung
US7064824B2 (en) 2003-04-13 2006-06-20 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. High spatial resoulution imaging and modification of structures
CN1595227A (zh) * 2004-06-30 2005-03-16 中国科学院上海光学精密机械研究所 透射率连续变化的振幅型超分辨光瞳滤波器
US7439565B2 (en) 2006-06-08 2008-10-21 Chunghwa Picture Tubes, Ltd. Active devices array substrate and repairing method thereof
CN104597590B (zh) * 2014-12-30 2018-02-02 深圳先进技术研究院 一种超分辨荧光光谱成像显微镜
CN104677884B (zh) * 2015-03-17 2017-07-11 北京理工大学 高空间分辨激光分光瞳差动共焦质谱显微成像方法与装置

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5043570A (en) 1989-07-13 1991-08-27 Anritsu Corporation High resolution microscoping system using convolution integration process
DE4416558C2 (de) 1994-02-01 1997-09-04 Hell Stefan Verfahren zum optischen Messen eines Probenpunkts einer Probe und Vorrichtung zur Durchführung des Verfahrens
US5866911A (en) 1994-07-15 1999-02-02 Baer; Stephen C. Method and apparatus for improving resolution in scanned optical system
US5867604A (en) 1995-08-03 1999-02-02 Ben-Levy; Meir Imaging measurement system
EP1157297B1 (de) 1999-03-02 2002-11-06 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und vorrichtung zur objektabbildung
US6633432B2 (en) 2000-08-21 2003-10-14 Olympus Optical Co., Ltd. Optical device and a microscope
DE10325460A1 (de) 2003-04-13 2004-11-11 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Räumlich hochauflösendes Abbilden
WO2006127692A2 (en) 2005-05-23 2006-11-30 Hess Harald F Optical microscopy with phototransformable optical labels
DE102006021317B3 (de) 2006-05-06 2007-10-11 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Fluoreszenzlichtmikroskop zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
EP2037255A1 (de) 2006-06-05 2009-03-18 Nikon Corporation Spektrumbeobachtungsverfahren und -system
EP2317362A1 (de) 2009-10-28 2011-05-04 Carl Zeiss MicroImaging GmbH Mikroskopisches Verfahren und Mikroskop mit gesteigerter Auflösung
WO2013135487A1 (de) 2012-03-15 2013-09-19 Carl Zeiss Microscopy Gmbh Hochauflösende scanning-mikroskopie
DE102012204128A1 (de) 2012-03-15 2013-09-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102013019347A1 (de) 2013-08-15 2015-02-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102013019348A1 (de) 2013-08-15 2015-02-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102013017468A1 (de) 2013-09-03 2015-03-05 Georg-August-Universität Göttingen Stiftung Öffentlichen Rechts Verfahren zum Erstellen eines Mikroskopbildes und Mikroskopiervorrichtung
DE102013015931A1 (de) 2013-09-19 2015-03-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102013015933A1 (de) 2013-09-19 2015-03-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102013015932A1 (de) 2013-09-19 2015-03-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102013019378A1 (de) 2013-11-19 2014-07-24 Daimler Ag Verriegelungseinrichtung für ein Flügelelement, insbesondere einen Verdeckkastendeckel, eines Kraftwagens
DE102014111167A1 (de) 2014-08-06 2016-02-11 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie mit der Unterscheidung mindestens zweier Wellenlängenbereiche

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
COLIN J R SHEPPARD ET AL: "Superresolution by image scanning microscopy using pixel reassignment", OPTICS LETTERS, OPTICAL SOCIETY OF AMERICA, US, vol. 38, no. 15, 1 August 2013 (2013-08-01), pages 2889 - 2892, XP001583776, ISSN: 0146-9592, DOI: HTTP://DX.DOI.ORG/10.1364/OL.38.002889 *
HELL: "Far-Field Optical Nanoscopy", SCIENCE, 2007, pages 1153 - 1158, XP008108384, DOI: doi:10.1126/science.1137395
SHONA STEWART ET AL: "Raman Imaging", ANNUAL REVIEW OF ANALYTICAL CHEMISTRY, vol. 5, no. 1, 1 January 2012 (2012-01-01), US, pages 337 - 360, XP055290617, ISSN: 1936-1327, DOI: 10.1146/annurev-anchem-062011-143152 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019124587B4 (de) 2018-09-18 2024-02-29 Analog Devices International Unlimited Company Bildsensor mit aktiven pixeln
DE102020202804A1 (de) 2020-03-05 2021-09-09 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zur Bilderfassung
US11714269B2 (en) 2020-03-05 2023-08-01 Carl Zeiss Microscopy Gmbh Apparatus and method for capturing an image

Also Published As

Publication number Publication date
JP2018531433A (ja) 2018-10-25
US20190056580A1 (en) 2019-02-21
CN108139578A (zh) 2018-06-08
JP6753935B2 (ja) 2020-09-09
US10401607B2 (en) 2019-09-03
DE102015116435A1 (de) 2017-03-30
CN108139578B (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
EP3177957B1 (de) Hochauflösende scanning-mikroskopie mit der unterscheidung mindestens zweier wellenlängenbereiche
WO2017055405A1 (de) Hochauflösende scanning-mikroskopie mit der unterscheidung mindestens zweier spektralbereiche
EP1944600B1 (de) Laser-Scanning-Mikroskop
EP2350726B1 (de) Kombinationsmikroskopie
DE102012204128B4 (de) Hochauflösende Scanning-Mikroskopie
EP1504300B1 (de) Verfahren und anordnung zur untersuchung von proben
EP2641078B1 (de) Tiefenauflösungsgesteigerte mikroskopie
EP1264169B1 (de) Verbesserung der spektralen und/oder räumlichen auflösung in einem laser-scanning mikroskop
WO2016180403A1 (de) Auswertung von signalen der fluoreszenzrastermikroskopie unter verwendung eines konfokalen laserscanning-mikroskops
EP1307726B1 (de) Verfahren zur erfassung des wellenlängenabhängigen verhaltens einer beleuchteten probe
DE102009060793A1 (de) Hochauflösendes Mikroskop und Verfahren zur zwei- oder dreidimensionalen Positionsbestimmung von Objekten
DE102013019348A1 (de) Hochauflösende Scanning-Mikroskopie
DE102017113683A1 (de) Hochauflösende Scanning-Mikroskopie mit der Unterscheidung mindestens zweier Wellenlängenbereiche
EP2444832A1 (de) SPIM-Mikroskop mit STED-Lightsheet
DE10033180B4 (de) Verfahren zur Detektion von Farbstoffen in der Fluoreszenzmikroskopie
DE102009043744A1 (de) Verfahren und Mikroskop zur dreidimensional auflösungsgesteigerten Mikroskopie
EP1302804A2 (de) Verfahren zur optischen Erfassung von charakteristischen Grössen einer beleuchteten Probe
WO2017013033A1 (de) Hochauflösende, spektral selektive scanning-mikroskopie einer probe
DE102009031231A1 (de) Verfahren und Anordnungen für die Fluoreszenzmikroskopie
EP2803978A1 (de) Verfahren zur 3D-hochauflösenden Lokalisierungsmikroskopie
DE102015116598A1 (de) Verfahren und Mikroskop zur hochauflösenden Abbildung mittels SIM
WO2022023474A1 (de) Verfahren zum detektieren von emissionslicht, detektionsvorrichtung und laserscanning-mikroskop
EP4189358B1 (de) Verfahren zum detektieren von emissionslicht, detektionsvorrichtung und laserscanning-mikroskop
DE102010015915A1 (de) Verfahren für einen beschleunigten Anregungswellenlängen-Scan bei einem Fluoreszenzmikroskop
DE102019110869A1 (de) Mikroskop

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16777958

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2018535251

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16777958

Country of ref document: EP

Kind code of ref document: A1