WO2014180680A1 - Mikroskop und verfahren für die 3d-hochauflösende lokalisierungsmikroskopie mit vergrössertem messbereich - Google Patents

Mikroskop und verfahren für die 3d-hochauflösende lokalisierungsmikroskopie mit vergrössertem messbereich Download PDF

Info

Publication number
WO2014180680A1
WO2014180680A1 PCT/EP2014/058451 EP2014058451W WO2014180680A1 WO 2014180680 A1 WO2014180680 A1 WO 2014180680A1 EP 2014058451 W EP2014058451 W EP 2014058451W WO 2014180680 A1 WO2014180680 A1 WO 2014180680A1
Authority
WO
WIPO (PCT)
Prior art keywords
fluorescence
imaging
depth
sample
pupil
Prior art date
Application number
PCT/EP2014/058451
Other languages
English (en)
French (fr)
Inventor
Thomas Kalkbrenner
Original Assignee
Carl Zeiss Microscopy Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy Gmbh filed Critical Carl Zeiss Microscopy Gmbh
Priority to US14/889,417 priority Critical patent/US10042153B2/en
Publication of WO2014180680A1 publication Critical patent/WO2014180680A1/de

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3083—Birefringent or phase retarding elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Definitions

  • the invention relates to a method for 3D high-resolution localization microscopy, in which a sample repeatedly excited fluorescence emitter for emitting fluorescence radiation and the sample with a microscope, which has an imaging beam path with an optical resolution and a focal plane, individual images are generated Fluorescence emitter are excited to emit fluorescence radiation such that at least a subset of the fluorescence emitter in each frame is so isolated, so that the images of these fluorescence emitters are separable in the individual images within the optical resolution.
  • WO 2006/0127692 or DE 102006021317 A1 discloses a method abbreviated PALM (photo activated localization microscopy) which uses a marking substance for imaging a sample, which can be activated by means of optical radiation. Only when activated can the marker release certain fluorescence radiation. Non-activated molecules of the labeling substance emit no or at least no noticeable fluorescence radiation with the defined properties even after irradiation of excitation radiation. Therefore, the activation radiation is generally referred to as a switching signal.
  • PALM photo activated localization microscopy
  • the switching signal is applied such that at least some of the activated marker molecules are spaced from adjacent, activated marker molecules such that they are separated from the optical resolution of the microscopy or can be subsequently separated by image processing methods.
  • fluorescence markers are isolated, and refers to this section as an isolation step. It is sufficient that a subset of the total amount of fluorescence markers is isolated.
  • the sample is displayed in this way; This gives a single image of the sample in which at least some fluorescent markers are illuminated in isolation.
  • the center of the registered radiation distribution is determined for each fluorescence marker, which of course is not punctiform due to resolution. In this way, the position of the fluorescent marker with higher accuracy is calculated localized, as it actually admits the optical resolution. This step is called a localization step.
  • each fluorescent label is once isolated in at least one frame.
  • the location data determined from the individual images make it possible to generate an overall image which contains the location information of the individual fluorescence markers, each with an accuracy exceeding the optical resolution. Such an image, which has an increased accuracy over the optical resolution, is called high-resolution.
  • the PALM principle exploits statistical effects.
  • a fluorescence marker which can be activated to fluorescence radiation by the switching signal with a given intensity
  • it can be ensured by adjusting the intensity of the switching signal that the probability of activating fluorescence markers present in a given area of the sample is so low that it has sufficient subregions in the sample shown, where within the optical resolution at least some isolated fluorescent markers can be excited to deliver fluorescent fluorescence.
  • the excitation of the thus activated sample then leads to isolated fluorescent Fiuoreszenzmarkern.
  • the PALM principle has in the meantime also obtained other abbreviations in the specialist literature, such as STORM etc.
  • the abbreviation PALM is used to identify all microscopy techniques that achieve high resolution by first isolating and then localizing fluorescent labels.
  • the PALM method has the advantage that no high spatial resolution is required for the excitation. A simple wide field illumination is possible.
  • the PALM principle achieves high resolution in 2D or laterally, ie transversely to the direction of the removal, since localization can only take place for fluorescence markers which are isolated in projection on a plane perpendicular to the imaging direction. Fluorescence markers that lie one behind the other along the imaging direction, ie in the depth direction, can not be distinguished per se with the PALM principle.
  • the first experimental realizations of the PALM method therefore used TIRF illumination to ensure that fluorescence markers are excited only from a sharply defined depth range that is significantly lower than the depth of field of the imaging optics used.
  • depth direction is meant the direction along the incidence of light, ie along the optical axis.
  • the sample is successively illuminated by two axially offset, but overlapping, light sheets, molecules which emit fluorescence radiation in both light sheet positions must inevitably lie in the overlap region of the two light sheet positions In this way, the depth selection can be significantly increased beyond the thickness of the light sheet
  • the thickness of the overlap area is decisive for the filtering
  • the disadvantage of this approach is that twice the number of individual images must be recorded for the localization , no For each light sheet position, choose the number of frames you would need in the conventional PALM image.
  • the precise adjustment of the offset of the light sheets and in particular the reproducibility of the adjustment is essential for the thickness of the overlap area and thus for the depth resolution.
  • no meaningful resolution can be done within the filtered overlap area usually no meaningful resolution can be done.
  • the overlap area thus defines a measurement uncertainty with regard to the depth specification. Fluorescence markers that are outside the overlap range can not be specified in terms of their depth, so that detection of an area that is larger than the overlap area ultimately requires scanning of the sample.
  • an undesired irradiation of the fluorescence markers can be disadvantageous in PAL microscopy, since the fluorescence markers often only have a very limited number Can go through activation and / or excitation cycles. In this sense, any irradiation that is not exploited for high-resolution imaging is undesirable.
  • a principle of depth resolution in localization microscopy tracks the deliberate distortion of the point spread image function (hereafter also abbreviated as PSF) of the figure.
  • PSF point spread image function
  • Such an approach is described, for example, in WO 2012/039636, which modifies the image of the sample in such a way that an image distortion arises, which is depth-dependent.
  • the ideally spherical dot image blurring function is modified so that two adjacent flaps are formed for imaging a luminous dot instead of a diffraction disk, which are offset from each other depending on the depth of the imaged luminous dot.
  • the publication Pavani et al., PNAS 1 06, page 2995, 2009 proposes to modify the point spread image function by a spatial phase modulator in the figure to a double helix structure.
  • the dot images of individual, luminescent marking molecules then become double spots, their depth position being encoded in the angular orientation of the common axis of the double spots.
  • the above 3D localization method has the problem of a limited capture area in common, i. H. the area where molecules can be detected and located without intervention on the lens. It is typically at a maximum of 1 to 1, 5 pm. This small catching area has the consequence that, given a z-expansion of the sample to be examined, several sections or sections are taken up. This leads to long recording times.
  • Fluorescence emitters that have undergone activation and / or excitation cycles, but have not been used for localization, can usually no longer be available for further measurement, so that complete imaging of the sample is difficult or even impossible can become impossible.
  • the object of the invention is to refine the microscopy method of WO 2012/039636 such that a depth indication can be determined within a larger depth range.
  • the invention also has the task of specifying a deep-resolution microscopy method which as far as possible avoids unwanted illumination of fluorescence markers.
  • the invention starts from the principle of depth resolution by deliberately distorting the point spread image function and extends its capture range. The disadvantages with regard to unwanted irradiation are thus avoided.
  • the sample is imaged in a plurality of image planes lying one behind the other, which correspond to the different focal planes. This is achieved by dividing the imaging beam path in the imaging direction after the pupil, in which the manipulation of the PSF is effected, into two partial imaging beam paths having different path lengths.
  • the two detectors of the sectionab realisesstrahlen réelle assigned to different focal planes.
  • an increased depth range or catching range is thus achieved, from which the depth of the localized fluorescence emitter can be detected.
  • the phase manipulation takes place in a pupil of the imaging beam path, which is usually a pupil conjugated to the pupil of the objective.
  • the distance of the focal planes results from the path length difference of the partial beam paths.
  • the individual images are assigned to different focal planes.
  • the individual images of each pair originate from the same sample area.
  • the depth of field of the two imaging beam paths through a z-region around the respective focal plane are characterized, as seamless as possible, but also overlap freely abut each other.
  • the joining of the individual images in step e) can take place with little effort if, in step c), the distance by which the two different focus planes are spaced is smaller than a depth range over which the position indicates the position the fluorescence fluorescent filter is detected in the depth direction.
  • the step e) essentially corresponds to a calibration of the z-coordinate, ie the depth of the fluorescence emitter.
  • the individual images differ in terms of depth.
  • Each frame of a single image pair allows to determine a depth indication.
  • the depths of the individual images are not directly comparable. They must be calibrated with regard to the relative position of the focus planes of the individual images of a single image pair. In the following description, therefore, the uncalibrated depth data are identified in the individual images with the coordinate z *.
  • the z * coordinates, which are determined for the depth positions from the individual images of a single image pair, are calibrated in step e) in such a way that the different focal planes are taken into account.
  • calibrated coordinates are obtained, hereinafter referred to as the z-coordinate.
  • the positions of the isolated fluorescence emitters in the individual images of a single image pair are specified so that the joining to the overall image can take place; in the coordinate system x, y, z *, joining would only be possible with respect to the x, y coordinate. since the uncalibrated coordinate z * would not allow a comparison of the individual images of a pair in the individual images of a single image pair.
  • step b) after step f); in step e) the z * -indication for isolated fluorescence emitters determined from a single image is modified in such a way that it is shifted by the distance of the focal planes.
  • the phase element in the pupil effects a modification of the point spread image function in that the spots of single emitters receive a non-rotationally symmetric outline.
  • they may consist of individual lobes whose relative position depends on the depth of a fluorescence emitter.
  • the Relativiage can be for example a rotation or a displacement perpendicular to an axis along which the lobes are spaced.
  • the measures known from WO 2012/039636 can be used to modify the PSF.
  • the path length difference of the partial imaging beam paths adjusts the distance between the focal planes and thus ultimately an overlap region between the depth regions of the individual images of the single image pair. It is therefore preferable to provide a Wegdorfnversteü worn for adjusting the distance of the two different focal planes in at least one of the two partial imaging beam paths.
  • the image of a fluorescence emitter means its diffraction-limited dot image, as a rule. It is understood that the features mentioned above and those yet to be explained below can be used not only in the specified combinations but also in other combinations or in individual division without departing from the scope of the present invention. As far as in this description process features are mentioned, they are realized in the operation of the microscope by a suitably trained control unit. Similarly, a disclosure of functional Merkmaien the controller also applies as a description of corresponding process characteristics, eg. B. steps.
  • FIG. 1 is a schematic representation of a microscope for PAL microscopy
  • FIG. 2 shows schematic sectional representations of glass wedges, which are arranged on a Puticianllenpatilfie an imaging beam path of the microscope of Figure 1 and cause a phase shift to produce a PSF modification.
  • 3 and 4 are schematic diagrams of the image changes caused by the PSF modification
  • Fig. 5 and 6 are schematic representations to Veranschauiichung an expanded
  • FIG. 7 is a flowchart for a possible microscopy method with the microscope of FIG. 1.
  • Fig. 1 shows schematically a microscope 1, which is designed for imaging a sample 2 by means of the PALM principle.
  • the sample 2 is imaged on two detectors 3.1, 3.2 by a Schmstrahiengang 4.
  • the imaging radiation path 4 comprises an objective 5 and a tube lens 6 which, by means of further optics 7, 8, 9, image an area of the sample 2 located in a focal plane F on the detectors 3.1, 3.2.
  • the imaging beam path 4 has, as will be explained later, a different optical path length for the two detectors 3.1 and 3.2, so that the two detectors 3.1 and 3.2 different focal planes F are assigned. This will be explained later.
  • the two detectors 3.1 and 3.2 deliver a single image pair 10 consisting of two individual images 10.1 and 10.2.
  • the imaging beam 4 is changed so that the image 11 of a fluorescence emitter is no longer a circular spot.
  • Fig. 2 shows the images 11 of a fluorescence emitter for different depths.
  • the images contain non-rotationally symmetric spots due to an intervention in a conjugated pupil plane 12 of the imaging beam path 4.
  • the pupil plane 12 is provided by the optics 7, 8, 9. In it an element for pupil manipulation is arranged.
  • This is a glass wedge 13 covering the pupil hoses, as is known from WO 2012/039636 for producing a helical PSF.
  • the glass wedge 13 causes each spot 14 of the image 11 of a fluorescence emitter is not rotationally symmetric and consists of two lobes 15a, 15b, the relative position of which depends on the depth of the fluorescence emitter.
  • Single image 10.1 contains by way of example the images 11 of two fluorescence emitters 26a and 26b, which lie in different positions relative to the focal plane F1, which is assigned to the corresponding detector 3.2.
  • the relative position of the flaps changes with the depth position of the fluorescence emitter relative to the focal plane F2 the picture on the detector 3.2.
  • the individual image 10.1 which shows images of fluorescence emitters 26c, 26d.
  • the different focal planes F1 and F2 are effected by a split section 16 of the imaging beam path 4.
  • This has two partial beam paths 17.1, 17.2, which lead to the detectors 3.1, 3.2.
  • the partial beam paths are thereby divided by a beam splitter 18 in the imaging beam path 4.
  • the partial beam path 17.2 experiences by two prisms 19, 20 a three-fold deflection, which offset the imaging beam path relative to the partial beam path 17.1 parallel and extended.
  • the parallel offset causes the detectors 3.1 and 3.2 to lie side by side, preferably being sections of a larger detector window of a single camera.
  • the prism 19 can be adjusted in the direction of the schematically drawn arrow.
  • the path length enlargement which has the partial beam path 17.2 with respect to the partial beam path 17.1 can be adjusted.
  • the displacement of the prism 19 is thus an example of a path length adjustment.
  • Other measures are known to the skilled person for this purpose, for example with the use of adaptive sparkle optics, DMD or by shifting one of the two detectors.
  • the microscope 21 further has an illumination source 21 which, via a beam splitter 21, couples illumination radiation into the imaging beam path 4 but counter to the imaging direction and thus provides the activation radiation and excitation radiation required for the PALM principle.
  • a filter 23 filters out possible back reflections of this radiation in the imaging beam path 4.
  • a further beam path 24 in the imaging spiral path 4 makes it possible to decouple an image onto a tube view or a second color channel.
  • the beam splitter 18 can be swung out of the beam path. This eliminates the separation of the partial beam path 17.2, and you only get the single image 10.1.
  • a plane-parallel plate 25 then allows, when the beam splitter 18 is swung out, to bring the image out of the center of the camera, which provides the detectors 3.1 and 3.2 through different sections of its image window.
  • the image on the camera can then be enlarged, so that de facto both detectors 3.1 and 3.2 are exploited to produce a single image. This mode of operation has a small capture range.
  • the state is shown in the operating mode with a larger capture range (beam splitter 18 engaged, plate 25 disengaged). Then the focus plane F coincides the focal plane F1 together. This is indicated by the dashed plane in which the detectors are 3.1 and 3.2.
  • the focal plane F2 on the other hand, is displaced into the sample due to the extension effect of the partial beam path 17.1 relative to the focal plane F.
  • This embodiment has the advantage that the partial beam path 17.2 can be easily deactivated, namely by pivoting the beam splitter 18th
  • the luminous fluorescent emitters 26a-d in the individual images 10.1 and 10.2 are three-dimensionally located by fitting a suitable experimental or simulated PSF, as is known from the cited WO 2012/039636, the entirety of which is incorporated herein by reference.
  • 10.2 results in a high-resolution 3D data set with the coordinates x, y, z *, which covers the depth range that lies around the respective focal plane F1, F2. Since the focal plane separation is known due to the path length difference of the partial beam paths 17.1, 17.2, the simultaneously obtained 3D data sets can be combined by calibration of the z * coordinate to form an overall image with the coordinates x, y, z, which covers a larger depth range. This will be explained below with reference to FIGS. 5 and 6.
  • FIGS. 2a-c show possible embodiments for the pupil-manipulating element, whereby an adjustment of the pupil manipulation is possible.
  • the figures show three glass wedges 13, which consist of four exemplary sections, each having a length L.
  • the length L is smaller than a width B of the imaging beam path 4 in the pupil plane 2.
  • the four sections 27a-d differ in their PSF modifying action, which is defined by the wedge angle. In other words, the four sections 27a-d have a different wedge angle.
  • the glass wedge 13 of Fig. 2b corresponds substantially to that of Fig. 2a.
  • the average glass thickness for all sections 27a-d is the same here, which is advantageous from the point of view of the glass paths.
  • the spot 14 changes with respect to the relative position of its lobes 1 5a, 1 5b depending on the depth.
  • the lowest level which is indexed at 0 nm, there is a relative position which rotates counterclockwise with increasing levels (a step size of 250 nm has been selected in the illustration of FIG. 3). From the relative position of the lobes so that the depth of the fluorescence emitter is reliably derived.
  • Fig. 4 shows an embodiment, which is a different thickness with respect to the opposite direction of the lobes 15a, 15b along an axis which is transverse to the axis along which the flaps 1 5a, 15b are spaced.
  • the two lines of Fig. 4 differ by the inclination angle of the glass wedge, d. H. the strength of the phase ramp representing the glass wedge 13.
  • the center image of each row is derived from a fluorescence emitter located exactly in the focal plane. From the illustration of Fig. 4 (as well as Fig. 3) is easy to see that the relative position of the tabs 15a, 15b reflects not only the amount of the distance to the focal plane, but also the direction.
  • FIG. 5 shows schematically measurements on a fluorescent emitter with the microscope of FIG. 1.
  • One and the same fluorescence element was iteratively moved over the capture range of the two images.
  • the time is plotted on the abscissa.
  • the depth coordinate is designated in FIG. 5 by z *, since the details and plots in the representation of FIG. 5 do not yet take into account the different position of the focal planes F1 and F2 for the two individual images.
  • the focal planes F1 and F2 are at the same location.
  • each frame captures the same depth range.
  • T1 and T2 were plotted along the time coordinate t. This is permissible in Fig. 5, since there is a fluorescence itter linearly uniform, d. H. time was continuously traversed over the entire capture range of the microscope, which results in the measure T1 + T2 - U.
  • the overlap can be clearly recognized by the fact that the fluorescence emitter first appears only in the image 10.1 and then, when the overlap region U begins, also appears in the second individual image 10.2. It is present in both frames as long as T1 and T2 overlap. Only outside the overlapping area U is the image of the fluorescence emitter only present in the second individual image 10.2.
  • the location information which has been extracted from the individual image 10.1 are denoted by circular points, the location data from the individual image 10.2 by small squares.
  • the width of the depth regions T1, T2 is predetermined by the optics of the imaging beam path 4. For the individual images 10.1 and 10.2 different, but in their size equal depth ranges T1, T2 are given.
  • the respective focal plane F1, F2 is the center of the corresponding depth range T1, T2.
  • the fluorescence emitter appears only in the individual image 10.1, since it lies in the depth range T1, but not T2. At t2, the fluorescence emitter is imaged exactly sharp in the individual image 10.1, since it is located in the focal plane F1. The spot is of course not circular due to the already described modification of the point spread image function.
  • the fluorescence emitter appears in both individual images, but has different relative z * coordinates there.
  • the fluorescence emitter is detected with a high relative z * -coordinate, in the single image 10.2 with a low.
  • the fluorescence emitter is imaged directly from the focal plane F2 and also appears exclusively in the individual image 10.2, as in the case of the coordinate t5.
  • the overlap area U is known. This allows the relative z * coordinates to be converted to absolute z-coordinates.
  • the distance of the focal planes F1 to F2 is evaluated in a first embodiment. For example, each z * coordinate from the frame 10.2 is subtended by the focal distance
  • the overlap area U between the depth ranges T1 and T2 is determined and compensated by suitable calibration of the z * coordinates.
  • fluorescence emitters which lie in the overlap region U are localized with regard to their z * coordinates in the individual images 10.1 and 10.2. The difference of the z * coordinates from the two individual images then indicates the displacement required for the calibration.
  • FIG. 6 shows the situation obtained after the calibration, in which the individual images 10.1 and 10.2 indicate the fluorescence emitters, which in turn are denoted by circular or square points, also in the correct position with respect to the z coordinates.
  • the frames are assembled to the overall picture.
  • the focal planes F1 and F2 are now spaced apart in z-coordinates due to the application and no longer, as in the representation of Fig. 5, which used z * coordinates, on the same depth coordinate.
  • the overlap area U is plotted in the z-direction for better illustration. It can clearly be recognized as the area in which the image of the fluorescence emitter was imaged both in the single image 10.1 (therefore marked with circle symbols) and in the single image 10.2 (therefore marked with squares).
  • the different representation of the overlapping area U in FIGS. 5 and 6 merely serves for easier recognizability.
  • the depth ranges T1 and T2 and the overlap range U are given in the depth direction, ie in the direction of the z coordinate.
  • the focal planes F1 and F2 and thus also the depth ranges T1 and T2 coincide on the ordinate, which is why they have been plotted along the abscissa in FIG. 5 for better recognition. Since the fluorescence emitter for obtaining the coordinates on which the images of FIG. 5 and FIG. 6 are based has been shifted in time evenly in the depth direction, the simplification made in FIG. 5 is permissible.
  • the microscope or microscopy method according to the invention makes it possible to set the capture range of the depth resolution.
  • a flowchart is shown in FIG. 7. After specifying a capture region, for example entering the capture region into a calculation device (not shown in FIG. 1), it is determined whether a phase ramp alone is sufficient for this capture region.
  • the limitation of the phase ramp results, as can easily be seen with reference to FIG. 3, from the fact that with extreme deviations from the focal plane the individual tabs 15a, 15b of the spot 14 become more and more blurred. If the use of the phase ramp is sufficient for itself, the appropriate phase ramp is selected.
  • the beam splitter 18 is swung out and the plate 25 pivoted in order to obtain the full image area from the summary of the detectors 3.1 and 3.2.
  • the 3D localization measurement is performed as usual. This is an option for the procedure. It can be omitted.
  • phase ramp is selected so that it covers at least 50% of the desired capture range. From this possible by means of the phase ramp capture range of the corresponding distance of the focal planes F1, F2 and the overlap U is set. After measurement and localization in the individual images 10.1 and 10.2, these are combined to form an overall data record, wherein this with respect to the z-coordinate (as described above) by the already known distance of the Focus planes F1 and F2 can be made or by correlation of fluorescence emitters, which appear in both individual images 10.1 and 10.2. The result is an overall picture of a larger catch area. With regard to the microscope, various modifications of the described embodiments are possible within the scope of the invention. As an example, the following options are mentioned:
  • the microscopy method or the microscope manipulate the PSF of the figure.
  • it is provided to set a dispersive element in the form of a glass wedge in one half of the imaging pupil.
  • the PSF manipulation does not necessarily take place in a pupil.
  • a certain distance from the pupil is possible, for example when the pupil is not completely accessible in the imaging beam path.
  • the manipulative intervention is not limited to affecting half of a ray path.
  • An example of such an opposite engagement is found in WO 2012/039636 in the form of glass wedges, which run in opposite directions in two halves of the beam cross section.
  • a PSF modification is not limited to the use of transmissive elements.
  • Reflective elements for example suitable mirror elements and in particular adjustable reflective elements, such as DMD, can equally be used to modify the PSF in the context of the invention.
  • the microscope according to the invention advantageously uses adjacent sections of a camera for the realization of the two detectors. These are then inevitably in a plane, and a beam path leading to one of the detectors is longer than the other, which leads to the other detector.
  • separate detectors can be used, which lie in different optical path length to the imaging optics.
  • the beam splitter 18 can be used to separate the beam paths, without the beam paths are subsequently brought together again in parallel sections.
  • the detector 3.2 would then be rotated in the illustration of Fig. 1 by 90 ° near the lower edge of the image.
  • an adjustment of the beam path to one of the detectors is described for adjusting the relative position of the focal planes F1 and F2.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

Mikroskop zur hochauflösenden Abbildung einer Probe (2) in einer Tiefenrichtung (z) und quer dazu (x, y), das aufweist: - einen Anregungsstrahlengang zur Beleuchtung einer Probe (2), - einen Abbildungsstrahlengang (4) mit einem Objektiv (5) und zwei Detektoren (3.1, 3.2), - ein Phasenelement (13); das in einer Pupille (12) des Abbildungsstrahlengangs (4) steht und zwei Hälften des Pupillenquerschnitts unterschiedlich beeinflusst, wobei - der Abbildungsstrahlengang (4) in Abbildungsrichtung gesehen nach der Pupille (12) in zwei Teilabbildungsstrahlengänge aufgeteilt ist, die jeweils zu einem der zwei Detektoren (3.1, 3.2) führen, wobei die zwei Teilabbildungsstrahlengänge (17.1, 17.2) um einen bestimmten Weglängenunterschied unterschiedliche Abbildungslängen haben, so dass die zwei Detektoren (3.1, 3.2) Bilder der Probe (2) aus zwei verschiedenen Fokusebenen (F1, F2), die in Tiefenrichtung (z) um einen Abstand beabstandet sind, aufnehmen.

Description

MIKROSKOP UND VERFAHREN FÜR DIE 3D-HOCHAUFLÖSENDE
LOKALISIERUNGSMIKROSKOPIE MIT VERGRÖSSERTEM MESSBEREICH
Die Erfindung bezieht sich auf ein Verfahren zur 3D-hochauflösenden Lokalisierungsmikroskopie, wobei in einer Probe wiederholt Fluoreszenzemitter zur Abgabe von Fluoreszenzstrahlung angeregt und von der Probe mit einem Mikroskop, das einen Abbildungsstrahlengang mit einer optischen Auflösung und eine Fokusebene aufweist, Einzelbilder erzeugt werden, wobei die Fluoreszenzemitter derart zur Abgabe von Fluoreszenzstrahlung angeregt werden, dass zumindest eine Teilmenge der Fluoreszenzemitter in jedem Einzelbild derart isoliert ist, so dass die Bilder dieser Fluoreszenzemitter im Rahmen der optische Auflösung in den Einzelbildern trennbar sind.
Im Stand der Technik sind verschiedene Verfahren zur Überwindung der Beugungsgrenze in der Mikroskopie entwickelt worden. Aus der WO 2006/0127692 oder der DE 102006021317 A1 ist ein mit PALM {photo activated localisation microscopy) abgekürztes Verfahren bekannt, das zur Abbildung einer Probe eine Markierungssubstanz verwendet, weiche mittels optischer Strahlung aktiviert werden kann. Nur im aktivierten Zustand kann die Markierungssubstanz bestimmte Fluoreszenzstrahlung abgeben. Nicht aktivierte Moleküle der Markierungssubstanz senden auch nach Einstrahlung von Anregungsstrahlung keine oder zumindest keine merkliche Fluoreszenzstrahlung mit den festgelegten Eigenschaften ab. Man bezeichnet deshalb die Aktivierungsstrahlung allgemein als Umschaltsignal. Im PALM-Verfahren wird das Umschaltsignal so aufgebracht, dass zumindest einige der aktivierten Markierungsmoleküle von benachbarten, aktivierten Markierungsmolekülen so beabstandet sind, dass sie gemessen an der optischen Auflösung der Mikroskopie getrennt oder nachträglich durch Bildverarbeitungsverfahren trennbar sind. Man spricht davon, dass Fluoreszenzmarker isoliert werden, und bezeichnet diesen Schnitt auch als Isolierungsschritt. Es genügt dabei, dass eine Teilmenge der Gesamtmenge der Fluoreszenzmarker isoliert ist. Die Probe wird so abgebildet; man erhält ein Einzelbild der Probe, in dem zumindest einige Fluoreszenzmarker isoliert leuchten. Dann wird für jeden Fluoreszenzmarker das Zentrum der registrierten Strahiungsverteilung ermittelt, die auflösungsbegrenzt bedingt natürlich nicht punktförmig ist. Auf diese Weise wird rechnerisch die Lage des Fluoreszenzmarkers mit höherer Genauigkeit lokalisiert, als es die optische Auflösung eigentlich zulasst. Dieser Schritt wird als Lokalisierungsschriti bezeichnet.
Die Schritte der Isolierung und der Lokalisierung werden wiederholt durchgeführt, so dass man mehrere Einzelbilder erhält. Idealerweise ist jeder Fluoreszenzmarker einmal in mindestens einem Einzelbild isoliert. Die aus den Einzelbildern ermittelten Ortsangaben erlauben es, ein Gesamtbild zu erzeugen, das die Ortsangaben der einzelnen Fluoreszenzmarker jeweils mit einer über die optische Auflösung hinausgehenden Genauigkeit enthält. Ein solches Bild, das eine über die optische Auflösung gesteigerte Genauigkeit hat, wird als hochauflösend bezeichnet.
Zum Isolieren der Fluoreszenzmarker nutzt das PALM-Prinzip statistische Effekte aus. Bei einem Fluoreszenzmarker, der durch das Umschaltsignal mit gegebener Intensität zur Fluoreszenzstrahlung aktivierbar ist, kann durch Einstellen der Intensität des Umschaltsignals dafür gesorgt werden, dass die Wahrscheinlichkeit, in einem gegebenen Flächenbereich der Probe vorhandene Fluoreszenzmarker zu aktivieren, so gering ist, dass es ausreichend Teilbereiche in der abgebildeten Probe gibt, in denen innerhalb der optischen Auflösung zumindest einige isolierte Fluoreszenzmarker zur Abgabe von Fluoreszenzsirahiung angeregt werden können. Die Anregung der derart aktivierten Probe führt dann zu isoliert leuchtenden Fiuoreszenzmarkern.
Das PALM-Prinzip wurde hinsichtlich der Aktivierung, d.h. der Aufbringung des Umschaitsignals weitergebildet. So ist beispielsweise bei Molekülen, die einen langlebigen, nicht fluoreszierenden Zustand und einen kurzlebigen, fluoreszierenden Zustand aufweisen, ein separates Aktivieren mit spektral von der Anregungsstrahlung abweichender Aktsvierungsstrahlung gar nicht erforderlich. Vielmehr wird die Probe zuerst mit Anregungsstrahlung hoher Intensität so beleuchtet, dass der weit überwiegende Anteil der Moleküle in den nicht fluoreszenzfähigen, langlebigen Zustand (z. B. einen Triplet-Zustand) gebracht wird. Die verbliebenen, dann noch fluoreszierenden Moleküle sind dann zumindest zum Teil isoliert.
Das PALM-Prinzip hat in der Fachliteratur mittlerweile auch andere Abkürzungen erhalten, wie beispielsweise STORM etc. In dieser Beschreibung wird die Abkürzung PALM zur Identifizierung aller Mikroskopietechniken verwendet, die eine Hochauflösung erreichen, indem Fluoreszenzmarker zuerst isoliert und dann lokalisiert werden. Das PALM-Verfahren hat den Vorteil, dass für die Anregung keine hohe Ortsauflösung benötigt wird. Eine einfache Weitfeldbeleuchtung ist möglich. Das PALM-Prinzip erreicht die Hochauflösung in 2D bzw. lateral, d.h. quer zur Abbüdungsrichtung, da die Lokalisierung nur für Fluoreszenzmarker erfolgen kann, die in Projektion auf ein senkrecht zur Abbildungsrichtung liegenden Ebene isoliert sind. Fluoreszenzmarker, die längs der Abbildungsrichtung, also in Tiefenrichtung, hintereinander liegen, können mit dem PALM-Prinzip per se nicht unterschieden werden. Die ersten experimentellen Realisierungen des PALM-Verfahrens verwendeten deshalb eine TIRF- Beleuchtung, um sicherzustellen, dass lediglich aus einem scharf definierten Tiefenbereich, der deutlich geringer ist als die Tiefenschärfe der verwendeten Abbildungsoptik, Fluoreszenzmarker angeregt werden.
Der Stand der Technik hat zwischenzeitlich weitere Verfahren und Ansätze hervorgebracht, welche eine 3D-Lokalisierungsmikroskopie erreichen, bei der Fluoreszenzmarker auch in der dritten Raumrichtung, also bezogen auf die Abbildung in Tiefenrichtung, isoliert und lokalisiert werden. Unter„Tiefenrichtung" wird dabei die Richtung längs des Lichteinfalls, also längs der optischen Achse verstanden.
Die Publikation B. Huang et al., Science 319, Seite 810, 2008, beschreibt für das PALM-Prinzip einen Abbildungssirahlengang, in dem eine schwache Zylinderlinse liegt, die zu einer gezielten astigmatischen Verzeichnung im Bild führt. Dadurch wird das Abbild jedes Fluoreszenzmarkers auf der Kamera elliptisch verzerrt, sobald sich der Fluoreszenzmarker ober- oder unterhalb der Fokusebene befindet, welche einen Symmetriepunkt der Punktbildverwaschungsfunktion der Abbildung der Probe darstellt. Aus der Orientierung und der Stärke der Verzerrung lässt sich eine Information über die Tiefenlage des leuchtenden Fluoreszenzmarkers gewinnen. Ein Nachteil dieses Verfahrens liegt darin, dass bei einem molekularen Dipol auch dessen lokale Umgebung und Orientierung zu einer Verzerrung des Bildes des leuchtenden Fluoreszenzmarkers führen kann, die allerdings mit der Tiefenlage nichts zu tun hat. Solche leuchtende Fluoreszenzmarker erhalten dann, je nach ihrer räumlichen Lage, einen falschen Tiefenwert. Einen anderen Ansatz verfolgt die Veröffentlichung von Shtengel et al, PNAS 106, Seite 3125, 2009. Dort werden Photonen, welche die leuchtenden Fluoreszenzmarker emittieren, mit sich selbst zur Interferenz gebracht. Dazu werden zwei, in 47i-Konfiguration montierte Objektive verwendet, welche die leuchtenden Fluoreszenzmarker gleichzeitig beobachten. Mittels eines speziellen 3-Wege-Strahlteilers wird die Strahlung aus den derart erhaltenen Teilstrahlgängen zur Interferenz gebracht. Jedes der erhaltenen Bilder wird mit einer Kamera detektiert, und die Intensitätsverhältnisse der Bilder geben Aufschluss über die Tiefenlage. In der Veröffentlichung Toprak et al., Nanolet. 7, Seiten 3285-3290, 2009, sowie gemäß Yueite et al, Nature Methods 5, Seite 527, 2008, wird ein 1 :1-Stra lteiier in den Abbildungsstrahlengang eingebaut, der das Bild der Probe in zwei Teilbilder aufspaltet, die eigenständig delektiert werden. Zusätzlich wird in einem der Teilstrahlengänge nach dem Strahlteiler eine optische Weglängendifferenz dergestalt eingeführt, dass die beiden Teilstrahlengänge zwei Objektebenen abbilden, die etwa im die halbe oder ganze optische Mindestauflösung in Tiefenrichtung beabstandet sind. Die Tiefenlage eines Fluoreszenzmarkers, der zwischen diesen beiden Objektebenen liegt, erhält man aus der Analyse der zwei Teilbilder dieses Fluoreszenzmarkers (z. B. hinsichtlich der Breite der Punktbildverwaschung). Das Verfahren erfordert zwei hochaufgelöste Teilbilder und eine sub- pixelgenaue Überlagerung dieser beiden Teilbilder. Eine Weiterbildung dieses Ansatzes, welche den Justierungsaufwand drastisch herabsetzt, ist aus der DE 102009060490 A1 bekannt.
Ein weiteres Prinzip, eine Tiefeninformation bei der für die 3D-Lokalisierungsmikroskopie zu gewinnen, findet sich in der DE 102010044031 A1. Sie verwendet für die Anregungs- und/oder Umschaltstrahlung die sogenannte Lichtblattbeleuchtung, die beispielsweise in der Veröffentlichung P. Keller und E. Sielzer,„Quantitative In Vivo Imaging of Entire Embryos with Digital Scanned Laser Light Sheet Fluorescence Microscopy", Current Opinion in Neurobiology, 2009, Vol. 19, Seiten 1-9, beschrieben sind. Die Probe wird nacheinander durch zwei axial gegeneinander versetzte, jedoch überlappende Lichtblätter beleuchtet. Moleküle, die in beiden Lichtblattpositionen Fluoreszenzstrahlung abstrahlen, müssen zwangsläufig im Überlappbereich der beiden Lichtblattpositionen liegen. Es wird deshalb eine geeignete Filterung ausgeführt. Auf diese Weise kann die Tiefenauswahl deutlich über die Dicke des Lichtblattes hinaus gesteigert werden. Die Dicke des Überlappbereiches ist maßgebend für die Filterung. Nachteilig an diesem Ansatz ist es, dass für die Lokalisierung die doppelte Anzahl an Einzelbildern aufgenommen werden muss, nämlich für jede Lichtblattposition die Anzahl an Einzelbildern, die man bei der herkömmlichen PALM-Abbildung benötigen würde. Auch ist das präzise Einstellen des Versatzes der Lichtblätter und insbesondere die Reproduzierbarkeit der Verstellung wesentlich für die Dicke des Überlappbereiches und damit für die Tiefenauflösung. Schließlich kann innerhalb des herausgefilterten Überlappbereiches in der Regel keine sinnvolle Auflösung mehr erfolgen. Der Überlappbereich definiert damit quasi eine Messunschärfe hinsichtlich der Tiefenangabe. Fluoreszenzmarker, die außerhalb des Überlappbereiches liegen, können hinsichtlich ihrer Tiefenlage nicht spezifiziert werden, so dass eine Erfassung eines Bereiches, der größer ist als der Überlappbereich, letztlich ein Durchrastern der Probe erfordert.
Bei der PAL-Mikroskopie kann zudem eine unerwünschte Bestrahlung der Fluoreszenzmarker nachteilig sein, da die Fluoreszenzmarker oftmals nur eine sehr begrenzte Anzahl an Aktivierungs- und/oder Anregungszyklen durchlaufen können. Unerwünscht ist in diesem Sinne jede Bestrahlung, die nicht für eine hochauflösende Abbildung ausgenutzt wird.
Ein Prinzip der Tiefenauflösung bei der Lokalisierungsmikroskopie verfolgt die bewusste Verzerrung der Punktbildverwaschungsfunktion (nachfolgend auch als PSF abgekürzt) der Abbildung. Ein solcher Ansatz ist beispielsweise in der WO 2012/039636 beschrieben, die bei der Abbildung der Probe so modifiziert, dass eine Bildverzeichnung entsteht, weiche tiefenlagenabhängig ist. Beispielsweise wird die idealerweise kugelförmige Punktbildverwaschungsfunktion modifiziert, so dass für die Abbildung eines leuchtenden Punktes anstelle eines Beugungsscheibchens zwei nebeneinanderliegende Lappen entstehen, die abhängig von der Tiefenlage des abgebildeten leuchtenden Punktes gegeneinander versetzt werden.
Die Veröffentlichung Pavani et al., PNAS 1 06, Seite 2995, 2009, schlägt vor, die Punktbildverwaschungsfunktion durch einen räumlichen Phasenmodulator in der Abbildung zu einer Doppelhelixstruktur zu modifizieren. Die Punktbilder einzelner, lumineszierender Markierungsmoleküle werden dann zu Doppelspots, ihre Tiefenlage ist in der Winkelorientierung der gemeinsamen Achse der Doppelspots kodiert. Den oben genannten 3D-Lokalisierungsverfahren ist das Problem eines begrenzten Fangbereichs gemein, d. h. der Bereich, in dem Moleküle ohne Eingriff am Objektiv erfasst und lokalisiert werden können . Er liegt typisch bei maximal 1 bis 1 ,5 pm. Dieser geringe Fangbereich hat zur Folge, dass bei einer gegebenen z-Ausdehnung der zu untersuchenden Probe mehrere Schnitte oder Sektionen aufgenommen werden. Dies führt zu langen Aufnahmezeiten. Darüber hinaus sind regelmäßig bei der Erzeugung von solchen Schnitten Probenbereiche angeregt, die zur Abbildung gar nicht genutzt werden . Dies stellt eine unerwünschte Bestrahlung im oben erwähnten Sinne dar. Fluoreszenzemitter, die Aktivierungsund/oder Anregungszyklen durchliefen, jedoch für die Lokalisierung nicht verwendet wurden, können üblicherweise für eine weitere Messung nicht mehr zur Verfügung stehen, so dass eine vollständige Abbildung der Probe schwierig oder sogar unmöglich werden kann.
Der Erfindung liegt die Aufgabe zugrunde, das Mikroskopieverfahren der WO 2012/039636 dahingehend weiterzubilden, dass innerhalb eines größeren Tiefenbereiches eine Tiefenangabe ermittelt werden kann. Der Erfindung üegt weiter die Aufgabe zugrunde, ein tiefenauflösendes Mikroskopieverfahren anzugeben, das unerwünschte Beleuchtung von Fluoreszenzmarkern möglichst vermeidet. Die Erfindung geht vom Prinzip der Tiefenauflösung durch bewusste Verzerrung der Punktbildverwaschungsfunktion aus und erweitert deren Fangbereich. Die Nachteile bezüglich unerwünschter Bestrahlung sind damit vermieden.
Erfindungsgemäß erfolgt eine Abbildung der Probe in mehreren, hintereinander liegenden Bildebenen, die den verschiedenen Fokusebenen entsprechen. Dies wird dadurch erreicht, indem der Abbildungsstrahlengang in Abbildungsrichtung nach der Pupille, in welcher die Manipulation der PSF bewirkt wird, in zwei Teilabbildungsstrahlengänge aufgeteilt wird, die unterschiedliche Weglängen haben. Damit sind den beiden Detektoren der Teilabbildungsstrahlengänge unterschiedliche Fokusebenen zugeordnet. Gegenüber dem Konzept der WO 2012/039636 wird damit ein erhöhter Tiefenbereich bzw. Fangbereich erreicht, aus dem die Tiefen!age der lokalisierten Fluoreszenzemitter erfasst werden kann.
Die Phasenmanipulation findet in einer Pupille des Abbildungsstrahlenganges statt, wobei es sich dabei in der Regel um eine zur Pupille des Objektivs konjugierte Pupille handelt.
Der Abstand der Fokusebenen ergibt sich aus dem Weglängenunterschied der Teilstrahlengänge. Beim Zusammensetzen der Etnzelbildpaare hinsichtlich der Tiefenangabe in Schritt e) ist es deshalb bevorzugt, den Abstand der Fokusebenen auf Basis des Weglängenunterschieds der Teilstrahlengänge zu ermitteln.
Die Einzelbilder sind unterschiedlichen Fokusebenen zugeordnet. In x/y-Richtung, also quer zur Tiefenrichtung, stammen die Einzelbilder jedes Paars vom gleichen Probenbereich, Im Hinblick auf einen maximal abgedeckten Tiefenbereich wäre es vorteilhaft, wenn die Tiefenschärfebereiche der beiden Abbildungsstrahlengänge, die durch einen z-Bereich um die jeweilige Fokusebene herum charakterisiert sind, möglichst nahtlos, aber auch überlappfrei aneinander stoßen zu lassen. Es hat sich jedoch gezeigt, dass das Zusammenfügen der Einzelbilder in Schritt e) aufwandsgering erfolgen kann, wenn in Schritt c) der Abstand, um den die zwei verschiedenen Fokusebenen beabstandet sind, kleiner ist als ein Tiefenbereich über den aus den Spots die Angabe die Lage der fluoreszierenden Fluoreszenzemilter in der Tiefenrichtung ermittelt wird. Dadurch überlappen die Einzelbilder jedes simultanen Einzelbildpaars in Tiefenrichtung in einem Überlappbereich. Die Auswertung von Fluoreszenzemittern, die in beiden Einzelbildern des Einzelbildpaares vorhanden sind, erleichtert es erheblich, die simultanen Einzelbildpaare hinsichtlich der Tiefenangabe zusammenzusetzen, Ein Fluoreszenzemitter, der beispielsweise in dem Einzelbild, das der tieferen Fokusebene zugeordnet ist, am oberen Rand hinsichtlich der z-Angabe erscheint, liegt dann im höher liegenden Einzelbild, das der höheren Fokusebene zugeordnet sind, am unteren Rand. Da aufgrund der Isolierung es immer Fluoreszenzemitter gibt, die in beiden Einzelbildern hinsichtlich der z-Angabe isoliert sind, kann man anhand der Spots solcher Fluoreszenzemitter Ortsangaben, welche aus den beiden Einzelbildern in z-Rschtung ermittelt werden, so korrekt umsetzen, dass die unterschiedlichen Tiefenebenen, aus denen die beiden Einzelbilder stammen, richtig berücksichtigt werden.
Der Schritt e) entspricht im wesentlichen einer Kalibrierung der z-Koordinate, also der Tiefenangabe der Fluoreszenzemitter. In einem Einzelbildpaar unterscheiden sich die Einzelbilder hinsichtlich der Tiefeniage. Jedes Einzelbild eines Einzelbildpaares erlaubt es, eine Tiefenangabe zu ermitteln. Die Tiefenangaben der Einzelbilder sind dabei nicht direkt vergleichbar. Sie müssen hinsichtlich der Relativlage der Fokusebnen der Einzelbilder eines Einzelbildpaares kalibriert werden. In der nachfolgenden Beschreibung werden deshalb die unkalibrierten Tiefenangaben in den Einzelbildern mit der Koordinate z* identifiziert. Die z*- Koordinaten , welche für die Tiefenlagen aus den Einzelbildern eines Einzelbildpaares ermittelt werden, werden in Schritt e) so kalibriert, dass die unterschiedlichen Fokusebenen berücksichtigt werden. Auf diese Weise werden kalibrierte Koordinaten erhalten, die nachfolgend als z-Koordinate bezeichnet wird. Im Koordinatensystem x, y, z sind die Lagen der isolierten Fluoreszenzemitter in den Einzelbildern eines Einzelbildpaares so angegeben, dass die Zusammenfügung zum Gesamtbild erfolgen kann, im Koordinatensystem x, y, z* wäre das Zusammenfügen lediglich hinsichtlich der x, y-Koordinate möglich, da die nicht kalibrierte Koordinate z* in den Einzelbildern eines Einzelbildpaares einen Vergleich unier den Einzelbildern eines Paares nicht erlauben würde. Es ist deshalb bevorzugt, den Schritt b) nach Schritt f) auszuführen, in Schritt e) wird die aus einem Einzelbild ermittelte z*-Angabe für isolierte Fluoreszenzemitter so modifiziert, dass sie um den Abstand der Fokusebenen verschoben wird. Natürlich kann man auch die z*-Angaben aus beiden Einzelbildern gegensinnig um den halben Fokalabstand verschieben. Verwendet man, wie bereits erwähnt, die Informationen aus dem Überlappbereich, wird der Abstand der Fokusebenen durch die unterschiedliche relative z*-Koordinate für ein und denselben Fluoreszenzemitter, der in beiden Einzelbildern erscheint, am einfachsten erhalten. Dann nutzt man eine Korrelation zwischen Strukturen im Überlappbereich der Einzelbildpaare.
Das Phasenelement in der Pupille bewirkt eine Modifikation der Punktbildverwaschungsfunktion dahingehend, dass die Spots von Einzelemittern einen nicht-rotationssymmetrischen Umriss erhalten. Beispielsweise können sie aus einzelnen Lappen bestehen, deren Relativlage von der Tiefenlage eines Fluoreszenzemitters abhängt. Die Relativiage kann beispielsweise eine Rotation oder eine Verschiebung senkrecht zu einer Achse sein, längs der die Lappen beabstandet sind. Grundsätzlich können die aus der WO 2012/039636 bekannten Maßnahmen verwendet werden, um die PSF zu modifizieren. Der Weglängenunterschied der Teilabbildungsstrahlengänge stellt den Abstand der Fokusebenen und damit letztlich einen Überlappbereich zwischen den Tiefenbereichen der Einzelbilder des Einzelbildpaares ein. Es ist deshalb bevorzugt, in mindestens einen der beiden Teilabbildungsstrahlengänge eine Weglängenversteüeinrichtung zur Einstellung des Abstands der zwei verschiedenen Fokusebenen vorzusehen.
Unter dem Abbild eines Fluoreszenzemitters ist dessen in der Regel beugungsbegrenztes Punkt-Bild gemeint. Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen Kombinationen oder in Alleinsteilung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Soweit in dieser Beschreibung Verfahrensmerkmale erwähnt sind, werden sie im Betrieb des Mikroskops durch ein entsprechend ausgebildetes Steuergerät realisiert. Analog gilt eine Offenbarung von funktionellen Merkmaien des Steuergerätes auch als Beschreibung entsprechender Verfahrensmerkmale, z. B. Schritte.
Nachfolgend wird die Erfindung beispielsweise anhand der beigefügten Zeichnungen, die auch erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Es zeigen:
Fig. 1 eine Schemadarstellung eines Mikroskops zur PAL-Mikroskopie,
Fig. 2 schematische Schnittdarstellungen von Glaskeilen, die an einer Pupällenhälfie eines Abbildungsstrahlengangs des Mikroskops der Fig. 1 angeordnet sind und eine Phasenverschiebung zur Erzeugung einer PSF-Modifikation bewirken,
Fig. 3 und 4 Schemadarstellungen der Bildveränderungen, welche durch die PSF-Modifikation hervorgerufen werden,
Fig. 5 und 6 schematische Darstellungen zur Veranschauiichung eines erweiterten
Fangbereichs des Mikroskops der Fig. 1 und
Fig. 7 ein Ablaufdiagramm für ein mögliches Mikroskopieverfahren mit dem Mikroskop der Fig. 1.
Fig. 1 zeigt schematisch ein Mikroskop 1 , das zum Abbilden einer Probe 2 mittels des PALM- Prinzips ausgebildet ist. Die Probe 2 wird dabei auf zwei Detektoren 3.1 , 3.2 durch einen Abbildungsstrahiengang 4 abgebildet. Der Abbiidungsstrahiengang 4 umfasst ein Objektiv 5 sowie eine Tubuslinse 6, die über weitere Optiken 7, 8, 9 einen in einer Fokusebene F gelegenen Bereich der Probe 2 auf die Detektoren 3.1 , 3.2 abbilden. Der Abbildungsstrahlengang 4 weist, wie später noch erläutert werden wird, für die zwei Detektoren 3.1 und 3.2 eine unterschiedliche optische Weglänge auf, so dass den beiden Detektoren 3.1 und 3.2 unterschiedliche Fokusebenen F zugeordnet sind. Dies wird später noch erläutert. Im Ergebnis liefern die beiden Detektoren 3.1 und 3.2 ein Einzelbildpaar 10 bestehend aus zwei Einzelbildern 10.1 und 10.2. Diese sind schematisch im Kasten K dargestellt. Beim insoweit beschriebenen Abbildungsaufbau würde man erwarten, dass ein leuchtender Fluoreszenzemitter in der Probe 2 im Einzelbild 10.1 oder 10.2 als kreisförmiger Spot erscheint, dessen Durchmesser von der Tiefenlage des Fluoreszenzemitters abhängt, d. h. davon abhängt, inwieweit der Fiuoreszenzemitter exakt in der dem Detektor 3.1 oder 3.2 zugeordneten Fokusebene liegt oder davon beabstandet ist. Auf diese Weise könnte bei der PAL-Mikroskopie jedoch keine vernünftige Angabe über die Tiefenlage des Fluoreszenzemitters gewonnen werden. Beispielsweise wüsste man nicht, ob ein Fluoreszenzemitter über oder unter der Fokusebene liegt.
Um in Tiefenrichtung, d. h. in der Richtung, welche senkrecht zur Abbildungsrichtung des Objektivs 5 steht, eine Angabe über die Lage eines Fiuoreszenzemitiers machen zu können, wird der Abbildungsstrahlengang 4 so verändert, dass das Abbild 11 eines Fluoreszenzemitters kein kreisförmiger Spot mehr ist.
Einzelbild 10.1 und 10. 2 zeigt die Abbilder 11 eines Fluoreszenzemitters für unterschiedliche Tiefenlagen. Die Abbilder enthalten nicht rotationssymmetrische Spots aufgrund eines Eingriffs in einer konjugierten Pupillenebene 12 des Abbildungsstrahlengangs 4. Die Pupillenebene 12 wird durch die Optik 7, 8, 9 bereitgestellt. In ihr ist ein Element zur Pupillenmanipulation angeordnet. Es handelt sich hierbei um einen die Pupillenhäifte überdeckenden Glaskeil 13, wie er aus der WO 2012/039636 zur Erzeugung einer helixförmigen PSF bekannt ist. Der Glaskeil 13 bewirkt, dass jeder Spot 14 des Abbildes 11 eines Fluoreszenzemitters nicht rotationssymmetrisch ist und aus zwei Lappen 15a, 15b besteht, deren Relativlage von der Tiefenlage des Fluoreszenzemitters abhängt. Einzelbild 10.1 enthält exemplarisch die Abbilder 11 zweier Fluoreszenzemitter 26a und 26b, die in unterschiedlicher Lage zur Fokusebene F1 liegen, welche dem entsprechen Detektor 3.2 zugeordnet ist. Wie man an den Abbildern 11 der Fluoreszenzemitter 26a und 26b sieht (das linke Abbild 11 im Einzelbild 10.2 ist dem Fiuoreszenzemitter 26a zugeordnet, das rechte Abbild 11 dem Fluoreszenzemitter 26b) ändert sich die Relativposition der Lappen mit der Tiefenposition des Fluoreszenzemitters bezogen auf die Fokusebene F2 der Abbildung auf den Detektor 3.2. Analoges gilt für das Einzelbild 10.1 , das Abbilder von Fluoreszenzemittern 26c, 26d zeigt.
Die isoliert in den Einzelbildern 10.1 und 10.2 nebeneinander dargestellten Abbilder sind durch das PALM-Prinzip gewährleistet, dessen Beschreibung in der genannten WO 2005/0127692 und DE 102006021317 A1 hier vollumfänglich einbezogen wird, soweit die erforderlichen Schritte und Maßnahmen zum Isolieren und Lokalisieren von Fluoreszenzemittern betroffen sind.
Die unterschiedlichen Fokusebenen F1 und F2 werden durch einen aufgeteilten Abschnitt 16 des Abbiidungsstrahlengangs 4 bewirkt. Dieser hat zwei Teilstrahlengänge 17.1 , 17.2, welche zu den Detektoren 3.1 , 3.2 führen. Die Teilstrahlengänge werden dabei durch einen Strahlteiler 18 im Abbildungsstrahlengang 4 aufgeteilt. Der Teilstrahlengang 17.2 erfährt durch zwei Prismen 19, 20 eine dreimalige Umlenkung, welche den Abbildungsstrahlengang gegenüber dem Teilstrahlengang 17.1 parallel versetzt und verlängert. Der Parallelversatz führt dazu, dass die Detektoren 3.1 und 3.2 nebeneinander liegen, bevorzugt Abschnitte eines größeren Detektorfensters einer einzigen Kamera sind. Das Prisma 19 kann in Richtung des schematisch eingezeichneten Pfeils verstellt werden. Auf diese Weise kann die Weglängenvergrößerung, die der Teilstrahlengang 17.2 gegenüber dem Teilstrahlengang 17.1 hat, eingestellt werden. Die Verschiebung des Prismas 19 ist also ein Beispiel für eine Weglängenverstellung. Andere Maßnahmen sind dem Fachmann hierzu bekannt, beispielsweise unter der Verwendung von adaptiven Späegeloptiken, DMD oder durch Verschieben eines der beiden Detektoren.
Das Mikroskop 21 verfügt weiter über eine Beleuchtungsquelle 21 , welche über einen Strahlteiler 21 Beleuchtungsstrahlung in den Abbildungsstrahlengang 4, jedoch entgegen der Abbildungsrichtung einkoppelt und damit die für das PALM-Prinzip erforderliche Aktivierungsstrahiung und Anregungsstrahlung bereitstellt. Ein Filter 23 filtert eventuelle Rückreflexe dieser Strahlung im Abbildungsstrahlengang 4 aus.
Ein weiterer Strahlengang 24 im Abbildungssirahlengang 4 erlaubt es, eine Abbildung auf einen Tubuseinblick oder einen zweiten Farbkanal auszukoppeln.
Für den Fall, dass nur ein einzelnes Einzelbild 10 verwendet werden soll, kann der Strahlteiler 18 aus dem Strahlengang ausgeschwenkt werden. Damit unterbleibt die Abtrennung des Teilstrahlenganges 17.2, und man erhält nur noch das Einzelbild 10.1 . Eine planparallele Platte 25 erlaubt es dann, wenn der Strahlteiler 18 ausgeschwenkt ist, das Bild aus das Zentrum der Kamera zu bringen, welche die Detektoren 3.1 und 3.2 durch unterschiedliche Abschnitte ihres Bildfensters bereitstellt. Durch entsprechende Verstellung der Optiken 7, 8, 9 kann dann das Bild auf der Kamera vergrößert werden, so dass de facto beide Detektoren 3.1 und 3.2 zur Erzeugung eines einzigen Bildes ausgenutzt werden. Dieser Betriebsmodus hat einen kleinen Fangbereich.
In der Darstellung der Fig. 1 ist der Zustand im Betriebsmodus mit größerem Fangbereich dargestellt (Strahlleiler 18 eingerückt, Platte 25 ausgerückt). Dann fällt die Fokusebene F mit der Fokusebene F1 zusammen. Dies ist durch die gestrichelte Ebene angedeutet, in welcher die Detektoren 3.1 und 3.2 liegen. Die Fokusebene F2 ist hingegen aufgrund der Verlängerungswirkung des Teiistrahlenganges 17.1 gegenüber der Fokusebene F in die Probe hinein verschoben. Diese Ausgestaltung hat den Vorteil, dass der Teilstrahlengang 17.2 einfach deaktiviert werden kann, nämlich durch Ausschwenken des Strahlteilers 18.
Die leuchtenden Fluoreszenzemitter 26a-d in den Einzelbildern 10.1 und 10.2 werden durch Anpassen einer geeigneten experimentellen oder simulierten PSF dreidimensional lokalisiert, wie es aus der genannten WO 2012/039636 bekannt ist, die diesbezüglich vollumfänglich in ihrer Offenbarung hier einbezogen wird. Somit ergibt sich pro Einzelbild 10.1 , 10.2 ein hochaufgelöster 3D-Datensatz mit den Koordinaten x, y, z*, der denjenigen Tiefenbereich abdeckt, der um die jeweilige Fokusebene F1 , F2 herum liegt. Da der Fokusebenenabstand aufgrund des Weglängenunterschiedes der Teilstrahlengänge 17.1 , 17.2 bekannt ist, lassen sich die simultan gewonnen 3D-Datensätze durch Kalibrierung der z*-Koordinate zu einem Gesamtbild mit den Koordinaten x, y, z zusammenfügen, das einen größeren Tiefenbereich erfasst. Dies wird nachfolgend noch anhand der Fig. 5 und 6 erläutert.
Die Fig. 2a-c zeigen mögliche Ausführungsformen für das pupillenmanipuiierende Element, wobei eine Verstellung der Pupillenmanipulation möglich ist. Die Figuren zeigen drei Glaskeile 13, die aus exemplarisch vier Abschnitten bestehen, die jeweils eine Länge L haben. Die Länge L ist kleiner als eine Breite B des Abbildungsstrahlengangs 4 in der Pupillenebene 2. Die vier Abschnitte 27a-d unterscheiden sich in ihrer PSF-modifizierenden Wirkung, welche durch den Keilwinkel definiert ist. Mit anderen Worten, die vier Abschnitte 27a-d haben einen unterschiedlichen Keilwinkel. Durch Verschiebung des Glaskeils 13 in der Pupillenebene 12 quer zur Hauptachsenrichtung des Abbildungsstrahlengangs 4 kann man zwischen den einzelnen Abschnitten 27a-d umschalten und damit einen unterschiedlichen Keilwinkel einstellen.
Der Glaskeil 13 der Fig. 2b entspricht im wesentlichen dem der Fig. 2a. Allerdings ist die mittlere Glasdicke für alle Abschnitte 27a-d hier gleich, was unter dem Gesichtpunkt der Glaswege vorteilhaft ist.
Fig. 2c zeigt einen Glaskeil mit einer kontinuierlich ansteigenden Neigung 28. Er kann dementsprechend kontinuierlich quer zur optischen Achse des Abbildungsstrahlengangs 4 verschoben werden und erlaubt eine kontinuierliche Einstellung der PSF-Modifikation, während die Glaskeile 13 der Fig. 2a, 2b immer nur inkrementweise verstellt werden können, so dass die Breite B immer vollständig in einem der Abschnitte 27a-d liegt. Fig. 3 zeigt exemplarisch die Wirkung des Phaseneingriffs in der Pupille 1 3. Es sind Abbilder 1 1 eines Fluoreszenzemitters zu sehen, dessen Tiefenlage unterschiedlich ist. Die Bilder wurden gewonnen, indem ein Punktemitter von einer untersten Ebene, weiche unterhalb einer Fokusebene F1 oder F2 lag, schrittweise um 1 , 75 μ nach oben gestellt wurde. Die unterste Ebene lag dabei 875 nm unterhalb der Fokusebene. Wie man sieht, verändert sich der Spot 14 hinsichtlich der Relativlage seiner Lappen 1 5a, 1 5b abhängig von der Tiefe. In der untersten Ebene, die mit 0 nm indiziert ist, ergibt sich eine Relativlage, die sich mit ansteigenden Ebenen {in der Abbildung der Fig. 3 wurde eine Schrittweite von 250 nm gewählt) gegen den Uhrzeigersinn dreht. Aus der Relativlage der Lappen ist damit zuverlässig die Tiefenlage des Fluoreszenzemitters ableitbar.
Fig. 4 zeigt eine Ausgestaltung, welche einen hinsichtlich der Stärke unterschiedlichen gegensinnigen Versatz der Lappen 15a, 15b längs einer Achse, die quer zu der Achse liegt, entlang der die Lappen 1 5a, 15b beabstandet sind. Die beiden Zeilen der Fig. 4 unterscheiden sich durch den Neigungswinkel des Glaskeils, d. h. die Stärke der Phasenrampe, welche der Glaskeil 13 darstellt. Das mittlere Bild jeder Reihe ist von einem Fluoreszenzemitter gewonnen, der exakt in der Fokusebene liegt. Aus der Darstellung der Fig. 4 (wie auch der Fig. 3) ist einfach zu erkennen, dass die Relativlage der Lappen 15a, 15b nicht nur der Betrag des Abstandes zur Fokusebene wiedergibt, sondern auch die Richtung.
Fig. 5 zeigt schematisch Messungen an einem fluoreszierenden Em itter mit dem Mikroskop der Fig. 1 . Dabei wurde ein und dasselbe Fluoreszenzem itter iinear über den Fangbereich der beiden Abbildungen verfahren. Auf der Abszisse ist die Zeit aufgetragen. Die Tiefenkoordinate ist in Fig. 5 mit z* bezeichnet, da die Angaben und Auftragungen in der Darstellung der Fig. 5 für die beiden Einzelbilder noch nicht die unterschiedliche Lage der Fokusebenen F1 und F2 berücksichtigt. In den z*-Koordinaten liegen die Fokusebenen F1 und F2 an derselben Stelle. Auch erfasst in z*-Koordinaten jedes Einzelbild denselben Tiefenbereich. Um die Unterschiedlichkeit der Tiefenbereiche und den Überlappungsbereich U zu veranschaulichen, wurden T1 und T2 entlang der Zeitkoordinate t aufgetragen. Dies ist in Fig. 5 zulässig, da dort ein Fluoreszenzem itter linear gleichmäßig, d. h. zeitlich kontinuierlich über den gesamten Fangbereich des Mikroskops verfahren wurde, der sich durch das Maß T1 + T2 - U ergibt.
Den Überlapp erkennt man deutlich daran, dass der Fluoreszenzemitter zuerst nur im Bild 10.1 erscheint und dann, wenn der Überlappbereich U beginnt, auch im zweiten Einzelbild 10.2 auftaucht. Er ist in beiden Einzelbildern vorhanden, solange T1 und T2 überlappen. Erst außerhalb des Überlappbereichs U ist das Abbild des Fluoreszenzemitters nur noch im zweiten Einzelbild 10.2 vorhanden. Die Ortsangaben, welche aus dem Einzelbild 10.1 extrahiert wurden, sind mit kreisförmigen Punkten bezeichnet, die Ortsangaben aus dem Einzelbild 10.2 mit kleinen Quadraten. Die Breite der Tiefenbereiche T1 , T2 ist durch die Optik des Abbildungsstrahlenganges 4 vorgegeben. Für die Einzelbilder 10.1 und 10.2 sind unterschiedliche, in ihrer Größe jedoch gleiche Tiefenbereiche T1 , T2 gegeben. Die jeweilige Fokusebene F1 , F2 ist das Zentrum des entsprechenden Tiefenbereiches T1 , T2.
Betrachtet man beispielsweise den Zeitpunkt t1 , erscheint der Fluoreszenzemitter lediglich im Einzelbild 10.1 , da er im Tiefenbereich T1 , nicht jedoch T2 liegt. Bei t2 wird der Fluoreszenzemitter exakt scharf im Einzelbild 10.1 abgebildet, da er sich in der Fokusebene F1 befindet. Der Spot ist natürlich aufgrund der bereits beschriebenen Modifikation der Punktbildverwaschungsfunktion auch dort nicht kreisförmig.
Zum Zeitpunkt t3 erscheint der Fluoreszenzemitter in beiden Einzelbildern, hat dort jedoch unterschiedliche relative z*-Koordinaten. Im Einzelbild 10.1 wird der Fluoreszenzemitter mit einer hohen relativen z*-Koordinate delektiert, im Einzelbild 10.2 mit einer niedrigen. Bei t4 wird schließlich der Fluoreszenzemitter direkt aus der Fokusebene F2 abgebildet und erscheint ebenso ausschließlich im Einzelbild 10.2, wie bei der Koordinate t5. Der Überlappbereich U ist bekannt. Das erlaubt es, die relativen z*-Koordinaten in absolute z- Koordinaten umzusetzen. Dazu wird in einer ersten Ausführungsform der Abstand der Fokusebenen F1 zu F2 ausgewertet. Beispielsweise wird jede z*-Koordinate aus dem Einzelbild 10.2 um den Fokalabstand |F2-F1 | nach oben verschoben. Alternativ kann eine analoge gegenläufige Verschiebung {also nach unten) der z*-Koordänatenwerte in dem Einzelbild 10.2 erfolgen.
In einer zweiten Ausführungsform wird der Überlappbereich U zwischen den Tiefenbereichen T1 und T2 ermittelt und durch geeignete Kalibrierung der z*-Koordinaten ausgeglichen. In einer dritten Ausführungsform werden Fluoreszenzemitter, die im Überlappbereich U liegen hinsichtlich ihrer z*-Koordinaten in den Einzelbildern 10.1 und 10.2 lokalisiert. Die Differenz der z*-Koordinaten aus den beiden Einzelbildern gibt dann die für die Kalibrierung nötige Verschiebung an. Hier ist es möglich, mehrere im Überlappbereich U liegende Fluoreszenzemitter auszuwerten und so den zur Kalibrierung nötigen Offset, d. h. die Verschiebung der z*-Koordinaten zur Gewinnung der z-Koordinate statistisch zu verbessern.
Fig. 6 zeigt die nach der Kalibrierung erhaltene Situation, in der die Einzelbilder 10.1 und 10.2 die Fluoreszenzemitter, welche wiederum mit kreisförmigen bzw. quadratischen Punkten bezeichnet sind, auch hinsichtlich der z-Koordinaten lagerichtig angibt. Die Einzelbilder sind zum Gesamtbild zusammengefügt. In der Darstellung der Fig. 6 sind nun die Fokalebenen F1 und F2 aufgrund der Auftragung in z-Koordinaten beabstandet und nicht mehr, wie in der Darstellung der Fig. 5, welche z*~Koordinaten verwendete, auf derselben Tiefenkoordinate. Auch ist in Fig. 6 nun der Überlappbereich U zur besseren Veranschaulichung in z-Richtung aufgetragen. Er ist deutlich als derjenige Bereich zu erkennen, in dem das Bild des Fluoreszenzemitters sowohl im Einzelbild 10.1 (deshalb mit Kreissymbolen eingetragen) als auch im Einzelbild 10.2 (deshalb mit Quadraten eingetragen) abgebildet wurde.
Die unterschiedliche Darstellung des Überlappbereichs U in den Fig. 5 und 6 dient lediglich der leichteren Erkennbarkeit. Tatsächlich sind, wie bereits erwähnt, die Tiefenbereiche T1 und T2 sowie der Überiappbereich U in Tiefenrichtung, d. h. in Richtung der z-Koordinate gegeben. Bei der Darstellung in Fig. 5 in relativen z*-Koordinaten fallen jedoch die Fokusebenen F1 und F2 und damit auch der Tiefenbereich T1 und T2 an der Ordinate zusammen, weshalb sie in Fig. 5 zur besseren Erkennbarkeit entlang der Abszisse aufgetragen wurden. Da der Fluoreszenzemitter zur Gewinnung der Koordinaten, auf denen die Bilder der Fig. 5 und Fig. 6 beruhen, zeitlich gleichmäßig in Tiefenrichtung verschoben wurde, ist die in Fig. 5 getroffene Vereinfachung zulässig.
Das erfindungsgemäße Mikroskop bzw. Mikroskopieverfahren erlaubt es, den Fangbereich der Tiefenauflösung einzustellen. Ein Ablaufdiagramm zeigt Fig. 7. Nach Vorgabe eines Fangbereichs, beispielsweise Eingabe des Fangbereichs in eine Berechnungsvorrichtung (in Fig. 1 nicht dargestellt), wird ermittelt, ob eine Phasenrampe alleine für diesen Fangbereich ausreicht. Die Begrenzung der Phasenrampe ergibt sich, wie man anhand der Fig. 3 leicht einsieht, daraus, dass bei extremen Abweichungen von der Fokusebene die einzelnen Lappen 15a, 15b des Spots 14 mehr und mehr verschwimmen. Ist die Verwendung der Phasenrampe für sich aileine ausreichend, wird die geeignete Phasenrampe gewählt. Zugleich wird der Strahlteiler 18 ausgeschwenkt und die Platte 25 eingeschwenkt, um den vollen Bildbereich aus der Zusammenfassung der Detektoren 3.1 und 3.2 zu gewinnen. Bei der anschließenden PAL- Mikroskopie wird die Messung 3D-Lokalisierung wie üblich durchgeführt. Diese ist eine Option für das Verfahren. Sie kann entfallen.
Will man einen größeren Fangbereich, für den die Phasenrampe für sich alleine nicht ausreicht, wird die geeignete Phasenrampe ausgewählt, wobei die Phasenrampe so ausgewählt wird, dass sie mindestens 50 % des gewünschten Fangbereiches abdeckt. Aus diesem mittels der Phasenrampe möglichen Fangbereich wird der entsprechende Abstand der Fokusebenen F1 , F2 und der Überlapp U eingestellt. Nach Messung und Lokalisierung in den Einzelbildern 10.1 und 10.2 werden diese zu einem Gesamtdatensatz zusammengeführt, wobei dies hinsichtlich der z-Koordinate (wie oben beschrieben) durch den bereits bekannten Abstand der Fokusebenen F1 und F2 erfolgen kann oder durch Korrelation von Fluoreszenzemittern, die in beiden Einzelbildern 10.1 und 10.2 erscheinen. Man erhält im Ergebnis ein Gesamtbild eines größeren Fangbereichs. Hinsichtlich des Mikroskops sind verschiedene Abwandlungen von den beschriebenen Ausführungsformen im Rahmen der Erfindung möglich. Exemplarisch seien folgende Optionen genannt:
Das Mikroskopieverfahren bzw. das Mikroskop manipulieren die PSF der Abbildung. In den Ausführungsformen ist dafür vorgesehen, in eine Hälfte der Abbildungspupille ein dispersives Element in Form eines Glaskeiles einzustellen. Die PSF-Manipulation m uss nicht zwingend in einer Pupille erfolgen. Auch ist ein gewisser Abstand von der Pupille möglich, beispielsweise wenn die Pupille im Abbildungsstrahlengang nicht vollständig zugänglich ist. Weiter ist der manipulative Eingriff nicht darauf beschränkt, dass er die Hälfte eines Strahlengangs beeinflusst. Es ist auch möglich, einen Eingriff im gesamten Querschnitt des Strahlengangs vorzunehmen, wenn dieser gegenläufig erfolgt. Ein Beispiel für einen solchen gegenläufigen Eingriff findet sich in der genannten WO 2012/039636 in Form von Glaskeilen, die in zwei Hälften des Strahlquerschniües gegenläufig verlaufen. Die in der WO-Schrift genannten Maßnahmen können natürlich gleichermaßen zur PSF-Modifikation eingesetzt werden. Auch ist eine PSF-Modifikation nicht auf den Einsatz transmissiver Elemente eingeschränkt. Reflektive Elemente, beispielsweise geeignete Spiegelelemente und insbesondere einstellbare reflektive Elemente, wie beispielsweise DMD können gleichermaßen zur Modifikation der PSF im Rahmen der Erfindung verwendet werden. Das erfindungsgemäße Mikroskop nutzt vorteilhafterweise nebeneinanderliegende Abschnitte einer Kamera zur Realisierung der zwei Detektoren. Diese liegen dann zwangsläufig in einer Ebene, und ein Strahlengang, der zu einem der Detektoren führt, ist länger als der andere, der zum anderen Detektor leitet. Natürlich können auch getrennte Detektoren verwendet werden, die in unterschiedlicher optischer Weglänge zur Abbildungsoptik liegen. So kann beispielsweise der Strahlteiler 18 genutzt werden, um die Strahlengänge zu trennen, ohne dass die Strahlengänge nachher wieder in parallel liegende Abschnitte zusammengeführt werden. Der Detektor 3.2 läge dann in der Darstellung der Fig. 1 um 90° gedreht nahe des unteren Bildrandes. In den Ausführungsformen ist zur Verstellung der Relativlage der Fokusebenen F1 und F2 eine Verstellung des Strahlengangs zu einem der Detektoren beschrieben . Naturlich kann man auch den Strahlengang an sich unverstellt lassen und einen der Detektoren verschieben, wenn eigenständige Detektorelemente verwendet werden. Weitere Modifikationen sind im Rahmen der beanspruchten Erfindung möglich, um das erfindungsgemäße Konzept gemäß den Ansprüchen zu realisieren.

Claims

Patentansprüche
1 . Verfahren zur 3D-hochauflÖsenden Lokalisierungsmikroskopie, die eine Probe (2) in einer Tiefenrichtung (z) und quer dazu (x, y) hochaufiösend abbildet, wobei
a) in der Probe (2) wiederholt Fluoreszenzemitter zur Abgabe von Fluoreszenzstrahlung angeregt und von der Probe (2) mit einem Mikroskop (1 ), das einen Abbildungsstrahlengang (4) mit einer optischen Auflösung aufweist, Einzelbilder (10) erzeugt werden, wobei die Fluoreszenzemitter derart zur Abgabe von Fluoreszenzstrahlung angeregt werden, dass zumindest ein Teil der fluoreszierenden Fluoreszenzem itter in jedem Einzelbild ( 1 0) derart isoliert ist, so dass die Abbilder ( 1 ) dieser fluoreszierenden Fluoreszenzemitter (26a-d) im Rahmen der optische Auflösung in den Einzelbildern ( 10) trennbar sind,
b) mitteis eines Phasenelements (13), das in eine Pupille (12) des Abbildungsstrahlengangs (4) gestellt wird und zwei Hälften des Pupillenquerschnitts unterschiedlich beeinflusst, als Abbild (1 1 ) jedes der fluoreszierenden Fluoreszenzem itter ein Spot (14) mit nicht rotationssym metrischem Umriss gebildet wird, wobei eine Reiativlage von Bestandteilen (1 5a, 15b) jedes Spots (14) von der Lage des jeweiligen fluoreszierenden Fluoreszenzemitters in der Tiefenrichtung (z) abhängt,
c) der Abbildungsstrahlengang (4) in Abbildungsrichtung gesehen nach der Pupille in zwei Teilabbildungsstrahlengänge (17.1 , 1 .2) aufgeteilt wird, die jeweils zu einem von zwei
Detektoren (3.1 , 3.2) führen, wobei die zwei Teilabbildungsstrahlengänge ( 7.1 , 17.2) um einen bestimmten Weglängenunterschied unterschiedliche Abbildungslängen haben, so dass die zwei Detektoren (3.1 , 3.2) das Einzelbild (10) in Form von simultanen Einzelbildpaaren (10.1 , 10.2) desselben Fluoreszenzzustandes der Probe (2) aus zwei verschiedenen Fokusebenen (F1 , F2), die in Tiefenrichtung (z) um einen Abstand beabstandet sind, aufnehmen,
d) für die Spots (14) in jedem sim ultanen Einzelbildpaar (10.1 , 10.2) aus den Relativlagen der Bestandteile ( 1 5a, 1 5b) der Spots (14) eine Tiefenangabe für die Lage der fluoreszierenden Fluoreszenzemitter (26a-d) in der Tiefenrichtung (z) abgeleitet wird,
e) die simultanen Einzelbildpaare (10.1 , 10.2) hinsichtlich der Tiefenangabe entsprechend dem Abstand der Fokusebenen (F1 , F2) zusammengesetzt werden, f) in den simultanen Einzelbildpaaren (10.1 , 10.2) vor oder nach Schritt e) die für die im Rahmen der optischen Auflösung trennbaren fluoreszierenden Fluoreszenzemitter (26a-d) deren Lagen in der Tiefenrichtung (z) und quer dazu (x, y) mit einer über die optische Auflösung hinaus gehenden Ortsgenauigkeit lokalisiert werden und daraus ein hochaufgelöstes Gesamtbild der Dicke (2) erzeugt wird.
2. Verfahren nach Anspruch 1 , wobei in Schritt e) der Abstand der Fokusebenen (F1 , F2) auf Basis des Weglängenunterschiedes der Teilstrahlengänge (17.1 , 1 7.2) ermittelt wird.
3. Verfahren nach Anspruch 1 , wobei in Schritt c) der Abstand, um den die zwei verschiedenen Fokusebenen (F1 , F2) beabstandet sind, kleiner ist als ein Tiefenbereich (T1 , T2) über den aus den Spots (14) die Angabe die Lage der fluoreszierenden Fluoreszenzemitter in der Tiefenrichtung (z) ermittelt wird, wodurch die Einzelbilder jedes simultanen Einzelbildpaars (10.1 , 10.2) in Tiefenrichtung (z) in einem Überlappbereich (U) überlappen.
4. Verfahren nach Anspruch 3, wobei in Schritt e) eine Korrelation zwischen Strukturen im Überiappbereich (U) der Einzeibildpaare (10.1 , 10.2) verwendet wird.
5. Mikroskop zur hochauflösenden Abbildung einer Probe (2) in einer Tiefenrichtung (z) und quer dazu (x, y), das aufweist:
einen Anregungssirahlengang zur Beleuchtung einer Probe (2),
einen Abbildungsstrahlengang (4) mit einem Objektiv (5) und zwei Detektoren (3.1 , 3.2), ein Phasenelement (13); das in einer Pupille (12) des Abbildungsstrahlengangs (4) steht und zwei Hälften des Pupälienquerschnitts unterschiedlich beeinflusst, wobei
- der Abbildungsstrahlengang (4) in Abbildungsrichtung gesehen nach der Pupille (12) in zwei Teiiabbildungsstrahiengänge aufgeteilt ist, die jeweils zu einem der zwei Detektoren (3.1 , 3.2) führen, wobei die zwei Teilabbildungsstrahlengänge (17.1 , 17.2) um einen bestimmten Weglängenunterschied unterschiedliche Abbildungsiängen haben, so dass die zwei Detektoren (3.1 , 3.2) Bilder der Probe (2) aus zwei verschiedenen Fokusebenen (F1 , F2), die in Tiefenrichtung (z) um einen Abstand beabstandet sind, aufnehmen.
6. Mikroskop nach Anspruch 5, wobei das Phasenelement (13) als Glaskeil oder Rampe ausgebildet ist und in der Pupille (12) quer zur optischen Achse zum Einstellen der Phasenverschiebungswirkung verschiebbar ist.
7. Mikroskop nach Anspruch 5 oder 6, wobei einer der zwei Teilabbildungsstrahlengänge (17.1 , 17.2) eine Weglängenverstelleinrichtung (25) zur Einstellung des Abstands der zwei verschiedenen Fokusebenen (F1 , F2) aufweist.
PCT/EP2014/058451 2013-05-07 2014-04-25 Mikroskop und verfahren für die 3d-hochauflösende lokalisierungsmikroskopie mit vergrössertem messbereich WO2014180680A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/889,417 US10042153B2 (en) 2013-05-07 2014-04-25 Microscope and method for 3D high-resolution localization microscopy with an enlarged measurement region

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013208415.3 2013-05-07
DE102013208415.3A DE102013208415B4 (de) 2013-05-07 2013-05-07 Mikroskop und Verfahren für die 3D-hochauflösende Lokalisierungsmikroskopie

Publications (1)

Publication Number Publication Date
WO2014180680A1 true WO2014180680A1 (de) 2014-11-13

Family

ID=50588699

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2014/058451 WO2014180680A1 (de) 2013-05-07 2014-04-25 Mikroskop und verfahren für die 3d-hochauflösende lokalisierungsmikroskopie mit vergrössertem messbereich

Country Status (3)

Country Link
US (1) US10042153B2 (de)
DE (1) DE102013208415B4 (de)
WO (1) WO2014180680A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111189807A (zh) * 2018-11-14 2020-05-22 卡尔蔡司显微镜有限责任公司 基于波动的荧光显微术

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9921161B1 (en) * 2015-01-08 2018-03-20 Daniel Feldkhun Structured light active localization microscopy
US10215975B2 (en) * 2015-02-06 2019-02-26 The Regents Of The University Of Colorado, A Body Corporate Method and/or system for stabilization, tracking, and/or control of microscopic systems
CA2991920C (en) * 2015-04-23 2024-05-14 The University Of British Columbia Multifocal method and apparatus for stabilization of optical systems
JP6635125B2 (ja) * 2015-11-27 2020-01-22 株式会社ニコン 顕微鏡、観察方法、及び画像処理プログラム
DE102017101188B4 (de) 2017-01-23 2021-09-30 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zum Mikroskopieren einer Probe
US10522326B2 (en) * 2017-02-14 2019-12-31 Massachusetts Institute Of Technology Systems and methods for automated microscopy
DE102018220779A1 (de) * 2018-12-03 2020-06-04 Carl Zeiss Microscopy Gmbh Nachweisverfahren von induzierten Lichtsignalen in einer dreidimensionalen Region einer Probe
CN115994983B (zh) * 2023-03-24 2023-06-02 湖南大学 一种基于快照式编码成像系统的医药高光谱重构方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011085766A1 (de) * 2009-12-22 2011-07-21 Carl Zeiss Microimaging Gmbh Hochauflösendes mikroskop und verfahren zur zwei- oder dreidimensionalen positionsbestimmung von objekten
WO2012039636A2 (en) * 2010-09-24 2012-03-29 Christian Soeller "3d localisation microscopy and 4d localisation microscopy and tracking methods and systems"

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2453239B1 (de) 2005-05-23 2017-04-26 Harald F. Hess Optische Mikroskopie mit transformierbaren optischen Markern
DE102006021317B3 (de) 2006-05-06 2007-10-11 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Fluoreszenzlichtmikroskop zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
US7772569B2 (en) 2008-04-01 2010-08-10 The Jackson Laboratory 3D biplane microscopy
DE102009060490A1 (de) 2009-12-22 2011-06-30 Carl Zeiss Microlmaging GmbH, 07745 Hochauflösendes Mikroskop und Bildteileranordnung
DE102010044031A1 (de) 2010-11-17 2012-05-24 Robert Bosch Gmbh Ultraschallbasierte Richtungsbestimmung von Objekten in einer Fahrzeugumgebung

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011085766A1 (de) * 2009-12-22 2011-07-21 Carl Zeiss Microimaging Gmbh Hochauflösendes mikroskop und verfahren zur zwei- oder dreidimensionalen positionsbestimmung von objekten
WO2012039636A2 (en) * 2010-09-24 2012-03-29 Christian Soeller "3d localisation microscopy and 4d localisation microscopy and tracking methods and systems"

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SRI RAMA ET AL: "Polarization sensitive, three-dimensional, single- molecule imaging of cells with a double-helix system References and links", OPTICS EXPRESS, vol. 17, no. 22, 15 September 2009 (2009-09-15), pages 19644 - 19655, XP055128068, Retrieved from the Internet <URL:http://www.opticsinfobase.org/DirectPDFAccess/36C98E16-B98B-042E-DD4CECF5C79EDF9E_186846/oe-17-22-19644.pdf?da=1&id=186846&seq=0&mobile=no> [retrieved on 20140710] *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111189807A (zh) * 2018-11-14 2020-05-22 卡尔蔡司显微镜有限责任公司 基于波动的荧光显微术
US10883940B2 (en) 2018-11-14 2021-01-05 Carl Zeiss Microscopy Gmbh Fluctuation-based fluorescence microscopy
CN111189807B (zh) * 2018-11-14 2024-04-12 卡尔蔡司显微镜有限责任公司 基于波动的荧光显微术

Also Published As

Publication number Publication date
US20160085062A1 (en) 2016-03-24
US10042153B2 (en) 2018-08-07
DE102013208415B4 (de) 2023-12-28
DE102013208415A1 (de) 2014-11-13

Similar Documents

Publication Publication Date Title
DE102013208415B4 (de) Mikroskop und Verfahren für die 3D-hochauflösende Lokalisierungsmikroskopie
EP2803977B1 (de) Verfahren zur 3D-hochauflösenden Lokalisierungsmikroskopie
EP3177957B1 (de) Hochauflösende scanning-mikroskopie mit der unterscheidung mindestens zweier wellenlängenbereiche
WO2012065910A1 (de) Tiefenauflösungsgesteigerte mikroskopie
EP2802921B1 (de) Mikroskop und verfahren für die hochauflösende 3-d fluoreszenzmikroskopie
EP2807515B1 (de) Mikroskop und verfahren für die hochauflösende 3-d fluoreszenzmikroskopie
DE102013218795A1 (de) Laserscanningmikroskop und Verfahren zur Korrektur von Abbildungsfehlern insbesondere in der hochauflösenden Scanning-Mikroskopie
DE102011000835A1 (de) Abtastmikroskop und Verfahren zur lichtmikroskopischen Abbildung eines Objektes
DE102013106895B4 (de) Lichtmikroskopisches Verfahren zur Lokalisierung von Punktobjekten
DE112011103187T5 (de) 3D-Lokalisierungsmikroskopie- und 4D-Lokalisierungsmukroskopie sowie Verfolgungs-Verfahren und - Systeme
EP2803978B1 (de) Verfahren zur 3D-hochauflösenden Lokalisierungsmikroskopie
EP3394656A2 (de) Vorrichtung und verfahren zur bildaufnahme
DE102020209889A1 (de) Mikroskop und Verfahren zur mikroskopischen Bildaufnahme mit variabler Beleuchtung
DE102017113683A1 (de) Hochauflösende Scanning-Mikroskopie mit der Unterscheidung mindestens zweier Wellenlängenbereiche
DE102012201286A1 (de) Mikroskop und Verfahren für die wellenlängenselektive und örtlich hochauflösende Mikroskopie
DE102011083718A1 (de) Konfokales Spektrometer und Verfahren zur Bildgebung in einem konfokalen Spektrometer
WO2017013033A1 (de) Hochauflösende, spektral selektive scanning-mikroskopie einer probe
WO2016173662A1 (de) Lichtemissionsmessgerät und verfahren zur messung von lichtemission
DE102012202730A1 (de) Wellenlängenselektive und örtlich hochauflösende Fluoreszenzmikroskopie
WO2014147257A1 (de) Lichtmikroskopisches verfahren zur lokalisierung von punktobjekten
DE102011007751B4 (de) Weitfeldmikroskop und Verfahren zur Weitfeldmikroskopie
EP2767797B1 (de) Niedrigkohärenzinterferometer und Verfahren zur ortsaufgelösten optischen Vermessung des Oberflächenprofils eines Objekts
DE102013208872B4 (de) Verfahren zur Erzeugung eines Bildes einer Probe
DE102016104651A1 (de) Verfahren und Rasterfluoreszenzlichtmikroskop zum dreidimensional hochauflösenden Abbilden einer mit Fluorophoren markierten Struktur einer Probe
DE102019118446A1 (de) Verfahren und Mikroskop mit einer Korrekturvorrichtung zur Korrektur von aberrationsinduzierten Abbildungsfehlern

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14719749

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14889417

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14719749

Country of ref document: EP

Kind code of ref document: A1