WO2014147257A1 - Lichtmikroskopisches verfahren zur lokalisierung von punktobjekten - Google Patents

Lichtmikroskopisches verfahren zur lokalisierung von punktobjekten Download PDF

Info

Publication number
WO2014147257A1
WO2014147257A1 PCT/EP2014/055800 EP2014055800W WO2014147257A1 WO 2014147257 A1 WO2014147257 A1 WO 2014147257A1 EP 2014055800 W EP2014055800 W EP 2014055800W WO 2014147257 A1 WO2014147257 A1 WO 2014147257A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth
field
sample
point
light spot
Prior art date
Application number
PCT/EP2014/055800
Other languages
English (en)
French (fr)
Inventor
Jonas FÖLLING
Original Assignee
Leica Microsystems Cms Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Microsystems Cms Gmbh filed Critical Leica Microsystems Cms Gmbh
Priority to CN201490000520.6U priority Critical patent/CN206178237U/zh
Priority to JP2016504605A priority patent/JP6659531B2/ja
Priority to US14/778,638 priority patent/US9665940B2/en
Publication of WO2014147257A1 publication Critical patent/WO2014147257A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/02—Simple or compound lenses with non-spherical faces
    • G02B3/06—Simple or compound lenses with non-spherical faces with cylindrical or toric faces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the invention relates to a light microscopic method for the localization of
  • Point objects in a sample in which the sample disposed in an object space is imaged on the detector by means of imaging optics having in the object space a depth of field of predetermined axial extent along its optical axis, and the point objects contained in the sample within the sample
  • Depth of field can be located by a first sample image, which is generated by the imaging of the sample on the detector, is evaluated, wherein for the localization of the respective point object in the direction of the optical axis of a
  • Assignment information is assigned to the point object related axial z-position.
  • Point objects so-called markers are prepared, which have two distinguishable states, namely a "bright” state and a “dark” state.
  • the bright state is a fluorescent state and the dark state is not
  • photoswitchable or photoactivatable fluorescence molecules are used.
  • photoswitchable or photoactivatable fluorescence molecules are used.
  • DE 10 2006 021 317 B3 inherent
  • the density of the markers forming this active subset is to be selected so that the mean distance between adjacent markers in the bright and thus light-microscopically imageable state is greater than the resolution limit of the imaging optics.
  • the markers forming the active subset are formed on a spatially resolving light detector, e.g. a CCD camera, so that a light distribution in the form of a light spot is detected by each punctiform marker whose size is determined by the resolution limit of the optics. In this way, a plurality of raw data frames are recorded, in each of which a different active subset is mapped. In an image evaluation process, the focal point positions of the raw data are then displayed in each raw data single image
  • Focus positions of the light distributions are then compiled in an overall representation in the form of an overall image data set. That through this
  • the number of raw data frames ranges from 10,000 to 100,000.
  • axial direction is meant the direction in the optical axis of the imaging optics, ie the main propagation direction of the light.
  • a localization of a point-shaped object in the z-direction can in principle be carried out by evaluating the change in a detected on the detection surface of the camera light spot, which is visible when the point object moves out of the detection surface to the optically conjugate focus or focal plane.
  • a point object is to be understood as an object whose dimensions are smaller than the diffraction-related resolution limit of the imaging optics, in particular of the detection objective.
  • the detection lens images such an object into the image space in the form of a three-dimensional focus light distribution.
  • the focus light distribution generates a light spot on the detection surface of the camera, which is characterized by the so-called "point-spread function", ie point imaging function or PSF for short Now moving the point object in the z-direction through the focus, ie perpendicular to the focus plane, this changes the size and shape of the PSF If the detection signal corresponding to the detected light spot is obtained with regard to the size and shape of the PSF, conclusions can be drawn about the actual z position of the object.
  • point-spread function ie point imaging function or PSF
  • Detection surface generates a light spot, which is still sharp enough to be evaluated for localization of the point object in the z-direction can. This the
  • Sharp plane containing area in the z direction is hereinafter referred to as
  • Double helix method (see Pavani et al.) This method has in common that for localizing the point object in the z direction of the light spot generated on a detector is analyzed to determine a characteristic and this
  • Characteristic is assigned a z-position of the point object. This assignment takes place on the basis of an assignment information determined in advance, which relates the parameter to the z position of the point object. As a parameter comes
  • a size considering the Shape of the light spot or, as in the case of the Bi-Plane method, a quantity which relates the extents of two light spots originating from the same light spot and generating detection areas whose associated sharpness planes are present in the object space in the object space. Direction are offset from each other.
  • assignment information that allows an assignment between the determined in the measurement parameter and an axial z-position of the point object, is often so inaccurate that a precise determination of the z-position is not possible.
  • the assignment information is dependent on changes in the optical properties of the sample. Even slight changes in the optical properties lead to those required in localization microscopy
  • High performance optics for aberrations e.g. to spherical aberrations.
  • the shape of the PSF given by the light spot changes and thus the association information, which is determined, for example, in the form of a calibration curve, is no longer correct for the new optical conditions.
  • the light spot detected on the detector is assigned the wrong z position.
  • Assignment information for example, in the form of a calibration curve, although regularly the desired resolution, but not a precise determination of the absolute z-position of the point object.
  • Assignment information for example, in the form of a calibration curve, although regularly the desired resolution, but not a precise determination of the absolute z-position of the point object.
  • the object of the invention is therefore a light microscopic method for
  • the invention achieves this object according to claim 1, characterized in that the focal depth range within which the point objects are located is displaced in the object space relative to the sample along the optical axis by a predetermined axial displacement which is smaller than the axial extent of the depth of field ; in the case of an axially shifted depth of field, the sample is imaged again onto the detector by means of the imaging optics and at least one second sample image is generated; in the second sample image, the z-positions of the point objects are determined as a function of the predetermined axial displacement path; the z-positions of the point objects determined in the first sample image with those in the second sample image
  • the depth of field according to the invention in the object space means an area in the z-direction about the central focal or focal plane within which a point object on the detector generates a light spot which is still sharp enough to localize the object Point object can be evaluated in z direction. It is not necessary to fully exploit this maximum possible depth of field. So it may be useful in
  • the depth of field of the imaging optics the axial extent of which is known along the optical axis, displaced relative to the sample by an axial displacement, which is smaller than the axial extent of the depth of field.
  • Depth of field range and the shifted depth of field in the object space is a certain overlap along the optical axis.
  • the adjustment range is in a range of 5 to 90%, 10 to 80%, 15 to 70%, 20 to 60% or 25 to 50% of the axial extent of the depth of field. It goes without saying that these ranges of values are only to be understood as examples.
  • Adjustment path which is smaller than the axial extent of the depth of field, is to be understood that the two depth of field considered, namely the original and the shifted depth of field, have an overlap along the optical axis.
  • the invention also covers a sequence of steps of shifts of the depth of field in which, in a single
  • Step the depth of field is shifted by an adjustment that is greater than the extent of the depth of field, if the sequence of steps leads to the fact that between the considered depth of field, the above-mentioned axial overlap is realized.
  • the fact that the axial displacement by which the depth of field is shifted in one or more steps in the object space is smaller than the axial extent of the depth of field means that the displacement of the
  • Resolution accuracy of the imaging optics in the z-direction exceeds. This can be achieved, for example, via a piezoelectric actuator, which shifts either the imaging optics or the sample in the z-direction. It is also possible to move the
  • Depth of field to use a suitable optical element such as a deformable lens, a deformable or movable mirror or a spatial light modulator.
  • the correction according to the invention enables a three-dimensional microscopic imaging beyond the depth of field, which was previously not possible due to the distortion of the image in the z-direction.
  • Depth of field ranges extends. However, this approach requires localization of the point objects in the z-direction with a precision that was not previously available. Only achieved by the inventive method precision allows merging multiple images in the z-direction, without distorting between the images
  • correction information by means of which the z positions of the point objects are corrected is provided in the form of a correction rule by which z positions of the point objects determined according to the original (erroneous) assignment information are assigned according to the invention corrected z positions
  • a separate correction rule is determined for each of the depth-of-field areas following each other in the z-direction and applied to localize the point objects in this depth of field.
  • the method according to the invention can be used profitably in particular in cases in which the calibration curve is variable by changing the optical properties of the sample or of the light path through the sample.
  • different calibrations may apply to different regions of the sample.
  • An example of this are samples embedded in aqueous media. The deeper the focal plane of the image is drawn into the sample, the more water must pass through the light, which has a different refractive index than the other optical materials, such as immersion oil and glass.
  • the optical image and thus also the calibration curve changes depending on the z-position of the depth of field.
  • one of the first and the second sample image in each case
  • Image data set to understand as it is realized for example by or the above-explained raw data frames.
  • At least one z-difference position is defined, which is stationary relative to the depth of field.
  • At least one of those light spots from the at least one second sample image generated on the detector with an axially shifted depth of field region, which represent the point objects arranged in the axially shifted depth of field in the z reference position is defined as a reference light spot.
  • the z position of the point object represented by the reference light spot is determined in the object space depending on the axial displacement of the depth of field and the z reference position.
  • One of the light spots, from the first sample image representing the same point object as the reference light spot of the second sample image is identified as a reference light spot.
  • the correction information is generated, on the basis of which
  • Assignment information determined z positions of the point objects are corrected.
  • At least one z-reference position is defined, which is stationary relative to the depth of field.
  • the latter means that the z reference position is moved, as it were, with the depth of field in the object space.
  • the axially upper or axially lower limit of the depth of field in the object space can be defined as the z-reference position.
  • the z-position, in which the central focus plane of the depth of field is located, is also suitable as the z-reference position.
  • Depth of field which is unaffected by optical aberrations, to be used during the current measurement, e.g. to carry out reference measurements in the sample at certain intervals, on the basis of which a faulty
  • Calibration can be corrected. This correction is based on that in the
  • the depth of field is axially displaced in several steps.
  • the correction information is then based on the respective
  • the z-position determined as a function of the allocation information for the respective comparison light spot is determined by the z-position determined by the
  • this Replacement generates a correction function forming the correction information.
  • this correction function preferably covers the entire depth of field with which the first sample image has been recorded.
  • Depth of field no comparative light spots and reference light spots are available, determined by interpolation.
  • the z positions which are determined exactly by shifting the z reference position, form support points on the basis of which the interpolation, for example a simple spline interpolation, can be carried out.
  • a suitable model function is chosen, the typical one
  • the z-positions of the point objects determined by incrementally shifting the depth of field are superimposed to form an overall localization image.
  • the (second) sample images are used not only for correcting the z-positions detected in the original (first) sample image, but for building up an overall localization image extending in the z-direction over a region larger than the original depth of field.
  • the axial adjustment path by which the depth of field is shifted in the object space is detected by means of a sensor. This ensures that the axial displacement that in the correction of the determined z-positions of the
  • Depth of field relative to the sample may be accomplished by either moving the sample relative to the imaging optic or the imaging optic relative to the sample along the optical axis.
  • the invention is not limited thereto.
  • a cylindrical lens disposed in front of the detector is used, which results in a distinctive change in the shape of the light spot generated on the detector when the spot object associated with the light spot is moved along the optical axis from one side to the other side of a focus plane lying in the depth of field , The change in shape of the light spot can then be used as a characteristic for localization in the z direction.
  • shape of the light spot is to be understood so that it does not rely solely on the shape of a
  • Single spot reference but also includes the form of a total formed of multiple light spots entirety, as it is found, for example, in the double helix method mentioned above. There, for example, two spots of light are considered, which, as it were, perform a rotational movement relative to each other.
  • the comparison structure formed by the comparative light spots is identified taking into account its brightness, i. taking into account the total number of individual spots contributing to this structure.
  • Assignment information of certain z-positions are used, but also be used to generate a total localization image.
  • the assignment information can be obtained, for example, by a
  • Calibration point object within the depth of field moves along the optical axis and the characteristic of a calibration point object representing the light spot of a calibration image generated on the detector is detected as a function of the z-position of the calibration point object.
  • the characteristic used is, for example, the shape and / or the extent of the light spot on the detector.
  • a light-microscopic device for localizing point objects in a sample is provided according to claim 14.
  • the invention will be explained in more detail below with reference to FIGS. Show:
  • Fig. 1 is a schematic diagram showing an embodiment for locating a point object in the z direction
  • Fig. 2 is a schematic representation showing an alternative embodiment of the
  • Fig. 3 is a ZuOrdnungsvorschrift, by which the shape of the on a
  • Point object is set relative to a focus plane
  • Fig. 4 is a schematic representation in which the invention used
  • Fig. 5 is a schematic representation which by a faulty
  • Fig. 6 is a schematic representation for illustration, as by the
  • FIG. 7 is a graph showing, by way of example, a correction function generated by the method of FIG. 6.
  • FIG. 1 shows a light microscope device 10 with an objective 12 as
  • Imaging optics and a detection surface 14 The arrangement according to FIG. 1 has two separate detection channels, of which a left channel in FIG. 1 is essentially provided by the objective 12 and a first tube lens 16, while a right channel from the objective 12 is shown in FIG and a second tube lens 18 is formed. That from A light emitted from a point object 20 is transmitted through a beam splitter 22 as well
  • Deflection mirror 24, 26 and 28 are passed in equal parts in the two detection channels.
  • the two detection channels differ slightly in their focus position.
  • the first detection channel has a first image plane 30, which is optically conjugate to a first focus plane 32, while the other detection channel is opposite to the first image plane 30 in a direction parallel to the optical axis O of the objective 12, i. in the z-direction offset second image plane 34, which leads to a second focus plane 36, which in turn in the z direction relative to the first
  • Sharp plane 32 is offset, is optically conjugate. Is the point object 20 to be located in the focus plane of the one
  • Detection channel it is sharply imaged there by the lens 12, while it is blurred in the other detection channel. If it is located between the two sharpening planes 32 and 36, it is imaged blurred in both detection channels.
  • FIG. 1 illustrates the above-explained situation by light spots 38, 40, 42 and 44 which are generated on the detection surface 14 as a function of the z position of the point object 20 relative to the sharpening planes 32 and 36.
  • the light spots 38, 40, 42, 44 are therefore shown in Figure 1 in the plan view of the x-y plane.
  • the light spots 38, 40, 42 and 44 are each characterized by the PSF resulting from the focus light distribution generated by the objective 12 on the detection surface 14. If the point object 20 is located in the first focus plane 32, the comparatively small light spot 38 results on the detection surface 14 in the left detection channel and the large light spot 42 in the right detection channel. If the point object 20 is arranged in the focus plane 36, then On the detection surface 14 in the left detection channel the large light spot 40 is formed and in the right detection channel the small light spot 44.
  • a parameter can now be derived that is a measure of the z position of the point object 20 relative to the focus planes 32 and 36.
  • the expansion of the light spot 38 or 44 generated in the left detection channel can be set as a parameter become the extension of the light spot 42 and 44 generated in the right detection channel.
  • FIG. 2 shows an embodiment in which the abovementioned parameter, which makes it possible to determine the z-position of the point object, is detected in another way.
  • FIG. 2 initially shows a conventional arrangement in partial image a), in which the point object 20 is imaged onto a detection surface 56 via an imaging optical unit 54 formed by an objective lens 50 and a tube lens 52.
  • the point object 20 is to be located in a focus plane 58, which is an area optically conjugate to the detection surface 56.
  • the imaging optic 54 shapes the light emanating from the point object 20 into a three-dimensional focus light distribution incident on the detection surface 56.
  • Detection surface 56 thus detects a light spot 60, which represents a plane, perpendicular to the z-direction section through the focus light distribution. To better illustrate the situation, in Figure 2, the light spot 60 is shown in plan view of the detection surface 56, i. shown in the x-y plane.
  • FIG. 2 shows, in partial image b), an embodiment modified according to the invention, in which, in addition to the object 50 and the tube lens 52, a cylindrical lens 62 is provided.
  • the cylindrical lens 62 has different refractive powers in the x and y directions and thus different focal positions for the x and y directions. Accordingly, the light spot 60 on the detection surface 56 is deformed in a cross shape in the x and y directions.
  • the point object 20 is in the field b) exactly in the middle of the two now different levels of sharpness, this center position is again denoted by 58.
  • the cross-shaped light spot 60 remains symmetric in the above
  • FIG. 2 shows in sub-picture c) a case in which the point object 20 above the
  • Sharp plane 58 is arranged. This offset from the focus plane 58 causes the light spot 60 on the detection surface 56 to be deformed asymmetrically to form an ellipse. In this case, the further the point object 20 moves away from the focal plane 58, the more pronounced the elliptical shape of the light spot 60 becomes.
  • FIG. 2 shows in part d) a case in which the point object 20 is located below the focus plane 58.
  • the light spot 60 is elliptically deformed on the detection surface 56, but in an orientation that is different from the orientation of the light spot 60 in field c). Accordingly, it can be seen from the shape of the light spot 60, whether the point object 20 above or below the
  • Sharp plane 40 is arranged.
  • the z-position of the point object 20 relative to the focus plane 58 can be determined on the basis of the shape and the extent of the light spot 60 on the detection surface 56.
  • a ZuOrdnungsvorschrift which is shown by way of example in Figure 3.
  • Such a ZuOrdnungsvorschrift can be obtained by calibration measurements in which a calibration point object moves in the z-direction from one side to the other side of the focus plane 58 and thereby determines the shape of the light spot for the now known z-positions.
  • a special calibration sample is used for this, e.g. a sample with fluorescent beads or illuminated and scattering nanoparticles as calibration point objects.
  • FIG. 3 shows an assignment rule created in accordance with the above.
  • the difference between the expansion of the light spot in the x direction denoted by s x and the extension of the light spot PSF denoted by s y in the y direction is defined as parameter d.
  • d the difference between the expansion of the light spot in the x direction denoted by s x and the extension of the light spot PSF denoted by s y in the y direction.
  • This position is then stored together with the xy position and is available for creating a high-resolution three-dimensional image.
  • the aforementioned double helix method is suitable for generating such a ZuOrdnungsvorschrift.
  • a ZuOrdnungsvorschrift in the form of the type shown in Figure 3 is only an exemplary embodiment. So it is e.g. it is also possible to perform image comparisons in the form of correlations between the measured PSFs and pre-stored or calculated PSFs. The z-position of the stored or calculated PSF, which has the greatest similarity to the measured PSF, is then considered to be the correct z-position.
  • a measured PSF is not identical in shape to one of the stored or calculated PSFs, it can be assigned, for example by interpolation, a z-position which lies between the z-positions of the stored or calculated PSFs, that of the measured PSF am are most similar.
  • FIGS. 4 to 7 it is explained below by way of example how the localization of point objects can be corrected according to the invention on the basis of an assignment rule of the type described above.
  • Figure 4 shows a purely schematic representation of an embodiment of
  • a lens 70 images a sample 76 mounted on a coverslip 72 onto the detector through an immersion medium 78.
  • the objective 70 has a depth of field 78 which is along the optical axis O of the objective 70, i. in the z-direction, has an axial extent t.
  • Depth of field 78 is set so that point objects located within the depth of field 78 are imaged by the objective 70 in the form of light spots on the detector which are sharp enough to detect, for example, a locating order of the type shown in FIG
  • the device according to FIG. 4 further comprises a control unit 80 which controls the overall operation of the device.
  • the control unit 80 has computing means which provide the necessary calculations for locating the point objects
  • the control unit 80 further controls a piezoactuator 82, with which the objective 70 can be moved along the optical axis O, to the depth of field range 78 in a defined manner along the optical axis O to
  • a coupled to the control unit 80 sensor 84 detects the adjustment path by which the lens 70 and thus the depth of field 78 within the
  • the sample 76 includes various structures 90, 92, 94, 96 and 98, which are incorporated in the
  • Depth of field range 78 are arranged in different z-positions. The
  • Structures 90, 92, 94, 96 and 98 are associated with markers which belong to
  • FIG. 5 is a diagram illustrating how a defective one is illustrated
  • FIG. 6 shows how this upset of the image caused by the erroneous assignment rule is successively eliminated by the
  • Depth of field range 78 is moved in several steps in the z direction.
  • partial image a) of FIG. 6 corresponds to the situation illustrated in FIG.
  • a z-reference position is defined that is fixed relative to the depth-of-field region 78, i. together with the
  • Depth of field 78 is moved in the object space.
  • the lower limit of the depth-of-field region 78 designated z s is set as the z reference position. Since this z reference position is known, one can accurately and accurately detect the z position of the structure within the sample that is in the z reference position.
  • Depth of field range 78 has not yet moved, this applies to the structure 90.
  • Depth of field range 78 together with its z-reference position to the position z s zi, the situation shown in the partial image b) of Figure 6 results.
  • the structure 92 is in the z-reference position of the depth-of-field region 78.
  • the z-position can now be determined exactly.
  • the light spots which are generated by the point objects arranged in the z reference position on the detector are referred to below as reference light spots. Based on these reference light spots, light spots are now identified in the previously recorded first sample image (partial image a of FIG. 6) which offset the reference light spots of the reference image
  • Depth of field range 78 recorded second sample image correspond. These spots of light contained in the first sample image will be referred to as
  • the adjustment path provided in the second shifting step is again equal to the amount D z ⁇ so that the z reference position is shifted to the position z 2 .
  • a sample image is taken and again that structure is considered which is in the z-reference position, ie at the lower limit of the
  • Depth of field range 78 is arranged. According to the partial image c) of FIG. 6, this is the structure 94 whose point objects on the detector generate the associated reference spots. On the basis of these reference light spots, in turn, in the first sample image (partial image a of FIG. 6), the associated comparison light spots
  • the structure 94 is searched for in the first sample image.
  • the structure 94 is assigned the z position ⁇ + '.
  • the correct position z 2 is plotted against this position ⁇ + '.
  • Model function that takes into account typical calibration errors, receive a correction rule.
  • Image processing algorithms are applied, which directly determine the distortions of the n-th image compared to the also occurring in the m-th image structures. It is only essential that there is additional information about the z-position of the considered structure via a high-precision displacement of the depth-of-field region, which information is cleverly used to localize the point objects.
  • the value ranges of z and z ' i. the depth of field and the corresponding image area can be flexibly adjusted if the correction rule can not be applied to the respective entire sample area.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

Beschrieben ist ein lichtmikroskopisches Verfahren zur Lokalisierung von Punktobjekten in einer Probe (76), bei dem die Probe (76) mittels einer Abbildungsoptik (70) auf einen Detektor (14, 56) abgebildet wird, und die in der Probe (76) enthaltenen Punktobjekte innerhalb des Schärfentiefenbereichs (78) lokalisiert werden, indem ein erstes Probenbild, das durch die Abbildung der Probe (76) auf dem Detektor (14, 56) erzeugt wird, ausgewertet wird. Zur Lokalisierung des jeweiligen Punktobjektes in Richtung der optischen Achse (O) wird eine Kenngröße (d) eines das Punktobjekt darstellenden Lichtflecks (38, 40, 42, 44, 60) des ersten Probenbildes ermittelt und dieser Kenngröße (d) in Abhängigkeit einer vorbestimmten Zuordnungsinformation eine auf das Punktobjekt bezogene axiale z-Position zugeordnet. Der Schärfentiefenbereich (78) wird relativ zur Probe (76) längs der optischen Achse (O) um einen vorbestimmten axialen Verstellweg verschoben, der kleiner als die axiale Ausdehnung (t) des Schärfentiefenbereichs (78) ist. Bei axial verschobenem Schärfentiefenbereich (78) wird die Probe (76) mittels der Abbildungsoptik (70) erneut auf den Detektor abgebildet und mindestens ein zweites Probenbild erzeugt. In dem zweiten Probenbild werden die z-Positionen der Punktobjekte in Abhängigkeit des vorbestimmten axialen Verstellwegs ermittelt. Die in dem ersten Probenbild ermittelten z-Positionen der Punktobjekte werden mit den in dem zweiten Probenbild ermittelten z-Positionen derselben Punktobjekte verglichen. In Abhängigkeit dieses Vergleichs wird eine Korrekturinformation erzeugt, an Hand der die in Abhängigkeit der Zuordnungsinformation ermittelten z-Positionen der Punktobjekte korrigiert werden.

Description

Lichtmikroskopisches Verfahren zur Lokalisierung von Punktobjekten
Die Erfindung betrifft ein lichtmikroskopisches Verfahren zur Lokalisierung von
Punktobjekten in einer Probe, bei dem die in einem Objektraum angeordnete Probe mittels einer Abbildungsoptik, die in dem Objektraum einen Schärfentiefenbereich vorbestimmter axialer Ausdehnung längs ihrer optischen Achse hat, einen Detektor abgebildet wird, und die in der Probe enthaltenen Punktobjekte innerhalb des
Schärfentiefenbereichs lokalisiert werden, indem ein erstes Probenbild, das durch die Abbildung der Probe auf dem Detektor erzeugt wird, ausgewertet wird, wobei zur Lokalisierung des jeweiligen Punktobjektes in Richtung der optischen Achse eine
Kenngröße eines das Punktobjekt darstellenden Lichtflecks des ersten Probenbildes ermittelt wird und dieser Kenngröße in Abhängigkeit einer vorbestimmten
Zuordnungsinformation eine auf das Punktobjekt bezogene axiale z-Position zugeordnet wird.
In jüngerer Vergangenheit wurden lichtmikroskopische Abbildungsverfahren entwickelt, mit denen sich basierend auf einer sequentiellen, stochastischen Lokalisierung von einzelnen Markern, insbesondere Fluoreszenzmolekülen, Probenstrukturen darstellen lassen, die kleiner sind als die beugungsbedingte Auflösungsgrenze klassischer
Lichtmikroskope. Solche Verfahren sind beispielsweise beschrieben in WO 2006/127692 A2; DE 10 2006 021 317 B3; WO 2007/128434 AI, US 2009/0134342 AI; DE 10 2008 024 568 AI; WO 2008/091296 A2;„Sub-diffraction-limit imaging by stochastic optical reconstruction microscopy (STORM)", Nature Methods 3, 793-796 (2006), M. J. Rust, M. Bates, X. Zhuang;„Resolution of Lambda/10 in fluorescence microscopy using fast Single molecule photo-switching", Geisler C. et al, Appl. Phys. A, 88, 223-226 (2007). Dieser neue Zweig der Mikroskopie wird auch als Lokalisierungsmikroskopie bezeichnet. Die angewandten Verfahren sind in der Literatur z.B. unter den Bezeichnungen (F)PALM ((Fluorescence) Photoactivation Localization Microscopy), PALMIRA (PALM with
Independently Running Acquisition), GSD(IM) (Ground State Depletion Individual Molecule Return) Microscopy) oder (F)STORM ((Fluorescence) Stochastic Optical Reconstruction Microscopy) bekannt. Den neuen Verfahren ist gemein, dass die abzubildenden Probenstrukturen mit
Punktobjekten, sogenannten Markern präpariert werden, die über zwei unterscheidbare Zustände verfügen, nämlich einen„hellen" Zustand und einen„dunklen" Zustand.
Werden beispielsweise Fluoreszenzfarbstoffe als Marker verwendet, so ist der helle Zustand ein fluoreszenzfähiger Zustand und der dunkle Zustand ein nicht
fluoreszenzfähiger Zustand.
In bevorzugten Ausführungsformen werden, wie z.B. in der WO 2008/091296 A2 und der WO 2006/127692 A2, photoschaltbare oder photoaktivierbare Fluoreszenzmoleküle verwendet. Alternativ können, wie z.B. in der DE 10 2006 021 317 B3, inhärente
Dunkelzustände von Standard-Fluoreszenzmolekülen genutzt werden.
Zur Abbildung von Probenstrukturen mit einer Auflösung, die höher als die klassische Auflösungsgrenze der Abbildungsoptik ist, wird nun wiederholt eine kleine Teilmenge der Marker in den hellen Zustand überführt. Dabei ist im einfachsten Falle die Dichte der diese aktive Teilmenge bildenden Marker so zu wählen, dass der mittlere Abstand benachbarter Marker im hellen und damit lichtmikroskopisch abbildbaren Zustand größer als die Auflösungsgrenze der Abbildungsoptik ist. Die die aktive Teilmenge bildenden Marker werden auf einem räumlich auflösenden Lichtdetektor, z.B. eine CCD-Kamera, abgebildet, so dass von jedem punktförmigen Marker eine Lichtverteilung in Form eines Lichtflecks erfasst wird, dessen Größe durch die Auflösungsgrenze der Optik bestimmt ist. Auf diese Weise wird eine Vielzahl von Rohdaten-Einzelbildern aufgenommen, in denen jeweils eine andere aktive Teilmenge abgebildet ist. In einem Bildauswerteprozess werden dann in jedem Rohdaten-Einzelbild die Schwerpunktpositionen der
Lichtverteilungen bestimmt, die die im hellen Zustand befindlichen, punktförmigen Marker darstellen. Die aus den Rohdaten-Einzelbildern ermittelten
Schwerpunktpositionen der Lichtverteilungen werden dann in einer Gesamtdarstellung in Form eines Gesamtbild-Datensatzes zusammengetragen. Das durch diese
Gesamtdarstellung entstehende hochaufgelöste Gesamtbild spiegelt die Verteilung der Marker wider.
Für eine repräsentative Wiedergabe der abzubildenden Probenstruktur müssen ausreichend viele Markersignale detektiert werden. Da jedoch die Anzahl an Markern in der jeweils aktiven Teilmenge durch den minimalen mittleren Abstand, den zwei Marker im hellen Zustand voneinander haben müssen, limitiert ist, müssen sehr viele Rohdaten- Einzelbilder aufgenommen werden, um die Probenstruktur vollständig abzubilden.
Typischerweise liegt die Anzahl an Rohdaten-Einzelbildern in einem Bereich von 10.000 bis 100.000.
Neben der vorstehend beschriebenen lateralen Positionsbestimmung der Marker in der Objektebene (im Folgenden auch als x-y-Ebene bezeichnet) kann auch eine Positionsbestimmung in axialer Richtung (im Folgenden auch als z-Richtung bezeichnet) erfolgen. Mit axialer Richtung ist dabei die Richtung in der optischen Achse der Abbildungsoptik, also die Hauptausbreitungsrichtung des Lichtes gemeint.
Dreidimensionale Lokalisierungen sind aus so genannten „Particle-Tracking"- Experimenten bekannten, wie sie in Kajo et. al., 1994, Biophysical Journal, 67, Holtzer et. al., 2007, Applied Physics Letters, 90 und Toprak et al., 2007, Nano Letters, 7(7) beschrieben sind. Sie wurden auch schon in bildgebenden Verfahren angewandt, die auf dem oben beschriebenen Schalten und Lokalisieren von Einzelmolekülen basieren. Hierzu wird auf Huang et al, 2008, Science, 319 und Juette et al., 2008, Nature Methods, verwiesen. Zum Stand der Technik wird ferner auf Pavani et al., 2009, PNAS, 106, verwiesen.
Eine Lokalisierung eines punktförmigen Objektes in z-Richtung kann grundsätzlich dadurch erfolgen, dass man die Veränderung eines auf der Detektionsfläche der Kamera erfassten Lichtflecks auswertet, die sichtbar wird, wenn sich das Punktobjekt aus der zur Detektionsfläche optisch konjugierten Schärfen- oder Fokalebene herausbewegt. Dabei ist im Folgenden unter einem Punktobjekt ein Objekt zu verstehen, dessen Abmessungen kleiner als die beugungsbedingte Auflösungsgrenze der Abbildungsoptik, insbesondere des Detektionsobjektivs sind. In diesem Fall bildet das Detektionsobjektiv ein solches Objekt in Form einer dreidimensionalen Fokuslichtverteilung in den Bildraum ab. Die Fokuslichtverteilung erzeugt auf der Detektionsfläche der Kamera einen Lichtfleck, der durch die sogenannte„Point-Spread-Function", also Punktabbildungsfunktion oder kurz PSF, charakterisiert ist. Wird nun das Punktobjekt in z-Richtung durch den Fokus, d.h. senkrecht zur Schärfenebene bewegt, so ändern sich Größe und Form der PSF. Analysiert man das dem erfassten Lichtfleck entsprechende Detektionssignal im Hinblick auf Größe und Form der PSF, so kann man dadurch Rückschlüsse auf die tatsächliche z-Position des Objekts erhalten.
Befindet sich das Punktobjekt zu weit von der Schärfenebene entfernt, so ist der auf der Detektionsfläche der Kamera erzeugte Lichtfleck so verschwommen, dass das
entsprechende Messsignal innerhalb des üblichen Messrauschens nicht mehr
wahrnehmbar ist. Es gibt also in dem Objektraum in z-Richtung einen Bereich um die zentrale Fokal-oder Schärfenebene, innerhalb dessen ein Punktobjekt auf der
Detektionsfläche einen Lichtfleck erzeugt, der noch scharf genug ist, um zur Lokalisierung des Punktobjektes in z-Richtung ausgewertet werden zu können. Dieser die
Schärfenebene enthaltende Bereich in z-Richtung wird im Folgenden als
„Schärfentiefenbereich" bezeichnet.
Bei einer dreidimensionalen Lokalisierung besteht allerdings das grundsätzliche Problem, dass die von einem Punktobjekt herrührende PSF bezüglich der Detektionsfläche symmetrisch ist. Dies bedeutet, dass sich die PSF zwar ändert, wenn das Punktobjekt aus der Schärfenebene heraus bewegt wird, so dass sich der Abstand des Punktobjektes zur Schärfenebene bestimmen lässt. Jedoch ist die Änderung der PSF symmetrisch zu beiden Seiten der Schärfenebene, so dass sich nicht entscheiden lässt, auf welcher Seite der Schärfenebene sich das Punktobjekt innerhalb des Schärfentiefenbereichs befindet. Es sind verschiedene Verfahren bekannt, wie mit dem vorstehend erläuterten Problem umgegangen werden kann. Beispiele sind Verfahren, die in Fachkreisen als
„Astigmatismusverfahren" (die oben genannten Dokumente Kajo et al., Holtzer et al. und Huang et al.),„Bi-Plane-Verfahren" (vgl. Toprak et al. und Juette et al.) und
„Doppelhelixverfahren" (vgl. Pavani et al.) bezeichnet werden. Diesen Verfahren ist gemein, dass zur Lokalisierung des Punktobjektes in z-Richtung der auf einem Detektor erzeugte Lichtfleck zur Bestimmung einer Kenngröße analysiert wird und dieser
Kenngröße eine z-Position des Punktobjektes zugeordnet wird. Diese Zuordnung erfolgt anhand einer im Vorfeld bestimmten Zuordnungsinformation, welche die Kenngröße mit der z-Position des Punktobjektes in Beziehung setzt. Als Kenngröße kommt
beispielsweise wie in dem Astigmatismusverfahren eine Größe in Betracht, welche die Form des Lichtflecks charakterisiert, oder, wie im Falle des Bi-Plane-Verfahrens eine Größe, welche die Ausdehnungen zweier Lichtflecke miteinander in Beziehung setzt, die von ein- und demselben Lichtfleck herrühren und Detektionsflächen erzeugt werden, deren zugeordnete Schärfenebenen im Objektraum in z-Richtung zueinander versetzt sind.
Ein Problem besteht nun darin, dass sich die im Vorfeld der eigentlichen
lichtmikroskopischen Messung bestimmte Zuordnungsinformation, die eine Zuordnung zwischen der in der Messung ermittelten Kenngröße und einer axialen z-Position des Punktobjektes ermöglicht, häufig so ungenau ist, dass eine präzise Bestimmung der z- Position nicht möglich ist. So ist die Zuordnungsinformation abhängig von Veränderungen der optischen Eigenschaften der Probe. Schon geringe Veränderungen der optischen Eigenschaften führen bei den in der Lokalisierungsmikroskopie benötigten
Hochleistungsoptiken zu Abbildungsfehlern, z.B. zu sphärischen Aberrationen. Dies hat zur Folge, dass sich die Form der durch den Lichtfleck gegebenen PSF verändert und somit die beispielsweise in Form einer Kalibrierkurve ermittelte Zuordnungsinformation für die neuen optischen Bedingungen nicht mehr korrekt ist. In diesem Fall wird dem auf dem Detektor erfassten Lichtfleck die falsche z-Position zugeordnet.
Für den Anwender ist es häufig schwierig, in eine biologische Probe, die letztendlich gemessen werden soll, Kalibrierelemente, wie z.B. fluoreszierende Kügelchen, einzubringen, an Hand derer die oben erwähnte Kalibrierkurve erstellt werden kann. Dies gilt insbesondere dann, wenn diese Kalibrierelemente in verschiedenen Farben fluoreszieren sollen, um Fehler durch die chromatische Aberration zu vermeiden. Daher ist eine in der Praxis bevorzugte Variante, die Kalibrierung, d.h. die Festlegung der Zuordnungsinformation, mit einer eigenen Kalibrierprobe vorzunehmen. Hierbei wirkt sich jedoch das Problem der fehlerhaften Kalibrierung besonders stark aus, da die optischen Eigenschaften der Kalibrierprobe nie exakt identisch mit denen der
eigentlichen Messprobe sind. Bereits geringe Unterschiede in der Dicke des Deckglases oder Unterschiede im Einbettmedium der Probe können zu einer deutlichen Abweichung der Form der Kalibrierkurve führen. Selbst wenn direkt in der zu messenden Probe unter großem experimentellen Aufwand Kalibrierproben eingebracht wurden, kann die so ermittelte Kalibrierkurve fehlerhaft sein. So führen beispielsweise schon geringe Temperaturänderungen dazu, dass typische Immersionsöle ihren Brechungsindex ändern, was wiederum zu sphärischen
Aberrationen in der Abbildung führt. Somit kann auch in ein- und derselben Probe eine Änderung der Kalibrierkurve zwischen dem Zeitpunkt der Aufnahme der Kalibrierprobe und dem Zeitpunkt der eigentlichen Messung auftreten. Zudem unterscheidet sich das Signal eines als Kalibrierprobe verwendeten Fluoreszenzkügelchens gewisser Größe stets von dem Signal eines das Punktobjekt bildenden Einzelmoleküls, was wiederum zu einer fehlerhaften Kalibrierkurve führt.
In der Praxis führen diese Probleme dazu, dass genaue absolute Bestimmungen der z- Position eines Punktobjektes häufig nicht möglich sind. So ist es zwar durchaus möglich, relative Unterschiede in der z-Position zu bestimmen und somit auch benachbarte Strukturen mit hoher Auflösung voneinander zu trennen. Eine Aussage, wie weit etwaige benachbarte Strukturen genau voneinander entfernt sind, ist jedoch schwierig. Dabei ist wichtig, zwischen der Auflösung, d.h. der Möglichkeit, eng beieinander liegende
Strukturen voneinander zu trennen, und der absoluten Positionsbestimmung zu unterscheiden. So ermöglicht die im Stand der Technik angewandte
Zuordnungsinformation beispielsweise in Form einer Kalibrierkurve zwar regelmäßig die gewünschte Auflösung, jedoch nicht eine präzise Bestimmung der absoluten z-Position des Punktobjektes. Man kann diesen Sachverhalt auch als eine beträchtliche
(üblicherweise nichtlineare) Verzerrung des dreidimensionalen Bildes in z-Richtung beschreiben, die aus den optischen Aberrationen herrührt. Gerade in der modernen Biologie ist dies ein großes Problem. So beeinflussen beispielsweise die genaue Form und Anordnung von Proteinen deren Funktionsweise dramatisch. Um Informationen über die strukturelle Anordnung zu erhalten, ist man also auf exakte und absolute Messungen in allen drei Raumrichtungen angewiesen. Die unzureichenden Kalibriermöglichkeiten, die im Stand der Technik für die Lokalisierung in z-Richtung existieren, erlauben keine ausreichende Zuverlässigkeit. Aufgabe der Erfindung ist es deshalb, ein lichtmikroskopisches Verfahren zur
Lokalisierung von Punktobjekten eingangs genannter Art so weiterzubilden, dass sich die Punktobjekte präziser als bisher in z-Richtung lokalisieren lassen.
Die Erfindung löst diese Aufgabe gemäß Anspruch 1 dadurch, dass der Schärfentie- fenbereich, innerhalb dessen die Punktobjekte lokalisiert werden, in dem Objektraum relativ zur Probe längs der optischen Achse um einen vorbestimmten axialen Verstellweg verschoben wird, der kleiner als die axiale Ausdehnung des Schärfentiefenbereichs ist; bei axial verschobenem Schärfentiefenbereich die Probe mittels der Abbildungsoptik erneut auf den Detektor abgebildet und mindestens ein zweites Probenbild erzeugt wird; in dem zweiten Probenbild die z-Positionen der Punktobjekte in Abhängigkeit des vorbestimmten axialen Verstellwegs ermittelt werden; die in dem ersten Probenbild ermittelten z-Positionen der Punktobjekte mit den in dem zweiten Probenbild
ermittelten z-Positionen derselben Punktobjekte verglichen werden; und in Abhängigkeit dieses Vergleichs eine Korrekturinformation erzeugt wird, anhand der die in Abhängigkeit der Zuordnungsinformation ermittelten z-Positionen der Punktobjekte korrigiert werden.
Wie schon eingangs erwähnt, ist unter dem erfindungsgemäßen Schärfentiefenbereich in dem Objektraum ein Bereich in z-Richtung um die zentrale Fokal- oder Schärfenebene zu verstehen, innerhalb dessen ein Punktobjekt auf dem Detektor einen Lichtfleck erzeugt, der noch scharf genug ist, um zur Lokalisierung des Punktobjektes in z-Richtung ausgewertet werden zu können. Dabei ist es nicht erforderlich, diesen maximal möglichen Schärfentiefenbereich voll auszuschöpfen. So kann es sinnvoll sein, in
Abhängigkeit der gewünschten Lokalisierungsgenauigkeit den Schärfentiefenbereich bewusst zu verkleinern und somit schon recht verschwommene, aber an sich noch auswertbare Lichtflecken von der Auswertung auszunehmen. Die erfindungsgemäße Lösung sieht vor, eine etwa in Folge von optischen
Abbildungsfehlern fehlerhafte Zuordnungsinformation, die z.B. in Form einer
gespeicherten Kalibrierfunktion vorliegt, während der Messung zu korrigieren. Hierzu wird der Schärfentiefenbereich der Abbildungsoptik, dessen axiale Ausdehnung längs der optischen Achse bekannt ist, relativ zur Probe um einen axialen Verstellweg verschoben, der kleiner als die axiale Ausdehnung des Schärfentiefenbereichs ist. Die Verschiebung erfolgt mit anderen Worten so, dass es zwischen dem ursprünglichen
Schärfentiefenbereich und dem verschobenen Schärfentiefenbereich in dem Objektraum eine gewisse Überlappung längs der optischen Achse gibt.
Diese Überlappung wird also dadurch erreicht, dass der axiale Verstellweg, um den Schärfentiefenbereich längs der optischen Achse bewegt wird, kleiner als die axiale Ausdehnung des Schärfentiefenbereichs ist. So liegt der Verstellweg beispielsweise in einem Bereich von 5 bis 90 %, 10 bis 80 %, 15 bis 70 %, 20 bis 60 % oder 25 bis 50 % der axialen Ausdehnung des Schärfentiefenbereichs. Es versteht sich von selbst, dass diese Wertebereiche nur beispielhaft zu verstehen sind. Die erfindungsgemäße Verschiebung des Schärfentiefenbereichs um einen axialen
Verstellweg, der kleiner ist als die axiale Ausdehnung des Schärfentiefenbereichs, ist so zu verstehen, dass die beiden betrachteten Schärfentiefenbereiche, nämlich der ursprüngliche und der verschobene Schärfentiefenbereich, längs der optischen Achse eine Überlappung aufweisen. Dies bedeutet, dass die Erfindung auch eine Schrittfolge von Verschiebungen des Schärfentiefenbereichs abdeckt, bei der in einem einzelnen
Schritt der Schärfentiefenbereich um einen Verstellweg verschoben wird, der größer als die Ausdehnung des Schärfentiefenbereichs ist, sofern die Schrittfolge insgesamt dazu führt, dass zwischen den betrachteten Schärfentiefenbereichen die vorstehend genannte axiale Überlappung realisiert ist. Der Umstand, dass der axiale Verstellweg, um den der Schärfentiefenbereich in einem oder mehreren Schritten in dem Objektraum verschoben wird, kleiner ist als die axiale Ausdehnung des Schärfentiefenbereichs, bedeutet, dass das Verschieben des
Schärfentiefenbereichs in z-Richtung mit einer Genauigkeit erfolgt, welche die
Auflösungsgenauigkeit der Abbildungsoptik in z-Richtung übersteigt. Dies lässt sich beispielsweise über einen Piezoaktor erreichen, der entweder die Abbildungsoptik oder die Probe in z-Richtung verschiebt. Ebenso ist es möglich, zum Verschieben des
Schärfentiefenbereichs ein geeignetes optisches Element zu verwenden, z.B. eine deformierbare Linse, einen deformierbaren oder verfahrbaren Spiegel oder einen räumlichen Lichtmodulator. Die erfindungsgemäße Korrektur ermöglicht eine dreidimensionale mikroskopische Abbildung über den Schärfentiefenbereich hinaus, was bisher aufgrund der Verzerrung des Bildes in z-Richtung nicht ohne weiteres möglich war. Zwar ist es im Prinzip auch schon bei herkömmlichen Verfahren denkbar, nach der Aufnahme eines Bildes die Abbildung in z-Richtung genau um einen Betrag zu verfahren, welche der axialen Ausdehnung des Schärfentiefenbereichs entspricht, und dann ein weiteres Bild aufzunehmen, um schließlich diese beiden Bilder in z-Richtung zusammenzufügen. Daraus ergäbe sich dann ein Gesamtbild, das sich in z-Richtung über zwei
Schärfentiefenbereiche erstreckt. Dieses Vorgehen erfordert jedoch eine Lokalisierung der Punktobjekte in z-Richtung mit einer Präzision, die bisher nicht gegeben war. Erst die durch das erfindungsgemäße Verfahren erzielte Präzision erlaubt ein Zusammenfügen mehrerer Bilder in z-Richtung, ohne dass zwischen den Bildern verfälschende
Überlagerungen oder Lücken auftreten.
Wird die Korrekturinformation, anhand der die z-Positionen der Punktobjekte korrigiert werden, in Form einer Korrekturvorschrift bereit gestellt, durch die den mit der ursprünglichen (fehlerhaften) Zuordnungsinformation ermittelten z-Positionen der Punktobjekte erfindungsgemäß korrigierte z-Positionen zugeordnet werden, so wird gegebenenfalls in dem vorstehend beschriebenen Fall für jeden der in z-Richtung aufeinander folgenden Schärfentiefenbereiche eine eigene Korrekturvorschrift ermittelt und zur Lokalisierung der Punktobjekte in diesem Schärfentiefenbereich angewandt.
Das erfindungsgemäße Verfahren ist insbesondere in solchen Fällen gewinnbringend einsetzbar, in denen die Kalibrierkurve durch Änderung der optischen Eigenschaften der Probe bzw. des Lichtwegs durch die Probe veränderlich ist. Somit können für verschiedene Bereiche der Probe unterschiedliche Kalibrierungen gelten. Ein Beispiel hierfür sind in wässrigen Medien eingebettete Proben. Je tiefer man die Schärfenebene der Abbildung in die Probe hineinfährt, desto mehr Wasser muss das Licht durchqueren, welches einen anderen Brechungsindex als die übrigen optischen Materialien wie Immersionsöl und Glas hat. Somit ändert sich die optische Abbildung und damit auch die Kalibrierkurve in Abhängigkeit der z-Position des Schärfentiefenbereichs. Erfindungsgemäß ist unter dem ersten bzw. dem zweiten Probenbild jeweils ein
Bilddatensatz zu verstehen, wie er beispielsweise durch das oder die eingangs erläuterten Rohdaten-Einzelbilder realisiert ist.
Vorzugsweise wird innerhalb des Schärfentiefenbereichs längs der optischen Achse mindestens eine z-Differenzposition definiert, die relativ zum Schärfentiefenbereich ortsfest ist. Es wird mindestens einer derjenigen Lichtflecke aus dem mindestens einen mit axial verschobenem Schärfentiefenbereich auf dem Detektor erzeugten zweiten Probenbild, welche die in dem axial verschobenen Schärfentiefenbereich in der z- Referenzposition angeordneten Punktobjekte darstellen, als Referenzlichtfleck definiert. Die z-Position des Punktobjektes, das durch den Referenzlichtfleck dargestellt ist, wird in dem Objektraum in Abhängigkeit des axialen Verstellwegs des Schärfentiefenbereichs und der z-Referenzposition bestimmt. Einer der Lichtflecke, aus dem ersten Probenbild, der dasselbe Punktobjekt wie der Referenzlichtfleck des zweiten Probenbildes darstellt, wird als Vergleichslichtfleck identifiziert. In Abhängigkeit einer Abweichung der z-Position des Punktobjektes, das durch den Vergleichslichtfleck dargestellt ist, gegenüber der z- Position desselben Punktobjektes, das durch den Referenzlichtfleck dargestellt ist, wird die Korrekturinformation erzeugt, anhand der die in Abhängigkeit der
Zuordnungsinformation ermittelten z-Positionen der Punktobjekte korrigiert werden.
Innerhalb des Schärfentiefenbereichs wird also mindestens eine z-Referenzposition definiert, die relativ zu dem Schärfentiefenbereich ortsfest ist. Letzteres bedeutet, dass die z-Referenzposition gleichsam mit dem Schärfentiefenbereich in dem Objektraum bewegt wird. Als z-Referenzposition kann beispielsweise die in dem Objektraum axial obere oder axial untere Grenze des Schärfentiefenbereichs definiert werden. Auch die z- Position, in der sich die zentrale Schärfenebene des Schärfentiefenbereichs befindet, ist als z-Referenzposition geeignet. Ferner ist es möglich, nicht nur eine einzige, sondern mehrere z-Referenzpositionen innerhalb des Schärfentiefenbereichs zu definieren, deren Lagen im Objektraum bekannt sind und die es deshalb ermöglichen, die z-Positionen derjenigen Punktobjekte, die sich in den z-Referenzpositionen befinden, fehlerfrei zu bestimmen. Diese Ausführungsform sieht also vor, die präzise Verschiebung des
Schärfentiefenbereichs, die unbeeinflusst von optischen Abbildungsfehlern möglich ist, zu nutzen, um während der aktuellen Messung z.B. in bestimmten zeitlichen Abständen Referenzmessungen in der Probe durchzuführen, anhand derer eine fehlerhafte
Kalibrierung korrigiert werden kann. Diese Korrektur beruht darauf, dass in dem
Probenbild, welches mit axial verschobenem Schärfentiefenbereich aufgenommen wird, diejenigen Punktobjekte, die sich innerhalb des verschobenen Schärfentiefenbereichs in den z-Referenzpositionen befinden, fehlerfrei bestimmt werden können, da die z- Referenzpositionen bekannt sind. In Kenntnis dieser korrekten z-Positionen lässt sich erfindungsgemäß eine Korrekturinformation erzeugen, die dann genutzt werden kann, in einem vor Verschieben des Schärfentiefenbereichs aufgenommenen Probenbild die in diesem Probenbild ermittelten z-Positionen der Punktobjekte zu korrigieren. Wird durch sukzessives Verschieben des Schärfentiefenbereichs die Korrekturinformation nach und nach vervollständigt, so lässt sich auf diese Weise eine durch falsche Kalibrierung verursachte Verzerrung des Gesamtbildes korrigieren.
Vorzugsweise wird der Schärfentiefenbereich in mehreren Schritten axial verschoben. In jedem dieser Schritte wird dann die Korrekturinformation anhand des jeweiligen
Referenzlichtflecks und des jeweiligen Vergleichslichtflecks erzeugt. Die in Abhängigkeit der Zuordnungsinformation ermittelten z-Positionen der Punktobjekte werden schließlich anhand der schrittweise erzeugten Korrekturinformation korrigiert. Durch das schrittweise Verschieben des Schärfentiefenbereichs wird der ursprüngliche, d.h. nicht verschobene Schärfentiefenbereich gleichsam mit der z-Referenzposition abgetastet. Da die z-Referenzposition in jedem Schritt bekannt ist, können innerhalb des ursprünglichen Schärfentiefenbereichs diejenigen Punktobjekte, die in den mit der jeweils verschobenen z-Referenzposition zusammenfallenden z-Positionen identifiziert werden, exakt lokalisiert werden. Auf Grundlage dieser exakt bestimmten z-Positionen können dann anhand der Korrekturinformation auch die zwischen diesen Positionen liegenden z-Positionen innerhalb des ursprünglichen Schärfentiefenbereichs ermittelt werden.
Vorzugsweise wird in jedem Schritt die in Abhängigkeit der Zuordnungsinformation für den jeweiligen Vergleichslichtfleck ermittelte z-Position durch die für den
entsprechenden Referenzlichtfleck ermittelte z-Position ersetzt und durch diese Ersetzung eine die Korrekturinformation bildende Korrekturfunktion erzeugt. Dabei deckt diese Korrekturfunktion vorzugsweise den gesamten Schärfentiefenbereich ab, mit dem das erste Probenbild aufgenommen worden ist.
In einer besonders bevorzugten Ausführung werden Zwischenwerte der
Korrekturfunktion, für die durch die schrittweise Verschiebung des
Schärfentiefenbereichs keine Vergleichslichtflecke und Referenzlichtflecke verfügbar sind, durch Interpolation ermittelt. Dabei bilden die z-Positionen, die durch Verschieben der z-Referenzposition exakt ermittelt werden, Stützstellen, auf deren Grundlage die Interpolation, beispielsweise eine einfache Spline-Interpolation, durchgeführt werden kann. So wird beispielsweise eine geeignete Modellfunktion gewählt, die typische
Kalibrierfehler berücksichtigt, und diese Modellfunktion an die vorstehend genannten Stützstellen angepasst, um die gewünschte Korrekturfunktion zu erhalten.
Vorzugsweise werden die durch schrittweises Verschieben des Schärfentiefenbereichs ermittelten z-Positionen der Punktobjekte zu einem Gesamtlokalisierungsbild überlagert. Demnach werden die (zweiten) Probenbilder nicht allein zur Korrektur der in dem ursprünglichen (ersten) Probenbild ermittelten z-Positionen genutzt, sondern zum Aufbau eines Gesamtlokalisierungsbildes, das sich in z-Richtung über einen Bereich erstreckt, der größer als der ursprüngliche Schärfentiefenbereich ist.
Vorzugsweise wird der axiale Verstellweg, um den der Schärfentiefenbereich in dem Objektraum verschoben wird, mittels eines Sensors erfasst. Dadurch ist sichergestellt, dass der axiale Verstellweg, der in die Korrektur der ermittelten z-Positionen der
Punktkobjekte eingeht, stets genau bekannt ist. Das Verschieben des
Schärfentiefenbereichs relativ zur Probe kann dadurch erfolgen, dass entweder die Probe relativ zu der Abbildungsoptik oder die Abbildungsoptik relativ zu der Probe längs der optischen Achse bewegt wird. Jedoch ist die Erfindung hierauf nicht beschränkt. So ist es beispielsweise ebenso möglich, eine deformierbare Linse, einen deformierbaren Spiegel, einen räumlichen Lichtmodulator oder dergleichen zu verwenden, um den
Schärfentiefenbereich in dem Objektraum längs der optischen Achse der Abbildungsoptik zu verschieben. In einer speziellen Ausführungsform wird eine dem Detektor vorgeordnete Zylinderlinse verwendet, die zu einer unterscheidbaren Formveränderung des auf dem Detektor erzeugten Lichtflecks führt, wenn das dem Lichtfleck zugeordnete Punktobjekt längs der optischen Achse von einer Seite auf die andere Seite einer in dem Schärfentiefenbereich liegenden Schärfenebene bewegt wird. Die Formveränderung des Lichtflecks kann dann als Kenngröße zur Lokalisierung in z-Richtung genutzt werden.
Dabei ist an dieser Stelle darauf hinzuweisen, dass der Begriff„Form des Lichtflecks" erfindungsgemäß so zu verstehen ist, dass er nicht allein auf die Form eines
Einzellichtflecks Bezug nimmt, sondern auch die Form einer aus mehreren Lichtflecken gebildeten Gesamtheit einschließt, wie sie beispielsweise in dem eingangs genannten Doppelhelixverfahren anzutreffen ist. Dort werden beispielsweise zwei Lichtflecke betrachtet, die gleichsam eine Rotationsbewegung relativ zueinander ausführen.
Vorzugsweise wird die durch die Vergleichslichtflecke gebildete Vergleichsstruktur unter Berücksichtigung ihrer Helligkeit identifiziert, d.h. unter Berücksichtigung der Gesamtzahl an Einzelflecken, die zu dieser Struktur beitragen. Diese Ausführungsform ist
insbesondere dann von Vorteil, wenn die bei verschobenem Schärfentiefenbereich ermittelten z-Positionen nicht nur zur Korrektur vorher anhand der
Zuordnungsinformation bestimmter z-Positionen genutzt werden, sondern auch zur Erzeugung eines Gesamtlokalisierungsbildes herangezogen werden. Durch diese
Weiterbildung werden störende Helligkeitsunterschiede in dem Gesamtlokalisierungsbild vermieden.
Die Zuordnungsinformation kann beispielsweise gewonnen werden, indem ein
Kalibrierpunktobjekt innerhalb des Schärfentiefenbereichs längs der optischen Achse bewegt und die Kenngröße eines das Kalibrier-Punktobjekt darstellenden Lichtflecks eines auf dem Detektor erzeugten Kalibrierbildes in Abhängigkeit der z-Position des Kalibrier-Punktobjektes erfasst wird. Als Kenngröße wird beispielsweise die Form und/oder die Ausdehnung des Lichtflecks auf dem Detektor herangezogen.
Zur Durchführung des erfindungsgemäßen Verfahrens ist gemäß Anspruch 14 eine lichtmikroskopische Einrichtung zur Lokalisierung von Punktobjekten in einer Probe vorgesehen. Die Erfindung wird im Folgenden anhand der Figuren näher erläutert. Darin zeigen:
Fig. 1 eine schematische Darstellung, die eine Ausführungsform zur Lokalisierung eines Punktobjektes in z-Richtung zeigt;
Fig. 2 eine schematische Darstellung, die eine alternative Ausführungsform zur
Lokalisierung eines Punktobjekts in z-Richtung zeigt;
Fig. 3 eine ZuOrdnungsvorschrift, durch welche die Form des auf einer
Detektionsfläche erfassten Lichtflecks in Bezug zur z-Position eines
Punktobjektes relativ zu einer Schärfenebene gesetzt ist;
Fig. 4 eine schematische Darstellung, in welcher der erfindungsgemäß genutzte
Schärfentiefenbereich veranschaulicht ist;
Fig. 5 eine schematische Darstellung, welche die durch eine fehlerhafte
Zuordnungsinformation verursachte Verzerrung des Probenbildes in z-Richtung veranschaulicht;
Fig. 6 eine schematische Darstellung zur Veranschaulichung, wie durch die
erfindungsgemäße Verschiebung des Schärfentiefenbereichs die z-Positionen der Punktobjekte korrigiert werden; und
Fig. 7 eine grafische Darstellung, der beispielhaft eine durch das Verfahren gemäß Figur 6 erzeugte Korrekturfunktion zeigt.
Zunächst werden unter Bezugnahme auf die Figuren 1 bis 3 zwei Ausführungsformen erläutert, in denen auf unterschiedliche Weise eine Kenngröße ermittelt wird, die eine Lokalisierung von Punktobjekten in z-Richtung erlaubt.
Figur 1 zeigt eine lichtmikroskopische Einrichtung 10 mit einem Objektiv 12 als
Abbildungsoptik und einer Detektionsfläche 14. Die Anordnung nach Figur 1 verfügt über zwei separate Detektionskanäle, von denen ein in Figur 1 linker Kanal im Wesentlichen durch das Objektiv 12 und eine erste Tubuslinse 16 gegeben ist, während ein in Figur 1 rechter Kanal aus dem Objektiv 12 und einer zweiten Tubuslinse 18 gebildet ist. Das von einem Punktobjekt 20 ausgehende Licht wird durch einen Strahlteiler 22 sowie
Umlenkspiegel 24, 26 und 28 zu gleichen Teilen in die beiden Detektionskanäle geleitet.
Die beiden Detektionskanäle unterscheiden sich geringfügig in ihrer Fokuslage. Dies bedeutet, dass der erste Detektionskanal eine erste Bildebene 30 aufweist, die zu einer ersten Schärfenebene 32 optisch konjugiert ist, während der andere Detektionskanal eine gegenüber der ersten Bildebene 30 in einer Richtung parallel zur optischen Achse 0 des Objektivs 12, d.h. in z-Richtung versetzte zweite Bildebene 34 aufweist, die zu einer zweiten Schärfenebene 36, die wiederum in z-Richtung gegenüber der ersten
Schärfenebene 32 versetzt ist, optisch konjugiert ist. Befindet sich das zu lokalisierende Punktobjekt 20 in der Schärfenebene des einen
Detektionskanals, so wird es durch das Objektiv 12 dort scharf abgebildet, während es im anderen Detektionskanal unscharf abgebildet wird. Befindet es sich zwischen den beiden Schärfenebenen 32 und 36, so wird es in beiden Detektionskanälen unscharf abgebildet.
In Figur 1 ist der vorstehend erläuterte Sachverhalt durch Lichtflecke 38, 40, 42 und 44 veranschaulicht, die in Abhängigkeit der z-Position des Punktobjektes 20 relativ zu den Schärfenebenen 32 und 36 auf der Detektionsfläche 14 erzeugt werden. Die Lichtflecke 38, 40, 42, 44 sind in Figur 1 demnach in der Draufsicht auf die x-y-Ebene dargestellt. Die Lichtflecke 38, 40, 42 und 44 sind jeweils durch die PSF charakterisiert, die sich aus der durch das Objektiv 12 erzeugten Fokuslichtverteilung auf der Detektionsfläche 14 ergibt. Befindet sich das Punktobjekt 20 in der ersten Schärfenebene 32, so ergibt sich auf der Detektionsfläche 14 in dem linken Detektionskanal der vergleichsweise kleine Lichtfleck 38 und in dem rechten Detektionskanal der demgegenüber große Lichtfleck 42. Ist dagegen das Punktobjekt 20 in der Schärfenebene 36 angeordnet, so entsteht auf der Detektionsfläche 14 in dem linken Detektionskanal der große Lichtfleck 40 und in dem rechten Detektionskanal der kleine Lichtfleck 44.
Aus den auf der Detektionsfläche 14 erzeugten Lichtflecken 38, 40, 42, 44 lässt sich nun eine Kenngröße ableiten, die ein Maß für die z-Position des Punktobjektes 20 relativ zu den Schärfenebenen 32 und 36 ist. Beispielsweise kann als Kenngröße die Ausdehnung des in dem linken Detektionskanal erzeugten Lichtflecks 38 bzw. 44 ins Verhältnis gesetzt werden zur Ausdehnung des in dem rechten Detektionskanal erzeugten Lichtflecks 42 bzw. 44.
Figur 2 zeigt eine Ausführungsform, in der die vorstehend genannte Kenngröße, die die Ermittlung der z-Position des Punktobjektes ermöglicht, in anderer Weise erfasst wird. Dabei zeigt Figur 2 in Teilbild a) zunächst eine herkömmliche Anordnung, bei der das Punktobjekt 20 über eine aus einer Objektivlinse 50 und einer Tubuslinse 52 gebildete Abbildungsoptik 54 auf eine Detektionsfläche 56 abgebildet wird. Dabei soll sich das Punktobjekt 20 in einer Schärfenebene 58 befinden, die eine zu der Detektionsfläche 56 optisch konjugierte Fläche ist. Die Abbildungsoptik 54 formt das von dem Punktobjekt 20 ausgehende Licht in eine dreidimensionale Fokuslichtverteilung, die auf die Detektionsfläche 56 fällt. Die
Detektionsfläche 56 erfasst so einen Lichtfleck 60, der einen ebenen, senkrecht zur z- Richtung liegenden Schnitt durch die Fokuslichtverteilung darstellt. Um den Sachverhalt besser zu veranschaulichen, ist in Figur 2 der Lichtfleck 60 in der Draufsicht auf die Detektionsfläche 56, d.h. in der x-y-Ebene dargestellt.
In dem in Teilbild a) der Figur 2 dargestellten Fall, in dem sich das Punktobjekt 20 in der Schärfenebene 58 befindet, hat der Lichtfleck 60 auf der Detektionsfläche 56 eine kreisrunde Form, also eine Form, die symmetrisch bezüglich Spiegelungen an der x-z- Ebene und der y-z-Ebene ist. Figur 2 zeigt in Teilbild b) eine erfindungsgemäß abgewandelte Ausführung, bei der zusätzlich zu dem Objekt 50 und der Tubuslinse 52 eine Zylinderlinse 62 vorgesehen ist. Die Zylinderlinse 62 weist in x- und y-Richtung unterschiedliche Brechkräfte und damit verschiedene Fokuslagen für die x- und y-Richtung auf. Dementsprechend ist der Lichtfleck 60 auf der Detektionsfläche 56 in x- und y-Richtung kreuzförmig deformiert. Das Punktobjekt 20 befindet sich in dem in Teilbild b) genau in der Mitte der beiden nun unterschiedlichen Schärfenebenen, wobei diese Mittenposition wieder mit 58 bezeichnet ist. Der kreuzförmige Lichtfleck 60 bleibt jedoch symmetrisch in vorstehend
angegebenem Sinne. Figur 2 zeigt in Teilbild c) einen Fall, in dem das Punktobjekt 20 oberhalb der
Schärfenebene 58 angeordnet ist. Dieser Versatz aus der Schärfenebene 58 führt dazu, dass der Lichtfleck 60 auf der Detektionsfläche 56 asymmetrisch zu einer Ellipse verformt wird. Dabei wird die elliptische Form des Lichtflecks 60 umso ausgeprägter, je weiter sich das Punktobjekt 20 von der Schärfenebene 58 entfernt.
Figur 2 zeigt in Teilbild d) einen Fall, in dem sich das Punktobjekt 20 unterhalb der Schärfenebene 58 befindet. Auch hier wird der Lichtfleck 60 auf der Detektionsfläche 56 elliptisch verformt, jedoch in einer Ausrichtung, die von der Ausrichtung des Lichtflecks 60 in Teilbild c) verschieden ist. Dementsprechend lässt sich anhand der Form des Lichtflecks 60 erkennen, ob das Punktobjekt 20 oberhalb oder unterhalb der
Schärfenebene 40 angeordnet ist. Wie aus den Darstellungen nach Figur 2 hervorgeht, kann die z-Position des Punktobjektes 20 relativ zur Schärfenebene 58 anhand der Form und der Ausdehnung des Lichtflecks 60 auf der Detektionsfläche 56 bestimmt werden. Dies erfolgt in der vorliegenden Ausführung anhand einer ZuOrdnungsvorschrift, die beispielhaft in Figur 3 dargestellt ist. Eine solche ZuOrdnungsvorschrift lässt sich durch Kalibriermessungen gewinnen, in denen sich ein Kalibrier-Punktobjekt in z-Richtung von einer Seite auf die andere Seite der Schärfenebene 58 bewegt und dabei die Form des Lichtflecks für die nun bekannten z-Positionen bestimmt wird. Damit erhält man eine ZuOrdnungsvorschrift, die es bei der späteren Messung ermöglicht, dem gemessenen Lichtfleck die richtige z-Position zuzuordnen. In der Praxis wird hierzu eine spezielle Kalibrierprobe verwendet, z.B. eine Probe mit fluoreszierenden Kügelchen oder beleuchteten und streuenden Nanopartikeln als Kalibrier-Punktobjekte.
Figur 3 zeigt eine entsprechend obigen Ausführungen erstellte ZuOrdnungsvorschrift. Dort ist als Kenngröße d die Differenz der mit sx bezeichneten Ausdehnung des Lichtflecks in x-Richtung und der mit sy bezeichneten Ausdehnung des Lichtflecks PSF in y-Richtung definiert. Somit ergibt sich eine ZuOrdnungsvorschrift d(z), die es ermöglicht, in der eigentlichen Bildaufnahme für jeden gemessenen Lichtfleck eine z-Position zu
bestimmen. Diese Position wird dann gemeinsam mit der x-y-Position gespeichert und steht für die Erzeugung eines hochaufgelösten dreidimensionalen Bildes zur Verfügung. Die Bestimmung einer ZuOrdnungsvorschrift, anhand der die z-Positionen der
Punktobjekte erfasst werden können, ist nicht auf die vorstehend erläuterten
Ausführungsformen beschränkt. So ist beispielsweise auch das eingangs genannte Doppelhelixverfahren geeignet, eine solche ZuOrdnungsvorschrift zu erzeugen. Außerdem ist darauf hinzuweisen, dass eine ZuOrdnungsvorschrift in Funktionsform der in Figur 3 gezeigten Art nur eine beispielhafte Ausführung darstellt. So ist es z.B. ebenso möglich, Bildvergleiche in Form von Korrelationen zwischen den gemessenen PSFs und vorab gespeicherten oder berechneten PSFs anzustellen. Die z-Position der gespeicherten oder berechneten PSF, welche die größte Ähnlichkeit mit der gemessenen PSF aufweist, wird dann als korrekte z-Position angesehen. Ist eine gemessene PSF im Hinblick auf ihre Form nicht identisch mit einer der gespeicherten oder berechneten PSFs, so kann ihr beispielsweise durch Interpolation eine z-Position zugewiesen werden, die zwischen den z-Positionen der gespeicherten oder berechneten PSFs liegt, die der gemessenen PSF am ähnlichsten sind. Unter Bezugnahme auf die Figuren 4 bis 7 wird im Folgenden beispielhaft erläutert, wie die Lokalisierung von Punktobjekten auf Grundlage einer ZuOrdnungsvorschrift vorstehend beschriebener Art erfindungsgemäß korrigiert werden kann.
Figur 4 zeigt in rein schematischer Darstellung ein Ausführungsbeispiel der
mikroskopischen Einrichtung nach der Erfindung, wobei in Figur 4 nur diejenigen
Komponenten angedeutet sind, die der Erläuterung es erfindungsgemäßen
Korrekturverfahrens dienen. Insbesondere ist in Figur 4 der Detektor weggelassen.
In der Anordnung nach Figur 4 bildet ein Objektiv 70 eine auf einem Deckgläschen 72 angebrachte Probe 76 durch ein Immersionsmedium 78 auf den Detektor ab. Das Objektiv 70 hat einen Schärfentiefenbereich 78, der längs der optischen Achse O des Objektivs 70, d.h. in z-Richtung, eine axiale Ausdehnung t aufweist. Der
Schärfentiefenbereich 78 ist so festgelegt, dass Punktobjekte, die sich innerhalb des Schärfentiefenbereichs 78 befinden, durch das Objektiv 70 in Form von Lichtflecken auf den Detektor abgebildet werden, die scharf genug sind, um beispielsweise unter Berücksichtigung einer ZuOrdnungsvorschrift der in Figur 3 gezeigten Art eine
Lokalisierung in z-Richtung zu ermöglichen. Lage und Ausdehnung des Schärfentiefenbereichs 78 innerhalb des Objektraums sind somit vorbestimmt und bekannt.
Die Einrichtung nach Figur 4 umfasst ferner eine Steuereinheit 80, die den Gesamtbetrieb der Einrichtung steuert. Insbesondere verfügt die Steuereinheit 80 über Rechenmittel, welche die zur Lokalisierung der Punktobjekte erforderlichen Berechnungen und
Auswertungen vornimmt. Die Steuereinheit 80 steuert ferner einen Piezoaktor 82 an, mit dem sich das Objektiv 70 längs der optischen Achse O bewegen lässt, um den Schärfentiefenbereich 78 in definierter Weise längs der optischen Achse O zu
verschieben. Ein mit der Steuereinheit 80 gekoppelter Sensor 84 erfasst den Verstellweg, um den das Objektiv 70 und damit der Schärfentiefenbereich 78 innerhalb des
Objektraums verschoben werden.
Die Probe 76 enthält verschiedene Strukturen 90, 92, 94, 96 und 98, die in dem
Schärfentiefenbereich 78 in unterschiedlichen z-Positionen angeordnet sind. Die
Strukturen 90, 92, 94, 96 und 98 sind mit Markern behaftet, welche die zu
lokalisierenden Punktobjekte bilden. Während der Aufnahme werden die Marker, die sich in den Strukturen 90, 92, 94, 96 und 98 befinden, einzeln als Lichtflecke auf den Detektor abgebildet und die Lichtflecke im Hinblick auf ihre Position und Form von der Steuereinheit 80 ausgewertet. Auf diese Weise wird ein in z-Richtung hochaufgelöstes Bild erzeugt. Figur 5 ist eine Darstellung, in der veranschaulicht ist, wie eine fehlerhafte
ZuOrdnungsvorschrift zu einer Verzerrung des Bildes in z-Richtung führt. So ist im linken Teil der Figur 5 der Objektraum mit dem Schärfentiefenbereich 78 dargestellt, in dem die Strukturen 90, 92, 94, 96 und 98 angeordnet sind, während im rechten Teil der Figur 5 die Abbildung dieser Strukturen in dem Bildraum veranschaulicht ist. Die z-Positionen innerhalb des Bildraums, die den z-Positionen des Objektraums entsprechen, sind mit dem Symbol„ '„ gekennzeichnet.
In dem Beispiel nach Figur 5 führt die fehlerhafte ZuOrdnungsvorschrift zu einer
Stauchung des Bildes in z'-Richtung. In Figur 6 ist dargestellt, wie diese durch die fehlerhafte ZuOrdnungsvorschrift verursachte Stauchung des Bildes sukzessiv beseitigt wird, indem der
Schärfentiefenbereich 78 in mehreren Schritten in z-Richtung verschoben wird. Dabei entspricht Teilbild a) der Figur 6 der in Figur 5 dargestellten Situation. Zunächst wird in dem Schärfentiefenbereich 78 eine z-Referenzposition definiert, die relativ zu dem Schärfentiefenbereich 78 ortsfest ist, d.h. zusammen mit dem
Schärfentiefenbereich 78 in dem Objektraum verschoben wird. In dem vorliegenden Beispiel wird die mit zs bezeichnete untere Grenze des Schärfentiefenbereichs 78 als z- Referenzposition festgelegt. Da diese z-Referenzposition bekannt ist, kann man die z- Position derjenigen Struktur innerhalb der Probe, die sich in der z-Referenzposition befindet, exakt und fehlerfrei erfassen. In Teilbild a) der Figur 6, in der der
Schärfentiefenbereich 78 noch nicht verschoben ist, trifft dies auf die Struktur 90 zu.
Bildet man nun die Probe auf den Detektor ab und verfährt anschließend den
Schärfentiefenbereich 78 mitsamt seiner z-Referenzposition auf die Position zs=zi, so ergibt sich die im Teilbild b) der Figur 6 dargestellte Situation. Dort befindet sich die Struktur 92 in der z-Referenzposition des Schärfentiefenbereichs 78. Für diejenigen Punktobjekte, die in der in der z-Referenzposition angeordneten Struktur 92 enthalten sind, lässt sich nun die z-Position exakt bestimmen. Die Lichtflecke, die von den in der z- Referenzposition angeordneten Punktobjekten auf dem Detektor erzeugt werden, sind im Folgenden als Referenzlichtflecke bezeichnet. Anhand dieser Referenzlichtflecke werden nun in dem zuvor aufgenommenen ersten Probenbild (Teilbild a der Figur 6) Lichtflecke identifiziert, die den Referenzlichtflecken des mit verschobenen
Schärfentiefenbereich 78 aufgenommenen zweiten Probenbildes entsprechen. Diese in dem ersten Probenbild enthaltenen Lichtflecke werden im Folgenden als
Vergleichslichtflecke bezeichnet.
Wie ein Vergleich der Teilbilder a) und b) der Figur 6 zeigt, ist in dem ersten Probenbild die z-Position der in der Struktur 92 enthaltenen Punktobjekte infolge der fehlerhaften ZuOrdnungsvorschrift falsch, nämlich mit einem zu kleinen Wert zx ' ermittelt worden. Dieser falsche Wert kann nun durch den in dem zweiten Probenbild korrekt ermittelten Wert ersetzt und so korrigiert werden. Dieser korrekte Wert ist als zi=zi' bekannt. Wie in Figur 7 gezeigt, kann man nun in einem Graphen die richtige Position zi der Struktur 92 gegen die fehlerhafte Position zx' auftragen, nämlich diejenige Position, die man für die Struktur 92 in dem ersten Probenbild Teilbild a) gefunden hat.
Nun verfährt man die Schärfentiefenebene 78 wiederum um einen definierten
Verstellweg, der kleiner ist als die axiale Ausdehnung t der Schärfentiefenbereichs 78. In diesem Beispiel ist der in dem zweiten Verschiebeschritt vorgesehene Verstellweg wieder gleich dem Betrag Dz< so dass die z-Referenzposition in die Position z2 verschoben wird. Wiederum wird ein Probenbild aufgenommen und es wird wieder diejenige Struktur betrachtet, die in der z-Referenzposition, d.h. an der unteren Grenze des
Schärfentiefenbereichs 78, angeordnet ist. Gemäß dem Teilbild c) der Figur 6 ist dies vorliegend die Struktur 94, deren Punktobjekte auf dem Detektor die zugehörigen Referenzflecke erzeugen. Anhand dieser Referenzlichtflecke werden wiederum in dem ersten Probenbild (Teilbild a der Figur 6) die zugehörigen Vergleichslichtflecke
identifiziert, d.h. es wird in dem ersten Probenbild nach der Struktur 94 gesucht. In dem ersten Probenbild ist der Struktur 94 die z-Position ζ+' zugeordnet. In dem Graphen nach Figur 7 wird gegen diese Position ζ+' die korrekte Position z2 aufgetragen.
In der vorstehend beschriebenen Weise verfährt man in einer geeigneten Anzahl von Schritten, wie in Figur 6 durch die Teilbilder d) und e) angedeutet ist, bis der gesamte ursprüngliche Schärfentiefenbereich, der im Teilbild a) der Figur 6 gezeigt ist, abgedeckt ist.
Für alle Strukturen, die man in dem ersten Probenbild wiedergefunden hat, lässt sich nun anhand des Graphen nach Figur 7 die richtige Position an der Ordinate ablesen. Auf Grundlage der dargestellten Messpunkte lässt sich mit Hilfe einer geeigneten
Modellfunktion, die typische Kalibrierfehler berücksichtigt, eine Korrekturvorschrift erhalten. Wahlweise kann auch eine einfache Spline-Interpolation oder eine
Interpolation anderer Art angewandt werden, um die Korrekturvorschrift zu erhalten. Diese Korrekturvorschrift, die in Figur 7 mit c(z') bezeichnet ist, kann nun genutzt werden, um das erste Probenbild (Teilbild a der Figur 6) zu korrigieren. So wird für alle in dem ersten Probenbild ermittelten Positionen z' aus der Korrekturvorschrift c(z') die jeweils korrekte z-Position gewonnen. Es ist darauf hinzuweisen, dass das vorstehend erläuterte Verfahren rein beispielhaft zu verstehen ist. Selbstverständlich können auch andere Algorithmen als der beschriebene angewandt werden. Insbesondere ist es in der praktischen Umsetzung geschickt, nicht nur eine einzige ortsfeste z-Referenzposition innerhalb des Schärfentiefenbereichs festzulegen, wie dies in dem in den Figuren 4 bis 7 gezeigten Beispiel der Fall ist. So können weitere z-Referenzpositionen an anderen Stellen des Schärfentiefenbereichs definiert werden.
Auch ist es denkbar, nicht nur die Abweichungen des n-ten Bildes gegenüber dem ersten Probenbild zu betrachten, sondern auch Positionsabweichungen von Strukturen aus dem n-ten Bild gegenüber Strukturen aus dem m-ten Bild zu ermitteln, wobei n und m natürliche Zahlen gleich oder größer 1 sind. Damit ergeben sich mehr Messpunkte, so dass sich eine präzisere Korrekturvorschrift ermitteln lässt. Auch können
Bildbearbeitungsalgorithmen angewandt werden, die direkt die Verzerrungen des n-ten Bildes im Vergleich zu den in dem m-ten Bild ebenfalls vorkommenden Strukturen bestimmen. Wesentlich ist lediglich, dass über ein hochgenaues Verschieben des Schärfentiefenbereichs eine zusätzliche Information bezüglich der z-Position der betrachteten Struktur vorliegt, die geschickt zur Lokalisierung der Punktobjekte genutzt wird.
Auch können innerhalb des Objektraums und des Bildraums die Wertebereiche von z bzw. z', d.h. der Schärfentiefenbereich und der entsprechende Bildbereich, flexibel angepasst werden, wenn die Korrekturvorschrift nicht auf den jeweiligen ganzen Probenbereich angewandt werden kann.
Ferner ist auch möglich, die Positionsinformationen, die man mit verschobenem
Schärfentiefenbereich gewonnen hat, nicht nur zur Korrektur der in dem ersten
Probenbild ermittelten z-Positionen zu nutzen, sondern diese Positionsinformation in die Bilderzeugung selbst einfließen zu lassen.

Claims

Ansprüche
1. Lichtmikroskopisches Verfahren zur Lokalisierung von Punktobjekten in einer Probe (76), bei dem
die in einem Objektraum angeordnete Probe (76) mittels einer Abbildungsoptik (70), die in dem Objektraum einen Schärfentiefenbereich (78) vorbestimmter axialer Ausdehnung (t) längs ihrer optischen Achse (0) hat, auf einen Detektor (14, 56) abgebildet wird; und die in der Probe (76) enthaltenen Punktobjekte innerhalb des Schärfentiefenbereichs (78) lokalisiert werden, indem ein erstes Probenbild, das durch die Abbildung der Probe (76) auf dem Detektor (14, 56) erzeugt wird, ausgewertet wird;
wobei zur Lokalisierung des jeweiligen Punktobjektes in Richtung der optischen Achse (0) eine Kenngröße (d) eines das Punktobjekt darstellenden Lichtflecks (38, 40, 42, 44, 60) des ersten Probenbildes ermittelt wird und dieser Kenngröße (d) in Abhängigkeit einer vorbestimmten Zuordnungsinformation eine auf das Punktobjekt bezogene axiale z- Position zugeordnet wird;
dadurch gekennzeichnet, dass
der Schärfentiefenbereich (78), innerhalb dessen die Punktobjekte lokalisiert werden, in dem Objektraum relativ zur Probe (76) längs der optischen Achse (O) um einen vorbestimmten axialen Verstellweg verschoben wird, der kleiner als die axiale Ausdehnung (t) des Schärfentiefenbereichs (78) ist;
bei axial verschobenem Schärfentiefenbereich (78) die Probe (76) mittels der Abbildungsoptik (70) erneut auf den Detektor abgebildet und mindestens ein zweites Probenbild erzeugt wird;
in dem zweiten Probenbild die z-Positionen der Punktobjekte in Abhängigkeit des vorbestimmten axialen Verstellwegs ermittelt werden;
die in dem ersten Probenbild ermittelten z-Positionen der Punktobjekte mit den in dem zweiten Probenbild ermittelten z-Positionen derselben Punktobjekte verglichen werden; und
in Abhängigkeit dieses Vergleichs eine Korrekturinformation erzeugt wird, an Hand der die in Abhängigkeit der Zuordnungsinformation ermittelten z-Positionen der Punktobjekte korrigiert werden.
2. Lichtmikroskopisches Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass innerhalb des Schärfentiefenbereichs (78) längs der optischen Achse (0) mindestens eine z-Referenzposition (zs) definiert wird, die relativ zu dem Schärfentiefenbereich (78) ortsfest ist;
mindestens einer derjenigen Lichtflecke (38, 40, 42, 44, 60) aus dem mindestens einen mit axial verschobenem Schärfentiefenbereich (78) auf dem Detektor erzeugten zweiten Probenbild, welche die in dem axial verschobenen Schärfentiefenbereich in der z- Referenzposition (zs) angeordneten Punktobjekte darstellen, als Referenzlichtfleck definiert wird;
die z-Position des Punktobjektes, das durch den Referenzlichtfleck dargestellt ist, in dem Objektraum in Abhängigkeit des axialen Verstellwegs des Schärfentiefen-bereichs (78) und der z-Referenzposition (zs) bestimmt wird;
einer der Lichtflecke (38, 40, 42, 44, 60) aus dem ersten Probenbild, der dasselbe Punktobjekt wie der Referenzlichtfleck des zweiten Probenbildes darstellt, als Vergleichslichtfleck identifiziert wird; und
in Abhängigkeit einer Abweichung der z-Position des Punktobjektes, das durch den Vergleichslichtfleck dargestellt ist, gegenüber der z-Position desselben Punktobjektes, das durch den Referenzlichtfleck dargestellt ist, die Korrektur-information erzeugt wird, an Hand der die in Abhängigkeit der Zuordnungsin-formation ermittelten z-Positionen der Punktobjekte korrigiert werden.
3. Lichtmikroskopisches Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Schärfentiefenbereich (78) in mehreren Schritten axial verschoben wird, in jedem dieser Schritte die Korrekturinformation an Hand des jeweiligen Referenzlichtflecks und des entsprechenden Vergleichslichtflecks erzeugt wird und die in Abhängigkeit der Zuordnungsinformation ermittelten z-Positionen der Punktobjekte an Hand der schrittweise erzeugten Korrekturinformation korrigiert werden.
4. Lichtmikroskopisches Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass in jedem Schritt die in Abhängigkeit der Zuordnungsinformation für den jeweiligen Vergleichslichtfleck ermittelte z-Position durch die für den entspre-chenden Referenzlichtfleck ermittelte z-Position ersetzt wird und durch diese Ersetzung eine Korrekturfunktion als Korrekturinformation erzeugt wird.
5. Lichtmikroskopisches Verfahren nach einem der Ansprüche 4, dadurch gekennzeichnet, dass Zwischenwerte der Korrekturfunktion, für die durch die schrittweise Verschiebung des Schärfentiefenbereichs (78) keine Vergleichslichtflecke und Referenzlichtflecke verfügbar sind, durch Interpolation ermittelt werden.
6. Lichtmikroskopisches Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass die durch schrittweises Verschieben des Schärfentiefenbereichs
(78) ermittelten z-Positionen der Punktobjekte zu einem Gesamtlokalisierungsbild überlagert werden.
7. Lichtmikroskopisches Verfahren nach einem der Ansprüche 2 bis 6, dadurch gekennzeichnet, dass eine durch die Vergleichslichtflecke gebildete Vergleichsstruktur der Vergleichslichtflecke unter Berücksichtigung ihrer Helligkeit identifiziert wird.
8. Lichtmikroskopisches Verfahren nach einem der Ansprüche 3 bis 7, dadurch gekennzeichnet, dass die Summe der einzelnen, vorzugsweise gleich langen axi-alen Verstellwege im Wesentlichen gleich der axialen Ausdehnung (t) des Schärfentiefenbereichs (78) ist.
9. Lichtmikroskopisches Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der axiale Verstellweg mittels eines Sensors (84) erfasst wird.
10. Lichtmikroskopisches Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schärfentiefenbereich (78) in dem Objektraum relativ zur Probe (76) längs der optischen Achse (0) um den axialen Verstellweg verschoben wird, indem die Probe (76) relativ zu der Abbildungsoptik (70) oder die Abbildungsoptik (70) relativ zu der Probe (76) längs der optischen Achse (O) verschoben wird.
11. Lichtmikroskopisches Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Zuordnungsinformation gewonnen wird, indem ein Kalibrier-Punktobjekt innerhalb des Schärfentiefenbereichs (78) längs der optischen Achse (0) bewegt und die Kenngröße (d) eines das Kalibrier-Punktobjekt darstellenden Lichtflecks (38, 40, 42, 44, 60) eines auf dem Detektor erzeugten Kalibrierbildes in Abhängigkeit der z-Position des Kalibrier-Punktobjektes erfasst wird.
12. Lichtmikroskopisches Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Detektor eine Anordnung mit zwei Detektionskanälen verwendet wird, von denen ein erster Detektionskanal eine erste Bildebene (30) aufweist, die zu einer ersten Schärfenebene (32) optisch konjugiert ist, während ein zweiter Detektionskanal eine gegenüber der ersten Bildebene (30) längs der optischen Achse (0) versetzte zweite Bildebene (34) aufweist, die zu einer zweiten Schärfenebene (36), die längs der optischen Achse (0) gegenüber der ersten Schärfenebene (32) versetzt ist, optisch konjugiert ist.
13. Lichtmikroskopisches Verfahren nach einem der Ansprüche 1 bis 11, gekennzeichnet durch die Verwendung einer dem Detektor vorgeordneten Zylinderlinse, die zu einer unterscheidbaren Formveränderung des auf dem Detektor erzeugten Lichtflecks führt, wenn das dem Lichtfleck (38, 40, 42, 44, 60) zugeordnete Punktobjekt längs der optischen Achse (0) von einer Seite auf die andere Seite einer in dem Schärfentiefenbereich liegenden Schärfenebene bewegt wird.
14. Lichtmikroskopisches Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Kenngröße die Form und/oder die Ausdehnung des das jeweilige Punktobjekt auf dem Detektor darstellenden Lichtflecks (38, 40, 42, 44, 60) genutzt wird.
15. Lichtmikroskopische Einrichtung zur Lokalisierung von Punktobjekten in einer Probe, mit
einer Abbildungsoptik (70), die in einem Objektraum einen Schärfentiefenbereich (78) vorbestimmter axialer Ausdehnung (t) längs ihrer optischen Achse (0) hat, einem Detektor, auf den die Abbildungsoptik (70) eine in dem Objektraum angeordnete Probe (76) abbildet; und
eine Steuereinheit (80), die in der Probe (76) enthaltene Punktobjekte innerhalb des Schärfentiefenbereichs (78) lokalisiert, indem sie ein erstes Probenbild, das die Abbildungsoptik (70) auf dem Detektor erzeugt, auswertet;
wobei die Steuereinheit (80) zur Lokalisierung des jeweiligen Punktobjektes in Richtung der optischen Achse (0) eine Kenngröße (d) eines das Punktobjekt darstellenden Lichtflecks (38, 40, 42, 44, 60) des ersten Probenbildes ermittelt und dieser Kenngröße in Abhängigkeit einer vorbestimmten Zuordnungsinformation eine auf das Punktobjekt bezogene axiale z-Position zuordnet;
dadurch gekennzeichnet, dass
eine durch die Steuereinheit (80) angesteuerte Verstelleinheit (82) den Schärfentiefenbereich (78), innerhalb dessen die Punktobjekte lokalisiert werden, in dem Objektraum relativ zur Probe (76) längs der optischen Achse (O) um einen vorbestimmten axialen Verstellweg verschiebt, der kleiner als die axiale Ausdehnung (t) des Schärfentiefenbereichs ist;
die Abbildungsoptik (70) die Probe (76) bei axial verschobenem Schärfentiefenbereich (78) erneut auf den Detektor abbildet und ein zweites Probenbild erzeugt;
die Steuereinheit (80) in dem zweiten Probenbild die z-Positionen der Punktobjekte in Abhängigkeit des vorbestimmten axialen Verstellwegs ermittelt:
die Steuereinheit (80) die in dem ersten Probenbild ermittelten z-Positionen der Punktobjekte mit den in dem zweiten Probenbild ermittelten z-Positionen derselben Punktobjekte vergleicht; und
die Steuereinheit (80) in Abhängigkeit dieses Vergleichs eine Korrekturinformation erzeugt, an Hand der die Steuereinheit (80) die in Abhängigkeit der Zuordnungsinformation ermittelten z-Positionen der Punktobjekte korrigiert.
16. Lichtmikroskopische Einrichtung nach Anspruch 15, dadurch gekennzeichnet, dass die Steuereinheit (80) in dem Schärfentiefenbereich (78) längs der optischen Achse (O) mindestens eine ortsfeste z-Referenzposition (zs) definiert;
die Steuereinheit (80) mindestens einen derjenigen Lichtflecke (38, 40, 42, 44, 60) aus dem mindestens einen mit axial verschobenem Schärfentiefenbereich (78) auf dem Detektor erzeugten zweiten Probenbild, welche die in dem axial verschobenen Schärfentiefenbereich in der z-Referenzposition (zs) angeordneten Punktobjekte darstellen, als Referenzlichtfleck definiert;
die Steuereinheit (80) die z-Position des Punktobjektes, das durch den Referenzlichtfleck dargestellt ist, in dem Objektraum in Abhängigkeit des axialen Verstellwegs des Schärfentiefenbereichs (78) und der z-Referenzposition (zs) bestimmt;
die Steuereinheit (80) einen der Lichtflecke (38, 40, 42, 44, 60) aus dem ersten Probenbild, der dasselbe Punktobjekt wie der Referenzlichtfleck des zweiten Probenbildes darstellt, als Vergleichslichtfleck identifiziert; und
die Steuereinheit (80) in Abhängigkeit einer Abweichung der z-Position des Punktobjektes, das durch den Vergleichslichtfleck dargestellt ist, gegenüber der z- Position desselben Punktobjektes, das durch den Referenzlichtfleck dargestellt ist, die Korrekturinformation erzeugt, an Hand der die Steuereinheit (80) die in Abhängigkeit der Zuordnungsinformation ermittelten z-Positionen der Punktobjekte korrigiert.
17. Lichtmikroskopische Einrichtung nach Anspruch 15 oder 16, gekennzeichnet durch einen Sensor (84) zum Erfassen des axialen Verstellwegs des Schärfentiefenbereichs (78).
PCT/EP2014/055800 2013-03-22 2014-03-24 Lichtmikroskopisches verfahren zur lokalisierung von punktobjekten WO2014147257A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201490000520.6U CN206178237U (zh) 2013-03-22 2014-03-24 用于定位点状样本的光学显微机构
JP2016504605A JP6659531B2 (ja) 2013-03-22 2014-03-24 点状物体の局在化のための光学顕微鏡法
US14/778,638 US9665940B2 (en) 2013-03-22 2014-03-24 Light-microscopy method for locating point objects

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013102988.4 2013-03-22
DE102013102988.4A DE102013102988A1 (de) 2013-03-22 2013-03-22 Lichtmikroskopisches Verfahren zur Lokalisierung von Punktobjekten

Publications (1)

Publication Number Publication Date
WO2014147257A1 true WO2014147257A1 (de) 2014-09-25

Family

ID=50483358

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2014/055800 WO2014147257A1 (de) 2013-03-22 2014-03-24 Lichtmikroskopisches verfahren zur lokalisierung von punktobjekten

Country Status (5)

Country Link
US (1) US9665940B2 (de)
JP (1) JP6659531B2 (de)
CN (1) CN206178237U (de)
DE (1) DE102013102988A1 (de)
WO (1) WO2014147257A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10401793B2 (en) * 2010-06-17 2019-09-03 Purdue Research Foundation Digital holographic method of measuring cellular activity and measuring apparatus with improved stability
KR101463005B1 (ko) * 2013-10-15 2014-11-18 (주)한국해양기상기술 특정 파장에 대한 형광 특성을 갖는 미생물 검사방법
LU92620B1 (de) * 2014-12-19 2016-06-20 Leica Microsystems Rastermikroskop
US10761419B2 (en) 2017-04-17 2020-09-01 Washington University Systems and methods for performing optical imaging using a tri-spot point spread function (PSF)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006127692A2 (en) 2005-05-23 2006-11-30 Hess Harald F Optical microscopy with phototransformable optical labels
DE102006021317B3 (de) 2006-05-06 2007-10-11 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Fluoreszenzlichtmikroskop zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
WO2008091296A2 (en) 2006-08-07 2008-07-31 President And Fellows Of Harvard College Sub-diffraction limit image resolution and other imaging techniques
WO2009085218A1 (en) * 2007-12-21 2009-07-09 President And Fellows Of Harvard College Sub-diffraction limit image resolution in three dimensions
DE102008024568A1 (de) 2008-05-21 2009-12-03 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren zum räumlich hochauflösenden Abbilden einer interessierenden Struktur einer Probe
US20100278400A1 (en) * 2008-12-17 2010-11-04 The Regents Of The University Of Colorado Three-dimensional single-molecule fluorescence imaging beyond the diffraction limit using a double-helix point spread function
US20120300293A1 (en) * 2011-05-28 2012-11-29 The Board Of Trustees Of The University Of Illinois Simple Ultra-Stable Stage with Built-in Fiduciary Markers for Fluorescence Nanoscopy
DE102011053232A1 (de) * 2011-09-02 2013-03-07 Leica Microsystems Cms Gmbh Mikroskopische Einrichtung und mikroskopisches Verfahren zur dreidimensionalen Lokalisierung von punktförmigen Objekten

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6406848B1 (en) * 1997-05-23 2002-06-18 Lynx Therapeutics, Inc. Planar arrays of microparticle-bound polynucleotides
DE19651667C2 (de) * 1996-12-12 2003-07-03 Rudolf Groskopf Vorrichtung zur dreidimensionalen Untersuchung eines Objektes
JP4756819B2 (ja) * 2003-10-21 2011-08-24 オリンパス株式会社 走査型顕微鏡システム
JP4910131B2 (ja) * 2006-07-06 2012-04-04 国立大学法人富山大学 表面情報取得装置及び表面情報取得方法
US8155409B2 (en) * 2008-04-17 2012-04-10 Ruprecht-Karls-Universitat Wave field microscope with sub-wavelength resolution and methods for processing microscopic images to detect objects with sub-wavelength dimensions
JP5499732B2 (ja) * 2009-06-23 2014-05-21 ソニー株式会社 生体サンプル像取得装置、生体サンプル像取得方法及び生体サンプル像取得プログラム
DE102009060793A1 (de) * 2009-12-22 2011-07-28 Carl Zeiss Microlmaging GmbH, 07745 Hochauflösendes Mikroskop und Verfahren zur zwei- oder dreidimensionalen Positionsbestimmung von Objekten
US8620065B2 (en) * 2010-04-09 2013-12-31 The Regents Of The University Of Colorado Methods and systems for three dimensional optical imaging, sensing, particle localization and manipulation
JP5459399B2 (ja) * 2010-06-03 2014-04-02 株式会社ニコン 顕微鏡装置
DE102010044013A1 (de) * 2010-11-16 2012-05-16 Carl Zeiss Microimaging Gmbh Tiefenauflösungsgesteigerte Mikroskopie
FR2978254B1 (fr) * 2011-07-21 2014-01-24 Imagine Optic Methode et dispositif optique pour la localisation d'une particule en super resolution
US10001622B2 (en) * 2011-10-25 2018-06-19 Sanford Burnham Medical Research Institute Multifunction autofocus system and method for automated microscopy
DE102011086230B4 (de) * 2011-11-11 2023-02-23 Leica Microsystems Cms Gmbh Verfahren und Vorrichtung zur Beleuchtung und Detektion in der RESOLFT-Mikroskopie
DE102011055294B4 (de) * 2011-11-11 2013-11-07 Leica Microsystems Cms Gmbh Mikroskopische Einrichtung und Verfahren zur dreidimensionalen Lokalisierung von punktförmigen Objekten in einer Probe
DE102012200344A1 (de) * 2012-01-11 2013-07-11 Carl Zeiss Microscopy Gmbh Mikroskopsystem und Verfahren für die 3-D hochauflösende Mikroskopie
CN102566048B (zh) * 2012-01-17 2013-07-24 浙江大学 一种基于象散的样品轴向漂移补偿方法和装置
US10955331B2 (en) * 2012-06-22 2021-03-23 The Regents Of The University Of Colorado, A Body Corporate Imaging or measurement methods and systems

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006127692A2 (en) 2005-05-23 2006-11-30 Hess Harald F Optical microscopy with phototransformable optical labels
DE102006021317B3 (de) 2006-05-06 2007-10-11 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Fluoreszenzlichtmikroskop zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
WO2007128434A1 (de) 2006-05-06 2007-11-15 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und fluoreszenzlichtmikroskop zum räumlich hochauflösenden abbilden einer struktur einer probe
US20090134342A1 (en) 2006-05-06 2009-05-28 Stefan Hell High spatial resolution imaging of a structure of interest in a specimen
WO2008091296A2 (en) 2006-08-07 2008-07-31 President And Fellows Of Harvard College Sub-diffraction limit image resolution and other imaging techniques
WO2009085218A1 (en) * 2007-12-21 2009-07-09 President And Fellows Of Harvard College Sub-diffraction limit image resolution in three dimensions
DE102008024568A1 (de) 2008-05-21 2009-12-03 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren zum räumlich hochauflösenden Abbilden einer interessierenden Struktur einer Probe
US20100278400A1 (en) * 2008-12-17 2010-11-04 The Regents Of The University Of Colorado Three-dimensional single-molecule fluorescence imaging beyond the diffraction limit using a double-helix point spread function
US20120300293A1 (en) * 2011-05-28 2012-11-29 The Board Of Trustees Of The University Of Illinois Simple Ultra-Stable Stage with Built-in Fiduciary Markers for Fluorescence Nanoscopy
DE102011053232A1 (de) * 2011-09-02 2013-03-07 Leica Microsystems Cms Gmbh Mikroskopische Einrichtung und mikroskopisches Verfahren zur dreidimensionalen Lokalisierung von punktförmigen Objekten

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
"Sub-diffraction-limit imaging by stochastic optical reconstruction microscopy (STORM", NATURE METHODS, vol. 3, 2006, pages 793 - 796
HOLTZER, APPLIED PHYSICS LETTERS, vol. 90, 2007
HUANG ET AL., SCIENCE, 2008, pages 319
JUETTE ET AL., NATURE METHODS, 2008
KAJO, BIOPHYSICAL JOURNAL, vol. 67, 1994
KAO H P ET AL: "Tracking of Single Fluorescent Particles in Three Dimensions: Use of Cylindrical Optics to Encode Particle Position", BIOPHYSICAL JOURNAL, CELL PRESS, US, vol. 67, no. 3, 1 September 1994 (1994-09-01), pages 1291 - 1300, XP002523344, ISSN: 0006-3495, [retrieved on 20090105], DOI: 10.1016/S0006-3495(94)80601-0 *
M. J. RUST; M. BATES; X. ZHUANG; GEISLER C. ET AL.: "Resolution of Lambda/10 in fluorescence microscopy using fast single molecule photo-switching", APPL. PHYS. A, vol. 88, 2007, pages 223 - 226, XP019515521, DOI: doi:10.1007/s00339-007-4144-0
PAVANI ET AL., PNAS, vol. 106, 2009
TOPRAK ET AL., NANO LETTERS, vol. 7, no. 7, 2007

Also Published As

Publication number Publication date
DE102013102988A1 (de) 2014-09-25
US9665940B2 (en) 2017-05-30
JP2016515718A (ja) 2016-05-30
US20160063718A1 (en) 2016-03-03
JP6659531B2 (ja) 2020-03-04
CN206178237U (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
DE102013106895B4 (de) Lichtmikroskopisches Verfahren zur Lokalisierung von Punktobjekten
EP2592461B1 (de) Mikroskopische Einrichtung und Verfahren zur dreidimensionalen Lokalisierung von punktförmigen Objekten in einer Probe
EP2538262B1 (de) Verfahren und lichtmikroskopische Einrichtung zur bildlichen Darstellung einer Probe
DE102014216227B4 (de) Verfahren und Vorrichtung zum Bestimmen eines Abstandes zweier voneinander entlang einer ersten Richtung beabstandeter optischer Grenzflächen
WO2016005571A1 (de) Positionsbestimmung eines objekts im strahlengang einer optischen vorrichtung
DE102010036709A1 (de) Einrichtung und Verfahren zur mikroskopischen Bildaufnahme einer Probenstruktur
DE102007017598A1 (de) Verfahren und Anordnung zum Positionieren eines Lichtblattes in der Fokusebene einer Detektionsoptik
DE102013208415B4 (de) Mikroskop und Verfahren für die 3D-hochauflösende Lokalisierungsmikroskopie
DE102012223128A1 (de) Autofokusverfahren für Mikroskop und Mikroskop mit Autofokuseinrichtung
EP1223450A2 (de) Mikroskop und Verfahren zum Betreiben eines Mikroskops
DE102011053232A1 (de) Mikroskopische Einrichtung und mikroskopisches Verfahren zur dreidimensionalen Lokalisierung von punktförmigen Objekten
WO2014147257A1 (de) Lichtmikroskopisches verfahren zur lokalisierung von punktobjekten
DE102015116452A1 (de) Mikroskop
EP3374755A1 (de) Lichtmikroskop und verfahren zum bestimmen einer wellenlängenabhängigen brechzahl eines probenmediums
DE102019201916A1 (de) Verfahren und Vorrichtung zur Inspektion von Nano-und Mikrostrukturen
DE102008005356B4 (de) Autofokusvorrichtung und Autofokussierverfahren für eine Abbildungsvorrichtung
DE102019109832B3 (de) Lichtblattmikroskop und Verfahren zum Erfassen einer Messgröße
DE102014003145A1 (de) Verfahren zur Korrektur der sphärischen Aberration bei mikroskopischen Anwendungen
EP3988989B1 (de) Verfahren und mikroskop mit einer einrichtung zum erfassen von verlagerungen einer probe gegenüber einem objektiv
DE102011001091C5 (de) Verfahren und Einrichtung zur mikroskopischen Bildaufnahme einer Probenstruktur
EP4042222B1 (de) Verfahren und vorrichtung zur aberrationskorrektur in der fluoreszenzmikroskopie
WO2017080921A1 (de) Mikroskopierverfahren zur ermittlung eines kontrastbildes und mikroskop
DE102019118446A1 (de) Verfahren und Mikroskop mit einer Korrekturvorrichtung zur Korrektur von aberrationsinduzierten Abbildungsfehlern
EP1179748B1 (de) Kombination von abtastenden und abbildenden Methoden bei der Überprüfung von Photomasken
DE102018126009A1 (de) Verfahren und Mikroskop zur Bestimmung der Dicke eines Deck- oder Tragglases

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14717109

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14778638

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2016504605

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 14717109

Country of ref document: EP

Kind code of ref document: A1