WO2012000923A1 - Verfahren und einrichtung zur lichtmikroskopischen abbildung einer probenstruktur - Google Patents

Verfahren und einrichtung zur lichtmikroskopischen abbildung einer probenstruktur Download PDF

Info

Publication number
WO2012000923A1
WO2012000923A1 PCT/EP2011/060688 EP2011060688W WO2012000923A1 WO 2012000923 A1 WO2012000923 A1 WO 2012000923A1 EP 2011060688 W EP2011060688 W EP 2011060688W WO 2012000923 A1 WO2012000923 A1 WO 2012000923A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
data sets
determined
light
offset
Prior art date
Application number
PCT/EP2011/060688
Other languages
English (en)
French (fr)
Inventor
Marcus Dyba
Volker Seyfried
Original Assignee
Leica Microsystems Cms Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Microsystems Cms Gmbh filed Critical Leica Microsystems Cms Gmbh
Priority to US13/806,047 priority Critical patent/US9772485B2/en
Priority to JP2013517222A priority patent/JP5883855B2/ja
Publication of WO2012000923A1 publication Critical patent/WO2012000923A1/de

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems

Definitions

  • the invention relates to a method and a device for light microscopic imaging of a sample structure.
  • the new method has in common that the sample structures to be imaged are prepared with markers which have two distinguishable states, namely a "bright” state and a "dark” state.
  • markers which have two distinguishable states, namely a "bright” state and a "dark” state.
  • the bright state is a fluorescent state
  • the dark state is a non-fluorescent state.
  • the active subset is to be chosen so that the mean distance between adjacent markers in the bright and thus light microscopic imageable state is greater than the resolution limit of the imaging optical system.
  • the luminance signals of the active subset are imaged onto a spatially resolving light detector, eg a CCD camera.
  • a spatially resolving light detector eg a CCD camera.
  • Each marker thus detects a light distribution in the form of a light spot whose size is determined by the resolution limit of the imaging optical system.
  • a plurality of raw data individual images are recorded in the form of single-image data sets, in each of which a different active subset is mapped.
  • the center of gravity positions of the light distributions that represent the markers in the bright state are then determined in each raw data single image.
  • the center of gravity positions of the light distributions determined from the raw data individual images are then compiled in an overall representation in the form of an overall image data set.
  • the high-resolution overall image resulting from this overall representation reflects the distribution of the markers.
  • "raw data” is thus understood to mean data which has not yet been subjected to the image analysis process for determining the center of gravity positions.
  • the number of markers in the respective active subset is limited by the minimum average distance which two markers must have in the bright state from each other.
  • a lot of raw data frames have to be taken in order to fully depict the sample structure.
  • the number of raw data frames ranges from 10,000 to 100,000.
  • the time required for the acquisition of a raw data frame is limited downwards by the maximum image acquisition rate of the light detector. This leads to comparatively long total acquisition times for a sequence of raw data individual images required for the overall presentation. So the total recording time can be up to several hours.
  • any relative movement between the sample and the imaging optical system that occurs during the acquisition of two consecutive raw data frames degrades the spatial resolution of the overall image.
  • this relative movement is due to a systematic mechanical movement of the system. also referred to as mechanical drift, caused for example by thermal expansion or shrinkage, by mechanical stresses or by the change in the consistency of lubricants used in the mechanical components.
  • a sample structure 2 is shown schematically, which consists of three concentric circular rings.
  • this sample structure 2 in particular the distances of the concentric annuli from each other, are so small that they fall below the diffraction-limited resolution limit of light microscopic imaging.
  • FIG. 1b (and also in FIGS. 2 and 3), the sample structure 2 shown in FIG. 1a is indicated by dashed circular lines in order to clarify the facts. As shown in FIG. 1 b, this results in a blurred, spatially unresolved light distribution 4 indicated by the hatching.
  • FIG. 2 a shows a sequence of raw data individual images, in each of which an active subset of markers is depicted.
  • the active markers appear in the raw data frames as extended spots of light 6 whose size is determined by the resolution limit of the imaging optical system.
  • the light spots 6 each have a mean distance from each other which is greater than this resolution limit determining the size of the light spots 6.
  • FIG. 2b illustrates how, in the above-mentioned image analysis process, gravity positions 8 of the light spots 6 are determined from the raw data individual images.
  • the raw data positions i b determined from the raw data positions 8 are then displayed in an overall position shown in FIG. 2 c. presentation summarized.
  • the overall representation according to FIG. 2 c thus provides a high-resolution overall image of the sample structure 2 shown in FIG. 1 a.
  • FIGS. 3a and 3b illustrate how, as a result of a relative movement between the sample structure 2 to be imaged and the imaging optical system which occurs during the acquisition of two successive raw data individual images, the spatial resolution of the overall image may deteriorate.
  • the center of gravity positions determined by a first raw data frame by circles 10 and the center of gravity positions determined from an immediately following second raw data frame are to be designated by squares 12.
  • FIG. 3 a shows the ideal state without mechanical drift.
  • the center of gravity positions 10 and 12 determined from the two raw data individual images precisely reproduce the sample structure 2 shown in FIG. 1 a.
  • FIG. 3b illustrates the case where the mechanical drift causes a shift of the second raw data frame relative to the first raw data frame. Accordingly, the centroid positions 12 derived from the second raw data frame are offset from the centroid positions 10 derived from the first raw data frame. As a result, this leads to a deterioration of the spatial resolution of the overall picture.
  • Some methods are known to compensate for mechanical drift. For example, it is proposed to mark the sample structure with reference markers, for example gold or fluorescent nanoparticles, and to record their position in parallel during the image acquisition optically, eg with a further detector. Alternatively, the mechanical drift can also be measured by means of suitable sensors, for example capacitive distance meters. The captured image Offset can then be used to appropriately control a mechanism for compensating the drift or to correct the determined center of gravity positions. In any case, however, the effort required to compensate for the mechanical drift is comparatively high.
  • reference markers for example gold or fluorescent nanoparticles
  • the object of the invention is to provide a method and a device for light microscopic imaging of a sample structure, which enable a reliable compensation of the mechanical third with little technical effort.
  • the invention solves this problem for the method by the following steps: preparation of a sample structure with markers which can be converted into a state that can be imaged by light microscopy,
  • Generating a sequence of individual image data records by sequentially imaging the sample structure such that for each image only a subset of the totality of the markers is converted into the state that can be imaged by light microscopy, wherein the markers of the respective subset have a mean distance from each other that is greater than the resolution limit of the light microscopic image, which determines the extent of a light distribution representing the respective imaged marker.
  • Determining an image offset between the sub-picture data sets correcting the frame data sets contained in at least one of the sub-picture data sets by the determined image offset, determining center of gravity positions, the light distributions representing the imaged markers, and
  • the invention provides to combine the E inze 1 b i 1 d data records at least two (usually more) data blocks and to superimpose the contained in the respective data block frame data sets to a sub-picture data set.
  • the sub-picture data sets then contain significantly more marker signals than each frame record.
  • the structure information contained in the sub-picture data sets is then used to determine an image offset between the successive sub-picture data sets.
  • the temporal resolution with which the image offset can be determined in each case correlates with the number of individual image data records contained in a respective sub-picture data record.
  • the method according to the invention has the advantage that it is possible to achieve a drift compensation without specially required cues or without additional preparation effort, for example using reference markers.
  • the drift alone can be computationally compensated using suitable software to compensate for unwanted mechanical movements of the sample structure relative to the imaging system.
  • the method according to the invention can be used in all known microscopy methods, in particular in all localization microscopy methods such as PALM, FPALM, (F) STORM, PALMIRA or GSDIM. This applies regardless of how the switching processes of the markers, usually photoactivatable molecules, between the light, i. the light microscopic state and the dark state can be realized.
  • the number of successive frame data sets combined in the respective data blocks is set so that a correlation coefficient formed by cross-correlation between the data blocks is larger than a predetermined threshold value.
  • the cross-correlation offers the possibility of setting the block sizes such that they are as small as possible in order to make as many correction steps as possible, but also sufficiently large so that the data blocks contain sufficient structural information to determine a significant, real image offset which is not purely stochastic nature.
  • the correlation coefficient represents a measure of the significance of the structural information contained in the data blocks.
  • the number of consecutive frame records in a respective frame may also be determined otherwise. Thus, this number can be determined, for example, based on the average distance of the center of gravity positions determined in a respective sub-picture data record.
  • the number of marks detected in each sub-picture data set may be used to set the number of frame records superimposed on the sub-picture data set. Another possibility is to analyze the stochastic distribution of the detected markers in a respective overlay image data set and to determine therefrom the number of single-frame data sets.
  • This number need not be the same size for each overlay image record.
  • the turn-off process i. the transfer of the markers from the bright state to the dark state is caused by bleaching (as is the case, for example, in WO 2006/127692 A3)
  • an interpolation function is determined on the basis of the determined image offset whose functional values form individual image offset values, by means of which the individual image data sets within the respective subordinate image data set are corrected.
  • the centroid positions of the light distributions representing the imaged markers may be determined before or after the offset correction. In the former case, first the individual image data sets contained in the at least one subordinate image data set are corrected on the basis of the determined image offset and then the center of gravity positions of the light distributions representing the imaged markers are determined.
  • the center of gravity positions of the light distributions representing the imaged markers in the individual image data sets are first determined and then the centroid positions of the individual image data sets contained in the at least one overlay data set are corrected on the basis of the determined image offset.
  • the image offset can be determined by various methods.
  • the image offset is determined according to the so-called Iterative Closest Point Algorithm, ICP algorithm for short, as described, for example, in "Object Modeling by Registration of Multiple Range Images", Chen, Y. and Medioni, G. , Proc. IEEE Conf. On Robotics and Automation, 1991; and "A Method for Registration of 3-D Shapes", Besl, P. and McKay, N., Trans. PA ML Vol. 2, 1992.
  • This algorithm makes it possible to adapt so-called point clouds to each other. Coordinate transformations are determined for the point clouds in such a way that the distances between the point clouds are minimized. For this purpose, the next point from the other point cloud is determined for each point from the one point cloud. The sum of the squares of the distances is minimized by adjusting the transformation parameters. This is done iteratively until the optimum is found.
  • the determination of the image offset is not limited to the above-mentioned methods.
  • the image offset can also be detected by recognizing a common substructure in the sub-picture data sets.
  • the recognition of the substructure is carried out by a suitable image analysis, such as edge detection or pattern recognition.
  • a continuous time course of an image drift is determined by repeatedly determining the image offset in a plurality of cycles and changing the number of frame data sets combined in the data blocks from cycle to cycle. This means that the bit offset analysis according to the invention is repeated for different data block divisions, so as to detect a continuous time course of the image density.
  • a quality parameter is determined and, based on the quality parameter, a quantity is determined which indicates the resolution of the overall image.
  • the above methods e.g. the ICP algorithm or the cross-correlation allow the determination of characteristics (e.g., variance matrices in the ICP algorithm or cross-correlation coefficients). which represent a measure and thus a quality parameter for the precision of the image overlay.
  • characteristics e.g., variance matrices in the ICP algorithm or cross-correlation coefficients.
  • the expected effective image resolution can then be specified after the drift compensation.
  • the method according to the invention provides for correcting the individual image data sets on the basis of the determined image offset.
  • the aforementioned component of the light microscope is, for example, a sample holder, on which the sample structure is held.
  • the control of the microscope component can take place in a closed control loop.
  • the invention further relates to a device with means for carrying out the method described above.
  • these means include a graphics processor. Due to the good parallelizability of the process steps forming the method according to the invention, such a graphics processor, in short GPU, is particularly suitable for carrying out the method. This applies in particular to the method steps of determining the image offset as well as the determination of the Focal positions of the light distributions representing the imaged markers.
  • FIG. 1 a shows a schematic representation of an exemplary sample structure whose structural features to be imaged by light microscopy are smaller than the resolution limit of the light microscopic image;
  • Figure 1 b is a schematic representation showing a resolution-limited light-microscopic image of Mark n er prepared sample structure of Figure l a;
  • FIG. 2a shows a sequence of raw data individual images in each of which an active subset of markers is depicted
  • FIG. 2b shows a sequence corresponding to the image sequence according to FIG. 2a with the centroid positions determined from the raw data individual images;
  • FIG. 2c shows a high-resolution overall image in which the centroid positions shown in FIG. 2b are combined
  • FIG. 3a shows a drift-free overall image of the sample structure according to FIG. 1a, in which center of gravity positions from two successive raw data individual images are summarized for illustration purposes; a drift-laden overall image of the sample structure according to FIG. 1 a, in which according to FIG. 3 a center of gravity positions of two successive raw data items 1 to 1 are summarized; the construction of a light microscope for carrying out the method according to the invention; a sequence of raw data frames that are combined into multiple data blocks;
  • Overlay images that correspond to the images shown in Figure 5b and in which the determined centroid positions are shown; and a flow chart with method steps according to the invention for determining and correcting a drift-related image offset.
  • FIG. 4 shows a light microscope 20 as an exemplary embodiment. that is suitable for carrying out the method according to the invention for imaging a sample structure.
  • the light microscope 20 comprises a light source 22 which emits excitation light onto a lens system formed from two lenses 24 and 26. This lens system serves to collimate the excitation light emitted by the light source 22 in the desired manner. The collimated excitation light then falls onto a condenser lens 28. The condenser lens 28 focuses the excitation light into the aperture of a lens 30.
  • the excitation light first passes through a dichroic mirror 32, which is transparent to the excitation light.
  • the excitation light emerging from the objective 30 is incident on a sample structure 34 attached to a slide 36.
  • the sample structure 34 is, as explained above, with markers, e.g. Fluorescent molecules, prepared.
  • markers e.g. Fluorescent molecules
  • the methods mentioned above can be used to convert each part of these markers in the bright state and thereby to produce an active subset.
  • the light emitted by the sample structure 34 passes through the objective 30 and is incident on the dichroic mirror 32.
  • the dichroic mirror 32 is configured to reflect the light emitted from the sample structure 34 and thus direct it to a lens 38 which detects the light to a light detector 40, eg. a CCD camera, bundles.
  • the light detector 40 converts the received light into electrical signals and outputs them to a graphics processor 42.
  • sample structure 34 may be identical to the sample structure 2 of Figure la.
  • FIG. 5 a shows a sequence of individual frames which are numbered from 1 to n m , where n m is an integer greater than 1.
  • n m is mapped another active subset of the markers with which the sample structure 34 has been prepared.
  • the markers of a respective subset have a spatial distribution in which they have a mean distance from each other which is greater than the diffraction-limited resolution limit of the light microscope 20 according to FIG.
  • the light distributions produced by the light microscopic imaging of the markers are shown for the sake of simplicity only for the first three of the individual images shown.
  • the individual images 7, n m generated by the light detector 40 according to FIG. 5 a are converted into corresponding individual image data sets which contain processable raw data by the graphics processor 42. After generating the individual image data sets, these are combined in m data blocks, as shown in FIG. 5a.
  • the first data block contains Nj frame data sets
  • the second data block N 2 contains single frame data sets
  • the data 1 bi data sets contained in the respective data block are combined to form a sub-picture dataset.
  • the corresponding transmission images are available in gur 5b shown. They contain (depending on the respective data block sizes NN 2 , ... N m ) significantly more marker signals than each individual image.
  • the data block sizes NN 2 ,... N m are selected such that the sub-picture data sets on the one hand contain sufficient structure information in order to be able to determine an image offset between two successive sub-picture data sets.
  • the data block sizes NN 2 , ... N m should also be sufficiently small so that as many data blocks as possible and as often as possible the image offset between each two consecutive sub-picture data sets can be determined. As a result, the image drift can be corrected with a high temporal resolution.
  • the overlay image data sets according to FIG. 5 b contain light distributions corresponding to the markers whose extent is determined by the diffraction-limited resolving power of the light microscope 20.
  • the sub-picture data sets therefore still contain the raw data, ie the data that has not yet been corrected for the main focus.
  • the image offset between the consecutive sub-picture data sets can be determined on the basis of the raw data itself, that is on the basis of the sub-picture data sets shown in FIG. 5b, or after determining the centroid positions in the single-frame data records and superimposing the centroid positions.
  • the data sets which are used in the latter case to determine the image offset are illustrated in FIG. In the following, with reference to the flowchart according to FIG. 6, a concrete exemplary embodiment for determining and correcting the drift-caused image offset is invented.
  • step ST 1 the method of cross-correlation is used in step ST 1 in the present embodiment.
  • the cross correlation between the variable .V and the size S 2 designated by the symbol ⁇ S> is formed.
  • the two sizes S; and Si form the above-mentioned sub-picture data sets.
  • S i is the sum or superimposition of the individual image data sets A n and S 2 assigned to the first data block, the sum or superimposition of the individual image data sets A m assigned to the second data block.
  • n and m respectively denote a running variable and n x the number of the last frame record of the first frame and the first frame image record, and n 2 the number of the last frame record of the second frame and the second overlay sbi, respectively 1 d - D et al.
  • n x the number of the last frame record of the first frame and the first frame image record
  • n 2 the number of the last frame record of the second frame and the second overlay sbi, respectively 1 d - D et al.
  • step ST2 After the Kr eu zkor re 1 at i on sm atr ix has been calculated in step ST l for the first time, it is determined in step ST2 whether the maximum of the matrix C, which is referred to in step ST2 with Max (C x) , greater than a predetermined threshold SW.
  • the threshold SW is so predetermined; that in the event that Max (C x ) is greater than the threshold SW is, the cross-correlation is significant, ie, the two quantities Sl and S2 each contain structure information sufficient to determine an offset between the two corresponding sub-picture data sets. If in step ST2 Max (C x ) is greater than the threshold value SW, the method continues with step ST3.
  • n x is increased by ⁇ and once again executed step ST 1.
  • the loop formed by the steps ST 1 and ST 2 is thus passed through until Max (C x ) is greater than the predetermined threshold SW.
  • step ST 3 an average displacement d x between the first sub-picture data set corresponding to the first data block and the second sub-picture data set corresponding to the second data block is determined and stored based on the position of the quantity Max (C x ) within the cross-correlation matrix C. Subsequently, the method continues with the loop formed by steps ST4 and ST5.
  • step ST4 the cross-correlation between the two sub-picture data sets S i and S i + X is formed in accordance with step ST 1 to obtain a cross-correlation matrix C i . If step ST4 is executed for the first time, the run variable is equal to 2. This means that the cross-correlation between the second and third overlay image data sets is determined.
  • step ST5 it is determined whether Max (C,) is greater than the threshold SW. If this is the case, then i is increased by 1 and the method returns to step S ' 1 ' 4, in which then the cross-correlation between the third sub-picture data record and the fourth sub-picture data record is determined. If, on the other hand, the quantity x (C i) in step ST5 is not greater than the threshold value SW, then n M is increased by ⁇ , ie In the third sub-picture data set, further single-frame data sets (corresponding to the size ⁇ ) are added. The steps ST4 and ST5 are then repeated until x (C,) exceeds the threshold value SW.
  • step ST6 If the loop formed from the steps ST4 and ST5 has passed through so often and thus the run variable i has been increased until the entire sequence of E in ze 1 bi 1 d data sets (see FIG. 5a) is suitable large sub-picture data sets has been divided, the average offsets d i between the successive sub-picture data sets are determined and stored in step ST6.
  • step ST7 the individual image data sets contained in the respective sub-picture data sets are corrected by means of a summed offset ⁇ /.
  • i max is the value of
  • the focal positions of the light distributions representing the imaged markers in the individual image data sets are determined, and the focal positions determined in this way are converted into an image. sentence-corrected overall picture in which the image density is compensated.
  • the method illustrated in FIG. 6 is only to be understood as an example.
  • the determination of the image offset between the sub-picture data sets based on the raw data i. on the basis of data that does not yet include the centroid positions of the light distributions representing the imaged markers.
  • the image offset d t between two consecutive sub-picture data sets is determined.
  • the method shown in Figure 6 can be modified so that not only the image offset between the successive sub-picture data sets, but also determines the image offset between the individual image data sets contained in the respective sub-picture data set and then corrected.
  • a function can be determined for example with reference to the displacements d i, which interpolates the discrete sizes d i quasi continuously.
  • this interpolation function can then be an image offset value for each Single-frame data set determined and the respective frame data set to be corrected accordingly. This makes the drift compensation even more precise.
  • the determined image offset d t can also be used to directly drive a component of the light microscope 20, eg the sample holder 36, for drift compensation.
  • the graphics processor 42 can generate a manipulated variable corresponding to the image offset d i , with which an actuator (not shown in FIG. 4), eg a motor, is actuated to move the abovementioned microscope component relative to the objective 30 so as to compensate for a mechanical drift becomes.
  • an actuator not shown in FIG. 4

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Microscoopes, Condenser (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

Beschrieben ist ein Verfahren zur lichtmikroskopischen Abbildung einer Probenstruktur (2, 34), mit folgenden Schritten: Präparieren der Probenstruktur (2, 34) mit Markern, die in einen lichtmikroskopisch abbildbaren Zustand überführbar sind, Erzeugen einer Sequenz von Einzelbild-Datensätzen durch sequentielles Abbilden der Probenstruktur (2, 34) derart, dass für jede Abbildung jeweils nur eine Teilmenge der Gesamtheit der Marker in den lichtmikroskopisch abbildbaren Zustand überfuhrt wird, wobei die Marker der jeweiligen Teilmenge einen mittleren Abstand voneinander haben, der größer ist als die Auflösungsgrenze der lichtmikroskopischen Abbildung, welche die Ausdehnung einer den jeweils abgebildeten Marker darstellenden Lichtverteilung bestimmt, Erzeugen von mindestens zwei Datenblöcken, in denen jeweils mehrere aufeinander folgende Einzelbild-Datensätze zusammengefasst sind, Überlagern der in dem jeweiligen Datenblock enthaltenen Einzelbild-Datensätze zu einem Überlagerungsbild-Datensatz, Ermitteln eines Bildversatzes zwischen den Überlagerungsbild-Datensätzen, Korrigieren der Einzelbild-Datensätze, die in mindestens einem der Überlagerungsbild-Datensätze enthalten sind, an Hand des ermittelten Bildversatzes, Bestimmen von Schwerpunktpositionen der die abgebildeten Marker darstellenden Lichtverteilungen und Zusammensetzen der Schwerpunktpositionen zu einem versatzkorrigierten Gesamtbild.

Description

Verfahren und Einrichtung zur lichtmikroskopischen. Abbildung einer
Probenstruktur
Die Erfindung betrifft ein Verfahren und eine Einrichtung zur lichtmikroskopischen Abbildung einer Probenstruktur.
In jüngerer Vergangenheit wurden lichtmikroskopische Abbildungsverfahren entwickelt, mit denen sich basierend auf einer sequentiellen, stochastischen Lokalisierung von einzelnen Markern, insbesondere Fluoreszenzmolekülen, Probenstrukturen darstellen lassen, die kleiner sind als die beugungsbedingte Auflösungsgrenze klassischer Lichtmikroskope. Solche Verfahren sind beispielsweise beschrieben in WO 2006/127692 A2; DE 10 2006 021 317 B3; WO 2007/128434 AI , US 2009/0134342 A I ; DE 10 2008 024 568 A I ;„Sub- diffraction-limit imaging by stochastic optical reconstruction microscopy (STORM)", Naturc Melhods 3, 793-796 (2006). M. J. Rust, M. Bates, X. Zhuang;„Resolution of Lambda/10 in fluorescence microscopy using fast Single molecule photo-switching", Geisler C. et al, Appl. Phys. A, 88, 223-226 (2007). Dieser neue Zweig der Mikroskopie wird auch als Lokalisierungsmikroskopie bezeichnet. Die angewandten Verfahren sind in der Literatur z.B. unter den Bezeichnungen PALM, FPALM, (F)STORM, PALMIRA oder GSD1M bekannt.
Den neuen Verfahren ist gemein, dass die abzubildenden Probenstrukturen mit Markern präpariert werden, die über zwei unterscheidbare Zustände verfügen, nämlich einen„hellen" Zustand und einen„dunklen" Zustand. Werden beispielsweise Fluoreszenzfarbstoffe als Marker verwendet, so ist der helle Zustand ein fluoreszenzfähiger Zustand und der dunkle Zustand ein nicht fluoreszenzfähiger Zustand. Zur Abbildung von Probenstrukturen mit einer Aufiö- sung, die kleiner als die klassische Au llösungsgrenze des bildgebenden optischen Systems ist, wird nun wiederholt eine kleine Teilmenge der Marker in den hellen Zustand präpariert. Diese Teilmenge wird im Folgenden als aktive Teilmenge bezeichnet. Die aktive Teilmenge ist dabei so zu wählen, dass der mittlere Abstand benachbarter Marker im hellen und damit lichtmikroskopisch abbildbaren Zustand größer ist als die Auflösungsgrenze des bildgebenden optischen Systems. Die Luminanzsignale der aktiven Teilmenge werden auf einen räumlich auflösenden Lichtdetektor, z.B. eine CCD-Kamera, abgebildet. Von jedem Marker wird so eine Lichtverteilung in Form eines Lichtflecks er- fasst, dessen Größe durch die Aufiösungs grenze des bildgebenden optischen Systems bestimmt ist.
Auf diese Weise wird eine Vielzahl von Rohdaten-Einzelbildern in Form von Einzelbild-Datensätzen aufgenommen, in denen jeweils eine andere aktive Teilmenge abgebildet ist. In einem Bildanalyse-Prozess werden dann in jedem Rohdaten-Einzelbild die Schwerpunktpositionen der Lichtverteilungen bestimmt, die die im hellen Zustand befindlichen Marker darstellen. Die aus den Rohdaten-Einzelbildern ermittelten Schwerpunktpositionen der Lichtverteilungen werden dann in einer Gesamtdarstellung in Form eines Gesamtbild- Datensatzes zusammengetragen. Das durch diese Gesamtdarstellung entstehende hochaufgelöste Gesamtbild spiegelt die Verteilung der Marker wider. Unter„Rohdaten" werden im Folgenden also Daten verstanden, die noch nicht dem B i ldanalyse-Prozess zur Bestimmung der Schwerpunktpositionen unterzogen worden sind.
Für eine repräsentative Wiedergabe der abzubildenden Probenstruktur müssen ausreichend viele Markersignale detektiert werden. Da jedoch die Anzahl an Markern in der jeweils aktiven Teilmenge durch den minimalen mittleren Abstand, den zwei Marker im hellen Zustand voneinander haben müssen, limi- tiert ist, müssen sehr viele Rohdaten-Einzelbilder aufgenommen werden, um die Probenstruktur vollständig abzubilden. Typischerweise liegt die Anzahl an Rohdaten-Einzelbildern in einem Bereich von 10.000 bis 100.000.
Die für die Aufnahme eines Rohdaten-Einzelbildes benötigte Zeit ist nach unten hin durch die maximale Bildaufnahmerate des Lichtdetektors limitiert. Dies führt zu vergleichsweise langen Gesamtaufnahmezeiten für eine für die Gesamtdarstellung benötigte Sequenz von Rohdaten-Einzelbildern. So kann die Gesamtaufnahmezeit bis zu einigen Stunden betragen.
Über diese lange Ges m tau fn ah m ezei t kann es nun zu einer Bewegung der abzubildenden Probe relativ zum bildgebenden optischen System kommen. Da für die Erstellung eines hochaufgelösten Gesamtbildes alle Rohdaten- Einzelbilder nach der Schwerpunktbestimmung zusammengeführt werden, verschlechtert jede Relativbewegung zwischen der Probe und dem bildgebenden optischen System, die während der Aufnahme zweier aufeinanderfolgender Rohdaten-Einzelbilder auftritt, die Ortsauflösung des Gesamtbildes. In vielen Fällen rührt diese Relativbewegung von einer systematischen mechanischen Bewegung des Systems her. auch als mechanische Drift bezeichnet, die beispielsweise durch thermische Ausdehnung oder Schrumpfung, durch mechanische Verspannungen oder durch die Veränderung der Konsistenz von Schmiermitteln, die in den mechanischen Komponenten verwendet werden, verursacht wird.
Die vorstehend beschriebene Problematik soll im Folgenden an Hand der Figuren 1 bis 3 veranschaulicht werden.
In Figur la ist schematisch eine Probenstruktur 2 dargestellt, die aus drei konzentrischen Kreisringen besteht. Im Folgenden sei angenommen, dass die ab- zubildenden strukturellen Merkmale dieser Probenstruktur 2, insbesondere die Abstände der konzentrischen Kreisringe voneinander, so klein sind, dass sie die beugungsbegrenzte Auflösungsgrenze der lichtmikroskopischen Abbildung unterschreiten.
Wird nun die in Figur la gezeigte Probenstruktur 2 mit Markern versehen und werden diese Marker in den hellen und damit lichtmikroskopisch abbildbaren Zustand gebracht, so ergibt sich auf Grund des beugungsbegrenzten Auflösungsvermögens der lichtmikroskopischen Abbildung ein Mikroskopbild der in Figur 1b gezeigten Art. in dem die einzelnen mit Markern versehenen Kreisringe der Probenstruktur 2 nicht mehr unterscheidbar sind. In Figur lb (und auch in den Figuren 2 und 3) ist die in Figur la gezeigte Probenstruktur 2 zur Verdeutlichung des Sachverhalts durch gestrichelte Kreislinien angedeutet. Wie in Figur l b gezeigt, ergibt sich hierbei eine durch die Schraffur angedeutete verwaschene und damit räumlich nicht aufgelöste Lichtverteilung 4.
In Figur 2a ist eine Sequenz von Rohdaten-Einzelbildern gezeigt, in denen jeweils eine aktive Teilmenge an Markern abgebildet ist. Die aktiven Marker erscheinen in den Rohdaten-Einzelbildern als ausgedehnte Lichtflecke 6, deren Größe durch die Auflösungsgrenze des bildgebenden optischen Systems bestimmt ist. Wie Figur 2a gezeigt ist, haben die Lichtflecke 6 jeweils einen mittleren Abstand voneinander, der größer als diese die Größe der Lichtflecke 6 bestimmende Auflösungsgrenze ist.
In Figur 2b ist veranschaulicht, wie in dem oben erwähnten Bildanalyse- Prozess aus den Rohdaten-Einzelbildern Schwerpunktpositionen 8 der Licht- flecke 6 ermittelt werden. Die aus den Roh dat en -E inze lb i 1 dem bestimmten Schwerpunktpositionen 8 werden dann in einer in Figur 2c gezeigten Gesamt- darstellung zusammengefasst. Die Gesamtdarstellung nach 2c liefert so ein hochaufgelöstes Gesamtbild der in Figur la gezeigten Probenstruktur 2.
In den Figuren 3a und 3b ist veranschaulicht, wie es in Folge einer Relativbewegung zwischen der abzubildenden Probenstruktur 2 und dem bildgebenden optischen System, die während der Aufnahme zweier aufeinanderfolgender Rohdaten-Einzelbilder auftritt, zu einer Verschlechterung der Ortsauflösung des Gesamtbildes kommen kann. Dabei sollen in diesem lediglich der Veranschaulichung dienenden Beispiel die aus einem ersten Rohdaten-Einzelbild bestimmten Schwerpunktpositionen durch Kreise 10 und die aus einem unmittelbar darauf folgenden zweiten Rohdaten-Einzelbild bestimmten Schwerpunktpositionen mit Quadraten 12 bezeichnet sein.
In Figur 3a ist der Idealzustand ohne mechanische Drift gezeigt. Die aus den beiden Rohdaten-Einzelbildern ermittelten Schwerpunktpositionen 10 und 12 geben die in Figur 1 a gezeigte Probenstruktur 2 präzise wider. In Figur 3b ist der Fall dargestellt, dass die mechanische Drift eine Verschiebung des zweiten Rohdaten-Einzelbildes gegenüber dem ersten Rohdaten-Einzelbild verursacht. Dementsprechend sind die aus dem zweiten Rohdaten-Einzelbild abgeleiteten Schwerpunktpositionen 12 gegenüber den aus dem ersten Rohdaten-Einzelbild abgeleiteten Schwerpunktpositionen 10 versetzt. Dies führt im Ergebnis zu einer Verschlechterung der Ortsauflösung des Gesamtbildes.
Es sind einige Verfahren bekannt, um die mechanische Drift zu kompensieren. Beispielsweise wird vorgeschlagen, die Probenstruktur mit Referenzmarkern, z.B. Gold- oder Fluoreszenz-Nanopartikeln, zu markieren und deren Position parallel während der Bildaumahme optisch, z.B. mit einem weiteren Detektor, zu erfassen. Alternativ kann die mechanische Drift auch durch geeignete Sensoren, z.B. kapazitative Abstandsmesser, gemessen werden. Der erfasste Bild- versatz kann dann genutzt werden, eine Mechanik zur Kompensation der Drift geeignet anzusteuern oder die ermittelten Schwerpunktpositionen zu korrigieren. In jedem Fall ist jedoch der für die Kompensation der mechanischen Drift erforderliche Aufwand vergleichsweise hoch.
Aus der US 2008/0182336 AI ist ein lokalisierungsmikroskopisches Verfahren bekannt, bei dem eine Kompensation der mechanischen Drift vorgesehen ist. Hierzu wi d eine Korrelation zwischen Einzelbildern berechnet und daraus eine Korrekturgröße ermittelt. Ferner wird auf die Druckschri ften US 7 675 045 B l , DE 10 2008 049 878 AI und WO 2010/062364 AI verwiesen, in denen weitere lokalisierungsmikroskopische Verfahren offenbart sind.
Aufgabe der Erfindung ist es, ein Verfahren und eine Einrichtung zur lichtmikroskopischen Abbildung einer Probenstruktur anzugeben, die mit geringem technischem Aufwand eine zuverlässige Kompensation der mechanischen Dritt ermöglichen.
Die Erfindung löst diese Aufgabe für das Verfahren durch folgende Schritte: Präparieren einer Probenstruktur mit Markern, die in einen lichtmikroskopisch abbildbaren Zustand überführbar sind,
Erzeugen einer Sequenz von Einzelbild-Datensätzen durch sequentielles Abbilden der Probenstruktur derart, dass für jede Abbildung jeweils nur eine Teilmenge der Gesamtheit der Marker in den lichtmikroskopisch abbildbaren Zustand überführt wird, wobei die Marker der jeweiligen Teilmenge einen mittleren Abstand voneinander haben, der größer ist als die Auflösungsgrenze der lichtmikroskopischen Abbildung, welche die Ausdehnung einer den jeweils abgebildeten Marker darstellenden Lichtverteilung bestimmt.
Erzeugen von mindestens zwei Datenblöcken, in denen jeweils mehrere aufeinanderfolgende Einzel bi ld-Datensätze zusammengefasst sind, Überlagern der in dem jeweiligen Datenblock enthaltenen Einzelbild- Datensätze zu einem Überlagerungsbild-Datensatz,
Ermitteln eines Bildversatzes zwischen den Überlagerungsbild-Datensätzen, Korrigieren der Einzelbild-Datensätze, die in mindestens einem der Überlagerungsbild-Datensätze enthalten sind, an Hand des ermittelten Bildversatzes, Bestimmen von Schwerpunktpositionen, der die abgebildeten Marker darstellenden Lichtverteilungen und
Zusammensetzen der Schwerpunktpositionen zum einen versatzkorrigierten Gesamtbild.
Die Erfindung sieht vor, die E inze 1 b i 1 d-Datensätze zu mindestens zwei (in der Regel jedoch mehr) Datenblöcken zusammenzufassen und die in dem jeweiligen Datenblock enthaltenen Einzelbild-Datensätze zu einem Überlagerungsbild-Datensatz zu überlagern. Die Überlagerungsbild-Datensätze beinhalten dann deutlich mehr Markersignale als jeder Einzelbild-Datensatz. Je größer der jeweilige Datenblock ist, d.h. je mehr Einzelbild-Datensätze zu einem jeweiligen Überlagerungsbild-Datensatz überlagert werden, desto vollständiger ist die Strukturinformation. die in dem jeweiligen Überlagerungsbild- Datensatz enthalten ist. Die in den Überlagerungsbild-Datensätzen enthaltene Strukturinformation wird dann genutzt, um zwischen den aufeinanderfolgenden Überlagerungsbild-Datensätzen jeweils einen Bildversatz zu ermitteln.
Die zeitliche Auflösung, mit der jeweils der Bildversatz ermittelt werden kann, korreliert mit der Anzahl an Einzelbild-Datensätzen, die in einem jeweiligen Überlagerungsbild-Datensatz enthalten sind. Je kleiner diese Anzahl ist, desto höher ist - bei als konstant angenommener Bildaufnahmezeit je Einzelbild - die zeitliche Auflösung. Es ist deshalb wünschenswert, die Anzahl an Hinze 1 b i 1 d-Datensätzen, die zu einem jeweiligen Überlagerungsbild-Datensatz zusammengefasst werden, so zu wählen, dass einerseits ausreichend Struktur- Information zur Verfügung steht, um den Bildversatz bestimmen zu können, und dass andererseits eine möglichst hohe zeitliche Auflösung erzielt wird.
Das erfindungsgemäße Verfahren hat den Vorteil, dass eine Driftkompensation ohne eigens hierfür benötigte cssvorr i cht ungen oder ohne zusätzlichen Präparationsaufwand, beispielsweise unter Verwendung von Referenzmar- kern, erzielt werden kann. So kann die Drift allein rechnerisch unter Verwendung einer geeigneten Software kompensiert werden, um unerwünschte mechanische Bewegungen der Probenstruktur relativ zum bildgebenden System zu kompensieren.
Das erfindungsgemäße Verfahren ist in allen bekannten Mikroskopieverfahren, insbesondere in allen lokalisierungsmikroskopischen Verfahren wie PALM, FPALM, (F)STORM, PALMIRA oder GSDIM anwendbar. Dies gilt unabhängig davon, wie die Schaltprozesse der Marker, üblicherweise fotoak- tivierbare Moleküle, zwischen dem hellen, d.h. dem lichtmikroskopisch abbildbaren Zustand und dem dunklen Zustand realisiert werden.
Vorzugsweise wird die Anzahl der aufeinanderfolgenden Einzelbild- Datensätze, die in den jeweiligen Datenblöcken zusammengefasst sind, so festgelegt, dass ein Korrelationskoeffizient, der durch Kreuzkorrelation zwischen den Datenblöcken gebildet wird, größer als ein vorbestimmter Schwellwert ist. Die Kreuzkorrelation bietet die Möglichkeit, die Blockgrößen so festzulegen, dass diese zum einen möglichst klein sind, um möglichst viele Korrekturschritte vorzunehmen, zum anderen jedoch auch hinreichend groß, damit die Datenblöcke ausreichend Strukturinformation enthalten, um einen signifikanten, realen Bildversatz zu bestimmen, der nicht rein stochastischer Natur ist. Der Korrelationskoeffizient stellt dabei ein Maß für die Signifikanz der in den Datenblöcken enthaltenen Strukturinformalion dar. Die Anzahl der aufeinanderfolgenden Einzelbild-Datensätze in einem jeweiligen Datenblock kann auch in anderer Weise bestimmt werden. So kann diese Anzahl beispielsweise an Hand des mittleren Abstands der in einem jeweiligen Überlagerungsbild-Datensatz ermittelten Schwerpunktpositionen bestimmt werden. Auch kann die Anzahl der in einem jeweiligen Überlagerungsbild-Datensatz erfassten Mark er herangezogen werden, die Anzahl der Einzelbild-Datensätze, die zu dem Überlagerungsbild-Datensatz überlagert sind, festzulegen. Eine weitere Möglichkeit besteht darin, die stochastische Verteilung der erfassten Marker in einem jeweiligen Überlagerungsbild- Datensatz zu analysieren und daraus die Anzahl der Einzelbild-Datensätze zu bestimmen.
Diese Anzahl muss für die einzelnen Überlagerungsbild-Datensätze nicht gleich groß sein. Insbesondere wenn der Ausschaltprozess, d.h. das Überführen der Marker aus dem hellen Zustand in den dunklen Zustand durch Bleichen bewirkt wird (wie dies z.B. in der WO 2006/127692 A3 der Fall ist), kann es von Vorteil sein, die Überlagerungsbild-Datensätze in der zeitlichen Abfolge größer werden zu lassen.
In einer vorteilhaften Ausgestaltung des Verfahrens wird auf Grundlage des ermittelten Bildversatzes eine Interpolationsfunktion bestimmt, deren Funkti- onswerte einzelne Bildversatzwerte bilden, an Hand derer die Einzelbild- Datensätze innerhalb des jeweiligen Überlagerungsbild-Datensatzes korrigiert werden. Dadurch ist es möglich, jeden in dem jeweiligen Überlagerungsbild- Datensatz enthaltenen Einzelbild-Datensatz mit einem eigenen Bildversatzwert zu korrigieren, wodurch eine noch präzisere Dr i ft k om en s at i on möglich wird. Die Schwerpunktpositionen der die abgebildeten Marker darstellenden Lichtverteilungen können vor oder nach der Versatzkorrektur bestimmt werden. Im erstgenannten Fall werden zunächst die Einzelbild-Datensätze, die in dem mindestens einen Überlagerungsbild-Datensatz enthalten sind, an Hand des ermittelten Bildversatzes korrigiert und anschließend die Schwerpunktpositionen der die abgebildeten Marker darstellenden Lichtverteilungen bestimmt. Im zweitgenannten Fall werden dagegen zunächst die Schwerpunktpositionen der die abgebildeten Marker darstellenden Lichtverteilungen in den Einzelbild- Datensätzen bestimmt und anschließend die Schwerpunktpositionen der Einzelbild-Datensätze, die in dem mindestens einen Überlagerungs-Datensat enthalten sind, an Hand des ermittelten Bildversatzes korrigiert.
Der Bild versatz kann nach verschiedenen Methoden ermittelt werden. In einer bevorzugten Ausgestaltung wird der Bildversatz nach dem sogenannten Itera- tive-Closest-Point-Algorithmus, kurz ICP-Algorithmus ermittelt, wie er beispielsweise in„Object Modeling by Registration of Multiple Range Images", Chen, Y. und Medioni, G., Proc. IEEE Conf. On Robotics and Automation, 1991 ; und„A Method for Registration of 3-D Shapes", Besl, P. und McKay, N., Trans. PA ML Vol. 14. No. 2, 1992 beschrieben ist. Dieser Algorithmus ermöglicht es, sogenannte Punktwolken aneinander anzupassen. Dabei werden für die Punktwolken Koordinatentransformationen, so bestimmt, dass die Abstände zwischen den Punktwolken minimiert werden. Dazu wird für jeden Punkt aus der einen Punktwolke der jeweils nächste Punkt aus der anderen Punktwolke bestimmt. Die Summe der Quadrate der Abstände wird durch Anpassung der Transformationsparameter minimiert. Dies erfolgt iterativ so lange, bis das Optimum gefunden ist.
Die Ermittlung des Bildversatzes ist jedoch nicht auf die vorstehend genannten Methoden beschränkt. So kann der Bild versatz auch durch Erkennen einer gemeinsamen Substruktur in den Überlagerungsbild-Datensätzen ermittelt werden. Das Erkennen der Substruktur erfolgt dabei durch eine geeignete Bildanalyse, z.B. Kanten detektion oder Mustererkennung.
Auch ist es möglich, den Bildversatz zwischen zwei Überlagerungsbild- Datensätzen durch Kreuzkorrelation zu bestimmen.
In einer weiteren vorteilhaften Weiterbildung des Verfahrens wird ein kontinuierlicher Zeitverlauf einer Bilddrift ermittelt, indem der Bildversatz wiederholt in mehreren Zyklen ermittelt und die Anzahl der in den Datenblöcken zusammenge assten Einzelbild-Datensätze von Zyklus zu Zyklus geändert wird. Dies bedeutet, dass die erfindungsgemäße B i Idversatzanalyse für verschiedene Datenblockeinteilungen wiederholt wird, um so einen kontinuierlichen Zeitverlauf der Bilddri t zu erkennen.
Vorzugsweise wird bei der Ermittlung des Bildversatzes ein Güteparameter bestimmt und auf Grundlage des Güteparameters eine Größe ermittelt, die die Auflösung des Gesamtbildes angibt. Die vorstehend genannten Verfahren, z.B. der ICP-Algorithmus oder die Kreuzkorrelation, erlauben die Bestimmung von Kennparametern (z.B. Varianzmatrizen im ICP-Algorithmus oder KreuzkorrelationskoetTzienten). die ein Maß und damit einen Güteparameter für die Präzision der Bildüberlagerung darstellen. An Hand solcher Güteparameter kann dann die zu erwartende effektive Bildauflösung nach erfolgter Dri ftkompensation angegeben werden.
In ei er weiteren vorteilhaften Weiterbildung werden die Schwerpunktpositionen in drei Raumdimensionen bestimmt. Dies bedeutet, dass die erfindungsgemäße Driftkompensation nicht nur in einer Ebene (in üblicher Bezeichnung x-y- Ebene), sondern zusätzlich auch in einer zu dieser Ebene senkrechten Richtung (in üblicher Bezeichnung z-Richtung) erfolgen kann. Im Hinblick auf eine solche sogenannte 3D- Anwendung wird beispielhaft auf„Three- dimensional sub- 100 nm resolution fluorescence microscopy of thick samp- les", Nature Methods 5, Juette, Manuel F. ct. al, Seiten 527-529 , 2008 verwiesen.
Das erfindungsgemäße Verfahren sieht es vor, die Einzelbild-Datensätze an Hand des ermittelten Bildversatzes zu korrigieren. Zusätzlich oder an Stelle dieses Verfahrensschrittes ist es auch möglich, den ermittelten Bildversatz dazu zu nutzen, eine Komponente eines Lichtmikroskops zur Kompensation einer Driftbewegung der Probenstruktur relativ zu einem bildgebendem System des Lichtmikroskops entsprechend dem ermittelten Bildversatz zu bewegen. Die vorstehend genannte Komponente des Lichtmikroskops ist dabei beispielsweise ein Probenhalter, an dem die Probenstruktur gehalten ist. Dabei kann die Ansteuerung der M ikroskopkomponcnte in einem geschlossenen Regelkreis erfolgen. Diese Weiterbildung ist zwar mit einem erhöhten technischen Aufwand verbunden, jedoch möglicherweise für die Kompensation einer mechanischen Drift entlang der optischen Achse, d.h. einer Drift der Fokusebene, von Vorteil.
Die Erfindung betrifft ferner eine Einrichtung mit Mitteln zur Durchführung des vorstehend beschriebenen Verfahrens.
Vorzugsweise um fassen diese Mittel einen Grafikprozessor. Auf Grund der guten Parallelisierbarkeit der das erfmdungsgemäße Verfahren bildenden Verfahrensschritte ist ein solcher Grafikprozessor, kurz GPU, zur Durchführung des Verfahrens besonders geeignet. Dies gilt insbesondere für die Verfahrensschritte der Ermittlung des Bildversatzes als auch der Bestimmung der Schwerpunktpositionen der die abgebildeten Marker darstellenden Lichtverteilungen.
Die Erfindung wird im Folgenden an Hand der Figuren näher erläutert. Darin zeigen:
Figur la eine schematische Darstellung einer beispielhaften Probenstruktur, deren lichtmikroskopisch abzubildenden strukturellen Merkmale kleiner als die Auflösungsgrenze der lichtmikroskopischen Abbildung sind;
Figur 1 b eine schematische Darstellung, die eine auflösungsbegrenzte lichtmikroskopische Abbildung der mit Mark er n präparierten Probenstruktur nach Figur l a zeigt;
Figur 2a eine Sequenz von Rohdaten-Einzelbildern, in denen jeweils eine aktive Teilmenge an Markern abgebildet ist;
Figur 2b eine der Bildsequenz nach Figur 2a entsprechende Sequenz mit den aus den Rohdaten-Einzelbildern ermittelten Schwerpunktpositionen;
Figur 2c ein hochaufgelöstes Gesamtbild, in dem die in Figur 2b gezeigten Schwerpunktpositionen zusammengefasst sind;
Figur 3a ein driftfreies Gesamtbild der Probenstruktur nach Figur l a, in dem zur Veranschaulichung Schwerpunktpositionen aus zwei aufeinanderfolgenden Rohdaten-Einzelbildern zusammengefasst sind; ein driftbehaftetes Gesamtbild der Probenstruktur nach Figur l a, in dem entsprechend Figur 3a Schwerpunktpositionen zweier aufeinanderfolgender Roh daten - Fi nze 1 b i 1 der zusam- mengefasst sind; den Aufbau eines Lichtmikroskops zur Durchführung des e r fi n d u n g s g e m äßen Verfahrens; eine Sequenz von Rohdaten-Einzelbildern, die zu mehreren Datenblöcken zusainmengefasst werden;
Überlagerungsbilder, in denen die zu einem jeweiligen Datenblock zusammengefassten Rohdaten-Einzelbilder überlagert sind;
Überlagerungsbilder, die den in Figur 5b dargestellten Bildern entsprechen und in denen die ermittelten Schwerpunktpositionen dargestellt sind; und ein Ablaufdiagramm mit erfindungsgemäßen Verfahrensschritten zur Ermittlung und Korrektur eines driftbedingten Bildversatzes.
Figur 4 zeigt ein Lichtmikroskop 20 als Ausführungsbeispiel. das geeignet ist, das erfindungsgemäße Verfahren zur Abbildung einer Probenstruktur durchzu führen. Das Lichtmikroskop 20 umfasst eine Lichtquelle 22, die Anregungslicht auf ein aus zwei Linsen 24 und 26 gebildetes Linsensystem aussendet. Dieses Linsen System dient dazu, das von der Lichtquelle 22 ausgesendete Anregungslicht in der gewünschten Weise zu kollimieren. Das kollimierte Anregungslicht fällt dann auf eine Sammellinse 28. Die Sammellinse 28 fokussiert das Anregungslicht in die Apertur eines Objektivs 30. Dabei tritt das Anregungslicht zunächst durch einen dichroitischen Spiegel 32, der für das Anregungslicht durchlässig ist. Das aus dem Objektiv 30 austretende Anregungslicht fällt auf eine Probenstruktur 34, die an einem Objektträger 36 angebracht ist.
Die Probenstruktur 34 wird, wie eingangs erläutert, mit Markern, z.B. Fluoreszenzmolekülen, präpariert. Dabei können die eingangs genannten Verfahren angewandt werden, um jeweils einen Teil dieser Marker in den hellen Zustand zu überführen und dadurch eine aktive Teilmenge zu erzeugen.
Das von der Probenstruktur 34 ausgesendete Licht tritt durch das Objektiv 30 und fällt auf den dichroitischen Spiegel 32. Der dichroitische Spiegel 32 ist so ausgebildet, dass er das von der Probenstruktur 34 ausgesendete Licht reflekt iert und so auf eine Linse 38 richtet, die das Licht auf einen Lichtdetektor 40, z.B . eine CCD-Kamera, bündelt. Der Lichtdetektor 40 setzt das empfangene Licht in elektrische Signale um und gibt diese an einen Grafikprozessor 42 aus.
Unter Bezugnahme auf die Figuren 5a, 5b und 5c wird im Folgenden ein erfindungsgemäßer Aspekt des mittels des Lichtmikroskops nach Figur 4 durchgeführten Verfahrens veranschaulicht. Dabei soll die in Figur 4 nur angedeutete Probenstruktur 34 identisch mit der Probenstruktur 2 nach Figur l a sein.
In Figur 5a ist eine Sequenz von Einzelbildern dargestellt, die von 1 bis nm durehnummeriert sind, wobei nm eine ganze Zahl größer 1 ist. In jedem dieser Einzelbilder /, nm ist eine andere aktive Teilmenge der Marker abgebildet, mit denen die Probenstruktur 34 präpariert worden ist. Die Marker einer jeweiligen Teilmenge weisen dabei eine räumliche Verteilung auf, in der sie einen mittleren Abstand voneinander haben, der größer als die beugungsbegrenzte Auflösungsgrenze des Lichtmikroskops 20 nach Figur 4 ist. In Figur 5a sind die Lichtverteilungen, die durch die lichtmikroskopische Abbildung der Marker erzeugt werden, der Einfachheit halber nur für die ersten drei der dargestellten Einzelbilder gezeigt.
Die von dem Lichtdetektor 40 erzeugten Einzelbilder 7, nm nach Figur 5a werden in entsprechende Einzelbild-Datensätze umgewandelt, die durch den Grafikprozessor 42 verarbeitbare Rohdaten enthalten. Nach Erzeugen der Einzelbild-Datensätze werden diese in m Datenblöcken zu- sammengefasst, wie in Figur 5a gezeigt ist. In diesem Beispiel enthält der erste Datenblock Nj Einzelbild-Datensätze, der zweite Datenblock N2 Einzelbild-Datensätze, ...und der m-te Datenblock Nm Datensätze.
Die in dem jeweiligen Datenblock enthaltenen E i nze 1 b i 1 d- Daten s ätze werden zu einem Überlagerungsbild-Datensatz zusammengefasst. So entstehen aus den N} E i n z e 1 b i 1 d - D a t e n s ä t z e n des ersten Datenblocks ein erster Überlagerungsbild-Datensatz, aus den N2 E i n ze 1 b i 1 d - D a ten s ätzen des zweiten Datenblocks ein zweiter Überlagerungsbild-Datensatz,... und aus den Nm Einzelbild-Datensätzen des m-ten Datenblocks ein m-ter Überlagerungsbild-Datensatz. Die entsprechenden Übei agerungsbilder sind in Fi- gur 5b gezeigt. Sie enthalten (abhängig von den jeweiligen Datenblock- größen N N2, ... Nm) deutlich mehr Markersignale als jedes Einzelbild.
Die Datenblockgrößen N N2, ... Nm werden dabei so gewählt, dass die Überlagerungsbild-Datensätze einerseits ausreichend Strukturinformation beinhalten, um einen Bildversatz zwischen zwei aufeinanderfolgenden Überlagerungsbild-Datensätzen ermitteln zu können. Andererseits sollen die Datenblockgrößen N N2, ... Nm auch hinreichend klein sein, damit möglichst viele Datenblöcke entstehen und so möglichst oft der Bild Versatz zwischen je zwei aufeinander folgenden Überlagerungsbild- Datensätzen ermittelt werden kann. Im Ergebnis kann so die Bilddrift mit einer hohen zeitlichen Auflösung korrigiert werden. Ein beispielhaftes Verfahren zur Bestimmung geeigneter Datenblockgrößen N N2, ... Nm wird weiter unten unter Bezugnahme auf das Flussdiagramm nach Figur 6 beschrieben.
Die Überlagerungsbild-Datensätze nach Figur 5b beinhalten den Markern entsprechende Lichtverteilungen, deren Ausdehnung durch das beugungs- begrenzte Auflösungsvermögen des Lichtmikroskops 20 bestimmt ist. Die Überlagerungsbild-Datensätze enthalten demnach noch die Rohdaten, d.h. die noch nicht schwerpunktkorrigierten Daten. Der Bildversatz zwischen den aufeinanderfolgenden Überlagerungsbild-Datensätzen kann auf Grundlage der Rohdaten selbst, also an Hand der in Figur 5b dargestellten Überlagerungsbild-Datensätze, oder aber nach Bestimmung der Schwerpunktpositionen in den Einzelbild-Datensätzen und Überlagerung der Schwerpunktpositionen ermittelt werden. Die Datensätze, die in letzterem Fall zur Ermittlung des Bildversatzes herangezogen werden, sind in Figur c veranschaulicht. Im Folgenden wird unter Bezugnahme auf das Flussdiagramm nach Figur 6 ein konkretes Ausführungsbeispiel zur erfmdungsgemäßen Ermittlung und Korrektur des driftbedingten Bild Versatzes besehrieben.
Zunächst werden in den Schritten ST1 und S'1'2 geeignete Blockgrößen des ersten und des zweiten Datenblocks bestimmt. Dies bedeutet, dass die Anzahl an Einzelbild-Datensätzen bestimmt wird, die in den jeweiligen Datenblöcken enthalten sind. Hierzu wird in dem vorliegenden Ausführungsbeispiel in Schritt ST 1 die Methode der Kreuzkorrelation angewandt. Dabei wird die mit dem Symbol <S> bezeichnete Kreuzkorrelation zwischen der Größe .V, und der Größe S2 gebildet. Die beiden Größen S; und Si bilden die oben genannten Überlagerungsbild-Datensätze. Dabei ist Si die Summe oder Überlagerung der dem ersten Datenbloek zugeordneten Einzelbild-Datensätze An und S2 die Summe oder Überlagerung der dem zweiten Datenbloek zugeordneten Einzelbild-Datensätze Am . In Schritt ST 1 bezeichnen n und m jeweils eine Laufvariable sowie nx die Nummer des letzten Einzelbild-Datensatzes des ersten Datenblocks bzw. des ersten Überlagerungsbild-Datensatzes und n2 die Nummer des letzten Einzelbild-Datensatzes des zweiten Datenblocks bzw. des zweiten Überlagerung s b i 1 d - D a t e n s a t z e s . Zu Beginn der durch die Schritte ST ! und S'1'2 gebildeten Schleife wird nx auf einen Anfangs wert Δ gesetzt. Die Größe C, stellt eine Kreuzkorrelationsmatrix dar.
Nachdem die Kr eu zkor re 1 at i on sm atr i x in Schritt ST l zum ersten Mal berechnet worden ist, wird in Schritt ST2 bestimmt, ob das Maximum der Matrix C, , das in Schritt ST2 mit Max(Cx) bezeichnet ist, größer als ein vorbestimmten Schwellwert SW ist. Der Schwellwert SW ist so vorbestimmt; dass für den Fall, dass Max(Cx) größer als der Schwellwert SW ist, die Kreuzkorrelation signifikant ist, d.h. die beiden Größen Sl und S2 jeweils Strukturinformation enthalten, die ausreicht, um zwischen den beiden entsprechenden Überlagerungsbild-Datensätzen einen Versatz zu bestimmen. Ist in Schritt ST2 Max(Cx) größer als der Schwellwert SW , so fährt das Verfahren mi Schritt ST3 fort. Andernfalls wird nx um Δ erhöht und nochmals Schritt ST 1 abgearbeitet. Die durch die Schritte ST 1 und ST2 gebildete Schleife wird also so oft durchlaufen, bis Max(Cx) größer als der vorbestimmte Schwellwert SW ist. in Schritt ST 3 wird ein mittlerer Versatz dx zwischen dem dem ersten Datenblock entsprechenden ersten Überlagerungsbild-Datensatz und dem dem zweiten Datenblock entsprechenden zweiten Überlagerungsbild- Datensatz an Hand der Position der Größe Max(Cx) innerhalb der Kreuzkorrelationsmatrix C, bestimmt und gespeichert. Anschließend fährt das Verfahren mit der aus den Schritten ST4 und ST5 gebildeten Schleife fort. In Schritt ST4 wird entsprechend Schritt ST 1 die Kreuzkorrelation zwischen den beiden Überlagerungsbild-Datensätzen Si und Si+X gebildet, um eine Kreuzkorrelationsmatrix C, zu ermitteln. Wird Schritt ST4 zum ersten Mal ausgeführt, so ist die Laufvariable gleich 2. Dies bedeutet, dass die Kreuzkorrelation zwischen dem zweiten und dem dritten Überlage- rungsbild-Datensatz bestimmt wird.
In Schritt ST5 wird ermittelt, ob Max(C,) größer als der Schwellwert SW ist. Ist dies der Fall, so wird i um 1 erhöht und das Verfahren springt zu Schritt S'1'4 zurück, in dem dann die Kreuzkorrelation zwischen dem dritten Überlagerungsbild-Datensatz und dem vierten Überlagerungsbild- Datensatz bestimmt wird. Ist dagegen die Größe x (C,) in Schritt ST5 nicht größer als der Schwellwert SW , so wird nM um Δ erhöht, d.h. es werden in dem dritten Überlagerungsbild-Datensatz weitere Einzelbild- Datensätze (entsprechend der Größe Δ ) hinzugenommen. Die Schritte ST4 und ST5 werden dann so oft wiederholt, bis x(C,) den Schwell wert SW übersteigt.
Ist die aus den Sehritten ST4 und ST5 gebildete Schleife so oft durchlaufen und damit die die Laufvariable i so weit erhöht worden, bis die gesamte Sequenz von E i n ze 1 b i 1 d - D ate n s ä tzen (vgl. Figur 5a) in geeignet große Überlagerungsbild-Datensätze aufgeteilt worden ist, so werden die mittleren Versätze di zwischen den aufeinanderfolgenden Überlagerungsbild-Datensätzen in Schritt ST6 bestimmt und gespeichert.
Anschließend werden in Schritt ST7 die in den jeweiligen Überlagerungsbild-Datensätzen enthaltenen Einzelbild-Datensätze an Hand eines aufsummierten Versatzes ί/, korrigiert. Dabei gibt imax den Wert der
Laufvariablen nach letztmaligem Durchlaufen der aus den Schritten ST4 und ST4 gebildeten Schleife an. Dies bedeutet, dass beispielsweise die E i n e 1 b i 1 d - D a t e n s tze des zweiten Überlagerungsbild-Datensatzes
( / + 1 = 2) mit dem mittleren Versatz dx , die E i nze 1 b i 1 d- D aten s tze des dritten Überlagerungsbild-Datensatzes ( / + 1 = 3 ) mit dem mittleren Versatz ( dx + d2 ), die E inze 1 b i 1 d - D aten s ätze des vierten Überlagerungsbi 1 d- Datensatzes ( + 1 = 4) mit dem mittleren Versatz ( dl + d2 + d3 ), etc. korrigiert werden.
Anschließend werden die S ch werp un k tp o s i t i o n en der die abgebildeten Marker darstellenden Lichtverteilungen in den Einzelbild-Datensätzen bestimmt und die so bestimmten Schwerpunktpositionen zu einem ver- satzkorrigierten Gesamtbild zusammengesetzt, in dem die Bilddri ft kompensiert ist.
Das in Figur 6 dargestellte Verfahren ist lediglich beispielhaft zu verstehen. So erfolgt bei diesem beispielhaften Verfahren die Ermittlung des Bildversatzes zwischen den Überlagerungsbild-Datensätzen an Hand der Rohdaten, d.h. an Hand von Daten, die noch nicht die Schwerpunktpositionen der die abgebildeten Marker darstellenden Lichtverteilungen beinhalten. Es ist jedoch ebenso möglich, zunächst die Schwerpunktpositionen in den Einzelbild- Datensätzen und erst danach den Bildversatz an Hand der Schwerpunktpositionen zu ermitteln.
In dem oben beschriebenen Aus f ü hrungsbeispiel. wird jeweils der Bildversatz dt zwischen zwei unmittelbar aufeinander folgenden Überlagerungsbild-Datensätzen bestimmt. Es jedoch ebenso möglich, einen der Überlagerungsbild-Datensätze (zweckmäßigerweise den ersten Überlagerungsbild-Datensatz) als Referenzdatensatz zu bestimmen und dann jeweils den Bildversatz der darauf folgenden Überlagerungsbild-Datensätze relativ zu diesem Referenzdatensatz zu ermitteln.
Auch kann das in Figur 6 dargestellte Verfahren so abgeändert werden, dass nicht allein der Bildversatz zwischen den aufeinander folgenden Überlagerungsbild-Datensätzen, sondern darüber hinaus der Bildversatz zwischen den in dem jeweiligen Überlagerungsbild-Datensatz enthaltenen Einzelbild-Datensätzen bestimmt und dann korrigiert wird. Hierzu kann beispielsweise an Hand der Versätze di eine Funktion ermittelt werden, welche die diskreten Größen di gleichsam kontinuierlich interpoliert. Mittels dieser Interpolationsfunktion kann dann ein Bild versatzwert für jeden Einzelbild-Datensatz bestimmt und der jeweilige Einzelbild-Datensatz entsprechend korrigiert werden. Dadurch wird die Driftkompensation noch präziser.
Ferner ist darauf hinzuweisen, dass der ermittelte Bildversatz dt auch genutzt werden kann, direkt eine Komponente des Lichtmikroskops 20, z.B. den Probenhalter 36, zur Driftkompensation anzusteuern. Hierzu kann beispielsweise der Grafikprozessor 42 eine dem Bildversatz di entsprechende Stellgröße erzeugen, mit der ein in Figur 4 nicht gezeigtes Stellglied, z.B. ein Motor, angesteuert wird, die vorstehend genannte Mikroskopkomponente relativ zu dem Objektiv 30 so zu bewegen, dass eine mechanische Drift ausgeglichen wird. In diesem Fall kann unter Umständen auf die oben beschriebene Versatzkorrektur der Einzelbild-Datensätze verzichtet werden.

Claims

Ansprüche Verfahren zur lichtmikroskopischen Abbildung einer Proben struktur (2, 34), mit folgenden Schritten:
Präparieren der Probenstruktur (2, 34) mit Markern, die in einen lichtmikroskopisch abbildbaren Zustand überführbar sind.
Erzeugen einer Sequenz von Einzelbild-Datensätzen durch sequentielles Abbilden der Probenstruktur (2, 34) derart, dass für jede Abbildung jeweils nur eine Teilmenge der Gesamtheit der Marker in den lichtmikroskopisch abbildbaren Zustand überführt wird, wobei die Marker der jeweiligen Teilmenge einen mittleren Abstand voneinander haben, der größer ist als die Auflösungsgrenze der lichtmikroskopischen Abbildung, welche die Ausdehnung einer den jeweils abgebildeten Mark er darstellenden Lichtverteilung bestimmt,
Erzeugen von mindestens zwei Datenblöcken, in denen jeweils mehrere aufeinander folgende Einzelbild-Datensätze zusammengefasst sind.
Überlagern der in dem jeweiligen Datenblock enthaltenen Einzelbild- Datensätze zu einem Überlagerungsbild-Datensatz,
Ermitteln eines Bildversatzes zwischen den Überlagerungsbild- Datensätzen.
Korrigieren der Einzelbild-Datensätze, die in mindestens einem der Überlagerungsbild-Datensätze enthalten sind, an Hand des ermittelten Bildversatzes,
Bestimmen von Schwerpunktpositionen der die abgebildeten Mark er darstellenden Lichtverteilungen und
Zusammensetzen der Schwerpunktpositionen zu einem versatzkorrigierten Gesamtbild.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Anzahl der aufeinander folgenden Einzelbild-Datensätze, die in den jeweiligen Datenblöcken zusammengefasst sind, so festgelegt wird, dass ein Korrelationskoeffizient, der durch Kreuzkorrelation zwischen den Datenblöcken gebildet wird, größer als ein vorbestimmter Schwell wert (SW) ist.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass bei mehr als zwei Überlagerungsbild-Datensätzen einer der Überlagerungsbild-Datensätze als Referenzdatensatz bestimmt wird und jeweils der Bildversatz der übrigen Überlagerungsbild-Datensätze relativ zu dem Referenzdatensatz bestimmt wird.
4. Verfahren nach Anspruch 1 oder 2. dadurch gekennzeichnet, dass bei mehr als zwei Überlagerungsbild-Datensätzen jeweils der Bildversatz zwischen zwei unmittelbar aufeinander folgenden Überl agerungsb i 1 d- Datensätzen bestimmt wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf Grundlage des ermittelten Bildversatzes eine Interpolationsfunktion bestimmt wird, deren Funktionswerte einzelne Bildversatzwerte bilden, an Hand derer die Einzelbild-Datensätze innerhalb des jeweiligen Überlagerungsbild-Datensatzes korrigiert werden.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zunächst die Einzelbild-Datensätze, die in dem mindestens einen Überlagerungsbild-Datensatz enthalten sind, an Hand des ermittelten Bildversatzes korrigiert und anschließend die Schwerpunkt- Positionen der die abgebildeten Marker darstellenden Lichtverteilungen bestimmt werden.
7. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass zunächst die Schwerpunktpositionen der die abgebildeten Marker darstellenden Lichtverteilungen in den Einzelbild-Datensätzen bestimmt und anschließend die Schwerpunktpositionen der Einzelbild- Datensätze, die in dem mindestens einen Überlagerungsbild-Datensatz enthalten sind, an Hand des ermittelten Bildversatzes korrigiert werden.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Bildversatz nach dem ICP-Algorithmus ermittelt wird.
9. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass der Bildversatz durch Erkennen einer gemeinsamen Substruktur in den Überlagerungsbild-Datensätzen ermittelt wird.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein kontinuierlicher Zeitverlauf einer Bilddrift ermittelt wird, indem der Bildversatz wiederholt in mehreren Zyklen ermittelt und die Anzahl der in den Datenblöcken zusammengefassten Einzelbild-Datensätzen von Zyklus zu Zyklus geändert wird.
1 1 . Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Ermittlung des Bildversatzes ein Güteparameter bestimmt und auf Grundlage des Güteparameters eine Größe ermittelt wird, die die Auflösung des Gesamtbildes angibt.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Schwerpunktpositionen in drei Raumdimensionen bestimmt werden.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Komponente eines Lichtmikroskops (20) zur Kompensation einer Driftbewegung der Probenstruktur (2, 34) relativ zu einem bildgebenden System des Lichtmikroskops (20) entsprechend dem ermittelten Bildversatz bewegt wird.
14. Einrichtung (20) mit Mitteln zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche.
15. Einrichtung (20) nach Anspruch 14, dadurch gekennzeichnet, dass die Mittel einen Grafikprozessor (42) umfassen.
PCT/EP2011/060688 2010-06-29 2011-06-27 Verfahren und einrichtung zur lichtmikroskopischen abbildung einer probenstruktur WO2012000923A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/806,047 US9772485B2 (en) 2010-06-29 2011-06-27 Method and device for light-microscopic imaging of a sample structure
JP2013517222A JP5883855B2 (ja) 2010-06-29 2011-06-27 試料構造を光学顕微鏡法で撮像する方法及び装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010017630.3A DE102010017630B4 (de) 2010-06-29 2010-06-29 Verfahren und Einrichtung zur lichtmikroskopischen Abbildung einer Probenstruktur
DE102010017630.3 2010-06-29

Publications (1)

Publication Number Publication Date
WO2012000923A1 true WO2012000923A1 (de) 2012-01-05

Family

ID=44584135

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2011/060688 WO2012000923A1 (de) 2010-06-29 2011-06-27 Verfahren und einrichtung zur lichtmikroskopischen abbildung einer probenstruktur

Country Status (4)

Country Link
US (1) US9772485B2 (de)
JP (1) JP5883855B2 (de)
DE (1) DE102010017630B4 (de)
WO (1) WO2012000923A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8822956B2 (en) 2012-03-28 2014-09-02 Carl Zeiss Microscopy Gmbh High-resolution fluorescence microscopy

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011077132A1 (de) 2011-04-27 2012-01-12 Automotive Lighting Reutlingen Gmbh Lichtmodul eines Kraftfahrzeugs zur Erzeugung einer Grundverteilung für eine Fernlicht-Lichtverteilung
DE102013106895B4 (de) 2013-07-01 2015-09-17 Leica Microsystems Cms Gmbh Lichtmikroskopisches Verfahren zur Lokalisierung von Punktobjekten
DE102019008989B3 (de) * 2019-12-21 2021-06-24 Abberior Instruments Gmbh Verfahren zur Störungskorrektur und Laserscanningmikroskop mit Störungskorrektur
EP3990891A4 (de) * 2019-12-31 2023-07-26 Illumina, Inc. Autofokus-funktionalität in der optischen probenanalyse

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1548485A1 (de) * 2003-12-27 2005-06-29 Leica Microsystems Heidelberg GmbH Verfahren zur Korrektur der Drift bei einem optischen Gerät
WO2006127692A2 (en) 2005-05-23 2006-11-30 Hess Harald F Optical microscopy with phototransformable optical labels
DE102006021317B3 (de) 2006-05-06 2007-10-11 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Fluoreszenzlichtmikroskop zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
US20080182336A1 (en) 2006-08-07 2008-07-31 President And Fellows Of Harvard College Sub-diffraction limit image resolution and other imaging techniques
WO2009059378A1 (en) * 2007-11-09 2009-05-14 Commonwealth Scientific & Industrial Research Organisation Differential aberration correction microscopy (dac)
DE102008024568A1 (de) 2008-05-21 2009-12-03 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren zum räumlich hochauflösenden Abbilden einer interessierenden Struktur einer Probe
US7675045B1 (en) 2008-10-09 2010-03-09 Los Alamos National Security, Llc 3-dimensional imaging at nanometer resolutions
DE102008049878A1 (de) 2008-09-30 2010-04-01 Carl Zeiss Microlmaging Gmbh Verbesserte Verfahren und Vorrichtungen für die Mikroskopie mit strukturierter Beleuchtung
WO2010062364A1 (en) 2008-10-31 2010-06-03 University Of Maine System Board Of Trustees Nanoscale imaging of molecular positions and anisotropies

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2798760B1 (fr) * 1999-09-17 2002-03-29 Univ Joseph Fourier Reconstitution de surfaces en trois dimensions par utilisation de modeles statistiques
DE10111226A1 (de) * 2001-03-08 2002-09-19 Deutsches Krebsforsch Quantitative Analyse, Visualisierung und Bewegungskorrektur in dynamischen Prozessen
JP4746653B2 (ja) * 2003-02-03 2011-08-10 辰巳電子工業株式会社 自動写真作成装置
JP4378272B2 (ja) * 2004-12-15 2009-12-02 キヤノン株式会社 撮影装置
JP4823204B2 (ja) * 2005-08-31 2011-11-24 国立大学法人岐阜大学 医用画像処理装置
JP4650752B2 (ja) 2005-12-16 2011-03-16 株式会社Ｉｈｉ 自己位置同定方法と装置および三次元形状の計測方法と装置
US8116558B2 (en) 2005-12-16 2012-02-14 Ihi Corporation Three-dimensional shape data position matching method and device
DE102006006001B3 (de) * 2006-02-08 2007-10-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Anordnung zum Einblenden ortsbezogener Informationen in eine visuelle Darstellung oder Ansicht einer Szene
US7776613B2 (en) 2006-08-07 2010-08-17 President And Fellows Of Harvard College Sub-diffraction image resolution and other imaging techniques
JP3928977B1 (ja) * 2006-09-22 2007-06-13 国立大学法人岐阜大学 医用画像処理装置、画像処理方法及びプログラム
US7489592B2 (en) * 2007-02-19 2009-02-10 Coda Octopus Group Inc Patch test for 3D sonar data
JP2008259044A (ja) * 2007-04-06 2008-10-23 Canon Inc 画像合成装置及び画像合成装置の制御方法
DE102008011993A1 (de) * 2008-02-29 2009-09-10 Leica Microsystems Cms Gmbh Synchronisierte Bildgebung mittels optischer Verfahren und Rasterkraftmikroskopie
JP2009300951A (ja) * 2008-06-17 2009-12-24 Olympus Corp 生体観察装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1548485A1 (de) * 2003-12-27 2005-06-29 Leica Microsystems Heidelberg GmbH Verfahren zur Korrektur der Drift bei einem optischen Gerät
WO2006127692A2 (en) 2005-05-23 2006-11-30 Hess Harald F Optical microscopy with phototransformable optical labels
DE102006021317B3 (de) 2006-05-06 2007-10-11 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Fluoreszenzlichtmikroskop zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
WO2007128434A1 (de) 2006-05-06 2007-11-15 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und fluoreszenzlichtmikroskop zum räumlich hochauflösenden abbilden einer struktur einer probe
US20090134342A1 (en) 2006-05-06 2009-05-28 Stefan Hell High spatial resolution imaging of a structure of interest in a specimen
US20080182336A1 (en) 2006-08-07 2008-07-31 President And Fellows Of Harvard College Sub-diffraction limit image resolution and other imaging techniques
WO2009059378A1 (en) * 2007-11-09 2009-05-14 Commonwealth Scientific & Industrial Research Organisation Differential aberration correction microscopy (dac)
DE102008024568A1 (de) 2008-05-21 2009-12-03 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren zum räumlich hochauflösenden Abbilden einer interessierenden Struktur einer Probe
DE102008049878A1 (de) 2008-09-30 2010-04-01 Carl Zeiss Microlmaging Gmbh Verbesserte Verfahren und Vorrichtungen für die Mikroskopie mit strukturierter Beleuchtung
US7675045B1 (en) 2008-10-09 2010-03-09 Los Alamos National Security, Llc 3-dimensional imaging at nanometer resolutions
WO2010062364A1 (en) 2008-10-31 2010-06-03 University Of Maine System Board Of Trustees Nanoscale imaging of molecular positions and anisotropies

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
5, JUETTE, MANUEL F.: "Three-dimensional sub-100 nm resolution fluorescence microscopy of thick samples", NATURE METHODS, 2008, pages 527 - 529, XP002523348, DOI: doi:10.1038/NMETH.1211
BESL, P., MCKAY, N.: "A Method for Registration of 3-D Shapes", TRANS. PAMI, vol. 14, no. 2, 1992, XP001013705, DOI: doi:10.1109/34.121791
CHEN, Y., MEDIONI, G.: "Object Modeling by Registration of Multiple Range Images", PROC. IEEE CONF ON ROBOTICS AND AUTOMATION, 1991
GEISLER C. ET AL.: "Resolution ofLambda/10 in fluorescence microscopy using fast single molecule photo-switching", APPL. PHYS. A, vol. 88, 2007, pages 223 - 226, XP019515521, DOI: doi:10.1007/s00339-007-4144-0
M. J. RUST, M. BATES, X. ZHUANG: "Sub- diffraction-limit imaging by stochastic optical reconstruction microscopy (STORM", NATURE METHODS, vol. 3, 2006, pages 793 - 796

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8822956B2 (en) 2012-03-28 2014-09-02 Carl Zeiss Microscopy Gmbh High-resolution fluorescence microscopy

Also Published As

Publication number Publication date
DE102010017630B4 (de) 2016-06-02
JP5883855B2 (ja) 2016-03-15
DE102010017630A1 (de) 2011-12-29
US20130222568A1 (en) 2013-08-29
US9772485B2 (en) 2017-09-26
JP2013533507A (ja) 2013-08-22

Similar Documents

Publication Publication Date Title
DE102013106895B4 (de) Lichtmikroskopisches Verfahren zur Lokalisierung von Punktobjekten
EP2807515B1 (de) Mikroskop und verfahren für die hochauflösende 3-d fluoreszenzmikroskopie
EP2538262B1 (de) Verfahren und lichtmikroskopische Einrichtung zur bildlichen Darstellung einer Probe
EP2870500B1 (de) Verfahren zur vorbereitung und durchführung der aufnahme von bildstapeln einer probe aus verschiedenen orientierungswinkeln
WO2017013054A1 (de) Lichtblattmikroskop zum gleichzeitigen abbilden mehrerer objektebenen
DE102014109687A1 (de) Positionsbestimmung eines Objekts im Strahlengang einer optischen Vorrichtung
DE102010017630B4 (de) Verfahren und Einrichtung zur lichtmikroskopischen Abbildung einer Probenstruktur
DE102013021542A1 (de) Mikroskop und Verfahren zur SPIM Mikroskopie
DE102011053232B4 (de) Mikroskopische Einrichtung und mikroskopisches Verfahren zur dreidimensionalen Lokalisierung von punktförmigen Objekten
DE102008034979A1 (de) Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern
WO2003023482A1 (de) Verfahren und vorrichtung zur optischen untersuchung eines objektes
WO2012013586A1 (de) Einrichtung und verfahren zur mikroskopischen bildaufnahme einer probenstruktur
DE102012200344A1 (de) Mikroskopsystem und Verfahren für die 3-D hochauflösende Mikroskopie
EP2472302A2 (de) Verfahren zur Korrektur von Bildverzeichnungen bei einem konfokalen Scan-Mikroskop
DE102012224306A1 (de) Verfahren zur hochauflösenden 3D-Lokalisierungsmikroskopie
DE112014006672T5 (de) Bildverarbeitungsvorrichtung, Bildgebungsvorrichtung, Mikroskopsystem, Bildverarbeitungsverfahren und ein Bildverarbeitungsprogramm
DE102010007730A1 (de) Verfahren und Vorrichtung zum Einstellen eines geeigneten Auswerteparameters für ein Fluoreszenzmikroskop
DE102019201916A1 (de) Verfahren und Vorrichtung zur Inspektion von Nano-und Mikrostrukturen
WO2014147257A1 (de) Lichtmikroskopisches verfahren zur lokalisierung von punktobjekten
WO2007039054A1 (de) Verfahren zur erzeugung von darstellungsbildern aus erfassten aufnahmebildern und mittel zur durchführung des verfahrens
DE102014003145A1 (de) Verfahren zur Korrektur der sphärischen Aberration bei mikroskopischen Anwendungen
EP1548485B1 (de) Verfahren zur Korrektur der Drift bei einem optischen Gerät
DE102011001091B4 (de) Verfahren und Einrichtung zur mikroskopischen Bildaufnahme einer Probenstruktur
DE112015006312T5 (de) Mikroskopiesystem, Mikroskopieverfahren und Mikroskopieprogramm
DE102019107267A1 (de) Verfahren zur hochauflösenden Scanning-Mikroskopie

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11754627

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13806047

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2013517222

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11754627

Country of ref document: EP

Kind code of ref document: A1