WO2022043438A1 - Verfahren, bildverarbeitungseinheit und laserscanningmikroskop zum hintergrundreduzierten abbilden einer struktur in einer probe - Google Patents

Verfahren, bildverarbeitungseinheit und laserscanningmikroskop zum hintergrundreduzierten abbilden einer struktur in einer probe Download PDF

Info

Publication number
WO2022043438A1
WO2022043438A1 PCT/EP2021/073615 EP2021073615W WO2022043438A1 WO 2022043438 A1 WO2022043438 A1 WO 2022043438A1 EP 2021073615 W EP2021073615 W EP 2021073615W WO 2022043438 A1 WO2022043438 A1 WO 2022043438A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
detector elements
detector
light
sample
Prior art date
Application number
PCT/EP2021/073615
Other languages
English (en)
French (fr)
Inventor
Frederic WEIDLING
Jörn Heine
Lars Kastrup
Original Assignee
Abberior Instruments Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Abberior Instruments Gmbh filed Critical Abberior Instruments Gmbh
Publication of WO2022043438A1 publication Critical patent/WO2022043438A1/de

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the invention relates to certain methods of confocal, scanning microscopy, in which a spatially resolved detection of the emission from a sample occurs in a detection plane, which is excited by a diffraction-limited focused illumination distribution at a scanning point from a set of scanning points in the sample .
  • confocal, scanning microscopy is to be understood broadly and also includes corresponding methods of STED microscopy (Stimulated Emission Depletion) and RESOLFT microscopy (Reversible Saturable Optical Fluorescence Transitions).
  • the invention also relates to a laser scanning microscope with a detector in a detection plane, which detects spatially resolved fluorescence emission from a sample, which is excited in each case by a diffraction-limited focused illumination distribution at a scanning point from a set of scanning points in the sample, and it straightens up an image processing unit for processing the data obtained with the detector to form a pre-processed raw image of the sample and/or an image of the sample.
  • the Wiener filter is advantageously used in the spatial frequency domain and takes place there according to FIG where , G and H are the Fourier transforms of the object estimate in the imaged object, the observed raw image g and the PSF h, SNR represents the signal-to-noise ratio, and the symbol * denotes the complex conjugate of the quantity concerned.
  • Linear deconvolutions with the Wiener filter or the related Tikhonov filter have the advantage that they require only comparatively little computing effort; however, the solutions are often subject to artifacts, depending on the underlying images.
  • the Richardson-Lucy algorithm like many other iterative deconvolution algorithms, requires images with exclusively positive intensity values, while negative intensity values are often uncontrolledly amplified. This limitation must be taken into account in any pre-processing steps that are performed on the raw images before a deconvolution algorithm is applied.
  • deconvolution can be used to process the signals from multiple detector elements of a detector array into a raster image.
  • the image unfolding methods regularly used in microscopy also result in improved contrast within an image plane, since they suppress noise.
  • Linked to the increase in image sharpness in three-dimensional image data in the unfolded image data set in an observed image plane are those signal contributions that contribute to the observed image plane in the raw image, but from the background, i.e. from areas of the imaged object that are outside the observed Figure plane are originate.
  • the imaging plane is understood here to mean the plane in the object that is conjugate to the image plane under consideration.
  • fluorescence microscopy the background problem occurs to a particular degree in densely colored samples and in particular when using spatially high-resolution microscopy methods.
  • the deconvolution of an image stack g of an object f provides a good approximation of the signal distribution in the object that is free of background signals from other image planes.
  • this only applies under the idealized assumption that the PSF of the image is known precisely and completely and that the measurement data extend over a spatially unlimited area. Both assumptions cannot be fulfilled in practice.
  • the PSF can hardly be characterized precisely, especially in peripheral areas that are far away from the geometric focal point, due to its low amplitude and unavoidable optical aberrations of the imaging system.
  • simulated PSFs or simplified model functions, in particular Gaussian functions are often used for image unfolding.
  • the edge areas of the PSF contribute significantly to the image background, since they extend over a large volume in the sample.
  • a detector that spatially resolves the confocal signal in the detection plane and has a plurality of detector elements can be used.
  • This approach goes back to CJR Sheppard, "Super-resolution in confocal imaging", Optik 80, 53-54 (1988), in which detection of the fluorescence signal with an array of detector elements is proposed, the signals of which correspond in one processing step. pixel reassignment and then summed up pixel by pixel (the so-called Sheppard sum).
  • ISM Scanning Microscopy
  • DE 10 2017 122 858 A1 discloses a modified deconvolution algorithm with reduced computing effort, in which, in a first processing step, the detector signals are initially combined in groups to form a small number of raw images (by forming the Sheppard sum or a two-dimensional multi-image -unfolding), and only in a second step a three-dimensional multi-image unfolding of the raw images to the final image (stack) takes place.
  • DE 10 2017 119 531 A1 describes a method for high-resolution 2D scanning microscopy explicitly for improving the depth resolution in a laser scanning microscope.
  • a sample is scanned laterally in a fixed axial position, ie in a focal position, using a spatially resolving area detector and confocal illumination.
  • a three-dimensional reconstruction of the object to be imaged is now obtained from the data recorded in this way.
  • Such a three-dimensional reconstruction is generally subject to an ambiguity with regard to the z-direction, which could be broken by introducing an asymmetry in the illumination and/or the imaging point image distribution function.
  • this ambiguity is accepted and a distinction is made only between signals in the focal plane and signals outside of this focal plane.
  • the signals originating from the focal plane are selected such that a two-dimensional reconstruction of the focal plane is obtained which is less influenced by signal contributions from out-of-focus positions than would be the case with a two-dimensional reconstruction from the start.
  • a three-dimensional image data set is obtained by repeating the method for two-dimensional reconstruction using the intermediate step of three-dimensional reconstruction for different focal positions. Image data with improved depth discrimination is obtained with the method.
  • a detector for confocal detection is known from the Chinese patent specification CN 105242390 B, which has a central detection surface and further ring-shaped detection surfaces arranged around it.
  • a spatially resolved detection of the emission from a sample, which is excited with a focused excitation light takes place with this in a detection plane.
  • the signals can be used in various ways to generate images. It is proposed to form a first sum from measured values of outer rings and to form a second sum from the measured values of inner rings and the central element and to put the second sum and the first sum in relation to determine an effective value from this.
  • An image built up from such RMS values has an increased axial resolution, which depends in detail on which rings are counted as the outer rings.
  • a microscope which has two cameras , each of which is set up to image an entire image field.
  • the system contains what is known as a digital micromirror device (DMD), which has a large number of micromirrors that are each switched between two angle settings be able.
  • DMD digital micromirror device
  • a micromirror directs incident illumination light via an objective lens into or onto a sample and directs the light emitted or reflected from the point of impact in the sample to a first camera.
  • an image is recorded on the first camera which corresponds to that of a confocal scan, since the micromirror in the detection path has the effect of a confocal aperture.
  • the DMD is also imaged onto the second camera, and in the image on the camera the areas associated with mirrors in the first switch position appear dark, while the areas associated with mirrors in the second switch position have a brightness corresponding to that on corresponds to the light falling on the relevant mirror. This light does not come from the spot on the sample that would be illuminated in a focused manner if the mirror were in the first switching position. In particular, it is also light from planes of the sample other than that for which a confocal image is recorded with the first camera. An image is also recorded with the second camera.
  • Various methods such as forming a difference with a weighting factor or a combined deconvolution of both images are proposed in order to obtain images with high axial resolution
  • the PSF of each auxiliary detector has axial maxima where the PSF of the main detector has secondary maxima. This ensures that the auxiliary detectors detect precisely such light which does not come from the focus of the main detector but is detected by it because it is emitted from secondary maxima of the PSF of the main detector. In addition, it is ensured that light from the focus of the main detector does not contribute, or only weakly, to the signal of an auxiliary detector.
  • a weighted sum of the signals from the auxiliary detectors is subtracted from this. The weights are calculated on the basis of a mathematical model, based on the assumption that no emission from the focus of the main detector is detected on the auxiliary detectors. However, since the underlying assumption is only approximately fulfilled, part of the light originating from the focal plane of the main detector is actually subtracted. object of the invention
  • the invention is based on the object of confocal scanning microscopy, in which, in a detection plane, a spatially resolved detection of the emission from a sample, which is excited by a diffraction-limited focused illumination distribution at a scanning point from a set of scanning points in the sample, to the effect expand and / or improve that the influence of background signals in the images of the sample is minimized.
  • Fluorescent light is detected from the sample at each scanning position x k , the detection signals s i (x k ) are read from the individual and/or groups of detector elements D i and an image of the structure is determined from the detection signals s i (x k ).
  • ISM Image Scanning Microscopy
  • various methods are known for determining how an image of the structure is determined from the detection signals s i (x k ).
  • the invention specifies, in particular, a method for obtaining pre-processed raw data, which is then further processed, for example using the methods known from image scanning microscopy.
  • Another such method is known from patent specification CN 105242390B.
  • the method according to the invention is now characterized in that raw images are calculated for all or a selection of the detector elements by assigning a pixel with a brightness value, which is determined as a difference from a detection value, to each scanning position x k in a raw image belonging to a detector element s i (k ) of the relevant detector element at the scanning position x k and a value b i (k) which is determined additively from detection values s j (k ) of other detector elements D j , j ⁇ i.
  • detection values s j (k ) instead of the detection values s j (k ), detection values obtained by smoothing with detection values s j (k ') read out at adjacent scanning positions x k ' can also be used to determine b i (k ) can be used.
  • the method according to the invention therefore firstly comprises scanning a sample or a section of a sample with focused excitation light, ie with an intensity distribution of excitation light which has a local intensity maximum.
  • the maximum can be punctiform or linear.
  • the wavelength of the excitation light is selected in such a way that it excites a fluorescent dye, with which a structure in the sample to be examined is stained, to emit fluorescence.
  • fluorescence prevention light when scanning the sample or a section of the sample, fluorescence prevention light with an intensity distribution can be used which has a local intensity minimum spatially superimposed on the local intensity maximum of the excitation light.
  • Fluorescence prevention light is to be understood as meaning any type of light that is suitable for preventing, reducing or completely suppressing the fluorescence of the dye when it is illuminated with excitation light.
  • fluorescence prevention light can be stimulation light that induces a stimulated emission of electronically excited dye molecules, as a result of which the dye molecules are converted (back) into the electronic ground state and are prevented from spontaneous fluorescence emission. In this case, it is a procedure that can be attributed to STED microscopy.
  • fluorescence-inhibiting light can also trigger light-induced chemical reactions, in particular isomerization or cyclization/cycloreversion reactions, which are accompanied by a modulation of the fluorescence emission.
  • the method according to the invention does not differ from known forms of laser scanning microscopy.
  • each detector element or each group of detector elements delivers a separate signal, but not necessarily that one signal can be read out without the other signals also being read out.
  • a CCD sensor in which all detector elements always have to be read out in a readout step, therefore also represents a detector that is in principle suitable for use in the method according to the invention.
  • the detector elements can be arranged real or virtual in the detection area; it is important that a signal is detected on each individual detector element, which signal is assigned to an associated limited partial area of the detection area.
  • a typical arrangement of detector elements comprises, for example, a central detector element surrounded by six further detector elements in a hexagonal arrangement.
  • the detector can also have a central detection surface and further ring-shaped detection surfaces arranged around it.
  • Such a detector is known from patent specification CN 105242390B.
  • detector configurations with 20 or more detector elements arranged on a grid are preferred for the method, with which far better results can be achieved.
  • the detector has a plurality of detector elements within an inner region of a diffraction structure, which is limited by the first minimum of a point spread function (LSF) in the case of point-by-point scanning and by the position of the first minima of a line spread function (LSF) in the case of line-by-line scanning.
  • LSF point spread function
  • LSF line spread function
  • the detector has a plurality of detector elements within the interior of the diffraction structure along a perpendicular for aligning the line illumination.
  • point-by-point scanning this means that the fluorescence light imaged onto the detector is detected by more than one detector element within an Airy disk.
  • the notion of the mapping spread function is used.
  • the placement of multiple detector elements within an Airy disk allows performing a (multi-image) deconvolution or, if the multiple detector elements are arranged on a grid, a pixel reassignment to improve the resolution, but especially the fluorescence signal.
  • a (multi-image) deconvolution or, if the multiple detector elements are arranged on a grid a pixel reassignment to improve the resolution, but especially the fluorescence signal.
  • background reduction which is described below
  • pixel reassignment and (multi-image) unfolding and thus to combine the advantages of both processing steps.
  • the signals of several or all detector elements D i for i ⁇ P' ⁇ P are read out at each scanning position x k .
  • the signal of the i-th detector element when scanning at the scanning position x k is denoted here by s i (x k ).
  • the set of s i (x k ) forms the set of detection data.
  • the signals s t reflect not only the fluorescence from the image plane, but also fluorescence contributions from regions above and below this plane originate and are referred to here as background. For that actually from the signal originating from the image plane therefore applies:
  • the method according to the invention is based on the idea of approximating the respective background contribution of the i-th detector element from the signals of the other detector elements s j , j ⁇ i in order to extract the signal component of interest.
  • the detector elements are each assigned a background spread function, i.e. a background PSF in the case of point-by-point scanning and a background LSF in the case of line-by-line scanning, which consists of the mapping spread function or the mapping spread functions h i can be generated and is preferably generated from these. Based on this, weights can be determined in this way that a background contribution to a signal s i (x k ) of the i-th detector element at the sampling position x k can be estimated by a weighted sum over the signals of the respective other detector elements.
  • a background spread function i.e. a background PSF in the case of point-by-point scanning and a background LSF in the case of line-by-line scanning
  • the invention is therefore based on the idea that the background contribution can be described in the same way as the image formation process in the microscope as a convolution product of an image spread function h with the object / as a convolution of a background spreading function can be represented with the object /:
  • Neighboring detector elements regularly measure similar signals. In particular, they capture similar portions of the emission from the foreground that is ultimately to be imaged. In the case of point-by-point scanning, this applies in particular to those detector elements which are adjacent to one another and are at a similar or the same distance from the center of the intensity distribution in the detection plane. It has now proven advantageous, when estimating the background, in particular for those detector elements which have neighboring elements with particularly similar signal components originating from the foreground (this can be determined from parameters of the optical imaging), to exclude precisely these neighboring elements.
  • raw images for each (or part) of the detector elements, with the pixels of the raw images each having a brightness value is assigned.
  • raw images are also understood to mean stacks of raw images, ie three- or higher-dimensional data sets.
  • the arrangement of the detector elements in the detection area can in principle be chosen freely and in practice is often predetermined by the availability of the detector arrays. Since the position of the detector elements relative to the size of a diffraction structure is of particular interest, this relevant position property can also be taken into account for a given detector by adapting the imaging scale of the optical image. For the sake of completeness, it should be mentioned here that, particularly in the case of a large detector array, for example an array which, under the given imaging conditions, has a diameter that is greater than 1.5 times or 3 times the diameter of an Airy disk, It may be useful to make a selection of detector elements to be evaluated which, overall, have a centered area of the intensity distribution, i.e.
  • the arrangement of detector elements such that there are detector elements which just detect the intensity in the area along the first zero line of the detection spread function (ie in the case of point-wise sampling on the radius of the Airy disk) is advantageous.
  • An arrangement can also be advantageous such that there are detector elements which precisely detect the intensity in the region of the first minimum of the optical image spread function which results from the (effective) excitation spread function and the spread function of the optics of the detection path.
  • an arrangement can be advantageous which has detector elements that predominantly generate signals from the area of the maximum of the STED light pattern received.
  • the latter arrangement enables a good correction, in particular with regard to the background fluorescence induced by the STED light through multiphoton excitation.
  • one ring-shaped detector element can also be arranged in each of the above-described areas.
  • a suitable model for the background PSF has to be used be scheduled.
  • This can be generated, for example, from each mapping spread function h i by using an operator O i where the operator O i is chosen in such a way that it hides the central areas of the mapping spread function.
  • O i is chosen in such a way that it hides the central areas of the mapping spread function.
  • One possible form of such an operator is where the set M i contains all points that are to be assigned to the central region of the mapping spread function. In the simplest case, these can be selected via the distance to the geometric focus point.
  • the set M i can also be the set of all points that are located within a cuboid or a (rotational) ellipsoid whose dimensions are at the Expansion of the mapping spread function measured in the respective spatial direction.
  • the confocal raw image g 0 can be used directly as the image, i.e. the raw image of the detector element that has a confocal arrangement for the excitation focus or comes closest to this arrangement. No further computing effort is required for this, so that the confocal raw image is particularly suitable as a preview image that can be displayed without a delay due to further computing operations.
  • the raw images g i of the different detectors represent different views of the scanned area of the sample, which are shifted relative to one another due to the different positions of the detector elements D i .
  • the image I(x k ) can therefore also be calculated by compensating for the mutual displacements between the raw images or raw image stacks of the detector elements and adding the raw images or raw image stacks compensated for the displacements to form the image I(x k ): where d i is a displacement vector of the rth detector element with respect to a freely selectable reference point x 0 .
  • the summation can improve the signal of the resulting image by up to a factor of 2 compared to the individual confocal raw image.
  • This procedure corresponds to the pixel reassignment known from image scanning microscopy with subsequent summation (formation of the Sheppard sum).
  • the images can also be shifted as a phase shift in the spatial frequency domain after a Fourier transformation of the raw image (stack). Since Fourier transformations can be calculated very efficiently, carrying out the calculations in the spatial frequency domain is particularly favorable with regard to the computing time required.
  • these idealized displacement vectors can be used to sum the raw images according to Eq.
  • a displacement vector which is determined from parameters of the mapping, is referred to below as a mapping-theoretical displacement vector.
  • phase correlation with which the displacement vectors d i can also be determined.
  • the phase correlation is particularly suitable for images with frequency-dependent noise, it can also be efficiently implemented using the Fast Fourier Transform (FFT).
  • FFT Fast Fourier Transform
  • a further possibility of processing the raw images g i into an image of the structure consists in (multi-image) unfolding.
  • Preferred algorithms for this are the Wiener filter or iterative methods such as Richardson-Lucy deconvolution. Compared to pixel reassignment and summing, deconvolution algorithms deliver better results; in particular, they can be used with full preservation of the depth discrimination.
  • a disadvantage is the significantly higher computing effort for a (multi-image) unfolding.
  • the modified deconvolution algorithm known from DE 10 2017 122 858 A1 can be used with reduced computing effort, according to which, in a first processing step, the raw images g i are initially calculated in groups to form a small number of raw images (by forming the Sheppard sum or a two-dimensional multi-image -unfolding), and only in a second step a three-dimensional multi-image unfolding of the raw images to the final image (stack) takes place.
  • the method for improving the depth resolution in a laser scanning microscope according to DE 10 2017 119 531 A1 can also be used. Following this, a three-dimensional reconstruction of the object to be imaged is obtained from data g i (x k ) for a fixed axial position, ie focal plane in a sample, from which reconstructed values that do not belong to the focal plane are discarded.
  • the steps of background correction and (multi-image) unfolding can optionally also be combined in a single calculation step.
  • the effective PSF to be applied for unfolding which describes both the formation of the image and the image background, can be derived from Eq. (16) derive:
  • the raw images result from the convolution of the sample with an effective mapping spread function, which can be obtained from a summation of the mapping spread functions h j receives.
  • the minimizing property of the weights ensures that the signal does not is overly amplified.
  • the separate determination of the background portion also ensures that the effective image spread function has a finite range, i.e. it only measures signals from the scan plane (or a few neighboring planes).
  • the weights can be scaled (globally) by a user input. Through scaling with a scaling factor of less than 1 weakens the effect of the background correction; at the same time, however, negative areas can be avoided.
  • the weights can also be scaled automatically, for example by reducing the weights until only a predetermined percentage of the image pixels (or no image pixels) still has a negative value. It can also include weights from the start are used, which are scaled by a scaling factor between 0 and 1 from the weights obtained when solving the minimization problem. Although this reduces the degree of background reduction, the occurrence of artefacts and/or noise is advantageously reduced.
  • the values for the background are smoothed by replacing the values s j (x k ) with values that are determined from the values for a set of adjacent scanning positions.
  • a Value s j (x k ) is the arithmetic mean or preferably the median of the values for further scanning positions which surround the scanning positions x k laterally or also axially.
  • the number and position of the scanning positions that are preferably used for this type of smoothing can depend both on the distances between the scanning positions and on other recording conditions, in particular the sample properties.
  • the image processing unit according to the invention is characterized in that it is set up to carry out a method according to the invention.
  • the invention also relates to a laser scanning microscope which comprises at least one light source for fluorescence excitation light, a beam scanning device for scanning the sample with the focused fluorescence excitation light, a lens and a detection device which has a number of detector elements that can be read out individually or in groups in a detection area .
  • the laser scanning microscope also includes an optical system for imaging the sample in the detection area, the magnification of the image being dimensioned and the detector being designed in such a way that the detector is within an inner region of a diffraction structure, which in the case of point-by-point scanning through the first minimum of a Point spread function and in the case of a line-by-line scanning by the position of the first minima of a line spread function (LSF) is limited, having a plurality of detector elements.
  • the laser scanning microscope has an image processing unit, which can also be present in an integrated control and image processing unit, for carrying out the method according to the invention.
  • Detector arrays with regular, in detector elements arranged in a Cartesian or hexagonal grid. These types of detectors are suitable for constructing laser scanning microscopes according to the invention.
  • a particularly efficient arrangement in terms of the number of detector elements comprises a central detector element which is concentrically surrounded by one or more ring-shaped detector elements, with the ring-shaped detector elements also being able to be embodied as a group of several (point) detector elements which are arranged in a ring and can be read out together.
  • point point detector elements arranged in a ring can be read out individually.
  • the individual detector elements are each designed as avalanche photodiodes (APD), which are operated in the photon counting or Geiger counting mode.
  • Avalanche photodiodes have a high quantum efficiency, which can also be optimized for desired wavelength ranges.
  • photon count events are recorded instantaneously and can be further processed without delay.
  • the arrival times of the photons can also be determined with high temporal precision, so that fluorescence lifetimes can be determined by means of time-correlated photon counting.
  • the counting events are preferably processed by an evaluation circuit integrated into the detector.
  • a particularly flexible type of data processing with regard to further data processing consists in providing each counting event with a time stamp and a channel identifier and transmitting it to a control and evaluation computer via a digital data protocol for storage and analysis.
  • CCD or CMOS sensors are also suitable as position-resolving detectors for carrying out the method according to the invention and for implementing a laser scanning microscope according to the invention, but their comparatively long readout times are disadvantageous, so that they are less suitable for rapid image acquisition.
  • the light-sensitive part of the detector elements does not necessarily have to be arranged directly in the detection area; instead, the light can also be guided with the aid of a fiber optic bundle from the detection surface to detectors placed elsewhere or to a multi-channel detector placed elsewhere.
  • the entry openings of the individual light guides of the bundle assume the function of the detector elements and are arranged accordingly in the detection area.
  • photomultipliers or multi-channel photomultipliers can also be used, which cannot be miniaturized to such an extent that they could be arranged directly in the detection area.
  • the detector elements usually do not cover the entire detection area, but have gaps in which fluorescence photons are not detected.
  • the fill factor i.e.
  • the proportion of the light-sensitive area in the total area of the detector can be very high depending on the sensor type (e.g. CCD sensors, ⁇ 90%), but is typically in the range of 25 for the APD arrays preferred for the laser scanning microscope according to the invention %.
  • the light efficiency can be increased if converging lenses or a microlens array are arranged in front of the detector elements, so that all incident photons are directed to light-sensitive areas of the sensor, i.e. to a light-sensitive area of a detector element.
  • the laser scanning microscope can also be designed as a STED or RESOLFT microscope, i. H. it can have a further light source for fluorescence prevention light together with a beam shaping device, so that the fluorescence prevention light forms an intensity distribution having a local minimum in the sample.
  • Suitable beam-shaping devices are known to those skilled in the art from the prior art for STED microscopy; (Vortex) phase plates and pixelated liquid crystal modulators (Spatial Light Modulator, SLM) are mentioned here as examples.
  • the minimum of the fluorescence prevention light is superimposed on the focus of the excitation light in the sample, and the beam deflector shifts the intensity distributions of fluorescence excitation light and fluorescence prevention light together.
  • the image processing unit of the laser scanning microscope which can be integrated in a combined control and image processing unit, has at least one computing unit with a program that calculates the raw images g i (x k ) according to Eq. (14) can perform.
  • the program usually also implements an algorithm for solving the minimization problem according to Eq. (7) and/or Eq. (8), in which case the algorithm can be set up to take into account boundary conditions for solving the minimization problem and for calculating the weights; however, this is not mandatory as the weights for given background PSFs or background spreading functions can be precalculated.
  • An integrated control and image processing unit will typically include additional functions such as controlling the light sources, controlling the beam deflection device for scanning a predeterminable area of the sample and reading out the detector elements at each scanning position.
  • the laser scanning microscope according to the invention has a graphical user interface that contains a display of one or more background-corrected raw images or an image calculated from a number of raw images.
  • the graphical User interface have a graphical control that allows the user to adjust the weights (globally) can scale.
  • a control element can be designed, for example, in the form of a slider, a rotary knob or a numeric input field.
  • a useful setting range for the scaling factor is, for example, in the range from 0 to 2, preferably in the range from 0 to 1.
  • Changing the scaling factor with the operating element preferably causes an immediate recalculation and updating of the display of the background-corrected images, so that the scaling factor can be set interactively by the user.
  • the functions for executing the method according to the invention can be achieved by dedicated hardware or by memory-programmable hardware in connection with a program, the execution of which implements the respective function. If the functions are provided by programmable logic hardware, this can be a microprocessor or microcontroller with one or more computing cores, a plurality of microprocessors or microcontrollers, a field programmable array (FPGA) or a digital signal processor (DSP) or a combination of these have elements.
  • the memory-programmable hardware can also contain other hardware components for performing the functions, in particular volatile and/or non-volatile read or write/read memories, data acquisition and interface modules.
  • the programmable logic hardware can be a personal computer (PC) and the steps of the method according to the invention can be executed by the CPU or the GPU of the PC.
  • the stored-program hardware can also perform other functions that are not required to perform the method according to the invention.
  • FIG. 1 shows a flow chart of the method according to the invention.
  • Figure 2 shows a possible masking of the image PSF to create a background PSF.
  • FIG. 4 schematically shows the structure of a laser scanning microscope according to the invention.
  • FIG. 1 shows a method according to the invention in the form of a flow chart.
  • the illustration shows the logical, but not necessarily the chronological order of the steps. In particular, several steps can also be carried out in parallel or in an interleaved manner.
  • a data acquisition step 1 the sample or a section of the sample containing a structure stained with a fluorescent dye is first scanned with focused excitation light, i.e. the focused excitation light is successively positioned at different positions in the sample and the sample at the respective position illuminated with excitation light.
  • Fluorescence light excited in the sample is imaged in a detection area and detected there with a plurality of detector elements.
  • the magnification of the image is chosen so that the dimensions of the detection surface correspond to one to three times the diameter of an Airy disk, which a point light source located in the focus of the image in the sample would generate in the detection surface.
  • the detector signals s i (x k ) 2 are registered and stored for later processing.
  • the weights are first calculated by solving the minimization problems 4 (not formulated in detail in the figure) according to Eq. (7) or Eq. (8) (possibly under boundary conditions for the solution) required. Provided the point spread function (PSF) of the mapping is constant, the weights precalculated and do not have to be recalculated each time the method is executed.
  • PSF point spread function
  • the method is designed as a STED or RESOLFT variant, ie the scanning is not only carried out with excitation light but also with an intensity distribution of fluorescence prevention or stimulation light having a local minimum, the amplitude distribution depends on the effective imaging PSF and the background PSF depend on the applied intensity of the fluorescence prevention or stimulation light and the type of fluorescent dye, and a determination of the weights must be done using an image or background PSF appropriate to the shooting conditions. With the weights, a background correction of the detector signals is now carried out Raw images 5 with brightness values g i (x k ) .
  • Raw images 5 can be calculated for all detector elements i ⁇ P or only for some of the detector elements i ⁇ P' ⁇ P.
  • an image I(x k ) 6 of the structure is determined from the raw images 5 .
  • the raw image 5 of that detector element which has a confocal arrangement with respect to the excitation focus or comes closest to this arrangement is selected as the image directly.
  • This raw image 5 can optionally be subjected to post-processing, in particular to image unfolding.
  • the image unfolding can also be designed as a multi-image unfolding and then generate an image 6 from several or all raw images.
  • a further option for merging the raw images 5 to form an image 6, mentioned here merely as an example, consists in calculating the Sheppard sum, ie by shifting and adding the pixels of the raw images 5 over a number of scanning positions.
  • FIG. 2 shows how a background PSF 7 for formulating the minimization problem according to Eq. (7) can be constructed. Shown is the profile of a diffraction-limited focused imaging spread function h 8 along the optical axis (z-axis). A continuous operator, for example according to Eq. (18) and (19) whose application to the mapping spread function h 8 gives the background point spread function h bg ⁇ 0 h. 7 delivers. Conversely, the foreground portion of the PSF is h fg ⁇ (1 - 0)h 10.
  • FIG. 3 shows various arrangements of detector elements 11 in the detection area 12 which are suitable for implementing the method according to the invention and the laser scanning microscope according to the invention.
  • Subfigure A shows a Cartesian grid of square detector elements 11, as is particularly the case with CCD/CMOS Image sensors can be realized. The utilization of area, ie the fill factor, is particularly favorable in this arrangement since only little light falls into the areas between the detector elements 11 . However, CCD/CMOS image sensors are limited in their readout speed, which is why they are less suitable for fast image acquisition.
  • Subfigure B also shows a Cartesian grid of detector elements 11, which are round here, which can be implemented, for example, as an array of avalanche photodiodes (APDs).
  • APDs avalanche photodiodes
  • the individual detector elements 11 can have significant distances from one another here, so that the fill factor is inherently lower.
  • the arrangement of converging lenses (not shown here) (or a microlens array) in front of the detector elements 11 is appropriate in this embodiment.
  • Subfigure C shows a variant of subfigure B in which the individual detector elements are not arranged in a Cartesian grid but in a hexagonal grid 13 .
  • the hexagonal grid 13 is particularly suitable for approximating rotationally symmetrical arrangements of detector elements 11 with a central (main) detector element 14 arranged confocally to the excitation focus, which primarily receives fluorescence signals from the imaging plane, and the detector elements surrounding this main detector element which, in relation to the detected by them Foreground signal detect more background fluorescence from planes other than the imaging plane.
  • Subfigure D finally shows a concentric arrangement of ring-shaped detector elements 15 around a central round detector element 14, which differs from the other configurations in that the detector elements not only differ from one another in translation but also in their geometry.
  • the signals of detector elements arranged in this way can be background-corrected in a manner according to the invention, although subsequent processing of the raw images is only possible by multi-image deconvolution with a different, individual PSF for each detector element, but not by forming the Sheppard sum.
  • a light source 17 provides a beam 18 of excitation light 19 which is reflected into a main beam path 21 of the microscope with the aid of a dichroic beam splitter 20 .
  • the beam can be tilted in the rear pupil of the objective 24 and thus the focus 25 of the excitation light 19 can be shifted in the sample 26 for scanning.
  • a beam of fluorescence prevention or stimulation light 27 from a further light source 28 can also be coupled into the main beam path 21 with a further beam splitter 20, the light beams of excitation and fluorescence prevention /stimulation light are adjusted collinear to each other, so that their foci 25 in the sample 26 are superimposed.
  • a phase filter 29 is arranged in the beam of the fluorescence prevention/stimulation light.
  • the fluorescent light 30 emitted from the sample passes through the two beam splitters 20, is separated from scattered light by a filter 31 and imaged with a lens 32 onto a detector 33 having a plurality of detector elements 11; the magnification of the image is dimensioned such that a characteristic dimension of the detection area corresponds to one to three times the diameter of an Airy disk, which a point light source located in the focus of the image in the sample would generate on the detector 33 .
  • the detector has multiple detector elements within the diameter of an Airy disk.
  • the microscope also has a measurement and control unit 34 which coordinates the scanning of the sample 26 by transmitting control signals 35 to the beam deflection device 22 and the detection/storage of the detector signals 2 .
  • the laser scanning microscope 16 includes an image processing unit 36, which is integrated into a control unit, with a program that implements processing of the detector signals 2 according to the method according to the invention.
  • the laser scanning microscope 16 preferably also has a graphical user interface 37 that displays the image and/or a preview image and an operating element 39, for example in the form of a slider 40, with which an operator can scale the weights used for background correction.
  • the user interface 37 allows the background correction to be adjusted interactively with visual control of the operator.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Es wird ein Verfahren, eine Bildverarbeitungsvorrichtung und ein Laserscanningmikroskop zum Abbilden einer mit einem Fluoreszenzfarbstoff markierten Struktur in einer Probe, wobei (störender) Bildhintergrund gegenüber Verfahren aus dem Stand der Technik reduziert sind, beschrieben. Die Erfindung zeichnet sich dadurch aus, dass das Fluoreszenzsignal mit mehreren, in einer Detektionsfläche angeordneten Detektorelementen detektiert wird und dass aus den Signalen der Detektorelemente Rohbilder berechnet werden, die gegenüber den Detektorsignalen reduzierte Anteile von Quellen aufweisen, die außerhalb der Abbildungsebene liegen. Die Rohbilder können durch Verschieben und Aufsummieren oder Bildentfaltung zu einem im Signal verbesserten Bild der Struktur verrechnet werden.

Description

VERFAHREN, BILDVERARBEITUNGSEINHEIT UND LASERSCANNINGMIKROSKOP ZUM HINTERGRUNDREDUZIERTEN ABBILDEN EINER STRUKTUR IN EINER PROBE
Technisches Gebiet der Erfindung
Die Erfindung bezieht sich auf bestimmte Verfahren der konfokalen, abtastenden Mikroskopie, bei denen in einer Detektionsebene jeweils eine ortsaufgelöste Detektion der Emission aus einer Probe, die jeweils durch eine beugungsbegrenzt fokussierte Beleuchtungsverteilung an einem Abtastpunkt aus einer Menge von Abtastpunkten in der Probe angeregt wird, erfolgt. Der Begriff der konfokalen, abtastenden Mikroskopie ist dabei weit zu verstehen und umfasst auch entsprechende Verfahren der STED-Mikroskopie (Stimulated Emission Depletion) und der RESOLFT-Mikroskopie (Reversible Saturable Optical Fluorescence Transitions).
Weiter bezieht sich die Erfindung auf ein Laserscanningmikroskop mit einem Detektor in einer Detektionsebene, der Fluoreszenzemission aus einer Probe, die jeweils durch eine beugungsbegrenzt fokussierte Beleuchtungsverteilung an einem Abtastpunkt aus einer Menge von Abtastpunkten in der Probe angeregt wird, ortsaufgelöst detektiert, und sie richtet sich auf eine Bildverarbeitungseinheit zur Verarbeitung der mit dem Detektor erhaltenen Daten zu einem vorarbeiteten Rohbild der Probe und/oder einem Bild der Probe.
Stand der Technik
In der Bildverarbeitung sind zahlreiche Methoden etabliert, mit denen Rohbilder, die mit optischen Systemen aufgenommene Abbilder sind, - insbesondere auch mikroskopische Bilder - geschärft und im Kontrast verbessert werden können. Die zugrunde liegende Aufgabe besteht darin, aus einem beobachtetem Rohbild g das ursächliche Objekt f zu rekonstruieren bzw. eine Schätzung des Objekts zu bestimmen, für die die Wahrscheinlichkeit, das Rohbild g zu beobachten, maximiert wird. Zu den diesbezüglich grundlegenden Algorithmen zählt die Wiener-Entfaltung, ein linearer Entfaltungsfilter, der die Fehlerquadratsumme zwischen beobachtetem Rohbild g und der Schätzung bei Kenntnis der Punktspreizfunktion (engl. point spread function, PSF) h der Abbildung minimiert. Aus Gründen eines reduzierten Rechenaufwands erfolgt die Anwendung des Wiener-Filters vorteilhaft im Ortsfrequenzraum und erfolgt dort gemäß
Figure imgf000004_0001
wobei , G und H die Fouriertransformierten der Objektsschätzung
Figure imgf000004_0003
im abgebildeten Objekt, des beobachteten Rohbildes g und der PSF h sind, SNR das Signal-Rausch-Verhältnis darstellt und das Symbol * die komplexe Konjugierung der betreffenden Größe kennzeichnet. Lineare Entfaltungen mit dem Wiener-Filter oder auch dem verwandten Tikhonov-Filter haben den Vorteil, dass sie nur vergleichsweise geringen Rechenaufwand erfordern; allerdings sind die Lösungen häufig, abhängig von den zugrunde liegenden Bildern, artefaktbehaftet.
Als Verbesserung gegenüber den genannten linearen Filtern wurden zahlreiche nichtlineare Entfaltungsalgorithmen für die Bildbearbeitung entwickelt, bei denen iterativ eine Näherungs- lösung des Entfaltungsproblems berechnet wird. Bei der Richardson-Lucy-Entfaltung, einer der am häufigsten eingesetzten iterativen Methoden in der Mikroskopie, wird beginnend mit einer Startschätzung des Objekts f - die oft das beobachtete Rohbild g selbst ist - in jedem Iterationsschritt gemäß der Vorschrift
Figure imgf000004_0002
eine neue Schätzung
Figure imgf000004_0004
berechnet, die eine gegenüber der vorhergehenden Schätzung
Figure imgf000004_0005
verbesserte Lösung des Entfaltungsproblems darstellt. Empirisch konnte gezeigt werden, dass sich der Maximum Likelihood-Lösung annähert. Zu beachten ist, dass die Iterationen rechtzeitig bei Finden einer guten Näherungslösung abgebrochen werden, da in weiteren Iterationsschritten Bildrauschen und Artefakte stark verstärkt werden. Zu beachten ist weiter, dass der Richardson-Lucy-Algorithmus, ebenso wie viele andere iterative Entfaltungs- algorithmen, Bilder mit ausschließlich positiven Intensitätswerten erfordern, während negative Intensitätswerte oft unkontrolliert verstärkt werden. Diese Einschränkung ist bei eventuellen Vorverarbeitungsschritten, die mit den Rohbildern durchgeführt werden, bevor ein Entfaltungs- algorithmus angewendet wird, zu berücksichtigen.
Sofern von einem Objekt mehrere Beobachtungen g1, g2, ... von verschiedenen Detektoren oder unter verschiedenen Beobachtungsbedingungen vorliegen, können die Entfaltungsalgorithmen dahingehend erweitert werden, dass mittels einer Multi-Bild-Entfaltung (engl. Multi-Image Deconvolution) eine gemeinsame Lösung bestimmt wird, die die Übereinstimmung mit dem ursächlichen Objekt f auf Basis aller Beobachtungen g1, g2, ... maximiert. Eine Multi-Bild- Entfaltung kann in der Laserscanningmikroskopie bei der Verarbeitung der Signale mehrerer Detektorelemente eines Detektor-Arrays zu einem Rasterbild angewendet werden.
Neben einer Steigerung der Bildschärfe bewirken die regelmäßig in der Mikroskopie angewende- ten Bildentfaltungsverfahren zusätzlich auch einen verbesserten Kontrast innerhalb einer Bild- ebene, da sie Rauschen unterdrücken. Mit der Steigerung der Bildschärfe verbunden sind bei dreidimensionalen Bilddaten im entfalteten Bilddatensatz in einer betrachteten Bildebene solche Signalbeiträge unterdrückt, die im Rohbild zwar zu der betrachteten Bildebene beitragen, aber aus dem Hintergrund, das heißt aus Bereichen des abgebildeten Objekts, die außerhalb der be- trachteten Abbildungsebene liegen, stammen. Unter Abbildungsebene wird hier die zur betrach- teten Bildebene konjugierte Ebene im Objekt verstanden. In der Fluoreszenzmikroskopie tritt das Hintergrundproblem in besonderem Maß in dicht gefärbten Proben und insbesondere bei der Verwendung räumlich hochauflösender Mikroskopieverfahren auf. In der konfokalen Laserscan- ningmikroskopie bewirkt die Anordnung einer Lochblende vor dem Detektor zwar eine Unter- drückung von Signalbeiträgen aus Bereichen außerhalb der Abbildungsebene, allerdings ist die Tiefendiskriminierung insbesondere in dicht gefärbten Proben oft nicht ausreichend, um feine und entsprechend mit wenig Fluoreszenzfarbstoff markierte Strukturen ausreichend vom Hintergrund abzuheben. Das Problem tritt noch verstärkt bei hochauflösenden Methoden wie der STED- Mikroskopie auf.
Der Theorie zufolge liefert die Entfaltung eines Bildstapels g eines Objekts f eine gute Näherung der Signalverteilung im Objekt, die frei ist von Hintergrundsignalen aus jeweils anderen Bildebenen. Dies gilt allerdings nur unter der idealisierten Annahme, dass die PSF der Abbildung präzise und vollständig bekannt ist und dass sich die Messdaten über einen räumlich unbegrenzten Bereich erstrecken. Beide Annahmen sind in der Praxis nicht erfüllbar. Zum einen ist die PSF insbesondere in Randbereichen, die weit vom geometrischen Fokuspunkt entfernt liegen, aufgrund ihrer geringen Amplitude und unvermeidlicher optischer Aberrationen des Abbildungssystems kaum präzise zu charakterisieren. In der Praxis werden daher oft simulierte PSFs oder vereinfachte Modellfunktionen, insbesondere Gaußfunktionen, für die Bildentfaltung verwendet. Trotz der geringen Amplitude tragen die Randbereiche der PSF jedoch maßgeblich zum Bildhintergrund bei, da sie sich über ein großes Volumen in der Probe erstrecken.
Zum anderen ist es in der Praxis in aller Regel unmöglich, vollständige dreidimensionale Bilddaten des Objekts aufzunehmen. Durch Fotobleichen, begrenzte Messzeiten, Bewegungen des Objekts und ähnliche Randbedingungen ist die Bildaufnahme regelmäßig auf einen kleinen Ausschnitt des Objekts begrenzt, nicht selten auf nur ein Bild in einer Ebene des Objekts. Signalbeiträge aus anderen als der bzw. den aufgenommenen Bildebenen können dann nicht im Rahmen einer Bildentfaltung ihrer eigentlichen Quelle zugeordnet werden, sondern wirken wie Hintergrund, das die Qualität der aufgenommenen Daten verschlechtert.
Zur Steigerung der Auflösung und des Signals eines (konfokalen) Laserscanningmikroskops kann statt eines einzelnen konfokalen (Punkt-) Detektors ein das konfokale Signal in der Detektionsebene ortsauflösender Detektor mit mehreren Detektorelementen eingesetzt werden. Dieser Ansatz geht zurück auf C. J. R. Sheppard, „Super-resolution in confocal imaging", Optik 80, 53-54 (1988), worin eine Detektion des Fluoreszenzsignals mit einem Array von Detektorele- menten vorgeschlagen wird, deren Signale in einem Verarbeitungsschritt jeweils korrespondie- renden Bildpunkten zugewiesen (engl. Pixel Reassignment) und nachfolgend bildpunktweise auf- summiert (sog. Sheppard-Summe) werden. Das Verfahren ist in verschiedenen Ausführungsfor- men, bei denen die Summenbildung rechnerisch oder auch optisch/mechanisch erfolgen kann, unter dem Begriff Image Scanning Microscopy (ISM) bekannt und wird auch in kommerziellen Mikroskopen eingesetzt. Sofern große, ausgedehnte Detektor-Arrays verwendet werden, kann die Auflösung um einen Faktor von 1 ,4 gegenüber konfokalen Mikroskopen verbessert werden, gleichzeitig nimmt auch das Signal um einen Faktor 2 zu. Allerdings verschlechtert sich bei der Aufsummierung die Tiefendiskriminierung. Abhilfe schafft hier, die Signale der Detektorelemente nicht durch Pixel Reassignment und Aufsummierung miteinander zu verrechnen, sondern auf die Daten eine (dreidimensionale) Multi-Bild-Entfaltung anzuwenden, bei der die Tiefen- diskriminierung gegenüber der konfokalen mit einem Einzeldetektor verbessert wird. Von M. Castello et al., „Image Scanning Microscopy with Single-Photon Detector Array“, bioRxiv 335596 (2018) wurde Image Scanning Microscopy (ISM) auch im Kontext der STED-Mikroskopie beschrieben, wobei als Bildauswertung neben der Bildung der Sheppard-Summe auch eine Multi- Bild-Entfaltung angewendet wurde.
Problematisch bei der Multi-Bild-Entfaltung ist allerdings der hohe Rechenaufwand, der mit der Anzahl der Detektorelemente skaliert und insbesondere bei der Verwendung iterativer Entfal- tungsalgorithmen zu erheblichen (unerwünschten) Rechenzeiten führt. Diesbezüglich ist aus der DE 10 2017 122 858 A1 ein modifizierter Entfaltungsalgorithmus mit reduziertem Rechenauf- wand bekannt, bei dem in einem ersten Verarbeitungsschritt die Detektorsignale zunächst grup- penweise zu wenigen Rohbildern verrechnet werden (durch Bilden der Sheppard-Summe oder eine zweidimensionale Multi-Bild-Entfaltung), und erst in einem zweiten Schritt eine dreidimen- sionale Multi-Bild-Entfaltung der Rohbilder zum finalen Bild(stapel) erfolgt. Eine Minderung der Tiefendiskriminierung im ersten Verarbeitungsschritt wird dabei vermieden, da die Detektorele- mente gemäß ihrem Abstand von der optischen Achse gruppiert werden und damit innerhalb jeder Gruppe nur über Detektorelemente mit gleicher Tiefendiskriminierung summiert wird. Explizit zur Verbesserung der Tiefenauflösung in einem Laserscanning-Mikroskop beschreibt die DE 10 2017 119 531 A1 ein Verfahren zur hochauflösenden 2D-Scanning-Mikroskopie. Bei diesem wird eine Probe in einer festen axialen Position, d.h. in einer Fokuslage, unter Nutzung eines räumlich auflösenden Flächendetektors und konfokaler Beleuchtung lateral abgescannt. Aus den so aufgenommenen Daten wird nun in einem Zwischenschritt eine dreidimensionale Rekonstruktion des abzubildenden Objekts gewonnen. Eine derartige dreidimensionale Rekonstruktion unterliegt im Allgemeinen einer Uneindeutigkeit hinsichtlich der z-Richtung, die durch Einführen einer Asymmetrie in die Beleuchtungs- und/oder der Abbildungspunktbild- verteilungsfunktion gebrochen werden könnte. Bei dem Verfahren gemäß DE 10 2017 119 531 A1 wird diese Uneindeutigkeit dagegen hingenommen, und es wird nur zwischen Signalen in der Fokusebene und außerhalb dieser Fokusebene unterschieden. Die aus der Fokusebene stammenden Signale werden ausgewählt, so dass eine zweidimensionale Rekonstruktion der Fokusebene erhalten wird, die weniger durch Signalbeiträge aus außerfokalen Lagen beeinflusst ist als dies bei einer von Beginn an zweidimensionalen Rekonstruktion der Fall wäre. Ein dreidimensionaler Bilddatensatz wird erhalten, indem das Verfahren zur zweidimensionalen Rekonstruktion unter Anwendung des Zwischenschritts der dreidimensionalen Rekonstruktion für verschiedene Fokuslagen wiederholt wird. Mit dem Verfahren werden Bilddaten mit verbesserter Tiefendiskriminierung erhalten.
Aus der chinesischen Patentschrift CN 105242390 B ist ein Detektor für die konfokale Detektion bekannt, der eine zentrale Detektionsfläche und um diese herum angeordnet weitere ringförmige Detektionsflächen aufweist. Bei der Anwendung in der konfokalen Laserscanningmikroskopie erfolgt mit diesem in einer Detektionsebene jeweils eine ortsaufgelöste Detektion der Emission aus einer Probe, die mit einem fokussierten Anregungslicht angeregt wird. Die Signale können auf verschiedene Weise zur Erzeugung von Bildern genutzt werden. Es wird vorgeschlagen, aus Messwerten äußerer Ringe eine erste Summe zu bilden und aus den Messwerten innerer Ringe und des zentralen Elements eine zweite Summe zu bilden und die zweite Summe und die erste Summe ins Verhältnis zu setzen, um hieraus einen Effektivwert zu bestimmen. Ein aus solchen Effektivwerten aufgebautes Bild weist eine erhöhte axiale Auflösung auf, die im Detail davon abhängt, welche Ringe zu den äußeren Ringen gerechnet werden.
Aus der Publikation von Heintzmann et al., „A dual path programmable array microscope (PAM): simultaneous acquisition of conjugate and non-conjugate images”, Journal of Microscopy 204, 119 (2001), ist ein Mikroskop bekannt, welches zwei Kameras aufweist, die jeweils für die Abbildung eines ganzen Bildfelds eingerichtet sind. Das System enthält in einer Zwischenbildebene ein sogenanntes Digital Micromirror Device (DMD), welches eine Vielzahl von Mikrospiegeln aufweist, die jeweils zwischen zwei Winkeleinstellungen geschaltet werden können. In einer ersten Schaltstellung leitet ein Mikrospiegel einfallendes Beleuchtungslicht über ein Objektiv fokussiert in oder auf eine Probe und leitet das von dem Auftreffort in der Probe emittierte oder reflektierte Licht auf eine erste Kamera. Durch serielles Schalten der einzelnen Mikrospiegel in die erste Stellung wird auf der ersten Kamera ein Bild aufgezeichnet, welches dem eines konfokalen Scans entspricht, da der Mikrospiegel im Detektionspfad die Wirkung einer konfokalen Blende hat. Das DMD wird auch auf die zweite Kamera abgebildet, wobei im Bild auf der Kamera die Bereiche dunkel erscheinen, die zu Spiegeln in der ersten Schaltstellung gehören, während die Bereiche, die zu Spiegeln in der zweiten Schaltstellung gehören, eine Helligkeit aufweisen, die dem auf den betreffenden Spiegel fallenden Licht entspricht. Dieses Licht stammt gerade nicht von dem Ort der Probe, der fokussiert beleuchtet würde, wäre der Spiegel in der ersten Schaltstellung. Es ist insbesondere auch Licht aus anderen Ebenen der Probe als die, zu der mit der ersten Kamera ein konfokales Bild aufgezeichnet wird. Auch mit der zweiten Kamera wird ein Bild aufgezeichnet. Es werden verschiedene Verfahren wie die Bildung einer Differenz auch mit einem Gewichtungsfaktor oder eine kombinierte Entfaltung beider Bilder vorgeschlagen, um Bilder mit hoher axialer Auflösung zu erhalten
Aus der Dissertation von R. Siegmund, “isoSTED microscopy for live cell imaging”, Georg-August- Universität Göttingen (2019) ist ein isoSTED-Mikroskop, d. h. ein STED-Mikroskop mit zwei gegenüberliegenden Objektiven für die Sammlung der Emission und insbesondere die Beaufschlagung mit Anregungs- und STED-Licht bekannt, bei dem um einen konfokalen Hauptdetektor Hilfsdetektoren angeordnet sind. Der laterale Abstand der Hilfsdetektoren vom zentralen Hauptdetektor ist groß im Vergleich zum Durchmesser einer Airy-Scheibe. Der Abstand ist so gewählt, dass die PSF jedes Hilfsdetektors nach lateraler Integration gerade dort in axialer Richtung ein Minimum aufweist, wo die PSF des Hauptdetektors maximal ist. Gleichzeitig weist die PSF jedes Hilfsdetektors axiale Maxima dort auf, wo die PSF des Hauptdetektors Neben- maxima aufweist. Dadurch wird sichergestellt, dass die Hilfsdetektoren gerade solches Licht detektieren, welches nicht aus dem Fokus des Hauptdetektors stammt, von diesem aber detektiert wird, da es aus Nebenmaxima der PSF des Hauptdetektors emittiert wird. Außerdem wird sichergestellt, dass Licht aus dem Fokus des Hauptdetektors nicht oder nur schwach zum Signal eines Hilfsdetektors beiträgt. Zur Korrektur des Hintergrundanteils im Signal des Hauptdetektors wird von diesem eine gewichtete Summe der Signale der Hilfsdetektoren abgezogen. Die Gewichte werden dabei ausgehend von der Annahme, dass auf den Hilfs- detektoren keine Emission aus dem Fokus des Hauptdetektors detektiert wird, auf Basis eines mathematischen Modells berechnet. Da die zugrunde liegende Annahme aber nur näherungsweise erfüllt ist, wird tatsächlich auch ein Teil des aus der Fokusebene des Hauptdetektors stammenden Lichts abgezogen. Aufgabe der Erfindung
Der Erfindung liegt die Aufgabe zugrunde, die konfokale abtastende Mikroskopie, bei der in einer Detektionsebene jeweils eine ortsaufgelöste Detektion der Emission aus einer Probe, die jeweils durch eine beugungsbegrenzt fokussierte Beleuchtungsverteilung an einem Abtastpunkt aus einer Menge von Abtastpunkten in der Probe angeregt wird, dahingehend zu erweitern und / oder zu verbessern, dass der Einfluss von Hintergrundsignalen in den Bildern der Probe minimiert wird.
Lösung
Die Aufgaben der Erfindung werden durch ein Verfahren nach dem unabhängigen Anspruch 1 , durch eine Bildverarbeitungseinrichtung nach dem unabhängigen Anspruch 16 und durch ein Laserscanningmikroskop nach dem unabhängigen Anspruch 17 gelöst. Die abhängigen Ansprüche 2 bis 15 betreffen bevorzugte Ausführungsformen des Verfahrens, während sich die abhängigen Ansprüche 18 bis 25 auf bevorzugte Ausführungsformen des erfindungsgemäßen Laserscanningmikroskops beziehen.
Beschreibung der Erfindung
Bei dem erfindungsgemäßen Verfahren zum Abbilden einer mit einem Fluoreszenzfarbstoff angefärbten Struktur in einer Probe wird die Probe oder ein Ausschnitt der Probe mit einer ein lokales Intensitätsmaximum aufweisenden Intensitätsverteilung von Fluoreszenzanregungslicht an mehreren Abtastpositionen xk für k ∈ N = {1, ..., n} innerhalb eines Abtastbereichs abgetastet. Jede Abtastposition wird jeweils in eine Detektionsfläche abgebildet, in der einzeln oder in Gruppen auslesbare Detektorelemente Di für i ∈ P = {1,...p} angeordnet sind, wobei sich innerhalb eines Innenbereichs einer Beugungsstruktur mehrere Detektorelemente befinden. An jeder Abtastposition xk wird Fluoreszenzlicht aus der Probe detektiert, die Detektionssignale si(xk) aus den einzelnen und / oder den Gruppen von Detektorelementen Di ausgelesen und aus den Detektionssignalen si(xk) ein Bild der Struktur bestimmt.
Ein Verfahren mit diesen Merkmalen ist als Image Scanning Mikroskopie (ISM) bekannt. Im Zusammenhang mit der Image Scanning Mikroskopie sind verschiedene Verfahren bekannt, wie aus den Detektionssignalen si(xk) ein Bild der Struktur bestimmt wird. Demgegenüber gibt die Erfindung insbesondere ein Verfahren zum Erhalt vorverarbeiteter Rohdaten an, die anschließend beispielsweise mit den aus der Image Scanning Mikroskopie bekannten Verfahren weiterverarbeitet werden. Ein weiteres solches Verfahren ist aus der Patentschrift CN 105242390 B bekannt. Das erfindungsgemäße Verfahren ist nun dadurch gekennzeichnet, dass zu allen oder zu einer Auswahl der Detektorelemente Rohbilder berechnet werden, indem jeder Abtastposition xk in einem zu einem Detektorelement gehörenden Rohbild ein Bildpunkt mit einem Helligkeitswert zugeordnet wird, der bestimmt wird als eine Differenz aus einem Detektionswert si(k ) des betreffenden Detektorelements an der Abtastposition xk und einem Wert bi(k), der additiv aus Detektionswerten sj(k ) anderer Detektorelemente Dj, j ≠i bestimmt wird. Alternativ können statt der Detektionswerte sj(k ) auch durch Glättung mit an benachbarten Abtastpositionen xk' ausgelesenen Detektionswerten sj (k ') erhaltene Detektionswerte zur Bestimmung von
Figure imgf000010_0001
bi(k ) herangezogen werden.
Das erfindungsgemäße Verfahren umfasst also zunächst ein Abtasten einer Probe oder eines Ausschnitts einer Probe mit fokussiertem Anregungslicht, also mit einer Intensitätsverteilung von Anregungslicht, die ein lokales Intensitätsmaximum aufweist. Das Maximum kann punktförmig oder linienförmig sein. Das Anregungslicht ist in seiner Wellenlänge so gewählt, dass es einen Fluoreszenzfarbstoff, mit dem eine Struktur in der zu untersuchenden Probe angefärbt ist, zur Abgabe einer Fluoreszenz anregt.
Zusätzlich kann beim Abtasten der Probe oder eines Ausschnitts der Probe Fluoreszenzverhinderungslicht mit einer Intensitätsverteilung verwendet werden, die ein dem lokalen Intensitätsmaximum des Anregungslichts räumlich überlagertes, lokales Intensitäts- minimum aufweist. Unter Fluoreszenzverhinderungslicht ist jede Art von Licht zu verstehen, die geeignet ist, das Fluoreszieren des Farbstoffs bei der Beleuchtung mit Anregungslicht zu verhindern, zu reduzieren oder gänzlich zu unterdrücken. Insbesondere kann Fluoreszenz- verhinderungslicht Stimulationslicht sein, das eine stimulierte Emission elektronisch angeregter Farbstoffmoleküle induziert, wodurch die Farbstoffmoleküle (zurück) in den elektronischen Grundzustand überführt und an einer spontanen Fluoreszenzemission gehindert werden. In diesem Fall handelt es sich um ein Verfahren, das der STED-Mikroskopie zuzurechnen ist. Wie aus der RESOLFT-Mikroskopie bekannt, kann Fluoreszenzverhinderungslicht aber auch lichtinduzierte chemische Reaktionen, insbesondere Isomerisierungs- oder Zyklisierungs-/ Zykloreversionsreaktionen, auslösen, die mit einer Modulation der Fluoreszenzemission einhergehen.
Das Abtasten der Probe mit dem Anregungslicht erfolgt an einer Folge von Abtastpositionen xk für k ∈ N = {1, ..., n} innerhalb eines Abtastbereichs, die üblicherweise auf einem regelmäßigen, meist kartesischen Raster in einer, zwei oder drei Raumrichtungen angeordnet sind. Das erfindungsgemäße Verfahren unterscheidet sich in diesem Aspekt nicht von bekannten Formen der Laserscanningmikroskopie. Der Abtastbereich der Probe wird in eine Detektionsebene auf einen Detektor abgebildet, der in einer Detektionsfläche mehrere Detektorelemente Di, i ∈ P = { 1,....p} aufweist, die einzeln oder in Gruppen ausgelesen werden können. Einzeln auslesbar bedeutet hier, dass jedes Detektorelement bzw. jede Gruppe von Detektorelementen ein separates Signal liefert, nicht aber notwendigerweise, dass das Auslesen eines Signals erfolgen kann, ohne dass die anderen Signale ebenfalls ausgelesen werden. Es stellt also auch ein CCD-Sensor, bei dem in einem Ausleseschritt immer alle Detektorelemente ausgelesen werden müssen, einen für die Verwendung in dem erfindungsgemäßen Verfahren prinzipiell geeigneten Detektor dar.
Die Detektorelemente können dabei real oder virtuell in der Detektionsfläche angeordnet sein; wichtig ist, dass auf jedem einzelnen Detektorelement ein Signal detektiert wird, das jeweils einer zugehörigen begrenzten Teilfläche der Detektionsfläche zugeordnet ist. Eine typische Anordnung von Detektorelementen umfasst beispielsweise ein zentrales Detektorelement, das von sechs weiteren Detektorelementen in hexagonaler Anordnung umgeben ist. Grundsätzlich kann der Detektor auch eine zentrale Detektionsfläche und um diese herum angeordnet weitere ringförmige Detektionsflächen aufweisen. Ein solcher Detektor ist aus der Patentschrift CN 105242390 B bekannt. Für das Verfahren bevorzugt sind allerdings Detektorkonfigurationen mit 20 oder mehr auf einem Raster angeordneten Detektorelementen, mit denen weitaus bessere Ergebnisse erzielt werden können. Der Detektor weist dabei innerhalb eines Innenbereichs einer Beugungsstruktur, der im Falle einer punktweisen Abtastung durch das erste Minimum einer Punktspreizfunktion und im Falle einer linienweisen Abtastung durch die Lage der ersten Minima einer Linienspreizfunktion (LSF) begrenzt ist, mehrere Detektorelemente auf. Im Falle der linienweisen Abtastung ist dies so zu verstehen, dass der Detektor entlang einer Senkrechten zur Ausrichtung der Linienbeleuchtung mehrere Detektorelemente innerhalb des Innenbereichs der Beugungsstruktur aufweist. Im Falle einer punktweisen Abtastung bedeutet dies, dass das auf den Detektor abgebildete Fluoreszenzlicht von mehr als einem Detektorelement innerhalb einer Airy-Scheibe detektiert wird. Wenn in der Folge eine Aussage sowohl für eine Punktspreizfunktion als auch eine Linienspreizfunktion gilt, wird der Begriff der Abbildungsspreizfunktion verwendet.
Die Platzierung mehrerer Detektorelemente innerhalb einer Airy-Scheibe ermöglicht die Durchführung einer (M ulti-Bild-) Entfaltung oder, wenn die mehreren Detektorelemente auf einem Raster angeordnet sind, eines Pixel Reassignments, um die Auflösung, vor allem aber das Fluoreszenzsignal zu verbessern. Es ist mit der Anordnung der Detektorelemente auf einem Raster daher möglich, sowohl eine Hintergrundreduktion, die im Folgenden beschrieben wird, als auch ein Pixel Reassignment und eine (Multi-Bild)-Entfaltung durchzuführen und somit die Vorteile beider Bearbeitungsschritte zu kombinieren. Zur Durchführung des erfindungsgemäßen Verfahrens werden an jeder Abtastposition xk die Signale mehrerer oder aller Detektorelemente Di für i ∈ P' ⊂ P ausgelesen. Es liegen also bis zu p Messwerte pro Abtastposition vor, die sich aufgrund der unterschiedlichen Positionen der Detektorelemente in der Detektionsebene voneinander unterscheiden. Das Signal des i-ten Detektorelements bei Abtastung an der Abtastposition xk sei hier mit si(xk) bezeichnet. Die Menge der si(xk) bildet die Menge der Detektionsdaten. (Soweit die Bezüge eindeutig sind, wird das Funktionsargument der Übersichtlichkeit halber im Folgenden weggelassen.) Es wird davon ausgegangen, dass die Signale st nicht nur die Fluoreszenz aus der Abbildungsebene widerspiegeln, sondern auch Fluoreszenzbeiträge, die aus Bereichen ober- und unterhalb dieser Ebene stammen und hier als Hintergrund bezeichnet werden. Für das tatsächlich aus der
Figure imgf000012_0002
Bildebene stammende Signal gilt folglich:
Figure imgf000012_0003
Figure imgf000012_0001
Dem erfindungsgemäßen Verfahren liegt nun die Idee zugrunde, jeweils den Hintergrundbeitrag des i-ten Detektorelements aus den Signalen der anderen Detektorelemente sj, j ≠ i zu approximieren, um den interessierenden Signalanteil zu extrahieren.
Figure imgf000012_0004
Die Erfinder haben nun erkannt, dass dies möglich ist, wenn den Detektorelementen jeweils eine Hintergrundspreizfunktion, im Falle einer punktweisen Abtastung also eine Hintergrund-PSF und im Falle einer linienweisen Abtastung eine Hintergrund-LSF, zugewiesen wird, die aus der Abbildungsspreizfunktion bzw. den Abbildungsspreizfunktionen hi erzeugt werden kann und bevorzugt aus diesen erzeugt wird. Hiervon ausgehend können Gewichte derart bestimmt
Figure imgf000012_0009
werden, dass ein Hintergrundbeitrag zu einem Signal si(xk) des i-ten Detektorelements an der Abtastposition xk abgeschätzt werden kann durch eine gewichtete Summe über
Figure imgf000012_0005
die Signale der jeweils anderen Detektorelemente.
Der Erfindung liegt somit der Gedanke zugrunde, dass ebenso wie der Bildentstehungsprozess im Mikroskop als Faltungsprodukt einer Abbildungsspreizfunktion h mit dem Objekt / beschrieben werden kann, auch der Hintergrundbeitrag
Figure imgf000012_0006
als Faltung einer Hintergrundspreizfunktion
Figure imgf000012_0007
mit dem Objekt / dargestellt werden kann:
Figure imgf000012_0008
Da der Hintergrund definitionsgemäß nicht im Fokus der Abbildung liegt, ist die entsprechende PSF ausgewaschen und kann bis auf einen Skalierungsfaktor λi für alle Detektorelemente als näherungsweise gleich angenommen werden:
Figure imgf000013_0004
Es ist es nun möglich, jede Hintergrundspreizfunktion durch eine geeignete Summe der anderen Hintergrundspreizfunktionen auszudrücken. Denn mit und
Figure imgf000013_0005
Figure imgf000013_0006
gilt:
Figure imgf000013_0001
Die Skalierungsfaktoren λi, i ∈ P der unterschiedlichen Hintergrundspreizfunktionen in Gl. (5) sind unbekannt, aber es kann eine Darstellung nach Gl. (6) für jeden Index i durch Lösen des folgenden Minimierungsproblems gewonnen werden:
Figure imgf000013_0002
Die Lösung dieses Minimierungsproblems führt jeweils auch dann zu geeigneten Gewichten, wenn die nicht bis auf einen Skalierungsfaktor miteinander übereinstimmen, sondern auch dann, wenn diese Bedingung nur näherungsweise erfüllt ist. Weist die Menge der Hintergrund- spreizfunktionen der Detektorelemente voneinander zu stark abweichende Hintergrundspreiz- funktionen auf, so kann für jede Hintergrundspreizfunktion
Figure imgf000013_0003
eine Menge solcher Hintergrund- spreizfunktionen ausgewählt werden, die einander hinreichend ähnlich sind. Hiermit wird eine Auswahl getroffen, aus den Signalen welcher Detektorelemente jeweils der Hintergrund für ein ausgewähltes Detektorelement abgeschätzt werden soll.
Regelmäßig messen benachbarte Detektorelemente ähnliche Signale. Insbesondere erfassen sie ähnliche Anteile der Emission aus dem Vordergrund, der schließlich abgebildet werden soll. Im Falle einer punktweisen Abtastung gilt dies insbesondere für solche Detektorelemente, die miteinander benachbart sind und zum Zentrum der Intensitätsverteilung in der Detektionsebene einen ähnlichen oder denselben Abstand aufweisen. Es hat sich nun als günstig erwiesen, bei der Abschätzung des Hintergrunds insbesondere für solche Detektorelemente, die Nachbar- elemente mit besonders ähnlichen aus dem Vordergrund stammenden Signalanteilen aufweisen (dies können aus Parametern der optischen Abbildung bestimmt werden), eben diese Nachbar- elemente auszuschließen.
Um beide hier oberhalb genannten Fälle zu erfassen, kann jedes Minimierungsproblem nun allgemeiner wie folgt angeben werden:
Figure imgf000014_0001
Ein Lösungsweg für solche und ähnliche Minimierungsprobleme, beispielsweise entsprechende Minimierungsprobleme mit zusätzlichen Randbedingungen, sind dem Fachmann aus dem Stand der Technik bekannt. Tatsächlich kann es vorteilhaft sein, hierauf wird an anderer Stelle eingegangen, das zugrunde liegende Minimierung unter bestimmten Randbedingungen zu lösen. Für das oben angegebene Minimierungsproblem nach Gl. (7) kann die Lösung beispielsweise gefunden werden durch (numerisches) Lösen der Gleichung
Figure imgf000014_0006
nach , wobei die Matrix
Figure imgf000014_0005
und der Vektor
Figure imgf000014_0002
unter Annahme jeweils einer Hintergrundspreizfunkton-PSF berechnet werden können und
Figure imgf000014_0007
zwischen und der Zusammenhang
Figure imgf000014_0003
besteht. Hier bedeutet
Figure imgf000014_0004
wobei das Integral in der Praxis durch eine geeignete Summation gelöst wird. Da die Hintergrundspreizfunktionen prinzipiell im gesamten Raum zur Verfügung stehen, ist die Auswertung des Integrals nicht notwendigerweise an das durch das Abtastverfahren vorgegebene Gitter der xk gebunden.
Erfindungsgemäß werden nun unter Verwendung der Lösungen der Minimierungsprobleme
Figure imgf000015_0004
zu jedem (oder einem Teil) der Detektorelemente Rohbilder berechnet, wobei den Pixeln der Rohbilder jeweils ein Helligkeitswert
Figure imgf000015_0003
zugeordnet wird. (Unter Rohbildern sind hier und im Folgenden explizit auch Stapel von Rohbildern, d. h. drei- oder höherdimensionale Datensätze zu verstehen.)
Unter der Annahme, dass die Hintergrundspreizfunktionen bis auf einen Skalierungsfaktor λi für alle Detektorelemente gleich sind, sind diese Rohbilder sind frei von Hintergrundbeiträgen, denn mit der Beziehung
Figure imgf000015_0001
folgt:
Figure imgf000015_0002
(hier wurde die Beziehung genutzt).
Figure imgf000015_0005
Die Anordnung der Detektorelemente in der Detektionsfläche kann grundsätzlich frei gewählt werden und ist in der Praxis oft durch die Verfügbarkeit der Detektor-Arrays vorgegeben. Da insbesondere die Lage der Detektorelemente relativ zur Größe einer Beugungsstruktur von Interesse ist, kann auf diese relevante Lageeigenschaft auch bei einem vorgegebenen Detektor durch eine Anpassung des Abbildungsmaßstabs der optischen Abbildung genommen werden. Der Vollständigkeit halber soll hier erwähnt werden, dass es insbesondere bei einem großen Detektorarray, beispielsweise einem Array, welche unter den gegeben Abbildungsbedingungen einen Durchmesser aufweist, der größer ist als der 1,5-fachen oder der 3-fachen Durchmesser einer Airy-Scheibe, sinvoll sein kann, eine Auswahl auszuwertender Detektorelemente vorzunehmen, die insgesamt einen zentrierten Bereich der Intensitätsverteilung, das heißt um das Zentrum der Intensitätsverteilung, dieses einschließend, im Wesentlichen symmetrisch angeordneten Bereich, beispielsweise mit einem Durchmesser entsprechend dem 1,4-fachen, 1 ,3-fachen oder 1-fachen einer Airy-Scheibe, erfassen. Es ist für die Hintergrundkorrektur vorteilhaft, wenn einige Detektorelemente ganz vorwiegend Signal aus den Hintergrundbereichen und nur wenig Fluoreszenz aus der Abbildungsebene detektieren. Aus diesem Grund ist die Anordnung von Detektorelementen derart, dass Detektorelemente vorhanden sind, die gerade die Intensität im Bereich entlang der ersten Nulllinie der Detektionsspreizfunktion (d.h. im Falle einer punktweisen Abtastung auf dem Radius der Airy-Scheibe) erfassen, vorteilhaft. Ebenfalls vorteilhaft kann eine Anordnung derart sein, dass Detektorelemente vorhanden sind, die gerade die Intensität im Bereich des ersten Minimums der optischen Abbildungsspreizfunktion, die sich aus der (effektiven) Anregungsspreizfunktion und der Spreizfunktion der Optik des Detektionspfades ergibt, erfassen. Weiter kann für den Fall, dass die Abtastung mit einer Anregungslichtverteilung, der eine STED-Lichtverteilung mit einem lokalen Minimum am Ort des Maximums der Anregungslichtverteilung überlagert ist, eine Anordnung vorteilhaft sein, die solche Detektorelemente aufweist, die vorwiegend Signal aus dem Bereich des Maximums der STED-Lichtverteilung empfangen. Letztere Anordnung ermöglicht eine gute Korrektur insbesondere bezüglich der vom STED-Licht durch Mehrphotonen-Anregung induzierten Hintergrundfluoreszenz. Gegebenenfalls kann im Falle einer punktweisen Abtastung anstelle der mehreren Einzeldetektoren in den oben bezeichneten Bereichen auch jeweils ein ringförmiges Detektorelement angeordnet werden.
Zur Berechnung der Matrix ij (diese muss für jeden Index i bestimmt werden, sofern die Gewichte wie oberhalb beschrieben bestimmt werden) und des Vektors vi muss ein geeignetes Modell für die Hintergrund-PSF
Figure imgf000016_0001
angesetzt werden. Diese kann beispielsweise aus jeder Abbildungsspreizfunktion hi durch Anwendung eines Operators Oi, erzeugt werden
Figure imgf000016_0002
wobei der Operator Oi jeweils so gewählt ist, dass er die zentralen Bereiche der Abbildungsspreizfunktion ausblendet. Eine mögliche Form eines derartigen der Operators lautet
Figure imgf000016_0003
wobei die Menge Mi alle Punkte enthält, die dem zentralen Bereich der Abbildungsspreizfunktion zuzuordnen sind. Diese können im einfachsten Fall über den Abstand zum geometrischen Fokuspunkt selektiert werden. Um der unterschiedlichen Ausdehnung der Abbildungs- spreizfunktion hi in lateraler und axialer Rechnung zu tragen, kann als Menge Mi auch die Menge aller Punkte gewählt werden, die sich innerhalb eines Quaders oder eines (Rotations-) Ellipsoids befinden, dessen Abmessungen sich an der Ausdehnung der Abbildungsspreizfunktion in der jeweiligen Raumrichtung bemisst. Um Randartefakte in der Auswertung durch den harten Schnitt in Gl. (18) zu vermeiden, kann stattdessen eine geglättete Version verwendet werden, in der
Figure imgf000017_0004
durch für einen
Figure imgf000017_0003
Glättungskern φ ε(x) = ε- 3φ (x/ε) mit Parameter ε > 0 und kompakt getragener Funktion φ ersetzt wird, zum Beispiel:
Figure imgf000017_0001
Um aus den Rohbildern gi ein Bild bzw. einen Bildstapel I(xk) der Struktur in der Probe zu generieren, kann im einfachsten Fall bei punktweiser Abtastung direkt das konfokale Rohbild g0 als Bild verwendet werden, d. h. das Rohbild desjenigen Detektorelements, das eine zum Anregungsfokus konfokale Anordnung aufweist bzw. dieser Anordnung am nächsten kommt. Hierzu ist kein weiterer Rechenaufwand erforderlich, so dass sich das konfokale Rohbild insbesondere als Vorschaubild eignet, das ohne eine Verzögerung durch weitere Rechenoperationen angezeigt werden kann.
Die Rohbilder gi der verschiedenen Detektoren repräsentieren verschiedene Ansichten des abgetasteten Bereichs der Probe, die aufgrund der unterschiedlichen Positionen der Detektor- elemente Di gegeneinander verschoben sind. Die Berechnung des Bildes I(xk) kann daher auch erfolgen, indem die zwischen den Rohbildern bzw. Rohbildstapeln der Detektorelemente bestehenden Verschiebungen zueinander kompensiert und die um die Verschiebungen kompensierten Rohbilder bzw. Rohbildstapel zum Bild I(xk) aufsummiert werden:
Figure imgf000017_0002
wobei di ein Verschiebungsvektor des r-ten Detektorelements gegenüber einem frei wählbaren Referenzpunkt x0 ist. Durch die Summation kann das Signal des resultierenden Bildes gegenüber dem einzelnen konfokalen Rohbild um bis zu einen Faktor 2 verbessert. Dieses Vorgehen entspricht dem aus der Image Scanning Microscopy bekannten Pixel Reassignment mit nachfolgender Aufsummierung (Bilden der Sheppard-Summe). Das Verschieben der Bilder kann nach einer Fouriertransformation der Rohbild(stapel) auch als Phasenverschiebung im Ortsfrequenzraum erfolgen. Da Fouriertransformationen sehr effizient berechnet werden können, ist die Durchführung der Berechnungen im Ortsfrequenzraum im Hinblick auf die erforderliche Rechenzeit besonders günstig.
Unter der idealisierenden Annahme, dass die Anregungs- und Detektions-PSFs durch Gaußfunktionen gleicher Halbwertsbreite dargestellt werden können, entspricht die Verschiebung zwischen den Rohbildern g1 und g2 zweier Detektorelemente D1 und D2 gerade der halben Differenz der Ortsvektoren r1; r2 der beiden Detektorelemente, d.h. d12 = (r2 - r1)/2. Bezogen auf den Referenzpunkt x0 ist dann der Verschiebungsvektor für das i-te Detektorelement di = (ri - x0)/2. In der Praxis können diese idealisierten Verschiebungsvektoren zur Summation der Rohbilder nach Gl. (20) genutzt werden, sofern die Nominalpositionen der einzelnen Detektorelemente - auch unter Berücksichtigung des Abbildungsmaßstabs in die Probe - ausreichend genau bekannt sind. Um genauere Verschiebungsvektoren di zu berechnen, können anstatt der gaußförmigen PSFs mit (vektorieller) Beugungstheorie numerisch berechnete PSFs verwendet werden, wobei auch Unterschiede in der Anregungs- und Fluoreszenzwellenlänge, im Brechungsindex des Immersionsmediums und anderen experimentellen Parametern berücksichtigt werden können. Die für ein Detektorelement Di effektive PSF h eff ergibt sich dann aus dem Produkt der simulierten Anregungs-PSF mit der an die jeweilige Position ri des Detektorelement Di verschobenen Detektions-PSF; der Verschiebungsvektor di ist durch das Zentrum der effektiven PSF h eff definiert. In vielen Fällen kann der Verschiebungsvektor allgemein ausgedrückt werden durch d12 = (r2 - r1)/a , wobei a Werte von 1 bis 2 annehmen kann. Ein solcher Verschiebungsvektor, der aus Parametern der Abbildung bestimmt wird, wird in der Folge als abbildungstheoretischer Verschiebungsvektor bezeichnet.
Die Verschiebungsvektoren di können alternativ auch direkt aus den Rohbildern gi berechnet werden, was insbesondere dann von Vorteil ist, wenn keine quantitativen Informationen über die Position der Detektorelemente vorliegen oder die Positionen nicht ausreichend genau bestimmt werden können oder wenn der zu verwendende Verschiebungsvektor nicht mehr allgemein durch eine Gleichung d12 = (r2 - r1) /a, ausgedrückt werden kann. Dies ist beispielsweise in der STED- Mikroskopie regelmäßig der Fall. Hierzu wird ausgenutzt, dass die Rohbilder bei optimaler Verschiebung eine maximale Ähnlichkeit aufweisen. Ein übliches Maß für die Ähnlichkeit zwischen zwei Bildern gi und gj ist die (normierte) Kreuzkorrelation
Figure imgf000018_0001
die für den Verschiebungsvektor d, bei dem die Bilder die beste Übereinstimmung aufweisen, einen Maximalwert annimmt. In der Praxis bietet es sich an, die Kreuzkorrelationen jeweils bezogen auf ein Referenzbild, beispielsweise das konfokale Rohbild g0 zu berechnen. Eine der Kreuzkorrelation entsprechende Methode im Fourierraum ist die Phasenkorrelation, mit der die Verschiebungsvektoren di ebenfalls bestimmt werden können. Die Phasenkorrelation eignet sich insbesondere für Bilder mit frequenzabhängigem Rauschen, sie lässt sich außerdem effizient mittels der schnellen Fouriertransformation (engl. Fast Fourier Transform, FFT) implementieren. Schließlich können die Verschiebungsvektoren di durch Lösen des Minimierungsproblems
Figure imgf000019_0001
bestimmt werden, wobei g0 ein gemeinsames Referenzbild ist.
Eine weitere Möglichkeit, die Rohbilder gi zu einem Bild der Struktur zu verrechnen, besteht in einer (Multi-Bild-)Entfaltung. Bevorzugte Algorithmen hierzu stellen der Wiener-Filter oder iterative Verfahren wie die Richardson-Lucy-Entfaltung dar. Gegenüber dem Pixel Reassignment und Aufsummieren liefern Entfaltungsalgorithmen bessere Ergebnisse, insbesondere können sie unter vollem Erhalt der Tiefendiskriminierung angewendet werden. Nachteilig ist der erheblich höhere Rechenaufwand für eine (Multi-Bild-)Entfaltung.
Ebenso kann der aus der DE 10 2017 122 858 A1 bekannte, modifizierte Entfaltungsalgorithmus mit reduziertem Rechenaufwand angewendet werden, demgemäß in einem ersten Verarbeitungsschritt die Rohbilder gi zunächst gruppenweise zu wenigen Rohbildern verrechnet werden (durch Bilden der Sheppard-Summe oder eine zweidimensionale Multi-Bild-Entfaltung), und erst in einem zweiten Schritt eine dreidimensionale Multi-Bild-Entfaltung der Rohbilder zum finalen Bild(stapel) erfolgt.
Auch das Verfahren zur Verbesserung der Tiefenauflösung in einem Laserscanning-Mikroskop gemäß der DE 10 2017 119 531 A1 kann angewendet werden. Diesem folgend wird aus Daten gi(xk) zu einer festen axialen Position, d. h. Fokusebene in einer Probe in einem Zwischenschritt eine dreidimensionale Rekonstruktion des abzubildenden Objekts gewonnen, von der rekonstruierte Werte, die nicht zu der Fokusebene gehören, verworfen werden.
Die Schritte der Hintergrundkorrektur und der (Multi-Bild-)Entfaltung können optional auch in einem einzigen Rechenschritt zusammengefasst werden. Die zur Entfaltung anzusetzende effektive PSF , die sowohl die Entstehung des Bildes als auch des Bildhintergrunds beschreibt, lässt sich aus Gl. (16) herleiten:
Figure imgf000019_0002
Damit ist
Figure imgf000019_0003
Die Rohbilder ergeben sich also aus der Faltung der Probe mit einer effektiven Abbildungsspreizfunktion , die man aus einer Summation der Abbildungsspreizfunktionen hj
Figure imgf000020_0002
erhält. Die Minimierungseigenschaft der Gewichte sorgt dabei dafür, dass das Signal nicht
Figure imgf000020_0003
übermäßig verstärkt wird. Die separate Bestimmung des Hintergrundanteils sorgt zudem dafür, dass die effektive Abbildungsspreizfunktion eine endliche Reichweite hat, also nur Signal aus der Scanebene (bzw. wenigen benachbarten Ebenen) misst.
Eine bevorzugte Ausführungsform des erfindungsgemäßen Verfahrens umfasst die folgenden Schritte:
1. Abtasten der Probe oder eines Ausschnitts der Probe an mehreren Abtastpositionen und Auslesen von Signalen si aus den Detektorelementen (oder Gruppen von Detektorelementen) an allen Abtastpositionen.
2. Berechnen der Matrizen Hi und der Vektoren vi aus einem Modell der Hintergrundspreizfunktionen
Figure imgf000020_0001
3. Lösen der Minimierungsprobleme von Gl. (7).
4. Berechnen von Rohbildern gi gemäß Gl. (14).
5. Berechnen eines Bildes aus den Rohbildern gi .
Bei der Korrektur der Detektorsignale nach Gl. (14) kann es vorkommen, dass einzelnen Pixeln der Rohbilder negative Helligkeitswerte zugewiesen werden. Ursächlich hierfür ist üblicherweise (unvermeidbares) Bildrauschen, aber auch vereinfachte Modelle für die Abbildungs- spreizfunktionen können negative Bildbereiche zur Folge haben. Negative Pixelwerte sind aus physikalischer Sicht nicht interpretierbar, sind vor allem aber problematisch, wenn die Rohbilder einer (Multi-)Bildentfaltung unterzogen werden sollen. Einige, insbesondere iterative Bildentfaltungsalgorithmen erfordern als Eingabe Bilder mit nicht-negativen Pixelwerten. Unter der Annahme, dass negative Bildpixel durch Rauschen oder Artefakte entstehen, können negative Bildpixel ohne eine erhebliche Verfälschung der Bilddaten auf den Wert null gesetzt werden. In einer Weiterbildung des erfindungsgemäßen Verfahrens kann alternativ vorgesehen sein, dass die Gewichte durch eine Nutzereingabe (global) skaliert werden können. Durch
Figure imgf000020_0004
eine Skalierung mit einem Skalierungsfaktor kleiner als 1 wird zwar die Wirkung der Hintergrund korrektur abgeschwächt; gleichzeitig können aber negative Bereiche vermieden werden. Eine Skalierung der Gewichte kann auch automatisiert erfolgen, beispielsweise indem die Gewichte so lange reduziert werden, bis nur noch ein vorgegebener Prozentsatz der Bildpixel (oder kein Bildpixel) einen negativen Wert aufweist. Es können auch von vornherein Gewichte verwendet werden, die durch eine Skalierung mit einem Skalierungsfaktor zwischen 0 und 1 aus den Gewichten die bei Lösung des Minimierungsproblems erhalten werden, skaliert sind. Hierdurch wird der Grad der Hinterg rund red uzierung zwar gemindert, vorteilhaft wird aber das Auftreten von Artefakten und/oder Rauschen reduziert.
Es kann der Fall auftreten, dass die Lösung eines Minimierungsproblems nach Gl. (7) oder Gl. (8) für gegebene Hintergrundspreizfunktionen negative Gewichte liefert. Dies führt in der Regel zu einer schlechteren Hintergrundkorrektur. Deshalb ist in einer Weiterbildung der Erfindung vorgesehen, dass das betreffende Minimierungsproblem unter Randbedingungen gelöst wird oder gelöst ist, so dass keine negativen Gewichte auftreten.
In einer vorteilhaften Ausgestaltung der Erfindung werden die Werte für den Hintergrund geglättet, indem an die Stelle der Werte sj(xk) Werte treten, die aus den Werten zu einer Menge von benachbarten Abtastpositionen bestimmt werden. Beispielsweise kann an die Stelle eines
Figure imgf000021_0001
Werts sj(xk) der arithmetische Mittelwert oder bevorzugt der Median der Werte zu weiteren Abtastpositionen die die Abtastpositionen xk lateral oder auch in axial umgeben, treten. Die
Figure imgf000021_0002
Anzahl und die Lage der Abtastpositionen, die für diese Art der Glättung bevorzugt verwendet werden, kann sowohl von den Abständen der Abtastpositionen zueinander als auch von weiteren Aufnahmebedingungen, insbesondere den Probeneigenschaften, abhängen.
Die erfindungsgemäße Bildverarbeitungseinheit ist dadurch gekennzeichnet, dass sie eingerichtet ist, ein erfindungsgemäßes Verfahren auszuführen.
Bei der Erfindung handelt es sich weiterhin um ein Laserscanningmikroskop, das zumindest eine Lichtquelle für Fluoreszenzanregungslicht, eine Strahlabtastvorrichtung zum Abtasten der Probe mit dem fokussiertem Fluoreszenzanregungslicht, ein Objektiv und eine Detektionsvorrichtung umfasst, die in einer Detektionsfläche mehrere einzeln oder in Gruppen auslesbare Detektor- elemente aufweist. Das Laserscanningmikroskop beinhaltet weiterhin ein optisches System zur Abbildung der Probe in die Detektionsfläche, wobei die Vergrößerung der Abbildung so bemessen ist und der Detektor so ausgebildet ist, dass der Detektor innerhalb eines Innenbereichs einer Beugungsstruktur, der im Falle einer punktweisen Abtastung durch das erste Minimum einer Punktspreizfunktion und im Falle einer linienweisen Abtastung durch die Lage der ersten Minima einer Linienspreizfunktion (LSF) begrenzt ist, mehrere Detektorelemente aufweist. Erfindungsgemäß weist das Laserscanningmikroskop eine Bildverarbeitungseinheit, die auch in einer integrierten Steuer- und Bildverarbeitungseinheit vorliegen kann, zur Ausführung des erfindungsgemäßen Verfahrens auf.
Bezüglich der Anordnung der Detektorelemente in der Detektionsfläche bestehen grundsätzlich kaum Restriktionen. Kommerziell verfügbar sind vor allem Detektor-Arrays mit regelmäßig, in einem kartesischen oder hexagonalen Raster angeordneten Detektorelementen. Diese Art von Detektoren sind zum Aufbau erfindungsgemäßer Laserscanningmikroskope geeignet. Eine bezüglich der Anzahl der Detektorelemente besonders effiziente Anordnung umfasst ein zentrales Detektorelement, das von einem oder mehreren ringförmigen Detektorelementen konzentrisch umgeben ist, wobei die ringförmigen Detektorelemente auch als ringförmige angeordnete, gemeinsam auslesbare Gruppe von mehreren (Punkt-)Detektorelementen ausgeführt sein können. Insbesondere mit Blick auf die Anwendung von aus der Image Scanning Mikroskopie bekannten Verfahren ist es bevorzugt, wenn die ringförmig angeordneten (Punkt-) Detektorelemente einzeln auslesbar sind.
In einer bevorzugten Ausführungsform des Laserscanningmikroskops sind die einzelnen Detektorelemente jeweils als Avalanche-Fotodioden (APD) ausgeführt, die im Photonenzähl- bzw. Geigerzählmodus betrieben werden. Avalanche-Fotodioden weisen eine hohe Quanteneffizienz auf, die zudem für gewünschte Wellenlängenbereiche optimiert werden kann. Zudem werden Photonenzählereignisse instantan erfasst und können ohne Verzögerung weiterverarbeitet werden. Insbesondere können auch die Ankunftszeiten der Photonen mit hoher zeitlicher Präzision bestimmt werden, so dass mittels zeitkorreliertem Photonenzählen Fluoreszenzlebensdauern bestimmt werden können. Bevorzugt erfolgt die Verarbeitung der Zählereignisse durch eine in den Detektor integrierte Auswerteschaltung. Eine hinsichtlich der weiteren Datenverarbeitung besonders flexible Art der Datenaufbereitung besteht dabei darin, jedes Zählereignis mit einem Zeitstempel und einer Kanalkennung zu versehen und über ein digitales Datenprotokoll für die Speicherung und Analyse an einen Steuer- und Auswerterechner zu übertragen.
Prinzipiell eignen sich zur Durchführung des erfindungsgemäßen Verfahrens und zur Implementierung eines erfindungsgemäßen Laserscanningmikroskops auch CCD- oder CMOS- Sensoren als ortsauflösende Detektoren, nachteilig sind aber ihre vergleichsweise langen Auslesezeiten, so dass sie sich für eine schnelle Bildaufnahme weniger eignen.
Schließlich muss der lichtempfindliche Teil der Detektorelemente nicht notwendigerweise direkt in der Detektionsfläche angeordnet sein; stattdessen kann das Licht auch mit Hilfe eines Lichtleiterbündels von der Detektionsfläche zu an anderer Stelle platzierten Detektoren oder zu einem anderer Stelle platzierten Mehrkanal-Detektor geleitet werden. Dabei nehmen die Eintrittsöffnungen der einzelnen Lichtleiter des Bündels die Funktion der Detektorelemente ein und sind entsprechend in der Detektionsfläche angeordnet. Auf diese Weise können auch Fotomultiplier oder Mehrkanal-Fotomultiplier eingesetzt werden, die nicht so weit miniaturisierbar sind, dass sie direkt in der Detektionsfläche angeordnet werden könnten. In der Praxis bedecken die Detektorelemente meist nicht die gesamte Detektionsfläche, sondern weisen Zwischenräume auf, in denen Fluoreszenzphotonen nicht detektiert werden. Der Füllfaktor, d.h. der Anteil der lichtempfindlichen Fläche an der Gesamtfläche des Detektors, kann abhängig vom Sensortyp sehr hoch sein (z.B. CCD-Sensoren, ≥ 90 %), ist aber bei den für das erfindungsgemäße Laserscanningmikroskop bevorzugten APD-Arrays typischerweise im Bereich von 25 %. Eine Steigerung der Lichteffizienz kann in diesen Fällen bewirkt werden, wenn vor den Detektorelementen Sammellinsen bzw. ein Mikrolinsenarray angeordnet wird, so dass alle einfallenden Photonen auf lichtempfindliche Bereiche des Sensors, das heißt jeweils auf einen lichtempfindlichen Bereich eines Detektorelements, gelenkt werden.
Optional kann das Laserscanningmikroskop auch als STED- oder RESOLFT-Mikroskop ausgebildet sein, d. h. es kann eine weitere Lichtquelle für Fluoreszenzverhinderungslicht samt einer Strahlformungsvorrichtung aufweisen, so dass das Fluoreszenzverhinderungslicht in der Probe eine ein lokales Minimum aufweisende Intensitätsverteilung ausbildet. Geeignete Strahl- formungseinrichtungen sind dem Fachmann aus dem Stand der Technik zur STED-Mikroskopie bekannt; beispielhaft seien an dieser Stelle nur (Vortex-) Phasenplatten und pixelierte Flüssigkristallmodulatoren (engl. Spatial Light Modulator, SLM) genannt. Das Minimum des Fluoreszenzverhinderungslichts ist mit dem Fokus des Anregungslichts in der Probe überlagert, und die Strahlablenkvorrichtung verlagert die Intensitätsverteilungen von Fluoreszenz- anregungslicht und Fluoreszenzverhinderungslicht gemeinsam.
Die Bildverarbeitungseinheit des Laserscanningmikroskops, die integriert sein kann in einer kombinierten Steuer- und Bildverarbeitungseinheit, weist zumindest eine Recheneinheit mit einem Programm auf, das die Berechnung der Rohbilder gi( xk) nach Gl. (14) durchführen kann. Das Programm implementiert üblicherweise auch einen Algorithmus zur Lösung des Minimierungsproblems nach Gl. (7) und / oder Gl. (8), wobei der Algorithmus eingerichtet sein kann, Randbedingungen an die Lösung des Minimierungsproblems zu berücksichtigen, und zur Berechnung der Gewichte ; dies ist allerdings nicht zwingend erforderlich, da die Gewichte
Figure imgf000023_0003
Figure imgf000023_0002
für gegebene Hintergrund-PSFs bzw. Hintergrundspreizfunktionen
Figure imgf000023_0001
vorberechnet werden können. Eine integrierte Steuer- und Bildverarbeitungseinheit wird typischerweise weitere Funktionen wie die Ansteuerung der Lichtquellen, die Ansteuerung der Strahlablenkvorrichtung zum Abtasten eines vorgebbaren Bereichs der Probe und das Auslesen der Detektorelemente an jeder Abtastposition beinhalten.
In einer Weiterbildung weist das erfindungsgemäße Laserscanningmikroskop ein grafisches Nutzerinterface auf, das eine Anzeige eines oder mehrerer hintergrundkorrigierter Rohbilder oder eines aus mehreren Rohbildern verrechneten Bildes beinhaltet. Zudem kann das grafische Nutzerinterface ein grafisches Bedienelement aufweisen, mit dem der Benutzer die Gewichte
Figure imgf000024_0001
(global) skalieren kann. Ein solches Bedienelement kann beispielsweise in Form eines Schiebereglers, eines Drehknopfes oder eines numerischen Eingabefeldes ausgestaltet sein. Ein sinnvoller Einstellbereich für den Skalierungsfaktor liegt beispielsweise im Bereich von 0 bis 2, bevorzugt im Bereich von 0 bis 1.
Bevorzugt bewirkt eine Änderung des Skalierungsfaktors mit dem Bedienelement eine unmittelbare Neuberechnung und Aktualisierung der Anzeige der hintergrundkorrigierten Bilder, so dass die Einstellung des Skalierungsfaktors durch den Nutzer interaktiv erfolgen kann.
Die Funktionen zur Ausführung des erfindungsgemäßen Verfahrens können durch dedizierte Hardware oder durch eine speicherprogrammierbare Hardware in Verbindung mit einem Programm erzielt werden, durch dessen Ausführung die jeweilige Funktion implementiert wird. Wenn die Funktionen durch eine speicherprogrammierbare Hardware bereitgestellt werden, kann diese als Rechenwerk insbesondere einen Mikroprozessor oder Mikrocontroller mit einem oder mehreren Rechenkernen, eine Mehrzahl von Mikroprozessoren oder Mikrocontrollern, ein Field Programmable Array (FPGA) oder einen digitaler Signalprozessor (DSP) oder eine Kombination dieser Elemente aufweisen. Die speicherprogrammierbare Hardware kann darüber hinaus weitere Hardware-Komponenten zur Ausführung der Funktionen enthalten, insbesondere flüchtige und/oder nichtflüchtige Lese- oder Schreib-/Lesespeicher, Datenaufnahme- und Schnittstellenbausteine. Die speicherprogrammierbare Hardware kann konkret ein Personal Computer (PC) sein, und die Schritte des erfindungsgemäßen Verfahrens können durch die CPU oder die GPU des PCs ausgeführt werden. Die speicherprogrammierbare Hardware kann zudem weitere Funktionen ausführen, die nicht zur Ausführung des erfindungsgemäßen Verfahrens erforderlich sind.
Weitere vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den Patentansprüchen, der Beschreibung und den Zeichnungen. Die in der Beschreibung beschriebenen Vorteile von Merkmalen und von Kombinationen mehrerer Merkmale der Erfindung sind lediglich beispielhaft und können alternativ oder kumulativ zur Wirkung kommen, ohne dass die Vorteile zwingend von erfindungsgemäßen Ausführungsformen erzielt werden müssen. Ohne dass hierdurch der Gegenstand der beigefügten Patentansprüche verändert wird, gilt hinsichtlich des Offenbarungsgehalts der ursprünglichen Anmeldungsunterlagen und des Patents das Folgende: weitere Merkmale sind den Zeichnungen zu entnehmen. Die Kombination von Merkmalen unterschiedlicher Ausführungsformen der Erfindung oder von Merkmalen unterschiedlicher Patentansprüche ist ebenfalls abweichend von den gewählten Rückbeziehungen der Patentansprüche möglich und wird hiermit angeregt. Dies betrifft auch solche Merkmale, die in separaten Figuren dargestellt sind oder bei deren Beschreibung genannt werden. Diese Merkmale können auch mit Merkmalen unterschiedlicher Patentansprüche kombiniert werden. Ebenso können in den Patentansprüchen aufgeführte Merkmale für weitere Ausführungsformen der Erfindung entfallen.
Der in den Patentansprüchen und der Beschreibung genutzte unbestimmte Artikel „ein“ für ein Merkmal ist so zu verstehen, dass es sich hinsichtlich der Anzahl um genau eine oder auch um mehrere Ausführungen dieses Merkmals handeln kann, ohne dass es einer expliziten Verwendung des Adverbs "mindestens" bedarf. Die in den Patentansprüchen angeführten Merkmale können gegebenenfalls durch weitere Merkmale ergänzt werden oder auch die einzigen Merkmale sein, die das jeweilige Verfahren aufweist.
Kurzbeschreibung der Figuren
Fig. 1 zeigt ein Ablaufdiagramm des erfindungsgemäßen Verfahrens.
Fig. 2 zeigt eine mögliche Maskierung der Abbildungs-PSF zur Erzeugung einer Hintergrund- PSF.
Fig. 3 zeigt verschiedene Anordnungen von Detektorelementen in der Detektionsfläche.
Fig. 4 zeigt schematisch den Aufbau eines erfindungsgemäßen Laserscanningmikroskops.
Beschreibung der Figuren
In Fig. 1 ist ein erfindungsgemäßes Verfahren in Form eines Ablaufdiagramms gezeigt. Die Darstellung zeigt die logische, nicht aber notwendigerweise die zeitliche Abfolge der Schritte. Insbesondere können mehrere Schritte auch parallel oder verschachtelt ausgeführt werden.
In einem Datenaufnahmeschritt 1 wird zunächst die Probe oder ein Ausschnitt der Probe, in dem sich eine mit einem Fluoreszenzfarbstoff angefärbte Struktur befindet, mit fokussiertem Anregungslicht abgetastet, d. h. das fokussierte Anregungslicht wird nacheinander an verschiedene Positionen in der Probe positioniert und die Probe an der jeweiligen Position mit Anregungslicht beleuchtet. In der Probe angeregtes Fluoreszenzlicht wird in eine Detektions- fläche abgebildet und dort mit einer Mehrzahl von Detektorelementen detektiert. Die Vergrößerung der Abbildung ist dabei so gewählt, dass die Abmessungen der Detektionsfläche dem ein- bis dreifachen Durchmesser einer Airy-Scheibe entspricht, die eine im Fokus der Abbildung in der Probe befindliche Punktlichtquelle in der Detektionsfläche erzeugen würde. An jeder der Abtastpositionen werden die Detektorsignale si(xk) 2 mehrerer oder aller Detektorelemente registriert und für die spätere Weiterverarbeitung gespeichert. Für den nachfolgenden Korrekturschritt 3 ist zunächst eine Berechnung der Gewichte
Figure imgf000026_0001
durch Lösen der (in der Figur nicht ausformulierten) Minimierungsprobleme 4 nach Gl. (7) oder Gl. (8) (ggf. unter Randbedingungen für die Lösung) erforderlich. Sofern die Punktspreizfunktion (PSF) der Abbildung konstant ist, können die Gewichte
Figure imgf000026_0002
vorberechnet und müssen nicht bei jeder Ausführung des Verfahrens erneut berechnet werden. Sofern das Verfahren aber als STED- oder RESOLFT-Variante ausgebildet ist, d. h. die Abtastung nicht nur mit Anregungslicht, sondern zusätzlich auch mit einer ein lokales Minimum aufweisenden Intensitätsverteilung von Fluoreszenzverhinderungs- bzw. Stimulationslicht ausgeführt wird, hängt die Amplituden- verteilung der effektiven Abbildungs-PSF und der Hintergrund-PSF von der eingesetzten Intensität des Fluoreszenzverhinderungs- bzw. Stimulationslicht und der Art des Fluoreszenzfarbstoffs ab, und eine Bestimmung der Gewichte
Figure imgf000026_0003
muss unter Verwendung einer für die jeweiligen Aufnahmebedingungen angepassten Abbildungs- bzw. Hintergrund-PSF erfolgen. Mit den Gewichten erfolgt nun eine Hintergrundkorrektur der Detektorsignale zu
Figure imgf000026_0004
Rohbildern 5 mit Helligkeitswerten gi(xk) . Dabei können Rohbilder 5 zu allen Detektorelementen i ∈ P berechnet werden oder auch nur zu einem Teil der Detektorelemente i ∈ P' ⊂ P.
Aus den Rohbildern 5 wird schließlich ein Bild I(xk) 6 der Struktur bestimmt. Im einfachsten Fall wird als Bild direkt das Rohbild 5 desjenigen Detektorelements gewählt, das eine zum Anregungsfokus konfokale Anordnung aufweist bzw. dieser Anordnung am nächsten kommt. Optional kann dieses Rohbild 5 einer Nachbearbeitung, insbesondere einer Bildentfaltung unterzogen werden. Die Bildentfaltung kann weiter als Multi-Bildentfaltung ausgestaltet sein und dann aus mehreren oder allen Rohbildern ein Bild 6 erzeugen. Eine hier lediglich beispielhaft genannte, weitere Option der Zusammenführung der Rohbilder 5 zu einem Bild 6 besteht in der Berechnung der Sheppard-Summe, d. h. durch Verschieben und Aufaddieren der Pixel der Rohbilder 5 über mehrere Abtastpositionen erfolgt.
Fig. 2 zeigt, wie eine Hintergrund-PSF 7 zur Formulierung des Minimierungsproblems nach Gl. (7) konstruiert werden kann. Dargestellt ist das Profil einer beugungsbegrenzt fokussierten Abbildungsspreizfunktion h 8 entlang der optischen Achse (z-Achse). Als Maskierungsoperator 0 9 wird ein kontinuierlicher Operator, beispielsweise nach Gl. (18) und (19) angenommen, dessen Anwendung auf die Abbildungsspreizfunktion h 8 die Hintergrundpunktspreizfunktion hbg ≈ 0 h. 7 liefert. Umgekehrt ergibt sich der Vordergrundanteil der PSF zu hfg ≈ (1 - 0)h 10.
In Fig. 3 sind verschiedene Anordnungen von Detektorelementen 11 in der Detektionsfläche 12 gezeigt, die sich zur Implementierung des erfindungsgemäßen Verfahrens und des erfindungsgemäßen Laserscanningmikroskops eignen. In Unterfigur A ist ein kartesisches Raster von quadratischen Detektorelementen 11 gezeigt, wie es insbesondere mit CCD-/CMOS- Bildsensoren realisiert werden kann. Die Flächenausnutzung, d. h. der Füllfaktor, ist in dieser Anordnung besonders günstig, da nur wenig Licht in Bereiche zwischen den Detektorelementen 11 fällt. Allerdings sind CCD-/CMOS-Bildsensoren in ihrer Auslesegeschwindigkeit begrenzt, weswegen sie sich für eine schnelle Bildaufnahme weniger eignen. In Unterfigur B ist ebenfalls ein kartesisches Raster von hier runden Detektorelementen 11 gezeigt, das beispielsweise als Array von Avalanche-Fotodioden (APDs) realisiert werden kann. Je nach Ausführungsform können die einzelnen Detektorelemente 11 hier signifikante Abstände voneinander aufweisen, so dass der Füllfaktor inhärent geringer ist. Zur Verbesserung der Detektionseffizienz bietet sich in dieser Ausführungsform die Anordnung von (hier nicht gezeigten) Sammellinsen (bzw. eines Mikrolinsenarrays) vor den Detektorelementen 11 an. Unterfigur C zeigt eine Variante von Unterfigur B, bei der die einzelnen Detektorelemente nicht in einem kartesischen, sondern in einem hexagonalen Raster 13 angeordnet sind. Das hexagonale Raster 13 eignet sich insbesondere zur Approximation rotationssymmetrischer Anordnungen von Detektorelementen 11 mit einem zentralen, konfokal zum Anregungsfokus angeordneten (Haupt-) Detektorelement 14, das vorwiegend Fluoreszenzsignale aus der Abbildungsebene empfängt, und dieses Hauptdetektorelement umgebende Detektorelemente, die im Verhältnis zum von ihnen detektierten Vordergrundsignal mehr Hintergrundfluoreszenz aus anderen Ebenen als der Abbildungsebene detektieren. In Unterfigur D ist schließlich eine konzentrische Anordnung von ringförmigen Detektorelementen 15 um ein zentrales rundes Detektorelement 14 gezeigt, das sich von den anderen Konfigurationen darin unterscheidet, dass die Detektorelemente sich nicht nur durch eine Translation, sondern auch in ihrer Geometrie voneinander unterscheiden. Die Signale derartig angeordneter Detektorelemente können in erfindungsgemäßer Weise hintergrundkorrigiert werden, allerdings ist eine nachträgliche Verrechnung der Rohbilder nur durch eine Multi-Bild-Entfaltung mit einer für jedes Detektorelement unterschiedlichen, individuellen PSF möglich, nicht aber durch Bilden der Sheppard-Summe.
Fig. 4 zeigt schematisch ein erfindungsgemäßes Laserscanningmikroskop 16. Eine Lichtquelle 17 stellt einen Strahl 18 von Anregungslicht 19, bereit, das mit Hilfe eines dichroitischen Strahlteilers 20 in einen Hauptstrahlengang 21 des Mikroskops eingespiegelt wird. Mit Hilfe einer im Hauptstrahlengang 21 angeordneten Strahlablenkvorrichtung 22 und einer T ubuslinse 23 kann der Strahl in der rückwärtigen Pupille des Objektivs 24 verkippt und somit der Fokus 25 des Anregungslichts 19 zum Abtasten in der Probe 26 verlagert werden. Optional, nicht jedoch für eine erfindungsgemäße Ausführungsform des Laserscanningmikroskop 16 zwingend, kann mit einem weiteren Strahlteiler 20 zusätzlich ein Strahl von Fluoreszenzverhinderungs- bzw. Stimulationslicht 27 aus einer weiteren Lichtquelle 28 in den Hauptstrahlengang 21 eingekoppelt werden, wobei die Lichtstrahlen von Anregungs- und Fluoreszenzverhinderungs- /Stimulationslicht kollinear zueinander justiert werden, so dass ihre Foki 25 in der Probe 26 überlagert sind. Zur Ausbildung eines (zentralen) lokalen Intensitätsmaximums, idealerweise einer Nullstelle, ist im Strahl des Fluoreszenzverhinderungs-/ Stimulationslichts ein Phasenfilter 29 angeordnet. Das aus der Probe emittierte Fluoreszenzlicht 30 passiert die beiden Strahlteiler 20, wird durch einen Filter 31 von Streulicht separiert und mit einer Linse 32 auf einen mehrere Detektorelemente 11 aufweisenden Detektor 33 abgebildet; die Vergrößerung der Abbildung ist dabei so bemessen, dass eine charakteristische Abmessung der Detektionsfläche dem ein- bis dreifachen Durchmesser einer Airy-Scheibe entspricht, die eine im Fokus der Abbildung in der Probe befindliche Punktlichtquelle auf dem Detektor 33 erzeugen würde. Der Detektor weist innerhalb des Durchmessers einer Airy-Scheibe mehrere Detektorelemente auf. Das Mikroskop verfügt weiter über eine Mess- und Steuereinheit 34, die das Abtasten der Probe 26 durch Übermittlung von Steuersignalen 35 an die Strahlablenkvorrichtung 22 und das Erfassen/Speichern der Detektorsignale 2 koordiniert. Erfindungsgemäß beinhaltet das Laserscanningmikroskop 16 eine Bildverarbeitungseinheit 36, die integriert in eine Steuereinheit vorliegt, mit einem Programm, das eine Verarbeitung der Detektorsignale 2 nach dem erfindungsgemäßen Verfahren implementiert. Bevorzugt verfügt das Laserscanningmikroskop 16 auch über ein grafisches Nutzerinterface 37, das eine Darstellung des Bildes und/oder eines Vorschaubildes sowie ein Bedienelement 39, z.B. in Form eines Schiebereglers 40, umfasst, mit dem ein Bediener die zur Hintergrund korrektur angewendeten Gewichte skalieren kann. Durch eine Neuberechnung des Bildes/ des Vorschaubildes erlaubt das Nutzerinterface 37 eine interaktive Einstellung der Hintergrundkorrektur unter visueller Kontrolle des Bedieners.
Bezugszeichenliste
1 Datenaufnahmeschritt
2 Detektorsignal
3 Korrekturschritt
4 Minimierungsproblem
5 Rohbild
6 Bild
7 Hintergrundpunktspreizfunktion
8 Abbildungspunktspreizfunktion
9 Maskierungsoperator
10 Vordergrundpunktspreizfunktion
11 Detektorelement
12 Detektionsfläche
13 hexagonales Raster 14 zentrales Detektorelement 15 ringförmiges Detektorelement 16 Laserscanningmikroskop 17 Lichtquelle 18 Strahl 19 Anregungslicht 20 Strahlteiler 21 Hauptstrahlengang 22 Strahlablenkvorrichtung 23 Tubuslinse 24 Objektiv 25 Fokus 26 Probe 27 Fluoreszenzverhinderungslicht/Stimulationslicht 28 Lichtquelle 29 Phasenfilter 30 Fluoreszenz 31 Filter 32 Linse 33 Detektor 34 Steuereinheit 35 Steuersignal 36 Bildverarbeitungseinheit 37 Nutzerinterface 38 Vorschaubild 39 Bedienelement 40 Schieberegler

Claims

Patentansprüche
1 . Verfahren zum Abbilden einer mit einem Fluoreszenzfarbstoff angefärbten Struktur in einer Probe, wobei die Probe oder ein Ausschnitt der Probe mit einer ein lokales Intensitätsmaximum aufweisenden Intensitätsverteilung von Fluoreszenzanregungslicht an mehreren Abtastpositionen xk für k ∈ N = {1, ..., n} innerhalb eines Abtastbereichs abgetastet wird;
- jede Abtastposition jeweils in eine Detektionsfläche abgebildet wird, in der einzeln oder in Gruppen auslesbare Detektorelemente Di für i ∈ P = {1,...p} angeordnet sind, wobei innerhalb eines Innenbereichs einer Beugungsstruktur mehrere Detektorelemente angeordnet sind,
- wobei Fluoreszenzlicht aus der Probe detektiert wird und Detektionssignale si(xk) aus den einzelnen und / oder den Gruppen von Detektorelementen Di an jeder Abtastposition xk ausgelesen werden,
- wobei aus den Detektionssignalen si(xk) ein Bild der Struktur bestimmt wird, dadurch gekennzeichnet, dass
- bis zu p Rohbilder berechnet werden, indem jeder Abtastposition xk in einem i-ten Rohbild ein Bildpunkt mit einem Helligkeitswert zugeordnet wird, der bestimmt wird als eine Differenz aus einem Detektionswert si(xk) des i-ten Detektorelements an der Abtastposition xk und einem Wert bi(xk), der additiv aus Detektionswerten sj(xk) oder aus unter Nutzung von Detektionswerten zu der Abtastposition xk benachbarter
Figure imgf000030_0002
Abtastpositionen geglätteten Detektionswerten anderer Detektorelemente als
Figure imgf000030_0001
Figure imgf000030_0003
dem i-ten Detektorelement an der Abtastposition xk bestimmt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass jeder Wert bi(xk) eine gewichtete Summe der Form
Figure imgf000030_0004
mit Gewichten und einem Skalierungsfaktor C ist.
Figure imgf000030_0005
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Gewichte Lösungen
Figure imgf000030_0006
der Minimierungsprobleme
Figure imgf000031_0001
für ein
Figure imgf000031_0002
mit sind, wobei die Hintergrundspreizfunktionen sind, wobei an
Figure imgf000031_0003
Figure imgf000031_0004
die Lösungen der Minimierungsprobleme optional Randbedingungen gestellt sind.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Hintergrundspreiz- funktionen durch Anwendung eines Operators Oj auf eine simulierte oder experimentell bestimmte Abbildungsspreizfunktion hj der Abbildung gemäß bestimmt
Figure imgf000031_0005
werden.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Operator Oj die Form
Figure imgf000031_0006
aufweist, wobei Mj eine Menge von Punkten darstellt, die einen Zentralbereich der Abbildungsspreizfunktion hj(x) umfasst.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Abbildungsspreizfunktion hj(x) eine Punktspreizfunktion und Mj die Menge aller Punkte eines am geometrischen Zentrum der Punktspreizfunktion hj(x) zentrierten Quaders oder Rotationsellipsoids ist, wobei die Abmessungen des Quaders bzw. der Hauptachsen des Rotationsellipsoids mit der Ausdehnung der Punktspreizfunktion hj(x) in der entsprechenden Raumrichtung skalieren.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der Operator Oj mit einem kompakt getragenen Glättungskern gefaltet wird.
8. Verfahren nach einem der Ansprüche 2 bis 7, dadurch gekennzeichnet, dass der Skalierungsfaktor C so gewählt wird, dass weniger als ein vorgegebener Anteil der Bildpunkte des Rohbildes oder des Rohbildstapels einen Wert kleiner als null annehmen.
9. Verfahren nach einem der Ansprüche 2 bis 7, dadurch gekennzeichnet, dass der Skalierungsfaktor C den Wert 1 aufweist.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass negative Helligkeitswerte von Bildpunkten des Rohbildes auf den Wert null gesetzt werden.
11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass zwischen den Rohbildern der Detektorelemente bestehende Verschiebungen zueinander kompensiert und die um die Verschiebungen kompensierten Rohbilder zu dem Bild der Struktur aufsummiert werden.
12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass zur Kompensation der Verschiebung zwischen den Rohbildern zweier Detektorelemente ein abbildungs- theoretischer Verschiebungsvektor der Form d12 = (r2 − r1)⁄ a mit 1 < a < 2 verwendet wird.
13. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass zur Kompensation der Verschiebung zwischen den Rohbildern zweier Detektorelemente mittels einer Kreuzkorrelation der Rohbilder oder einer äquivalenten Operation im Ortsfrequenzraum ein Verschiebungsvektor berechnet und verwendet wird.
14. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass das Bild der Struktur unter Verwendung eines linearen oder nichtlinear-iterativen Bildentfaltungs- algorithmus ein berechnet wird.
15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass als Bildentfaltungsalgorithmus ein Wiener-Entfaltungsalgorithmus oder ein Richardson-Lucy-Entfaltungsalgorithmus verwendet wird.
16. Bildverarbeitungseinheit mit einem Computerprogramm, das ein Verfahren nach einem der Ansprüche 1 bis 15 zum hintergrundreduzierten Abbilden einer mit einem Fluoreszenz- farbstoff angefärbten Struktur in einer Probe implementiert.
17. Laserscanningmikroskop zur Aufnahme von Bildern in einer Probe - mit einer Lichtquelle, die Fluoreszenzanregungslicht bereitstellt, - mit einer Strahlabtastvorrichtung zur punktweisen Abtastung mit dem Fluoreszenz- anregungslicht, - mit einem Objektiv, - mit einer Detektionsvorrichtung, die in einer Detektionsfläche mehrere einzeln oder in Gruppen auslesbare Detektorelemente aufweist; - mit optischen Elementen zur Abbildung der Probe in die Detektionsfläche, wobei die Vergrößerung der Abbildung so bemessen ist, dass die Detektionsvorrichtung in einem Innenbereich einer Beugungsstruktur in der Probe mehrere Detektorelemente aufweist, dadurch gekennzeichnet, dass es eine Bildverarbeitungseinheit nach Anspruch 16 aufweist.
18. Laserscanningmikroskop nach Anspruch 17, dadurch gekennzeichnet, dass es eine Lichtquelle für Fluoreszenzverhinderungslicht und eine im Strahlengang des Fluoreszenz- verhinderungslichts angeordnete Strahlformungsvorrichtung aufweist, so dass das Fluoreszenzverhinderungslicht in der Probe eine ein lokales Minimum aufweisende Intensitätsverteilung ausbildet.
19. Laserscanningmikroskop nach Anspruch 17 oder 18, dadurch gekennzeichnet, dass die Detektorelemente im Photonenzählmodus betriebene Avalanche-Fotodioden (APDs) sind.
20. Laserscanningmikroskop nach einem der Ansprüche 17 bis 19, dadurch gekennzeichnet, dass die Detektorelemente der Detektionsvorrichtung auf einem kartesischen oder hexagonalen Raster angeordnet sind.
21. Laserscanningmikroskop nach einem der Ansprüche 17 bis 19, dadurch gekennzeichnet, dass die Detektorelemente der Detektionsvorrichtung in Form konzentrischer Ringe um ein zentrales rundes Detektorelement angeordnet sind.
22. Laserscanningmikroskop nach einem der Ansprüche 17 bis 21 , dadurch gekennzeichnet, dass die Detektorelemente durch Eintrittsflächen von Lichtleitern eines Lichtleiterbündels ausgebildet werden, wobei die Lichtleiter das empfangene Licht zu je einem Detektionskanal eines mehrkanaligen Lichtdetektors leiten.
23. Laserscanningmikroskop nach einem der Ansprüche 17 bis 20, dadurch gekennzeichnet, dass vor jedem Detektorelement eine Sammellinse angeordnet ist.
24. Laserscanningmikroskop nach einem der Ansprüche 17 bis 23, dadurch gekennzeichnet, dass es eine Bildverarbeitungseinrichtung aufweist, die zur Ausführung eines Verfahrens nach Anspruch 2 eingerichtet ist und dass ein Nutzerinterface mit einem grafischen Bedienelement aufweist, mit dem ein Bediener den Wert des Skalierungsfaktors C einstellen kann.
25. Laserscanningmikroskop nach Anspruch 24, dadurch gekennzeichnet, dass das Nutzerinterface ein neu berechnetes Bild oder eine durch eine Näherung generierte Vorschau des Bildes der Struktur unmittelbar nach jeder Änderung des Skalierungsfaktors C durch den Bediener anzeigt.
PCT/EP2021/073615 2020-08-28 2021-08-26 Verfahren, bildverarbeitungseinheit und laserscanningmikroskop zum hintergrundreduzierten abbilden einer struktur in einer probe WO2022043438A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020122605.5 2020-08-28
DE102020122605.5A DE102020122605A1 (de) 2020-08-28 2020-08-28 Verfahren, Bildverarbeitungseinheit und Laserscanningmikroskop zum hintergrundreduzierten Abbilden einer Struktur in einer Probe

Publications (1)

Publication Number Publication Date
WO2022043438A1 true WO2022043438A1 (de) 2022-03-03

Family

ID=77693512

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/073615 WO2022043438A1 (de) 2020-08-28 2021-08-26 Verfahren, bildverarbeitungseinheit und laserscanningmikroskop zum hintergrundreduzierten abbilden einer struktur in einer probe

Country Status (2)

Country Link
DE (1) DE102020122605A1 (de)
WO (1) WO2022043438A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024003253A1 (en) * 2022-06-30 2024-01-04 United Kingdom Research And Innovation Computer-implemented multispectral imaging method and system

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022119589B3 (de) 2022-08-04 2023-11-23 Abberior Instruments Gmbh Verfahren, Lichtmikroskop und Computerprogramm zur Lokalisierung einzelner Emitter in einer Probe
DE102022128079A1 (de) 2022-10-25 2024-04-25 Carl Zeiss Microscopy Gmbh Verfahren und vorrichtung zur lichtfeldmikroskopie
DE102023102991B3 (de) 2023-02-08 2024-02-01 Till I.D. Gmbh Verfahren zur Generierung mikroskopischer Schichtaufnahmen 3-dimensionaler fluoreszierender Objekte sowie Vorrichtung, Computerprogramm und computerlesbares Speichermedium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105242390A (zh) 2015-10-27 2016-01-13 西安交通大学 一种多环带形mems共焦针孔探测器及测量方法
DE102017119531A1 (de) 2017-08-25 2019-02-28 Carl Zeiss Microscopy Gmbh Hochauflösende 2D-Mikroskopie mit verbesserter Schnittdicke
DE102017122858A1 (de) 2017-10-02 2019-04-04 Carl Zeiss Microscopy Gmbh Konfokalmikroskop mit hoher Auflösung

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3525049A1 (de) 1985-07-13 1987-01-15 Thomson Brandt Gmbh Verfahren und/oder einrichtung zur standbildverbesserung
DE69604958T2 (de) 1995-03-31 2000-02-17 Thomson Multimedia Sa Verfahren und Vorrichtung für bewegungskompensierte Erhöhung der Bildfrequenz
DK1095277T3 (da) 1998-07-13 2003-04-22 Cellomics Inc System til cellebaseret screening
CA2381344C (en) 1999-08-05 2007-01-23 Cellomics, Inc. Optical system analysis of cells
US20210042885A1 (en) 2018-02-08 2021-02-11 Kowa Company, Ltd. Image processing device, image processing method, and image processing program
US10868991B2 (en) 2018-03-25 2020-12-15 Ideal Industries Lighting Llc High density parallel proximal image processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105242390A (zh) 2015-10-27 2016-01-13 西安交通大学 一种多环带形mems共焦针孔探测器及测量方法
DE102017119531A1 (de) 2017-08-25 2019-02-28 Carl Zeiss Microscopy Gmbh Hochauflösende 2D-Mikroskopie mit verbesserter Schnittdicke
DE102017122858A1 (de) 2017-10-02 2019-04-04 Carl Zeiss Microscopy Gmbh Konfokalmikroskop mit hoher Auflösung

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
BRUSCHINI CLAUDIO ET AL: "Single-photon avalanche diode imagers inbiophotonics: review and outlook", LIGHT: SCIENCE & APPLICATIONS, vol. 8, no. 1, 18 September 2019 (2019-09-18), XP055783939, Retrieved from the Internet <URL:http://www.nature.com/articles/s41377-019-0191-5> [retrieved on 20211130], DOI: 10.1038/s41377-019-0191-5 *
C. J. R. SHEPPARD: "Super-resolution in confocal imaging", OPTIK, vol. 80, 1988, pages 53 - 54, XP055196207
CASTELLO ET AL., BIORXIV, vol. 335596, 2018
GREGOR INGO ET AL: "Image scanning microscopy", CURRENT OPINION IN CHEMICAL BIOLOGY, CURRENT BIOLOGY LTD, LONDON, GB, vol. 51, 13 June 2019 (2019-06-13), pages 74 - 83, XP085776919, ISSN: 1367-5931, [retrieved on 20190613], DOI: 10.1016/J.CBPA.2019.05.011 *
PUBLIKATION VON HEINTZMANN ET AL.: "A dual path programmable array microscope (PAM): simultaneous acquisition of conjugate and non-conjugate images", JOURNAL OF MICROSCOPY, vol. 204, 2001, pages 119, XP003035464, DOI: 10.1046/J.1365-2818.2001.00945.X
SIEGMUND RENÉ: "isoSTED microscopy for live cell imaging", 22 February 2019 (2019-02-22), XP055866923, Retrieved from the Internet <URL:https://ediss.uni-goettingen.de/bitstream/handle/11858/00-1735-0000-002E-E627-C/Dissertation_Siegmund_Ren%c3%a9.pdf?sequence=1> [retrieved on 20211129] *
WANG WENSHENG ET AL: "Stimulated emission depletion microscopy with array detection and photon reassignment", OPTICS AND LASERS IN ENGINEERING, ELSEVIER, AMSTERDAM, NL, vol. 129, 18 February 2020 (2020-02-18), XP086147302, ISSN: 0143-8166, [retrieved on 20200218], DOI: 10.1016/J.OPTLASENG.2020.106061 *
Y. LI ET AL: "Image scanning fluorescence emission difference microscopy based on a detector array : ISFED BASED ON A DETECTOR ARRAY", JOURNAL OF MICROSCOPY, vol. 266, no. 3, 1 June 2017 (2017-06-01), GB, pages 288 - 297, XP055507273, ISSN: 0022-2720, DOI: 10.1111/jmi.12538 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024003253A1 (en) * 2022-06-30 2024-01-04 United Kingdom Research And Innovation Computer-implemented multispectral imaging method and system

Also Published As

Publication number Publication date
DE102020122605A1 (de) 2022-03-03

Similar Documents

Publication Publication Date Title
WO2022043438A1 (de) Verfahren, bildverarbeitungseinheit und laserscanningmikroskop zum hintergrundreduzierten abbilden einer struktur in einer probe
EP3058414B1 (de) Scanmikroskop und verfahren zum bestimmung der punkt-spreiz-funktion (psf) eines scanmikroskops
EP3326019A1 (de) Lichtblattmikroskop zum gleichzeitigen abbilden mehrerer objektebenen
DE112015001902B4 (de) Elektronenmikroskopvorrichtung und sie verwendendes Abbildungsverfahren
DE102013218795A1 (de) Laserscanningmikroskop und Verfahren zur Korrektur von Abbildungsfehlern insbesondere in der hochauflösenden Scanning-Mikroskopie
DE3422143A1 (de) Geraet zur wafer-inspektion
EP3447559B1 (de) Hochauflösende 2d-mikroskopie mit verbesserter schnittdicke
EP1556728B1 (de) Verfahren zur verbesserung der tiefendiskriminierung optisch abbildender systeme
DE102004053730B4 (de) Verfahren und Anordnung zur Unterdrückung von Falschlicht
WO2019122070A1 (de) Verfahren zum abbilden einer probe unter verwendung eines fluoreszenzmikroskops mit stimulierter emissionsdepletion
EP3195250A1 (de) Verfahren zum erzeugen eines ergebnisbilds und optische vorrichtung
DE102020211380A1 (de) Verfahren zum superauflösenden Auswerten von strukturiert beleuchteten Mikroskopbildern und Mikroskop mit strukturierter Beleuchtung
DE102017211031A1 (de) Verfahren und Mikroskop zum Ermitteln einer Fluoreszenzintensität
DE102018207821A1 (de) Verfahren zur Bereitstellung eines Übersichtsbildes
EP3581982B1 (de) Bildbearbeitungsvorrichtung und verfahren zur bildverarbeitung, insbesondere für ein superauflösendes mikroskop
DE102020123669A1 (de) Verfahren zur SIM-Mikroskopie
EP3345032A1 (de) Verfahren zur bestimmung einer höhenlage eines objekts
DE10149357A1 (de) Verfahren und Vorrichtung zur optischen Vermessung eines Oberflächenprofils eines Objektes
DE102015116598A1 (de) Verfahren und Mikroskop zur hochauflösenden Abbildung mittels SIM
DE102009060580A1 (de) Verfahren zur Bestimmung eines Satzes von optischen Abbildungsfunktionen für die 3D-Strömungsmessung
DE102016123154A1 (de) Bestimmung der Anordnung eines Probenobjekts mittels winkelselektiver Beleuchtung
DE112014006356B4 (de) Verfahren zur Verbesserung der Bildqualität eines Ladungsträgerteilchen-Rastermikroskops und Ladungsträgerteilchen-Rastermikroskop
EP4189358A1 (de) Verfahren zum detektieren von emissionslicht, detektionsvorrichtung und laserscanning-mikroskop
WO2020127647A1 (de) Fluoreszenzlichtmikroskopie mit erhöhter axialer auflösung
WO2023242073A1 (de) Vorrichtung und verfahren zur lichtfeldmikroskopie

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21766649

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21766649

Country of ref document: EP

Kind code of ref document: A1