WO2022018002A1 - Verfahren und beleuchtungsvorrichtung der adaptiven optik in der transmissions- bzw. der reflexionsmikroskopie - Google Patents

Verfahren und beleuchtungsvorrichtung der adaptiven optik in der transmissions- bzw. der reflexionsmikroskopie Download PDF

Info

Publication number
WO2022018002A1
WO2022018002A1 PCT/EP2021/070077 EP2021070077W WO2022018002A1 WO 2022018002 A1 WO2022018002 A1 WO 2022018002A1 EP 2021070077 W EP2021070077 W EP 2021070077W WO 2022018002 A1 WO2022018002 A1 WO 2022018002A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
light distribution
transmission
model
reflection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2021/070077
Other languages
English (en)
French (fr)
Inventor
Ivan Vishniakou
Johannes Dominik Seelig
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stiftung Caesar Center of Advanced European Studies and Research
Original Assignee
Stiftung Caesar Center of Advanced European Studies and Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stiftung Caesar Center of Advanced European Studies and Research filed Critical Stiftung Caesar Center of Advanced European Studies and Research
Priority to US18/017,418 priority Critical patent/US12481139B2/en
Publication of WO2022018002A1 publication Critical patent/WO2022018002A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0933—Systems for active beam shaping by rapid movement of an element
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence

Definitions

  • the present invention relates to the technical field of adaptive microscopy and in particular to adaptive transmission and reflection microscopy.
  • optical microscopy especially in optical microscopy of biological samples, imaging is limited by aberrations and scattering.
  • the optical resolution can be improved if, for example, the method of laser scanning microscopy is combined with methods of adaptive optics. This enables aberrations to be reduced by means of suitable wavefront shaping.
  • irradiation light can be analyzed after it has passed through the sample or as it is reflected from the sample.
  • imaging with reflected light in particular appears more suitable.
  • a sample is only to be "processed”, e.g. using laser light, it is particularly important that the laser light, after it has been transmitted through the sample, radiates onto the sample with a previously defined spatial intensity.
  • the reflected light imaging has a problem that aberrations arising in an excitation path (when the irradiation light is applied to the sample) and aberrations arising in a detection path (the path that the light reflected from the sample travels) are generally different and not easily separable.
  • aberrations arising in an excitation path when the irradiation light is applied to the sample
  • aberrations arising in a detection path the path that the light reflected from the sample travels
  • the irradiation light can be provided by a laser that scans over the sample.
  • the image generated in this way is generally formed in that excitation light, which penetrates the sample from a microscope objective, is partially reflected back there into the objective and is focused into a “sample image”, which is distorted due to the control.
  • the distortion of an image within a material that is not very transparent is caused by the fact that the irradiation light that enters the sample along the excitation path is deflected from its path.
  • the light reflected by the sample behaves in a similar way: it is scattered back from a plane that is in the focus of a microscope.
  • This focal plane (or better focal volume) can be viewed as a secondary light source together with the reflecting structures (e.g. tissue) present there.
  • the reflected light from the secondary light source is collected by a lens and focused into an image.
  • the reflected light (or in other words the secondary light source) is deflected from its undisturbed path on its way out of the sample, similar to the irradiation light.
  • the combined deflections of the irradiation light and the reflection light - together with the properties of the reflective material - contribute to the overall distortion of the image.
  • New methods of "machine learning", in particular with the help of neural networks offer new approaches to correct such distortions or aberrations both in transmission and in reflection that occur when passing through a scattering body. In order to find corrections for these distortions, the neural networks are typically trained using large synthetically generated data sets.
  • a method for optimizing parameters of a physical light propagation model in particular a light propagation model in (confocal) laser microscopy using the raster method, is specified, which comprises the following steps: a) Provision of a physical model M light of the light propagation in an optical system, in particular of the light propagation in a microscope.
  • a physical model M light of the light propagation in an optical system in particular of the light propagation in a microscope.
  • different physical models can be used that are able to describe the propagation of light in optical systems. Examples are models of light propagation, which are described using matrix optics or using wave optics methods.
  • the provision of the physical model leads to a "gain of information", since the models at least describe an undisturbed propagation of light in the ideal case (for example in the ideal case of geometric optics); the model M light preferably has at least some prior information about the optical system; this prior information can be made known in the form of parameters. Such parameters also offer the advantage that they can be adjusted; In this respect, the Model M light is to be distinguished in particular from pure neuronal models, which usually have no prior information and whose links are only formed through training. As a technical effect, the Model M light of the light propagation achieves an information gain in that a large amount of information about the optical system can already be used by being made known by the Model M light .
  • the input light distribution I 0 is irradiated with a laser beam with a Gaussian intensity profile, which can be focused particularly advantageously in the optical system.
  • a sample can be examined with the optical system.
  • the light path leading to a sample of the optical system is hereinafter referred to as the excitation path because the Sample, when it is irradiated with the light distribution I 0 , is quasi “excited” to shine as a “secondary light source”.
  • the term excitation path should therefore not be understood to mean that the optical light path leading to the sample is "excited".
  • the input light distribution I 0 is preferably known and defined; c) Traversing the light distribution I 0 through a scattering body, the scattering body being placed in the excitation path of the optical system and changing the input light distribution I 0 to a transmission light distribution I TR or I 0 to a reflection light distribution I RE .
  • the control body leads to a distortion of the input
  • the diffuser can be viewed as the element that converts the ideal light propagation according to the physical model M light into a real light propagation with more or less strong distortions.
  • the scattering body can represent a distortion in the transmission of the input light distribution I 0 up to a target point/target plane within a sample, with the target point/target plane being examined or processed; d) recording the transmission light distribution I TR or the
  • the transmission light distribution I TR can be recorded directly at one location of the hypothetical sample or recorded at another location with a recording unit by means of mirrors and/or beam splitters. In principle, it is possible for the recording unit to record the intensity distribution and/or the phase distribution of the transmission light distribution I TR .
  • the reflection light distribution I RE can be guided through the optical system and in principle recorded in any focal plane, preferably at the focal plane in which the sample is actually to be viewed in later applications. e) Transfer of the recorded transmission light distribution I TR or the reflection light distribution I RE to the model M Licht . In addition, the known input light distribution I 0 to the M light passed, providing further information; f) Calculation of transmission distortion parameters V TR des
  • Model M light based on the recorded transmission light distribution I TR , the known input light distribution I 0 and/or the reflection light distribution I RE , with the transmission distortion parameters V TR characterizing in particular the scattering body.
  • V TR can also be calculated if only the reflection light distribution I RE is reflected in that the distortion parameters of the transmission and the reflection are reflected more or less simultaneously.
  • the inventive combination of a "machine learning" environment with the information about the optical system provided by the physical model M light makes it possible to determine the transmission distortion parameters V TR significantly more efficiently with a much smaller set of measurement data, respectively training data to determine.
  • the method offers the advantage that no artificial "Zernike modes" are used to find the distortions, but a real scattering body, which is preferably also used in later applications. If the transmission distortion parameters V TR are known, it can be determined how a light beam travels in the transmission direction through the optical system moves through it and what distortions it causes in this
  • the transmission light distribution I TR is recorded with a camera at a possible location on a sample.
  • a CCD camera or a cmos camera can be used for this.
  • Multiple cameras could also be used, with slightly different focal planes, to gain additional information.
  • Both camera types listed as examples are characterized by a high spatial resolution. The greater the spatial resolution of the camera used, the more information can be recorded about the optical system and the more accurately the transmission distortion parameters V TR can be calculated.
  • a camera is only needed in the reflection path. Reflection experiments are an important configuration for applications in microscopy, since in this case a focus within a control body is considered as reflected light.
  • n-fold transmission light distribution data set is preferred by an n-fold variation of the input light distribution I 0 ; nI TR , is generated.
  • This has the advantage that the transmission distortion parameters V TR can be calculated much more precisely as a result, since possible variations in the optical system during irradiation with just a single constant input light distribution I 0 are not sufficient to adequately characterize the scattering body. This is the case in particular if intensities other than the input light distribution I 0 are also to be used for later applications.
  • intensities other than the input light distribution I 0 are also to be used for later applications.
  • higher-order optical effects can occur within the control body, which can be characterized by a data set nI TR .
  • the quantity of the data set nI TR is significantly smaller than with the conventional "machine learning” methods described above.
  • the light distribution is expediently varied by means of a spatial light modulator (“SLM”), which modulates the profile of the light beam. Controlling the phase and intensity of the light beam is of great importance for many applications.
  • SLM spatial light modulator
  • the spatial light modulator can be a digital mirror for generating a binary intensity pattern.
  • Known high speed digital micromirror devices (DMD) can generate binary patterns of high and low values (1's and 0's) with a frame rate of 22.7 kHz.
  • n-tuple I Ei , I Ai
  • This DMD can also be used to generate phase patterns.
  • the model M light is preferably stored on a computer unit and an algorithm implemented on the computer unit automatically calculates the transmission distortion parameters V TR .
  • a differentiable model is used as the physical model M light of the light propagation.
  • a differentiable, i.e. in particular analytically differentiable, model offers the advantage of smaller errors and fewer calculation steps than would be the case with numerical methods.
  • the parameters of the model are "changed" until the model prescribes the measured data set, i.e. the recorded transmission light distribution I TR , as well as possible.
  • This optimization problem can be solved by finding a minimum of the first derivative of the differentiable model.
  • the differentiable model maps the input and output of the optical system.
  • automated differentiation can be carried out, which is part of “machine learning” frameworks such as Tensorflow. Automatic differentiation is used in these frameworks to compute gradients to optimize a loss function with respect to parameters of interest. The loss function compares the model output to a target output and the discrepancy is minimized by adjusting the model parameters.
  • the transmission light distribution I TR is preferably reflected at the virtual location of the sample with a reflecting material, in particular a mirror, traverses the scattering body again and is changed to a reflection light distribution I RE and recorded as I RE .
  • the reflective material can also be located within the scattering body, it only has to be possible to detect the origin of the reflected light from the location of the sample.
  • the mirror which is placed at the sample location instead of the sample, has only the task of reflecting the light I TR back.
  • a real sample could also be used instead of a mirror.
  • rays that are reflected in matter are usually both scattered and reflected in a certain relative ratio.
  • a reflection light distribution I RE is obtained and, as already described above in connection with I TR , recorded by cameras.
  • the scattering body and the mirror described above can therefore be replaced by a real sample which, like a mirror, reflects part of the light.
  • both the transmission distortion parameter V TR and the reflection parameter V RE must be determined simultaneously.
  • the model M light is adjusted in such a way that both unknown distortion parameters are determined simultaneously.
  • the model will do this M light is extended in such a way that both the excitation path and the detection path are described in the model.
  • the two distortion parameters are used in the excitation path and in the detection path as unknown parameters to be optimized.
  • a reflection path also referred to as a detection path
  • samples are often viewed in reflection, meaning that an observer looks at the light reflected back from the sample.
  • the distortions in the excitation path and in the detection path are not identical, so that both the reflection light distribution I RE and the transmission light distribution I TR must be detected in order to be able to determine the distortions in both paths.
  • reflection distortion parameters V RE of the model M light are preferably calculated based on the recorded reflection light distribution I RE . It is sufficient to determine V TR and V RE only to record I RE and then to optimize the model with regard to both distortion parameters.
  • nI RE n-fold variation of the input light distribution I 0 ; nI RE , generated. Any reflective or backscattering sample can be used, it is only necessary to be able to determine the origin of the scattered light behind or inside a scattering body. This results in an analogous advantage as explained above in connection with the data set nI RE .
  • the model M light is preferably stored on a computer unit, the algorithm implemented on the computer unit simultaneously calculating the transmission distortion parameter V TR and the reflection parameter distortion parameter V RE automatically using only the reflection light distribution data set.
  • an irradiation device is specified, wherein the irradiation device, in particular a laser
  • the irradiation device has: a microscope comprising an illumination unit, in particular a laser, designed to generate a light distribution I 0 , an excitation path with a scattering body “A” provided in the excitation path, the excitation path guiding the light distribution I 0 to the location of a sample; a camera that records the transmitted light, particularly at the location of a sample, as I TR ; a computer unit, wherein the above-described physical model M light of the light propagation in the irradiation device is stored on the computer unit and an algorithm implemented on the computer unit is set up, based on M light and I TR , transmission distortion parameters V TR of the model M light calculate.
  • the radiation device can calculate the transmission distortion parameters V TR much more efficiently than with conventional “machine learning” techniques.
  • the “real scatterer” enables distortion parameters to be generated that are not just hypothetical.
  • a suitably adapted device enables the reflection distortion parameter V RE to be additionally calculated as described above.
  • a method for correcting distortions of a light distribution h when passing through an optical system with a scattering body, in particular in laser microscopy using the raster method when irradiating a sample comprises the following steps: a) extraction of a transmission distortion parameter V TR according to any one of claims 1 to 5; b) setting a complementary distortion pattern V TR # on an optical modulator, in particular an SLM, of the excitation path (10), the optical modulator being arranged in front of the scattering body in the beam direction.
  • the complementary distortion pattern V TR # is based on the complex conjugate pattern to V TR .
  • the method is preferably modified if distortions are to be corrected in which the light distribution h is additionally distorted in the reflection path and the light distribution I 1 is to be viewed with the best possible resolution, for example after reflection on the sample.
  • the transmission distortion parameter V TR and at the same time a reflection distortion parameter V RE are extracted , with only the reflection light distributions being recorded in the corresponding measurements—preferably without measuring the transmission light distributions.
  • this is the same or at least a scattering body with similar optical properties as the scattering body with which V RE and/or V TR were calculated.
  • the light distribution h is changed in advance by the distortion pattern V TR # set on the optical modulator in such a way that the subsequent distortion V TR caused by the scattering body is compensated in a way , that in the ideal case, a light distribution that corresponds to the incident light distribution h arrives at the location of the sample.
  • the optical distortions of the diffuser are thus effectively corrected, which is particularly advantageous for many applications.
  • Applications include any situation that may benefit from controlling a light distribution within or through a scatterer, eg in reflected light microscopy or with fluorescent light or other contrast methods.
  • the cutting of tissue or bones with the help of laser surgery.
  • imaging or diagnostics with the microscope could be combined with cutting with the laser in the same device, whereby only the intensity or wavelength would have to be adjusted.
  • Macroscopic applications are also conceivable, for example optical signal transmission through scattering materials such as fog.
  • the light distribution h is again distorted by control effects according to the factor V RE , which in turn is compensated for by the fact that another optical modulator is arranged in the reflection path in the beam direction after the light exits the sample.
  • the complementary distortion pattern V RE # is correspondingly set on the further optical modulator in order to compensate for the optical distortions V RE .
  • an irradiation device is specified, wherein the irradiation device is set up to correct distortions of a light distribution h when passing through an optical system with a scattering body, according to one of the methods described above.
  • the irradiation device laser reflection microscope, has: a microscope comprising an illumination unit, in particular a laser, designed to generate a light distribution I 0 , an excitation path with a scattering body A provided in the excitation path, the excitation path directing the light distribution I 0 to the location of a sample leads.
  • this is the same or at least a scattering body with similar optical properties as the scattering body with which V RE and/or V TR were calculated.
  • an optical modulator (30) which is provided in the excitation path in the light propagation direction in front of the scattering body, a computer unit set up to control the optical
  • the computer unit is set up to extract from a physical model M light of the light propagation in the irradiation device transmission distortion parameters V TR and to adjust the optical modulator with a distortion of the scattering body correcting complementary distortion pattern V TR #.
  • the illumination device preferably additionally has a further optical modulator in the reflection path after the light has exited the sample, the complementary distortion pattern V RE # being set on the further optical modulator.
  • Fig. 1 shows a schematic structure of the adaptive irradiation device.
  • Fig. 2 shows a simulation of the influence of a scattering body on an incident light distribution.
  • FIG. 1 illustrates the structure for determining the distortions caused by a scattering body and a corresponding correction of these distortions in the transmission and/or reflection direction.
  • a model optimization strategy for adaptive optics is specified: The light propagation through an optical system 100 - in particular the optical system is a laser reflection microscope - is described, including the unknown aberrations represented as parameters, with a differentiable model M light .
  • SLM spatial light modulator
  • FIG. 1 An expanded and collimated laser beam is generated by a laser 115 and reflected as input light distribution I 0 110 by a first spatial light modulator SLM 120 with a first beam splitter 125 and guided into an excitation path 130.
  • the modulated light distribution I 0 passes through a second beam splitter 135 and then traverses a diffuser A 140 in the transmission direction, which causes a transmission distortion V TR .
  • the light beam After passing through the diffuser A 140, the light beam is directed by a third beam splitter 145 onto a first camera 150 in the transmission direction, the first camera 150 recording a transmission light distribution I TR with regard to its spatial intensity.
  • the part of the transmission light distribution I TR that is not directed into the first camera 150 by means of the third beam splitter 145 can be reflected by a mirror 155 in a sample plane, if this is provided in the setup, and again traverses the scattering body in the direction of reflection A 140.
  • the mirror is only used as a possible proxy for any sample. Instead of a mirror, any other material can be used at this point, the only condition is that the material reflects light.
  • the method can also be combined with other methods that accomplish this (e.g.
  • the transmission light distribution I TR experiences renewed distortion by the diffuser A 140, in this case a reflection distortion V RE , and is changed to the reflection light distribution I RE .
  • the second beam splitter 135 directs the reflection light distribution I RE into a second camera 160, the second camera 160 recording a reflection light distribution I RE with regard to its spatial intensity.
  • a correction of the reflection distortion V RE can be performed by a second spatial light modulator 165 implemented in the optical path in front of the second camera 160 .
  • the first camera 150 and the second camera 160 can be connected directly to a computer unit 170 and their respective measurements can be transmitted to the computer unit 170 .
  • the model M light and a corresponding algorithm for calculating the parameters are kept available on the computer unit 170, so that the measurement of the cameras can be transferred directly as input to the algorithm.
  • the lenses 175, 180 provided in the optical system are used for beam guidance or beam focusing.
  • the model M light is described in detail below in a particularly preferred embodiment:
  • the optical system is described by the following function: Where U 0 is the complex amplitude of the unmodulated light distribution at the SLM 120, ( ⁇ lens is the phase representation of the lens 175 and fi is its focal length. ⁇ SLM is the (known) phase modulation by the SLM 12, and ⁇ aberration is the (unknown) Distortion by the diffuser 140.
  • a second optimization step was performed with a new set of modulations and corresponding images.
  • the corrections calculated in the first step were added to all modulations, ⁇ SLM + ⁇ correction 1 .
  • the final correction was the sum of the first and second correction, ⁇ correction 1 + ⁇ correction 2. 180 modulations for the transmission and 540 modulations for the reflection experiments were used in each of the two iteration steps.
  • reflected light In an epidetection configuration, typical for imaging in biological samples, reflected light is used to search for a correction. However, reflected light accumulates a first aberration (transmission distortion) in the excitation path and a (generally different) second aberration in the reflection path. Both of these distortions must be "unraveled” in order, for example, to upload a correction pattern for the transmission and/or the reflection to the SLMs 120, 165. In order to generate a focus within a sample, the transmission distortions must first be corrected in a targeted manner. For applications with Equation (4) is therefore expanded to include the reflective transit from the mirror through the sample, as described in the Methods below.
  • Fig. 2g,h and k,I Two representative examples of predicted and measured light distributions at the sample plane (transmission camera 150) are shown in Fig. 2g,h and k,I, respectively, and the loss function quantifying the similarity is shown in Fig. 2o (correlation coefficient r between predicted and measured distributions is given in Fig. 2h, I).
  • the corresponding in-plane transmission and reflection phase aberrations of lens 175 and 180 are shown in Figure 2 i,j and m,n, respectively.
  • a focus in the sample plane was created by setting the appropriate correction on the SLM 120 (see Methods).
  • Fig. 3 shows two representative examples (g-i and j-l) of distorted focus, corrected focus and corresponding correction (resulting in a gain increase by a factor of 10.4 and 8.7, respectively, see Methods).
  • the obtained focus was not necessarily centered (see e.g. in Fig. 3 j,k) due to the tilt introduced by the sample, which was not corrected.
  • focusing in transmission was achieved with reflected light compatible with an epidetection configuration.
  • any other focus distributions could also be generated (e.g. for applications in optogenetics).
  • One way to reduce a number of samples in the optimization method described above would be to combine a DIP with the optimization method described above.
  • the number of samples required depends i. generally depends on the size and spatial frequency of the aberrations, so larger aberrations require more samples. This can be compared to deep neural network training, in which the number of samples required for model formation also increases with increasing aberrations. Compared to deep neural networks, including a physical model of light propagation allows finding aberration corrections with a small number of samples. In addition, no hypothetical assumptions (such as Zernike modes) about the distortions need to be made, which is advantageous.
  • the introduced model-based optimization can be easily combined with other optical setups equipped with a spatial light modulator and a camera without requiring additional hardware such as wavefront sensors or interferometers.
  • the described technique can be used for imaging through scattering materials in a microscope with a high numerical aperture in an epidetection configuration.
  • the developed method will be useful in many situations that require correction of the light distribution when passing through one or more layers of a scatterer.
  • the laser is a model from Toptica (iBeam smart, 640 nm), the spatial light modulator "SLM” from Meadowlark (SLM, ODP512-1064-P8), the cameras are from Basler (acA2040-55um). All optical parts were from Thorlabs.
  • the data were generated by placing a scatterer in the optical excitation path, generating random SLM phase modulations and recording the resulting 512x512 images with the transmission camera 150 and additionally with the reflection camera 160 for reflection experiments.
  • Random SLM phase modulations were generated by summing the first 78 Zernike modes with random coefficients derived from a normal distribution with standard deviation p and generated on the SLM with a resolution of 512x512 pixels.
  • the light intensity of transmission and reflection can vary by several orders of magnitude and exceed the dynamic range of the cameras. Therefore, in order to cover the entire range of intensities, it may be necessary to take several images with different exposure times (each image with a resolution of 12 bits per pixel).
  • each frame was recorded with an exposure time of 60, 120, and 250 ms, respectively, and the resulting image was the sum of the recorded frames weighted by the reciprocal of the exposure time. Both saturated pixels and pixels below the noise threshold were discarded.
  • the images were recorded with exposure times of 60, 120, 250, 500 and 1000 ms.
  • the transmission light intensity was reduced using a neutral density filter wheel (NDM2/M, Thorlabs).
  • a Python library for diffractive optics [36] was used to calculate the known factors of equation (4). By specifying the focal lengths and set-up dimensions, discretized versions of the optical transfer functions for the propagation operators and the Phase representation of the lenses determined. The resulting function using known SLM phase modulations and unknown sample aberrations
  • Equation (5) The model of the light propagation according to Equation (4) was included in a loss function according to Equation (5): where ⁇ SLM and ⁇ aberration by the SLM and by the optical
  • Solution was quantified using a correlation between modeled and recorded images in the validation part of the dataset and used as a criterion for "terminating" the optimization.
  • the convergence of the optimization process depends on the size and spatial frequencies of the aberration and the number of samples. It turned out that optimized parameters with a value of r > 0.6 are sufficient in many cases to focus the laser beam on the sample with a desired intensity profile.
  • the light propagation model was extended to also include the distortions of the light in the detection path when passing through the scattering body or the entire optical system. From this follows the following fit for equation (4): where the loss function (6) is optimized with regard to ⁇ trans (corresponds to the distortion of the transmission) and ⁇ ref (corresponds to the distortion of the reflection).
  • the corresponding correction of the SLM is determined by propagating the conjugate phase of the ⁇ aberration - distortion backwards onto the plane of the SLM:
  • the distortions were created with a thin layer of transparent nail polish spread on a glass slide. Two different scatterers were used for transmission and reflection experiments. In general, the strength of the aberrations varies depending on the sample placement.
  • optimization parameters (such as the number of phase modulations or learning rate) were only adjusted once for transmission experiments and once for reflection experiments.
  • ⁇ rel ⁇ u / ⁇ c .

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Verfahren und Beleuchtungs- und Detektionsvorrichtung zum Optimieren von Parametern eines physikalischen Lichtausbreitungs-Modells, insbesondere eines Lichtausbreitungs-Modells bei der (konfokalen) Laser-Mikroskopie im Rasterverfahren, umfassend die folgenden Schritte: a) Vorhalten eines physikalischen Modells Mucht der Lichtausbreitung in einem optischen System, insbesondere der Lichtausbreitung in einem Mikroskop; b) Einstrahlen einer Eingangs-Lichtverteilung I0 mit einer Beleuchtungseinheit in einen Anregungspfad des optischen Systems; c) Durchqueren der Lichtverteilung Io durch einen Streukörper, wobei der Streukörper in dem Anregungspfad des optischen Systems platziert ist und die Eingangs-Lichtverteilung I0zu einer T ransmissions- Lichtverteilung ITR oder zu einer I0 zu einer Reflexions-Lichtverteilung IRE abändert; d) Aufzeichnen der T ransmissions-Lichtverteilung ITR oder Reflexions- Lichtverteilung IRE; e) Übergabe der aufgezeichneten T ransmissions-Lichtverteilung ITR oder Reflexions-Lichtverteilung IRE an das Modell Mucht; f) Berechnung von Transmissions-Verzerrungsparametern VTR des Modells MLicht basierend auf der aufgezeichneten Transmissions- Lichtverteilung ITR, wobei die T ransmissions-Verzerrungsparameter VTR insbesondere den Streukörper charakterisieren.

Description

Verfahren und Beleuchtungsvorrichtung der adaptiven Optik in der Transmissions- bzw. der Reflexionsmikroskopie
Die vorliegende Erfindung betrifft das technische Gebiet der adaptiven Mikroskopie und insbesondere die adaptive Transmissions- bzw. der Reflexionsmikroskopie.
In der optischen Mikroskopie, insbesondere in der optischen Mikroskopie von biologischen Proben, ist die Bildgebung durch Aberrationen und Streuung begrenzt. In diesem Zusammenhang hat sich gezeigt, dass die optische Auflösung verbessert werden kann, wenn beispielsweise die Methode der Laser-Scanning-Mikroskopie mit Methoden der adaptiven Optik kombiniert wird. Dies ermöglicht, dass Aberrationen mittels einer geeigneten Wellenfrontformung vermindert werden können.
Um eine solche beschränkt durchsichtige (d.h. mit Aberrationen und Lichtstreuung behaftete) Probe zu untersuchen kann Bestrahlungslicht analysiert werden, nachdem es die Probe durchlaufen hat oder wenn es von der Probe reflektiert wird. Bei einer beschränkt lichtdurchlässigen Probe, insbesondere wenn ein Bild innerhalb eines streuenden Materials aufgenommen werden soll, das von einer Seite optisch besser zugänglich ist als von der anderen, erscheint insbesondere die Bildgebung mit reflektiertem Licht geeigneter. Soli eine Probe lediglich, z.B. mittels Laserlicht, „bearbeitet“ werden, ist vor allem wichtig, dass das Laserlicht nach seiner Transmission durch die Probe mit einer zuvor festgelegten räumlichen Intensität auf die Probe strahlt.
Die Bildgebung mit reflektiertem Licht ist jedoch mit der Schwierigkeit verbunden, dass Aberrationen, die in einem Anregungspfad entstehen (wenn das Bestrahlungslicht zu der Probe hingeführt wird) und Aberrationen, die in einem Detektionspfad entstehen (der Weg den das von der Probe reflektierte Licht läuft) im Allgemeinen verschieden und auch nicht leicht voneinander zu trennen sind. Noch einmal in anderen Worten: In zahlreichen Anwendungen der (biologischen) Mikroskopie, wenn versucht wird mit einem Lichtmikroskop in Gewebe oder andere nur teilweise durchsichtige Materialien zu schauen, werden Bestrahlungslichtstrahlen abgelenkt und gestreut, was zu einem unscharfen Bild mit wenig Licht führt. Insbesondere kann das Bestrahlungslicht durch einen Laser bereitgestellt werden, der über die Probe rastert. Das so erzeugte Bild wird allgemein dadurch gebildet, dass Anregungslicht, das aus einem Mikroskopobjektiv in die Probe eindringt, dort teilweise in das Objektiv zurückreflektiert wird und in ein „Probenbild“ fokussiert wird, welches aufgrund der Steuerung verzerrt ist. Die Verzerrung eines Bildes innerhalb eines wenig durchsichtigen Materials entsteht dadurch, dass das Bestrahlungslicht, das auf dem Anregungspfad in die Probe eindringt von seinem Weg abgelenkt wird. Analog verhält sich das von der Probe reflektierte Licht: Dieses wird von einer Ebene, die im Fokus eines Mikroskops liegt, zurückgestreut. Diese Fokusebene (oder besser Fokusvolumen) kann zusammen mit den dort vorhandenen reflektierenden Strukturen (zum Beispiel Gewebe) als sekundäre Lichtquelle betrachtet werden. Das von der sekundären Lichtquelle ausgehende reflektierte Licht wird von einem Objektiv gesammelt und in ein Bild fokussiert. Das reflektierte Licht (oder in anderen Worten die sekundäre Lichtquelle) wird bei seinem Weg aus der Probe heraus, ähnlich wie das Bestrahlungslicht, von seinem ungestörten Weg abgelenkt. Die kombinierten Ablenkungen des Bestrahlungslichts und des Reflexionslichts tragen - zusammen mit den Eigenschaften des reflektierenden Materials - zu der gesamten Verzerrung des Bildes bei. Neue Methoden des „Machine-Learning“, insbesondere unter Zuhilfenahme von neuronalen Netzwerken, bieten neuartige Ansätze, um solche Verzerrungen bzw. Aberrationen sowohl bei der Transmission als auch bei der Reflexion, die beim Durchgang durch einen Streukörper auftreten, zu korrigieren. Um Korrekturen für diese Verzerrungen zu finden, werden die neuronalen Netzwerke typischerweise mittels großer synthetisch erzeugter Datensätze trainiert. Große Datensätze werden benötigt, um zum einen die zahlreichen Parameter eines neuronalen Netzwerks zu adjustieren und zum anderen, da die neuronalen Netzwerke typischerweise keine Kenntnis über einen zugrunde liegenden Bilderzeugungsprozess haben. D.h., selbst an sich bekannte physikalischen Vorgänge, werden den neuronalen Netzwerken implizit über die Datensätze zugänglich gemacht.
Häufig basieren in der Praxis die entsprechenden T rainingsdatensätze auf Überlagerungen von sogenannten „Zernike-Polynomen“, die wahrscheinlich vorkommende Verzerrungen annäherungsweise simulieren. Diese sind allerdings nicht immer in der Lage tatsächlich vorhandene Verzerrungen akkurat wiederzugeben. Zum anderen, je stärker ein Streukörper „streut“, desto höhere Ordnungen dieser „Zernike-Polynomen“ wären notwendig, um potenziell alle möglichen „Streusituationen“ für diese Fälle zu umfassen. Für diese Fälle werden sehr große Datensätze vonnöten, deren Erzeugung beträchtliche Material- als auch Zeitressourcen verbrauchen würde.
Die Veröffentlichungen von „Michael Kellman, Emrah Bostan, Michael Chen, and Laura Waller Oata-driven design for fourier ptychographic microscopy' in 2019 IEEE International Conference on Computational Photography(ICCP), pages 1-8. IEEE, 2019“ und von „Fei Wang, Yaoming Bian, Haichao Wang, Meng Lyu, Giancarlo Pedrini, Wolfgang Osten, George Barbastathis, and Guohai Situ. 'Phase imaging with an untrained neural network' in Light: Science & Applications, 9(1 ):1— 7, 2020“ behandeln ebenfalls Probelmstellungen auf diesem Gebiet.
Es ist demnach die Aufgabe der Erfindung ein Verfahren sowie eine Bestrahlungsvorrichtung anzugeben mit denen Verzerrungen in einem optischen System effektiv reduziert werden können.
Die Aufgabe wird gelöst mit den Merkmalen der unabhängigen Ansprüche. Gemäß einem ersten Aspekt der Erfindung ist ein Verfahren zum Optimieren von Parametern eines physikalischen Lichtausbreitungs-Modells, insbesondere eines Lichtausbreitungs-Modells bei der (konfokalen) Laser- Mikroskopie im Rasterverfahren angegeben, das die folgenden Schritte umfasst: a) Vorhalten eines physikalischen Models MLicht der Lichtausbreitung in einem optischen System, insbesondere der Lichtausbreitung in einem Mikroskop. Prinzipiell können hierbei verschiedene physikalische Modelle verwendet werden, die in der Lage sind eine Lichtausbreitung in optischen Systemen zu beschreiben. Als Beispiele seien Modele der Lichtausbreitung genannt, die mittels Matrizenoptik oder mittels Verfahren der Wellenoptik beschrieben werden. In beiden Fällen führt das Vorhalten des physikalischen Models zu einem „Informationsgewinn“, da durch die Modele zumindest eine ungestörte Lichtausbreitung im Idealfall (zum Beispiel im Idealfall der geometrischen Optik) beschrieben wird; das Model MLicht weist bevorzugt zumindest teilweise Vorinformation über das optische System auf, diese Vorinformation kann in Form von Parametern bekannt gemacht werden. Solche Parameter bieten auch den Vorteil, dass diese angepasst werden können; Insofern ist das Model MLicht insbesondere abzugrenzen von reinen neuronalen Modellen, die in der Regel keine Vorinformationen aufweisen und deren Verknüpfungen erst durch Training gebildet werden. Als technischer Effekt wird durch das Model MLicht der Lichtausbreitung ein Informationsgewinn dadurch erzielt, dass zahlreiche Informationen überdas optische System schon bereits genutzt werden können, indem sie durch das Model MLicht bekannt gemacht werden. Dieser Informationsgewinn macht eine Berechnung von Verzerrungsparameter deutlich effizienter als die Ansätze mittels Maschine-Learning eine Lichtausbreitung zu beschreiben. b) Einstrahlen einer Eingangs-Lichtverteilung I0 mit einer Beleuchtungseinheit in einen Anregungspfad des optischen Systems. Typischerweise wird die Eingangs-Lichtverteilung I0 mit einem Laserstrahl mit einem Gaußschen-Intensitätsprofil der besonders vorteilhaft in dem optischen System fokussiert werden kann, eingestrahlt. Mit dem optischen System kann beispielsweise eine Probe untersucht werden. Der Lichtweg, der zu einer Probe des optischen Systems führt, wird nachstehend als Anregungspfad bezeichnet, da die Probe, wenn sie mit der Lichtverteiiung I0 bestrahlt wird, quasi „angeregt“ wird als „sekundäre Lichtquelle“ zu leuchten. Der Begriff Anregungspfad ist also nicht dahingehend zu verstehen, dass der optische Lichtweg, der zu der Probe führt „angeregt“ wird. Vorzugsweise ist die Eingangs-Lichtverteilung I0 bekannt und definiert; c) Durchqueren der Lichtverteilung I0 durch einen Streukörper, wobei der Streukörper in dem Anregungspfad des optischen Systems platziert ist und die Eingangs-Lichtverteilung I0 zu einer T ransmissions- Lichtverteilung ITR oder I0 zu einer Reflexions-Lichtverteilung IRE abändert. Der Steuerkörper führt zu einer Verzerrung der Eingangs-
Lichtverteilung I0 und ändert diese zu der Transmissions-Lichtverteilung ITR ab. Gewissermaßen kann der Streukörper als das Element angesehen werden, welches die ideale Lichtausbreitung gemäß des physikalischen Models MLicht in eine reale Lichtausbreitung mit immer mit mehr oder weniger starken Verzerrungen überführt. Konkret kann der Streukörper eine Verzerrung bei der Transmission der Eingangs- Lichtverteilung I0 bis zu einem Zielpunkt/Zielebene innerhalb einer Probe repräsentieren, wobei der Zielpunkt/die Zielebene untersucht, respektive bearbeitet werden sollen; d) Aufzeichnen der Transmissions-Lichtverteilung ITR oder der
Reflexions-Lichtverteilung IRE. Die T ransmissions-Lichtverteilung ITR kann direkt an einem Ort der hypothetischen Probe aufgezeichnet werden oder mittels Spiegel und/oder Strahlteiler an einem anderen Ort mit einer Aufzeichnungseinheit aufgezeichnet werden. Prinzipiell ist es möglich, dass die Aufzeichnungseinheit die Intensitätsverteilung und/oder die Phasenverteilung der Transmissions-Lichtverteilung ITR aufzeichnet. Die Reflexions-Lichtverteilung IRE kann durch das optische System geführt und prinzipiell in einer beliebigen Brennebene aufgezeichnet werden, vorzugsweise an der Brennebene in der die Probe in späteren Anwendungen tatsächlich betrachtet werden soll. e) Übergabe der aufgezeichneten Transmissions-Lichtverteilung ITR oder der Reflexions-Lichtverteilung IRE an das Modell MLicht. Zusätzlich kann auch noch die bekannte Eingangs-Lichtverteilung I0 an das MLicht übergeben werden, wodurch weitere Informationen bereitgestellt werden; f) Berechnung von Transmissions-Verzerrungsparametern VTR des
Modells MLicht basierend auf der aufgezeichneten Transmissions- Lichtverteilung ITR , der bekannten Eingangs-Lichtverteilung I0 und/oder oder der Reflexions-Lichtverteilung IRE, wobei die Transmissions- Verzerrungsparameter VTR insbesondere den Streukörper charakterisieren. VTR kann auch berechnet werden, wenn lediglich die Reflexions-Lichtverteilung IRE indem die Verzerrungsparameter der Transmission und der Reflexion quasi gleichzeitig reflektiert werden.
Eine Berechnung auf Grundlage von ITR liefert allerdings genauere Ergebnisse.
Hierdurch wird der Vorteil erreicht, dass durch das physikalische Models MLicht der Lichtausbreitung in dem optischen System zahlreiche Informationen über das optische System quasi „a priori“ vorhanden sind und bei der Berechnung der Transmissions-Verzerrungsparameter VTR genutzt werden können, um diese Berechnung deutlich effizienter zu gestalten als mit herkömmlichen Ansätzen des „Maschine-Learnings“ (maschinelles Lernen, insbesondere mittels neuronalen Netzwerke). Das herkömmliche „Maschine-Learning“ braucht insbesondere bei großen Verzerrungen durch den Steuerkörper eine sehr große Menge an Trainingsdaten - auch deshalb, weil die verwendeten neuronalen Netzwerke keinerlei Informationen über das zugrundeliegende optisches System haben und dieses quasi zusätzlich modellieren müssen. Durch die erfindungsgemäße Kombination einer „Maschine-Learning“ Umgebung mit den Informationen über das optische System, die von dem physikalischen Models MLicht bereitgestellt werden, ist es möglich, die Transmissions-Verzerrungsparameter VTR deutlich effizienter mit einem viel kleineren Satz an Messdaten, respektive Trainingsdaten, zu bestimmen. Zusätzlich bietet das Verfahren den Vorteil, dass keine künstlichen „Zernike- Moden“ zum Auffinden der Verzerrungen verwendet werden, sondern ein reale Streukörper, der vorzugsweise auch in späteren Anwendungen verwendet wird. Sind die Transmissions-Verzerrungsparameter VTR bekannt, kann bestimmt werden wie sich ein Lichtstrahl in T ransmissionsrichtung durch das optische System hindurch bewegt und welche Verzerrungen er bei diesem
Durchgang erfährt.
Gemäß einem Aspekt der Erfindung wird die T ransmissions-Lichtverteilung ITR mit einer Kamera an einem möglichen Ort einer Probe aufgezeichnet. Hierzu kann eine CCD Kamera oder einer cmos Kamera verwendet werden. Es könnten auch mehrere Kameras verwendet werden, die eine leicht unterschiedliche Brennebene haben, um zusätzliche Information zu gewinnen. Beide beispielhaft aufgeführten Kameratypen zeichnen sich durch eine hohe räumliche Auflösung aus. Ihr Höhe die räumliche Auflösung der verwendeten Kamera ist, desto mehr Informationen können über das optische System aufgezeichnet werden, und desto genauer können die T ransmissions- Verzerrungsparameter VTR berechnet werden. Für Reflexionsexperimente wird eine Kamera nur im Reflexionspfad benötigt. Reflexionsexperimente sind für Anwendungen in der Mikroskopie eine wichtige Konfiguration, da in diesem Fall ein Fokus innerhalb eines Steuerkörpers als reflektiertes Licht betrachtet wird.
Bevorzugt wird durch eine n-fache Variierung der Eingangs-Lichtverteilung I0 ein n-facher Transmissions-Lichtverteilungs-Datensatz; n-ITR , erzeugt wird. Dies hat den Vorteil, dass die Transmissions-Verzerrungsparameter VTR hierdurch deutlich genauer berechnet werden können, da mögliche Variationen des optischen Systems beim einstrahlen lediglich einer einzigen konstanten Eingangs-Lichtverteilung I0 nicht genügen, um den Streukörper ausreichend zu charakterisieren. Dies ist insbesondere dann der Fall, wenn für spätere Anwendungen auch andere Intensitäten als die Eingangs- Lichtverteilung I0 verwendet werden soll. Insbesondere bei einer starken Variation der Amplitude der Intensität der Eingangs-Lichtverteilung I0 kann es innerhalb des Steuerkörpers zu optischen Effekten höherer Ordnung kommen, die durch einen Datensatz n-ITR charakterisiert werden können. Festzuhalten bleibt, dass die Menge des Datensatzes n-ITR deutlich geringer ausfällt, als bei den vorstehend beschriebenen herkömmlichen „Machine-Learning“ Verfahren. Zweckmäßig wird die Lichtverteilung mittels eines räumlichen Lichtmodulator (Spatial Light Modulator „SLM“) variiert, der das Profil des Lichtstrahls moduliert. Für viele Anwendungen ist die Kontrolle der Phase und Intensität des Lichtstrahls von hoher Bedeutung. Besonders bevorzugt ist der SLM basierend auf flüssigen Kristallen, der insbesondere zur Phasenmodulation verwendet wird. In diesem Fall ist es zweckmäßig Phasenmuster zum Training des neuronalen Netzwerks zu verwenden. Alternativ dazu kann der räumliche Lichtmodulator ein digitaler Spiegel zum Erzeugen eines binären Intensitätsmusters sein. Bekannte hochgeschwindigkeits digitale Spiegel („high speed digital micromirror device“, DMD) können binäre Muster hoher und niedrige Werte (1er und 0er) mit einer Bildfrequenz von 22,7 kHz erzeugen. Wird also beispielsweise ein Dauerstrichlaser eingesetzt, der beständig auf den digitalen Spiegel strahlt, kann ein n-Tupel (IEi, IAi) mit dieser Frequenz erzeugt werden. Dieser DMD kann auch zur Erzeugung von Phasenmustem verwendet werden. Es ist im Prinzip möglich mit einer Kombination von mehreren optischen Modulatoren oder mit einem Modulator, mehrere Lichtparameter (Intensität, Phase und Polarisation) gleichzeitig zu variieren, um die bestmöglich Kontrolle über die Lichtverteilung zu bekommen. Hierdurch wird das Verfahren noch flexibler und genauer. Vorzugsweise wird das Modell MLicht auf einer Rechnereinheit vorgehalten und ein auf der Rechnereinheit implementierter Algorithmus berechnet die Transmissions-Verzerrungsparametern VTR automatisiert.
Dies bietet den Vorteil, dass das Verfahren zur Berechnung der Transmissions-Verzerrungsparametern VTR schnell, effizient und automatisiert durchgeführt werden kann, sodass ein Nutzer bei der Durchführung der notwendigen Experimente nicht zwingend anwesend sein muss.
In einer bevorzugten Ausführungsform wird als physikalischen Models MLicht der Lichtausbreitung ein differenzierbares Modell verwendet.
Ein differenzierbares, also insbesondere analytisch differenzierbares, Modell bietet den Vorteil kleinerer Fehler und weniger Rechenschritte als dies bei numerischen Methoden der Fall wäre. Um die Parameter des Modells, insbesondere die Verzerrungsparametern VTR aufzufinden, werden die Parameter des Modells so lange „verändert“ bis das Modell möglichst gut den gemessenen Datensatz, also die aufgezeichnete Transmissions- Lichtverteilung ITR verschreibt. Dieses Optimierungsproblem kann durch das Auffinden eines Minimums der ersten Ableitung des differenzierbaren Modells gelöst werden. Das differenzierbare Modell bildet Input und Output des optischen Systems ab. Insbesondere kann eine automatisierte Differenzierung durchgeführt werden, die Bestandteil von Frameworks des „Machine- Learnings“ wie etwa Tensorflow ist. Die automatische Differenzierung wird in diesen Frameworks zur Berechnung von Gradienten zur Optimierung einer Verlustfunktion in Bezug auf interessierende Parameter verwendet. Die Verlustfunktion vergleicht die Modellausgabe mit einer Zielausgabe, und die Diskrepanz wird durch Anpassung der Modellparameter minimiert.
Bevorzugt wird die T ransmissions-Lichtverteilung ITR am virtuellen Ort der Probe mit einem reflektierenden Material, insbesondere einem Spiegel , reflektiert, durchquert den Streukörper erneut und wird zu einer Reflexions- Lichtverteilung IRE abgeändert und als IRE aufgezeichnet. Das reflektierende Material kann auch innerhalb des Streukörpers liegen, es muss nur der Ursprung des reflektierten Lichts vom Ort der Probe detektiert werden können. Der Spiegel, der anstelle der Probe am Ort der Probe platziert wird, hat lediglich die Aufgabe Das Licht ITR zurück zu reflektieren. Anstelle eines Spiegels könnte auch eine reale Probe verwendet werden. Wie in der Optik üblich werden Strahlen, die in Materie zumeist in einem bestimmten relativen Verhältnis sowohl gestreut als auch reflektiert. Essentiell für diese bevorzugte Ausführungsform ist also, dass eine Reflexions-Lichtverteilung IRE erhalten und, wie vorstehend schon im Zusammenhang mit ITR beschrieben, von Kameras aufgezeichnet wird. Der vorstehend beschriebene Streukörper und der Spiegel können also durch eine reale Probe ersetzt werden, die ähnlich wie ein Spiegel, einen Teil des Lichtes reflektiert. Im Fall des reflektierten Lichtes, müssen sowohl der Transmissions-Verzerrungsparameter VTR als auch der Reflexionsparameter VRE gleichzeitig bestimmt werden. Dazu wird das Modell MLicht so angepasst, dass beide unbekannten Verzerrungsparameter gleichzeitig bestimmt werden. Dazu wird das Modell MLicht so erweitert, dass sowohl der Anregungspfad als auch der Detektionspfad im Modell beschreiben werden. Die beiden Verzerrungsparameter werden im Anregungspfad und im Detektionspfad als zu optimierende unbekannte Parameter eingesetzt. Beide Verzerrungen werden in gleicher Weise gleichzeitig gefunden wie zuvor für den Transmissions-Verzerrungsparameter beschreiben, wobei wie bei der Transmission mit einer n-fache Variierung der Eingangs-Lichtverteilung I0 nun aber ein n-facher Reflexions-Lichtverteilungs-Datensatz; n-IRE, erzeugt wird. Das Modell MLicht wird mit Hilfe diese Datensatzes in gleicherweise wie für die T ransmissions-Konfiguration beschrieben, angepasst.
Dies bietet den Vorteil, dass auch die Verzerrungen in einem Reflexionspfad, auch als Detektionspfad bezeichnet, gemessen werden können. In der Mikroskopie werden Proben häufig in Reflexion betrachtet, d. h. dass ein Beobachter das von der Probe zurück reflektierte Licht betrachtet. Im Allgemeinen sind die Verzerrungen, die in dem Anregungspfad und in dem Detektionspfad nicht identisch, sodass sowohl die Reflexions-Lichtverteilung IRE als auch die T ransmission-Lichtverteilung ITR detektiert werden muss, um die Verzerrungen in beiden Pfaden bestimmen zu können.
Bevorzugt werden zusätzlich zu den Transmission-Verteilungsparametern VTR Reflexions-Verzerrungsparameter VRE des Modells MLicht basierend auf der aufgezeichneten Reflexions-Lichtverteilung IRE berechnet. Es genügt zur Bestimmung von VTR und VRE lediglich IRE aufzuzeichnen und in der Folge das Modell hinsichtlich beider Verzerrungsparameter zu optimieren.
Dies bietet den Vorteil, dass das die angepassten Parameter des optischen Modells M Licht sowohl den Transmission als auch die Reflexion des Lichtstrahls beschreiben, respektive modellieren können. Diese Information kann insbesondere für Anwendungen in der Reflexion-Mikroskopie verwendet werden. Bevorzugt wird durch eine n-fache Variierung der Eingangs-Lichtverteilung I0 ein n-facher Reflexions-Lichtverteilungs-Datensatz; n-IRE, erzeugt. Dazu kann eine beliebige reflektierende oder rückstreuende Probe verwendet werden, es muss nur der Ursprung des gestreuten Lichts hinter oder innerhalb eines Streukörpers bestimmt werden können. Die ergibt einen analogen Vorteil wie vorstehend im Zusammenhang mit dem Datensatz n-IRE erläutert.
Vorzugsweise wird das Modell MLicht auf einer Rechnereinheit vorgehalten, wobei der auf der Rechnereinheit implementierter Algorithmus gleichzeitig den Transmissions-Verzerrungsparameter VTR und den Reflexionsparameter- Verzerrungsparameter VRE automatisiert mit Hilfe nur des Reflexions- Lichtverteilungs-Datensatzes berechnet.
Gemäß einem zweiten Aspekt der Erfindung ist eine Bestrahlungsvorrichtung angegeben, wobei die Bestrahlungsvorrichtung, insbesondere ein Laser-
Reflektionsmikroskop, zur Durchführung eines der vorstehend beschriebenen Verfahren geeignet ist. Die Bestrahlungsvorrichtung weist auf: ein Mikroskop umfassend eine Beleuchtungseinheit, insbesondere einen Laser, ausgebildet zur Erzeugung einer Lichtverteilung I0, einen Anregungspfad mit einem in dem Anregungspfad vorgesehenen Streukörper „A“, wobei der Anregungspfad die Lichtverteilung I0 an den Ort einer Probe führt; eine Kamera, die das transmittierte Licht, insbesondere am Ort einer Probe, als ITR aufzeichnet; eine Rechnereinheit, wobei auf der Rechnereinheit das vorstehend beschriebene physikalische Models MLicht der Lichtausbreitung in der Bestrahlungsvorrichtung vorgehalten wird und wobei ein auf der Rechnereinheit implementierter Algorithmus eingerichtet ist, basierend auf MLicht und ITR , Transmissions-Verzerrungsparametern VTR des Modells MLicht zu berechnen. Hierdurch wird der Vorteil erreicht, dass durch die Bestrahlungsvorrichtung eine Berechnung der Transmissions-Verzerrungsparameter VTR deutlich effizienter ausgeführt werden kann als mit herkömmlichen Techniken des „Maschine-Learnings“. Der „reale Streukörper“ ermöglicht eine nicht nur hypothetische Generierung von Verzerrungsparametern. Indem eine zusätzliche Kamera vorgesehen wird, die eingerichtet ist, das reflektierte Licht ITR aufzuzeichnen, ermöglich es eine entsprechend angepasste Vorrichtung zusätzlich wie vorstehend beschrieben den Reflexions- Verzerrungsparametern VRE zu berechnen.
Gemäß einem dritten Aspekt der Erfindung ist ein Verfahren zum Korrigieren von Verzerrungen einer Lichtverteilung h bei Durchgang durch ein optisches System mit einem Streukörper, insbesondere bei der Laser-Mikroskopie im Rasterverfahren beim Bestrahlen einer Probe, angegeben. Das Verfahren weist die folgenden Schritte auf: a) Extraktion eines T ransmissions-Verzerrungsparametern VTR nach einem der Ansprüche 1 bis 5; b) Einstellen eines komplementären Verzerrungsmusters VTR # auf einem optischen Modulator, insbesondere einem SLM, des Anregungspfades (10), wobei der optischen Modulator in Strahlrichtung vor dem Streukörper angeordnet ist. Das komplementären Verzerrungsmusters VTR # basiert auf dem komplex konjugierten Muster zu VTR.
Vorzugsweise wird das Verfahren abgeändert, wenn Verzerrungen korrigiert werden sollen bei denen die Lichtverteilung h zusätzlich im Reflexionspfad verzerrt wird und die Lichtverteilung I1 z.B. nach der Reflexion an der Probe mit möglichst guter Auflösung betrachtet werden soll. In diesem Fall erfolgt eine Extraktion des Transmissions-Verzerrungsparameters VTR und gleichzeitig eines Reflexions-Verzerrungsparameters VRE, wobei bei den entsprechenden Messungen nur die Reflexions-Lichtverteilungen aufgezeichnet wird - vorzugsweise ohne Messung der Transmissions- Lichtverteilungen. Insbesondere handelt es sich hierbei um denselben oder aber zumindest um einen Streukörper mit ähnlichen optischen Eigenschaften wie der Streukörper mit dem VRE und/oder VTR berechnet wurden.
Wird nun in einem nächsten Schritt die Lichtverteilung h in das optische System eingestrahlt, wird die Lichtverteilung h durch das auf dem optischen Modulator eingestellte Verzerrungsmusters VTR # im Vorfeld so verändert, dass die anschließende durch den Streukörper verursachte Verzerrung VTR in einer Art kompensiert wird, dass im Idealfall am Ort der Probe wird eine Lichtverteilung ankommt, die der eingestrahlten Lichtverteilung h entspricht. Die optischen Verzerrungen des Streukörpers werden also effektiv korrigiert, was für viele Anwendungen besonders vorteilhaft ist. Anwendungen umfassen alle Situationen, die von der Kontrolle einer Lichtverteilung innerhalb oder durch einen Streukörper profitieren können, z.B. in der Mikroskopie mit reflektiertem Licht oder mit fluoreszierendem Licht oder anderen Kontrastmethoden. Des weitern z.B. das Schneiden von Geweben oder Knochen mit Hilfe der Laser-Chirurgie. In diesem Fall, könnten z.B. Bildgebung oder Diagnostik mit dem Mikroskop mit dem Schneiden mit dem Laser im Gleichen Gerät kombiniert werden, wobei nur die Intensität oder Wellenlänge angepasst werden müssten. Auch makroskopische Anwendung sind denkbar, z.B. die optische Signalübertragung durch streuende Materialien wie z.B. Nebel.
Beim Austritt aus der Probe wird die Lichtverteilung h wiederum durch Steuereffekte entsprechend dem Faktor VRE verzerrt, was wiederum dadurch ausgeglichen werden, dass im Reflexionspfad ein weiterer optische Modulator in Strahlrichtung nach dem Austritt des Lichts aus der Probe angeordnet ist. Auf dem weiteren optischen Modulator wird entsprechend das komplementäre Verzerrungsmusters VRE # eingestellt, um die optischen Verzerrungen VRE zu kompensieren. Dieses Verfahren ermöglicht die durch die Probe induzierten Verzerrungen weitestgehend zu korrigieren und das Bild der Probe mit einer hohen Auflösung detektieren zu können, bzw. eine Probe mit einer definierten räumliche aufgelösten Intensität bestrahlen zu können.
Gemäß eines vierten Aspekts der Erfindung ist eine Bestrahlungsvorrichtung angegeben, wobei die Bestrahlungsvorrichtung zum Korrigieren von Verzerrungen einer Lichtverteilung h bei Durchgang durch ein optisches System mit einem Streukörper, gemäß eines der vorstehend beschriebenen Verfahren eingerichtet ist. Die Bestrahlungsvorrichtung, Laser- Reflektionsmikroskop, weist auf: ein Mikroskop umfassend eine Beleuchtungseinheit, insbesondere einen Laser, ausgebildet zur Erzeugung einer Lichtverteilung I0, einen Anregungspfad mit einem in dem Anregungspfad vorgesehenen Streukörper A, wobei der Anregungspfad die Lichtverteilung I0 an den Ort einer Probe führt. Insbesondere handelt es sich hierbei um denselben oder aber zumindest um einen Streukörper mit ähnlichen optischen Eigenschaften wie der Streukörper mit dem VRE und/oder VTR berechnet wurden. einen optischen Modulator (30), der in dem Anregungspfad in Lichtausbreitungsrichtung vor dem Streukörper vorgesehen ist, eine Rechnereinheit eingerichtet zur Steuerung des optischen
Modulators, wobei die Rechnereinheit eingerichtet ist aus einem physikalischen Modells MLicht der Lichtausbreitung in der Bestrahlungsvorrichtung Transmissions-Verzerrungsparametern VTR zu extrahieren und den optischen Modulator mit einem die Verzerrungen des Streukörpers korrigierenden komplementären Verzerrungsmuster VTR # einzustellen.
Vorzugsweise weist die Beleuchtungsvorrichtung zusätzlich einen weiteren optische Modulator im Reflexionspfad nach dem Austritt des Lichts aus der Probe auf, wobei auf dem weiteren optischen Modulator das komplementäre Verzerrungsmusters VRE # eingestellt ist. Mit dieser Beleuchtungsvorrichtung können Verzerrungen eines Lichtstrahls beim Durchgang durch das optische System bei der Transmission, insbesondre Verzerrungen verursacht durch den Streukörper, effektiv reduziert werden. Der weitere optische Modulator korrigiert effektiv ein verzerrtes Bild einer Probe in der Reflexionsmikroskopie, sodass ein Bild der Probe mit einer höheren Auflösung vom Mikroskop aufgenommen werden kann.
Im Folgenden werden bevorzugte Ausführungsbeispiele der vorliegenden
Erfindung unter Bezugnahme auf die begleitende Figur erläutert: Fig. 1: zeigt einen schematischen Aufbau der adaptiven Bestrahlungsvorrichtung.
Fig. 2: zeigt eine Simulation des Einflusses eines Streukörpers auf eine eingestrahlte Eingangslichtverteilung.
Fig. 3: zeigt eine erfindungsgemäße Korrektur der Verzerrungen bei eines Transmission und einer Reflexion durch den Streukörper.
Nachfolgend werden zahlreiche Merkmale der vorliegenden Erfindung anhand von bevorzugten Ausführungsformen ausführlich erläutert. Die vorliegende Offenbarung ist dabei nicht auf die konkret genannten Merkmalskombinationen beschränkt. Vielmehr lassen sich die hier genannten Merkmale beliebig zu erfindungsgemäßen Ausführungsformen kombinieren, sofern dies nachfolgend nicht ausdrücklich ausgeschlossen ist.
Fig. 1 illustriert den Aufbau zum Ermitteln der Verzerrungen durch einen Streukörper als auch eine entsprechende Korrektur dieser Verzerrungen in Transmissions- und/oder Reflexionsrichtung. Im Rahmen dieser Erfindung wird eine Modelloptimierungsstrategie für die adaptive Optik angegeben: Die Lichtausbreitung durch ein optische System 100 - insbesondere ist das optische System ein Laser-Reflexionsmikroskop - wird, einschließlich der als Parameter dargestellten unbekannten Aberrationen, mit einem differenzierbaren Modell MLicht beschrieben. Zur Anpassung des Input-Output-Verhältnisses des Rechenmodells MLicht an den experimentellen Aufbau wird eine Vielzahl von Ausgangsbildern aufgezeichnet, die aus entsprechenden Eingangsphasenmodulationen resultieren. Diese Eingangsphasenmodulationen werden erzeugt, indem zunächst eine Eingangs-Lichtverteilung I0 110 von einem Laser 115 erzeugt und dann zu einem räumlichen Lichtmodulator „SLM“ 120 geleitet wird. Auf den SLM werden für die jeweiligen Besuchs Durchläufe verschiedene Muster aufgespielt, die eine Eingangsphasenmodulation der Eingangs-Lichtverteilung I0 110 bewirken. Wie schwer noch im Detail gezeigt wird, werden die Modellparameter mit dem Programm „Tensorflow“ optimiert. Insbesondere werden Verzerrungsparameter des transmittierten Lichts VTR und des reflektierten Lichts VRE durch den Streukörper gefunden, die eine genaue Beschreibung des Streukörpers erlauben.
Der Versuchsaufbau ist in Fig. 1 schematisch dargestellt: Ein aufgeweiteter und kollimierter Laserstrahl wird von einem Laser 115 erzeugt und als Eingangs-Lichtverteilung I0 110 von einem ersten räumlichen Lichtmodulator SLM 120 mit einem ersten Strahlteiler 125 reflektiert und in einen Anregungspfad 130 geleitet. Die modulierte Lichtverteilung I0 durchläuft einen zweiten Strahlteiler 135 und durchquert dann einen Streukörper A 140 in T ransmissionsrichtung, der eine T ransmissions-Verzerrung VTR hervorruft.
Nach der Durchquerung des Streukörpers A 140 wird der Lichtstrahl von einem dritten Strahlteiler 145 auf eine erste Kamera 150 in T ransmissionsrichtung gerichtet, wobei die erste Kamera 150 eine T ransmission-Lichtverteilung ITR bezüglich ihrer räumlichen Intensität aufzeichnet. Der Teil der T ransmission-Lichtverteilung ITR der nicht mittels des dritten Strahlteilers 145 in die erste Kamera 150 gelenkt wird, kann von einem Spiegel 155 in einer Probenebene, wenn dieser in dem Aufbau vorgesehen ist, reflektiert werden und durchquert in Reflexionsrichtung erneut den Streukörper A 140. Der Spiegel wird nur als möglicher Stellvertreter für eine beliebige Probe verwendet. Statt eines Spiegels kann auch ein beliebiges anderes Material an dieser Stelle eingesetzt werden, Bedingung ist nur, dass das Material Licht reflektiert. Um den Ursprung des reflektierten Lichts einzugrenzen, kann die Methode auch mit anderen Methoden, die dies bewerkstelligen, kombiniert werden (z.B. mit der konfokalen Mikroskopie, oder mit interferometrischen Methoden wie dem ,coherence-gating‘). Hierdurch erfährt die T ransmission-Lichtverteilung ITR eine erneute Verzerrung durch den Streukörper A 140, in diesem Fall eine Reflexions-Verzerrung VRE, und wird zur Reflexion-Lichtverteilung IRE verändert. Der zweite Strahlteiler 135 lenkt die Reflexion-Lichtverteilung IRE in eine zweite Kamera 160, wobei die zweite Kamera 160 eine Reflexions-Lichtverteilung IRE bezüglich ihrer räumlichen Intensität aufzeichnet. Eine Korrektur der Reflexions-Verzerrung VRE kann durch einen zweiten räumlichen Lichtmodulator 165 ausgeführt werden, der im Strahlengang vor der zweiten Kamera 160 implementiert wird.
Zur Optimierung der Parameter des Modells MLicht können die erste Kamera 150 und die zweite Kamera 160 direkt mit einer Rechnereinheit 170 verbunden sein und der Rechnereinheit 170 ihre jeweiligen Messungen übermitteln. Auf der Rechnereinheit 170 wird das Modell MLicht und ein entsprechender Algorithmus zur Berechnung der Parameter vorgehalten, sodass die Messung der Kameras direkt als Input an den Algorithmus übergeben werden können.
Die in den optischen System vorgesehenen Linsen 175,180 dienen der Strahlführung bzw. der Strahlfokussierung. Nachfolgend wird das Modells MLicht im Detail in einer besonders bevorzugten Ausführungsform beschrieben:
Licht, das das optische System 100 durchläuft wird durch eine komplexe Amplitude U(x, y, z) beschrieben, die durch Uo = U(x, y, 0) initialisiert wird. Diese komplexe Amplitude durchläuft eine Sequenz von planaren Phasenobjekten und propagiert dazwischen in einem freien Raum entlang der optischen Achse (z-Achse; x, y, z sind räumliche Koordinaten). Eine Wellenfront U(x, y, d) die mit einem Phasenobjekt Φ(x, y, d) in der Ebene D in der agiert kann durch folgende Multiplikation beschrieben werden:
U (x, y, d) exp [ίΦ(x, y, d)] (1) Die Ausbreitung der Wellenfront im freien Raum über eine Entfernung d wird mit Hilfe des Winkelspektrums-Methode mit dem folgenden Operator berechnet:
Figure imgf000020_0002
mit A(fx,fY;z ) als der Fourier-T ransformierten von U(x,y,z), fx und fY sind räumliche Frequenzen und die circ-Funktion ist 1 innerhalb eines Radius in dem Argument und außerhalb 0; und
Figure imgf000020_0004
ist die optische Transfer-Funktion.
Figure imgf000020_0003
Die Intensitäten, die durch die Kameras 150, 160 aufgezeichnet werden, ergeben sich zu l(x,y,z) = |U(x,y,z) | 2. (3)
Für einen einzigen Transmissionsdurchlauf wird das optische System durch die folgende Funktion beschrieben:
Figure imgf000020_0001
Hierbei ist U0 die komplexe Amplitude des unmodulierten Lichtverteilung an dem SLM 120, (Φlens ist die Phasendarstellung der Linse 175 und fi deren Brennweite. ΦSLM ist die (bekannte) Phasenmodulation durch den SLM 12, und Φaberration ist die (unbekannte) Verzerrung durch den Streukörper 140.
Um die unbekannte Verzerrung aufzufinden, die die Ähnlichkeit (welche mittels des Pearson's Korrelationskoeffizienten r bestimmt wird) zwischen den simulierten Kamerabildern S(ΦSLM,Φaberration) und den experimentell aufgezeichneten Kamerabildern maximiert, wurde gelöst indem in dem Programm „Tensorflow“ eine automatische Differenzierung und eine Gradienten-basierte Optimierung gemäß folgende Formel durchgeführt wurde:
(5)
Figure imgf000021_0001
Um die berechneten Ergebnisse nach einem ersten Optimierungsschritt weiter zu verfeinern, wurde eine zweite Optimierungsschritt mit einem neuen Satz von Modulationen und korrespondierenden Bildern durchgeführt. In diesem zweiten Schritt, wurden die Korrekturen, die in dem ersten Schritt berechnet wurden zu allen Modulationen hinzugefügt, ΦSLM + Φ correction 1 . Die finale Korrektur war die Summe aus der ersten und der zweiten Korrektur, Φ correction 1 + Φ correction 2 Es wurden 180 Modulationen für die Transmission und 540 Modulationen für die Reflexionsexperimente in jedem der zwei Iterationsschritte verwendet.
Wie an zwei repräsentativen Beispielen in Fig. 2a, b bzw. d, e zu sehen ist, führt die Optimierung (die das entsprechende Phasenprofil in Fig. 2c, f ergibt) zu einer guten Übereinstimmung (Korrelationskoeffizient r ist in Abb. 2b, e angegeben) gemessener und vorhergesagter Lichtverteilungen an der Probe (Transmissionskamera 150) nach Anwendung der Korrektur an dem SLM 120.
Die Ähnlichkeit wird quantifiziert mit der Verlustfunktion 1-r in Fig. 2o. Um die erreichte Korrektur zu verifizieren, wurde die optimierte Aberration in der Linsenebene 175 auf das SLM 120 zurückpropagiert (siehe Methoden) und die entsprechende Korrektur (Fig. 3 c und f) an dem SLM 120 eingestellt. Dies führte zu einem Fokus auf der Proben- oder Kameraebene, wie an zwei repräsentativen Beispielen gezeigt in Fig. 3 b, e gezeigt ist, wobei die Fig. 3a, d die entsprechende Foki ohne eine entsprechende Korrektur zeigen.
In einer Epidetektionskonfiguration, wie sie für die Bildgebung in biologischen Proben typisch ist, wird reflektiertes Licht für die Suche nach einer Korrektur verwendet. Reflektiertes Licht akkumuliert jedoch eine erste Aberration (Transmissions-Verzerrung) in den Anregungspfad und eine (im Allgemeinen unterschiedliche) zweite Aberration im Reflexionspfad. Dieses beiden Verzerrung müssen „entwirrt“ werden, um z.B. ein Korrekturmuster für die Transmission und/oder die Reflexion auf die SLMs 120, 165 aufzuspielen. Für die Erzeugung einen Fokus innerhalb einer Probe müssen zunächst die Transmissions-Verzerrungen gezielt korrigiert werden. Für Anwendungen mit reflektiertem Licht ist wird Gleichung (4) deswegen, wie nachstehend in den Methoden beschrieben, erweitert, um den Reflexionsdurchgang vom Spiegel durch die Probe einzubeziehen.
Zwei repräsentative Beispiele von vorhergesagten und gemessenen Lichtverteilungen auf der Probenebene (Transmissionskamera 150) sind in Fig. 2g, h bzw. k, I dargestellt, und die Verlustfunktion, die die Ähnlichkeit quantifiziert, ist in Abb. 2o dargestellt (Korrelationskoeffizient r zwischen vorhergesagten und gemessenen Verteilungen ist in Abb. 2h, I angegeben). Die entsprechenden Transmissions- und Reflexionsphasenaberrationen in der Ebene der Linse 175 und 180 sind in Abb. 2 i, j bzw. m, n dargestellt. Um die Korrektur zu verifizieren, wurde ein Fokus in der Probenebene durch Einstellen der entsprechenden Korrektur auf dem SLM 120 erzeugt (siehe Methoden). Abb. 3 zeigt zwei repräsentative Beispiele (g-i und j-l) für einen verzerrten Fokus, korrigierten Fokus und entsprechende Korrektur (was zu einer Erhöhung der Verstärkung um den Faktor 10,4 bzw. 8,7 führt, siehe Methoden).
Bei der reflexionsbasierten T ransmissionskontrolle war der erhaltene Fokus nicht notwendigerweise zentriert (siehe z.B. in Abb. 3 j, k) aufgrund der durch die Probe eingeführten Neigung, die nicht korrigiert wurde. Wichtig ist, dass bei reflexionsbasierten Experimenten zur T ransmissionskontrolle eine Fokussierung in der Transmission mit reflektiertem Licht erreicht wurde, das, kompatibel mit einer Epidetektionskonfiguration ist.
Bei der reflexionsbasierten T ransmissionskontrolle werden Aberrationen in zwei verschiedenen Brennebenen unabhängig voneinander gleichzeitig berechnet. Dies ist ähnlich wie bei der multikonjugierten adaptiven Optik, bei der typischerweise jedoch ein zusätzlicher SLM zur Korrektur einer zweiten Brennebene verwendet. Zusätzlich zur Erzeugung einzelner Foki erzeugt, konnten aber auch beliebige andere Fokusverteilungen erzeugt werden (z.B. für Anwendungen in der Optogenetik). Eine Möglichkeit, um eine Anzahl der Proben bei dem vorstehend beschriebenen Optimierungsverfahren zu reduzieren wäre es, ein DIP mit dem vorstehend beschriebenen Optimierungsverfahren zu kombinieren.
Die Anzahl der erforderlichen Proben hängt i. allg. von der Größe und der räumlichen Häufigkeit der Aberrationen ab, sodass stärkere Aberrationen mehr Proben erfordern. Dies kann mit dem Training von tiefen neuronalen Netzwerke verglichen werden, in denen die Anzahl der erforderlichen Proben für die Modellausbildung ebenfalls mit zunehmender Aberrationen zunimmt. Im Vergleich zu tiefen neuronalen Netzen, ermöglicht das Einschließlich eines physikalischen Modells der Lichtausbreitung das Auffinden von Aberrationskorrekturen mit einer kleinen Anzahl von Stichproben. Zudem müssen auf vorteilhafte Weise keine hypothetische Annahmen (wie z.B. Zernike Modes) über die Verzerrungen getroffen werden.
Auf vorteilhafte Weise kann die Berechnungsdauer zum Auffinden der Verzerrungsparameter durch eine Erhöhung der Rechenleistung reduziert werden
Dank der beschrieben Berechnungsumgebung kann die eingeführte modellbasierte Optimierung leicht mit anderen optischen Einrichtung kombiniert werden, die mit einem räumlichen Lichtmodulator und einer Kamera ausgestattet ist, ohne dass dies zusätzliche Hardware, wie Wellenfrontsensoren oder Interferometer, erfordern würde. Zum Beispiel kann die beschriebe Technik zur Abbildung durch streuende Materialien in einem Mikroskop mit eine hohen numerischen Apertur in einer Epidetektionskonfiguration. Zusammenfassend erwarten wir, dass die entwickelte Methode in vielen Situationen nützlich sein wird, die eine Korrektur der Lichtverteilung beim Durchgang durch eine oder mehrere Schichten eines Streukörper benötigen.
Nachfolgend werden das experimentelle Set-up, die Datenaufnahme, die Optimierung des Modells und die Auswertung der Erfindung im Detail beschrieben.
Experimentelles Set-up und Datenaufnahme: Der Laser ist ein Modell von Toptica (iBeam smart, 640 nm), der räumliche Lichtmodulator „SLM“ von Meadowlark (SLM, ODP512-1064-P8), die Kameras sind von Basler (acA2040-55um). Alle optischen Teile stammten von Thorlabs. Die Daten wurden erzeugt durch Platzierung eines Streukörpers im optischen Anregungspfad, durch Erzeugung von zufälligen SLM-Phasenmodulationen und Aufzeichnung der resultierenden 512x512 Bilder mit der T ransmissionskamera 150 und zusätzlich mit der Reflexionskamera 160 für Reflexionsexperimente. Zufällige SLM-Phasenmodulationen wurden durch Summierung der ersten 78 Zernike-Moden mit Zufallskoeffizienten generiert, die aus einem Normalverteilung mit der Standardabweichung p stammen und mit einer Auflösung von 512x512 Pixeln auf dem SLM erzeugt werden.
Die Lichtintensität der Transmission und der Reflexion kann um mehrere Größenordnungen variieren und den Dynamikbereich der Kameras übersteigen. Um den gesamten Bereich der Intensitäten zu erfassen, müssen daher gegebenfalls mehrere Bilder mit unterschiedlichen Belichtungszeiten aufgenommen (jedes Bild mit einer Auflösung von 12 Bit pro Pixel) werden.
Bei der Transmission wurde jedes Einzelbild mit einer Belichtungszeit von 60, 120 bzw. 250 ms aufgezeichnet, und das resultierende Bild war die Summe der aufgezeichneten Einzelbilder, gewichtet mit dem Kehrwert der Belichtungszeit. Sowohl gesättigte Pixel als auch Pixel unterhalb der Rauschschwelle wurden verworfen. Für die Reflexionskamera wurden die Bilder mit Belichtungszeiten von 60, 120, 250, 500 und 1000 ms aufgenommen. Zusätzlich wurde die T ransmissionslichtintensität mit einem „neutral density filter wheel“ (NDM2/M, Thorlabs) reduziert.
Optimierung des Modells:
Verwendet wurde eine Python-Bibliothek für diffraktive Optik [36], um die bekannten Faktoren von Gleichung (4) zu berechnen. Durch Angabe der Brennweiten und Set-Up Dimensionen wurden diskretisierte Versionen der optischen Übertragungsfunktionen für die Ausbreitungsoperatoren und die Phasendarstellung der Linsen ermittelt. Die resultierende Funktion, die bekannte SLM-Phasenmodulationen und unbekannte Probenaberrationen mit
Kamerabildern in Beziehung setzt, wurde in die Tensorflow-Umgebung übertragen.
Die Position des Streukörper wurde, wie in Gleichung (4) zu sehen, in der Ebene einer Linse 175 simuliert. Dies reduziert Berechnungsressourcen und Speicherplatz, da jede Zwischenebene zusätzliche
Wellenfrontausbreitungsberechnungen erfordert. In ähnlicher Weise wurde aus Gründen der Recheneffizienz eine einzelne Linse 180 mit der Brennweite f2 = f1/2 verwendet, um das reflektierte Licht auf die Reflexionskamera zu fokussieren. Während die Parameter des optischen Modells für Transmission und Reflexion manuell an den Aufbau angepasst wurden, können sie ebenso mit dem unten beschriebenen Optimierungsansatz bestimmt werden, um z.B. eine entsprechende Systemkorrektur zu erhalten.
Das Modell der Lichtausbreitung gemäß Gleichung (4), wurde gemäß Gleichung (5) in eine Verlustfunktion „loss function“ aufgenommen:
Figure imgf000025_0001
wobei ΦSLM und Φaberration die durch den SLM und durch das optische
System, insbesondere durch den Streukörper, erzeugten Phasenmodulation repräsentieren. Alle Variablen sind 512 x 512 „real-valued“ Sensoren, wobei Φaberration die zu optimierende Variable ist.
Ähnlich wie beim Training von neuronalen Netzen werden die Daten in Trainings- und Validierungssätze aufgeteilt. Verwendet wurde ein Adam- Optimierer mit Lern rate von 0,1 und einer „Batch-Größe“ von 30. Die Optimierung mit der Verlustfunktion führt zu einer Übereinstimmung von simulierten und experimentell aufgezeichneten Bildern und ergab das
Phasenprofil der Verzerrungen des optischen Systems. Die Qualität der
Lösung wurde mittels einer Korrelation zwischen modellierten und aufgezeichneten Bildern im Validierungsteil des Datensatzes quantifiziert und als Kriterium für das „Beenden“ der Optimierung verwendet. Die Konvergenz des Optimierungsprozesses hängt von der Größe und räumliche Häufigkeiten der Aberration und die Anzahl der Proben ab. Es ergab sich, dass optimierte Parameter mit einem Wert von r > 0.6 in vielen Fällen ausreichen, um den Laserstrahl mit einem gewünschten Intensitätsprofil auf die Probe zu fokussieren.
Für Experimente mit reflektiertem Licht, wurde das Modell der Lichtausbreitung erweitert, um auch die Verzerrungen des Lichts im Detektionspfad beim Durchqueren des Streukörpers, respektive des gesamten optischen Systems, zu erfassen. Hieraus folgt die folgende Anpassung für die Gleichung (4):
Figure imgf000026_0001
wobei die Verlustfunktion (6) hinsichtlich Φtrans (entspricht der Verzerrung der Transmission) und Φref (entspricht der Verzerrung der Reflexion) optimiert wird.
Auswertung:
Nachdem Φaberration durch eine entsprechende Optimierung in der Linsenebene berechnet wurde, wird die korrespondierende Korrektur des SLM ermittelt, indem die konjugiert Phase derΦaberration- Verzerrung rückwärts auf die Ebene des SLMs propagiert wird:
Figure imgf000026_0002
Werden also die SLMs mit den entsprechenden Phasenkorrekturen Φ correction programmiert, werden die Verzerrungen durch den Probekörper effektiv korrigiert. Zusätzlich glätten wir die gefundene Korrektur mit einem Tiefpass- Ortsfrequenzfilter: Die diskrete Fourier-T ransformation wird auf exp[i Φ correction] angewendet und Frequenzen, die über 0.1 der Musterauflösung hinausgehen, werden verworfen. Bei der Darstellung der
Korrektur auf dem SLM führt dies zu einer Kompensation der Aberrationen.
Die Verzerrungen wurden mit einer dünnen Schicht transparenten Nagellacks, verteilt auf einem Objektträger, erzeugt. Zwei verschiedene Streukörper wurden für Transmissions- und Reflexionsexperimente verwendet. Im Allgemeinen variiert die Stärke der Aberrationen je nach Probenpositionierung.
Optimierungsparameter (wie z.B. die Anzahl der Phasenmodulationen oder Lern rate) wurden nur einmal für T ransmissionsexperimente und einmal für Reflexionsexperimente angepasst. Als einfaches Maß für die Quantifizierung der Form der unkorrigierten Lichtverteilungen verwenden wir deren maximale Ausdehnung, gemessen durch die Länge der ersten Hauptkomponente der Pixel oberhalb einer 30%-igen Intensitätsschwelle, s. Um die Veränderung in der Verteilung vor und nach der Korrektur zu quantifizieren, verglichen wir die unkorrigierten und korrigierten Verteilung, σrel = σu/σc. Um zusätzlich die Qualität der Aberrationskorrektur zu quantifizieren, wurde eine Verbesserungsmetrik, die als Verhältnis der maximalen Intensität zur mittleren Intensität im Rahmen definiert ist, η = max(I)/mean(I) verwendet, und vor und nach der Korrektor verglichen η = ηu/ηc. Die Verteilung der Parameter (ηrel , σrel) war für eine Serie von 7 T ransmissions-Experimenten wie folgt: (10,0; 25,3), (1 ,7; 6,5), (3,4; 12,1), (2,6; 10,4), (0,8; 1,2), (16,2; 25,4), (3,8; 9,8),
(Vrei) = 5,49 ± 5,17; ( σrel) = 13,0 ± 8,47; und für Serie von 7 Reflexions- Experimenten (10,0; 8,2), (10,4; 32,6), (11 ,6; 11 ,1), (7,2; 13,0), (8,7; 4,3), (4,4; 12,3), (1,9; 2,6); (ηrel) = 7,74 ± 3,26; ( σrel) = 12,0 ± 9,17.

Claims

Patentansprüche
1. Verfahren zum Optimieren von Parametern eines physikalischen Lichtausbreitungs-Modells, insbesondere eines Lichtausbreitungs- Modells bei der Laser-Mikroskopie im Rasterverfahren, umfassend die folgenden Schritte: a) Vorhalten eines physikalischen Modells MLicht der Lichtausbreitung in einem optischen System (100), insbesondere der Lichtausbreitung in einem Mikroskop; b) Einstrahlen einer Eingangs-Lichtverteilung I0 mit einer
Beleuchtungseinheit (115) in einen Anregungspfad (130) des optischen Systems (100); c) Durchqueren der Lichtverteilung I0 durch einen Streukörper A (140), wobei der Streukörper A (140) in dem Anregungspfad (130) des optischen Systems (100) platziert ist und die Eingangs-Lichtverteilung I0 zu einer T ransmissions-Lichtverteilung ITR oder I0 zu einer Reflexions- Lichtverteilung IRE abändert; d) Aufzeichnen der T ransmissions-Lichtverteilung ITR oder der Reflexions-Lichtverteilung IRE; e) Übergabe der aufgezeichneten T ransmissions-Lichtverteilung ITR oder der Reflexions-Lichtverteilung IRE an das Modell MLicht; f) Berechnung von Transmissions-Verzerrungsparametern VTR des Modells MLicht basierend auf der aufgezeichneten Transmissions- Lichtverteilung ITR oder der Reflexions-Lichtverteilung IRE, wobei die Transmissions-Verzerrungsparameter VTR insbesondere den
Streukörper A (140) charakterisieren.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die
T ransmissions-Lichtverteilung ITR mit einer Kamera (150), insbesondere am virtuellen Ort einer Probe, aufgezeichnet wird.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, durch eine n-fache Variierung der Eingangs- Lichtverteilung I0 ein n-facher T ransmissions-Lichtverteilungs- Datensatz; n-ITR , erzeugt wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Modell MLicht auf einer Rechnereinheit (170) vorgehalten wird und dass ein auf der Rechnereinheit (170) implementierter Algorithmus die Transmissions-Verzerrungsparametern VTR automatisiert berechnet.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als physikalischen Modells MLicht der Lichtausbreitung ein mathematisch differenzierbares Modell MLicht verwendet wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die T ransmissions-Lichtverteilung ITR am Ort der Probe mit einem reflektierenden Material (155), insbesondere einem Spiegel (155), reflektiert wird, den Streukörper A (140) erneut durchquert und zu einer Reflexions-Lichtverteilung IRE abgeändert wird und als IRE aufgezeichnet wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass Reflexions- Verzerrungsparameter VRE des Modells MLicht basierend auf der aufgezeichneten Reflexions-Lichtverteilung IRE berechnet werden.
8. Bestrahlungsvorrichtung geeignet zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 5 aufweisend: ein Mikroskop (100) umfassend eine Beleuchtungseinheit (115), insbesondere einen Laser (115), ausgebildet zur Erzeugung einer Lichtverteilung I0, einen Anregungspfad (130) mit einem in dem Anregungspfad (130) vorgesehenen Streukörper A (140), wobei der Anregungspfad (130) die Lichtverteilung I0 an den Ort einer Probe führt; eine Kamera (150), die das transmittierte Licht, insbesondere am Ort einer Probe, als ITR aufzeichnet; eine Rechnereinheit (170), wobei auf der Rechnereinheit (170) ein physikalisches Modells MLicht der Lichtausbreitung in der Bestrahlungsvorrichtung (100) vorgehalten wird und wobei ein auf der
Rechnereinheit (170) implementierter Algorithmus eingerichtet ist, basierend auf MLicht und ITR , T ransmissions-Verzerrungsparametern VTR des Modells MLicht zu berechnen,
9. Verfahren zum Korrigieren von Verzerrungen einer Lichtverteilung bei
Durchgang durch ein optisches System (100) mit einem Streukörper (140), insbesondere bei der Laser-Mikroskopie im Rasterverfahren beim Bestrahlen einer Probe, umfassend die folgenden Schritte: a) Extraktion eines Transmissions-Verzerrungsparametern VTR nach einem der Ansprüche 1 bis 5; b) Einstellen eines komplementären Verzerrungsmusters VTR # auf einem optischen Modulator (120) des Anregungspfades, wobei der optischen Modulator (120) in Strahlrichtung vor dem Streukörper angeordnet ist.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass zusätzlich zu VTR ein Reflexions-Verzerrungsparameter VRE nach Anspruch 7 extrahiert wird und dass ein komplementäres Verzerrungsmusters VRE # auf einem weiteren optischen Modulator in einem Detektionspfad eingestellt wird.
11. Bestrahlungsvorrichtung geeignet zur Durchführung eines Verfahrens nach Anspruch 9 aufweisend: ein Mikroskop (100) umfassend eine Beleuchtungseinheit (115), insbesondere einen Laser (115), ausgebildet zur Erzeugung einer Lichtverteilung I0, einen Anregungspfad (130) mit einem in dem Anregungspfad vorgesehenen Streukörper A, wobei der Anregungspfad die Lichtverteilung I0 an den Ort einer Probe führt; einen optischen Modulator (120), der in dem Anregungspfad in Lichtausbreitungsrichtung vor dem Streukörper A (140) vorgesehen ist, eine Rechnereinheit (170) eingerichtet zur Steuerung des optischen Modulators (120), wobei die Rechnereinheit eingerichtet ist aus einem physikalischen Modells MLicht der Lichtausbreitung in der Bestrahlungsvorrichtung Transmissions-Verzerrungsparametern VTR zu extrahieren und den optischen Modulator (120) mit einem die
Verzerrungen des Streukörpers korrigierenden komplementären Verzerrungsmuster VTR # einzustellen.
PCT/EP2021/070077 2020-07-24 2021-07-19 Verfahren und beleuchtungsvorrichtung der adaptiven optik in der transmissions- bzw. der reflexionsmikroskopie Ceased WO2022018002A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/017,418 US12481139B2 (en) 2020-07-24 2021-07-19 Method and illumination device of the adaptive optics in transmission or reflection microscopy

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020119566.4A DE102020119566A1 (de) 2020-07-24 2020-07-24 Verfahren und Beleuchtungsvorrichtung der adaptiven Optik in der Transmissions- bzw. der Reflexionsmikroskopie
DE102020119566.4 2020-07-24

Publications (1)

Publication Number Publication Date
WO2022018002A1 true WO2022018002A1 (de) 2022-01-27

Family

ID=77071544

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/070077 Ceased WO2022018002A1 (de) 2020-07-24 2021-07-19 Verfahren und beleuchtungsvorrichtung der adaptiven optik in der transmissions- bzw. der reflexionsmikroskopie

Country Status (3)

Country Link
US (1) US12481139B2 (de)
DE (1) DE102020119566A1 (de)
WO (1) WO2022018002A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021110263A1 (de) * 2021-04-22 2022-10-27 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Beleuchtungsvorrichtung der adaptiven Optik in der Reflexionsmikroskopie
CN118763492B (zh) * 2024-09-06 2024-12-17 中国工程物理研究院激光聚变研究中心 一种用于共孔径相干合成的相位控制系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110006231A1 (en) * 2009-07-09 2011-01-13 Howard Hughes Medical Institute Microscopy with adaptive optics
DE102018108628A1 (de) * 2018-04-11 2019-10-17 Stiftung Caesar Center Of Advanced European Studies And Research Verfahren und System zum Erzeugen einer gewünschten Lichtverteilung beim Durchgang durch einen Streukörper

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4134679A (en) * 1976-11-05 1979-01-16 Leeds & Northrup Company Determining the volume and the volume distribution of suspended small particles
AU744136B2 (en) * 1998-01-27 2002-02-14 Wisconsin Alumni Research Foundation Signal enhancement for fluorescence microscopy
US20200073100A1 (en) * 2018-08-30 2020-03-05 The Regents Of The University Of Colorado, A Body Corporate Optical interfaces and methods for rapid volumetric neural modulation and sensing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110006231A1 (en) * 2009-07-09 2011-01-13 Howard Hughes Medical Institute Microscopy with adaptive optics
DE102018108628A1 (de) * 2018-04-11 2019-10-17 Stiftung Caesar Center Of Advanced European Studies And Research Verfahren und System zum Erzeugen einer gewünschten Lichtverteilung beim Durchgang durch einen Streukörper

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALEX TURPIN ET AL: "Light scattering control in transmission and reflection with neural networks", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 15 May 2018 (2018-05-15), XP081021381, DOI: 10.1364/OE.26.030911 *
DELPHINE DÉBARRE ET AL: "Image-based adaptive optics for two-photon microscopy", OPTICS LETTERS, OPTICAL SOCIETY OF AMERICA, US, vol. 34, no. 16, 15 August 2009 (2009-08-15), pages 2495 - 2497, XP001547260, ISSN: 0146-9592, DOI: 10.1364/OL.34.002495 *
IVAN VISHNIAKOU ET AL: "Adaptive optics with reflected light and deep neural networks", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 9 April 2020 (2020-04-09), XP081640534 *
WILDING DEAN ET AL: "Practical guidelines for implementing adaptive optics in fluorescence microscopy", PROGRESS IN BIOMEDICAL OPTICS AND IMAGING, SPIE - INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING, BELLINGHAM, WA, US, vol. 10502, 23 February 2018 (2018-02-23), pages 105021F - 105021F, XP060100026, ISSN: 1605-7422, ISBN: 978-1-5106-0027-0, DOI: 10.1117/12.2287647 *

Also Published As

Publication number Publication date
US20230273418A1 (en) 2023-08-31
US12481139B2 (en) 2025-11-25
DE102020119566A1 (de) 2022-01-27

Similar Documents

Publication Publication Date Title
EP2062019B1 (de) Verfahren und vorrichtung zur ortsaufgelösten bestimmung der phase und amplitude des elektromagnetischen feldes in der bildebene einer abbildung eines objektes
DE69924136T2 (de) Phasenmessung in einem strahlungsfeld
DE102018210315A1 (de) Verfahren zur Erfassung einer Struktur einer Lithografiemaske sowie Vorrichtung zur Durchführung des Verfahrens
WO2019175441A1 (de) Verfahren und vorrichtung zum manipulieren eines strahlenganges in einem mikroskop, verfahren zur aufnahme von bilderstapeln in einem mikroskop
EP3482370B1 (de) Schnelles bildkorrekturverfahren für eine vereinfachte adaptive optik
DE102022212750A1 (de) Verfahren zum dreidimensionalen Bestimmen eines Luftbildes eines Messobjekts mithilfe eines Metrologiesystems sowie Metrologiesystem zur Durchführung des Bestimmungsverfahrens
EP3359928B1 (de) Verfahren und vorrichtung zur strahlanalyse
DE102011102196B3 (de) Justage einer zu prüfenden optischen Fläche in einer Prüfvorrichtung
DE69626395T2 (de) Abbildung und charakterisierung des fokalen feldes einer linse durch räumliche autokorrelation
DE102020119566A1 (de) Verfahren und Beleuchtungsvorrichtung der adaptiven Optik in der Transmissions- bzw. der Reflexionsmikroskopie
DE102018202637B4 (de) Verfahren zur Bestimmung einer Fokuslage einer Lithographie-Maske und Metrologiesystem zur Durchführung eines derartigen Verfahrens
DE102018108628A1 (de) Verfahren und System zum Erzeugen einer gewünschten Lichtverteilung beim Durchgang durch einen Streukörper
DE102020109734B4 (de) Verfahren und Bestrahlungsvorrichtung in der Reflexionsmikroskopie
DE102022128079A1 (de) Verfahren und vorrichtung zur lichtfeldmikroskopie
DE102014114864B4 (de) Verfahren und Vorrichtung zum Ermitteln eines lateralen Versatzes eines Musters auf einem Substrat relativ zu einer Sollposition
WO2024121030A1 (de) Feld-abhängige aberrationskorrektur bei kohärenter bildgebung, insbesondere digitalholographie
DE102016211310B3 (de) Vorrichtung zur messung einer aberration, abbildungssysteme und verfahren zur messung einer aberration
DE102013209461B3 (de) Verfahren und Vorrichtung zur Vermessung eines optischen Wellenfelds
WO2021151792A1 (de) Verfahren und vorrichtung zur charakterisierung eines kohärenten lichtfelds in amplitude und phase
WO2020030432A1 (de) Verfahren und anordnung zur charakterisierung einer maske oder eines wafers für die mikrolithographie
DE102021110263A1 (de) Verfahren und Beleuchtungsvorrichtung der adaptiven Optik in der Reflexionsmikroskopie
WO2020079208A1 (de) Verfahren und mikroskop zur bestimmung der dicke eines deck- oder tragglases
EP4113189A1 (de) Syntheseverfahren zur erzeugung eines räumlich hochaufgelösten bildes
DE102022128078A1 (de) Verfahren und vorrichtung zur mikroskopie
DE112023001326T5 (de) Vorrichtung und Verfahren zur Steuerung optischer Wirbel

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21746444

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21746444

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 18017418

Country of ref document: US