WO2016180960A1 - Vorrichtung und verfahren zur bildaufnahme mittels beleuchtung unter unterschiedlichen beleuchtungswinkeln - Google Patents

Vorrichtung und verfahren zur bildaufnahme mittels beleuchtung unter unterschiedlichen beleuchtungswinkeln Download PDF

Info

Publication number
WO2016180960A1
WO2016180960A1 PCT/EP2016/060812 EP2016060812W WO2016180960A1 WO 2016180960 A1 WO2016180960 A1 WO 2016180960A1 EP 2016060812 W EP2016060812 W EP 2016060812W WO 2016180960 A1 WO2016180960 A1 WO 2016180960A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
illumination
field
operations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2016/060812
Other languages
English (en)
French (fr)
Inventor
Lars STOPPE
Lars OMLOR
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss AG
Original Assignee
Carl Zeiss AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss AG filed Critical Carl Zeiss AG
Priority to US15/572,349 priority Critical patent/US10755429B2/en
Priority to CN201680027813.7A priority patent/CN107690595B/zh
Publication of WO2016180960A1 publication Critical patent/WO2016180960A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/14—Condensers affording illumination for phase-contrast observation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20041—Distance transform

Definitions

  • the present application relates to apparatus and methods for image acquisition.
  • it relates to such devices and methods in which image acquisition with an increased depth of field is possible.
  • a high depth of field is desirable, for example, in order to be able to image a desired region or the entire recorded object sharply in a two-dimensional image.
  • the depth of field is generally understood to mean a region in which an object is imaged sufficiently sharply, for example in accordance with a resolution of a recording medium such as an image sensor.
  • the numerical aperture can be reduced to increase the depth of field. At the same time, however, this leads to a reduction in the resolution and / or the available light.
  • a third conventional way to produce an image with extended depth of field is a digital computation of such an image from a so-called z-stack scan.
  • This approach is also referred to as "focus stacking."
  • a plurality of images of different focus are taken (for example, by moving the sample or changing the device, for example, by changing the focus of an optical system).
  • the sharpest area of each image is then transferred into the overall picture from each picture. In this case, an image can be generated, which has an almost arbitrary depth of field, without resulting in a loss of resolution.
  • a disadvantage of this approach is that the abovementioned z-stack, also referred to as defocus stack, must be produced by mechanical operation of a component of the device (for example, methods of lenses for changing the focus and / or method of the sample), which take a relatively long time can be relatively expensive and / or in the case of the method of the sample can move the sample in unwanted movements.
  • a component of the device for example, methods of lenses for changing the focus and / or method of the sample
  • a method of image capture comprising:
  • Applying operations may include applying a shift to pixels of the images.
  • Applying operations may include applying operations for a plurality of positions in a direction parallel to an optical axis and selecting image parts for the result image for which a focus amount indicates a maximum sharpness for the result image.
  • the focus can be determined based on a local variance.
  • the processing may include:
  • the method may further include creating a height map based on the plurality of images.
  • the processing may include stitching.
  • the processing may include applying an image correction.
  • the resulting image may include a phase contrast image.
  • an image capture apparatus comprising:
  • a lighting device that is controllable, a plurality of different
  • an image pickup device configured to pick up a plurality of images of the object, the illumination angles differing for different ones of the plurality of images, and
  • an evaluation device for processing the plurality of images, wherein the evaluation device is set up to apply an operation to each image of the plurality of images and to combine the images with the operations applied thereto to produce an image of the result with increased depth of field.
  • the apparatus may be arranged to carry out any of the methods described above.
  • FIG. 1 shows a schematic representation of a device according to an exemplary embodiment
  • FIG. 2 shows a flow chart for illustrating a method according to an exemplary embodiment
  • FIG. 3 shows a flow chart for illustrating a method according to a further exemplary embodiment
  • FIGS. 5A and 5B show examples of an image without and with the use of a method according to an exemplary embodiment
  • FIGS. 5A and 5B show examples of an image without and with the use of a method according to an exemplary embodiment
  • Fig. 6 is a diagram for illustrating the operation of embodiments.
  • like reference characters designate the same or similar elements.
  • the figures are schematic representations of various embodiments of the invention. Elements shown in the figures are not necessarily drawn to scale. Rather, the various elements shown in the figures are so reflected that their function and purpose will be understood by those skilled in the art. While embodiments are described with a variety of features or elements, this is not to be construed as requiring all of these features or elements to implement the particular embodiment. Rather, in other embodiments, some of the illustrated elements or features may be omitted and / or replaced by alternative features or elements. Additionally or alternatively, in addition to the features or elements shown, additional, not explicitly shown or described, features or elements may be provided, for example, conventional optical components. Features or elements of various embodiments may be combined with each other unless otherwise specified.
  • a correction and a correction of aberrations are understood to be measures with which the quality of a generated result image improved and at least certain aberrations, such as caused by field curvature and / or astigmatism defocus error, can be reduced.
  • multiple images of an object are sequentially taken.
  • An illumination angle for illuminating the object is set to different values for recording the plurality of images.
  • a focus adjustment of a device used can remain unchanged for the recording of the multiple images, so that no mechanical movement of components is necessary.
  • An operation is applied to at least a part of the images, in particular a shift of picture elements (eg pixels).
  • the displacement may be dependent on the respective illumination direction and depending on a position of an object imaged on the respective image element partly in the z-direction, wherein the z-direction is substantially a direction parallel to an optical axis of a recording device (for example a microscope objective or the like) designated.
  • the images thus changed with the operation can be combined with each other to produce an image with increased To create depth of field.
  • correction of aberrations as mentioned above can be made.
  • the image recording apparatus of FIG. 1 can be designed for the automatic execution of methods according to various exemplary embodiments, for example methods explained below with reference to FIGS. 2 and 3.
  • the image recording device 1 can be a microscope system or can comprise a microscope, which is provided with a controllable lighting device described in more detail, a camera with an image sensor and an electronic evaluation device for producing images with increased depth of field and optionally also for image correction.
  • the image pickup device 1 comprises an illumination device with a light source 1 1.
  • a condenser lens 12 is provided in order to direct the light emitted by the light source 1 1 onto an object 2 to be imaged.
  • the illumination device is configured such that light can be radiated onto the object 2 at a large number of different illumination angles 4.
  • the light source 1 1 comprises an arrangement of a plurality of light source elements, for example light-emitting diodes, which may be individually controllable.
  • light source elements may be arranged in a ring.
  • a controllable element may be arranged in an intermediate image plane in which a conventional light source is enlarged in size to provide different illumination angles.
  • the controllable element may comprise a movable pinhole, a micromirror array, a liquid crystal matrix, or a spatial light modulator.
  • the illumination device can be set up in such a way that the amount of the illumination angle 4, which is included with an optical axis 5, can be changed. Additionally or alternatively, the illumination device can be set up such that the illumination angle can be changed with respect to the direction, ie a direction of the beam 3 with which the object can be illuminated at the illumination angle 4 moves in the polar direction about the optical axis 5 can be.
  • An alterable illumination angle is thus to be understood as an illumination angle which is variable with respect to the amount and / or with respect to the direction.
  • a detector 14 of the image acquisition device 1 is set up to capture at least one image of the object 2 for each of a plurality of different illumination angles under which the object 2 is illuminated.
  • An image sensor 15 of the detector 14 can be designed, for example, as a CCD sensor, CMOS sensor or as a TDI ("Time Delay Integration") CCD sensor
  • An imaging optics for example a microscope objective 13 of a microscope arrangement shown only schematically, can be an image of the object 2, in particular also an enlarged image, on which the image sensor 15 is generated
  • the image sensor 15 may comprise a flat surface for image acquisition
  • the electronic evaluation device 20 may be implemented, for example, by appropriately programming a computer device with one or more processors, but may also include specific hardware implementations, such as application-specific integrated circuits (ASICs) are used.
  • ASICs application-specific integrated circuits
  • the electronic evaluator 20 applies operations to the images and then combines the images to obtain a result image with increased depth of field.
  • the operations may comprise moving pixels (pixels), whereby the shift from the illumination angle as well as the position of the part of the object imaged on the respective pixel may depend in the z-direction.
  • an operation or displacement may optionally reduce a field point dependent offset caused by field curvature or astigmatism or another field point dependent defocus error.
  • a field-point-dependent shift with which the respective pixel in the image plane is displaced may be determined as a function of a field point-dependent defocusing.
  • Correction values for performing such corrections can be stored in a storage medium 21 as correction information. Details of such corrections of image defects are described, for example, in German Patent Application DE 10 2014 1 12 666 A1. The methods for increasing the depth of field described in more detail below can be combined with these corrections, but they can also be applied on their own.
  • FIG. 2 shows a method for image recording according to an exemplary embodiment.
  • the method of Fig. 2 may for example be carried out by means of the apparatus of Fig. 1, but may also be used independently thereof.
  • an object to be photographed is illuminated at a first illumination angle.
  • the illumination device can be controlled by the electronic evaluation device 20 such that the object is illuminated at the first illumination angle.
  • a first image is acquired at step 31, for example by the image sensor 15 of FIG. 1.
  • the object is illuminated at a second illumination angle that is different in magnitude and / or direction from the first illumination angle.
  • a used lighting device can be controlled accordingly.
  • a corresponding second image for example, captured by the image sensor 15.
  • N can be greater than 2, for example, between 10 and 40 lie.
  • a respective operation is applied to each or at least a portion of the N images, which operations may also include multiple sub-operations for each image.
  • the operations may in particular comprise displacements of picture elements (pixels), wherein an amount and / or a direction of the displacement may depend on the illumination angle used, that is, may vary from image to image, and from one to another of a z coordinate of one The z-direction may be the direction perpendicular to the image plane or parallel to the optical axis 5, as shown in Fig. 1.
  • the images to which the operations have been applied in step 33 are combined, for example summed, to obtain an image with increased depth of field.
  • the operations at 33 may additionally serve to correct for artifacts. Applying the operations at 33 and combining the images at 34 does not have to be in the order shown, but may be interwoven, such as applying the operations and combining the images for different parts of the images.
  • FIG. 3 shows a method according to an exemplary embodiment, which represents in particular an example of the steps 33 and 34 of FIG. 2.
  • optimized displacement vectors for pixels for different z-planes and different illumination directions are determined. These optimized displacement vectors can then also be stored for later use for further image recordings, for example in the memory 21 of Fig. 1.
  • the displacement vectors are applied to the images. Finally, at 38, the images are combined to obtain an image with increased depth of field.
  • the basis for generating images with an enlarged depth of field is the recognition that, in the case of illumination at different illumination angles as described above, the location at which respective parts of an object to be photographed are imaged on the image sensor depends on the illumination direction in the defocused case. In other words, parts of the object to be recorded which lie in a focal plane of the optical arrangement (for example in a focal plane of the microscope objective 13 of FIG. 1) are always detected at the same location of the image sensor 15, irrespective of the illumination angle.
  • the image on the image sensor 15 is shifted from illumination angle to angle of illumination, the magnitude of the displacement depending on how far the respective part of the object lies outside the focal plane, or in other words , it depends on the z-position of the respective part of the object.
  • a corresponding shift can be determined, which is applied, for example, to pixels (pixels) of the image.
  • This shift may in particular be selected such that the offset between different illumination directions is compensated.
  • the depth of field can be extended to within a range corresponding to the coherent depth of field of a device used.
  • the focus of the device (for example, as indicated by an arrow 22 in FIG. 1) may be changed.
  • a movement of the focus in less different positions is necessary.
  • a step size may be selected substantially according to the coherent depth of field.
  • the basis for the focus stacking can then be the images generated by the methods discussed above which are sharp over a respective coherent depth of field.
  • the basic principle explained above can be applied in various ways to produce an image with increased depth of field.
  • a z-stack with different focal planes is "simulated", ie, calculated based on the images taken at different illumination angles, and this z-stack can then be billed to conventional z-stack algorithms to produce an image with increased depth of field
  • a successive shift may be applied to the frames as an operation, each shift then corresponding to a different z-value, and for each pixel the shift value may be used and stored in which the frame is the "sharpest" around the respective pixel .
  • a local variance can be used.
  • Other possible criteria are, for example, local edge steepness, local image sharpness measures and similar dimensions, as used, for example, for setting an autofocus in photography.
  • Image sum ([Shift] _ (( ⁇ , ⁇ )) (frames));
  • variables EDof, Zmap and BestVariance are initialized to zero. These variables are, for example, two-dimensional arrays, one element of the matrix being provided for each pixel (or in other embodiments for each color channel of each pixel).
  • z_min and z_max lie within the already mentioned coherent depth of field of the system, but need not fully exploit it. Rather, only a subarea can be edited if only this subarea is of interest in a particular case.
  • an image is then calculated as a sum of individual images, the pixels of the respective individual images being shifted by an amount (shift), which depends on the z value z and the respective illumination angle ⁇ of the respective individual image.
  • a local averaging filter which may be included, for example, on the order of 3x3 pixels over a certain range of pixels
  • a local expectation value is determined for each pixel.
  • a local variance for each pixel is then determined by squaring the difference between the image and the respective local expectation value (for each pixel) and then applying the local averaging filter.
  • the variables local expectation value and local variance are matrices with one element for each pixel (or each color channel of each pixel).
  • This local variance represents a measure of the sharpness.
  • all indices, ie all pixels, for which the local variance is greater than the (currently) best variance are determined. In other words, those pixels are determined here in which the sharpness produced in the current pass of the z-loop is better than the sharpness values achieved in previous runs, in each case in accordance with the measure of the local variance. For these indices, ie these pixels, the best variance is then set to the local variance of the respective passage.
  • the final image EDof is then updated to the pixels of the respective image (variable image) for the indices determined in this way so that after the complete loop of the z-loop the image EDof consists only of the "best" pixels be set according to the respective z-value, so that after passing through the loop Zmap a map of the z-values for the pixels of the image where the z-value for each pixel is then the value at which the local variance, ie the parameter used for sharpening, is greatest.
  • the displacements in dependence on z and ⁇ can be obtained beforehand, for example, by calibration and stored.
  • the shifts can, as already mentioned, additionally be used to correct aberrations.
  • the individual images can be segmented by means of local stitching methods and an automatic "defocus search" can be carried out in each subarea (segment), ie an automated "defocus search” is carried out for each subarea.
  • the individual images ie the images illuminated under the various illumination angles, are shifted in the respective segments in such a way that structures corresponding to one another in the segments lie as best as possible one above the other. Similar methods are described for example in the German patent application DE 10 2014 109 687 A1 for the purpose of setting an autofocus.
  • Such a defocus search can be performed, for example, by means of a local correlation with SSIM ("structural similarity") assessment
  • SSIM structural similarity
  • Such an approach not only corrects a defocus, ie achieves an optimized sharpness for each segment, but also other defocusing
  • a 3D map of the sample is first computed, substantially in accordance with the zmap in the pseudocode discussed above, Such a 3D map may be essentially determined based on the fact that Coordinate as already explained image area as a function of the illumination angle different shifts learn so that can be deduced from the shift to the z-coordinate
  • the offset of equal structures to each other can be determined for different illumination angles, for example by image recognition methods, and depending on this offset, the z-coordinate can be determined, for example, based on a previous calibration.
  • the image with extended depth of field can then be based on the 3D map of the sample according to a field-dependent defocus correction with corresponding displacements of picture elements for each z-plane, similar to a defocus correction, as described for example in DE 10 2014 1 12 666 A1 or DE 10 2014 1 12 648 A1 (there for the purpose of correcting image errors) is.
  • the techniques described herein are not applicable to conventional images only. Rather, they can also be applied to phase contrast images, which can also be generated by illumination at different illumination angles.
  • DE 10 2014 1 12 242 A1 describes how phase contrast images can be generated by illumination at different illumination angles, in particular different illumination directions.
  • two illuminating directions may always be paired, and intensity images (ie, conventional images) of two or three or more arbitrary illuminating directions may be combined, the illuminating directions including different angles with the optical axis.
  • FIG. 4 the applied principles are shown again schematically in Fig. 4.
  • three images 41, 42 and 43 are taken at different illumination angles.
  • different parts of the object appear shifted relative to one another, in particular parts located outside of a focus, which is due to the different directions of illumination.
  • FIG. 5A shows a single image which has been recorded, for example, with an illumination angle.
  • Fig. 5B shows a result image produced by a method according to an embodiment in which the depth of field has been increased. As can be seen, many structures are much sharper than seen in the image of FIG. 5A.
  • FIG. 6 shows a simple optical system with two lenses 61, 62. Points P1 to P3 in a focal plane 60 of the optical system 61, 62 become points P1 'to P3' in an image plane 63 in which, for example, a Camera is shown.
  • an object is assumed to be a point P which, as shown, lies outside the focal plane 60 and is illuminated successively from three different directions B1, B2 and B3.
  • illumination from the illumination direction B1 light passes from the point P substantially at the point P1 into the focal plane (except, if appropriate, for scattering) and is imaged onto the point P1 'in accordance with the laws of the beam optics.
  • the illumination direction B2 light passes from the point P at the point P2 into the focal plane and is correspondingly imaged onto the point P2 '.
  • light passes from the point P at the point P3 to the focal plane and is imaged on the point P3 '.
  • illumination from different illumination angles causes a shift of the point P in the image plane ( ⁇ 1 ', P2' or ⁇ 3 '), as already explained above.
  • the points can then be made to coincide again.
  • the illustrated embodiments offer various advantages over conventional methods and devices for image acquisition with increased depth of field.
  • the measurement can be faster than a conventional z-stack, since no mechanical adjustment of the focus is possible.
  • a number of required measurements is less than in conventional methods.
  • the creation of the result image with increased depth of field can be done quickly.
  • the image can be made with increased depth of field without loss of resolution (with limitations if aberrations are corrected).
  • the illustrated techniques for producing a resulting image with increased depth of field can also be applied to phase-contrast images, which can be generated simultaneously digitally. The techniques are also available offline. This means, for example, that the evaluation device 20 of FIG. 1 can also be provided separately from the rest of the device, as long as the images are supplied accordingly.
  • a z-map may be created, for example as in the pseudocode discussed above.
  • the illustrated methods and devices can be easily combined with various other methods and devices.
  • the focus may be changed, requiring fewer focus changes than a conventional z-stack.
  • the embodiments discussed above are for illustrative purposes only and are not intended to be limiting.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Microscoopes, Condenser (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

Es werden Verfahren und Vorrichtungen bereitgestellt, bei welchen eine Vielzahl von Bildern unter verschiedenen Beleuchtungswinkeln aufgenommen wird. Die Vielzahl von Bildern wird kombiniert, um ein Ergebnisbild mit erhöhter Schärfentiefe zu erzeugen.

Description

Beschreibung
VORRICHTUNG UND VERFAHREN ZUR BILDAUFNAHME MITTELS BELEUCHTUNG UNTER UNTERSCHIEDLICHEN BELEUCHTUNGSWINKELN
Die vorliegende Anmeldung betrifft Vorrichtungen und Verfahren zur Bildaufnahme. Insbesondere betrifft sie derartige Vorrichtungen und Verfahren, bei welchen eine Bildaufnahme mit einer erhöhten Schärfentiefe möglich ist.
Bei verschiedenen Anwendungen, bei denen insbesondere dreidimensionale Objekte mittels einer Bildaufnahmevorrichtung aufgenommen werden, ist eine hohe Schärfentiefe wünschenswert, beispielsweise um einen gewünschten Bereich oder das gesamte aufgenommene Objekt scharf in einem zweidimensionalen Bild abbilden zu können. Unter der Schärfentiefe wird dabei allgemein ein Bereich verstanden, in dem ein Objekt hinreichend scharf, beispielsweise entsprechend einer Auflösung eines Aufnahmemediums wie einem Bildsensor, abgebildet wird. In klassischen Systemen kann zur Vergrößerung der Schärfentiefe die numerische Apertur verringert werden. Dies führt jedoch gleichzeitig zu einer Verringerung der Auflösung und/oder des zur Verfügung stehenden Lichts.
Eine weitere Möglichkeit, die Schärfentiefe einer Vorrichtung zur Bildaufnahme zu vergrößern, ist der Einsatz von speziellen Pupillen und Feldfiltern. Beispiele hierfür werden in Edward R. Dowski, Jr., and W. Thomas Cathey, „Extended Depth of field through wave-front coding", Applied Optics, Vol. 34, No. 1 1 , 1859-1866, 1995, beschrieben. Derartige Herangehensweisen haben in der Regel den Nachteil, dass sie den Kontrast bei höheren Ortsfrequenzen deutlich reduzieren, was aufgrund von Rauschen zu Auflösungsverlust führen kann. Weiterhin kann es bei einer hierbei nötigen digitalen Nachbearbeitung zu Artefaktbildung kommen. Des Weiteren ist ein spezielles Optikdesign nötig, bei der die Pupillenebene/Zwischenbildebene zugänglich und optische korrigiert ist, was zu Mehrkosten für die Vorrichtung führt.
Eine dritte herkömmliche Möglichkeit, ein Bild mit erweiterter Schärfentiefe zu erzeugen, ist eine digitale Berechnung eines derartigen Bildes aus einer sogenannten z-Stapelanmessung. Diese Herangehensweise wird auch als„focus stacking" bezeichnet. Bei dieser Herangehensweise wird eine Vielzahl von Bildern mit unterschiedlichem Fokus aufgenommen (beispielsweise durch Verfahren der Probe oder durch eine anderen Änderung der Vorrichtung, beispielsweise durch Änderung der Fokussierung eines optischen Systems). Mittels geeigneter Algorithmen wird dann aus jedem Bild der jeweils schärfste Bereich in das Gesamtbild übertragen. Dabei kann ein Bild erzeugt werden, welches eine nahezu beliebige Schärfentiefe aufweist, ohne dass es zu einem Auflösungsverlust kommt. Nachteilig an dieser Herangehensweise ist, dass der oben genannte z-Stapel, auch als Defokusstapel bezeichnet, durch mechanisches Verfahren einer Komponente der Vorrichtung erzeugt werden muss (beispielsweise Verfahren von Linsen zur Änderung des Fokus und/oder Verfahren der Probe), was relativ lange dauern kann, vergleichsweise kostenintensiv sein kann und/oder im Falle des Verfahrens der Probe die Probe in unerwünschte Bewegungen versetzen kann.
Es ist daher eine Aufgabe, Verfahren und Vorrichtungen bereitzustellen, mit welchen die oben beschriebenen Nachteile zumindest teilweise überwunden oder abgemildert werden können und eine Bildaufnahme mit verglichen einer herkömmlichen Einzelbildaufnahme erhöhter Schärfentiefe möglich ist.
Es werden ein Verfahren nach Anspruch 1 sowie eine Vorrichtung nach Anspruch 1 1 bereitgestellt. Die Unteransprüche definieren weitere Ausführungsformen.
Gemäß einem ersten Aspekt wird ein Verfahren zur Bildaufnahme bereitgestellt, umfassend:
Aufnehmen einer Vielzahl von Bildern, wobei zur Aufnahme der Vielzahl von Bildern ein Objekt unter zwischen den Bildern unterschiedlichen Beleuchtungswinkeln beleuchtet wird, und Verarbeiten der Vielzahl von Bildern, wobei das Verarbeiten umfasst:
Anwenden von Operationen auf die Vielzahl von Bildern, und Kombinieren der Vielzahl von Bildern mit den darauf angewendeten Operationen, um ein Ergebnisbild mit erhöhter Schärfentiefe zu erhalten.
Das Anwenden von Operationen kann ein Anwenden einer Verschiebung auf Bildelemente der Bilder umfassen.
Durch Verwendung von Bildern, die mit verschiedenen Beleuchtungsrichtungen aufgenommen wurden, zum Erzeugen eines Bildes mit erweiterter Schärfentiefe kann ein mechanisches Verfahren zum Einstellen eines Fokus vermieden oder - im Falle von sehr großen gewünschten Schärfentiefenbereichen - verringert werden. Die Verschiebung kann von dem Beleuchtungswinkel des jeweiligen Bildes und von einer Position eines dem jeweiligen Bildelement entsprechenden Teil des Objekts in einer Richtung parallel zur optischen Achse abhängen. Das Anwenden von Operationen kann ein Anwenden von Operationen für eine Vielzahl von Positionen in einer Richtung parallel zu einer optischen Achse und ein Auswählen von Bildteilen für das Ergebnisbild, für welche ein Schärfemaß eine größte Schärfe anzeigt, für das Ergebnisbild umfassen. Das Schärfemaß kann dabei auf Basis einer lokalen Varianz bestimmt werden.
Das Verarbeiten kann umfassen:
Durchlaufen einer Schleife, in der ein Positionsparameter über einen gewünschten Positionsbereich parallel zu einer optischen Achse einer für die Bildaufnahme verwendeten Vorrichtung durchläuft, und für jeden Positionsparameter der Schleife:
Bestimmen eines Zwischenbildes als Summe über die Vielzahl von Bildern, auf die als Operation jeweils eine von dem jeweiligen Höhenparameter und dem jeweiligen Beleuchtungswinkel angewendete Verschiebung angewendet wurde,
Bilden eines lokalen Varianzwerts für jedes Bildelement des Zwischenbildes, und Aufnahme derjenigen Bildelemente des Zwischenbildes in ein Ergebnisbild, bei welchem die lokale Varianz größer ist als eine lokale Varianz vorhergehender Schleifendurchläufe.
Das Verfahren kann weiter ein Erstellen einer Höhenkarte auf Basis der Vielzahl von Bildern umfassen.
Das Verarbeiten kann ein Stitching umfassen.
Das Verarbeiten kann ein Anwenden einer Bildkorrektur umfassen.
Das Ergebnisbild kann ein Phasenkontrastbild umfassen.
Gemäß einem zweiten Aspekt wird eine Vorrichtung zur Bildaufnahme bereitgestellt, umfassend:
eine Beleuchtungseinrichtung, die ansteuerbar ist, eine Mehrzahl unterschiedlicher
Beleuchtungswinkel für eine Beleuchtung eines Objekts einzustellen, eine Bildaufnahmeeinrichtung, welche eingerichtet ist, eine Vielzahl von Bildern des Objekts aufzunehmen, wobei sich die Beleuchtungswinkel für verschiedene der Vielzahl von Bildern unterscheiden, und
eine Auswerteeinrichtung zur Verarbeitung der Vielzahl von Bildern, wobei die Auswerteeinrichtung eingerichtet ist, auf jedes Bild der Vielzahl von Bildern eine Operation anzuwenden und die Bilder mit den darauf angewendeten Operationen zu kombinieren, um ein Ergebnisbild mit vergrößerter Schärfentiefe zu erzeugen.
Die Vorrichtung kann zur Durchführung eines der oben beschriebenen Verfahren eingerichtet sein.
Im Folgenden werden verschiedene Ausführungsbeispiele unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Es zeigen: Fig. 1 eine schematische Darstellung einer Vorrichtung gemäß einem Ausführungsbeispiel,
Fig. 2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens gemäß einem Ausführungsbeispiel, Fig. 3 ein Flussdiagramm zur Veranschaulichung eines Verfahrens gemäß einem weiteren Ausführungsbeispiel,
Fig. 4 ein Diagramm zur Veranschaulichung von manchen Ausführungsbeispielen, Fig. 5A und 5B Beispiele für ein Bild ohne und mit der Anwendung eines Verfahrens gemäß einem Ausführungsbeispiel, und
Fig. 6 ein Diagramm zur Veranschaulichung der Funktionsweise von Ausführungsbeispielen. In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder ähnliche Elemente. Die Figuren sind schematische Darstellungen verschiedener Ausführungsbeispiele der Erfindung. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart widergegeben, dass ihre Funktion und ihr Zweck dem Fachmann verständlich wird. Während Ausführungsbeispiele mit einer Vielzahl von Merkmalen oder Elementen beschrieben werden, ist dies nicht dahingehend auszulegen, dass alle diese Merkmale oder Elemente zur Implementierung des jeweiligen Ausführungsbeispieles notwendig sind. Vielmehr können bei anderen Ausführungsbeispielen manche der dargestellten Elemente oder Merkmale weggelassen sein und/oder durch alternative Merkmale oder Elemente ersetzt werden. Zudem oder alternativ können neben den dargestellten Merkmalen oder Elementen zusätzliche, nicht explizit dargestellte oder beschriebene, Merkmale oder Elemente bereitgestellt sein, beispielsweise herkömmliche optische Komponenten. Merkmale oder Elemente verschiedener Ausführungsbeispiele können miteinander kombiniert werden, sofern nichts anderes angegeben ist.
Nachfolgend werden Techniken beschrieben, mit welchen eine Bildaufnahme mit erhöhter Schärfentiefe möglich ist. Hierzu werden insbesondere mehrere Bildaufnahmen mit verschiedenen Beleuchtungswinkeln verwendet. Die Beleuchtungswinkel können sich dabei hinsichtlich des Betrages und/oder der Richtung unterscheiden. Erhöhte Schärfentiefe bedeutet in diesem Zusammenhang insbesondere, dass die Schärfentiefe höher ist als die Schärfentiefe einer einzelnen Bildaufnahme. Optional können dabei auch zusätzlich Abbildungsfehler, die durch einen Defokus hervorgerufen werden, rechnerisch korrigiert werden. Unter einer Korrektur und einem Korrigieren von Abbildungsfehlern werden dabei Maßnahmen verstanden, mit denen die Güte eines erzeugten Ergebnisbildes verbessert und wenigstens bestimmte Abbildungsfehler, wie beispielsweise durch Bildfeldwölbung und/oder Astigmatismus hervorgerufene Defokusfehler, verringert werden können.
Wie nachfolgend ausführlicher beschrieben werden wird, werden bei Ausführungsbeispielen sequentiell mehrere Bilder eines Objekts aufgenommen. Ein Beleuchtungswinkel für eine Beleuchtung des Objekts wird zur Aufnahme der mehreren Bilder auf unterschiedliche Werte eingestellt. Eine Fokuseinstellung einer verwendeten Vorrichtung kann dabei für die Aufnahme der mehreren Bilder unverändert bleiben, sodass keine mechanische Bewegung von Komponenten notwendig ist. Auf zumindest einen Teil der Bilder wird eine Operation angewandt, insbesondere eine Verschiebung von Bildelemente (z.B. Pixeln). Die Verschiebung kann abhängig von der jeweiligen Beleuchtungsrichtung und abhängig von einer Lage eines auf das jeweilige Bildelement abgebildeten Objekts teils in z-Richtung sein, wobei die z-Richtung im Wesentlichen eine Richtung parallel zu einer optischen Achse einer Aufnahmevorrichtung (beispielsweise eines Mikroskopobjektivs oder dergleichen) bezeichnet. Die so mit der Operation veränderten Bilder können miteinander kombiniert werden, um ein Bild mit erhöhter Schärfentiefe zu erzeugen. Zusätzlich kann mittels der Operation eine Korrektur von Abbildungsfehlern wie oben erwähnt vorgenommen werden.
Fig. 1 ist eine schematische Darstellung einer Bildaufnahmevorrichtung 1 gemäß einem Ausführungsbeispiel. Die Bildaufnahmevorrichtung der Fig. 1 kann zur automatischen Ausführung von Verfahren gemäß verschiedenen Ausführungsbeispielen, beispielsweise nachfolgend unter Bezugnahme auf die Figuren 2 und 3 erläuterten Verfahren, ausgestaltet sein. Die Bildaufnahmevorrichtung 1 kann ein Mikroskopsystem sein oder kann ein Mikroskop umfassen, das mit einer noch ausführlicher beschriebenen steuerbaren Beleuchtungseinrichtung, einer Kamera mit einem Bildsensor und einer elektronischem Auswerteeinrichtung zur Erzeugung von Bildern mit erhöhter Schärfentiefe und optional auch zur Bildkorrektur versehen ist.
Die Bildaufnahmevorrichtung 1 umfasst eine Beleuchtungseinrichtung mit einer Lichtquelle 1 1. Eine Kondensorlinse 12 ist bereitgestellt, um das von der Lichtquelle 1 1 abgegebene Licht auf ein abzubildendes Objekt 2 zu lenken. Die Beleuchtungseinrichtung ist so ausgestaltet, dass Licht unter einer Vielzahl unterschiedlicher Beleuchtungswinkel 4 auf das Objekt 2 eingestrahlt werden kann. Dazu kann beispielsweise die Lichtquelle 1 1 eine Anordnung mehrerer Lichtquellenelemente, beispielsweise Leuchtdioden, umfassen, die einzeln ansteuerbar sein können. Beispielsweise können derartige Lichtquellenelemente ringförmig angeordnet sein. Alternativ kann ein steuerbares Element in einer Zwischenbildebene, in die eine herkömmliche Lichtquelle vergrößert abgebildet wird, angeordnet sein, um unterschiedliche Beleuchtungswinkel bereitzustellen. Das steuerbare Element kann eine bewegliche Lochblende, eine Mikrospiegelanordnung, eine Flüssigkeitskristallmatrix oder einen räumlichen Lichtmodulator umfassen.
Die Beleuchtungseinrichtung kann so eingerichtet sein, dass der Betrag des Beleuchtungswinkels 4, der mit einer optischen Achse 5 eingeschlossen wird, verändert werden kann. Zusätzlich oder alternativ kann die Beleuchtungseinrichtung so eingerichtet sein, dass der Beleuchtungswinkel hinsichtlich der Richtung verändert werden kann, d.h., dass eine Richtung des Strahls 3, mit dem das Objekt unter dem Beleuchtungswinkel 4 beleuchtet werden kann, in Polarrichtung um die optische Achse 5 herum bewegt werden kann. Unter einem veränderbaren Beleuchtungswinkel ist somit ein Beleuchtungswinkel zu verstehen, welcher hinsichtlich des Betrags und/oder hinsichtlich der Richtung veränderbar ist. Ein Detektor 14 der Bildaufnahmevorrichtung 1 ist eingerichtet, für jeden von mehreren verschiedenen Beleuchtungswinkeln, unter denen das Objekt 2 beleuchtet wird, jeweils mindestens ein Bild des Objekts 2 zu erfassen. Ein Bildsensor 15 des Detektors 14 kann beispielsweise als CCD-Sensor, CMOS-Sensor oder als ein TDI („Time Delay Integration")- CCD-Sensor ausgestaltet sein. Eine Abbildungsoptik, beispielsweise ein nur schematisch dargestelltes Mikroskopobjektiv 13 einer Mikroskopanordnung, kann ein Abbild des Objekts 2, insbesondere auch ein vergrößertes Abbild, an dem Bildsensor 15 erzeugen. Der Bildsensor 15 kann eine ebene Fläche zur Bildaufnahme umfassen. Die Bildaufnahmevorrichtung 1 umfasst weiter eine elektronische Auswerteeinrichtung 20. Die elektronische Auswerteeinrichtung 20 verarbeitet die Mehrzahl von Bildern weiter, die von dem Objekt für die mehreren Beleuchtungswinkel 4 erfasst wurden. Die elektronische Auswerteeinrichtung 20 kann beispielsweise durch entsprechende Programmierung einer Computervorrichtung mit einem oder mehreren Prozessoren implementiert sein. Es können jedoch auch spezielle Hardwareimplementierungen, beispielsweise anwendungsspezifische integrierte Schaltungen (ASICs) zum Einsatz kommen. Die elektronische Auswerteeinrichtung 20 wendet insbesondere Operationen auf die Bilder an und kombiniert dann die Bilder, um ein Ergebnisbild mit erhöhter Schärfentiefe zu erhalten. Die Operationen können insbesondere ein Verschieben von Bildpunkten (Pixeln) umfassen, wobei die Verschiebung von dem Beleuchtungswinkel sowie von der Lage des Teils des Objekts, welches auf den jeweiligen Bildpunkt abgebildet wurde, in z-Richtung abhängen kann. Zudem kann durch eine derartige Operation oder Verschiebung optional ein feldpunktabhängiger Versatz, der durch Bildfeldwölbung oder Astigmatismus oder einen anderen feldpunktabhängigen Defokusfehler hervorgerufen wird, reduziert werden. Für eine derartige Korrektur kann eine feldpunktabhängige Verschiebung, mit der der jeweilige Bildpunkt in der Bildebene verschoben werden, abhängig von einer feldpunktabhängigen Defokussierung festgelegt sein. Korrekturwerte zur Durchführung derartiger Korrekturen können in einem Speichermedium 21 als Korrekturinformation gespeichert werden. Details derartiger Korrekturen von Bildfehlern sind beispielsweise in der deutschen Patentanmeldung DE 10 2014 1 12 666 A1 beschrieben. Die im Folgenden näher beschriebenen Verfahren zur Erhöhung der Schärfentiefe können mit diesen Korrekturen kombiniert werden, können jedoch auch für sich genommen angewendet werden.
In Fig. 2 ist ein Verfahren zur Bildaufnahme gemäß einem Ausführungsbeispiel dargestellt. Das Verfahren der Fig. 2 kann beispielsweise mittels der Vorrichtung der Fig. 1 durchgeführt werden, kann jedoch auch unabhängig hiervon verwendet werden. Bei Schritt 31 wird ein aufzunehmendes Objekt unter einem ersten Beleuchtungswinkel beleuchtet. Beispielsweise kann bei Verwendung der Vorrichtung der Fig. 1 die Beleuchtungseinrichtung von der elektronischen Auswerteeinrichtung 20 so angesteuert werden, dass das Objekt unter dem ersten Beleuchtungswinkel beleuchtet wird. Zudem wird bei Schritt 31 ein erstes Bild erfasst, beispielsweise durch den Bildsensor 15 der Fig. 1.
Bei Schritt 31 wird das Objekt unter einem zweiten Beleuchtungswinkel beleuchtet, der hinsichtlich des Betrages und/oder der Richtung von dem ersten Beleuchtungswinkel verschieden ist. Dazu kann wiederum eine verwendete Beleuchtungseinrichtung entsprechend angesteuert werden. Des Weiteren wird ein entsprechendes zweites Bild, beispielsweise durch den Bildsensor 15 erfasst.
Dies kann mit unterschiedlichen Beleuchtungswinkeln wiederholt werden, bis bei Schritt 32 das Objekt unter einem N-ten Beleuchtungswinkel beleuchtet wird und ein N-tes Bild aufgenommen wird. N kann dabei größer als 2 sein, beispielsweise zwischen 10 und 40 liegen.
Bei Schritt 33 wird auf jedes oder zumindest einen Teil der N-Bilder eine jeweilige Operation angewendet, wobei die Operationen auch mehrere Teiloperationen für jedes Bild umfassen können. Die Operationen können insbesondere Verschiebungen von Bildpunkten (Pixeln) umfassen, wobei ein Betrag und/oder eine Richtung der Verschiebung zum einen von dem verwendeten Beleuchtungswinkel abhängen kann, also von Bild zu Bild variieren kann, und von einem zum anderen von einer z-Koordinate eines abgebildeten Objekts abhängen kann, wobei die z-Richtung die Richtung senkrecht zur Bildebene bzw. parallel zu der optischen Achse 5 sein kann, wie dies in Fig. 1 dargestellt ist. In Schritt 34 werden die Bilder, auf die in Schritt 33 die Operationen angewendet wurden, kombiniert, beispielsweise summiert, um ein Bild mit vergrößertem Schärfentiefenbereich zu erhalten. Wie bereits erläutert können die Operationen bei 33 zusätzlich dazu dienen, Bildfehler zu korrigieren. Das Anwenden der Operationen bei 33 und das Kombinieren der Bilder bei 34 muss nicht in der dargestellten Reihenfolge geschehen, sondern kann auch miteinander verwoben sein, sodass beispielsweise für verschiedene Teile der Bilder die Operationen angewendet und die Bilder kombiniert werden.
In Fig. 3 ist ein Verfahren gemäß einem Ausführungsbeispiel dargestellt, welches insbesondere ein Beispiel für die Schritte 33 und 34 der Fig. 2 darstellt. Bei 36 werden optimierte Verschiebungsvektoren für Bildpunkte für verschiedene z-Ebenen und verschiedene Beleuchtungsrichtungen bestimmt. Diese optimierten Verschiebungsvektoren können dann auch zur späteren Verwendung für weitere Bildaufnahmen abgespeichert werden, beispielsweise in dem Speicher 21 der Fig. 1. Bei 37 werden die Verschiebungsvektoren auf die Bilder angewendet. Schließlich werden bei 38 die Bilder kombiniert, um ein Bild mit vergrößerter Schärfentiefe zu erhalten.
Im Folgenden wird die Anwendung von Operationen auf die Bilder und das Kombinieren der Bilder zur Erhöhung der Schärfentiefe noch näher erläutert. Grundlage der Erzeugung von Bildern mit vergrößerter Schärfentiefe gemäß manchen Ausführungsbeispielen ist die Erkenntnis, dass bei einer Beleuchtung unter verschiedenen Beleuchtungswinkeln wie oben beschrieben der Ort, an dem jeweilige Teile eines aufzunehmenden Objekts auf dem Bildsensor abgebildet werden, im defokussierten Fall von der Beleuchtungsrichtung abhängt. In anderen Worten werden Teile des aufzunehmenden Objekts, welche in einer Fokusebene der optischen Anordnung (beispielsweise in einer Fokusebene des Mikroskopobjektivs 13 der Fig. 1 ) liegen, unabhängig von dem Beleuchtungswinkel immer am gleichen Ort des Bildsensors 15 erfasst. Für Teile des Objekts, die außerhalb der Fokusebene liegen, erfolgt die Abbildung auf dem Bildsensor 15 jedoch von Beleuchtungswinkel zu Beleuchtungswinkel gegeneinander verschoben, wobei die Größe der Verschiebung davon abhängt, wie weit der jeweilige Teil des Objekts außerhalb der Fokusebene liegt, oder in anderen Worten, sie hängt von der z-Position des jeweiligen Teils des Objekts ab.
Auf dieser Basis kann beispielsweise bei manchen Ausführungsbeispielen für jede Beleuchtungsrichtung und jede z-Position eine entsprechende Verschiebung bestimmt werden, welche beispielsweise auf Bildpunkte (Pixel) des Bildes angewendet wird. Diese Verschiebung kann insbesondere derart gewählt sein, dass der Versatz zwischen verschiedenen Beleuchtungsrichtungen kompensiert wird. Wenn die so bearbeiteten Bilder dann summiert werden, entsteht ein Bild mit vergrößerter Schärfentiefe.
Zu bemerken ist, dass mit derartigen Herangehensweisen die Schärfentiefe bis auf einen Bereich ausdehnbar ist, welcher der kohärenten Schärfentiefe einer verwendeten Vorrichtung entspricht. Wenn eine noch höhere Schärfentiefe benötigt wird, kann zusätzlich der Fokus der Vorrichtung (beispielsweise wie durch einen Pfeil 22 in Fig. 1 angedeutet) verändert werden. Hier ist dann verglichen mit herkömmlichem Fokus-Stacking eine Bewegung des Fokus in weniger verschiedene Positionen nötig. Beispielsweise kann eine Schrittweite im Wesentlichen entsprechend der kohärenten Schärfentiefe gewählt werden. Als Ausgangsbasis für das Fokus- Stacking können dann die mit den oben diskutierten Verfahren erzeugten Bilder dienen, welche über einen jeweiligen kohärenten Schärfentiefenbereich scharf sind. Das oben erläuterte Grundprinzip kann auf verschiedene Weise angewendet werden, um ein Bild mit vergrößerter Schärfentiefe zu erzeugen. Bei einer Herangehensweise wird ein z-Stapel mit verschiedenen Fokusebenen„simuliert", d.h. auf Basis der mit verschiedenen Beleuchtungswinkeln aufgenommenen Bilder errechnet. Dieser z-Stapel kann dann mit herkömmlichen für z-Stapel bekannten Algorithmen zu einem Bild mit vergrößertem Schärfentiefenbereich verrechnet werden. Beispielsweise kann auf die Einzelbilder eine sukzessive Verschiebung als Operation angewendet werden, wobei jede Verschiebung dann einem anderen z-Wert entspricht. Für jeden Bildpunkt kann dann der Verschiebungswert verwendet werden und gespeichert werden, in der das Bild um den jeweiligen Bildpunkt herum am „schärfsten" ist. Als Kriterium kann hier beispielsweise eine lokale Varianz verwendet werden. Andere mögliche Kriterien sind zum Beispiel lokale Kantensteilheit, lokale Bildschärfemaße und ähnliche Maße, wie sie beispielsweise auch zur Einstellung eines Autofokus in der Fotografie verwendet werden.
Unten stehend ist ein Pseudocode dargestellt, welcher veranschaulicht, wie eine derartige Erzeugung eines Bildes mit vergrößerter Schärfentiefe von statten gehen kann. EDof = zeros(n);
Zmap = zeros(n);
BesteVarianz = zeros(n);
For z = z_min : z_max
Bild = Summe( [Shift] _((ζ,φ) )(Einzelbilder));
LokalerErwartungswert = Filter(Bild, lokaler Mittelungsfilter);
LokaleVarianz = Filter( (Bild - LokalerErwartungswert). Λ2 lokaler
Mittelungsfilter);
Indizees = (LokaleVarianz > BesteVarianz);
BesteVarianz(lndizees) = LokaleVarianz(lnd
EDoF(lndizees)
Zmap(lndizees)
end Zunächst werden Variablen EDof, Zmap und BesteVarianz auf Null initialisiert. Diese Variablen sind beispielsweise zweidimensionale Matrizen, wobei für jeden Bildpunkt (oder bei anderen Ausführungsbeispielen für jeden Farbkanal jedes Bildpunkts) ein Element der Matrix vorgesehen ist.
Dann folgt eine Schleife, die eine Variable z, welche einer z-Koordinate (entsprechend der Definition der z-Richtung der Fig. 1 ) von einem minimalen Wert z_min zu einem maximalen Wert z_max durchlaufen lässt. z_min und z_max liegen dabei innerhalb der bereits erwähnten kohärenten Schärfentiefe des Systems, müssen diesen jedoch nicht vollständig ausnutzen. Vielmehr kann auch nur ein Teilbereich bearbeitet werden, wenn nur dieser Teilbereich in einem bestimmten Fall von Interesse ist.
Für jeden z-Wert in der Schleife wird dann ein Bild als Summe von Einzelbildern berechnet, wobei die Bildpunkte der jeweiligen Einzelbilder um einen Betrag verschoben werden (Shift), welcher vom z-Wert z und dem jeweiligen Beleuchtungswinkel φ des jeweiligen Einzelbildes abhängt. Dann wird durch Anwendung eines lokalen Mittelungsfilters (welcher beispielsweise über einen gewissen Bereich von Bildpunkten, beispielsweise in der Größenordnung von 3x3 Bildpunkten mittein kann) ein lokaler Erwartungswert für jeden Bildpunkt bestimmt. Auf Basis von diesem lokalen Erwartungswert wird dann eine lokale Varianz für jeden Bildpunkt bestimmt, indem der Unterschied zwischen dem Bild und dem jeweiligen lokalen Erwartungswert (für jeden Bildpunkt) quadriert wird und hierauf wiederum der lokale Mittelungsfilter angewendet wird. Die Variablen LokaleErwartungswert und LokaleVarianz sind also Matrizen mit einem Element für jeden Bildpunkt (oder jeden Farbkanal jedes Bildpunktes). Diese lokale Varianz stellt ein Maß für die Schärfe dar. Dann werden alle Indizes, d.h. alle Bildpunkte, bestimmt, für die die lokale Varianz größer ist als die (bisher) beste Varianz. In anderen Worten werden hier diejenigen Bildpunkte bestimmt, bei welchen die bei dem jetzigen Durchlauf der z-Schleife erzeugte Schärfe besser ist als bei vorherigen Durchläufen erzielte Schärfewerte, jeweils gemäß dem Maß der lokalen Varianz. Für diese Indizes, d.h. diese Bildpunkte, wird die beste Varianz dann auf die lokale Varianz des jeweiligen Durchgangs gesetzt. Das Endbild EDof wird dann für die so bestimmten Indizes auf die Bildpunkte des jeweiligen Bildes (Variable Bild) aktualisiert, sodass nach dem kompletten Durchlauf der z-Schleife das Bild EDof nur aus den jeweils „besten" Bildpunkten besteht. Optional kann auch die Variable Zmap entsprechend auf den jeweiligen z-Wert gesetzt werden, sodass nach Durchlauf der Schleife Zmap eine Karte der z-Werte für die Bildpunkte des Bildes darstellt, wobei der z-Wert für jeden Bildpunkt dann der Wert ist, bei welchem die lokale Varianz, d.h. der für die Schärfenbestimmung benutzte Parameter, am größten ist.
Bei dem in dem Pseudoprogammcode dargestellten Verfahren können die Verschiebungen in Abhängigkeit von z und φ beispielsweise vorher durch eine Kalibrierung gewonnen werden und abgespeichert werden. Bei anderen Herangehensweisen ist es auch möglich, beispielsweise durch Durchspielen verschiedener Verschiebungsvektoren für jeden Bildpunkt den optimalen Verschiebungsvektor zu finden. Die Verschiebungen können wie bereits erwähnt zusätzlich benutzt werden, um Bildfehler zu korrigieren.
Auch andere Herangehensweisen können verwendet werden. Beispielsweise können mittels lokaler Stiching-Verfahren die Einzelbilder segmentiert werden und in jedem Teilbereich (Segment) eine automatische„Defokus"-Suche durchgeführt werden, d.h. für jeden Teilbereich eine automatisierte„Defokus"-Suche durchgeführt werden. Dabei werden die Einzelbilder, d.h. die unter den verschiedenen Beleuchtungswinkeln beleuchteten Bilder, in den jeweiligen Segmenten so verschoben, dass einander entsprechende Strukturen in den Segmenten bestmöglich übereinander liegen. Ähnliche Verfahren sind beispielsweise in der deutschen Patentanmeldung DE 10 2014 109 687 A1 zum Zwecke einer Einstellung eines Autofokus beschrieben. Eine derartige Defokus-Suche kann beispielsweise mittels einer lokalen Korrelation mit SSIM („structural similarity")— Bewertung durchgeführt werden. Bei einer derartigen Herangehensweise wird nicht nur ein Defokus korrigiert, d.h. für jedes Segment eine optimierte Schärfe erreicht, sondern es können auch andere Defokus abhängige Bildfehler korrigiert werden. Bei wieder einer anderen Herangehensweise wird zunächst eine 3D-Karte der Probe berechnet, im Wesentlichen entsprechend der Zmap in dem oben erläuterten Pseudocode. Eine derartige 3D-Karte kann im Wesentlichen basierend darauf bestimmt werden, dass abhängig von der z- Koordinate wie bereits erläutert Bildbereich in Abhängigkeit von dem Beleuchtungswinkel verschiedene Verschiebungen erfahren, sodass von der Verschiebung auf die z-Koordinate rückgeschlossen werden kann. Derartige Verfahren sind beispielsweise in der DE 10 2014 109 687 A1 oder der DE 10 2014 1 13 433 A1 näher beschrieben. Bei derartigen Verfahren kann beispielsweise der Versatz von gleichen Strukturen zueinander für verschiedene Beleuchtungswinkel bestimmt werden, beispielsweise durch Bilderkennungsverfahren, und abhängig von diesem Versatz kann die z-Koordinate bestimmt werden, beispielsweise basierend auf einer vorhergehenden Kalibrierung. Das Bild mit erweiterter Schärfentiefe kann dann auf Basis der 3D-Karte der Probe entsprechend einer feldabhängigen Defokus-Korrektur mit entsprechenden Verschiebungen von Bildelementen für jede z-Ebene beschrieben werden, ähnlich einer Defokus-Korrektur, wie sie beispielsweise in der DE 10 2014 1 12 666 A1 oder der DE 10 2014 1 12 648 A1 (dort zum Zwecke der Korrektur von Bildfehlern) beschrieben ist. Zu bemerken ist, dass die hier beschriebenen Techniken nicht nur auf herkömmliche Bilder anwendbar sind. Vielmehr können sie auch auf Phasenkontrastbilder angewendet werden, die ebenfalls durch Beleuchtung unter verschiedenen Beleuchtungswinkeln erzeugt werden können. Beispielsweise ist in der DE 10 2014 1 12 242 A1 beschrieben, wie durch Beleuchtung unter verschiedenen Beleuchtungswinkeln, insbesondere verschiedenen Beleuchtungsrichtungen, Phasenkontrastbilder erzeugt werden können. Dabei können beispielsweise immer zwei Beleuchtungsrichtungen ein Paar geben und Intensitätsbilder (d.h. herkömmliche Bilder) aus zwei oder drei oder mehreren beliebigen Beleuchtungsrichtungen können kombiniert werden, wobei die Beleuchtungsrichtungen unterschiedliche Winkel mit der optischen Achse einschließen.
Zur Veranschaulichung sind in Fig. 4 die angewendeten Prinzipien nochmals schematisch dargestellt. Bei der vereinfachten schematischen Darstellung der Fig. 4 werden drei Bilder 41 , 42 und 43 unter verschiedenen Beleuchtungswinkeln aufgenommen. Wie zu sehen ist, erscheinen verschiedene Teile des Objekts zueinander verschoben, insbesondere außerhalb eines Fokus liegende Teile, was an den unterschiedlichen Beleuchtungsrichtungen liegt.
Auf die Bilder werden verschiedene Operationen T1 bis T3 angewendet, wobei die auf einen jeweiligen Bildpunkt angewendete Verschiebung zum einen von der z-Koordinate und zum anderen von der Beleuchtungsrichtung abhängt, wie oben erläutert. Dies führt zu entsprechenden Bildern 44-46, bei welchen einander entsprechende Teile im Wesentlichen am gleichen Ort sind. Durch Kombination, beispielsweise Summierung, dieser Bilder kann dann ein Bild 47 mit erhöhter Schärfentiefe erzeugt werden, wobei gleichzeitig Bildfehler korrigiert werden können. Wie bereits erläutert kann die dargestellte Vorgehensweise auch miteinander verschoben oder verschachtelt durchgeführt werden, beispielsweise wie in dem obigen Pseudocode, wo nacheinander die Summen von Bildern, auf die Verschiebungsoperationen angewendet wurden, für verschiedene z-Koordinaten gebildet werden und jeweils die „schärfsten" Teile in das endgültige Bild übernommen werden. Bei anderen Ausführungsbeispielen können auch andere Metriken als dem obigen Pseudocode verwendet werden. Zur Veranschaulichung der Wirkung der beschriebenen Verfahren und Vorrichtungen zeigt Fig. 5A ein Einzelbild, welches beispielsweise mit einem Beleuchtungswinkel aufgenommen wurde. Fig. 5B zeigt ein mit einem Verfahren gemäß einem Ausführungsbeispiel erzeugtes Ergebnisbild, bei welchem die Schärfentiefe erhöht wurde. Wie zu sehen ist, sind viele Strukturen deutlich schärfer als in dem Bild der Fig. 5A zu erkennen.
Nunmehr wird noch unter Bezugnahme auf Fig. 6 die Funktionsweise der oben beschriebenen Ausführungsbeispiele erläutert, d.h. es wird dargestellt, warum mit den dargestellten und erläuterten Ausführungsbeispielen in der Tat eine Erhöhung der Schärfentiefe erfolgen kann. In anderen Worten wird unter Bezugnahme auf die Fig. 6 die Ursache der oben bereits beschriebenen Effekte erläutert.
Die Fig. 6 zeigt als Beispiel ein einfaches optisches System mit zwei Linsen 61 , 62. Punkte P1 bis P3 in einer Fokusebene 60 des optischen Systems 61 , 62 werden auf Punkte P1 ' bis P3' in einer Bildebene 63, in der sich beispielsweise eine Kamera befindet, abgebildet.
Zur weiteren Erläuterung wird der Einfachheit halber als Objekt von einem Punkt P ausgegangen, der wie dargestellt außerhalb der Fokusebene 60 liegt und nacheinander aus drei verschiedenen Richtungen B1 , B2 und B3 beleuchtet wird. Bei einer Beleuchtung aus der Beleuchtungsrichtung B1 gelangt Licht von dem Punkt P im Wesentlichen bei dem Punkt P1 in die Fokusebene (abgesehen gegebenenfalls von Streuungen) und wird entsprechend den Gesetzen der Strahlenoptik auf den Punkt P1 ' abgebildet. Bei der Beleuchtungsrichtung B2 gelangt Licht von dem Punkt P bei dem Punkt P2 in die Fokusebene und wird entsprechend auf den Punkt P2' abgebildet. Bei der Beleuchtungsrichtung B3 gelangt Licht von dem Punkt P bei dem Punkt P3 zu der Fokusebene und wird auf den Punkt P3' abgebildet.
So bewirkt eine Beleuchtung aus unterschiedlichen Beleuchtungswinkeln (B1 , B2, B3) eine Verschiebung des Punktes P in der Bildebene (Ρ1 ', P2' bzw. Ρ3'), wie oben bereits erläutert. Durch die oben bereits beschriebenen Verschiebungen der jeweils (z.B. in der Bildebene 63) aufgenommenen Bilder können die Punkte dann wieder zur Deckung gebracht werden.
Ergänzend ist zu bemerken, dass im Falle einer nicht gerichteten Beleuchtung, also einer Beleuchtung, die nicht unter einem speziellen Beleuchtungswinkel erfolgt, der Punkt P sowohl auf P1 ' als auch auf P2' als auch auf P3' als auch auf dazwischenliegende Punkte abgebildet wird, was die übliche unscharfe Abbildung für außerhalb der Fokusebene 60 liegende Objekte ist. Die Verschiebung der Bildebene liegt also gerade daran, dass nicht beliebig beleuchtet wird, sondern unter bestimmten Winkeln, wie oben bereits beschrieben.
Es entsteht somit durch die gerichtete Beleuchtung unter verschiedenen Beleuchtungswinkeln gerade kein ausgedehnter Unschärfebereich, sondern vielmehr wird ein Objekt wie der Punkt P in dem Beispiel an verschiedenen Stellen in der Bildebene je nach Beleuchtungswinkel abgebildet. Die einzelnen Abbildungen erfolgen dabei im Wesentlichen scharf. Allerdings wird für jede Beleuchtungsrichtung wie ebenso aus Fig. 6 ersichtlich, nur ein kleiner Teil der Apertur der optischen Vorrichtung genutzt, was zu einer Erniedrigung der Auflösung führt. Durch das Verschieben und Kombinieren der verschiedenen Bilder wie oben beschrieben wird dieser Nachteil wieder aufgehoben, da mehrere Beleuchtungsrichtungen kombiniert werden, und so zumindest ein größerer Teil der gesamten Apertur genutzt wird.
Die dargestellten Ausführungsbeispiele bieten verschiedene Vorteile gegenüber herkömmlichen Verfahren und Vorrichtungen zur Bildaufnahme mit erhöhter Schärfentiefe. Beispielsweise kann die Messung schneller sein als ein herkömmlicher z-Stapel, da keine mechanische Einstellung des Fokus möglich ist. Unter Umständen ist auch eine Zahl benötigter Messungen geringer als bei herkömmlichen Verfahren. Abhängig von der zur Verfügung stehenden Rechenleistung kann die Erstellung des Ergebnisbildes mit erhöhter Schärfentiefe schnell erfolgen.
Zudem können gleichzeitig wie bereits erläutert auch andere Bildfehler korrigiert werden, beispielsweise Defokus, Astigmatismus, Bildfeldwölbung und Farblängsfehler, wobei dies auch feldabhängig erfolgen kann. Innerhalb der kohärenten Schärfentiefe der verwendeten Vorrichtung kann das Bild mit erhöhter Schärfentiefe ohne Auflösungsverlust (mit Einschränkungen, falls Bildfehler mit korrigiert werden) erfolgen. Wie bereits erläutert, können zudem die dargestellten Techniken zur Erzeugung eines Ergebnisbildes mit vergrößerter Schärfentiefe auf Phasenkontrastbilder, welche gleichzeitig digital erzeugt werden können, angewendet werden. Die Techniken sind auch offline durchführbar. Dies bedeutet beispielsweise, dass die Auswerteeinrichtung 20 der Fig. 1 auch separat von dem Rest der Vorrichtung bereitgestellt werden kann, solange ihr die Bilder entsprechend zugeführt werden. Gleichzeitig mit der Berechnung des Ergebnisbildes kann eine z-Karte erstellt werden, beispielsweise wie in dem oben diskutierten Pseudocode. Die dargestellten Verfahren und Vorrichtungen sind mit verschiedenen anderen Verfahren und Vorrichtungen auf einfache Weise kombinierbar. Wenn ein höherer Schärfentiefenbereich als die kohärente Schärfentiefe der entsprechenden Vorrichtung benötigt wird, kann zusätzlich der Fokus verändert werden, wobei hier weniger Fokusänderungen notwendig sind als bei einem herkömmlichen z-Stapel. Die oben diskutierten Ausführungsbeispiele dienen lediglich der Veranschaulichung und sind nicht einschränkend auszulegen.

Claims

Patentansprüche
Verfahren zur Bildaufnahme, umfassend:
Aufnehmen einer Vielzahl von Bildern (41 -43), wobei zur Aufnahme der Vielzahl von Bildern ein Objekt (2) unter zwischen den Bildern (41 -43) unterschiedlichen Beleuchtungswinkeln (4) beleuchtet wird, und
Verarbeiten der Vielzahl von Bildern (41 -43), wobei das Verarbeiten umfasst:
Anwenden von Operationen auf die Vielzahl von Bildern, und Kombinieren der Vielzahl von Bildern mit den darauf angewendeten Operationen, um ein Ergebnisbild mit erhöhter Schärfentiefe zu erhalten.
Verfahren nach Anspruch 1 , wobei das Anwenden von Operationen ein Anwenden einer Verschiebung auf Bildelemente der Bilder umfasst.
Verfahren nach Anspruch 2, wobei die Verschiebung von dem Beleuchtungswinkel des jeweiligen Bildes und von einer Position eines dem jeweiligen Bildelement entsprechenden Teil des Objekts (2) in einer Richtung parallel zur optischen Achse (5) abhängt.
Verfahren nach Anspruch 2 oder 3, wobei das Anwenden von Operationen ein Anwenden von Operationen für eine Vielzahl von Positionen in einer Richtung parallel zu einer optischen Achse und ein Auswählen von Bildteilen für das Ergebnisbild, für welche ein Schärfemaß eine größte Schärfe anzeigt, für das Ergebnisbild umfasst.
Verfahren nach Anspruch 4, wobei das Schärfemaß auf Basis einer lokalen Varianz bestimmt wird.
Verfahren nach einem der Ansprüche 1 -5, wobei das Verarbeiten umfasst:
Durchlaufen einer Schleife, in der ein Positionsparameter über einen gewünschten Positionsbereich parallel zu einer optischen Achse einer für die Bildaufnahme verwendeten Vorrichtung durchläuft, und für jeden Positionsparameter der Schleife: Bestimmen eines Zwischenbildes als Summe über die Vielzahl von Bildern, auf die als Operation jeweils eine von dem jeweiligen Höhenparameter und dem jeweiligen Beleuchtungswinkel angewendete Verschiebung angewendet wurde,
Bilden eines lokalen Varianzwerts für jedes Bildelement des Zwischenbildes, und Aufnahme derjenigen Bildelemente des Zwischenbildes in das Ergebnisbild, bei welchem die lokale Varianz größer ist als eine lokale Varianz vorhergehender Schleifendurchläufe.
Verfahren nach einem der vorhergehenden Ansprüche, weiter umfassend Erstellen einer Höhenkarte auf Basis der Vielzahl von Bildern.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verarbeiten ein Stiching umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei Verarbeiten ein Anwenden einer Bildkorrektur umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Ergebnisbild ein Phasenkontrastbild umfasst.
Vorrichtung zur Bildaufnahme, umfassend:
eine Beleuchtungseinrichtung (1 1 , 12), die ansteuerbar ist, eine Mehrzahl unterschiedlicher Beleuchtungswinkel (4) für eine Beleuchtung eines Objekts einzustellen, eine Bildaufnahmeeinrichtung (14, 15), welche eingerichtet ist, eine Vielzahl von Bildern (41 -43) des Objekts aufzunehmen, wobei sich die Beleuchtungswinkel für verschiedene der Vielzahl von Bildern unterscheiden, und
eine Auswerteeinrichtung (20) zur Verarbeitung der Vielzahl von Bildern, wobei die Auswerteeinrichtung (20) eingerichtet ist, auf jedes Bild der Vielzahl von Bildern (41 -43) eine Operation anzuwenden und die Bilder mit den darauf angewendeten Operationen zu kombinieren, um ein Ergebnisbild mit vergrößerter Schärfentiefe zu erzeugen.
12. Vorrichtung nach Anspruch 1 1 , wobei die Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 -10 eingerichtet ist.
PCT/EP2016/060812 2015-05-13 2016-05-13 Vorrichtung und verfahren zur bildaufnahme mittels beleuchtung unter unterschiedlichen beleuchtungswinkeln Ceased WO2016180960A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/572,349 US10755429B2 (en) 2015-05-13 2016-05-13 Apparatus and method for capturing images using lighting from different lighting angles
CN201680027813.7A CN107690595B (zh) 2015-05-13 2016-05-13 用于借助以不同的照明角度进行照明来图像记录的设备和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015107517.2A DE102015107517B3 (de) 2015-05-13 2015-05-13 Vorrichtung und Verfahren zur Bildaufnahme mit erhöhter Schärfentiefe
DE102015107517.2 2015-05-13

Publications (1)

Publication Number Publication Date
WO2016180960A1 true WO2016180960A1 (de) 2016-11-17

Family

ID=56083996

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/060812 Ceased WO2016180960A1 (de) 2015-05-13 2016-05-13 Vorrichtung und verfahren zur bildaufnahme mittels beleuchtung unter unterschiedlichen beleuchtungswinkeln

Country Status (4)

Country Link
US (1) US10755429B2 (de)
CN (1) CN107690595B (de)
DE (1) DE102015107517B3 (de)
WO (1) WO2016180960A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017121291A1 (de) * 2017-09-14 2019-03-14 Carl Zeiss Microscopy Gmbh Bestimmung von Aberrationen mittels Winkel-variabler Beleuchtung

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015122712B4 (de) 2015-12-23 2023-05-04 Carl Zeiss Microscopy Gmbh Vorrichtung und Verfahren zur Bildaufnahme
DE102016101967B9 (de) 2016-02-04 2022-06-30 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtungen zur Stereobilddarstellung
DE102016123154A1 (de) * 2016-11-30 2018-05-30 Carl Zeiss Microscopy Gmbh Bestimmung der Anordnung eines Probenobjekts mittels winkelselektiver Beleuchtung
EP3698193A1 (de) * 2017-10-19 2020-08-26 Scopio Labs Ltd. Adaptive abtastung auf tiefenbasis
CN109961455B (zh) * 2017-12-22 2022-03-04 杭州萤石软件有限公司 一种目标检测方法及装置
CN108989676B (zh) * 2018-07-27 2021-04-13 苏州睿仟科技有限公司 一种增加反射元件提高景深的自动聚焦装置及自动聚焦方法
JP7277101B2 (ja) * 2018-10-11 2023-05-18 キヤノン株式会社 収差推定方法、収差推定装置、プログラムおよび記憶媒体
DE102018128083A1 (de) * 2018-11-09 2020-05-14 Leica Microsystems Cms Gmbh Mikroskopisches Durchlichtkontrastierverfahren
WO2021117099A1 (ja) * 2019-12-09 2021-06-17 株式会社アルステクネ 画像処理方法、プログラム、及び画像処理装置
DE102020210592A1 (de) 2020-08-20 2022-02-24 Carl Zeiss Microscopy Gmbh Verfahren und Mikroskop zum Erzeugen einer artefaktreduzierten Übersichtsaufnahme eines Probenträgers
DE102021105795A1 (de) * 2021-03-10 2022-09-15 Carl Zeiss Microscopy Gmbh Verfahren und vorrichtung zur stereoskopie
CN117355784A (zh) * 2021-08-16 2024-01-05 深圳华大生命科学研究院 显微成像装置及其光照芯片、成像方法、电子设备和介质
JP2025002600A (ja) * 2023-06-23 2025-01-09 株式会社エビデント 観察システム、フォーカス位置算出方法、プログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025880A1 (en) * 2009-08-03 2011-02-03 Genetix Corporation Fluorescence imaging
US20130016885A1 (en) * 2011-07-14 2013-01-17 Canon Kabushiki Kaisha Image processing apparatus, imaging system, and image processing system
DE102011054106A1 (de) * 2011-09-30 2013-04-04 Jörg Piper Vorrichtung zur Erzeugung einer variablen Phasenkontrast-/Dunkelfeld-Beleuchtung
US20130280752A1 (en) * 2011-01-06 2013-10-24 The Regents Of The University Of California Lens-free tomographic imaging devices and methods
US20150087902A1 (en) * 2012-03-30 2015-03-26 Trustees Of Boston University Phase Contrast Microscopy With Oblique Back-Illumination
DE102014109687A1 (de) 2014-07-10 2016-01-14 Carl Zeiss Ag Positionsbestimmung eines Objekts im Strahlengang einer optischen Vorrichtung
DE102014112648A1 (de) 2014-08-29 2016-03-03 Carl Zeiss Ag Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme
DE102014112666A1 (de) 2014-08-29 2016-03-03 Carl Zeiss Ag Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme
DE102014112242A1 (de) 2014-08-26 2016-03-03 Carl Zeiss Ag Phasenkontrast-Bildgebung
DE102014113433A1 (de) 2014-09-17 2016-03-17 Carl Zeiss Ag Vorrichtung und Verfahren zur dreidimensionalen Abbildung eines Objekts

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3906555A1 (de) 1989-03-02 1989-07-06 Zeiss Carl Fa Auflicht-objektbeleuchtungseinrichtung
US5808291A (en) 1995-08-30 1998-09-15 Minolta Co., Ltd. Image information detection system and optical equipment using the system
JP2960013B2 (ja) 1996-07-29 1999-10-06 慧 清野 移動物体の検出用目盛及びこれを用いた移動物体の検出装置
DE102004012125B3 (de) * 2004-03-12 2005-09-01 Nanofilm Technologie Gmbh Ellipsometrisches Messverfahren mit ROI-gestützter Bildkorrektur
DE102009012248A1 (de) 2008-03-14 2009-09-17 Carl Zeiss Sms Gmbh Autofokusverfahren und Abbildungsvorrichtung zur Durchführung des Verfahrens
CN101320094B (zh) 2008-05-21 2011-05-04 旭丽电子(广州)有限公司 一种光源扫描定位系统及其定位方法
CN101566692B (zh) 2009-05-26 2011-04-13 吉林大学 利用卫星遥感数据中的云影信息检测云高的方法
JP5814684B2 (ja) 2010-09-03 2015-11-17 オリンパス株式会社 位相物体の可視化方法及び可視化装置
WO2012058233A2 (en) 2010-10-26 2012-05-03 California Institute Of Technology Scanning projective lensless microscope system
US9569664B2 (en) 2010-10-26 2017-02-14 California Institute Of Technology Methods for rapid distinction between debris and growing cells
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US20150253428A1 (en) 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
US9451147B2 (en) 2012-06-11 2016-09-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
JP6046929B2 (ja) 2012-06-25 2016-12-21 株式会社キーエンス 光学測定装置
DE102012214568A1 (de) * 2012-08-16 2014-02-20 Leica Microsystems Cms Gmbh Optische Anordnung und ein Mikroskop
JP5988790B2 (ja) 2012-09-12 2016-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
DE102012218863A1 (de) 2012-10-16 2014-04-17 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Stereoskopisches Abbildungssystem
US10679763B2 (en) 2012-10-30 2020-06-09 California Institute Of Technology Fourier ptychographic imaging systems, devices, and methods
US9864184B2 (en) 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
CN103727919B (zh) 2014-01-16 2016-06-08 中国地质调查局西安地质调查中心 一种静止轨道地球同步卫星数字寻星方法
CN103905797A (zh) 2014-04-18 2014-07-02 山东神戎电子股份有限公司 一种具有测距功能的监控设备及测距方法
US9817224B2 (en) 2014-04-30 2017-11-14 University Of Connecticut Methods and systems for Fourier ptychographic imaging
TWI529661B (zh) 2014-10-17 2016-04-11 國立臺灣大學 快速建立景深圖的方法及影像處理裝置
CN107203034B (zh) 2016-03-18 2021-02-26 松下知识产权经营株式会社 图像生成装置、图像生成方法以及记录介质
CN107205113B (zh) 2016-03-18 2020-10-16 松下知识产权经营株式会社 图像生成装置、图像生成方法及计算机可读存储介质
JP6765057B2 (ja) 2016-03-18 2020-10-07 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法およびプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025880A1 (en) * 2009-08-03 2011-02-03 Genetix Corporation Fluorescence imaging
US20130280752A1 (en) * 2011-01-06 2013-10-24 The Regents Of The University Of California Lens-free tomographic imaging devices and methods
US20130016885A1 (en) * 2011-07-14 2013-01-17 Canon Kabushiki Kaisha Image processing apparatus, imaging system, and image processing system
DE102011054106A1 (de) * 2011-09-30 2013-04-04 Jörg Piper Vorrichtung zur Erzeugung einer variablen Phasenkontrast-/Dunkelfeld-Beleuchtung
US20150087902A1 (en) * 2012-03-30 2015-03-26 Trustees Of Boston University Phase Contrast Microscopy With Oblique Back-Illumination
DE102014109687A1 (de) 2014-07-10 2016-01-14 Carl Zeiss Ag Positionsbestimmung eines Objekts im Strahlengang einer optischen Vorrichtung
DE102014112242A1 (de) 2014-08-26 2016-03-03 Carl Zeiss Ag Phasenkontrast-Bildgebung
DE102014112648A1 (de) 2014-08-29 2016-03-03 Carl Zeiss Ag Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme
DE102014112666A1 (de) 2014-08-29 2016-03-03 Carl Zeiss Ag Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme
DE102014113433A1 (de) 2014-09-17 2016-03-17 Carl Zeiss Ag Vorrichtung und Verfahren zur dreidimensionalen Abbildung eines Objekts

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
EDWARD R. DOWSKI, JR.; W. THOMAS CATHEY: "Extended Depth of field through wave-front coding", APPLIED OPTICS, vol. 34, no. 11, 1995, pages 1859 - 1866, XP055140258, DOI: doi:10.1364/AO.34.001859
GUOAN ZHENG ET AL: "Wide-field, high-resolution Fourier ptychographic microscopy", NATURE PHOTONICS, vol. 7, no. 9, 28 July 2013 (2013-07-28), pages 739 - 745, XP055181687, ISSN: 1749-4885, DOI: 10.1038/nphoton.2013.187 *
S. KAWATA ET AL: "Optical microscope tomography. I. Support constraint", JOURNAL OF THE OPTICAL SOCIETY OF AMERICA A, vol. 4, no. 1, 1 January 1987 (1987-01-01), pages 292, XP055226123, ISSN: 1084-7529, DOI: 10.1364/JOSAA.4.000292 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017121291A1 (de) * 2017-09-14 2019-03-14 Carl Zeiss Microscopy Gmbh Bestimmung von Aberrationen mittels Winkel-variabler Beleuchtung

Also Published As

Publication number Publication date
US10755429B2 (en) 2020-08-25
DE102015107517B3 (de) 2016-06-23
CN107690595B (zh) 2021-03-09
CN107690595A (zh) 2018-02-13
US20180122092A1 (en) 2018-05-03

Similar Documents

Publication Publication Date Title
DE102015107517B3 (de) Vorrichtung und Verfahren zur Bildaufnahme mit erhöhter Schärfentiefe
EP3186952B1 (de) Bildaufnahmevorrichtung und verfahren zur bildaufnahme
DE102014113433B4 (de) Vorrichtung und Verfahren zur dreidimensionalen Abbildung eines Objekts
DE102017220104A1 (de) Linsensystem mit variabler Brennweite mit Mehrebenen-Bildverarbeitung mit erweiterter Tiefenschärfe
DE102012106584B4 (de) Verfahren und Vorrichtung zur Bildrekonstruktion
WO2016030479A1 (de) Bildaufnahmevorrichtung und verfahren zur bildaufnahme
DE102016213122A1 (de) Mehrstufige Bildschärfe unter Verwendung einer abstimmbaren Linse in einem maschinellen Sichtinspektionssystem
WO2018127509A1 (de) Verfahren zur erzeugung eines dreidimensionalen modells einer probe in einem digitalen mikroskop und digitales mikroskop
EP4227636B1 (de) Bestimmung von tiefenwerten eines oberflächenbereichs eines werkstücks
DE102015218917B4 (de) Verfahren zur Ermittlung einer Position eines Strukturelements auf einer Maske und Mikroskop zur Durchführung des Verfahrens
EP3195250A1 (de) Verfahren zum erzeugen eines ergebnisbilds und optische vorrichtung
DE102014006717A1 (de) Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes mit einem Digitalmikroskop und Datenverarbeitungsprogramm zur Abarbeitung des Verfahrens
WO2018099652A1 (de) Bestimmung der anordnung eines probenobjekts mittels winkelselektiver beleuchtung
DE102012102580A1 (de) Verfahren zum Messen eines Objektes sowie Intraoral-Scanner
DE102015208442A1 (de) Verfahren und Vorrichtung zum Ermitteln zumindest eines Objektabbildes in einer Umgebung um einen änderunssensitiven optischen Bildsensor
WO2017148555A1 (de) Verfahren zur bestimmung einer höhenlage eines objekts
DE102017123510A1 (de) Digitales Mikroskop und Verfahren zum Aufnehmen eines Stapels von mikroskopischen Bildern einer Probe
DE10033483C1 (de) Verfahren zur Autofokussierung für Fernrohre von Vermessungsgeräten
WO2020127748A1 (de) Vorrichtung mit einer multiaperturabbildungsvorrichtung zum akkumulieren von bildinformation
WO2024022973A1 (de) Computerimplementiertes verfahren, verfahren, messgerät und computerprogrammprodukt
DE102021111417A1 (de) Verfahren und System zu Bestimmung der Lage eines Markers in einem 2D-Bild und dafür ausgebildeter Marker
DE102018215601B4 (de) Anordnung von Mikrospiegeln, Mikrospiegelvorrichtung, Verwendung einer Mikrospiegelvorrichtung, Abbildungssystem, Verfahren und Computerprogrammprodukt zur Aufweitung eines Schärfebereichs des Abbildungssystems und/oder zur Erzeugung eines Tiefenbildes
DE112022006792T5 (de) Bildverarbeitungsgerät, bildverarbeitungssystem und bildverarbeitungsprogramm
DE10330714A1 (de) Verfahren zum automatischen Fokussieren bei der Abbildung eines Objektes
DE102015107518A1 (de) Verfahren und Vorrichtung zur Bestimmung von optischen Eigenschaften

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16725411

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15572349

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16725411

Country of ref document: EP

Kind code of ref document: A1