WO2017109053A2 - Vorrichtung und verfahren zur bildaufnahme - Google Patents

Vorrichtung und verfahren zur bildaufnahme Download PDF

Info

Publication number
WO2017109053A2
WO2017109053A2 PCT/EP2016/082347 EP2016082347W WO2017109053A2 WO 2017109053 A2 WO2017109053 A2 WO 2017109053A2 EP 2016082347 W EP2016082347 W EP 2016082347W WO 2017109053 A2 WO2017109053 A2 WO 2017109053A2
Authority
WO
WIPO (PCT)
Prior art keywords
images
image
illumination
different
combined
Prior art date
Application number
PCT/EP2016/082347
Other languages
English (en)
French (fr)
Other versions
WO2017109053A3 (de
Inventor
Alexander Gaiduk
Markus Sticker
Lars STOPPE
Ralf Wolleschensky
Original Assignee
Carl Zeiss Microscopy Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy Gmbh filed Critical Carl Zeiss Microscopy Gmbh
Priority to CN201680075911.8A priority Critical patent/CN108474931B/zh
Priority to JP2018532742A priority patent/JP6655188B2/ja
Priority to US16/065,263 priority patent/US10948705B2/en
Priority to EP16825751.7A priority patent/EP3394656A2/de
Publication of WO2017109053A2 publication Critical patent/WO2017109053A2/de
Publication of WO2017109053A3 publication Critical patent/WO2017109053A3/de

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/12—Condensers affording bright-field illumination
    • G02B21/125—Condensers affording bright-field illumination affording both dark- and bright-field illumination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0064—Optical details of the image generation multi-spectral or wavelength-selective arrangements, e.g. wavelength fan-out, chromatic profiling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0068—Optical details of the image generation arrangements using polarisation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/082—Condensers for incident illumination only
    • G02B21/084—Condensers for incident illumination only having annular illumination around the objective
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/10—Condensers affording dark-field illumination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view

Definitions

  • the present application relates to imaging devices and to methods using a corresponding device.
  • the present application relates to devices, e.g. Microscope devices for image acquisition, in which an improved result image is generated from a plurality of individual images.
  • illumination is used in many cases to detect an object to be recorded, e.g. a sample to light.
  • an object to be recorded e.g. a sample to light.
  • Illuminated images to obtain an improved result image for example, from DE 10 2014 1 13 256 and DE 10 2014 1 13 258 of the applicant disclosed.
  • a lighting device is disclosed for example in DE 39 06 555 A1 of the applicant. It is an object of the present invention to provide devices and methods which are particularly suitable for a dark field recording.
  • an image pickup apparatus comprising: an image pickup device and
  • a lighting device wherein the lighting device has a recess to allow a passage of light to the image pickup device, and wherein the illumination device has a plurality of independently controllable lighting sections;
  • the image pickup device and the illumination device are arranged on a same side of a sample plane of the image pickup device;
  • Lighting device seen from the sample plane is less than or equal to an angle defined by a numerical aperture of the image pickup device.
  • Lighting sections in particular a dark field illumination can be realized from different directions.
  • an advantageous illumination from different directions especially for a later
  • Lighting sections may vary as long as it is less than or equal to that through the
  • the angle at contant distance between adjacent illumination sections may become smaller with increasing distance from the optical axis of the image recording device, or the distances between the illumination sections may be selected such that the angle remains constant. Other types of variation are possible.
  • the angle between adjacent lighting sections of the lighting device may be at least 10%, at least 20%, at least 30% or at least 50% smaller than the angle defined by the numerical aperture of the image pickup device.
  • a ratio of a distance of the image pickup device to the sample plane to a distance of the illumination device to the sample plane may be in a range between 1 and 1.5, but is not limited thereto.
  • the illumination device and the image recording device can thus be arranged at a similar distance from the sample plane and thus from the sample.
  • the plurality of illumination sections may include a plurality of light source elements, e.g. Include light emitting diodes.
  • the lighting can be flexibly adjusted.
  • illumination from different directions, at different angles and by switching on a plurality of light-emitting diodes can also be realized simultaneously with different intensity.
  • the light source elements may be individually and / or segmentally controllable, so as to realize the plurality of independently controllable lighting sections.
  • the size and shape of the segments may be variable, e.g. by combining different numbers of light source elements into one segment. Thus, e.g. the distance between the segments and so the above-mentioned angle between adjacent ones
  • Lighting sections of the lighting device can be adjusted.
  • the illumination device may also comprise a planar light source and optionally controllable shading elements for darkening each of a part of the planar light source.
  • the planar light source can be flat, but also curved or shaped differently.
  • the illumination device may be annular with an inner diameter and a
  • the device can be a further illumination device, wherein light from the further illumination device can be coupled into a beam path of the image recording device. As a result, a bright field illumination can be additionally realized.
  • the further illumination device may comprise a movable light source element.
  • the further illumination device may comprise a plurality of independently controllable illumination sections.
  • the lighting device and / or the further lighting device may be movable, e.g. in a plane parallel to the sample plane or perpendicular thereto.
  • the movement may also include tilting or rotational movement.
  • Embodiments may also include various parts, e.g. various
  • Lighting device to be relatively movable.
  • the device may further comprise a further image recording device, wherein the further image recording device with regard to numerical aperture, working distance,
  • the further image recording device can be arranged with respect to the image recording device on an opposite side of the sample plane. So can both
  • the device may comprise an additional illumination device whose light can be coupled in a beam path of the further illumination device. So can be realized in terms of lighting more variation options.
  • the apparatus may further comprise a control device, wherein the control device is set up to control the illumination device sequentially for activating different illumination sections in order to illuminate a sample in the sample plane at different angles and / or from different directions, and
  • Lighting device to obtain a corresponding variety of images.
  • the illumination from different directions makes it possible, in particular, to correct reflections that result from the illumination being arranged on the same side as the image recording device.
  • the controller may be further configured to make the plurality of images into one
  • controller In combining, one or more of the following may be performed by the controller:
  • the control device can be further configured to evaluate a quality of the result image and, depending on the evaluation, the sequential control of the
  • Lighting device and / or a selection of images for combining to modify can be adjusted dynamically depending on a result achieved when combining and, if necessary, a desired result.
  • a method of image capturing comprising: capturing a plurality of images with the device as described above, wherein different illumination sections of the illumination device of the device are activated for different images of the plurality of images, and Combining the plurality of images into a resulting image with improved
  • a method of image capture comprising:
  • Image components are omitted when combining.
  • the method may further comprise:
  • the method may further include:
  • the recording of the further images to be combined from the plurality of images can be triggered by selecting the further images to be combined.
  • the method may further include:
  • the combination parameters Performing an optimization to provide combination parameters for combining the further images to be combined, the combination parameters ensuring that the result image satisfies the increased image contrast as an optimization criterion.
  • FIG. 1A is a block diagram of a device according to an embodiment
  • FIG. 1B is a diagram illustrating an arrangement of illumination sections in the embodiment of FIG. 1A, FIG.
  • FIG. 2A is a schematic cross-sectional view of a device according to a
  • FIG. 2B is a plan view of a lighting device of the device of Fig. 2A,
  • FIG. 3 is a cross-sectional view of a device according to another embodiment
  • FIG. 4 shows a cross-sectional view of a device according to a further exemplary embodiment
  • FIG. 5A is a cross-sectional view of a device according to another embodiment
  • FIG. 5B is a schematic view of a lighting device of the embodiment of FIG. 5A;
  • FIGS. 6A and 6B are schematic views of a lighting device according to an embodiment
  • FIGS. 7A to 7C are diagrams for illustrating a possible activation of the illumination device of FIGS. 6A and 6B,
  • Fig. 8 is a schematic cross-sectional view of a device according to another
  • FIG. 9 is a schematic cross-sectional view of a device according to another
  • FIGS. 10 to 12 detailed views of various implementation examples
  • FIGS. 13A and 13B are flowcharts illustrating methods according to some embodiments
  • FIGS. 10 to 12 detailed views of various implementation examples
  • FIGS. 13A and 13B are flowcharts illustrating methods according to some embodiments
  • FIGS. 10 to 12 detailed views of various implementation examples
  • FIGS. 13A and 13B are flowcharts illustrating methods according to some embodiments
  • FIGS. 10 to 12 detailed views of various implementation examples
  • FIGS. 13A and 13B are flowcharts illustrating methods according to some embodiments
  • Figs. 14 to 21 are example diagrams for illustrating the effect of various
  • FIG. 1A a block diagram of a device according to an embodiment is shown.
  • an image recording device 14 is used to record an image of a sample 12, which is arranged in a sample plane 11.
  • the image recording device 14 of the device 10 can, for example, a
  • microscope objective with an image sensor coupled thereto, but may additionally or alternatively a camera device for making macroscopic
  • Overview images include.
  • the application of the invention is therefore not limited to macroscopic or microscopic images, but can be applied to both types of images.
  • a distance between the image recording device 14 and the sample plane 1 1 is indicated by Hobj. This distance can be measured, for example, from the sample plane 1 1 to a lens of the image recording device 14 closest to the sample or to another suitable part of the image recording device 14.
  • the device 10 of FIG. 1A has a lighting device 13.
  • Lighting device 13 may comprise a plurality of individually and / or in groups (also referred to as segments) controllable light source elements, such as light emitting diodes, which are arranged substantially concentrically around the image pickup device 14 around.
  • controllable light source elements such as light emitting diodes, which are arranged substantially concentrically around the image pickup device 14 around.
  • the light source elements are arranged symmetrically to an optical axis of the image pickup device 14, so that each
  • Light source element has an associated complementary light source element, which lies on an imaginary line passing through the light source element, the complementary light source element and the optical axis, wherein the light source element and the complementary light source element have the same distance from the optical axis.
  • the illumination device 13 can also have a planar light source and controllable shading elements in order to optionally darken individual parts of the planar light source. As a result, substantially the same controllability can be achieved as by individual light source elements.
  • the illumination device 13 as shown in Fig. 1A having an opening to allow passage of light from the sample 12 and thus an image of the sample 12 by the image pickup device 14.
  • Lighting device 13 to the sample plane 1 1 is designated in Fig. 1 with H.
  • the image recording device 14 and the illumination device 13 are arranged on the same side of the sample plane 11, so that the illumination takes place in reflection (in contrast to a transmitted light illumination).
  • a ratio of Hobj to H may be in the range of 1 to 1.5, but is not limited thereto.
  • distances between individually controllable adjacent illumination sections e.g. individual light source elements, shading elements or groups thereof, suitably selected to a numerical aperture of the image pickup device 14. This will be explained with reference to FIG. 1 B, which shows a detail of FIG. 1A.
  • Lighting device 13 this being only an example.
  • an angle between these illumination sections is seen from a point of the sample plane 1 1 seen.
  • 17 denotes an angle from this point of the sample plane, which is associated with the numerical aperture of the image recording device 14.
  • the illumination sections are arranged and / or selected so that the angle 17 is less than or equal to the angle 18, preferably 10% smaller, 20% smaller, 30% smaller or 50% smaller. This has advantages in a combination of images for
  • the angle 18 may vary for different illumination sections 13A, 13B as long as it remains less than or equal to the angle 17 defined by the numerical aperture of the imaging device. For example, the angle at contant distance between adjacent illumination sections 13A, 13B as long as it remains less than or equal to the angle 17 defined by the numerical aperture of the imaging device. For example, the angle at contant distance between adjacent illumination sections 13A, 13B as long as it remains less than or equal to the angle 17 defined by the numerical aperture of the imaging device. For example, the angle at contant distance between adjacent
  • Lighting sections 13A, 13B with increasing distance from the optical axis of the image pickup device 14 become smaller, or the distances between the
  • Lighting sections 13A, 13B may be selected so that the angle remains constant. Other types of variation are possible.
  • the illumination device 13 is in the embodiment of FIG. 1 by a
  • Control device 15 controlled.
  • the control device 15 can be implemented, for example, as a correspondingly programmed computer or as a correspondingly programmed microcontroller. However, other implementations in software, firmware, hardware, or combinations thereof are possible.
  • control device 15 controls the image recording device 14 and receives images from it.
  • the control device 15 can control the illumination device 13 in particular in such a way that sequentially different segments of the illumination device 13 illuminate the sample 12.
  • the sample 12 is sequentially illuminated from different directions and / or at different angles.
  • an image is taken by the image recording device 14.
  • the control device 15 combines these images into a result image, which has improved properties, for example with regard to sharpness, contrast or reflections, compared with the individual images.
  • reflexes which result from the illumination of the illumination device 13 (ie, that the illumination takes place from the same side of the sample as the image acquisition)
  • the result image and / or the individual images can be displayed on a display 16 and / or stored for later use. Detailed embodiments of such devices 10 are now under
  • FIGS. 2 to 5 explained in more detail.
  • an illustration of a controller and a display such as the controller 15 and the display 16 of FIG. 1 is omitted.
  • such components may also be provided in the exemplary embodiments of FIGS. 2 to 5.
  • the exemplary embodiments of FIGS. 2 to 5 concentrate in this regard on an image recording device and, in particular, on a lighting device used.
  • a camera unit 20 is provided for taking an image of a sample, wherein the sample is to be arranged in a sample plane 22.
  • the camera unit 20 of FIG. 2 includes an optic and an image sensor.
  • a lighting device 21 is provided in order to be able to illuminate a sample in the sample plane 22 from different directions and / or at different angles.
  • a distance of the illumination device 21 from the sample plane 22 is denoted by H.
  • a ratio of Hobj to H may be in the range of 1.5 to 1 as in Fig. 1, but is not limited thereto.
  • FIG. 2B shows a plan view of the illumination device 21 in an x-y plane parallel to the sample plane 22.
  • Fig. 2B is the
  • Lighting device 21 disc-shaped with a central recess which has a radius Rin.
  • the radius of the disc is Rout.
  • a multiplicity of individual light source elements for example light emitting diodes, can be arranged in the area of the pane. However, it is also a surface lighting, such as a surface OLED lighting, with individually switchable pixels or other type of lighting, in which segments or parts can be selectively switched on and off, possible.
  • r a radius to a certain point of the illumination device, for example, to a position of a light source element, referred to. Where Rin ⁇ r ⁇ Rout.
  • the outer radius Rout determines a maximum illumination angle to the vertical (z-axis in Fig. 2A) measured. The larger Rout, the larger a used illumination angle can be.
  • Inner diameter Rin depends on the front dimensions of the lens 20, the distance between the camera unit 20 and the illumination device 21, and an angle at which the camera unit 20 views a sample located in the sample plane 22. More concrete examples of the illumination device 21 will be explained later with reference to FIGS. 6 and 7.
  • the illumination device 21 can thus serve in particular the dark field illumination, since direct reflections (with
  • the shape of the illumination device 21 in FIG. 2B is to be understood as an example only, and other shapes, such as square, rectangular, ellipsoidal, star or other basic shapes, may be used over the individual ones
  • Light source elements are distributed or which contain individually switchable segments. By selectively activating and deactivating light source elements or segments of the illumination, illumination can be realized from different directions, at different angles and / or with different intensities (for example, by activation of different numbers of light source elements).
  • Multiple apertures or recesses are possible when multiple lenses or multiple other imaging devices are used in an array.
  • the shape of the recess may also vary and may be adapted, for example, to a shape and size of a lens used or another image recording device used.
  • a non-planar arrangement of light source elements is also possible.
  • Figures 3 to 5 show modifications of the apparatus of Fig. 2. To avoid repetition, like elements carry the same reference numerals and will not be explained repeatedly. Variations and modifications discussed with reference to Figures 1 and 2 are also applicable to Figures 3 to 5.
  • Fig. 3 instead of the camera unit 20, a lens 30 and an image sensor 31 for
  • the objective 30 can be, for example, a microscope objective for taking microscopic images or else a conventional objective for taking macroscopic overview images. Otherwise, the embodiment of FIG. 3 corresponds to the embodiment of FIG. 2A.
  • a further illumination device 40 is provided. Light from the illumination device 40 is reflected by a beam splitter 41 in the lens 30 and can thus serve as a coaxial bright field illumination of a sample.
  • the illumination device 40 is realized by a single light source, which for example can be movable to realize a bright field illumination from different directions. It is also possible to use a plurality of individual light sources which can be switched individually.
  • FIG. 5A shows a plan view of the further illumination device 50.
  • FIG. 5B shows a plan view of the further illumination device 50. In the case of FIG.
  • the further illumination device 50 may be a display with individually switchable light points, for example an OLED display. By selectively activating different light sources, bright field illumination in turn can be generated from different directions. Light from the further illumination device 50 is reflected into the objective 30 via the beam splitter 30, as in FIG. 4.
  • Light source elements of the further illumination device 50 may be in any
  • Individual light source elements may be arranged in a rectangular or circular grid, with uniform or varying distances of groups of light source elements or individual ones
  • the further illumination device 50 may be planar or a combination of planar elements or may have a spherical or aspherical shape on which the light source elements are arranged.
  • the size of the light source elements of the further illumination device 50 can be selected so that it fills a back focal plane of the optical system 30, not completely fills or protrudes beyond this.
  • Light source elements of the further illumination device 50 can all be switched on or off simultaneously or individually or in groups, as required for a specific measurement such as, for example, bright field measurement, contrast enhancement or obtaining z information of the sample.
  • Lighting device 21 are driven, for example, for different measurements, or be controlled together with this, to a combined light and
  • Contrast improvement, increase resolution and / or increase a depth of field may be advantageous.
  • Illumination means 40 or 50 take place, whereby to the illumination device 21 complementary illumination angles are realized, under which additional images can be taken for a later resolution improvement.
  • the lighting device 40 is movable or the lighting device 50 in different segments controllable to realize different illumination angle through the lens 30.
  • the illumination device 21 and / or the further illumination device 40 or 50 may light source elements in the same spectral range or different
  • Combinations of individual light source elements having different spectral properties By these light source elements are individually controlled, then in such a case, the spectral composition of the illumination can be optionally changed. Different light source elements can also be used in some
  • Embodiments have different polarizations of the emitted light and / or different divergences of the radiated light beams, so as to
  • the illumination device 21 and / or the further illumination device 40, 50 may be movable, e.g. in a plane parallel to the sample plane or perpendicular thereto.
  • the movement may also include tilting or rotational movement.
  • various parts e.g. various components
  • Lighting device 40, 50 be relatively movable.
  • Lighting device such as the lighting device 21 shown in FIG. 2A with an annular arrangement of light source elements, with reference to Figures 6 and 7 explained in more detail.
  • Fig. 6A shows a lighting device 60 in which a plurality of light-emitting diodes 61 are arranged in a ring shape as already discussed with reference to Fig. 2B.
  • the individual light-emitting diodes 61 are arranged with uniform spacing dx in the x-direction and uniform spacing dy in the y-direction, dx can be the same or different than dy.
  • dx can be the same or different than dy.
  • a total of 631 light emitting diodes are provided, in other embodiments, other numbers of Light-emitting diodes can be used.
  • the light-emitting diodes may in particular be white-light LEDs, but may also comprise colored light-emitting diodes (for example red, green and / or blue light-emitting diodes), dx and dy may be selected, for example, in the range of 2-2.5 mm.
  • the distance between the light-emitting diodes for example, as explained above with reference to FIG. 1 B suitable for a numerical aperture of an image pickup device, such as the lens 30 of Figures 3 to 5 or
  • Camera unit 20 of Fig. 2A are selected.
  • LEDs 61 for example, be in an overview camera.
  • a greater distance between the LEDs may be selected, or only a portion of the LEDs 61 may be used.
  • light-emitting diodes can also others
  • Light source elements are used.
  • segments of light emitting diodes 61 may be turned on or off together.
  • segments 62 there are eight segments 62, with 1 through 8
  • the light emitting diodes of each segment can be for some
  • segments 2, 4, 5, and 7 may each comprise 10x10 light emitting diodes
  • Segments 1, 3 and 6 may each comprise 58 light emitting diodes and the segment 8 may comprise 57 light emitting diodes.
  • these numbers are for example only, and depending on
  • Embodiment of the illumination device can be used a different division into segments with other numbers of light source elements, which can also be adapted dynamically. This will be described later with reference to FIG. 13B.
  • a result image with improved contrast or a calculation of contrasts in a microscope image several images are taken in succession in exemplary embodiments, with another of the segments 62 being active for each image. These images can then be combined, for example, to obtain a result image with increased contrast, or evaluated to determine a contrast.
  • the division into segments of Fig. 6B is also illustrative only, and a different layout may be used, for example with a different number of segments.
  • FIGS. 7A to 7C which the LEDs are sequentially turned on according to the arrangement in lines as indicated by arrows.
  • a light emitting diode 70A is turned on
  • Fig. 7B showing a later time
  • a light emitting diode 70B is turned on
  • Fig. 7C a light emitting diode 70C is turned on.
  • a sequential switch-on according to the rows a sequential switch-on according to columns or a random sequential switch-on of the LEDs can also take place.
  • Elevation profile of a sample i.e., z information for purposes of autofocus adjustment
  • Refocus a lens or increase the depth of field Again, several images can be taken, which are illuminated from different angles and / or from different directions, and by combining the images, a corresponding result image can be generated. Again, details will be explained later.
  • the LED defines a certain angle and a certain position.
  • the table below shows examples of the first 10 LEDs of the LED array 61, i.
  • the light emitting diodes of the top line, r denotes the radius, as shown in Fig. 2B, and H denotes the distance between the illumination device and sample plane as it is also shown in Figures 1 to 5.
  • theta denotes the illumination angle
  • R denotes the distance of the light source from an intersection of the optical axis of the system with the sample plane.
  • the illumination angle theta defines the numerical aperture of the illumination, which is indicated in the table NA.illum.
  • FIG. 8 is based on the exemplary embodiment of FIG. 5A
  • FIG. 9 is based on the exemplary embodiment of FIG. 3.
  • additional image recording devices can also be provided in the exemplary embodiments of FIGS. 1, 2 or 4.
  • Hobjl denotes the distance between the sample plane 22 and the objective 30 and thus corresponds to the distance Hobj of FIGS. 1 to 5.
  • a further objective 80 is provided with a further image sensor (not shown), wherein the further objective 80 is arranged on an opposite side of the objective 30 relative to the sample plane 22.
  • the objective 30 can have, for example, a relatively low numerical aperture and serve to record overview images.
  • Lighting device 21 and / or the further illumination device 50 can be any suitable illumination device.
  • Illuminations can be realized from different directions, as described above, and based on a plurality of recorded images, a result image can then be calculated in which a contrast is improved and / or reflections are corrected by the illumination.
  • the objective 80 may have a higher numerical aperture and may also accommodate a plurality of images, in principle the
  • Lighting devices 21 and 50 can serve for lighting. In this case, 80 transmitted light images are taken with the other lens. For others
  • the further lens 80 may have its own (not shown in Fig. 8) lighting device.
  • the lens 30 and the lens 80 are different from each other in terms of
  • semitransparent samples can be obtained while using the lens 30 Auflichtopathic optionally with bright field illumination or dark field illumination can be obtained. In both cases, lighting can be realized at different angles.
  • FIG. 9 shows an alternative to the exemplary embodiment of FIG. 8, in which the further illumination device 50 and the beam splitter 41 in the objective 30 have been omitted and an additional illumination device 91 and a beam splitter 90 are provided for the further objective 80.
  • the additional illumination device 91 which in principle can be configured like the further illumination device 50, a transmitted light illumination in the bright field for the objective 30 or an incident light bright field illumination for the objective 80 is possible.
  • the illumination by the further illumination device 91 can in particular provide illumination for a comparatively small image section of the objective 30.
  • the range of useful angles for illumination by the additional lens 80, i. by means of the further illumination device 91 is defined by the numerical aperture of the objective 80.
  • the proportion of the field of view of the objective 30, which can be illuminated in this way, can be determined by lateral displacement of the sample plane or
  • Illuminator 91 or the lens 80 are increased.
  • FIG. 10A shows a microscope apparatus 100 according to an embodiment
  • FIG. 10B shows a detail view of the microscope apparatus 100 of FIG. 10A.
  • Fig. 10 is a lens 103 with a lighting device 101, which as under
  • the objective 103 may have, for example, a comparatively low numerical aperture and for the reception of
  • the objective 102 is provided with discrete light source elements 104, for example light-emitting diodes, which are arranged concentrically around the objective 102. Even with the light source elements 104, illumination from different directions can be realized. With the objective 103, a sequence of overview images can then be recorded during operation, wherein the illumination device 101 for illumination consists of different
  • the objective 102 can take close-up shots in parallel or sequentially to this, wherein here as well the illumination can be varied by activation of different light source elements 104 and then by combining the individual images a contrast and / or a
  • Resolution can be improved and / or reflexes can be corrected.
  • the individual steps, i. In particular, the individual images, can then be optimized for a particular task depending on the needs in terms of speed, image quality and performance.
  • 1 1 shows various microscope objectives 1 12, 1 13 and 1 14, which with a
  • Lighting device 1 1 which can be configured according to the illumination device 61 of Figures 6 and 7, can be combined. These lenses 1 12, 1 13 and 1 14 can be used with a microscope 1 10.
  • the objective 1 12 can be a 5x objective
  • the lighting device 1 1 in particular to the
  • Front lens diameter of the 0.5x lens can be tuned, but can also be used on other lenses.
  • Various illumination devices may be provided for different objectives, for example with different inside and outside diameters as shown in FIG. 2A.
  • FIGS. 12A to 12C show a further combination of a corresponding one
  • Lighting device 120 which in turn may be configured as the illumination device 61 of Figures 6 and 7, shown with a lens 121 for installation in a microscope 122.
  • illumination devices according to the invention with different objectives and microscope systems can be used.
  • FIG. 13A shows a flow chart of a corresponding method which can be carried out with the aid of the devices of FIGS. 1 to 12.
  • a flow chart of a corresponding method which can be carried out with the aid of the devices of FIGS. 1 to 12.
  • a corresponding method which can be carried out with the aid of the devices of FIGS. 1 to 12.
  • a plurality of images are provided with
  • different light source elements or groups / segments of light source elements of a lighting device can be activated sequentially, as already described above, and in each case one or more images for each
  • step 131 one of the plurality of images becomes one
  • Result image generated with improved image properties In particular, reflections can be removed, contrast can be improved, a z-map of the image can be created, i. a height profile, and / or the resolution can be improved.
  • image parts are respectively "outshone", i.e. in which image parts, for example, pure white is present (in the case of color images, all
  • Color channels e.g. red, green, blue, at the highest value. If these areas in
  • a combination of the plurality of images may be used, for example, by averaging, wherein, for example, the above-identified outshone
  • a reflex correction can also be made as described in detail in the German patent application DE 10 2014 1 13 256 of the applicant. Again, a plurality of images are taken for different illumination geometries, and to a part of the images, a shading operation for reflection suppression is applied, which is different from the illumination geometry used in taking the respective image, i. from
  • Lighting direction and lighting angle depends.
  • the modified images thus generated can be combined into a result image.
  • z positions in the image can be determined, for example, as described in German Patent Application DE 10 2014 109 687 or as described in German Patent Application DE 10 2014 1 13 433.
  • the lighting can come from a variety of different
  • Lighting directions in particular defocused done In this case, the position of the imaged objects changes depending on the illumination direction depending on their z position. From the displacements of the objects depending on the illumination direction, a z-card can then be created. This z card can then be used for more
  • Image enhancements such as those explained below, are applied.
  • Illumination directions and / or illumination angles recorded and combined to produce a result image.
  • DE 10 2014 1 12 648 an equalization as described in DE 10 2014 1 12 648 can be applied.
  • a depth of field can also be increased as described in DE 10 2015 107 517, and / or a phase contrast image can be generated as explained in DE 10 2014 1 12 242.
  • the above methods can be used individually, but also in combination with each other.
  • FIG. 13B shows a flowchart of a further method, which is an extension of the method of FIG. 13A and can also be implemented in the control device 15 of FIG.
  • a lighting sequence is determined with lighting patterns, i. it is determined which lighting sections (individual light source elements or also segments as described above) are activated in which order.
  • step 133 a series of images is then created
  • a step 134 images from the image series are then selected for a subsequent combination. These can be all images of the image series, but also only some images. This in turn can be done depending on the goal of the procedure.
  • a step 135 a result image is then determined on the basis of the images selected in step 134. This can be done using the above with reference to FIG. 13A
  • a step 136 it is judged whether the quality of the resultant image is satisfactory (e.g., sufficient image sharpness, reflections sufficiently corrected, etc.). If this is the case, the result image is output in a step 137. Otherwise, there are two options that can also be combined:
  • step 134 it is possible to return to step 134, wherein the image selection is changed. For example, some pictures may be omitted.
  • step 132 it is possible to return to step 132, wherein the illumination sequence is changed.
  • size and spacing of segments used may be changed by activating or deactivating light source elements at the edge of the segments, which changes the angle 18 of FIG. 1B.
  • the lighting sequence and / or the image selection can be adapted dynamically to requirements.
  • FIG. 14 shows a sample image which has not been corrected and in which, for example, all light-emitting diodes of a lighting device such as the lighting device 61 of FIGS. 6 and 7 are switched on.
  • Fig. 14 is at a central element 140 of the
  • Example picture to see a clear spot reflex In addition, at the top left
  • Figures 15 to 17 show various image series taken from the arrangement shown in Figure 14, wherein the illumination in each of Figures 15 to 17 varies from image to image.
  • Figures 15A and 15B show two pictures for two different ones
  • Lightings For example, in each case one half of the light source elements activated be.
  • the reflex in the central element 140 then occurs at different locations, and also the reflection at the element 141 changes.
  • FIGS. 16A to 16B show photographs for four different illuminations, for example in which in each case one fourth of light-emitting diodes of the illumination device 61 of FIGS. 6 and 7 is activated.
  • FIG. 16B and 16C for example, no reflex occurs at the central element 140.
  • FIGS. 17A to 17H show photographs with eight different illuminations, in which, for example, the eight segments which were shown in FIG. 6B,
  • FIG. 18 shows an image obtained by combining a plurality of images with
  • FIG. 18 shows an image in which the microscopic contrast was increased by combining a plurality of images.
  • the individual images of FIGS. 15 to 17 can also be used for this purpose, wherein the results can vary depending on the group of individual images used.
  • Fig. 20 shows a phase contrast image obtained by combining a plurality of images taken with different illumination.
  • Phase contrast image for example, surface inhomogeneities in a metal ring 200 shown in the lower right image in the image better recognizable, and volume defects in the element 141, which is a glass ball, are visible.
  • FIGS. 21A to 21F show an improvement of the resolution over a value corresponding to the numerical aperture of the objective used.
  • Figures 21 A to 21 C show images obtained with a low numerical aperture optics, in the recorded area in addition reflections of the light-emitting diodes of a
  • Fig. 21 B is an enlarged
  • Section of Fig. 21 A, and Fig. 21 C is an enlarged detail of Fig. 21 B.
  • the figures 21 D to 21 F show photographs of the detail of FIG. 21 C, which were achieved with a higher optical resolution corresponding to a higher numerical aperture.
  • the resolution improves from FIG. 21D to FIG. 21F.
  • a corresponding effect can be achieved when multiple images taken with the lens of FIG. 21C are combined with different illumination settings.
  • Increasing the resolution also makes it possible, in particular for overview images, to enlarge a possible range for a digital zoom.
  • Figs. 14 to 21 are illustrative only and the actual results obtained may vary depending on the lens taken depending on a lens used, depending on the illuminations used and the type of combination of the individual images.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)

Abstract

Es wird eine Vorrichtung zur Bildaufnahme bereitgestellt, bei welcher eine Bildaufnahmeeinrichtung (14) und eine Beleuchtungseinrichtung (13) auf einer gleichen Seite einer Probenebene (11) angeordnet sind. Die Bildaufnahmeeinrichtung (13) weist unabhängig voneinander ansteuerbare Beleuchtungsabschnitte, beispielsweise einzelne Lichtquellen, auf, um eine Probe (12) in der Probenebene (11) unter verschiedenen Winkeln und/oder aus verschiedenen Richtungen beleuchten zu können. Auf diese Weise kann eine Vielzahl von Bildern mit unterschiedlichen Beleuchtungen aufgenommen werden, welche zu einem Ergebnisbild mit verbesserten Eigenschaften kombiniert werden kann.

Description

Beschreibung Vorrichtung und Verfahren zur Bildaufnahme
Die vorliegende Anmeldung betrifft Vorrichtungen zur Bildaufnahme sowie Verfahren, welche eine entsprechende Vorrichtung benutzen. Insbesondere betrifft die vorliegende Anmeldung Vorrichtungen, z.B. Mikroskopvorrichtungen, zur Bildaufnahme, bei welchen ein verbessertes Ergebnisbild aus einer Vielzahl von Einzelbildern erzeugt wird.
Bei einem mikroskopischen und auch bei einer makroskopischen Bildaufnahme wird in vielen Fällen eine Beleuchtung verwendet, um ein aufzunehmendes Objekt, z.B. eine Probe, zu beleuchten. Wenn dabei die Beleuchtung aus der gleichen Richtung, aus der auch die
Bildaufnahme vorgenommen wird, erfolgt, können unerwünschte Reflexe in dem Bild auftreten.
Es ist daher wünschenswert, derartige Reflexe korrigieren zu können. Zudem ist es
wünschenswert, generell z.B. einen Kontrast und/oder eine Auflösung aufgenommener Bilder erhöhen zu können, insbesondere wenn diese durch Reflexe oder über Strahlen verringert sind.
Grundsätzlich ist es bekannt, durch Kombination mehrerer Bilder, die aus verschiedenen Richtungen beleuchtet werden, eine erhöhte Auflösung zu erreichen. Für den Fall der Fourier- Ptychographie ist dies beispielsweise aus Shaun Pacheco et al.,„Transfer function analysis in epi-illumination Fourier ptychography", Optics Letters Vol. 40, No. 22, 2015, bekannt. Bei der dort dargestellten Vorrichtung wird eine Beleuchtung in einem Strahlengang eines Objektivs über einen Strahlteiler eingespiegelt, um so eine Hellfeldbeleuchtung einer Probe zu erreichen.
Weitere Möglichkeiten, durch Kombination mehrerer aus verschiedenen Richtungen
beleuchteter Bilder ein verbessertes Ergebnisbild zu erhalten, sind beispielsweise aus der DE 10 2014 1 13 256 und der DE 10 2014 1 13 258 der Anmelderin offenbart.
Eine Beleuchtungseinrichtung ist beispielsweise in der DE 39 06 555 A1 der Anmelderin offenbart. Es ist eine Aufgabe der vorliegenden Erfindung, Vorrichtungen und Verfahren bereitzustellen, welche insbesondere auch für eine Dunkelfeldaufnahme geeignet sind.
Diesbezüglich werden eine Vorrichtung nach Anspruch 1 sowie ein Verfahren nach Anspruch 18 oder 19 bereitgestellt. Die Unteransprüche definieren weitere Ausführungsformen.
Gemäß einem ersten Aspekt wird eine Vorrichtung zur Bildaufnahme bereitgestellt, umfassend: eine Bildaufnahmeeinrichtung und
eine um eine optische Achse der Bildaufnahmeeinrichtung herum angeordnete
Beleuchtungseinrichtung, wobei die Beleuchtungseinrichtung eine Aussparung aufweist, um einen Durchgang von Licht zu der Bildaufnahmeeinrichtung zu ermöglichen, und wobei die Beleuchtungseinrichtung eine Vielzahl von unabhängig ansteuerbarer Beleuchtungsabschnitte aufweist;
wobei die Bildaufnahmeeinrichtung und die Beleuchtungseinrichtung auf einer gleichen Seite einer Probenebene der Bildaufnahmeeinrichtung angeordnet sind; und
wobei ein Winkel zwischen benachbarten Beleuchtungsabschnitten der
Beleuchtungseinrichtung von der Probenebene aus gesehen kleiner oder gleich ist als ein durch eine numerische Apertur der Bildaufnahmeeinrichtung definierter Winkel. Durch die Verwendung einer derart um die optische Achse der Bildaufnahmeeinrichtung herum angeordneten Beleuchtungseinrichtung mit den unabhängig ansteuerbaren
Beleuchtungsabschnitten kann insbesondere eine Dunkelfeldbeleuchtung aus verschiedenen Richtungen realisiert werden. Durch die Wahl der Winkel wie oben definiert kann eine vorteilhafte Beleuchtung aus verschiedenen Richtungen insbesondere für eine spätere
Auflösungserhöhung durch Kombination von Einzelbildern geschaffen werden. Zu bemerken ist, dass der Winkel zwischen benachbarten Beleuchtungsabschnitten für verschiedene
Beleuchtungsabschnitte variieren kann, solange er kleiner oder gleich dem durch die
numerische Apertur der Bildaufnahmeeinrichtung definierten Winkel bleibt. Beispielsweise kann der Winkel bei kontantem Abstand zwischen benachbarten Beleuchtungsabschnitten mit zunehmendem Abstand von der optischen Achse der Bildaufnahmeeinrichtung kleiner werden, oder die Abstände zwischen den Beleuchtungsabschnitten können so gewählt sein, dass der Winkel konstant bleibt. Auch andere Arten der Variation sind möglich.
Der Winkel zwischen benachbarten Beleuchtungsabschnitten der Beleuchtungseinrichtung kann dabei um mindestens 10%, um mindestens 20%, um mindestens 30% oder um mindestens 50% kleiner sein als der durch die numerische Apertur der Bildaufnahmeeinrichtung definierte Winkel.
Ein Verhältnis eines Abstands der Bildaufnahmeeinrichtung zu der Probenebene zu einem Abstand der Beleuchtungseinrichtung zu der Probenebene kann in einem Bereich zwischen 1 und 1 ,5 liegen, ist jedoch nicht hierauf beschränkt.
So können also Beleuchtungseinrichtung und Bildaufnahmeeinrichtung in einem ähnlichen Abstand von der Probenebene und somit von der Probe angeordnet sein.
Die Vielzahl von Beleuchtungsabschnitten kann eine Vielzahl von Lichtquellenelementen z.B. Leuchtdioden umfassen.
Durch die Verwendung einer Vielzahl von Lichtquellenelementen kann die Beleuchtung flexibel eingestellt werden. Insbesondere kann eine Beleuchtung aus verschiedenen Richtungen, unter verschiedenen Winkeln und durch Einschalten mehrerer Leuchtdioden gleichzeitig auch mit verschiedener Intensität realisiert werden.
Die Lichtquellenelemente können einzeln und/oder segmentweise ansteuerbar sein, um so die Vielzahl unabhängig ansteuerbarer Beleuchtungsabschnitte zu realisieren. Die Größe und Form der Segmente kann variierbar sein, z.B. durch Zusammenfassung unterschiedlicher Anzahlen von Lichtquellenelementen zu einem Segment. So kann z.B. der Abstand zwischen den Segmenten und so der oben erwähnte Winkel zwischen benachbarten
Beleuchtungsabschnitten der Beleuchtungseinrichtung eingestellt werden.
Unterschiedliche Lichtquellenelemente können dabei unterschiedliche Eigenschaften hinsichtlich Spektralbereich und/oder Polarisation aufweisen, so dass Bildaufnahmen mit Beleuchtung in unterschiedlichen Spektralbereichen oder mit unterschiedlichen Polarisationen erfolgen können. Als Alternative zu einzelnen Lichtquellenelementen kann die Beleuchtungseinrichtung auch eine flächige Lichtquelle und wahlweise ansteuerbare Abschattungselemente zum Abdunkeln jeweils eines Teils der flächigen Lichtquelle umfassen. Die flächige Lichtquelle kann dabei eben, aber auch gewölbt oder anders geformt sein. Die Beleuchtungseinrichtung kann ringförmig mit einem Innendurchmesser und einem
Außendurchmesser sein, wobei der Innendurchmesser die Aussparung definiert. Auf diese Weise kann aus verschiedenen Richtungen beleuchtet werden. Die Vorrichtung kann eine weitere Beleuchtungseinrichtung, wobei Licht von der weiteren Beleuchtungseinrichtung in einen Strahlengang der Bildaufnahmeeinrichtung einkoppelbar ist. Hierdurch kann zusätzlich eine Hellfeldbeleuchtung realisiert werden.
Die weitere Beleuchtungseinrichtung kann ein bewegliches Lichtquellenelement umfassen.
Alternativ kann die weitere Beleuchtungseinrichtung eine Vielzahl unabhängig ansteuerbarer Beleuchtungsabschnitte umfassen.
Auf diese Weise kann auch eine Hellfeldbeleuchtung innerhalb des durch die numerische Apertur der Bildaufnahmevorrichtung möglichen Bereichs aus verschiedenen Richtungen und/oder unter verschiedenen Winkeln erfolgen.
Die Beleuchtungseinrichtung und/oder die weitere Beleuchtungseinrichtung können beweglich sein, z.B. in einer Ebene parallel zu der Probenebene oder senkrecht hierzu. Die Bewegung kann auch ein Verkippen oder eine Drehbewegung umfassen. Bei manchen
Ausführungsbeispielen können auch verschiedene Teile, z.B. verschiedene
Beleuchtungsabschnitte, der Beleuchtungseinrichtung und/oder der weiteren
Beleuchtungseinrichtung relativ zueinander beweglich sein. Die Vorrichtung kann weiter eine weitere Bildaufnahmeeinrichtung umfassen, wobei sich die weitere Bildaufnahmeeinrichtung hinsichtlich numerischer Apertur, Arbeitsabstand,
Vergrößerung und/oder Auflösung unterscheidet. So können Bildaufnahmen mit verschiedenen Eigenschaften erfolgen. Die weitere Bildaufnahmeeinrichtung kann bezüglich der Bildaufnahmeeinrichtung auf einer gegenüberliegenden Seite der Probenebene angeordnet sein. So können sowohl
Durchlichtaufnahmen als auch Auflichtaufnahmen durchgeführt werden.
Die Vorrichtung kann eine zusätzliche Beleuchtungseinrichtung umfassen, deren Licht in einem Strahlengang der weiteren Beleuchtungseinrichtung einkoppelbar ist. So können hinsichtlich der Beleuchtung mehr Variationsmöglichkeiten realisiert werden. Die Vorrichtung kann weiter eine Steuereinrichtung umfassen, wobei die Steuereinrichtung eingerichtet ist, die Beleuchtungseinrichtung sequenziell zur Aktivierung verschiedener Beleuchtungsabschnitte anzusteuern, um eine Probe in der Probenebene unter verschiedenen Winkeln und/oder aus verschiedenen Richtungen zu beleuchten, und die
Bildaufnahmeeinrichtung anzusteuern, für die verschiedenen Ansteuerungen der
Beleuchtungseinrichtung eine entsprechende Vielzahl von Bildern zu erhalten.
Durch die Beleuchtung aus verschiedenen Richtungen können insbesondere Reflexe korrigiert werden, die dadurch entstehen, dass die Beleuchtung auf der gleichen Seite angeordnet ist wie die Bildaufnahmeeinrichtung.
Die Steuereinrichtung kann weiter eingerichtet sein, die Vielzahl von Bildern zu einem
Ergebnisbild zu kombinieren.
Beim Kombinieren kann durch die Steuereinrichtung eines oder mehrere der Folgenden ausgeführt werden:
- eine Reflexkorrektur
- eine Auflösungsverbesserung,
- eine Kontrastverbesserung,
- eine Bestimmung einer z-Karte der Probe,
- ein Bestimmen eines Phasenkonstrastbilds,
- eine Erhöhung eines Schärfentiefenbereichs. So können Bilder mit verbesserten Eigenschaften erzeugt werden.
Die Steuereinrichtung kann weiter eingerichtet sein, eine Qualität des Ergebnisbildes zu bewerten und abhängig von der Bewertung die sequenzielle Ansteuerung der
Beleuchtungseinrichtung und/oder eine Auswahl von Bildern zum Kombinieren zu modifizieren. So können Einstellungen dynamisch in Abhängigkeit von einem erzielten Ergebnis beim Kombinieren und ggfs. einem gewünschten Ergebnis angepasst werden.
Gemäß einem zweiten Aspekt wird ein Verfahren zur Bildaufnahme bereitgestellt, umfassend: Aufnehmen einer Vielzahl von Bildern mit der Vorrichtung wie oben beschrieben, wobei für verschiedene Bilder der Vielzahl von Bildern unterschiedliche Beleuchtungsabschnitte der Beleuchtungseinrichtung der Vorrichtung aktiviert werden, und Kombinieren der Vielzahl von Bildern zu einem Ergebnisbild mit verbesserten
Bildeigenschaften.
Gemäß einem dritten Aspekt wird ein Verfahren zur Bildaufnahme bereitgestellt, umfassend:
- Aufnehmen einer Vielzahl von Bildern mit unterschiedlichen Beleuchtungsrichtungen,
- Auswählen von zu kombinierenden Bildern aus der Vielzahl von Bildern,
- Bestimmen von überstrahlten Bildanteilen in den zu kombinierenden Bildern, und
- Kombinieren der zu kombinierenden Bilder zu einem Ergebnisbild mit reduzierten Reflexen, wobei in den zu kombinierenden Bildern zumindest einige der überstrahlten
Bildanteile beim Kombinieren ausgelassen werden.
Das Verfahren nach kann weiterhin umfassen:
- Bestimmen, ob die überstrahlten Bildanteile in den zu kombinierenden Bildern die gleiche Position haben,
wobei beim Kombinieren der zu kombinierenden Bilder diejenigen Bildanteile
ausgelassen werden, die in den zu kombinierenden Bildern nicht die gleiche Position haben.
Das Verfahren kann weiterhin umfassen:
- Auswählen von weiteren zu kombinierenden Bildern aus der Vielzahl von Bildern, wobei die weiteren zu kombinierenden Bilder verschieden sind von den zu kombinierenden
Bildern, und
- Kombinieren der weiteren zu kombinierenden Bilder, sodass diese einen erhöhten Bildkontrast aufweisen. Das Aufnehmen der weiteren zu kombinierenden Bilder aus der Vielzahl von Bildern kann durch das Auswählen der weiteren zu kombinierenden Bilder ausgelöst werden.
Das Verfahren kann weiterhin umfassen:
- Durchführen einer Optimierung zum Bereitstellen von Kombinationsparametern für das Kombinieren der weiteren zu kombinierenden Bilder, wobei die Kombinationsparametern gewährleisten, dass das Ergebnisbild den erhöhten Bildkontrast als Optimierungskriterium erfüllt.
Für verschiedene Bilder der Vielzahl von Bildern mit unterschiedlichen Beleuchtungsrichtungen können dabei unterschiedliche Beleuchtungsabschnitte der Beleuchtungseinrichtung der Vorrichtung nach einem der Ansprüche 1 - 17 aktiviert werden. Die Erfindung wird nachfolgend unter Bezugnahme auf die beigefügten Zeichnungen anhand von Ausführungsbeispielen näher erläutert. Es zeigen:
Fig. 1A ein Blockdiagramm einer Vorrichtung gemäß einem Ausführungsbeispiel,
Fig. 1 B ein Diagramm zur Veranschaulichung einer Anordnung von Beleuchtungsabschnitten in dem Ausführungsbeispiel der Fig. 1A,
Fig. 2A eine schematische Querschnittsansicht einer Vorrichtung gemäß einem
Ausführungsbeispiel,
Fig. 2B eine Draufsicht auf eine Beleuchtungseinrichtung der Vorrichtung der Fig. 2A,
Fig. 3 eine Querschnittsansicht einer Vorrichtung gemäß einem weiteren Ausführungsbeispiel,
Fig. 4 eine Querschnittsansicht einer Vorrichtung gemäß einem weiteren Ausführungsbeispiel,
Fig. 5A eine Querschnittsansicht einer Vorrichtung gemäß einem weiteren Ausführungsbeispiel, Fig. 5B eine schematische Ansicht einer Beleuchtungseinrichtung des Ausführungsbeispiels der Fig. 5A,
Figuren 6A und 6B schematische Ansichten einer Beleuchtungseinrichtung gemäß einem Ausführungsbeispiel,
Figuren 7A bis 7C Darstellungen zur Veranschaulichung einer möglichen Ansteuerung der Beleuchtungseinrichtung der Figuren 6A und 6B,
Fig. 8 eine schematische Querschnittsansicht einer Vorrichtung gemäß einem weiteren
Ausführungsbeispiel,
Fig. 9 eine schematische Querschnittsansicht einer Vorrichtung gemäß einem weiteren
Ausführungsbeispiel, Figuren 10 bis 12 Detailansichten verschiedener Implementierungsbeispiele, Fig. 13A und 13B Flussdiagramme zur Veranschaulichung von Verfahren gemäß mancher Ausführungsbeispiele, und
Figuren 14 bis 21 Beispielbilder zur Veranschaulichung der Wirkung verschiedener
Ausführungsbeispiele.
Im Folgenden werden verschiedene Ausführungsbeispiele der Erfindung detailliert erläutert. Diese Ausführungsbeispiele sind nicht als einschränkend auszulegen, sondern dienen lediglich der Veranschaulichung. Insbesondere ist eine Beschreibung eines Ausführungsbeispiels mit einer Vielzahl von Merkmalen oder Elementen nicht dahingehend auszulegen, dass alle diese Merkmale zur Implementierung von Ausführungsbeispielen notwendig sind. Vielmehr können andere Ausführungsbeispiele weniger Merkmale als dargestellt und/oder alternative Merkmale aufweisen. Zudem können zusätzlich zu den dargestellten und beschriebenen Merkmalen und Elementen weitere Merkmale und Elemente vorhanden sein, beispielsweise in herkömmlichen Vorrichtungen zur Bildaufnahme verwendete Elemente.
Merkmale oder Elemente verschiedener Ausführungsbeispiele können miteinander kombiniert werden, sofern nichts anderes angegeben ist. Variationen und Abwandlungen, welche für eines der Ausführungsbeispiele beschrieben werden, können auch auf andere Ausführungsbeispiele anwendbar sein, sofern nichts anderes angegeben ist.
In Fig. 1A ist ein Blockdiagramm einer Vorrichtung gemäß einem Ausführungsbeispiel dargestellt. Bei dem Ausführungsbeispiel der Fig. 1 A dient eine Bildaufnahmeeinrichtung 14 dazu, ein Bild einer Probe 12 aufzunehmen, welche in einer Probenebene 1 1 angeordnet ist. Die Bildaufnahmeeinrichtung 14 der Vorrichtung 10 kann dabei beispielsweise ein
Mikroskopobjektiv mit einem daran gekoppelten Bildsensor umfassen, kann aber auch zusätzlich oder alternativ eine Kameraeinrichtung zur Anfertigung makroskopischer
Übersichtsbilder umfassen. Die Anwendung der Erfindung ist also nicht auf makroskopische oder mikroskopische Bilder beschränkt, sondern kann auf beide Arten von Bildern angewendet werden.
Ein Abstand zwischen der Bildaufnahmeeinrichtung 14 und der Probenebene 1 1 ist mit Hobj angegeben. Dieser Abstand kann beispielsweise von der Probenebene 1 1 zu einer der Probe am nächsten liegenden Linse der Bildaufnahmeeinrichtung 14 oder zu einem anderen geeigneten Teil der Bildaufnahmeeinrichtung 14 gemessen werden. Zudem weist die Vorrichtung 10 der Fig. 1A eine Beleuchtungseinrichtung 13 auf. Die
Beleuchtungseinrichtung 13 kann eine Vielzahl von einzeln und/oder in Gruppen (auch als Segmente bezeichnet) ansteuerbaren Lichtquellenelementen, beispielsweise Leuchtdioden, umfassen, welche im Wesentlichen konzentrisch um die Bildaufnahmeeinrichtung 14 herum angeordnet sind. Bei einem Ausführungsbeispiel sind die Lichtquellenelemente symmetrisch zu einer optischen Achse der Bildaufnahmeeinrichtung 14 angeordnet, so dass jedes
Lichtquellenelement ein zugeordnetes komplementäres Lichtquellenelement hat, welches auf einer gedachten Linie liegt, die durch das Lichtquellenelement, das hierzu komplementäre Lichtquellenelement und die optische Achse geht, wobei das Lichtquellenelement und das komplementäre Lichtquellenelement den gleichen Abstand zu der optischen Achse aufweisen.
Statt einzelner Lichtquellenelemente kann die Beleuchtungseinrichtung 13 auch eine flächige Lichtquelle und ansteuerbare Abschattungselemente aufweisen, um einzelne Teile der flächigen Lichtquelle wahlweise abzudunkeln. Hierdurch kann im Wesentlichen die gleiche Ansteuerbarkeit erreicht werden wie durch einzelne Lichtquellenelemente.
Dabei kann die Beleuchtungseinrichtung 13 wie in Fig. 1A dargestellt eine Öffnung aufweisen, um einen Durchgang von Licht von der Probe 12 und somit eine Bildaufnahme der Probe 12 durch die Bildaufnahmeeinrichtung 14 zu ermöglichen. Ein Abstand der
Beleuchtungseinrichtung 13 zu der Probenebene 1 1 ist dabei in Fig. 1 mit H bezeichnet. Wie aus Fig. 1 ersichtlich, sind die Bildaufnahmeeinrichtung 14 und die Beleuchtungseinrichtung 13 auf derselben Seite der Probenebene 1 1 angeordnet, sodass die Beleuchtung in Reflexion erfolgt (im Gegensatz zu einer Durchlichtbeleuchtung). Ein Verhältnis von Hobj zu H kann dabei im Bereich von 1 bis 1 ,5 liegen, ist jedoch nicht hierauf beschränkt.
Bei Ausführungsbeispielen sind dabei Abstände zwischen einzeln ansteuerbaren benachbarten Beleuchtungsabschnitten, z.B. einzelnen Lichtquellenelementen, Abschattungselementen oder Gruppen hiervon, passend zu einer numerischen Apertur der Bildaufnahmeeinrichtung 14 gewählt. Dies wird unter Bezugnahme auf die Fig. 1 B erläutert, welche einen Ausschnitt der Fig. 1A zeigt.
Mit 13A und 13B sind in Fig. 1 B zwei benachbarte Beleuchtungsabschnitte der
Beleuchtungseinrichtung 13 bezeichnet, wobei dies nur als Beispiel zu sehen ist. Mit 18 ist ein Winkel zwischen diesen Beleuchtungsabschnitten von einem Punkt der Probenebene 1 1 gesehen bezeichnet. Mit 17 ist ein Winkel von diesem Punkt der Probenebene bezeichnet, der der numerischen Apertur der Bildaufnahmeeinrichtung 14 zugeordnet ist. Bei Ausführungsbeispielen sind die Beleuchtungsabschnitte so angeordnet und/oder gewählt, dass der Winkel 17 kleiner oder gleich dem Winkel 18 ist, bevorzugt 10% kleiner, 20% kleiner, 30% kleiner oder 50% kleiner. Dies hat Vorteile bei einer Kombination von Bildern zur
Auflösungserhöhung wie später beschrieben. Zu bemerken ist, dass der Winkel 18 für verschiedene Beleuchtungsabschnitte 13A, 13B variieren kann, solange er kleiner oder gleich dem durch die numerische Apertur der Bildaufnahmeeinrichtung definierten Winkel 17 bleibt. Beispielsweise kann der Winkel bei kontantem Abstand zwischen benachbarten
Beleuchtungsabschnitten 13A, 13B mit zunehmendem Abstand von der optischen Achse der Bildaufnahmeeinrichtung 14 kleiner werden, oder die Abstände zwischen den
Beleuchtungsabschnitten 13A, 13B können so gewählt sein, dass der Winkel konstant bleibt. Auch andere Arten der Variation sind möglich.
Die Beleuchtungseinrichtung 13 wird bei dem Ausführungsbeispiel der Fig. 1 durch eine
Steuereinrichtung 15 gesteuert. Die Steuereinrichtung 15 kann beispielsweise als entsprechend programmierter Computer oder als entsprechend programmierte MikroSteuerung implementiert sein. Es sind jedoch auch andere Implementierungen in Software, Firmware, Hardware oder Kombinationen hiervon möglich.
Zudem steuert die Steuereinrichtung 15 die Bildaufnahmeeinrichtung 14 und empfängt Bilder von dieser.
Zur Bildaufnahme kann die Steuereinrichtung 15 die Beleuchtungseinrichtung 13 insbesondere derart ansteuern, dass sequenziell verschiedene Segmente der Beleuchtungseinrichtung 13 die Probe 12 beleuchten. Somit wird die Probe 12 nacheinander aus verschiedenen Richtungen und/oder unter verschiedenen Winkeln beleuchtet. Für jede dieser Beleuchtungsrichtungen und/oder Beleuchtungswinkel wird von der Bildaufnahmeeinrichtung 14 ein Bild aufgenommen. Die Steuereinrichtung 15 kombiniert diese Bilder zu einem Ergebnisbild, welches beispielsweise hinsichtlich Schärfe, Kontrast oder Reflexen verbesserte Eigenschaften verglichen mit den Einzelbildern aufweist. Durch geeignete Kombination der Bilder können insbesondere Reflexe, welche durch die Beleuchtung der Beleuchtungseinrichtung 13 entstehen (d.h. dadurch, dass die Beleuchtung von der gleichen Seite der Probe her erfolgt wie die Bildaufnahme), aus dem Ergebnisbild zumindest größtenteils herausgerechnet werden, sodass auf diese Weise die Bildqualität verbessert werden kann. Beispiele hierfür werden später noch näher erläutert. Das Ergebnisbild und/oder die Einzelbilder können auf einer Anzeige 16 dargestellt werden und/oder zur späteren Verwendung abgespeichert werden. Detaillierte Ausführungsbeispiele derartiger Vorrichtungen 10 werden nunmehr unter
Bezugnahme auf die Figuren 2 bis 5 näher erläutert. In diesen Figuren ist eine Darstellung einer Steuereinrichtung und einer Anzeige wie der Steuereinrichtung 15 und der Anzeige 16 der Fig. 1 weggelassen. Derartige Komponenten können jedoch auch in den Ausführungsbeispielen der Figuren 2 bis 5 bereitgestellt sein. Die Ausführungsführungsbeispiele der Figuren 2 bis 5 konzentrieren sich diesbezüglich auf eine Bildaufnahmeeinrichtung und vor allem auf eine verwendete Beleuchtungseinrichtung.
Bei dem Ausführungsbeispiel der Fig. 2A ist eine Kameraeinheit 20 zur Aufnahme eines Bildes einer Probe bereitgestellt, wobei die Probe in einer Probenebene 22 anzuordnen ist. Ein
Abstand der Kameraeinheit 20 von der Probenebene 22 ist wie in Fig. 1 mit Hobj bezeichnet. Die Kameraeinheit 20 der Fig. 2 umfasst eine Optik sowie einen Bildsensor. Zudem ist eine Beleuchtungseinrichtung 21 bereitgestellt, um eine Probe in der Probenebene 22 aus verschiedenen Richtungen und/oder unter verschiedenen Winkeln beleuchten zu können. Ein Abstand der Beleuchtungseinrichtung 21 von der Probenebene 22 ist mit H bezeichnet. Wie bei der Fig. 1 sind also Kameraeinheit 20 einer Bildaufnahmeeinrichtung und die
Beleuchtungseinrichtung 21 auf der gleichen Seite der Probenebene 22 angeordnet. Ein Verhältnis von Hobj zu H kann wie bei Fig. 1 im Bereich von 1 ,5 bis 1 liegen, ist jedoch nicht hierauf beschränkt.
Die Fig. 2B zeigt eine Draufsicht auf die Beleuchtungseinrichtung 21 in einer x-y-Ebene parallel zu der Probenebene 22. In dem Ausführungsbeispiel der Fig. 2B ist die
Beleuchtungseinrichtung 21 scheibenförmig mit einer zentralen Aussparung, welche einen Radius Rin aufweist. Der Radius der Scheibe beträgt Rout. In dem Bereich der Scheibe kann eine Vielzahl einzelner Lichtquellenelemente, beispielsweise Leuchtdioden, angeordnet sein. Es ist jedoch auch eine flächige Beleuchtung, beispielsweise eine flächige OLED-Beleuchtung, mit einzeln schaltbaren Bildpunkten oder eine andere Art von Beleuchtung, bei welcher Segmente oder Teile wahlweise ein- und ausgeschaltet werden können, möglich. Mit r ist ein Radius zu einem bestimmten Punkt der Beleuchtungseinrichtung, beispielsweise zu einer Position eines Lichtquellenelements, bezeichnet. Dabei gilt Rin < r < Rout. Der Außenradius Rout bestimmt dabei einen maximalen Beleuchtungswinkel zur Senkrechten (z-Achse in Fig. 2A) gemessen. Je größer Rout, desto größer kann ein verwendeter Beleuchtungswinkel sein. Der
Innendurchmesser Rin hängt von den vorderen Abmessungen des Objektivs 20, dem Abstand zwischen der Kameraeinheit 20 und der Beleuchtungseinrichtung 21 sowie einem Winkel, unter dem die Kameraeinheit 20 eine in der Probenebene 22 angeordnete Probe betrachtet, ab. Konkretere Beispiele für die Beleuchtungseinrichtung 21 werden später noch unter Bezugnahme auf die Figuren 6 und 7 näher erläutert. Die Beleuchtungseinrichtung 21 kann somit insbesondere der Dunkelfeldbeleuchtung dienen, da direkte Reflexionen (mit
Einfallswinkel = Ausfallswinkel) nicht zu der Kameraeinheit 20 gelangen.
Die Form der Beleuchtungseinrichtung 21 in Fig. 2B ist lediglich als Beispiel zu verstehen, und es können auch andere Formen, beispielsweise quadratische, rechteckige, ellipsenförmige, sternförmige oder andere Grundformen verwendet werden, über die einzelne
Lichtquellenelemente verteilt sind oder welche einzeln schaltbare Segmente enthalten. Durch die wahlweise Aktivierung und Deaktivierung von Lichtquellenelementen oder Segmenten der Beleuchtung kann eine Beleuchtung aus verschiedenen Richtungen, unter verschiedenen Winkeln und/oder mit unterschiedlichen Intensitäten (beispielsweise durch Aktivierung von unterschiedlichen Anzahlen von Lichtquellenelementen) realisiert werden. Es sind mehrere Öffnungen oder Aussparungen möglich, wenn in einer Anordnung mehrere Objektive oder mehrere andere Bildaufnahmeeinrichtungen verwendet werden. Auch die Form der Aussparung kann variieren und kann beispielsweis an eine Form und Größe eines verwendeten Objektivs oder einer verwendeten anderen Bildaufnahmeeinrichtung angepasst sein. Auch eine nicht- planare Anordnung von Lichtquellenelementen ist möglich. Die Figuren 3 bis 5 zeigen Abwandlungen der Vorrichtung der Fig. 2. Um Wiederholungen zu vermeiden, tragen gleiche Elemente die gleichen Bezugszeichen und werden nicht wiederholt erläutert. Variationen und Abwandlungen, welche unter Bezugnahme auf die Figuren 1 und 2 diskutiert wurden, sind auch auf die Figuren 3 bis 5 anwendbar. In der Fig. 3 ist statt der Kameraeinheit 20 ein Objektiv 30 sowie ein Bildsensor 31 zum
Aufnehmen von Bildern dargestellt. Das Objektiv 30 kann beispielsweise ein Mikroskopobjektiv zur Aufnahme mikroskopischer Bilder oder auch ein herkömmliches Objektiv zur Aufnahme makroskopischer Übersichtsbilder sein. Ansonsten entspricht das Ausführungsbeispiel der Fig. 3 dem Ausführungsbeispiel der Fig. 2A.
Bei dem Ausführungsbeispiel der Fig. 4 ist zusätzlich zu der Beleuchtungseinrichtung 21 , welche wie beschrieben eine Beleuchtung für Dunkelfeldmessungen erzeugen kann, eine weitere Beleuchtungseinrichtung 40 bereitgestellt. Licht von der Beleuchtungseinrichtung 40 wird durch einen Strahlteiler 41 in das Objektiv 30 eingespiegelt und kann somit als koaxiale Hellfeldbeleuchtung einer Probe dienen. Bei dem Ausführungsbeispiel der Fig. 4 ist dabei die Beleuchtungseinrichtung 40 durch eine einzelne Lichtquelle realisiert, welche beispielsweise beweglich sein kann, um eine Hellfeldbeleuchtung aus verschiedenen Richtungen zu realisieren. Es können auch mehrere einzelne Lichtquellen, die einzeln schaltbar sind, verwendet werden. Ein weiteres Ausführungsbeispiel mit einer weiteren Beleuchtungseinrichtung 50 ist in Fig. 5A dargestellt. Die Fig. 5B zeigt eine Draufsicht auf die weitere Beleuchtungseinrichtung 50. Diese ist im Falle der Fig. 5B im Wesentlichen scheibenförmig implementiert, wobei über die Scheibe eine Vielzahl einzelner diskreter Lichtquellenelemente, beispielsweise Leuchtdioden, verteilt sein kann. Bei anderen Ausführungsbeispielen kann die weitere Beleuchtungseinrichtung 50 ein Display mit einzeln schaltbaren Lichtpunkten, beispielsweise ein OLED-Display, sein. Durch wahlweise Aktivierung verschiedener Lichtquellen kann wiederum eine Hellfeldbeleuchtung aus verschiedenen Richtungen erzeugt werden. Licht von der weiteren Beleuchtungseinrichtung 50 wird wie in Fig. 4 über den Strahlteiler 30 in das Objektiv 30 eingespiegelt. Einzelne
Lichtquellenelemente der weiteren Beleuchtungseinrichtung 50 können in irgendeiner
Reihenfolge oder Anordnung relativ zueinander aufweisen und können auch verschiedene
Größen aufweisen oder verschiedene Raumwinkel ausleuchten. Einzelne Lichtquellenelemente können in einem rechteckigen oder kreisförmigen Raster angeordnet sein, mit gleichförmigen oder variierenden Abständen von Gruppen von Lichtquellenelementen oder einzelner
Lichtquellenelemente zueinander und/oder von einem Mittelpunkt der Beleuchtungseinrichtung 50. Die weitere Beleuchtungseinrichtung 50 kann planar oder eine Kombination planarer Elemente sein oder kann eine sphärische oder asphärische Form aufweisen, auf der die Lichtquellenelemente angeordnet sind. Die Größe der Lichtquellenelemente der weiteren Beleuchtungseinrichtung 50 kann gewählt sein, dass sie eine rückseitige Fokusebene der Optik 30 ausfüllt, nicht ganz ausfüllt oder über diese hinausragt. Die individuellen
Lichtquellenelemente der weiteren Beleuchtungseinrichtung 50 können alle gleichzeitig oder individuell oder in Gruppen ein- und ausgeschaltet werden, je nach Bedarf für eine bestimmte Messung wie beispielsweise Hellfeldmessung, Kontrastverbesserung oder Erlangen einer z- Information der Probe. Die weitere Beleuchtungseinrichtung 40, 50 der Figuren 4 und 5 kann unabhängig von der
Beleuchtungseinrichtung 21 angesteuert werden, beispielsweise für verschiedene Messungen, oder gemeinsam mit dieser angesteuert werden, um eine kombinierte Hell- und
Dunkelfeldbeleuchtung zu realisieren. Dies kann für die später beschriebene
Kontrastverbesserung, Auflösungssteigerung und/oder Erhöhung eines Schärfentiefenbereichs vorteilhaft sein. Beispielsweise kann die Hellfeldbeleuchtung unter Benutzung der weiteren
Beleuchtungseinrichtung 40 oder 50 erfolgen, womit zu der Beleuchtungseinrichtung 21 komplementäre Beleuchtungswinkel realisiert werden, unter denen zusätzliche Bilder für eine spätere Auflösungsverbesserung aufgenommen werden können. Bei manchen
Ausführungsbeispielen ist wie erwähnt die Beleuchtungseinrichtung 40 beweglich oder die Beleuchtungseinrichtung 50 in verschiedenen Segmenten ansteuerbar, um verschiedene Beleuchtungswinkel durch das Objektiv 30 zu realisieren.
Die Beleuchtungseinrichtung 21 und/oder die weitere Beleuchtungseinrichtung 40 oder 50 können Lichtquellenelemente in dem gleichen Spektralbereich oder verschiedene
Kombinationen einzelner Lichtquellenelemente mit unterschiedlichen spektralen Eigenschaften aufweisen. Indem diese Lichtquellenelemente einzeln ansteuerbar sind, kann in einem derartigen Fall dann auch die spektrale Zusammensetzung der Beleuchtung wahlweise geändert werden. Verschiedene Lichtquellenelemente können auch bei manchen
Ausführungsbeispielen unterschiedliche Polarisationen des abgestrahlten Lichts und/oder unterschiedliche Divergenzen der abgestrahlten Lichtstrahlen aufweisen, um so die
Beleuchtung je nach Bedarf variieren zu können.
Die Beleuchtungseinrichtung 21 und/oder die weitere Beleuchtungseinrichtung 40, 50 können beweglich sein, z.B. in einer Ebene parallel zu der Probenebene oder senkrecht hierzu. Die Bewegung kann auch ein Verkippen oder eine Drehbewegung umfassen. Bei manchen Ausführungsbeispielen können auch verschiedene Teile, z.B. verschiedene
Beleuchtungsabschnitte, der Beleuchtungseinrichtung 21 und/oder der weiteren
Beleuchtungseinrichtung 40, 50 relativ zueinander beweglich sein.
Als Nächstes werden Beispiele für Beleuchtungseinrichtungen, insbesondere für eine
Beleuchtungseinrichtung wie die in der Fig. 2A dargestellte Beleuchtungseinrichtung 21 mit einer ringförmigen Anordnung von Lichtquellenelementen, unter Bezugnahme auf die Figuren 6 und 7 näher erläutert.
Die Fig. 6A zeigt eine Beleuchtungseinrichtung 60, bei welcher eine Vielzahl von Leuchtdioden 61 in Ringform wie bereits unter Bezugnahme auf Fig. 2B diskutiert angeordnet sind. Bei der Beleuchtungseinrichtung 60 sind die einzelnen Leuchtdioden 61 dabei mit gleichförmigem Abstand dx in x-Richtung und gleichförmigem Abstand dy in y-Richtung angeordnet, dx kann gleich oder ungleich dy sein. Bei dem dargestellten Ausführungsbeispiel sind insgesamt 631 Leuchtdioden bereitgestellt, wobei bei anderen Ausführungsbeispielen andere Anzahlen von Leuchtdioden verwendet werden können. Die Leuchtdioden können insbesondere Weißlicht- Leuchtdioden sein, können aber auch farbige Leuchtdioden (beispielsweise rote, grüne und/oder blaue Leuchtdioden) umfassen, dx und dy können beispielsweise etwa im Bereich von 2-2,5 mm gewählt werden. Der Abstand zwischen den Leuchtdioden kann beispielsweise wie oben unter Bezugnahme auf Fig. 1 B erläutert passend zu einer numerischen Apertur einer Bildaufnahmeeinrichtung, beispielsweise des Objektivs 30 der Figuren 3 bis 5 oder der
Kameraeinheit 20 der Fig. 2A, gewählt werden. Der obige Wert von 2,5 mm kann beispielsweise passend für eine vergleichsweise kleiner numerische Apertur im Bereich von 0,005
beispielsweise bei einer Übersichtskamera sein. Bei größeren numerischen Aperturen kann ein größerer Abstand zwischen den Leuchtdioden gewählt werden, oder es kann nur ein Teil der Leuchtdioden 61 benutzt werden. Statt Leuchtdioden können auch andere
Lichtquellenelemente verwendet werden.
Für manche Messungen können Segmente von Leuchtdioden 61 zusammen ein- oder ausgeschaltet werden. Als Beispiel sind in Fig. 6B acht Segmente 62, mit 1 bis 8
durchnummeriert, dargestellt. Die Leuchtdioden jedes Segments können für manche
Messungen gemeinsam ein- und ausgeschaltet werden. Bei dem dargestellten Beispiel können die Segmente 2, 4, 5 und 7 beispielsweise jeweils 10x10 Leuchtdioden umfassen, die
Segmente 1 , 3 und 6 können jeweils 58 Leuchtdioden umfassen und das Segment 8 kann 57 Leuchtdioden umfassen. Diese Zahlen dienen jedoch lediglich als Beispiel, und je nach
Ausgestaltung der Beleuchtungseinrichtung kann eine andere Aufteilung in Segmente mit anderen Anzahlen von Lichtquellenelementen verwendet werden, die auch dynamisch angepasst werden kann. Dies wird später unter Bezugnahme auf Fig. 13B beschrieben. Um ein Ergebnisbild mit verbessertem Kontrast oder eine Berechnung von Kontrasten in einem Mikroskopbild durchführen zu können, werden bei Ausführungsbeispielen nacheinander mehrere Bilder aufgenommen, wobei für jedes Bild ein anderes der Segmente 62 aktiv ist. Diese Bilder können dann kombiniert werden, beispielsweise um ein Ergebnisbild mit gesteigertem Kontrast zu erhalten, oder ausgewertet werden, um einen Kontrast zu bestimmen. Die Aufteilung in Segmente der Fig. 6B dient ebenso nur als Beispiel, und es kann auch eine andere Aufteilung, beispielsweise mit einer anderen Anzahl von Segmenten, verwendet werden.
In anderen Fällen können auch kleinere Segmente oder einzelne Leuchtdioden geschaltet werden, um beispielsweise eine Beleuchtung aus unterschiedlichen Richtungen unter mehreren verschiedenen Winkeln zu realisieren. Ein Beispiel ist in den Figuren 7A bis 7C gezeigt, bei welchem die Leuchtdioden gemäß der Anordnung in Zeilen wie durch Pfeile angedeutet sequenziell eingeschaltet werden. So ist in Fig. 7A eine Leuchtdiode 70A eingeschaltet, in Fig. 7B, welche einen späteren Zeitpunkt zeigt, eine Leuchtdiode 70B eingeschaltet, und zu einem noch späteren Zeitpunkt, den Fig. 7C zeigt, eine Leuchtdiode 70C eingeschaltet. Statt einem sequenziellen Einschalten gemäß den Zeilen kann auch ein sequenzielles Einschalten gemäß Spalten oder auch ein zufälliges sequenzielles Einschalten der Leuchtdioden erfolgen.
Eine derartige Beleuchtung mit einzelnen Lichtquellenelementen, die ein- und ausgeschaltet werden, kann beispielsweise zur Auflösungsverbesserung oder zur Bestimmung eines
Höhenprofils einer Probe (d.h. z-lnformation) zum Zwecke einer Autofokuseinstellung,
Neufokussierung eines Objektivs oder zur Vergrößerung einer Tiefenschärfe verwendet werden. Auch hier können mehrere Bilder aufgenommen werden, die aus verschiedenen Winkeln und/oder aus verschiedenen Richtungen beleuchtet werden, und durch Kombination der Bilder kann ein entsprechendes Ergebnisbild erzeugt werden. Auch hier werden Details später noch näher erläutert.
Durch die Einschaltung verschiedener Lichtquellenelemente können wie bereits erläutert Beleuchtungen aus verschiedenen Richtungen und Winkeln realisiert werden. Jede
Leuchtdiode definiert dabei einen bestimmten Winkel und eine bestimmte Position. Die unten stehende Tabelle zeigt Beispiele für die ersten 10 Leuchtdioden der Leuchtdiodenanordnung 61 , d.h. die Leuchtdioden der obersten Zeile, r bezeichnet dabei den Radius, wie er in Fig. 2B eingezeichnet ist, und H bezeichnet den Abstand zwischen Beleuchtungseinrichtung und Probenebene wie er ebenfalls in den Figuren 1 bis 5 eingezeichnet ist. theta bezeichnet den Beleuchtungswinkel, und R bezeichnet den Abstand der Lichtquelle von einem Schnittpunkt der optischen Achse des Systems mit der Probenebene. Der Beleuchtungswinkel theta definiert die numerische Apertur der Beleuchtung, welche in der Tabelle mit NA.illum bezeichnet ist.
Beleuchtung
# Leuchtdiode r H R theta sin(theta)
mm mm mm NA.illum
1 38,0 190 193,8 1 1 ,30 0,196
2 37,3 193,6 1 1 ,10 0,193
3 36,8 193,5 10,96 0,190
4 36,4 193,5 10,86 0,188
5 36,3 193,4 10,81 0,188 6 36,3 193,4 10,81 0,188
7 36,4 193,5 10,86 0,188
8 36,8 193,5 10,96 0,190
9 37,3 193,6 1 1 ,10 0,193
10 38,0 193,8 1 1 ,30 0,196
Die vorstehend diskutierten Vorrichtungen, bei welchen eine Beleuchtung von der gleichen Seite einer Probe erfolgt wie eine Bildaufnahme, können mit einer oder mehreren weiteren Bildaufnahmeeinrichtungen kombiniert werden, bei welchen die Probe von der jeweiligen anderen Seite aufgenommen wird. Beispiele hierfür werden nunmehr unter Bezugnahme auf die Figuren 8 und 9 erläutert. Dabei beruht die Fig. 8 auf dem Ausführungsbeispiel der Fig. 5A, und die Fig. 9 beruht auf dem Ausführungsbeispiel der Fig. 3. In entsprechender Weise können zusätzliche Bildaufnahmeeinrichtungen auch in den Ausführungsbeispielen der Figuren 1 , 2 oder 4 bereitgestellt werden. Elemente der Figuren 8 und 9, welche Elementen in den bereits vorstehend diskutieren Ausführungsbeispielen der Figuren 3 und 5A entsprechen, tragen die gleichen Bezugszeichen und werden nicht nochmals detailliert erläutert. In den Figuren 8 und 9 bezeichnet Hobjl den Abstand zwischen der Probenebene 22 und dem Objektiv 30 und entspricht somit dem Abstand Hobj der Figuren 1 bis 5.
Bei dem Ausführungsbeispiel der Fig. 8 ist zusätzlich zu dem Objektiv 30 noch ein weiteres Objektiv 80 mit einem weiteren (nicht dargestellten) Bildsensor bereitgestellt, wobei das weitere Objektiv 80 bezogen auf die Probenebene 22 auf einer gegenüberliegenden Seite des Objektivs 30 angeordnet ist. Das Objektiv 30 kann dabei beispielsweise eine relativ niedrige numerische Apertur aufweisen und zur Aufnahme von Übersichtsaufnahmen dienen. Mittels der
Beleuchtungseinrichtung 21 und/oder der weiteren Beleuchtungseinrichtung 50 können
Beleuchtungen aus verschiedenen Richtungen realisiert werden, wie vorstehend beschrieben, und auf Basis einer Vielzahl aufgenommener Bilder kann dann ein Ergebnisbild berechnet werden, bei welchem ein Kontrast verbessert ist und/oder Reflexe durch die Beleuchtung korrigiert sind. Das Objektiv 80 kann eine höhere numerische Apertur aufweisen und kann ebenfalls eine Vielzahl von Bildern aufnehmen, wobei grundsätzlich die
Beleuchtungseinrichtungen 21 und 50 zur Beleuchtung dienen können. In diesem Fall werden mit dem weiteren Objektiv 80 Durchlichtbilder aufgenommen. Bei anderen
Ausführungsbeispielen kann das weitere Objektiv 80 eine eigene (in Fig. 8 nicht dargestellte) Beleuchtungseinrichtung aufweisen. Das Objektiv 30 und das Objektiv 80 unterscheiden sich voneinander hinsichtlich des
Arbeitsabstands, der Vergrößerung, der numerischen Apertur und/oder der Auflösung, sodass Bilder mit unterschiedlichen Bildeigenschaften erhalten werden können. Mittels des weiteren Objektivs 80 können dann insbesondere Durchlichtbilder von transparenten oder
semitransparenten Proben erhalten werden, während mittels des Objektivs 30 Auflichtbilder wahlweise mit Hellfeldbeleuchtung oder Dunkelfeldbeleuchtung erhalten werden können. In beiden Fällen können Beleuchtungen unter verschiedenen Winkeln realisiert werden.
Fig. 9 zeigt eine Alternative zu dem Ausführungsbeispiel der Fig. 8, bei welchem die weitere Beleuchtungseinrichtung 50 und der Strahlteiler 41 bei dem Objektiv 30 weggelassen sind und dafür eine zusätzliche Beleuchtungseinrichtung 91 und ein Strahlteiler 90 bei dem weiteren Objektiv 80 bereitgestellt sind. Mittels der zusätzlichen Beleuchtungseinrichtung 91 , welche grundsätzlich wie die weitere Beleuchtungseinrichtung 50 ausgestaltet sein kann, ist eine Durchlichtbeleuchtung im Hellfeld für das Objektiv 30 bzw. eine Auflicht-Hellfeldbeleuchtung für das Objektiv 80 möglich. Die Beleuchtung durch die weitere Beleuchtungseinrichtung 91 kann insbesondere eine Beleuchtung für einen vergleichsweise kleinen Bildausschnitt des Objektivs 30 bereitstellen. Der Bereich verwendbarer Winkel für die Beleuchtung durch das weitere Objektiv 80, d.h. mittels der weiteren Beleuchtungseinrichtung 91 ist durch die numerische Apertur des Objektivs 80 definiert. Den Anteil des Gesichtsfelds des Objektivs 30, der so ausgeleuchtet werden kann, kann durch laterale Verschiebung der Probenebene oder
Beleuchtungseinrichtung 91 oder des Objektivs 80 vergrößert werden.
Weitere Ausführungsbeispiele werden nun unter Bezugnahme auf die Figuren 10 bis 12 erläutert. Die Fig. 10A zeigt eine Mikroskopvorrichtung 100 gemäß einem Ausführungsbeispiel, und die Fig. 10B zeigt eine Detailansicht der Mikroskopvorrichtung 100 der Fig. 10A. Bei der Fig. 10 ist ein Objektiv 103 mit einer Beleuchtungseinrichtung 101 , welche wie unter
Bezugnahme auf die Figuren 6 und 7 für die Beleuchtungseinrichtung 60 erläutert ausgestaltet ist, versehen. Dabei können in der Beleuchtungseinrichtung 101 wahlweise verschiedene Segmente oder Leuchtdioden aktiviert werden. Das Objektiv 103 kann beispielsweise eine vergleichsweise niedrige numerische Apertur aufweisen und zur Aufnahme von
Übersichtsbildern dienen. Ein weiteres Objektiv 102 mit einer höheren numerischen Apertur kann dann zur Aufnahme von Detailbildern dienen. Bei dem Ausführungsbeispiel der Fig. 10 ist dabei das Objektiv 102 mit diskreten Lichtquellenelementen 104, beispielsweise Leuchtdioden, welche konzentrisch rings um das Objektiv 102 angeordnet sind, versehen. Auch mit den Lichtquellenelementen 104 kann eine Beleuchtung aus verschiedenen Richtungen realisiert werden. Mit dem Objektiv 103 kann dann im Betrieb eine Abfolge von Übersichtsbildern aufgenommen werden, wobei die Beleuchtungseinrichtung 101 zur Beleuchtung aus verschiedenen
Richtungen und/oder verschiedenen Winkeln angesteuert wird. Durch Kombinieren dieser Bilder kann dann beispielsweise ein reflexfreies Übersichtsbild mit vergleichsweiser niedriger Auflösung, ein reflexfreies Übersichtsbild mit verbessertem Kontrast, ein reflexfreies
Übersichtsbild mit verbesserter Auflösung durch Kombination der Bilder oder ein reflexfreies Übersichtsbild mit verbesserter Auflösung und verbessertem Kontrast bereitgestellt werden. Parallel oder sequenziell hierzu kann das Objektiv 102 Detailaufnahmen anfertigen, wobei hier ebenso die Beleuchtung durch Aktivierung verschiedener Lichtquellenelemente 104 variiert werden kann und dann durch Kombination der Einzelbilder ein Kontrast und/oder eine
Auflösung verbessert werden kann und/oder Reflexe korrigiert werden können. Die einzelnen Schritte, d.h. insbesondere die einzelnen Bildaufnahmen, können dann für eine jeweilige Aufgabe je nach Bedürfnissen hinsichtlich Geschwindigkeit, Bildqualität und Leistungsfähigkeit optimiert werden.
Die Fig. 1 1 zeigt verschiedene Mikroskopobjektive 1 12, 1 13 und 1 14, welche mit einer
Beleuchtungseinrichtung 1 1 1 , welche entsprechend der Beleuchtungseinrichtung 61 der Figuren 6 und 7 ausgestaltet sein kann, kombiniert werden können. Diese Objektive 1 12, 1 13 und 1 14 können mit einem Mikroskop 1 10 verwendet werden. Beispielsweise kann das Objektiv 1 12 ein 5-fach Objektiv, das Objektiv 1 13 ein 1 ,6-fach Objektiv und das Objektiv 1 14 ein 0,5- fach Objektiv sein. Die Beleuchtungseinrichtung 1 1 1 kann insbesondere auf den
Frontlinsendurchmesser des 0, 5-fach Objektivs abgestimmt sein, kann jedoch auch an anderen Objektiven verwendet werden. Es können auch verschiedene Beleuchtungseinrichtungen für verschiedene Objektive bereitgestellt sein, beispielsweise mit unterschiedlichen Innen- und Außendurchmessern wie in Fig. 2A gezeigt.
In den Figuren 12A bis 12C ist eine weitere Kombination einer entsprechenden
Beleuchtungseinrichtung 120, die wiederum wie die Beleuchtungseinrichtung 61 der Figuren 6 und 7 ausgestaltet sein kann, mit einem Objektiv 121 zum Einbau in ein Mikroskop 122 dargestellt. Somit können erfindungsgemäße Beleuchtungseinrichtungen mit verschiedenen Objektiven und Mikroskopsystemen verwendet werden.
Wie bereits erläutert kann durch Aufnahme mehrerer Bilder mit unterschiedlichen
Beleuchtungseinrichtungen und/oder unterschiedlichen Beleuchtungswinkeln eine Bildverbesserung erzielt werden. Dies wird im Folgenden unter Bezugnahme auf die Figuren 13 bis 20 näher erläutert.
Fig. 13A zeigt ein Flussdiagramm eines entsprechenden Verfahrens, welches mit Hilfe der Vorrichtungen der Figuren 1 bis 12 ausgeführt werden kann. Insbesondere kann eine
Steuerung und Berechnung für das Verfahren der Fig. 13A in der Steuereinrichtung 15 der Fig. 1 erfolgen.
In einem Schritt 130 des Verfahrens der Fig. 13A wird eine Vielzahl von Bildern mit
unterschiedlichen Beleuchtungsrichtungen und/oder unterschiedlichen Beleuchtungswinkeln aufgenommen. Hierzu können beispielsweise sequenziell verschiedene Lichtquellenelemente oder Gruppen/Segmente von Lichtquellenelementen einer Beleuchtungseinrichtung aktiviert werden, wie oben bereits beschrieben, und jeweils ein oder mehrere Bilder für jede
Beleuchtung aufgenommen werden. In Schritt 131 wird aus der Vielzahl von Bildern ein
Ergebnisbild mit verbesserten Bildeigenschaften erzeugt. Insbesondere können Reflexe entfernt werden, es kann ein Kontrast verbessert werden, es kann eine z-Karte des Bildes erstellt werden, d.h. ein Höhenprofil, und/oder es kann die Auflösung verbessert werden.
Zur Entfernung von Reflexen kann dabei bestimmt werden, welche Bildteile jeweils„überstrahlt" sind, d.h. in welchen Bildteilen beispielsweise reines Weiß vorliegt (bei Farbbildern alle
Farbkanäle, z.B. rot, grün, blau, auf dem höchsten Wert). Wenn diese Bereiche in
verschiedenen Bildern nicht die gleiche Position haben, kann darauf geschlossen werden, dass es sich hier um Reflexe handelt. Bei Kombination der Vielzahl von Bildern zum Erzeugen des Ergebnisbildes kann dann eine Kombination der Vielzahl von Bildern verwendet werden, beispielsweise durch Mittelung, wobei beispielsweise die oben identifizierten überstrahlten
Bereiche jeweils außer Acht gelassen (ausgelassen) werden, sodass, wenn in einem der Bilder ein bestimmter überstrahlter Bereich vorliegt, für diesen Bereich nur die übrigen Bilder herangezogen werden. Eine Reflexkorrektur kann auch wie in der deutschen Patentanmeldung DE 10 2014 1 13 256 der Anmelderin detailliert beschrieben vorgenommen werden. Auch hier wird eine Vielzahl von Bildern für verschiedene Beleuchtungsgeometrien aufgenommen, und auf einen Teil der Bilder wird eine Abschattungsoperation zur Reflexunterdrückung angewendet, die von der bei der Aufnahme des jeweiligen Bildes verwendeten Beleuchtungsgeometrie, d.h. von
Beleuchtungsrichtung und Beleuchtungswinkel, abhängt. Die so erzeugten modifizierten Bilder können zu einem Ergebnisbild kombiniert werden. z-Positionen in dem Bild können beispielsweise wie in der deutschen Patentanmeldung DE 10 2014 109 687 oder wie in der deutschen Patentanmeldung DE 10 2014 1 13 433 beschrieben bestimmt werden. Dabei kann die Beleuchtung aus einer Vielzahl unterschiedlicher
Beleuchtungsrichtungen insbesondere defokussiert erfolgen. In diesem Fall ändert sich die Position der abgebildeten Objekte je nach Beleuchtungsrichtung in Abhängigkeit von ihrer z- Position. Aus den Verschiebungen der Objekte in Abhängigkeit von der Beleuchtungsrichtung kann dann eine z-Karte erstellt werden. Diese z-Karte kann dann für weitere
Bildverbesserungen, beispielsweise die im Folgenden erläuterten, angewendet werden.
Eine Verbesserung von Auflösung, Schärfe und Kontrast kann beispielsweise wie in der DE 10 2014 1 13 258 beschrieben vorgenommen werden. Dabei werden Intensitätsbilder mit verschiedenen Beleuchtungsgeometrien, im vorliegenden Fall mit unterschiedlichen
Beleuchtungsrichtungen und/oder Beleuchtungswinkeln aufgenommen und zum Erzeugen eines Ergebnisbildes kombiniert.
Zudem kann eine Entzerrung wie in der DE 10 2014 1 12 648 beschrieben angewendet werden. Auch kann wie in der DE 10 2015 107 517 beschrieben eine Schärfentiefe erhöht werden, und/oder es kann wie in der DE 10 2014 1 12 242 erläutert ein Phasenkontrastbild erzeugt werden. Die obigen Verfahren können einzeln, aber auch in Kombination miteinander angewendet werden.
Das Verfahren kann dynamisch angepasst werden, wie nun unter Bezugnahme auf die Fig. 13B beschrieben wird. Fig. 13B zeigt ein Flussdiagramm eines weiteren Verfahrens, welche eine Erweiterung des Verfahrens der Fig. 13A darstellt und ebenfalls in der Steuereinrichtung 15 der Fig. 1 implementiert werden kann.
In einem Schritt 132 wird eine Beleuchtungssequenz mit Beleuchtungsmustern festgelegt, d.h. es wird festgelegt, welche Beleuchtungsabschnitte (einzelne Lichtquellenelemente oder auch Segmente wie oben beschreiben) in welcher Reihenfolge aktiviert werden. Die kann in
Abhängigkeit von einem Ziel des Verfahrens (z.B. Auflösungssteigerung, Reflexkorrektur etc. wie oben beschrieben) geschehen. In Schritt 133 wird dann eine Serie von Bildern
entsprechend der Beleuchtungssequenz aufgenommen. In einem Schritt 134 werden dann Bilder aus der Bildserie für eine nachfolgende Kombination ausgewählt. Die können alle Bilder der Bildserie sein, aber auch nur manche Bilder. Dies kann wiederum abhängig von dem Ziel des Verfahrens geschehen. In einem Schritt 135 wird dann ein Ergebnisbild auf Basis der in Schritt 134 ausgewählten Bilder bestimmt. Dies kann unter Anwendung der oben unter Bezugnahme auf Fig. 13A
beschriebenen Verfahren erfolgen.
In einem Schritt 136 wird bewertet, ob die Qualität des Ergebnisbildes zufrieden stellend ist (z.B. ausreichende Bildschärfe, Reflexe ausreichend korrigiert etc.). Ist dies der Fall, wird das Ergebnisbild in einem Schritt 137 ausgegeben. Andernfalls gibt es zwei Möglichkeiten, die auch kombiniert werden können:
Entsprechend einem Pfeil 138 kann zu Schritt 134 zurückgegangen werden, wobei die Bildauswahl geändert wird. Beispielsweise können manche Bilder weggelassen werden.
Entsprechend einem Pfeil 139 kann zu Schritt 132 zurückgegangen werden, wobei die Beleuchtungssequenz geändert wird. Beispielsweise können Größe und Abstand von verwendeten Segmenten durch aktivieren oder deaktivieren von Lichtquellenelementen am Rand der Segmente verändert werden, was den Winkel 18 der Fig. 1 B verändert.
Auf diese Weise kann die Beleuchtungssequenz und/oder die Bildauswahl dynamisch an Erfordernisse angepasst werden.
Im Folgenden wird auf Basis der Figuren 14 bis 20 die Wirkungsweise derartiger
Bildverbesserungen anhand von Beispielbildern erläutert.
Die Fig. 14 zeigt ein Beispielbild, welches nicht korrigiert wurde und bei welchem beispielsweise alle Leuchtdioden einer Beleuchtungseinrichtung wie der Beleuchtungseinrichtung 61 der Figuren 6 und 7 eingeschaltet sind. In Fig. 14 ist bei einem mittleren Element 140 des
Beispielbildes ein deutlicher Spotreflex zu sehen. Zudem treten bei dem links oben
angeordneten Element 141 (einer Glashalbkugel) ringförmige Reflexe auf.
Die Figuren 15 bis 17 zeigen verschiedene Bildserien, welche von der in Fig. 14 dargestellten Anordnung aufgenommen wurde, wobei die Beleuchtung in jeder der Figuren 15 bis 17 von Bild zu Bild variiert. Die Figuren 15A und 15B zeigen zwei Bilder für zwei unterschiedliche
Beleuchtungen. Beispielsweise kann hier jeweils eine Hälfte der Lichtquellenelemente aktiviert sein. Wie beispielsweise zu sehen ist, tritt der Reflex in dem mittleren Element 140 dann an verschiedenen Stellen auf, und auch der Reflex bei dem Element 141 verändert sich.
Die Figuren 16A bis 16B zeigen Aufnahmen für vier unterschiedliche Beleuchtungen, beispielsweise bei dem jeweils ein Viertel von Leuchtdioden der Beleuchtungseinrichtung 61 der Figuren 6 und 7 aktiviert ist. Hier ist zu sehen, dass beispielsweise in den Figuren 16B und 16C gar kein Reflex bei dem mittleren Element 140 auftritt.
Die Figuren 17A bis 17H zeigen schließlich Aufnahmen mit acht verschiedenen Beleuchtungen, bei denen beispielsweise die acht Segmente, die in der Fig. 6B dargestellt wurden,
nacheinander aktiviert wurden. Auch hier ändert sich der Reflex von Bild zu Bild.
Somit können durch Kombination der Bilder wie oben beschrieben die Reflexe unterdrückt werden. Die Fig. 18 zeigt ein Bild, welches durch Kombination mehrerer Bilder mit
verschiedenen Beleuchtungen gewonnen wurde und bei dem eine Reflexkorrektur durchgeführt wurde. Wie zu sehen ist, ist in Fig. 18 bei den Elementen 140 und 141 kein Reflex mehr zu sehen, und die Elemente sind gut erkennbar. Ein Bild wie in Fig. 18 kann im Wesentlichen aus jedem der Bildersätze der Figuren 15 bis 17 gewonnen werden. Die Fig. 19 zeigt ein Bild, bei welchem der mikroskopische Kontrast durch Kombination mehrerer Bilder erhöht wurde. Auch hierzu können die Einzelbilder der Figuren 15 bis 17 herangezogen werden, wobei je nach verwendeter Gruppe von Einzelbildern die Ergebnisse variieren können. Die Fig. 20 zeigt ein Phasenkontrastbild, welches durch Kombination mehrerer Bilder, die mit unterschiedlicher Beleuchtung aufgenommen wurden, erhalten wurde. In dem
Phasenkontrastbild sind beispielsweise Oberflächeninhomogenitäten in einem unten rechts in dem Bild abgebildeten Metallring 200 besser erkennbar, und Volumendefekte in dem Element 141 , welches eine Glaskugel ist, werden sichtbar.
In den Figuren 21 A bis 21 F ist eine Verbesserung der Auflösung über einen Wert entsprechend der numerischen Apertur des verwendeten Objektivs dargestellt. Die Figuren 21 A bis 21 C zeigen Bilder, welche mit einer Optik niedriger numerischer Apertur erhalten wurden, wobei in dem aufgenommenen Bereich zusätzlich Reflexe der von Leuchtdioden einer
Beleuchtungseinrichtung das Bild negativ beeinflussen. Fig. 21 B ist dabei ein vergrößerter
Ausschnitt der Fig. 21 A, und Fig. 21 C ist ein vergrößerter Ausschnitt der Fig. 21 B. Die Figuren 21 D bis 21 F zeigen Aufnahmen des Ausschnitts der Fig. 21 C, welche mit einer höheren optischen Auflösung entsprechend einer höheren numerischen Apertur erreicht wurden. Die Auflösung verbessert sich von Fig. 21 D zu Fig. 21 F hin. Ein entsprechender Effekt kann erreicht werden, wenn mehrere Bilder, die mit dem Objektiv der Fig. 21 C aufgenommen wurden, mit verschiedenen Beleuchtungseinstellungen kombiniert werden. Durch eine Erhöhung der Auflösung kann insbesondere bei Übersichtsbildern auch ein möglicher Bereich für einen digitalen Zoom vergrößert werden.
Somit kann durch eine Kombination mehrere Bilder, welche mit unterschiedlichen
Beleuchtungen aufgenommen wurde, ein Ergebnisbild mit verbesserten Bildeigenschaften erhalten werden.
Die in den Figuren 14 bis 21 dargestellten Bilder dienen lediglich der Veranschaulichung und die tatsächlich erzielten Ergebnisse können abhängig von den aufgenommenen, abhängig von einem verwendeten Objektiv, abhängig von den verwendeten Beleuchtungen und abhängig von der Art der Kombination der einzelnen Bilder variieren.

Claims

Patentansprüche
1 . Vorrichtung zur Bildaufnahme, umfassend:
eine Bildaufnahmeeinrichtung (14; 20; 30, 31 ) und
eine um eine optische Achse der Bildaufnahmeeinrichtung (14; 20; 30, 31 ) herum angeordnete Beleuchtungseinrichtung (13; 21 ; 61 ),
wobei die Beleuchtungseinrichtung (13; 21 ; 61 ) eine Aussparung aufweist, um einen
Durchgang von Licht zu der Bildaufnahmeeinrichtung (14; 20; 30, 31 ) zu ermöglichen, und wobei die Beleuchtungseinrichtung eine Vielzahl von unabhängig ansteuerbaren
Beleuchtungsabschnitten aufweist;
wobei die Bildaufnahmeeinrichtung (14; 20; 30, 31 ) und die Beleuchtungseinrichtung (13; 21 ; 61 ) auf einer gleichen Seite einer Probenebene (1 1 ; 22) der Bildaufnahmeeinrichtung angeordnet sind; und
wobei ein Winkel (18) zwischen benachbarten Beleuchtungsabschnitten (13A, 13B) der Beleuchtungseinrichtung (13; 21 ; 61 ) von der Probenebene (1 1 ; 22) aus gesehen kleiner oder gleich ist als ein durch eine numerische Apertur der Bildaufnahmeeinrichtung (14; 20; 30, 31 ) definierter Winkel (17).
2. Vorrichtung nach Anspruch 1 , wobei der Winkel (18) zwischen benachbarten
Beleuchtungsabschnitten (13A, 13B) der Beleuchtungseinrichtung (13; 21 ; 61 ) um mindestens 10% kleiner ist als der durch die numerische Apertur der Bildaufnahmeeinrichtung (14; 20; 30, 31 ) definierte Winkel (17).
3. Vorrichtung nach Anspruch 1 oder 2, wobei die Vielzahl von Beleuchtungsabschnitten eine Vielzahl von Lichtquellenelementen (61 ) umfassen.
4. Vorrichtung nach Anspruch 3, wobei die Lichtquellenelemente einzeln und/oder segmentweise ansteuerbar sind.
5. Vorrichtung nach einem der Ansprüche 3 oder 4, wobei unterschiedliche
Lichtquellenelemente unterschiedliche Eigenschaften hinsichtlich Spektralbereich und/oder Polarisation aufweisen.
6. Vorrichtung nach einem der Ansprüche 1 oder 2, wobei die Beleuchtungseinrichtung eine flächige Lichtquelle und wahlweise ansteuerbare Abschattungselemente zum Abdunkeln jeweils eines Teils der flächigen Lichtquelle umfasst.
7. Vorrichtung nach einem der Ansprüche 1 -6, wobei die Beleuchtungseinrichtung ringförmig mit einem Innendurchmesser (Rin) und einem Außendurchmesser (Rout) ist, wobei der Innendurchmesser (Rin) die Aussparung definiert.
8. Vorrichtung nach einem der Ansprüche 1 -7, weiter umfassend eine weitere
Beleuchtungseinrichtung (40; 50), wobei Licht von der weiteren Beleuchtungseinrichtung (40; 50) in einen Strahlengang der Bildaufnahmeeinrichtung (14; 20; 30, 31 ) einkoppelbar ist.
9. Vorrichtung nach Anspruch 8, wobei die weitere Beleuchtungseinrichtung ein
bewegliches Lichtquellenelement umfasst.
10. Vorrichtung nach Anspruch 8, wobei die weitere Beleuchtungseinrichtung (50) eine Vielzahl unabhängig ansteuerbarer weiterer Beleuchtungsabschnitte umfasst.
1 1 . Vorrichtung nach einem der Ansprüche 1 -10, weiter umfassend eine weitere
Bildaufnahmeeinrichtung (80; 102), wobei sich die weitere Bildaufnahmeeinrichtung hinsichtlich numerischer Apertur, Arbeitsabstand, Vergrößerung und/oder Auflösung von der
Bildaufnahmeeinrichtung (14; 20; 30, 31 ) unterscheidet.
12. Vorrichtung nach Anspruch 1 1 , wobei die weitere Bildaufnahmeeinrichtung bezüglich der Bildaufnahmeeinrichtung (14; 20; 30, 31 ) auf einer gegenüberliegenden Seite der Probenebene
(1 1 ; 22) angeordnet ist.
13. Vorrichtung nach Anspruch 1 1 oder 12, weiter umfassend eine zusätzliche
Beleuchtungseinrichtung, deren Licht in einen Strahlengang der weiteren
Beleuchtungseinrichtung (80) einkoppelbar ist.
14. Vorrichtung nach einem der Ansprüche 1 -13, weiter umfassend eine Steuereinrichtung (15), wobei die Steuereinrichtung eingerichtet ist, die Beleuchtungseinrichtung (13; 21 ; 61 ) sequenziell zur Aktivierung verschiedener Beleuchtungsabschnitte anzusteuern, um eine Probe (12) in der Probenebene (1 1 ) unter verschiedenen Winkeln und/oder aus verschiedenen
Richtungen zu beleuchten, und die Bildaufnahmeeinrichtung (14; 20; 30, 31 ) anzusteuern, für die verschiedenen Ansteuerungen der Beleuchtungseinrichtung (13; 21 ; 61 ) eine entsprechende Vielzahl von Bildern zu erhalten.
15. Vorrichtung nach Anspruch 14, wobei die Steuereinrichtung (15) weiter eingerichtet ist, die Vielzahl von Bildern zu einem Ergebnisbild zu kombinieren.
16. Vorrichtung nach Anspruch 15, wobei die Steuereinrichtung (15) eingerichtet ist, beim Kombinieren eines oder mehrere der Folgenden auszuführen:
- eine Reflexkorrektur
- eine Auflösungsverbesserung,
- eine Kontrastverbesserung,
- eine Bestimmung einer z-Karte der Probe,
- ein Bestimmen eines Phasenkontrastbilds,
- eine Erhöhung eines Schärfentiefenbereichs.
17. Vorrichtung nach Anspruch 14, oder 15, wobei die Steuereinrichtung weiter eingerichtet ist, eine Qualität des Ergebnisbildes zu bewerten und abhängig von der Bewertung die sequenzielle Ansteuerung der Beleuchtungseinrichtung und/oder eine Auswahl von Bildern zum Kombinieren zu modifizieren.
18. Verfahren zur Bildaufnahme, umfassend:
Aufnehmen einer Vielzahl von Bildern mit der Vorrichtung nach einem der Ansprüche 1 - 17, wobei für verschiedene Bilder der Vielzahl von Bildern unterschiedliche
Beleuchtungsabschnitte der Beleuchtungseinrichtung der Vorrichtung aktiviert werden, und Kombinieren der Vielzahl von Bildern zu einem Ergebnisbild mit verbesserten
Bildeigenschaften.
19. Verfahren zur Bildaufnahme, umfassend:
- Aufnehmen einer Vielzahl von Bildern mit unterschiedlichen Beleuchtungsrichtungen, - Auswählen von zu kombinierenden Bildern aus der Vielzahl von Bildern,
- Bestimmen von überstrahlten Bildanteilen in den zu kombinierenden Bildern, und
- Kombinieren der zu kombinierenden Bilder zu einem Ergebnisbild mit reduzierten Reflexen, wobei in den zu kombinierenden Bildern zumindest einige der überstrahlten Bildanteile beim Kombinieren ausgelassen werden.
20. Verfahren nach Anspruch 19, weiterhin umfassend:
- Bestimmen, ob die überstrahlten Bildanteile in den zu kombinierenden Bildern die gleiche Position haben,
wobei beim Kombinieren der zu kombinierenden Bilder diejenigen Bildanteile ausgelassen werden, die in den zu kombinierenden Bildern nicht die gleiche Position haben.
21 . Verfahren nach Anspruch 19 oder 20, weiterhin umfassend:
- Auswählen von weiteren zu kombinierenden Bildern aus der Vielzahl von Bildern, wobei die weiteren zu kombinierenden Bilder verschieden sind von den zu kombinierenden Bildern, und
- Kombinieren der weiteren zu kombinierenden Bilder, sodass diese einen erhöhten Bildkontrast aufweisen.
22. Verfahren nach Anspruch 21 ,
wobei das Aufnehmen der weiteren zu kombinierenden Bilder aus der Vielzahl von
Bildern ausgelöst wird durch das Auswählen der weiteren zu kombinierenden Bilder.
23. Verfahren nach Anspruch 21 oder 22, weiterhin umfassend:
- Durchführen einer Optimierung zum Bereitstellen von Kombinationsparametern für das Kombinieren der weiteren zu kombinierenden Bilder, wobei die Kombinationsparametern gewährleisten, dass das Ergebnisbild den erhöhten Bildkontrast als Optimierungskriterium erfüllt.
24. Verfahren nach einem der Ansprüche 19 - 23,
wobei für verschiedene Bilder der Vielzahl von Bildern mit unterschiedlichen
Beleuchtungsrichtungen unterschiedliche Beleuchtungsabschnitte der Beleuchtungseinrichtung der Vorrichtung nach einem der Ansprüche 1 - 17 aktiviert werden
PCT/EP2016/082347 2015-12-23 2016-12-22 Vorrichtung und verfahren zur bildaufnahme WO2017109053A2 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680075911.8A CN108474931B (zh) 2015-12-23 2016-12-22 用于图像拍摄的设备和方法
JP2018532742A JP6655188B2 (ja) 2015-12-23 2016-12-22 画像を取り込むための装置および方法
US16/065,263 US10948705B2 (en) 2015-12-23 2016-12-22 Device and method for capturing images
EP16825751.7A EP3394656A2 (de) 2015-12-23 2016-12-22 Vorrichtung und verfahren zur bildaufnahme

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015122712.6 2015-12-23
DE102015122712.6A DE102015122712B4 (de) 2015-12-23 2015-12-23 Vorrichtung und Verfahren zur Bildaufnahme

Publications (2)

Publication Number Publication Date
WO2017109053A2 true WO2017109053A2 (de) 2017-06-29
WO2017109053A3 WO2017109053A3 (de) 2017-09-14

Family

ID=57794253

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/082347 WO2017109053A2 (de) 2015-12-23 2016-12-22 Vorrichtung und verfahren zur bildaufnahme

Country Status (6)

Country Link
US (1) US10948705B2 (de)
EP (1) EP3394656A2 (de)
JP (1) JP6655188B2 (de)
CN (1) CN108474931B (de)
DE (1) DE102015122712B4 (de)
WO (1) WO2017109053A2 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019185993A1 (en) * 2018-03-28 2019-10-03 Engemma Oy Extended focal plane imaging by using a gemstone manipulator
WO2019238518A3 (de) * 2018-06-12 2020-03-12 Carl Zeiss Jena Gmbh Materialprüfung von optischen prüflingen
CN110998406A (zh) * 2017-07-12 2020-04-10 卡尔蔡司显微镜有限责任公司 角度可变的照明时的闪烁
WO2020095443A1 (ja) * 2018-11-09 2020-05-14 株式会社ニコン 顕微鏡
EP3686645A1 (de) * 2019-01-24 2020-07-29 Schott Ag Beleuchtungseinrichtung für ein abbildendes optisches gerät sowie verfahren zur detektion

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017121291A1 (de) * 2017-09-14 2019-03-14 Carl Zeiss Microscopy Gmbh Bestimmung von Aberrationen mittels Winkel-variabler Beleuchtung
DE102017125799A1 (de) * 2017-11-06 2019-05-09 Carl Zeiss Industrielle Messtechnik Gmbh Reduktion von Bildstörungen in Bildern
US11689821B2 (en) * 2020-08-07 2023-06-27 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Incoherent Fourier ptychographic super-resolution imaging system with priors
DE102020126737A1 (de) 2020-10-12 2022-04-14 Carl Zeiss Microscopy Gmbh Verfahren und Mikroskop zum Erzeugen eines Übersichtsbildes einer Probe
DE102021102990A1 (de) * 2021-02-09 2022-08-11 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zur Bestimmung der optimalen Position der Fokalebene zum Mikroskopieren einer Probe
EP4414766A1 (de) * 2023-02-09 2024-08-14 Siemens Healthineers AG Optisches system zur digitalen abbildung von ungefärbten gewebeproben und verfahren dafür

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3906555A1 (de) 1989-03-02 1989-07-06 Zeiss Carl Fa Auflicht-objektbeleuchtungseinrichtung
DE102014109687A1 (de) 2014-07-10 2016-01-14 Carl Zeiss Ag Positionsbestimmung eines Objekts im Strahlengang einer optischen Vorrichtung
DE102014112242A1 (de) 2014-08-26 2016-03-03 Carl Zeiss Ag Phasenkontrast-Bildgebung
DE102014112648A1 (de) 2014-08-29 2016-03-03 Carl Zeiss Ag Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme
DE102014113258A1 (de) 2014-09-15 2016-03-17 Carl Zeiss Ag Verfahren zum Erzeugen eines Ergebnisbilds und optische Vorrichtung
DE102014113433A1 (de) 2014-09-17 2016-03-17 Carl Zeiss Ag Vorrichtung und Verfahren zur dreidimensionalen Abbildung eines Objekts
DE102014113256A1 (de) 2014-09-15 2016-03-17 Carl Zeiss Microscopy Gmbh Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme mit Reflexunterdrückung
DE102015107517B3 (de) 2015-05-13 2016-06-23 Carl Zeiss Ag Vorrichtung und Verfahren zur Bildaufnahme mit erhöhter Schärfentiefe

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657402A (en) * 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
DE102004015587A1 (de) * 2003-04-04 2004-11-11 Olympus Corporation Fluoreszenzmikroskop mit totaler interner Reflexion
JP2005266213A (ja) * 2004-03-18 2005-09-29 Olympus Corp システム顕微鏡
WO2005124299A1 (ja) * 2004-06-15 2005-12-29 Olympus Corporation 照明ユニット及び撮像装置
DE102004029057A1 (de) * 2004-06-16 2006-01-12 Carl Zeiss Beleuchtungseinrichtung sowie optische Beobachtungseinrichtung
US8085295B2 (en) 2007-10-26 2011-12-27 Mitutoyo Corporation Controllable micro light assembly
DE102008035959A1 (de) * 2008-07-31 2010-03-04 Doctorseyes Gmbh Verfahren und Vorrichtung zur Makrofotografie von Zahnbögen im Mundraum
US8310531B2 (en) * 2009-08-03 2012-11-13 Genetix Corporation Methods and apparatuses for processing fluorescence images
JP2012042669A (ja) 2010-08-18 2012-03-01 Sony Corp 顕微鏡制御装置及び光学的歪み補正方法
CN103140788A (zh) 2011-09-30 2013-06-05 三洋电机株式会社 分束器以及观察装置
US9458990B2 (en) * 2013-08-01 2016-10-04 3Gen, Inc. Dermoscopy illumination device with selective polarization and orange light for enhanced viewing of pigmented tissue
JP2016530567A (ja) 2013-08-22 2016-09-29 カリフォルニア インスティチュート オブ テクノロジー 可変照明フーリエタイコグラフィー撮像装置、システム、及び方法
DE102014101219A1 (de) * 2014-01-31 2015-08-06 Carl Zeiss Ag Beleuchtungseinrichtung zur Fourier-Ptychographie
US10162161B2 (en) * 2014-05-13 2018-12-25 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
EP3121637B1 (de) * 2015-07-24 2021-09-01 Leica Instruments (Singapore) Pte. Ltd. Mikroskop und verfahren zum erzeugen eines kombinierten bildes aus mehreren einzelbildern eines objekts

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3906555A1 (de) 1989-03-02 1989-07-06 Zeiss Carl Fa Auflicht-objektbeleuchtungseinrichtung
DE102014109687A1 (de) 2014-07-10 2016-01-14 Carl Zeiss Ag Positionsbestimmung eines Objekts im Strahlengang einer optischen Vorrichtung
DE102014112242A1 (de) 2014-08-26 2016-03-03 Carl Zeiss Ag Phasenkontrast-Bildgebung
DE102014112648A1 (de) 2014-08-29 2016-03-03 Carl Zeiss Ag Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme
DE102014113258A1 (de) 2014-09-15 2016-03-17 Carl Zeiss Ag Verfahren zum Erzeugen eines Ergebnisbilds und optische Vorrichtung
DE102014113256A1 (de) 2014-09-15 2016-03-17 Carl Zeiss Microscopy Gmbh Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme mit Reflexunterdrückung
DE102014113433A1 (de) 2014-09-17 2016-03-17 Carl Zeiss Ag Vorrichtung und Verfahren zur dreidimensionalen Abbildung eines Objekts
DE102015107517B3 (de) 2015-05-13 2016-06-23 Carl Zeiss Ag Vorrichtung und Verfahren zur Bildaufnahme mit erhöhter Schärfentiefe

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHAUN PACHECO ET AL.: "Transfer function analysis in epi-illumination Fourier ptychography", OPTICS LETTERS, vol. 40, no. 22, 2015

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110998406A (zh) * 2017-07-12 2020-04-10 卡尔蔡司显微镜有限责任公司 角度可变的照明时的闪烁
CN110998406B (zh) * 2017-07-12 2023-03-24 卡尔蔡司显微镜有限责任公司 角度可变的照明时的闪烁
WO2019185993A1 (en) * 2018-03-28 2019-10-03 Engemma Oy Extended focal plane imaging by using a gemstone manipulator
WO2019238518A3 (de) * 2018-06-12 2020-03-12 Carl Zeiss Jena Gmbh Materialprüfung von optischen prüflingen
US11790510B2 (en) 2018-06-12 2023-10-17 Carl Zeiss Jena Gmbh Material testing of optical test pieces
WO2020095443A1 (ja) * 2018-11-09 2020-05-14 株式会社ニコン 顕微鏡
EP3686645A1 (de) * 2019-01-24 2020-07-29 Schott Ag Beleuchtungseinrichtung für ein abbildendes optisches gerät sowie verfahren zur detektion
US11561382B2 (en) 2019-01-24 2023-01-24 Schott Ag Lighting device for an imaging optical device, and detection method

Also Published As

Publication number Publication date
DE102015122712B4 (de) 2023-05-04
US10948705B2 (en) 2021-03-16
EP3394656A2 (de) 2018-10-31
CN108474931B (zh) 2021-09-21
CN108474931A (zh) 2018-08-31
US20190004304A1 (en) 2019-01-03
DE102015122712A1 (de) 2017-06-29
JP6655188B2 (ja) 2020-02-26
WO2017109053A3 (de) 2017-09-14
JP2018538581A (ja) 2018-12-27

Similar Documents

Publication Publication Date Title
DE102015122712B4 (de) Vorrichtung und Verfahren zur Bildaufnahme
EP3076148B1 (de) Vorrichtung und verfahren zum messen von abbildungseigenschaften eines optischen abbildungssystems
EP2390656B1 (de) Einrichtung und Verfahren zur optischen Überprüfung
DE102013108457A1 (de) Verfahren und Vorrichtung zur Beleuchtung und Messung eines Objektes
DE102013022538B3 (de) Verfahren zum Erstellen eines Mikroskopbildes und Mikroskopievorrichtung
DE102007047461A1 (de) Verfahren und optische Anordnung zur Untersuchung einer Probe
DE102007009550B4 (de) Verfahren und Mikroskopvorrichtung zur Beobachtung einer bewegten Probe
EP2309948A1 (de) 3d-dentalkamera zur erfassung von oberflächenstrukturen eines messobjekts mittels triangulation
DE102013208415B4 (de) Mikroskop und Verfahren für die 3D-hochauflösende Lokalisierungsmikroskopie
DE102010042351A1 (de) Mikroskopbeleuchtungssystem, Mikroskop und Verfahren zur schrägen Auflichtbeleuchtung
EP2136248A1 (de) Bildaufnahmevorrichtung mit anpassbarer Beleuchtung
DE102015112960B3 (de) Vorrichtung für die konfokale Beleuchtung einer Probe
DE112013005764T5 (de) Prüfsystem und Prüf-Beleuchtungsvorrichtung
WO2015114093A2 (de) Beleuchtungseinrichtung insbesondere zur fourier-ptychographie
DE102020209889A1 (de) Mikroskop und Verfahren zur mikroskopischen Bildaufnahme mit variabler Beleuchtung
DE10112639A1 (de) Mikroskop mit Autofokussiereinrichtung
EP2960705A1 (de) Beleuchtungsvorrichtung für ein optisches beobachtungsgerät
WO2020088997A2 (de) Mikroskop und verfahren zur mikroskopie
DE102017107343A1 (de) Verfahren und Vorrichtung zum Betreiben eines optischen Abstandssensors
EP3992687B1 (de) Mikroskop und verfahren zur lichtfeldmikroskopie mit lichtblattanregung sowie zur konfokalen mikroskopie
DE19502472A1 (de) Verfahren und Vorrichtung zum Aufnehmen eines Objektes
DE102008019850A1 (de) Vorrichtung und Verfahren zum Beleuchten einer Objektszene
DE102014118025B4 (de) Vorrichtung zur Lichtblattmikroskopie
EP3857285A1 (de) Verfahren und Vorrichtung zum Abrastern einer Probe
DE102016109131B4 (de) Verfahren zur dreidimensionalen Erfassung eines Objekts

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16825751

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2018532742

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016825751

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016825751

Country of ref document: EP

Effective date: 20180723