WO2003036566A2 - Verfahren und vorrichtung zur erzeugung lichtmikroskopischer, dreidimensionaler bilder - Google Patents

Verfahren und vorrichtung zur erzeugung lichtmikroskopischer, dreidimensionaler bilder Download PDF

Info

Publication number
WO2003036566A2
WO2003036566A2 PCT/EP2002/011458 EP0211458W WO03036566A2 WO 2003036566 A2 WO2003036566 A2 WO 2003036566A2 EP 0211458 W EP0211458 W EP 0211458W WO 03036566 A2 WO03036566 A2 WO 03036566A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
texture
dimensional
dimensional height
Prior art date
Application number
PCT/EP2002/011458
Other languages
English (en)
French (fr)
Other versions
WO2003036566A3 (de
Inventor
Frank Sieckmann
Original Assignee
Leica Microsystems Wetzlar Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE10237470A external-priority patent/DE10237470A1/de
Application filed by Leica Microsystems Wetzlar Gmbh filed Critical Leica Microsystems Wetzlar Gmbh
Priority to AU2002347009A priority Critical patent/AU2002347009A1/en
Priority to EP02782898A priority patent/EP1438697A2/de
Priority to US10/493,271 priority patent/US20040257360A1/en
Priority to JP2003538981A priority patent/JP2005521123A/ja
Publication of WO2003036566A2 publication Critical patent/WO2003036566A2/de
Publication of WO2003036566A3 publication Critical patent/WO2003036566A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders

Definitions

  • the invention relates to a method for displaying a three-dimensional object according to the preamble of claim 1 and a device therefor according to the preamble of claim 17
  • Such devices can be, for example, all types of light microscopes.
  • a sample with the focus of a light beam is scanned point by point in a plane, so that an image, albeit with a shallow depth of field, is obtained on this plane.
  • the object can then be represented three-dimensionally by recording a plurality of different planes and by corresponding image processing.
  • a confocal scanning microscopy method is known for example from US Pat. No. 6,128,077.
  • the optical components used in confocal scanning microscopy are very expensive and, in addition to a good technical understanding of the operating personnel also a lot of adjustment work.
  • a method for luminescence microscopy is also known from US Pat. No. 6,055,097.
  • dyes are introduced into a sample that fluoresce under suitable lighting conditions, so that the irradiation makes it possible to localize the dyes in the sample.
  • To create a spatial image a number of images are recorded in different focal planes. Each of these images contains image information that originates directly from the focus plane, as does image information that originates from spatial sections of the object that lie outside the focus plane. To determine a sharp image, it is necessary to eliminate the parts of the image that do not originate from the focal plane.
  • the microscope with an optical system that makes it possible to illuminate the sample with a special illumination field, for example a standing wave or a non-periodic excitation field.
  • a special illumination field for example a standing wave or a non-periodic excitation field.
  • These usual microscopic images are optically limited due to the limited depth of field of the imaging method and because of the way of viewing, i. H. limited by the angle of view, in their representation. Microscopic images can be partially out of focus. This blurring can be explained. a. due to non-planar objects since the object surface is often not completely in the respective focal plane. In conventional imaging systems, due to the direction of view of the object specified by the microscope or the macroscope, no other viewing angle on the object is possible (e.g. tangential to the object surface) without time-consuming re-preparation and new adjustment of the object itself.
  • the imaging accuracy is limited by a limitation of the depth of field.
  • the unpublished DE 101 49 357.6 describes a method and a device for generating a depth-sharp three-dimensional surface image of microscopic objects.
  • the surface profile of the object becomes optical in a three-dimensional coordinate system (x, y, z) measured.
  • different focal planes of a microscopic object are recorded digitally or analogously by a CCD camera. This creates an image for each focal plane, so that an “image stack” is created.
  • This image stack is composed of images that come from the different focal planes of an object that is immovably under the microscope during recording.
  • Each of these images in the image stack contains areas of sharp image structures with high detail sharpness and areas that were outside the focal plane when the image was taken and are therefore blurred and without high detail sharpness in the image.
  • an image can be understood as a number of image partial areas of high detail sharpness (in focus) and low detail sharpness (Out of focus)
  • the subsets of the image areas that are present in high detail sharpness can be extracted from each image of the image stack.
  • all extracted subsets of each image with high detail sharpness, ie image areas lying in focus now become one new overall picture d put together. This creates a new, completely detailed picture.
  • the distance between the images in the image stack is also known.
  • a three-dimensional surface profile of the microscopic object can also be created.
  • the change in the focal plane has been achieved by adjusting the microscope stage height, that is, by adjusting the distance between the object and the objective, by mechanically adjusting the support table. Due to the high table mass and the associated inertia of the overall system, it was not possible to fall below certain speed limits for the image acquisition in different focal planes.
  • the unpublished DE 101 44 709.4 describes an improved method and an improved apparatus for the rapid generation of precise image recordings of the individual images of the image stack in the different focal planes by means of piezo actuators in connection with stepper motor-controlled and / or servomotor-controlled methods.
  • the object of the present invention is therefore to provide a method and a device for generating light-microscopic, three-dimensional images, which works with less technical effort and at the same time provides improved image quality in the three-dimensional representation.
  • This object is achieved by a method for displaying a three-dimensional object with the features according to claim 1 and by a device with the features according to claim 10.
  • an image stack is obtained from a real object, which consists of light microscopic images.
  • a suitable method in particular a software method
  • a surface relief image is then obtained from the image stack, which is then combined with a texture is that an image of the object is created.
  • the texture can in turn be obtained from the data of the image stack.
  • a virtual image of a real object can be generated that meets all the requirements placed on a virtual image.
  • This object image can also be processed with the manipulations possible with virtual images.
  • attempts are made in virtual reality to represent reality as well as possible by means of suitable methods, which are implemented in particular in a computer program, by means of virtual objects which have been appropriately calculated.
  • virtual lamps and shadows through the simulation of basic physical laws and properties such as refractive index settings, simulation of the elasticity of objects, effects of gravity, tracking of a virtual light beam in virtual space under the influence of matter, so-called ray tracing and many other properties, succeed increasingly real replicas of reality on the computer.
  • a real imaging system in particular a microscope, is used to generate the data necessary to generate a virtual image of reality.
  • This data can then be processed so that it is possible to automatically display a virtual three-dimensional structure.
  • a special feature here is that a height relief is determined from the real object and this relief is provided with a texture, which is preferably determined from the data obtained from the object. Particularly good results are achieved with the projection of the texture onto the height relief image.
  • the usual light microscopy and light macroscopy is expanded by combining the raw data obtained by real light imaging systems such as light microscopes or light macroscopes, such as static three-dimensional surface information or fuzzy image information, to form a new image.
  • real light imaging systems such as light microscopes or light macroscopes, such as static three-dimensional surface information or fuzzy image information
  • all or any combination or subset of the real partial information can be displayed simultaneously.
  • Another advantage is that individual or temporally consecutive, in-depth calculated multi-focus images with associated three-dimensional surface information also obtained are fused together.
  • This amalgamation process is realized by the fact that the depth-sharp multifocus image is understood as a surface texture of an associated three-dimensional surface.
  • the fusion process is achieved by projecting this surface texture onto the three-dimensional surface.
  • the new three-dimensional virtual image obtained according to the invention thus carries both information at the same time, the three-dimensional surface information and the completely sharp image information.
  • This image representation can be referred to as "virtual reality 3D light microscopy", since the data fusion described cannot be carried out in "real” microscopes.
  • the method steps already described in more detail above can be carried out.
  • the method described in DE 101 49 357.6 can be used to generate a three-dimensional surface reconstruction. These provide two data records in the form of an image. One encodes the height information of the microscopic object and is called the mask image below.
  • the second data set represents a high-contrast, completely deep microscope image and is referred to below as a multi-focus image.
  • This multifocus image is generated with the aid of the mask image by the mask image image - gray values are used to identify the level of a sharpest pixel and to copy the corresponding pixel of the level in the image stack into a summarizing multifocus image.
  • the method steps as described in DE 101 44 709.4 can be used, for example, by means of piezo technology on lenses and / or preparation tables, mask images and multifocus images in higher resolution in the direction of the focal planes (z direction) and by means of a Scan the object over larger areas in the respective focal plane (x, y direction).
  • the mask image thus carries the height information and the multi-focus image the pure, in-depth image information.
  • a three-dimensional height relief image (pseudo image) is then created from the mask image. This is due to the fact that the mask image is shown as a relief in height.
  • the pseudo image carries no direct image information other than the height information.
  • the three-dimensional pseudo image therefore represents a so-called height relief.
  • the three-dimensional pseudo image is provided with the real texture of the sharp image parts of the image stack.
  • the pseudo image and the mask image are suitably aligned, specifically in such a way that the height information of the pseudo image and image information of the mask image, that is to say the texture, are superimposed on one another with pixel accuracy. In this way, each pixel of the multifocus texture image is mapped exactly to its associated pixel in the three-dimensional pseudo image, so that a virtual image of the real object is created.
  • a suitable user interface can also be defined for the application of the invention, which allows the user to use the invention even without special technical knowledge.
  • the invention is also applicable for three-dimensional display of large areas.
  • real microscopic or macroscopic image information into a "virtual reality room”
  • conventional light microscopy is given access to the entire technology of virtual worlds.
  • the resulting images provide a much clearer and more meaningful microscopic image than conventional light microscopy and displace it Users are thus able to use any previously known mapping and manipulation methods of virtual reality.
  • the virtual image has no limitation in the sharpness that arises in conventional object images due to the limited depth of field of the optics used. So it is perfectly sharp.
  • the virtual image also carries the complete depth information. This creates a completely sharp, three-dimensional, lifelike virtual image of a real microscopic object.
  • the mapping can be implemented virtually in a computer. All options for image display and manipulation that can be used with virtual images are now available here. These range from the superimposition of real microscopic surfaces and purely virtual surfaces to the possibility of a view from any angle onto a depth-focused three-dimensional surface.
  • the surfaces can be virtually animated, illuminated or otherwise modified. Time dependencies such as changes in time on the surface of the microscopic object can be mapped simultaneously with in-depth image information and three-dimensional surface topologies.
  • Microscope with necessary accessories (lenses, etc.) or another suitable imaging system such as a macroscope
  • Actuators for the targeted, rapid change of position of an object in x, y, and z - direction such as piezo, stepper motor table, etc.
  • a camera in particular an analog or digital CCD camera with necessary or advantageous accessories such as grabber, firewire, hotlink, USB port, Bluetooth for radio data transmission, network card for image data transmission via. Network, etc.
  • a control device for controlling the hardware of the microscope, in particular the preparation table, the camera, and the lighting.
  • an object By using a piezo-controlled lens or a piezo-controlled object holder or the combination of a piezo-controlled object ves with a piezo-controlled object holder, an object can be positioned very quickly, reproducibly and precisely in all three spatial directions.
  • a fast, 3D reconstruction of microscopic surfaces is possible.
  • picture mosaics can be generated quickly, which are both in focus and can create a dimensional surface profile.
  • the individual images are recorded by a suitable CCD camera. Unfolding the individual images with a suitable apparatus profile before the subsequent focus calculation and 3D reconstruction also allows the generation of extremely high-resolution, apparatus profile-corrected microscope images with a high depth of field.
  • a plurality of image stacks are recorded in chronological order.
  • the above-described conversion of these temporal individual images of the image stacks into temporally successive virtual reality 3D images enables three-dimensional, completely sharp imaging of time processes in an animation, such as a film.
  • a further advantageous embodiment of the invention is obtained through the use of so-called morphing, in which several images are converted into one another in an animation. This is an interpolation between images, such that further, previously unknown intermediate images are calculated on the basis of a known start image and a known end image. If you then suitably line up the start, intermediate and end images and then play back the known and interpolated images in succession, you get the impression of a continuous transition between the start and the end image.
  • Morphing accelerates the described method in that only a few images have to be taken in real time and in space. All other images for a virtual representation are calculated by inter-image interpolation.
  • Another advantage of the invention is the possibility of being able to carry out 3D measurements, such as volume measurements, surface measurements, etc., using the data of the "virtual reality 3D light microscopy".
  • a further advantageous embodiment of the invention offers the possibility of projecting image-analytically influenced and / or changed texture images onto the 3D surface, as described above. This enables a further “expanded perception” through “virtual reality 3D light microscopy”, since the changed textures are projected onto the 3D surface in a location-specific manner. This enables image analysis results to be combined with three-dimensional surface data and displayed simultaneously. This also applies to time series of recordings influenced by image analysis in the above sense.
  • Another advantage of the invention is to use the method for mosaic images, so that defined partial surface areas of an object are scanned. These partial images are put together in depth and, in addition to the associated 3D object surface data, are calculated into a “virtual reality 3D light microscopy image” of the scanned object surface.
  • the invention is particularly distinguished by the fact that a considerable expansion of the perception of microscopic facts on the object is possible. This is done by simultaneously displaying a completely sharp image on a microscopic image three-dimensional surface.
  • a completely sharp image on a microscopic image three-dimensional surface Through the virtual 3D reality of the microscope image and its compatibility of the virtual representation with standard programs and processes, it is possible to integrate all knowledge and all the possibilities that were previously generated for virtual reality.
  • the images generated with the method according to the invention correspond more to the actual conditions in the sample than those obtained with conventional microscopes. Because in the "Virtual Reality 3D light microscope image", in addition to complete sharpness, the three-dimensional information of the object is clearly produced.
  • "Virtual Reality 3D light microscope image” can be viewed from different solid angles by rotating the image into any position.
  • the object image can be manipulated by transparencies and other standard methods to amplify or weaken other microscopic details.
  • the data of the "virtual reality 3D light microscope image” can be stored in a computer, the data can be displayed on other systems, data can be transferred via computer networks, such as on the intranet or the Internet, and the "virtual reality 3D light microscope image data" can be displayed via a web browser.
  • a three-dimensional image analysis is also possible.
  • Virtual microscopy i.e. microscopy by users "without” a microscope, i.e. only on the basis of the obtained and / or stored "virtual reality 3D light microscope image data", enables a separation between real microscopy and evaluation of the obtained data.
  • Fig. 1 a schematic flow of the invention
  • Fig. 2 a schematic sequence of the invention
  • FIG. 1 The basic sequence of the method according to the invention is shown schematically in FIG. 1, which is again illustrated in FIGS. 2 and 3 using a schematic example.
  • an image stack 24 is generated in method step 10 in that individual images 26 are recorded manually or fully automatically from a plurality of focal planes of the object 22.
  • the distance between the individual images is suitably dimensioned in order to be able to reconstruct a three-dimensional image with a sharp focus and is preferably kept equidistant.
  • Each of the individual images 26 has sharp and unsharp image areas, the image spacing and the total number of individual images 26 being known.
  • the images are first stored in uncompressed form or compressed using a lossless compression process in step 12.
  • the individual images 26 can be color images or grayscale images.
  • the color or Gray value resolution (8 bit, 24 bit etc.) can be arbitrary.
  • the image stack When creating the image stack, it can also be done in such a way that several images lie side by side in a focal plane (in the x, y direction) and are reassembled with pixel accuracy so that a so-called mosaic image of the focal plane is created. It is also possible to generate an image stack 24 from the mosaic images. After an individual image has been recorded in each desired focal plane (z plane), an image stack 24 with a series of individual images 26 is available for further image processing.
  • the z-planes are preferably equidistant from one another.
  • An imaging system can be used to create the image stack 24, in particular using a microscope or a macroscope. However, a suitably attached camera system with a lens can also be used. The entire lighting range of a specimen from near UV to far IR can be used, provided that the education system makes this possible.
  • the recording system can generally have any analog or digital CCD camera, it being possible for all types of CCD cameras, in particular line cameras, color cameras, gray image cameras, IR cameras, integrating cameras, cameras with multi-channel plates, etc. to be used.
  • a multi-focus image 15 and a mask image 17 are now obtained from the data obtained from the image stack 24, in which case the methods according to DE 101 49 357.6 and DE 101 44 709.4 can be used in particular.
  • each of the individual images contains 26 sharp and unsharp areas.
  • the respective sharp areas in the individual images 26 are determined according to certain criteria and assigned to the corresponding coordinate points (x, y) with their plane number.
  • the assignment of level numbers and coordinate points (x, y) is stored in a memory and represents the mask image 17.
  • the level numbers stored in the mask image can be viewed as gray values.
  • the multifocus image (15) can also be created from a stack of mosaic images in such a way that multiple mosaic images from different focus planes are calculated to form a multifocus image (15).
  • the mask image 17 all gray values of the pixels identify the number of the origin level of the sharpest pixel.
  • the mask image can thus also be represented as a three-dimensional height relief 28.
  • the three-dimensionality results from the x, y positions of the mask image pixels and the amount of the gray value of a pixel, which characterizes the focal plane position of the three-dimensional data set.
  • the mask image 17 can also be created from a stack of mosaic images, with a plurality of mosaic images from different focal planes being calculated into the mask image 17. Now that the mask image 17 is available, a so-called three-dimensional pseudo image 28 can be created from it.
  • the mask image 17 is represented as a height relief in method step 16. Apart from the height information, this image does not carry any direct image information.
  • the mask image 17 is represented by a suitable software as a dimensional height relief.
  • the software can be developed, for example, on the basis of the well-known software libraries OpenGL or Direct3D (Microsoft). Other commercially available software packages are also suitable for displaying, creating, animating and manipulating 3D scenes such as Cinema 4D (Maxon), MAYA 3.0, 3D Studio MAX or Povray.
  • Splines are used to generate this representation.
  • Splines are essentially sequences of vertices located in three-dimensional spaces, which are connected with each other by lines.
  • Splines are well known from mathematics in the technology for creating three-dimensional objects. She. to a certain extent represent contour lines on a map.
  • the support points are supplied by the gray values of the mask image, such that the coordinates (X, Y, Z) of the support points for a spline interpolation correspond to the following mask image data
  • the base coordinate X corresponds to the mask image pixel coordinate X
  • Base coordinate Y corresponds to the mask image pixel coordinate Y
  • Base coordinate Z corresponds to the gray value at X, Y of mask image 17.
  • the course of the spline curves is determined by the so-called interpolation.
  • the course of the spline curves is calculated by an interpolation between the base points of the splines (polynomial fit of an n'th order polynomial by a predetermined number of points in space, such as by Bezier polynomials or Bernstein polynomials etc.), so that the spline curves arise.
  • interpolation function used and the number of support points
  • more or less detailed curve adjustments can be made to the given support points.
  • the points are considered as support points for splines but only a suitably selected subset of the mask image points, the number of support points can be varied.
  • the previously calculated mask image forms the base database.
  • the base points are in a 3D space and must therefore be described by three spatial coordinates.
  • the three spatial coordinates (x, y, z) of each support point for splines is formed by the x, y pixel positions of the mask image pixels and the gray value of each mask pixel (z position). Since the gray values in a mask image anyway correspond to the height information of the underlying microscope image, the 3D pseudo image can be interpreted as a representation of the height profile of the underlying microscope image.
  • a spline network of selectable density can be placed over the base point array.
  • a three-dimensional pseudo image 28 obtained in this way is shown in FIG. 4a.
  • a fine structure can then be placed over this surface by suitable triangularization and shading, such as Gouraud shading.
  • suitable triangularization and shading such as Gouraud shading.
  • a texture 29 is generated from the previously provided multifocus image 15.
  • the previously calculated depth-of-focus multifocus image 15 is now used as a texture image.
  • the three-dimensional pseudo image 28 is linked with the texture 29 in method step 20, as shown in FIGS. 1-3.
  • Texture 29 is understood here to mean, as is usual in virtual reality, in particular an image which is suitably projected onto the surface of a virtual three-dimensional object by three-dimensional projection methods. To achieve the desired effect, the texture image must be appropriately aligned on the surface of virtual objects. For a suitable alignment, it is necessary to assign the texture 29 to the three-dimensional pseudo image 28 in such a way that the affiliations of the pixel coordinates (x, y) of the mask image 17 and the multifocus image 15 are not destroyed. Each mask pixel with the gray value at the location (Xj, y j ) is therefore assigned its corresponding multifocus pixel with the gray value at the exact same location (Xj, y j ). If the multifocus image 15 has previously been changed analytically or by other image manipulation, care must be taken that the affiliations of the pixel coordinates (x, y) of the mask image and the image analysis or any other manipulation of the multifocus image modified as desired are not lost.
  • the texture 29 is advantageously appropriately projected onto the three-dimensional pseudo image 28.
  • the two resources are merged in such a way that a three-dimensional object image 30 of the object 22 is produced.
  • This object image 30 represents a virtual image in the sense of virtual reality.
  • the basis for the texturing according to the invention is formed by the multifocus image itself, which was previously calculated.
  • the already realistic pseudo image 28 and the mask image 17 is suitably aligned in such a way that the height information of the pseudo image 28 and the image information of the mask image 17, ie the texture, are superimposed on one another with pixel accuracy.
  • the multifocus texture image that is to say the texture 29, is projected onto the three-dimensional pseudo image 28, so that each pixel of the multifocus texture image 29 is imaged exactly on its associated pixel in the three-dimensional pseudo image 28.
  • a deeply focused object image 30 of the object 22 is thus generated as a virtual image by merging virtual and real imaging techniques.
  • the novel mapping according to the invention is based on real measured values of a real existing object 20, which are brought together in such a way that a virtually real three-dimensional mapping of the light microscopic data is produced.
  • a real image of an object 22 is carried out in the present invention. Data on the image sharpness, the topology of the object and the precise position of sharp partial areas of an image in three-dimensional space are recorded on the real object 22.
  • This real data then serves as the basis for generating a virtual image in a three-dimensional space.
  • the virtual image which determines data from the real images, such as image information, sharpness and three-dimensionality and at the same time maps them, creates a clear added value compared to conventional light microscopy.
  • a new type of light microscopy is thus proposed, the core properties of which are the acquisition of real, for example light microscopic, object data and their summarized representation in a three-dimensional virtual space.
  • the method according to the invention can be referred to as “virtual reality 3D light microscopy”.
  • the generated images of reality (3D, sharpness, etc.) can also be used by all currently known and developed in the future Methods and procedures of virtual imaging techniques are influenced.
  • the microscopic data of the object image 30 are now available as three-dimensional, in-depth images.
  • the surface of the object image 30 can now be illuminated by virtual lamps in order to visually highlight certain details of the microscopic data.
  • the virtual lamps can be placed anywhere in the virtual room and the properties of the virtual lamps such as radiation characteristics or light color can be set flexibly.
  • the images can be rotated and scaled in space using rotation and translation operators. This operation allows viewing the images from angles that are impossible in a normal microscope.
  • animation sequences can also be created that simulate a movement of the "virtual reality three-dimensional light microscopy image”. These animation sequences can be played back by saving these individual images as a film sequence (e.g. in AVI, MOV data format, etc.).
  • the data can also be manipulated.
  • the image of the three-dimensional pseudo-image is available as a base for a three-dimensional spline interpolation. With Gouraud shading and ray tracing, these three-dimensional data can finally be assigned a three-dimensional surface.
  • the x, y, z bases can play a central role in data manipulation, which are used, for example, for measurement purposes or to emphasize certain details more clearly.
  • Multiplying the z-values by a number would mean, for example, stretching or compressing the height relief.
  • certain parts of the 3D profile of the three-dimensional pseudo image 28 can be manipulated individually.
  • Image-analytic manipulations of the projected multifocus texture image can also be used to project image-analytical results such as marking individual image objects, highlighting edges, object classifications, binary images, image improvements, etc. This is done by using an image-analytically modified output image (multifocus texture image) as a new "manipulated" multifocus texture image and projecting the new image as a texture onto the three-dimensional surface of the 3D pseudo image. In this way, image-analytically manipulated images (new textures) can also be used with the three-dimensional pseudo image can be merged.
  • image-analytically manipulated images new textures
  • a fusion of these two representations can lead to an added value in the microscopic image representation, since the object images 30, in addition to the three-dimensional representation, carry a location-specific overlay of the image-analytically manipulated multifocus images.
  • the three-dimensional data can now be measured with regard to their volume, the surface or the roughness etc.
  • a further improvement allows the combination of the image analysis measurement results on the multifocus image and the three-dimensional data measurements.
  • the mere type of representation thus extends the two-dimensional image analysis by a third dimension of the image analysis and by a topological dimension of the data analysis.
  • time series i.e. H.
  • another dimension is added to the data analysis, the temporal dimension. This then enables the representation of a time process, for example the change over time in object 22 in slow motion or in time lapse.
  • the method according to the invention is also suitable for stereo image generation and stereo image animation. Since the data of the object image 30 are three-dimensional, two views of a virtual microscope image can be calculated from any viewing angle. This allows a visualization of the "Virtual Reality 3D light microscope image" in the sense of a classic stereo image.
  • the "virtual reality 3D light microscope image” can also be visualized by means of polarization shutter glasses or in anaglyph technology or by imaging using 3D cyberspace glasses.
  • a moving stereo image of a “virtual reality 3D light microscope image” generated from real microscopy data can also be obtained using one of the visualization methods described above. to be generated.
  • the "virtual reality 3D light microscope images” can also be displayed on 3D output units such as 3D stereo LCD monitors or but cyberspace glasses are issued.
  • changes over time in microscopic objects can also be recorded at different times by repeatedly recording the same image stack in the z direction (in the direction of the optical axis of the imaging system). This creates a series of image stacks that are too unrelated to the conditions in object 22. corresponds to different times. Both the three-dimensional microscopic surface structures and the microscopic image data itself can change over time.
  • Multifocus [t n ] not equal multifocus [t n + 1 ] ⁇ n 1, 2,3,4, ... ⁇
  • the method sequence for generating an animation can be integrated into the method sequences already known from DE 101 49 357.6 and DE 101 44 709.4, so that a fully automatic sequence can also be implemented.
  • the process sequence already known from these documents is supplemented by further automatable process steps.
  • a virtual reality object image 30 can be performed in step 32 are generated as described above.
  • This object image 30 can be animated as desired in step 34.
  • the animated image is then preferably stored in step 36. In this way, mosaic images, mask images and mosaic multifocus images can be created and saved at specific times. These mask and multifocus images then serve as the starting point for a combination of the associated mask and multifocus images.
  • the associated masks and multifocus images can then be combined to form individual images in "Virtual Reality 3D light microscopy".
  • a time series of individual “virtual reality 3D light microscopy images” thus arises. Each simultaneously contains the 3D information of the mask image and the projected texture of the multifocus image. However, when the object 22 changes over time, the three-dimensional topological appearance and / or changes may occur distinguish the texture 29.
  • a sequence of the individual images enables a temporal animation of the recordings with the possibilities of "Virtual Reality 3D light microscopy".
  • the required mask images 17 and multi-focus images 15 can also be understood as a mosaic mask image and a multi-focus mosaic image created by scanning a surface of the object 22 at certain times.
  • the simultaneously imaged features such as three-dimensional surface information, temporal changes in the surfaces, in-depth calculated multifocus images and temporal changes in these multifocus images, can also be viewed under other viewing angles.
  • the data set which describes a three-dimensional surface, is subjected to a suitable, three-dimensional transformation.
  • the described “virtual reality 3D light microscopy” can thus be understood as a simultaneous mapping of five dimensions of microscopic data of an object 22.
  • the five dimensions are:

Abstract

In einer Einrichtung zur Darstellung eines dreidimensionalen Objektes (22) als Objektbild (30) ist ein Abbildungssystem, insbesondere einem Mikroskop zur Abbildung des Objektes (22) und einem Computer vorgesehen. Aktoren dienen zur gezielten, schnellen Positionsveränderung des Objektes (22) in x-, y-, und z-Richtung. Mit einer Aufnahmeeinrichtung wird ein Bildstapel (26) von Einzelbildern (24) in verschiedenen Fokusebenen des Objektes (22) aufgenommen. Eine Steuerungseinrichtung steuert die Hardware des Abbildungssystems, wobei eine Analyseeinrichtung ein dreidimensionales Höhenreliefbild (28) und eine Textur (29) aus dem Bildstapel (24) erzeugt. Eine Steuereinrichtung kombiniert das dreidimensionale Höhenreliefbild (28) mit der Textur (29).

Description

Verfahren und Vorrichtung zur Erzeugung lichtmikroskopischer, dreidimensionaler Bilder
Die Erfindung betrifft ein Verfahren zur Darstellung eines dreidimensionalen Objektes nach dem Oberbegriff des Anspruchs 1 sowie eine Vorrichtung hier- zu nach dem Oberbegriff des Anspruchs 17
Bekannte Vorrichtungen dieser Art wie etwa Mikroskope, Makroskope, etc. dienen dem Betrachten eines Objektes unter Zuhilfenahme physikalischer Grundgesetze. Begrenzungen in Schärfe und Tiefe, Sichtwinkel und Zeitabhängigkeit müssen trotz guter Technik hingenommen werden.
Um die Schärfentiefe und die physikalisch bedingten Grenzen bei mikroskopischen Abbildungsverfahren zu verbessern, gibt es bereits eine Reihe von Geräten und Verfahren. Solche Geräte können beispielsweise alle Arten von Lichtmikroskopen sein. Hierunter fällt beispielsweise auch ein konfokales Scanmikroskop. Dabei wird eine Probe mit dem Fokus eines Lichtstrahls punktweise in einer Ebene abgetastet, sodass ein Bild, allerdings mit geringer Tiefenschärfe, dieser Ebene erhalten wird. Durch die Aufnahme einer Mehrzahl von verschiedenen Ebenen und durch eine entsprechende Bildverarbeitung kann das Objekt dann dreidimensional dargestellt werden. Ein derartiges konfokales Scanmikroskopieverfahren ist beispielsweise aus der US 6,128,077 bekannt. Die bei der konfokalen Scanmikroskopie eingesetzten optischen Komponenten sind allerdings sehr teuer und fordern neben einem gu- ten technischen Verständnis des Bedienpersonals auch sehr viel Justagear- beit.
Aus der US 6,055,097 ist weiterhin ein Verfahren zur Lumineszenzmikroskopie bekannt. Dabei werden in eine Probe Farbstoffe eingebracht, die unter ge- eigneten Beleuchtungsbedingungen fluoreszieren, sodass mit der Bestrahlung die Lokalisierung der Farbstoffe in der Probe möglich wird. Zur Erzeugung eines räumlichen Bildes wird eine Anzahl von Bildern in unterschiedlichen Fokusebenen aufgenommen. Jedes dieser Bilder enthält Bildinformationen, die unmittelbar aus der Fokusebene stammen, ebenso wie solche Bildinformatio- nen, die aus Raumabschnitten des Objektes stammen, die außerhalb der Fokusebene liegen. Zur Ermittlung eines scharfen Bildes ist es erforderlich, die nicht aus der Fokusebene stammenden Bildanteile zu eliminieren. Hierzu wird vorgeschlagen, das Mikroskop mit einem optischen System zu versehen, das es ermöglicht, die Probe mit einem speziellen Beleuchtungsfeld, etwa einer stehenden Welle oder einem nicht-periodischen Anregungsfeld zu beleuchten. Diese üblichen mikroskopischen Abbildungen sind infolge der begrenzten Schärfentiefe des Abbildungsverfahrens optisch limitiert und wegen der Art und Weise der Betrachtung, d. h. durch den Aufsichtwinkel, in ihrer Darstellung begrenzt. Mikroskopische Bilder können teilweise unscharf sein. Diese Unscharfe erklärt sich u. a. durch nicht planare Objekte da die Objektoberfläche oft nicht vollständig in der jeweiligen Fokusebene liegt. Bei üblichen Abbildungssystemen ist infolge der durch das Mikroskop oder das Makroskop vorgegebenen Sichtrichtung auf das Objekt zudem kein anderer Blickwinkel auf das Objekt möglich (z.B. tangential zur Objektoberfläche) ohne aufwendi- ge Neupräparation und neuer Justage des Objektes selbst.
Bei all diesen lichtoptischen Verfahren ist die Abbildungsgenauigkeit durch eine Begrenzung der Schärfentiefe eingeschränkt.
Die nicht vorveröffentlichte DE 101 49 357.6 beschreibt ein Verfahren und eine Vorrichtung zur Erzeugung einer tiefenscharfen dreidimensionalen Ober- flächenabbildung mikroskopischer Objekte. Dazu wird das Oberflächenprofil des Objektes in einem dreidimensionalen Koordinatensystem (x, y, z) optisch vermessen. Bei diesem Verfahren werden verschiedene Fokusebenen eines mikroskopischen Objektes durch eine CCD Kamera digital oder analog aufgezeichnet. Damit wird für jede Fokusebene ein Bild erzeugt, sodass ein „Bildstapel" entsteht. Dieser Bildstapel ist aus Bildern zusammengesetzt, die aus den verschiedenen Fokusebenen eines während der Aufzeichnung unbeweglich unter dem Mikroskop liegenden Objektes stammen. Jedes dieser Bilder in dem Bildstapel enthält Bereiche scharfer Bildstrukturen mit hoher Detailschärfe und Bereiche, die bei Aufnahme des Bildes außerhalb der Fokusebene lagen und daher unscharf und ohne hohe Detailschärfe im Bild vorliegen. In die- sem Sinne kann man ein Bild auffassen als eine Menge von Bildteilbereichen hoher Detailschärfe (im Fokus) und niedriger Detailschärfe (außerhalb des Fokus). Durch bildanalytische Verfahren kann aus jedem Bild des Bildstapels die Teilmengen der Bildbereiche extrahiert werden, die in hoher Detailschärfe vorliegt. In einem Ergebnisbild werden nun alle extrahierten Teilmengen jedes Bildes mit hoher Detailschärfe, also im Fokus liegende Bildbereiche, zu einem neuen Gesamtbild zusammengefügt. Damit entsteht ein neues, vollständig detailscharfes Bild.
Da die relativ Lage der Fokusebenen zueinander bekannt sind, aus denen die Teilmenge jedes Bildes mit hoher Detailschärfe stammen, ist also auch der Abstand der Bilder im Bildstapel bekannt. Somit kann ferner ein dreidimensionales Oberflächenprofil des mikroskopierten Objektes erstellt werden.
Um also ein tiefenscharfes Bild und eine dreidimensionale Oberflächenrekonstruktion des aufgenommenen Objektbereiches durchführen zu können, bedarf es einer zuvor erstellten Bilderfolge aus verschiedenen Fokusebenen des Objektes.
Bislang wurde die Änderung der Fokusebene durch eine Verstellung der Mikroskoptischhöhe, also durch das Verstellen des Abstandes zwischen dem Objekt und dem Objektiv, durch mechanisches Verstellen des Auflagetisches erreicht. Durch die hohe Tischmasse und die damit verbundene Trägheit des Gesamtsystems konnten bestimmte Geschwindigkeitsgrenzen für die Bildaufnahme in verschiedenen Fokusebenen nicht unterschritten werden. Die nicht vorveröffentlichte DE 101 44 709.4 beschreibt hierzu ein verbessertes Verfahren und eine verbesserte Apparatur zur schnellen Erzeugung präziser Bildaufnahmen der einzelnen Bilder des Bildstapels in den verschiedenen Fokusebenen mittels Piezoaktoren in Verbindung mit schrittmotorgesteuerten und/oder servomotorgesteuerten Verfahren. Bei diesem Verfahren wird eine Fokusebenen-Verstellung, durch eine präzise und schnelle Änderung des Ab- standes zwischen Objektiv und Objekt sowie eine Objektpositionsverstellung in der x-y-Ebene durch verschiedene Aktoren wie Piezoobjektive, Piezopräpa- rattische, Kombinationen von Piezoaktoren und Standard Schrittmotorverstel- lungen oder aber jeglichen anderen Tischverstellungen erreicht. Durch den Einsatz von Piezoaktoren wird die Präzision und Feinheit der Verstellung erhöht. Ferner wird die Verstellgeschwindigkeit durch Piezoaktoren beschleunigt. Es wird darüber hinaus beschrieben wie durch geeignetes Einfügen bzw. Anwenden von Deconvolutionstechniken die Bildqualität und die Auswertequalität weiter gesteigert werden kann.
Derart mittels automatisch verstellbarer Objekthalterungen abgerasterte Oberflächen erlauben allerdings keine ganzheitliche, tiefenscharfe Sicht auf das Objekt selbst. Auch ist eine dreidimensionale Darstellung des gesamten Scanbereiches nicht möglich. Weiterhin kann die Darstellung im Raum nicht gedreht und aus unterschiedlichen Blickwinkeln betrachtet werden
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren und eine Vorrichtung zur Erzeugung lichtmikroskopischer, dreidimensionaler Bilder anzugeben, welches mit geringerem technischen Aufwand arbeitet und zugleich eine verbesserte Bildqualität in der dreidimensionalen Darstellung liefert.
Diese Aufgabe wird durch ein Verfahren zur Darstellung eines dreidimensionalen Objektes mit den Merkmalen gemäß Anspruch 1 sowie durch eine Vorrichtung mit den Merkmalen gemäß Anspruch 10 gelöst.
Erfindungsgemäß wird also aus einem realen Objekt ein Bildstapel gewonnen, der aus lichtmikroskopischen Bildern besteht. Mit einem geeigneten Verfah- ren, insbesondere einem Software-Verfahren wird aus dem Bildstapel dann ein Oberflächenreliefbild gewonnen, das dann mit einer Textur so kombiniert wird, dass ein Bild des Objektes entsteht. Zur Kombination der Textur mit dem Höhenreliefbild ist es besonders vorteilhaft, eine Textur auf das Höhenreliefbild zu projizieren. Dabei kann die Textur wiederum aus den Daten des Bildstapels gewonnen werden.
Mit diesem Verfahren kann also ein virtuelles Bild eines realen Objektes erzeugt werden, das allen Anforderungen, die an ein virtuelles Bild gestellt werden, genügt. Damit kann auch dieses Objektbild mit den bei virtuellen Bildern möglichen Manipulationen bearbeitet werden. Allgemein wird in der virtuellen Realität versucht, durch geeignete Verfahren, die insbesondere in einem Computerprogramm verwirklicht werden, die Realität so gut wie möglich durch virtuelle Objekte, die geeignet berechnet wurden, abzubilden. Durch virtuelle Lampen und Schattenwürfe, durch die Simulation physikalischer Grundgesetze und Eigenschaften wie Brechungsindex - Einstellungen, Nachbildung von Elastizitäten von Objekten, Gravitationseinwirkungen, Verfolgung eines virtuel- len Lichtstrahls im virtuellen Raum unter Einfluss von Materie, dem sog. Raytracing und vielen Eigenschaften mehr, gelingen zunehmend echtere Nachbildungen der Wirklichkeit am Computer.
Normalerweise werden in rein virtuellen Räumen die Szenen und Abläufe vom Designer vollständig neu erzeugt oder aber es wird auf vorhandene Ressour- cen zurückgegriffen. In der vorliegenden Erfindung dagegen wird ein reales Abbildungssystem, insbesondere ein Mikroskop, dazu verwendet, um die zur Erzeugung eines virtuellen Abbildes der Realität notwendigen Daten zu generieren. Diese Daten können dann so bearbeitet werden, dass es möglich ist, automatisch ein virtuelles dreidimensionales Gebilde darzustellen. Eine Be- Sonderheit besteht hierbei darin, dass aus dem realen Objekt ein Höhenrelief ermittelt und dieses Relief mit einer Textur versehen wird, die bevorzugt aus den aus dem Objekt gewonnenen Daten ermittelt wird. Dabei werden mit der Projektion der Textur auf das Höhenreliefbild besonders gute Ergebnisse erzielt.
Ein wesentliche Vorteil der Erfindung ist also darin zu sehen, dass durch
Verwendung des erfindungsgemäßen Verfahrens die übliche Lichtmikroskopie und Lichtmakroskopie dadurch erweitert wird, dass die durch reale Lichtabbildungssysteme wie Lichtmikroskope oder Lichtmakroskope gewonnenen Rohdaten wie, statische dreidimensionale Oberflächeninformationen oder unscharfe Bildinformationen zu einem neuen Bild kombiniert werden. Somit kön- nen alle oder eine beliebige Kombination oder Teilmenge der real gewonnenen Teilinformationen simultan zur Anzeige bringen kann.
Ein weiterer Vorteil besteht darin, dass einzelne oder zeitlich aufeinanderfolgende, tiefenscharf berechnete Multifokusbilder mit ebenfalls gewonnenen zugehörigen dreidimensionalen Oberflächeninformationen miteinander ver- schmolzen werden. Dieser Verschmelzungsprozess wird dadurch realisiert, dass das tiefenscharfe Multifokusbild als Oberflächentextur einer zugehörigen dreidimensionalen Oberfläche aufgefasst wird. Durch Aufprojektion dieser Oberflächentextur auf die dreidimensionale Oberfläche wird der Verschmelzungsprozess erreicht.
Das erfindungsgemäß erhaltene neue dreidimensionale virtuelle Bild trägt also beide Informationen zugleich, die dreidimensionalen Oberflächeninformationen und die vollständig scharfen Bildinformationen. Diese Bilddarstellung kann mit „Virtuell Reality 3D-Licht-Mikroskopie" bezeichnet werden, da die beschriebene Datenverschmelzung in „realen" Mikroskopen nicht durchgeführt werden kann.
Zur Erzeugung des Bildstapels, der aus Einzelbildern besteht, die in unterschiedlichen Fokusebenen des Objektes aufgenommen werden, können die oben bereits näher beschriebenen Verfahrensschritte durchgeführt werden Hierzu kann insbesondere das in der DE 101 49 357.6 beschriebenen Verfah- rens zur Erzeugung einer dreidimensionalen Oberflächenrekonstruktion verwendet werden. Diese liefern zwei Datensätze in Form eines Bildes. Der eine kodiert die Höheninformationen des mikroskopischen Objektes und wird im weiteren Maskenbild genannt.
Der zweite Datensatz stellt ein kontrastreiches, vollkommen tiefenscharfes Mikroskopbild dar und wird im Folgenden Multifokusbild genannt. Dieses Multifokusbild wird unter Zuhilfenahme des Maskenbildes erzeugt indem die Mas- kenbild - Grauwerte dazu verwendet werden, die Ebene eines schärfsten Pixels zu identifizieren und das korrespondierende Pixel der Ebene im Bildstapel in ein zusammenfassendes Multifokusbild zu kopieren.
Wie weiter oben beschrieben können beispielsweise die Verfahrensschritte wie in der DE 101 44 709.4 beschrieben dazu benutzt werden, durch Piezo- technik an Objektiven und/oder Präparattischen Maskenbilder und Multifokus- bilder in höherer Auflösung in Richtung der Fokusebenen (z-Richtung) und durch ein Scannen des Objektes über größere Bereiche in der jeweiligen Fokusebene ( x, y-Richtung) zu erstellen.
Das Maskenbild trägt somit die Höheninformationen und das Multifokusbild die reinen, tiefenscharfen Bildinformationen. Aus dem Maskenbild wird dann ein dreidimensionales Höhenreliefbild (Pseudobild) erstellt. Dieses entsteht dadurch, dass das Maskenbild als Höhenrelief dargestellt wird. Das Pseudobild trägt keine direkten Bildinformationen außer den Höheninformationen. Mithin stellt das dreidimensionale Pseudobild ein sogenanntes Höhenrelief dar. In einem weiteren Schritt wird das dreidimensionale Pseudobild mit der realen Textur der scharfen Bildteile des Bildstapels versehen. Hierzu werden das Pseudobild und das Maskenbild geeignet ausgerichtet und zwar so, dass die Höheninformationen des Pseudobildes und Bildinformationen des Maskenbil- des, also die Textur pixelgenau übereinanderliegen. Damit wird jedes Pixel des Multifokus - Texturbildes genau auf sein zugehöriges Pixel im dreidimensionalen Pseudobild abgebildet, sodass ein virtuelles Bild des realen Objektes entsteht.
Bislang übliche lichtmikroskopische Verfahren zur Abbildung von Objekten sind durch eine Fülle physikalischer Limitierungen in ihren Darstellungsmöglichkeiten begrenzt. Die Erfindung hebt diese Limitierungen weitestgehend auf und gibt dem Anwender viele neue Möglichkeiten, mikroskopische Objekte zu untersuchen und darzustellen.
Zur Anwendung der Erfindung kann auch eine geeignete Benutzeroberfläche definiert werden, die es dem Anwender erlaubt, die Erfindung auch ohne besondere technische Kenntnisse zu benutzen. Weiterhin ist die Erfindung auch zur dreidimensionalen Darstellung großer Flächen anwendbar. Durch die Abbildung real gewonnener mikroskopischer oder makroskopischer Bildinformationen in einen „Virtual Reality Raum" wird der üblichen Lichtmikroskopie der Zugang zur gesamten Technologie virtueller Welten eröffnet. Die entstehen- den Bilder vermitteln im Vergleich zur konventionellen Lichtmikroskopie eine wesentlich deutlichere und aussagekräftigere mikroskopische Abbildung und versetzten den Anwender damit in die Lage, jegliche bislang bereits bekannten Abbildungsverfahren und Manipulationsverfahren der virtuellen Realität anzuwenden.
Das virtuelle Abbild besitzt keine Begrenzung in der Schärfe, die sich bei üblichen Objektbildern infolge der begrenzten Schärfentiefe der verwendeten Optik ergibt. Es wird also vollkommen scharf abgebildet. Die virtuelle Abbildung trägt zugleich die vollständige Tiefeninformation. Somit entsteht eine vollständig scharfe, dreidimensional wirkende naturgetreue virtuelle Abbildung eines realen mikroskopischen Objektes.
In einer bevorzugten Ausführungsform der Erfindung kann die Abbildung virtuell in einem Computer realisiert werden. Hier stehen nun alle Möglichkeiten der Bilddarstellung und Manipulation zur Verfügung, die bei virtuellen Bildern eingesetzt werden können. Diese reichen von der Überlagerungen real mikro- skopierter Oberflächen und rein virtueller Oberflächen bis hin zur Möglichkeit einer Aufsicht unter beliebigen Winkeln auf eine tiefenscharfe dreidimensionalen Oberfläche. Die Oberflächen können virtuell animiert, beleuchtet oder anderweitig modifiziert werden. Zeitabhängigkeiten wie etwa zeitliche Veränderungen an der Oberfläche des mikroskopischen Objektes können simultan mit tiefenscharfen Bildinformationen und dreidimensionalen Oberflächentopologien abgebildet werden.
Somit werden der Lichtmikroskopie völlig neue Möglichkeiten eröffnet, Begrenzungen der Bildqualität durch physikalische Limitierungen werden kompensiert.
In einer vorteilhaften Ausgestaltungen der Erfindung werden die folgenden Komponenten eingesetzt: 1. Mikroskop mit notwendigem Zubehör (Objektive, etc.) oder ein anderes geeignetes Abbildungssystem wie etwa ein Makroskop
2. Computer mit geeignetem Zubehör wie Monitor, etc.
3. Aktoren zur gezielten, schnellen Positionsveränderung eines Ob- jektes in x, y, und z - Richtung wie etwa Piezo, Schrittmotortisch usw.
4. Eine Kamera, insbesondere eine analoge oder digitale CCD Kamera mit notwendigem oder vorteilhaftem Zubehör wie Grabber, Firewire, Hotlink, USB-Port, Bluetooth zur Funkdatenübertragung, Netzwerkkarte zur Bilddatenübertragung via. Netz, etc.
5. Eine Steuerungseinrichtung zur Steuerung der Hardware des Mikroskops, insbesondere des Präparatetisches, der Kamera, und der Beleuchtung.
6. Eine Analyseeinrichtung zum Erstellen der Multifokusbilder, der Maskenbilder, der Mosaikbilder und der Erstellung der „virtuell Rea- lity 3D Licht Mikroskopbilder". Steuer- und Analyseverfahren sind bevorzugt als Software implementiert.
7. Eine Einrichtung zur Darstellung, Berechnung und Manipulation der erstellten „virtuell Reality 3D Licht Mikroskopbilder" wie z.B. Dre- hung im Raum, Beleuchtungsänderungen etc. Diese wird bevorzugt wiederum als Darstellungssoftware implementiert.
Eine in einem Computer eingesetzte Software steuert also das Mikroskop, den Präparatetisch in x, y, und z-Richtung, eventuelle Piezoaktoren, Beleuchtung, Kamera-Bildaufnahme, sonstige Mikroskophardware. Auch die Prozedur zur Erzeugung der Masken- und Multifokusbilder und die Erstellung eines „Virtuell Reality 3D Mikroskopbildes" kann darüber gesteuert werden.
Durch den Einsatz eines piezogesteuerten Objektives oder eines piezoge- steuerten Objekthalters oder die Kombination eines piezogesteuerten Objekti- ves mit einem piezogesteuerten Objekthalter kann eine sehr schnelle, reproduzierbare und präzise Positionierung eines Objektes in allen drei Raumrichtungen erfolgen. In Kombination mit den Schärfentiefen verbessernden bildanalytischen Verfahren und den Möglichkeiten zur 3D Rekonstruktion gelingt eine schnelle, 3D Rekonstruktion mikroskopischer Oberflächen. Ferner lassen sich schnell Bildmosaike generieren, die sowohl scharfgerechnet sind als auch ein dimensionales Oberflächenprofil erstellen können. Die Einzelbilder werden von einer geeigneten CCD Kamera aufgenommen. Eine Entfaltung der Einzelbilder mit einem geeigneten Apparateprofil vor der anschließenden Scharf- rechnung und 3D Rekonstruktion erlaubt darüber hinaus die Erzeugung höchstauflösender, apparateprofilkorrigierter Mikroskopbilder hoher Schärfentiefe.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung werden in zeitlicher Abfolge mehrere Bildstapel aufgenommen. Die oben beschriebene Um- setzung dieser zeitlichen Einzelaufnahmen der Bildstapel zu zeitlich aufeinanderfolgenden Virtuell Reality 3D-Bildem ermöglicht dreidimensionale, völlig scharfe Abbildung von Zeitvorgängen in einer Animation, wie etwa einem Film.
Eine weitere vorteilhafte Ausgestaltung der Erfindung erhält man durch den Einsatz des sogenannten Morphings, bei dem mehrere Bilder in einer Anima- tion ineinander übergeführt werden. Es handelt sich dabei um eine Interpolation zwischen Bildern, derart, das auf der Basis eines bekannten Startbilds und eines bekannten Endbilds weitere, zuvor nicht bekannte Zwischenbilder berechnet werden. Reiht man das Anfangs-, die Zwischenbilder und das Endbild dann geeignet aneinander und spielt man sodann die bekannten und die in- terpolierten Bilder zeitlich aufeinanderfolgend ab, so entsteht der Eindruck eines kontinuierlichen Übergangs zwischen dem Start und dem Endbild.
Durch Morphing gelingt eine Beschleunigung des beschriebenen Verfahrens dadurch, dass zeitlich wie räumlich nur einige Bilder real aufgenommen werden müssen. Alle anderen Bilder für eine virtuelle Darstellung werden durch Zwischenbild-Interpolation berechnet.
Es ist ein besonderer Vorteil der vorliegenden Erfindung zur Erzeugung eines „Virtuell Reality 3D Licht Mikroskopie Bildes", reale Daten aus lichtoptischen Abbildungssystemen wie Lichtmikroskopen oder Lichtmakroskopen zu verwenden. Dabei ist zu beachten, dass die bei Lichtmakroskopen durch die Abbildungsoptik bedingten Verzerrungen zunächst mathematisch entzerrt wer- den. Die virtuelle Realität wird erfindungsgemäß automatisch, teilautomatisch oder manuell aus den zugrundeliegenden realen Daten erzeugt. Die Möglichkeit jeglicher Verknüpfung der gewonnenen Daten der „Virtuell Reality 3D Licht Mikroskopie" mit bereits bekannten Techniken der virtuellen Realität, die rein virtuell, also ohne direkten Einfluss realphysikalischer Daten erzeugte Da- ten, ist ein weiterer Vorteil der Erfindung.
Ein weiterer Vorteil der Erfindung ist die Möglichkeit, mit den Daten der „Virtuell Reality 3D-Licht-Mikroskopie" 3D-Messungen wie z.B. Volumenmessungen, Oberflächenmessungen etc. durchführen zu können.
Eine weitere vorteilhafte Ausgestaltung der Erfindung bietet die Möglichkeit der Aufprojektion von bildanalytisch beeinflussten und/oder veränderten Texturbildern auf die 3D-Oberfläche, wie oben beschrieben. Hierdurch ist eine weitere „erweiterte Wahrnehmung" durch die „Virtuell Reality 3D Licht Mikroskopie" möglich, da die veränderten Texturen ortstreu auf die 3D- Oberfläche projiziert werden. Dadurch wird ermöglicht, bildanalytische Ergebnisse mit dreidimensionalen Oberflächendaten zu verbinden und simultan darzustellen. Das gilt auch für bildanalytisch beeinflusste Zeitserien von Aufnahmen im obigen Sinne.
Ein weiterer Vorteil der Erfindung liegt darin, das Verfahren für Mosaikbilder anzuwenden, sodass definierte Oberflächen-Teilbereiche eines Objektes ab- gescannt werden. Diese Teilbilder werden tiefenscharf zusammengesetzt und nebst zugehörigen 3D-Objektoberflächendaten zu einem „Virtuell Reality 3D Licht Mikroskopiebild" der eingescannten Objektfläche verrechnet .
Die Erfindung zeichnet sich im Hinblick auf ihre Vorteile besonders dadurch aus, dass eine erhebliche Erweiterung der Wahrnehmung mikroskopischer Fakten am Objekt möglich wird. Dies wird durch simultane Darstellung eines vollständig scharfen Bildes auf einer durch das Mikroskopieren gewonnenen dreidimensionalen Oberfläche erreicht. Durch die virtuelle 3D-Realität des Mikroskopbildes und dessen Kompatibilität der virtuellen Darstellung auch zu Standardprogrammen und Verfahren gelingt eine Einbindung des gesamten Wissens und aller Möglichkeiten, die bislang für die virtuelle Realität erzeugt wurden.
Die mit dem erfindungsgemäßen Verfahren erzeugten Bilder entsprechen mehr den tatsächlichen Verhältnissen in der Probe, als diejenigen, die mit herkömmlichen Mikroskopen gewonnen werden. Denn in dem „Virtuell Reality 3D Lichtmikroskopbild" wird neben vollständiger Schärfe auch die dreidimen- sionale Information des Objektes deutlich hervorgebracht.
Außerdem kann „Virtuell Reality 3D Lichtmikroskopbild" unter verschiedenen Raumwinkeln betrachtet werden, indem man das Bild in beliebige Positionen dreht. Darüber hinaus kann das Objektbild durch Transparenzen und andere Standardverfahren beliebig manipuliert werden, um andere mikroskopische Details zu verstärken oder abzuschwächen.
Die Aussagekraft und eine der menschlichen Wahrnehmung sehr viel näher kommende dreidimensionale Darstellung eines mikroskopischen Objektes ermöglichen völlig neue Analysemethoden. Bildmosaike, die als „Virtuell Reality 3D Lichtmikroskopbild" dargestellt werden, erweitern zusätzlich die Darstell- barkeit.
Die Möglichkeit einer Vollautomatisierung der genannten Abläufe zur Erzeugung eines „Virtuell Reality 3D Lichtmikroskopbildes" oder mehrerer „Virtuell Reality 3D Lichtmikroskopbilder" durch automatische Zeitserien stellen nur geringe Anforderungen an das technische Know How der Anwender.
Kombinationen des „Virtuell Reality 3D-Lichtmikroskopbildes", welches aus real aufgenommenen Basisdaten generiert wurde, mit den Möglichkeiten der Einblendung rein virtueller Objekte wie platonischen Grundkörper oder anderen komplexeren Körpern, ergeben neue didaktische Möglichkeiten der Wissensvermittlung. Die Kombination der Daten des „Virtuell Reality 3D Lichtmik- roskopbilds" mit einer 3D-Cyberspace-Brille erlaubt eine Sicht auf mikroskopi- sehe Objekte in nie zuvor gesehener Präzision und Ganzheitlichkeit.
Da die Daten des „Virtuell Reality 3D Lichtmikroskopbilds" in einem Computer gespeichert werden können, ist eine Darstellung der Daten auf anderen Systemen, ein Datentransfer über Computernetze wie im Intranet oder Internet, und die Darstellung der „Virtuell Reality 3D Lichtmikroskopbilddaten" über Webbrowser möglich. Außerdem ist eine dreidimensionale Bildanalyse möglich.
Eine virtuelle Mikroskopie, d.h., eine Mikroskopie durch Anwender „ohne" Mikroskop, also nur auf Basis der gewonnenen und/oder gespeicherten „Virtuell Reality 3D Lichtmikroskopbilddaten" ermöglicht eine Trennung zwischen realer Mikroskopie und Auswertung der gewonnenen Daten.
Die Verwendung von üblichen Standardlichtmikroskopen mit einer Standardbeleuchtung ist zur Erzeugung der erfindungsgemäßen 3D Abbildung möglich und damit kostengünstig.
Weitere Vorteile und vorteilhafte Ausführungsformen der Erfindung sind Gegenstand der nachfolgenden Figuren sowie deren Beschreibungen, bei deren Darstellung zugunsten der Übersichtlichkeit auf eine maßstabsgetreue Wiedergabe verzichtet wurde.
Es zeigen im Einzelnen:
Fig. 1 : einen schematisierter Ablauf des erfindungsgemäßen
Verfahrens.
Fig. 2: einen schematisierten Ablauf des erfindungsgemäßen
Verfahrens anhand eines Beispieles
Fig. 3: einen schematisierten Ablauf des erfindungsgemäßen Verfahrens anhand eines Beispieles
Fig. 4a: Beispiel eines Pseudobildes
Fig. 4b: Beispiel eines strukturierten Pseudobildes Fig. 5: Kombination einer Textur mit Pseudobild anhand eines
Beispieles
Fig. 6: Schematischer automatisierter Verfahrensablauf
In Figur 1 ist schematisiert der grundsätzliche Ablauf des erfindungsgemäßen Verfahrens dargestellt, der in den Figuren 2 und 3 anhand eines schematisierten Beispiels nochmals verdeutlicht wird. Ausgehend von einem Objekt 22 (Fig. 2) wird im Verfahrensschritt 10 ein Bildstapel 24 dadurch erzeugt, dass aus einer Mehrzahl von Fokusebenen des Objektes 22 Einzelbilder 26 manu- eil oder vollautomatisch aufgenommen werden. Der Abstand der Einzelbilder ist geeignet bemessen um ein tiefenscharfes dreidimensionales Bild rekonstruieren zu können und wird bevorzugt äquidistant gehalten. Jedes der Einzelbilder 26 besitzt scharfe und unscharfe Bildbereiche, wobei der Bildabstand und die Gesamtzahl der Einzelbilder 26 bekannt sind. Die Bilder werden nach Aufnahme zunächst unkomprimiert oder mit einem daten verlustfreien Kompressionsverfahren komprimiert im Verfahrensschritt 12 abgespeichert. Die Einzelbilder 26 können Farbbilder oder Grauwertbilder sein. Die Farbbzw. Grauwertauflösung (8Bit, 24Bit etc.) kann dabei beliebig sein.
Bei der Erstellung des Bildstapels kann auch so vorgegangen werden, dass mehrere Bilder in einer Fokusbene (in x, y Richtung) nebeneinander liegen und pixelgenau so wieder zusammengesetzt werden, dass ein sogenanntes Mosaikbild der Fokusebene entsteht. Dabei ist es auch möglich, aus den Mosaikbildern einen Bildstapel 24 zu erzeugen. Nachdem in jeder gewünschten Fokusebene (z-Ebene) ein Einzelbild aufgenommen worden ist, liegt ein Bildstapel 24 mit einer Serie von Einzelbildern 26 zur weiteren Bildbearbeitung vor. Bevorzugt liegen die z-Ebenen zueinander äquidistant.
Zur Erstellung des Bildstapels 24 kann ein Abbildungssystem verwendet werden, wobei insbesondere ein Mikroskop oder ein Makroskop eingesetzt wird. Es kann aber auch ein geeignet befestigtes Kamerasystem mit einem Objektiv verwendet werden. Dabei kann der gesamte Beleuchtungsbereich eines Präparates vom nahen UV bis zum fernen IR ausgenutzt werden, sofern das Ab- bildungssystem dies ermöglicht.
Das Aufnahmesystem kann generell jede analoge oder digitale CCD Kamera aufweisen, wobei alle Typen von CCD Kameras, insbesondere Zeilenkameras, Farbkameras, Graubild Kameras, IR Kameras, integrierende Kameras, Kameras mit Multikanalplatten, etc zum Einsatz kommen können.
In einem weiteren Verfahrensschritt 14 wird aus den gewonnenen Daten des Bildstapels 24 nun ein Multifokusbild 15 und ein Maskenbild 17 gewonnen, wobei hierbei insbesondere die Verfahren gemäß DE 101 49 357.6 und DE 101 44 709.4 verwendet werden können. Aufgrund der Schärfentiefe des Mik- roskops enthält jedes der Einzelbilder 26 scharfe und unscharfe Bereiche. Nach bestimmten Kriterien werden die jeweils scharfen Bereiche in den Einzelbildern 26 ermittelt und mit ihrer Ebenennummer den entsprechenden Koordinatenpunkten (x, y) zugeordnet. Die Zuordnung von Ebenennummern und Koordinatenpunkten (x, y) wird in einem Speicher abgespeichert und stellt das Maskenbild 17 dar. Bei einer Bildverarbeitung des Maskenbildes 17 können die im Maskenbild abgespeicherten Ebenennummern als Grauwerte betrachtet werden.
In dem Multifokusbild 15 werden alle unscharfen Bildbereiche der Einzelbilder des zuvor aufgenommenen und abgespeicherten Bildstapels 24 entfernt, so- dass ein vollständig scharfes tiefenscharfes Bild entsteht. Das Multifokusbild (15) kann auch aus einem Mosaikbildstapel entstehen, derart, das mehrere Mosaikbilder aus verschiedenen Fokusebenen zu einem Multifokusbild (15) verrechnet werden.
In dem Maskenbild 17 kennzeichnen alle Grauwerte der Pixel die Nummer der Herkunftsebene des schärfsten Pixels. Somit lässt sich Maskenbild auch als dreidimensionales Höhenrelief 28 darstellen. Die Dreidimensionalität ergibt sich aus den x, y Positionen der Maskenbildpixel und dem Betrag des Grauwertes eines Pixels, welcher die Fokusebenenposition des dreidimensionalen Datensatzes kennzeichnet. Das Maskenbild 17 kann auch aus einem Mosaik- bildstapel entstehen, wobei mehrere Mosaikbilder aus verschiedenen Fokusebenen zu dem Maskenbild 17 verrechnet werden. Nachdem nun das Maskenbild 17 vorliegt kann daraus ein sogenanntes dreidimensionales Pseudobild 28 erstellt werden. Hierzu wird im Verfahrensschritt 16 das Maskenbild 17 als Höhenrelief dargestellt. Dieses Bild trägt außer den Höheninformationen keine direkten Bildinformationen. Das Maskenbild 17 wird hierzu durch eine geeignete Software als ein dimensionales Höhenrelief abgebildet. Die Software kann beispielsweise auf Basis der bekannten Softwarebibliotheken OpenGL oder Direct3D (Microsoft) entwickelt werden. Ferner eignen sich andere gewerblich erhältlichen Softwarepakete zur Darstellung, Erstellung, Animation und Manipulation von 3D Szenen wie Cinema 4D (Firma Maxon), MAYA 3.0, 3D Studio MAX oder Povray.
Um diese Darstellung zu erzeugen werden sogenannte Splines verwendet. Splines sind im Wesentlichen Abfolgen von im dreidimensionalen Räume liegenden Stützpunkten, die durch Linien miteinander verbunden sind. Splines sind aus der Mathematik wohlbekannt in der Technik zur Erzeugung dreidi- mensionaler Objekte. Sie. stellen gewissermaßen Höhenlinien auf einer Landkarte dar. Die Stützpunkte werden von den Grauwerten des Maskenbildes geliefert, derart, das die Koordinaten (X, Y, Z) der Stützpunkte für eine Spline- Interpolation den folgenden Maskenbilddaten entsprechen
Stützpunktkoordinate X entspricht dabei der Maskenbildpixelkoordinate X
Stützpunktkoordinate Y entspricht dabei der Maskenbildpixelkoordinate Y
Stützpunktkoordinate Z entspricht dabei dem Grauwert bei X, Y des Maskenbilds 17.
Der Verlauf der Splinekurven wird durch die sog. Interpolation bestimmt. Dabei errechnet sich der Verlauf der Splinekurven durch eine Interpolation zwi- sehen den Stützpunkten der Splines (Polynom-Fit eines Polynoms n'ter Ordnung durch eine vorgegebene Anzahl von Punkten im Raum wie etwa durch Bezier Polynome oder Bernstein Polynome etc.), sodass die Splinekurven entstehen. Je nach Art der verwendeten Interpolationsfunktion und Anzahl der Stützpunkte lassen sich mehr oder weniger detailgenaue Kurvenanpassungen an die gegebenen Stützpunkte vornehmen. Indem man nicht alle Maskenbild- punkte als Stützpunkte für Splines auffasst sondern nur eine geeignet gewählte Teilmenge der Maskenbildpunkte, kann die Anzahl der Stützpunkte variiert werden. Dabei kann z.B. nur jedes vierte Pixel des Maskenbildes 17 verwendet werden. Eine anschließende Interpolation zwischen der geringeren Stütz- punktanzahl würde die Objektoberfläche in geringerer Auflösung darstellen. Somit hat man durch Anpassung der Stützpunktanzahl eine Möglichkeit, Oberflächen mit mehr oder weniger hohem Detailierungsgrad darzustellen und so diverse Oberflächenartefakte auszufiltem. Weniger Stützpunkte führen somit zu einem Glättungseffekt der dreidimensionalen Oberfläche.
In der vorliegenden Erfindung bildet das zuvor berechnete Maskenbild die Stützpunktdatenbasis. Die Stützpunkte liegen in einem 3D-Raum und müssen somit durch drei Raumkoordinaten beschrieben werden. Die drei Raumkoordinaten (x, y, z) eines jeden Stützpunktes für Splines wird durch die x, y Pixelpositionen der Maskenbildpixel und den Grauwert eines jeden Maskenpixels (z - Position) gebildet. Da die Grauwerte in einem Maskenbild ohnehin den Höheninformationen des zugrundeliegenden Mikroskopbildes entsprechen, kann man das 3D Pseudobild als Darstellung des Höhenverlaufes des zugrundeliegenden Mikroskopbildes interpretieren.
Gibt man also ein Array von Stützpunkten vor, das alle oder eine geeignete Teilmenge der Maskenbildpunkte und Maskenbildpunktkoordinaten enthält, so kann man ein Spline - Netzwerk wählbarer Dichte über das Stützpunktearray legen. In Fig. 4a ist ein auf diese Weise erhaltenes dreidimensionales Pseudobild 28 dargestellt.
Wie in Fig. 4b dargestellt, kann durch geeignete Triangularisierung und Schat- tierung, wie etwa das sog. Gouraud-Shading, dann eine Feinstruktur über diese Oberfläche gelegt werden. Durch Raytracing Algorithmen können zudem Oberflächenreflexionen und Schattenwürfe bereits zu sehr realistisch wirkenden Oberflächen 28' führen.
Im Weiteren ist es erforderlich, das dreidimensionale Pseudobild 28 mit einer Textur 29 zu verknüpfen. Dabei wird unter Textur 29 ein Grundelement für die
Oberflächengestaltung virtueller Gebilde verstanden, wobei das Ziel erreicht werden soll, Oberflächen ein natürliches und realistisches Aussehen zu verleihen. Somit wird im Verfahrensschritt 18 aus dem zuvor bereitgestellten Multifokusbild 15 eine Textur 29 erzeugt. Hierzu wird beispielsweise das zuvor berechnete tiefenscharfe Multifokusbild 15 nun als Texturbild verwendet.
Um nun die im Übrigen ermittelten Informationen, die insbesondere im Multifokusbild 15 vorliegen, mit in das dreidimensionale Pseudobild 28 zu verknüpfen, wird im Verfahrensschritt 20, wie in den in Fig. 1-3 gezeigt, das dreidimensionale Pseudobild 28 mit der Textur 29 verknüpft.
Unter der Textur 29 versteht man dabei, wie in der virtuellen Realität üblich, insbesondere ein Bild, welches durch dreidimensionale Projektionsverfahren geeignet auf die Oberfläche eines virtuellen dreidimensionalen Objektes projeziert wird. Um den gewünschten Effekt zu erzielen, muss das Texturbild hierzu geeignet ausgerichtet auf die Oberfläche virtueller Objekte projiziert werden. Zur geeigneten Ausrichtung ist es erforderlich, die Textur 29 dem dreidimensi- onalen Pseudobild 28 so zuzuordnen, dass die Zugehhörigkeiten der Pixel - Koordinaten (x, y) des Maskenbildes 17 und des Multifokusbildes 15 nicht zerstört werden. Es wird also jedem Maskenpixel mit dem Grauwert an der Stelle ( Xj , yj ) sein korrespondierender Multifokuspixel mit dem Grauwert an genau derselben Stelle ( Xj , yj ) zugeordnet. Sollte das Multifokusbild 15 zuvor bild- analytisch oder durch sonstige Bildmanipulation verändert worden sein, so ist darauf zu achten, das die Zugehörigkeiten der Pixelkoordinaten (x, y) des Maskenbildes und des bildanalytisch oder durch sonstige Bildmanipulation beliebig modifizierten Multifokusbildes nicht verloren geht.
Vorteilhafterweise wird zur Verknüpfung des Pseudobildes 28 mit der Textur 29 die Textur 29 also auf das dreidimensionale Pseudobild 28 geeignet projiziert. Dadurch wird ein Verschmelzen der beiden Ressourcen derart erreicht, dass ein dreidimensionales Objektbild 30 des Objektes 22 entsteht. Dieses Objektbild 30 stellt eine virtuelle Abbildung im Sinne der virtuellen Realität dar.
Wie am Beispiel gemäß der Figur 5 dargestellt, wird die Basis für die erfin- dungsgemäße Texturierung durch das Multifokusbild selbst gebildet, welches zuvor berechnet wurde. Das bereits realistisch wirkende Pseudobild 28 und das Maskenbild 17 werden geeignet ausgerichtet und zwar so, dass die Höheninformationen des Pseudobildes 28 und die Bildinformationen des Maskenbildes 17, also die Textur, pixelgenau übereinanderliegen. Das Multifokus- Texturbild, also die Textur 29, wird auf das dreidimensionale Pseudobild 28 projiziert, so dass jedes Pixel des Multifokus-Texturbildes 29 genau auf sein zugehöriges Pixel im dreidimensionalen Pseudobild 28 abgebildet wird. Im Ergebnis wird somit durch eine Verschmelzung virtueller und realer Abbildungstechniken ein tiefenscharfes Objektbild 30 des Objektes 22 als virtuelles Bild erzeugt.
Mit dem Ablauf des in den Figuren 1-3 schematisch dargestellten Verfahrens basiert die erfindungsgemäß neuartige Abbildung auf real ermittelten Messwerten eines real existierenden Objektes 20, die so zusammengeführt werden sodass eine virtuell reale dreidimensionale Abbildung der lichtmikroskopischen Daten entsteht. Im Vergleich zu herkömmlichen virtuellen Techniken wird in der vorliegenden Erfindung eine reale Aufnahme eines Objektes 22 durchgeführt. Es werden am realen Objekt 22 Daten zur Bildschärfe, zur Topologie des Objektes und zur genauen Position scharfer Teilbereiche eines Bildes im dreidimensionalen Raum aufgenommen. Diese realen Daten dienen dann als Ausgangsbasis für die Erzeugung einer virtuellen Abbildung in einem dreidimensionalen Raum. Die virtuelle Abbildung die aus dem realen Bildern Daten ermittelt, wie die Bildinformation, Schärfe und Dreidimensionalität und dabei zugleich abbildet, schafft somit einen deutlichen Mehrwert gegenüber der herkömmlichen Lichtmikroskopie.
Erfindungsgemäß wird somit eine neue Art der Lichtmikroskopie vorgeschla- gen, deren Kerneigenschaften die Erfassung realer z.B. lichtmikroskopischer Objektdaten und deren zusammenfassende Darstellung in einem dreidimensionalen virtuellen Raum ist. In diesem Sinne kann das erfindungsgemäße Verfahren als „Virtuell Reality 3D Lichtmikroskopie" bezeichnet werden. In diesem „Virtuell Reality 3D Lichtmikroskop" können die erzeugten Abbildun- gen der Realität (3D, Schärfe, etc.) darüber hinaus durch alle derzeit bekannten und künftig entwickelten Methoden und Verfahren der virtuellen Abbildungstechniken beeinflusst werden. Nachdem im vorangehenden Ausführungsbeispiel die manuelle und vollautomatische Erzeugung eines „Virtuell Reality dreidimensionalen Lichtmikroskopiebildes" beschrieben wurde, wird in einem weiteren Ausführungsbeispiel ein Verfahren zur Visualisierung, Manipulation und Analyse der „Virtuell Reality dreidimensionalen Lichtmikroskopiebilder" beschrieben.
Zur Visualisierung der Objektbilddaten 30 aufgrund der Transformation real mikroskopischer Daten in einen virtuellen Raum liegen, die mikroskopischen Daten des Objektbildes 30 nunmehr als dreidimensionale, tiefenscharfe Bilder vor.
Durch virtuelle Lampen kann die Oberfläche des Objektbildes 30 nun beleuchtet werden, um so bestimmte Details der mikroskopischen Daten visuell hervorzuheben. Die virtuellen Lampen können beliebig im virtuellen Raum platziert werden und die Eigenschaften der virtuellen Lampen wie Abstrahlcharakteristik oder Lichtfarbe können flexibel eingestellt werden.
Dieses Verfahren erlaubt die Erstellung wesentlich besserer und dauerhaft konservierter Mikroskopbilder für Lehr- und Dokumentationszwecke.
Die Bilder lassen sich im Raum durch Rotations- und Translationsoperatoren beliebig drehen und skalieren. Diese Operation erlaubt eine Betrachtung der Bilder unter Blickwinkeln, die in einem normalen Mikroskop unmöglich sind.
Durch schrittweises Verstellen der Orientierung eines „Virtuell Reality 3D Lichtmikroskopiebildes" und Abspeichern dieser Einzelbilder können zudem Animationssequenzen erstellt werden, die eine Bewegung des „Virtuell Reality dreidimensionalen Lichtmikroskopiebildes" vortäuschen. Durch Abspeichern dieser Einzelbilder als Filmsequenz (z.B. im Datenformat AVI, MOV, etc.) kön- nen diese Animationssequenzen abgespielt werden.
Die Daten können darüber hinaus auch manipuliert werden. Die Abbildung des dreidimensionalen Pseudobildes liegen als Stützpunkte für eine dreidimensionale Spline Interpolation vor. Durch Gouraud Shading und Raytracing kann man diesen dreidimensionalen Daten schließlich eine dreidimensional wirkende Oberfläche zuordnen. Eine zentrale Rolle für die Datenmanipulation, die z.B. zu Messzwecken oder zur deutlicheren Hervorhebung bestimmter Details verwendet werden, kann spielen die x, y, z Stützpunkte.
Eine Multiplikation der z-Werte mit einer Zahl würde zum Beispiel eine Streckung oder Stauchung des Höhenreliefs bedeuten. Durch gezielte Manipulation einzelner Stützpunkte kann man bestimmte Teile des 3D Profils des dreidimensionalen Pseudobildes 28 einzeln manipulieren.
Durch bildanalytische Manipulationen des aufprojizierten Multifokus Texturbildes können zudem bildanalytische Ergebnisse wie Markieren einzelner Bild- objekte, Kantenhervorhebungen, Objektklassifikationen, Binärbilder, Bildverbesserungen etc. aufprojiziert werden. Das erfolgt indem man ein bildanalytisch verändertes Ausgangsbild (Multifokus Texturbild) als ein neues „manipuliertes" Multifokus Texturbild verwendet und das neue Bild als Textur auf die dreidimensionale Oberfläche des 3D Pseudobildes projiziert. Auf diese Weise können auch bildanalytisch manipulierte Bilder (neue Texturen) mit dem dreidimensionalen Pseudobild verschmolzen werden.
Es existieren somit sowohl Möglichkeiten der 3D-Datenmanipulation wie z. B. der Manipulation der Stützpunkte für die Splineinterpolation als auch die Möglichkeit der Manipulation des Multifokusbildes durch Bildanalysemethoden.
Eine Verschmelzung dieser beiden Darstellungen kann zu einem Mehrwert in der mikroskopischen Bilddarstellung führen, da die Objektbilder 30 neben der dreidimensionalen Darstellung eine ortstreue Überlagerung der bildanalytisch manipulierten Multifokusbilder tragen.
Wegen der Transformation der Daten des realen Objektes 22 in Daten, die in einem virtuellen Raum vorliegen, können die dreidimensionalen Daten nun hinsichtlich ihres Volumens, der Oberfläche oder der Rauhigkeit etc. vermessen werden.
Eine weitere Verbesserung erlaubt die Kombination der bildanalytisch gewonnenen Messergebnisse an dem Multifokusbild und den dreidimensionalen Da- tenmessungen. Durch logische Verknüpfungen der dreidimensionalen Daten mit geeigneten anderen dreidimensionalen Objekten, lassen sich zudem eine Vielzahl von Berechnungen an dreidimensionalen Daten durchführen.
Somit wird durch die bloße Art der Darstellung die zweidimensionale Bildanalyse um eine dritte Dimension der Bildanalyse und um eine topologische Di- mension der Datenanalyse erweitert.
Durch Aufnahmen von Zeitserien, d. h. durch Aufnahme von Bildern des Objektes 22 zu verschiedenen aufeinanderfolgenden Zeitpunkten nach dem beschriebenen Verfahren, kommt eine weitere Dimension zur Datenanalyse hinzu, die zeitliche Dimension. Diese ermöglicht dann, die Darstellung eines Zeit- prozesses, etwa der zeitlichen Veränderung im Objekt 22 in Zeitlupe oder im Zeitraffer.
Das erfindungsgemäße Verfahren eignet sich auch zur Stereobilderzeugung und Stereobildanimation. Da die Daten des Objektbildes 30 dreidimensional vorliegen, können zwei Ansichten eines virtuellen Mikroskopbildes aus jegli- chem Sichtwinkel errechnet werden. Dies erlaubt eine Visualisierung des „Virtual Reality 3D Lichtmikroskopbildes" im Sinne eines klassischen Stereobildes.
Eine Visualisierung des „Virtual Reality 3D Lichtmikroskopbildes" kann neben der Ausgabe auf einen Monitor, Drucker oder Plotter auch durch ein Polarisa- tions- Shutterglasses oder in Anaglyphentechnik oder durch Abbildung über eine 3D-Cyberspacebrille erfolgen.
Durch eine jeweils für das rechte und das linke Auge perspektivisch getrennte Animation einer Serie verschiedener Ansichten auf das „Virtual Reality 3D Lichtmikroskopbild", kann über eines der oben beschriebenen Visualisie- rungsverfahren auch ein bewegtes Stereobild eines aus realen Mikroskopiedaten erzeugten „Virtual Reality 3D Lichtmikroskopbildes" generiert werden.
Da die Daten dreidimensional vorliegen kann für das linke und rechte Auge eine perspektivisch korrekte Ansicht auf das „Virtual Reality 3D Lichtmikroskopbild" berechnet werden. Somit können die „Virtual Reality 3D Lichtmikro- skopbilder" auch auf 3D Ausgabeeinheiten wie 3D Stereo LCD Monitoren oder aber Cyberspace-Brillen ausgegeben werden.
Bei einem 3D-LCD-Stereomonitor wird über eine Bildanalyse die aktuelle Augenposition des Betrachters vermessen. Aus diesen Daten wird dann der jeweilige Blickwinkel errechnet. Daraus folgen die Daten zur perspektivischen Ansicht auf das „Virtual Reality 3D Lichtmikroskopbild" für das rechte und linke Betrachterauge. Diese beiden Perspektiven werden berechnet und auf dem 3D-LCD Stereomonitor dargestellt. Für den Betrachter wird damit der Eindruck erzeugt, dass das „Virtual Reality 3D Lichtmikroskopbild" im Raum vor dem Monitor schwebt. Somit ist es möglich, real erfasste Mikroskopiedaten so abzubilden, dass eine räumlich dreidimensionale Abbildung der Wirklichkeit entsteht. Durch zeitlich und perspektivisch korrekte Bildfolgen lassen sich zudem auch räumlich animierte dreidimensionale Abbildungen realer Mikroskopbilder verwirklichen.
Bei Cyberspacebrillen wird technisch bedingt in jedes Auge getrennt ein Bild in perspektivisch korrekter Ansicht eingeblendet. Das Gehirn des Betrachters erzeugt daraus einen dreidimensionalen Eindruck. Durch zeitlich und perspektivisch korrekte Bildfolgen lassen sich zudem auch hier räumlich animierte dreidimensionale Abbildungen realer Mikroskopbilder verwirklichen.
In einer weiteren Ausführungsform der Erfindung ist es möglich, die aus der „Virtuell Reality 3D Lichtmikroskopie" gewonnen Daten so miteinander zu kombinieren, dass auch zeitlich veränderliche Prozesse in der „Virtuell Reality 3D Lichtmikroskopie" animiert und visualisiert werden können. Neben den drei Raumkoordinaten X, Y, Z kann hierzu weiterhin eine Datenmanipulation vorgenommen werden, die sich auf die Textur 29 - reine, scharfgerechnete Bild- Information des Objektes (Multifokusbild) oder auf zeitliche Veränderungen der Oberfläche und/ oder der Textur (Zeitserie von Bildern) bezieht.
Wie bereits in den bisher beschriebenen Verfahren, können auch zeitliche Veränderungen an mikroskopischen Objekten durch ein wiederholtes Aufnehmen desselben Bildstapels in z-Richtung (in Richtung der optischen Achse des Abbildungssystems) zu verschiedenen Zeitpunkten erfasst werden. Damit entsteht eine Serie von Bildstapeln, die den Verhältnissen im Objekt 22 zu un- terschiedlichen Zeitpunkten entspricht. Dabei können sich sowohl die dreidimensionalen mikroskopischen Oberflächenstrukturen als auch die mikroskopischen Bilddaten selbst zeitlich ändern.
Durch eine Zeitserie immer desselben mikroskopischen Bereiches, entsteht somit eine Serie von zeitlich aufeinander folgenden Maskenbildern und zugehörigen Multifokusbildern, derart, dass
Maske [t .] -> Maske [t 2] -> -> Maske [t n] -> Maskeft n+ι]
und zugehörig
Multifokus [t 1] -> Multifokus [t 2] -> -> -> Multifokus [t -] -> Multifokus [t n+1]
Bei zeitlichen Veränderungen der Topologie gilt
Maske [t n] ungleich Maske[t n+ι] { n = 1 ,2,3,4, ...}
und bei bildlichen Veränderungen gilt
Multifokus [t n] ungleich Multifokus [t n+1] { n = 1 ,2,3,4, ...}
Diese Zeitserien können sowohl manuell als auch automatisch generiert werden.
Durch Aufnahme von Zeitabfolgen von Mosaik Multifokusbildern und den zugehörigen Mosaik Maskenbildern ist auch eine zeitliche Kinetik von Oberflächenveränderungen und / oder von Bildveränderungen möglich.
Wie in Fig. 6 gezeigt, kann der Verfahrensablauf zur Erzeugung einer Animation in die bereits aus der DE 101 49 357.6 und DE 101 44 709.4 bekannten Verfahrensabläufe integriert werden, so dass auch ein vollautomatischer Ablauf verwirklicht werden kann. Hierzu wird der aus diesen Dokumenten bereits bekannte Verfahrensablauf um weitere automatisierbare Verfahrensschritte ergänzt. Sofern der Verfahrensablauf der Erstellung eines Virtual Reality Objektbildes 30 gestartet wird, kann im Schritt 32 ein Virtual Reality Objektbild 30 wie oben beschrieben erzeugt werden. Dieses Objektbild 30 kann im Schritt 34 beliebig animiert werden. Bevorzugt wird dann das animierte Bild im Schritt 36 abgespeichert. Auf diese Weise können Mosaikbilder, Maskenbilder und Mosaik - Multifokusbilder zu bestimmten Zeitpunkten erstellt und abgespei- chert werden. Diese Masken- und Multifokusbilder dienen dann als Ausgangsbasis für eine Kombination der jeweils zugehörigen Masken- und Multifokusbilder.
In einem zweiten Schritt können dann die zusammengehörenden Masken und Multifokusbilder zu Einzelbildern in der „Virtual Reality 3D Lichtmikroskopie" zusammengefügt werden.
Es entsteht somit eine Zeitserie von einzelnen „Virtual Reality 3D Lichtmikroskopiebildern". Jedes enthält simultan die 3D Informationen des Maskenbildes und die aufprojizierte Textur des Multifokusbildes. Die Einzelbilder können sich bei zeitlichen Änderungen des Objektes 22 aber in der dreidimensionalen topologischen Erscheinung und/oder in Änderungen der Textur 29 unterscheiden.
Eine Aneinanderreihung der einzelnen Bilder ermöglicht eine zeitliche Animation der Aufnahmen mit den Möglichkeiten der „Virtual Reality 3D Lichtmikroskopie".
Es lassen sich somit simultan dreidimensionale Oberflächeninformationen, zeitliche Veränderungen der Oberflächen, tiefenscharf berechnete Multifokusbilder und zeitliche Veränderungen dieser Multifokusbilder darstellen.
Die benötigten Maskenbilder 17 und Multifokusbilder 15 können dabei auch als durch ein zu bestimmten Zeiten wiederholtes Abrastem einer Oberfläche des Objekts 22 entstandenes Mosaik-Maskenbild und ein Mosaik- Multifokusbild aufgefasst werden.
Durch Drehen dieser „Virtual Reality 3D Lichtmikroskopie" Bilder können die simultan abgebildeten Merkmale, wie dreidimensionale Oberflächeninformationen, zeitliche Veränderungen der Oberflächen, tiefenscharf berechnete Multi- fokusbilder und zeitliche Veränderungen dieser Multifokusbilder, auch unter anderen Sichtwinkeln betrachtet werden. Der Datensatz, der eine dreidimensionale Oberfläche beschreibt, wird dazu einer geeigneten, dreidimensionalen Transformation unterworfen.
Zusammenfassend kann also die beschriebene Abbildung der „Virtual Reality 3D Lichtmikroskopie" eine simultane Abbildung von fünf Dimensionen mikroskopischer Daten eines Objektes 22 aufgefasst werden. Dabei sind die fünf Dimensionen:
• X, Y, Z - reine dreidimensionale Oberflächeninformationen des Objektes 22
» Die Textur 29, also reine, scharfgerechnete Bildinformation des Objektes 22
• Die zeitliche Veränderungen der Oberfläche und/ oder der Textur als Zeitserie von Bildern
Bezugszeichenliste
10 Erzeugung eines Bildstapels eines Objektes 12 Speichern der Bilder des Bildstapels
14 Erzeugen eines Multifokusbildes und eines Maskenbildes
15 Multifokusbild
16 Erzeugen eines dreidimensionalen Pseudobildes
17 Maskenbild 18 Bereitstellen einer Textur 0 Verknüpfen der Textur mit dem Pseudobild 2 Objekt 4 Bildstapel 6 Einzelbild einer Fokusebene 8 dreidimensionales Pseudobild 8' dreidimensionales Pseudobild mit Oberflächenstruktur 9 Textur 0 Objektbild 2 Erzeugen eines Virtual Reality Bildes 4 Erstellen einer Animation 6 Speichern des Bildes

Claims

Patentansprüche
1. Verfahren zur Darstellung eines dreidimensionalen Objektes (22) als Objektbild (30) wobei von dem Objekt (22) zunächst ein Bildstapel (24) aus einer Mehrzahl von Bildern (26) in verschiedenen Fokusebenen aufgenommen wird, dadurch gekennzeichnet, dass aus dem Bildstapel (24) ein dreidimensionales Höhenreliefbild (28) erzeugt wird und das dreidimensionale Höhenreliefbild (28) mit einer Textur (29) kombiniert, insbesondere die Textur (29) auf das dreidimensionale Höhenreliefbild (28) projiziert wird.
2. Verfahren nach Anspruch 1 dadurch gekennzeichnet, dass die Textur und das dreidimensionale Höhenreliefbild (28) aus den Daten der Einzelbilder (6) des Bildstapels (24) gewonnen werden.
3. Verfahren nach Anspruch 1 oder 2 dadurch gekennzeichnet, dass das dreidimensionale Höhenreliefbild (28) durch Höhenlinien gebildet wird, welche durch Stützpunkte verlaufen, die durch Interpolation miteinander verbunden werden.
4. Verfahren nach einem der Ansprüche 1 bis 3 dadurch gekennzeichnet, dass die Textur (29) auf das dreidimensionale Höhenreliefbild (28) projiziert wird.
5. Verfahren nach Anspruch 4 dadurch gekennzeichnet, dass die Textur (29) zum Projizieren auf das dreidimensionale Höhenreliefbild (28) pi- xelgenau auf das dreidimensionale Höhenreliefbild (28) ausgerichtet wird.
6. Verfahren nach einem der Ansprüche 1 bis 5 dadurch gekennzeichnet, dass das dreidimensionale Höhenreliefbild (28) vor dem Kombinieren mit der Textur (29) verändert, insbesondere durch Triangulierung,
Schattierung und/oder Raytracing Algorithmen mit einer virtuellen O- berfläche versehen wird.
7. Verfahren nach einem der Ansprüche 1 bis 6 dadurch gekennzeichnet, dass die Textur (29) aus den Daten eines Multifokusbildes (15) gewonnen wird, das die tiefenscharfe Information des Objektes (22) trägt.
8. Verfahren nach einem der Ansprüche 1 bis 7 dadurch gekennzeichnet, dass das dreidimensionale Höhenreliefbild (28) aus den Daten eines
Maskenbildes (17) gewonnen wird, das die Höheninformation der Fokusebenen trägt.
9. Verfahren nach Anspruch 3 dadurch gekennzeichnet, dass das drei- dimensionale Höhenreliefbild (28) durch Strecken oder Stauchen der
Stützpunkte der Höhenlinien vor oder nach der Kombination mit der Textur (29) verändert wird.
10. Verfahren nach einem der Ansprüche 1 bis 9 dadurch gekennzeichnet, dass das Objektbild (30) bildanalytisch manipuliert, insbesondere mit einer weiteren Textur kombiniert wird.
11. Verfahren nach einem der Ansprüche 1 bis 10 dadurch gekennzeichnet, dass die Erzeugung des Objektbildes (30) manuell oder automa- tisch nach der Aufnahme der Einzelbilder (26) des Bildstapels (24) gestartet wird.
12. Verfahren nach einem der Ansprüche 1 bis 7 dadurch gekennzeichnet, dass eine Vielzahl von zeitlich aufeinanderfolgenden Objektbildern (30) erzeugt werden.
13. Verfahren nach einem der Ansprüche 1 bis 12 dadurch gekennzeich- net, dass das Objektbild (30) auf ein Ausgabegerät, insbesondere einen Monitor, Plotter, Drucker, LCD-Monitor oder eine Cyberspace Brille ausgegeben wird.
14. Verfahren nach einem der Ansprüche 1 bis 13 dadurch gekennzeich- net, dass das Objektbild (30) vor der Ausgabe verändert, insbesondere mit einer virtuellen Lampe beleuchtet, durch Rotations- bzw. Translationsoperatoren bearbeitet und/oder virtuellen physikalischen Gesetzen ausgesetzt wird.
15. Verfahren nach einem der Ansprüche 1 bis 14 dadurch gekennzeichnet, dass eine Vielzahl von Objektbildern (30) als zeitliche Abfolge von Objektbildern (30), insbesondere als Film oder Animation, auf das Ausgabegerät ausgegeben werden.
16. Verfahren nach Anspruch 15 dadurch gekennzeichnet, dass die Vielzahl von Objektbildern (30) durch Morphing ineinander übergeführt werden.
17. Einrichtung zur Darstellung eines dreidimensionalen Objektes (22) als Objektbild (30) mit einem Abbildungssystem, insbesondere einem Mikroskop zur Abbildung des Objektes (22), einem Computer, Aktoren zur gezielten, schnellen Positionsveränderung des Objektes (22) in x, y, und z - Richtung, einer Aufnahmeeinrichtung, insbesondere einer analogen oder digitalen CCD Kamera zur Aufnahme eines Bildstapels (26) von Einzelbildern (24) in verschiedenen Fokusebenen des Objektes
(22), einer Steuerungseinrichtung zur Steuerung der Hardware des Abbildungssystems, dadurch gekennzeichnet, dass eine Analyseeinrichtung zur Erzeugung eines dreidimensionalen Höhenreliefbildes (28) und einer Textur (29) aus den Einzelbildern (26) des Bildstapels (24) und eine Steuereinrichtung zur Kombination des dreidimensionalen Höhenreliefbildes (28) mit der Textur (29) vorgesehen ist.
18. Vorrichtung nach Anspruch 17 dadurch gekennzeichnet, dass eine Ausgabeeinrichtung zur Ausgabe des Objektbildes (30), insbesondere ein Monitor, Plotter, Drucker, LCD-Monitor oder eine Cyberspace Brille vorgesehen ist.
19. Vorrichtung nach Anspruch 17 oder 18 dadurch gekennzeichnet, dass eine Einrichtung zur Datenanalyse des Objektbildes (30) vorgesehen ist.
20. Vorrichtung nach einem der Ansprüche 17-19 dadurch gekennzeich- net, dass die Analyse-, Steuereinrichtung und/oder die Einrichtung zur
Datenanalyse des Objektbildes (30) in dem Computer realisiert sind.
PCT/EP2002/011458 2001-10-22 2002-10-14 Verfahren und vorrichtung zur erzeugung lichtmikroskopischer, dreidimensionaler bilder WO2003036566A2 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
AU2002347009A AU2002347009A1 (en) 2001-10-22 2002-10-14 Method and device for producing light-microscopy, three-dimensional images
EP02782898A EP1438697A2 (de) 2001-10-22 2002-10-14 Verfahren und vorrichtung zur erzeugung lichtmikroskopischer, dreidimensionaler bilder
US10/493,271 US20040257360A1 (en) 2001-10-22 2002-10-14 Method and device for producing light-microscopy, three-dimensional images
JP2003538981A JP2005521123A (ja) 2001-10-22 2002-10-14 光学顕微鏡検出３次元画像の生成方法及び生成装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE10151285 2001-10-22
DE10151285.6 2001-10-22
DE10237470A DE10237470A1 (de) 2001-10-22 2002-08-16 Verfahren und Vorrichtung zur Erzeugung lichtmikroskopischer, dreidimensionaler Bilder
DE10237470.8 2002-08-16

Publications (2)

Publication Number Publication Date
WO2003036566A2 true WO2003036566A2 (de) 2003-05-01
WO2003036566A3 WO2003036566A3 (de) 2003-08-21

Family

ID=26010396

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2002/011458 WO2003036566A2 (de) 2001-10-22 2002-10-14 Verfahren und vorrichtung zur erzeugung lichtmikroskopischer, dreidimensionaler bilder

Country Status (4)

Country Link
US (1) US20040257360A1 (de)
EP (1) EP1438697A2 (de)
JP (1) JP2005521123A (de)
WO (1) WO2003036566A2 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2389764A (en) * 2002-04-09 2003-12-17 Delcam Plc Generation of a computer model using parametric surfaces and polygonal meshes
WO2013164208A1 (de) * 2012-05-02 2013-11-07 Leica Microsystems Cms Gmbh Verfahren zur ausführung beim betreiben eines mikroskops und mikroskop
CN111381357A (zh) * 2018-12-29 2020-07-07 中国科学院深圳先进技术研究院 图像三维信息提取方法、对象成像方法、装置及系统

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7668362B2 (en) 2000-05-03 2010-02-23 Aperio Technologies, Inc. System and method for assessing virtual slide image quality
WO2005119575A2 (en) 2004-05-27 2005-12-15 Aperio Technologies, Inc Systems and methods for creating and viewing three dimensional virtual slides
US20060038144A1 (en) * 2004-08-23 2006-02-23 Maddison John R Method and apparatus for providing optimal images of a microscope specimen
US20090231362A1 (en) * 2005-01-18 2009-09-17 National University Corporation Gunma University Method of Reproducing Microscope Observation, Device of Reproducing Microscope Observation, Program for Reproducing Microscope Observation, and Recording Media Thereof
US8164622B2 (en) 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
US8559705B2 (en) 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US7729049B2 (en) * 2007-05-26 2010-06-01 Zeta Instruments, Inc. 3-d optical microscope
US8184364B2 (en) * 2007-05-26 2012-05-22 Zeta Instruments, Inc. Illuminator for a 3-D optical microscope
DE102007045834B4 (de) * 2007-09-25 2012-01-26 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE102007045897A1 (de) * 2007-09-26 2009-04-09 Carl Zeiss Microimaging Gmbh Verfahren zur mikroskopischen dreidimensionalen Abbildung einer Probe
US20090174704A1 (en) * 2008-01-08 2009-07-09 Graham Sellers Graphics Interface And Method For Rasterizing Graphics Data For A Stereoscopic Display
WO2010065344A1 (en) 2008-11-25 2010-06-10 Refocus Imaging, Inc. System of and method for video refocusing
US8289440B2 (en) 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US8908058B2 (en) * 2009-04-18 2014-12-09 Lytro, Inc. Storage and transmission of pictures including multiple frames
US8749620B1 (en) 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
US9389408B2 (en) 2010-07-23 2016-07-12 Zeta Instruments, Inc. 3D microscope and methods of measuring patterned substrates
US8768102B1 (en) 2011-02-09 2014-07-01 Lytro, Inc. Downsampling light field images
US9184199B2 (en) 2011-08-01 2015-11-10 Lytro, Inc. Optical assembly including plenoptic microlens array
US8831377B2 (en) 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
US8811769B1 (en) 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
US8948545B2 (en) 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
US9420276B2 (en) 2012-02-28 2016-08-16 Lytro, Inc. Calibration of light-field camera geometry via robust fitting
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US9607424B2 (en) 2012-06-26 2017-03-28 Lytro, Inc. Depth-assigned content for depth-enhanced pictures
US10129524B2 (en) 2012-06-26 2018-11-13 Google Llc Depth-assigned content for depth-enhanced virtual reality images
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
EP2874700B1 (de) * 2012-07-18 2020-04-08 The Trustees of Princeton University Multiskalare spektrale nanoskopie
US8997021B2 (en) 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
US9001226B1 (en) 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
DE102014004249A1 (de) * 2014-03-24 2015-09-24 Carl Zeiss Microscopy Gmbh Konfokales Mikroskop mit Aperturkorrelation
GB2544946B (en) 2014-08-31 2021-03-10 Berestka John Systems and methods for analyzing the eye
TWI549478B (zh) * 2014-09-04 2016-09-11 宏碁股份有限公司 產生三維影像的方法及其電子裝置
US9984494B2 (en) * 2015-01-26 2018-05-29 Uber Technologies, Inc. Map-like summary visualization of street-level distance data and panorama data
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
JP6772442B2 (ja) * 2015-09-14 2020-10-21 株式会社ニコン 顕微鏡装置および観察方法
US10445894B2 (en) * 2016-05-11 2019-10-15 Mitutoyo Corporation Non-contact 3D measuring system
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
CN106875485B (zh) * 2017-02-10 2020-09-01 中国电建集团成都勘测设计研究院有限公司 面向水电工程地质施工编录的现场三维坐标体系建立方法
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
DE102017107489B3 (de) * 2017-04-07 2018-07-05 Carl Zeiss Microscopy Gmbh Mikroskopanordnung zur Aufnahme und Darstellung dreidimensionaler Bilder einer Probe
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
DE102017123510A1 (de) * 2017-10-10 2019-04-11 Carl Zeiss Microscopy Gmbh Digitales Mikroskop und Verfahren zum Aufnehmen eines Stapels von mikroskopischen Bildern einer Probe
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US10812701B2 (en) * 2018-12-13 2020-10-20 Mitutoyo Corporation High-speed tag lens assisted 3D metrology and extended depth-of-field imaging

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10149357A1 (de) * 2000-10-13 2002-04-18 Leica Microsystems Imaging Sol Verfahren und Vorrichtung zur optischen Vermessung eines Oberflächenprofils eines Objektes

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3982323A (en) * 1975-07-07 1976-09-28 Jake Matiosian Combination interpolator and distance divider
IL80364A (en) * 1986-10-20 1990-03-19 Elscint Ltd Three dimensional image construction using binary space interpolation
JP3413778B2 (ja) * 1992-03-26 2003-06-09 ソニー株式会社 画像処理装置
JPH05299048A (ja) * 1992-04-24 1993-11-12 Hitachi Ltd 電子線装置および走査電子顕微鏡
JPH05340712A (ja) * 1992-06-11 1993-12-21 Olympus Optical Co Ltd 走査型プローブ顕微鏡リアルタイム表示装置
US5394268A (en) * 1993-02-05 1995-02-28 Carnegie Mellon University Field synthesis and optical subsectioning for standing wave microscopy
ZA948824B (en) * 1993-12-08 1995-07-11 Caterpillar Inc Method and apparatus for operating geography altering machinery relative to a work site
US5841892A (en) * 1995-05-31 1998-11-24 Board Of Trustees Operating Michigan State University System for automated analysis of 3D fiber orientation in short fiber composites
US6151404A (en) * 1995-06-01 2000-11-21 Medical Media Systems Anatomical visualization system
US5704025A (en) * 1995-06-08 1997-12-30 Hewlett-Packard Company Computer graphics system having per pixel depth cueing
JPH0937035A (ja) * 1995-07-17 1997-02-07 Ricoh Co Ltd 画像形成装置
US5748199A (en) * 1995-12-20 1998-05-05 Synthonics Incorporated Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture
JPH10198263A (ja) * 1997-01-07 1998-07-31 Tomotaka Marui 仮想現実空間を製作し表示する装置および仮想現実感による教育ソフトウェア
JP3957816B2 (ja) * 1997-06-05 2007-08-15 富士通株式会社 フレーム間補間画像処理装置
US6037949A (en) * 1997-08-04 2000-03-14 Pixar Animation Studios Texture mapping and other uses of scalar fields on subdivision surfaces in computer graphics and animation
JPH1196334A (ja) * 1997-09-17 1999-04-09 Olympus Optical Co Ltd 画像処理装置
ATE272224T1 (de) * 1997-11-17 2004-08-15 Max Planck Gesellschaft Konfokales spektroskopiesystem und -verfahren
JP2000162504A (ja) * 1998-11-26 2000-06-16 Sony Corp 拡大観察装置
JP2000329552A (ja) * 1999-05-20 2000-11-30 Gen Tec:Kk ３次元地図作成方法
JP4261743B2 (ja) * 1999-07-09 2009-04-30 株式会社日立製作所 荷電粒子線装置
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
JP3367934B2 (ja) * 2000-03-24 2003-01-20 株式会社コナミコンピュータエンタテインメントジャパン ゲームシステム、ゲームシステムにおける画像描画方法およびゲーム用プログラムが記憶されたコンピュータ読み取り可能な記録媒体
EP1199542A3 (de) * 2000-10-13 2003-01-15 Leica Microsystems Imaging Solutions Ltd. Verfahren und Vorrichtung zur optischen Vermessung eines Oberflächenprofils eines Objektes
JP2005502907A (ja) * 2001-09-11 2005-01-27 ライカ ミクロジュステムス ヴェツラー ゲーエムベーハー 対象物の光学的検査をするための方法および装置
US7120286B2 (en) * 2001-11-21 2006-10-10 Mitutoyo Corporation Method and apparatus for three dimensional edge tracing with Z height adjustment
JP5132867B2 (ja) * 2002-02-22 2013-01-30 オリンパス アメリカ インコーポレイテツド 仮想顕微鏡スライドを形成し使用する方法および装置、ならびにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10149357A1 (de) * 2000-10-13 2002-04-18 Leica Microsystems Imaging Sol Verfahren und Vorrichtung zur optischen Vermessung eines Oberflächenprofils eines Objektes

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"MATLAB, Using MATLAB Graphics, Version 6" September 2000 (2000-09) , THE MATHWORKS , NATICK, MA, USA XP002241968 Kapitel 1-13, 1-14, 4-40, 11-9, 11-26 *
EVERS T F ET AL: "A comparative study of algorithms for 3D morphing" PROCEEDINGS XIV BRAZILIAN SYMPOSIUM ON COMPUTER GRAPHICS AND IMAGE PROCESSING, PROCEEDINGS XIV BRAZILIAN SYMPOSIUM ON COMPUTER GRAPHICS AND IMAGE PROCESSING, FLORIANOPOLIS, BRAZIL, 15-18 OCT. 2001, Seite 380 XP002241966 2001, Los Alamitos, CA, USA, IEEE Comput. Soc, USA ISBN: 0-7695-1330-1 *
FOLEY, J.D. ET AL: "Fundamentals of Interactive Computer Graphics" 1982 , ADDISON-WESLEY , READING, MA, USA XP002241967 Kapitel 16.3, 16.4 Seite 577 -Seite 584 *
KUDO T ET AL: "Recovering 3D shape and texture from continuous focus series: using a polarized filter" PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP) LAUSANNE, SEPT. 16 - 19, 1996, NEW YORK, IEEE, US, Bd. 1, 16. September 1996 (1996-09-16), Seiten 741-744, XP010202172 ISBN: 0-7803-3259-8 *
PIPONI D ET AL: "SEAMLESS TEXTURE MAPPING OF SUBDIVISION SURFACES BY MODEL PELTING AND TEXTURE BLENDING" COMPUTER GRAPHICS. SIGGRAPH 2000 CONFERENCE PROCEEDINGS. NEW ORLEANS, LA, JULY 23 - 28, 2000, COMPUTER GRAPHICS PROCEEDINGS. SIGGRAPH, NEW YORK, NY: ACM, US, 23. Juli 2000 (2000-07-23), Seiten 471-478, XP001003588 ISBN: 1-58113-208-5 *
TROCHU F: "A contouring program based on dual kriging interpolation" ENGINEERING WITH COMPUTERS, 1993, USA, Bd. 9, Nr. 3, Seiten 160-177, XP008017404 ISSN: 0177-0667 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2389764A (en) * 2002-04-09 2003-12-17 Delcam Plc Generation of a computer model using parametric surfaces and polygonal meshes
GB2389764B (en) * 2002-04-09 2005-10-26 Delcam Plc Method and system for the generation of a computer model
WO2013164208A1 (de) * 2012-05-02 2013-11-07 Leica Microsystems Cms Gmbh Verfahren zur ausführung beim betreiben eines mikroskops und mikroskop
GB2517110A (en) * 2012-05-02 2015-02-11 Leica Microsystems Method to be carried out when operating a microscope and microscope
US10261306B2 (en) 2012-05-02 2019-04-16 Leica Microsystems Cms Gmbh Method to be carried out when operating a microscope and microscope
GB2517110B (en) * 2012-05-02 2020-08-05 Leica Microsystems Method to be carried out when operating a microscope and microscope
CN111381357A (zh) * 2018-12-29 2020-07-07 中国科学院深圳先进技术研究院 图像三维信息提取方法、对象成像方法、装置及系统
CN111381357B (zh) * 2018-12-29 2021-07-20 中国科学院深圳先进技术研究院 图像三维信息提取方法、对象成像方法、装置及系统

Also Published As

Publication number Publication date
US20040257360A1 (en) 2004-12-23
WO2003036566A3 (de) 2003-08-21
JP2005521123A (ja) 2005-07-14
EP1438697A2 (de) 2004-07-21

Similar Documents

Publication Publication Date Title
WO2003036566A2 (de) Verfahren und vorrichtung zur erzeugung lichtmikroskopischer, dreidimensionaler bilder
DE69530367T2 (de) Kontrolle eines Mikroskopprobenträgers
DE19953595B4 (de) Verfahren und Vorrichtung zur Verarbeitung dreidimensionaler Bilder
EP2870500B1 (de) Verfahren zur vorbereitung und durchführung der aufnahme von bildstapeln einer probe aus verschiedenen orientierungswinkeln
DE69722139T2 (de) Dreidimensionale abbildung von bildtexturen
DE10204430A1 (de) Stereo-Mikroskopieverfahren und Stereo-Mikroskopiesystem
WO2006092251A1 (de) Verfahren und vorrichtung zur bestimmung von optischen überdeckungen mit ar-objekten
DE102007054906A1 (de) Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
DE102017107489B3 (de) Mikroskopanordnung zur Aufnahme und Darstellung dreidimensionaler Bilder einer Probe
CH693619A5 (de) Bilddarstellende Einrichtung und Verfahren zum Bilddarstellen.
DE102006055893A1 (de) Verfahren und System zur Bestimmung eines Datenmodells zur Überlagerung mit einem realen Objekt in einem Verfahren zur Objektverfolgung
DE19906995A1 (de) Erzeugen von Anpaßdaten für einen virtuellen Szenenaufbau
DE3814644A1 (de) Verfahren und vorrichtung zum erhalten von bildern zur verwendung beim darstellen eines dreidimensionalen scheinbildes
WO2018127509A1 (de) Verfahren zur erzeugung eines dreidimensionalen modells einer probe in einem digitalen mikroskop und digitales mikroskop
DE102012106890A1 (de) Dreidimensionale Darstellung von Objekten
EP1235049A2 (de) Verfahren und Anordnung zur Abbildung und Vermessung mikroskopischer dreidimensionaler Strukturen
WO2013164208A1 (de) Verfahren zur ausführung beim betreiben eines mikroskops und mikroskop
DE10149357A1 (de) Verfahren und Vorrichtung zur optischen Vermessung eines Oberflächenprofils eines Objektes
DE102017219244B4 (de) Inspektionsbedingungsbestimmungseinrichtung, inspektionsbedingungsbestimmungsverfahren und inspektionsbedingungsbestimmungsprogramm
DE102008024732A1 (de) Medizinisch optisches Beobachtungsgerät und Verfahren zum Erstellen einer stereoskopischen Zwischenperspektive in einem derartigen Gerät
DE10237470A1 (de) Verfahren und Vorrichtung zur Erzeugung lichtmikroskopischer, dreidimensionaler Bilder
DE10027323A1 (de) Verfahren zum Generieren eines dreidimensionalen Objekts
DE19632637A1 (de) Verfahren zur Erzeugung parallaktischer Schnittbildstapel für die hochauflösende Stereomikroskopie und/oder 3D-Animation mit konventionellen, nicht stereoskopischen Lichtmikroskopen
DE10340109A1 (de) Verfahren zur Herstellung eines Mediums zur reellen und virtuellen Wiedergabe von realen oder berechneten dreidimensionalen Anordnungen
EP0808474B1 (de) Verfahren und anordnung zur hochauflösenden stereomikroskopie mit erweiterter raumtiefe

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AU JP US

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LU MC NL PT SE SK TR

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2002782898

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10493271

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2003538981

Country of ref document: JP

WWP Wipo information: published in national office

Ref document number: 2002782898

Country of ref document: EP