WO2013164208A1 - Verfahren zur ausführung beim betreiben eines mikroskops und mikroskop - Google Patents

Verfahren zur ausführung beim betreiben eines mikroskops und mikroskop Download PDF

Info

Publication number
WO2013164208A1
WO2013164208A1 PCT/EP2013/058179 EP2013058179W WO2013164208A1 WO 2013164208 A1 WO2013164208 A1 WO 2013164208A1 EP 2013058179 W EP2013058179 W EP 2013058179W WO 2013164208 A1 WO2013164208 A1 WO 2013164208A1
Authority
WO
WIPO (PCT)
Prior art keywords
representation
microscope
manipulation
representative
display
Prior art date
Application number
PCT/EP2013/058179
Other languages
English (en)
French (fr)
Inventor
Frank Hecht
Frank Sieckmann
Original Assignee
Leica Microsystems Cms Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Microsystems Cms Gmbh filed Critical Leica Microsystems Cms Gmbh
Priority to US14/398,513 priority Critical patent/US10261306B2/en
Priority to JP2015509364A priority patent/JP6255008B2/ja
Priority to GB1421358.1A priority patent/GB2517110B/en
Publication of WO2013164208A1 publication Critical patent/WO2013164208A1/de

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Definitions

  • the invention relates to a method for carrying out the operation of a microscope and / or for displaying an object recorded with a microscope or of parts of an object recorded with a microscope.
  • the invention also relates to a microscope, in particular a scanning microscope and / or laser scanning microscope and / or confocal scanning microscope, for carrying out the method according to the invention and a microscope, in particular scanning microscope and / or laser scanning microscope and / or confocal scanning microscope with a display and means for presenting a with a Microscope recorded object or parts of an object recorded with a microscope on the display.
  • a microscope in particular a scanning microscope and / or laser scanning microscope and / or confocal scanning microscope with a display and means for presenting a with a Microscope recorded object or parts of an object recorded with a microscope on the display.
  • image data of an object In order to be able to display the object on a display.
  • image data can contain, for example, for each scanned object point information about the power of detection light emanating from this object point and / or about the wavelength of the detection light and information about the position of the respective object point, for example in the form of coordinate information.
  • a three-dimensional scanning of an object is possible, for example, with a confocal scanning microscope.
  • a sample is illuminated with a light beam to observe the detection light emitted by the sample, as reflection or fluorescent light.
  • the focus of a lighting beam of light is moved by means of a controllable beam deflecting device, generally by tilting two mirrors, in a sample plane, wherein the deflection axes are usually perpendicular to each other, so that one mirror deflects in the x-direction, the other in the y-direction.
  • the tilting of the mirror is accomplished, for example, with the help of galvanometer actuators.
  • the power of the detection light coming from the object is measured as a function of the position of the scanning beam.
  • the control elements are equipped with sensors for determining the current mirror position.
  • a confocal scanning microscope generally comprises a light source, a focusing optics with which the light of the source is focused on a pinhole - the so-called excitation diaphragm, a beam splitter, a beam deflector for beam control, a microscope optics, a detection diaphragm and the detectors for detecting the detection - or fluorescent light.
  • the illumination light is coupled in via a beam splitter.
  • the fluorescence or reflection light coming from the object passes back to the beam splitter via the beam deflector, passes through it, and is subsequently focused onto the detection aperture behind which the detectors are located.
  • This detection arrangement is called Descan arrangement.
  • Detection light that does not come directly from the focus region takes a different light path and does not pass through the detection aperture, so that one obtains point information that results in a three-dimensional image by sequentially scanning the object with the focus of the illumination light beam.
  • a three-dimensional image is achieved by layerwise image data acquisition.
  • Commercial scanning microscopes usually consist of a scan module, which is flanged to the stand of a classical light microscope, wherein the scan module includes all mentioned above for scanning a sample additionally necessary elements.
  • a detection stop can be dispensed with, since the excitation probability depends on the square of the photon density and thus on the square of the illumination light intensity, which is naturally much higher in the focus than in the neighboring regions. Therefore, the fluorescent light to be detected is most likely originated for the most part from the focus region, which makes a further differentiation of fluorescence photons from the focus range of fluorescence photons from the neighboring areas with a diaphragm arrangement superfluous.
  • a three-dimensional image or the generation of image data that allow a three-dimensional representation of the object can also be done with other types of microscopes.
  • SPIM technology is mentioned in this respect, in which an object from different directions is illuminated with a lens.
  • a researcher wants to present the object in such a way that the aspects important to him are clearly visible.
  • the user of a microscope or the researcher who evaluated the image data obtained with a microscope therefore, has the need to influence the type of representation, such as the size of the representation of the object or the viewing direction.
  • the type of representation such as the size of the representation of the object or the viewing direction.
  • the object is achieved by a method characterized by the following steps: a. Representing a representative of the object on the display or on another display, b. Performing at least one manipulation on the substitute and / or on the representation of the substitute by means of an input means, c. Deriving at least one representation parameter for the representation of the object or of the part of the object from the manipulation and / or derivation of at least one microscope control parameter from the
  • Manipulation, d. Representing the object or the part of the object taking into account the derived representation parameter and / or the derived microscope control parameter.
  • the further object is achieved by a microscope, which is characterized by: a. Means for displaying a representative of the object on the display or on another display, b. Means for performing at least one manipulation on the substitute and / or on the representation of the representative by means of an input means, c. Means for deriving at least one representation parameter for the representation of the object or the part of the object from the manipulation and / or derivation of at least one microscope control parameter from the manipulation, d. Means for displaying the object or the part of the object taking into account the derivative
  • the invention has the advantage that the user can quickly and efficiently tell the performing system, for example a microscope with a computer-controlled display, which type of display is desired with which boundary conditions.
  • the deputy especially for the user easily and quickly understandable further Object, such as a ball can be.
  • the actual displayed, for example biological, object may have a much more complicated structure, in particular form.
  • the risk is reduced that the user loses his orientation due to the large number of detailed information of the object shown and has to think long and hard about which viewing direction has just been selected or which partial area he has displayed or faded in.
  • the representative in his three-dimensional form corresponds to an abstraction of the real object, for example a mouse or a brain.
  • the invention has the further advantage that the representative has a consistent quality, in particular quality of presentation, and thus also permits a manipulation of qualitatively poor real data (for example strongly noisy objects or objects with little contrast) in a consistent manner.
  • the invention has the advantage that the user is largely not burdened with information in the communication of his wishes regarding the presentation, which he does not need for this process.
  • the invention also has the very special advantage that even then the desired representation can be achieved, if this is the present Do not allow image data, because according to a particular embodiment of the method according to the invention can also be provided that in order to achieve the desired representation directly influence the process of image data acquisition is taken.
  • a modification of the representation of the object corresponding to the manipulation is effected by a manipulation carried out on the representative and / or his representation, in particular automatically.
  • the change in the representation of the object is based on a change in at least one representation parameter and / or is based on a change in at least one microscope control parameter.
  • the user has the advantage that he can enter the manipulation, for example, with the help of a computer mouse directly in relation to the deputy or the representation of the deputy and that a manipulation of the representation of the object takes place and / or that at least one microscope control parameter due to the manipulation is prevented in order, for example, to effect a special representation of the object or of subregions of the object.
  • the user touches the deputy with a displayed mouse pointer, fixes a specific position of the mouse pointer relative to the deputy by clicking a mouse button and then turns and / or shifts the deputy by moving the mouse.
  • it can be provided that at the same time I also rotate and / or shift the representation of the object in the same way.
  • the representative two-dimensional and the object with a stereoscopic or holographic display are displayed in three dimensions.
  • the presentation of the representative for example, on a separate 2D display done while the object with the stereoscopic or holographic display is displayed in three dimensions.
  • the representative it is also possible for the representative to be displayed on the stereoscopic or holographic display - but two-dimensional - on which the object is also displayed - but three-dimensionally.
  • the use of at least one 2D substitute in representations on 3D stereo monitors may be helpful if the substitute is represented by a 3D representation on a 2D screen and the actual 3D object has its representation on the stereo monitor.
  • the aforementioned embodiments have the very special advantage that the effect of "hovering" of the mouse pointer over the stereoscopic or holographic representative is avoided and thus better and simpler control, in particular 3D control, is made possible.
  • the user can mark a subregion of the proxy, for example by specifying cutting planes and then an area defined by the planes, for example by double-clicking or single-clicking with a mouse button while the mouse pointer is in this area, from the deputy or Representation of the representative removed, whereby the corresponding area of the displayed object is also removed, so that the user gets a clear view into the interior of the object or on the resulting cut surfaces.
  • object image data are first generated with a microscope for offline operation and that in an off-line operation only display parameters for the representation of the object or of the part of the object are derived from the manipulation.
  • corresponding microscope control parameters are stored in a microscope for a multiplicity of possible display modes, which are retrieved as needed, for example by a control device, and used.
  • the user does not even need to know which microscope settings he must make in order to be able to record suitable image data for a particular display.
  • the representative is a virtual object.
  • the representative can be another multi-dimensional, in particular three-dimensional, object and / or be part of another multi-dimensional, in particular three-dimensional, object.
  • the representative is a geometric body, for example a ball, a cube or a cylinder, and / or is part of a geometric body.
  • a basic geometric figure has the particular advantage that the user can easily keep track because he usually knows geometric basic figures from his wealth of experience.
  • a basic figure adapted to the object as a proxy eg the stylized figure of a mouse or a brain, can help to standardize microscopic representations and to repeat them in a uniform manner.
  • Another embodiment may be the simultaneous representation of the proxy within the 3D image, allowing the user to better orient by using the abstract primitive
  • the representative has a coordinate system that is displayed to the user.
  • the representative has a coordinate system which is displayed to the user in the form of coordinate axes and / or by displaying characteristic planes or areas and / or by displaying the basic levels.
  • Such an embodiment makes it easier for the user, for example, to assess which viewing direction is currently selected and / or which quadrants are currently displayed or hidden, for example.
  • the deputy or the surface of the deputy are displayed transparently or semitransparent or that parts of the deputy are displayed transparent or semi-transparent.
  • the surface of the representative has a texture and / or characters and / or a pattern and / or a color and / or that the surface of the representative a temporally or state-dependent variable texture and / or time or state-dependent has variable character and / or a temporally or state-dependent variable pattern and / or a temporally or state-dependent variable color and / or has a temporally or state-dependent variable transparency.
  • a manipulation may include, for example, a rotation and / or a cutting of a partial area.
  • the manipulation is a cut includes portions located in a quadrant of a proxy coordinate system and / or that manipulation involves the addition or modification of one or more intersection planes.
  • the manipulation involves the departure of a part of the deputy or the cutting out of a part of the depiction of the deputy.
  • the manipulation includes marking a part of the deputy.
  • a chronological sequence of individual representations which can be, for example, two-dimensional or three-dimensional, takes place.
  • the representations may be, for example, a sequence of sectional images of adjacent object planes.
  • the manipulation involves the addition or modification of a start marker, in particular a start level, and an end marker, in particular an end plane, for example, for a temporally successive representation of adjacent cutting planes.
  • the areas that can be selected by manipulation can also be curved surfaces.
  • the representative and / or the representation of the representative in size, color and contrast is adapted to the perception possibilities of the user, in particular when a 3D image object is e.g. is very noisy.
  • This has the particular advantage that nevertheless a clear cutting planes or cutting surface can be defined.
  • a temporal change of the cutting planes or cut surfaces defined with the help of the representative is reproduced as a temporally changing representation of the object.
  • the representative or his representation is adapted to the n different channels of a 3D image. This in particular such that an individual control of individual channels is made possible by a manipulation of the representative or his representation - simultaneously or separately in time.
  • a cutting plane has an adjustable start and end point over which a course, e.g. a transparency, lets set.
  • a course e.g. a transparency
  • the manipulation may include shifting the representation of the representative on the display or the other display.
  • the presentation parameter may contain information about the outer boundary and / or the shape of a part of the object to be displayed.
  • the presentation parameter contains information about a time sequence of includes different representations and / or representations of different parts of the object.
  • the presentation parameter may include information about the position of the representation of the object or a part of the object to be displayed.
  • a volume rendering method is used for the representation of the object.
  • a volume is divided into volume segments and volume segments are selected by the user and an indication of a subset of the data is made as a function of this selection of the volume segments.
  • different combinations of rendering methods are used in different volume segments depending on the choice of the user.
  • the data of different image channels or combinations of image channels are displayed in different volume segments depending on the user's choice.
  • the microscope control parameter included at least one piece of information that is directly or indirectly relevant to the microscopic imaging and / or generation of image data of the object.
  • the microscope control parameter may, for example, include information regarding at least one object plane to be scanned. It can also be provided that the microscope control parameter contains information relating to at least one sequence of scanning planes of the object to be scanned and / or that the microscope control parameter contains information regarding the temporal position of a focus of an illumination light beam.
  • the microscope control parameter contains information regarding the scan speed.
  • the microscope control parameter contains information relating to a scan inaccuracy and / or a resolution.
  • provision can be made for image data to be obtained, in particular automatically, outside a region of interest with a lower resolution than within this region of interest.
  • the microscope control parameter contains information regarding an object manipulation.
  • the user with a manipulation of the representative or the representation of the representative, a real manipulation of the object, for example, a photobleach an area that triggers or the application of a voltage with microelectrodes.
  • the representation of the object or the part of the object takes place on a stereoscopic display, it being possible for the user or users to wear spectacles which ensure that only the information falls into the respective eye intended for this eye.
  • it can negotiate shutter glasses or polarization glasses.
  • a hologram is generated from generated image data that is displayed to the user on the display.
  • Such a design has the very special advantage that the user does not need to wear glasses.
  • the substitute may also be displayed on such a stereoscopic or holographic display. This may be the same Display on which the object is also displayed. However, it is also possible that another display is used to represent the substitute.
  • the object and / or the representative are displayed as a hologram and / or that the object and / or the representative are displayed as a stereoscopic image and / or that the object and / or the representative represented in a two-dimensional representation in perspective become.
  • the further display is the display of a portable computer and / or a laptop and / or a mobile phone and / or a tablet PC.
  • the manipulation is input to and / or with one of the aforementioned devices.
  • the input means all devices are suitable in front of which it is possible to communicate a system for displaying the image information and / or a microscope information regarding the desired representation.
  • the input means has a computer mouse or a touch-sensitive surface or a touch-sensitive screen or a motion sensor.
  • the input means may be a wireless device, such as a laptop or a smartphone. Particularly advantageous is the use of devices that have their own display for representing the substitute.
  • the input means there are basically no restrictions. For example, it can be provided that the input means detects a touch or an approach capacitively or inductively. It can also be provided that the input device transmits information by radio or by sound transmission or by light transmission, for example to a system for displaying image information and / or to a microscope.
  • a volume rendering in particular an alpha blending is performed.
  • the method is carried out with a computer and / or a scanning microscope and / or a laser scanning microscope and / or a confocal scanning microscope.
  • a microscope for execution with a computer or with a programmable control device of a microscope, in particular a confocal scanning microscope, may advantageously serve a computer program product that can be loaded directly into the memory of a digital computer and includes software code sections with which the inventive method, in particular at least one of The above-described specific embodiments can be carried out when the computer program product runs on a computer or the programmable control device of a microscope.
  • a microscope in particular a scanning microscope and / or laser scanning microscope and / or a confocal scanning microscope can be advantageously used for carrying out the method.
  • the microscope according to the invention is designed in a particular embodiment such that by manipulating the representative and / or his representation, in particular automatically, by means of a control device, in particular a control computer, a manipulation corresponding change of the representation of the object is effected.
  • a control device in particular a control computer
  • the change in the representation of the object is based on a change in at least one presentation parameter and / or is based on a change in at least one microscope control parameter.
  • the method according to the invention and / or the microscope according to the invention which can be embodied in particular as a scanning microscope and / or laser scanning microscope and / or confocal scanning microscope, can advantageously be used to display object data of a, in particular biological, object obtained with another or the same microscope.
  • Fig. 1 is a schematic illustration of the possible components of a computer system or a microscope control device for in the embodiment of an embodiment of the invention
  • FIG. 2 shows a schematic illustration of sectional polygons for the calculation of the representation of the object to be displayed
  • FIG. 3 shows a display which displays a representative and a representation of the object to the user
  • 4 shows a further schematic illustration of the sectional polygon calculation
  • FIG. 5 shows a subdivision into volume segments
  • FIG. 10 shows an exemplary embodiment of a substitute and a representation of the object that are displayed to the user
  • Fig. 1 1 an embodiment of a microscope according to the invention.
  • Figure 1 1 shows an embodiment of a microscope according to the invention, which is designed as a confocal scanning microscope.
  • the microscope has a light source 1 101.
  • the illumination light beam 1 102 generated by the light source 1 101 after passing through the illumination pinhole 1 103, strikes a dichroic main beam splitter 1 104 which deflects the illumination light beam to a beam deflection device 105 which includes a gimbal-mounted scanning mirror.
  • the beam deflection device 1 105 guides the focus of the illumination light beam 1 102 via a scanning optical system 1 106 and a tube optical system 1 107 and the objective 1 108 via or through the object 1 109.
  • the outgoing from the object 1 109 detection light 1 1 10 passes on the same light path, namely through the lens 1 109 through the tube optics 1 107 and the scanning optics 1 106 through the beam deflector 1 105th back and hits after passing the main beam splitter 1 104 and the detection pinhole 1 1 1 1 on the detection device 1 1 12, which generates proportional to the power of the detection light electrical signals.
  • the generated electrical detection signals are forwarded to a programmable control device 1 1 13, which displays a representation 1 1 15 of the object 1 109 on a display 1 1 14 the user.
  • a means for displaying the representation 1 1 16 a representative of the object 1 109 namely a portable computer 1 1 17 is provided which has another display 1 1 18, which shows the representation of 1 1 16 of the deputy.
  • the representative is shown as a ball, which can be seen in particular in Figure 3.
  • the portable computer 1 1 17 may be formed, for example, as a smartphone.
  • the display 1 1 15 of the portable computer 1 1 17 is designed as a touch-sensitive display and acts as an input means to make at least a manipulation of the deputy and / or on the representation of the deputy.
  • a mouse (not shown) may be connected to the portable computer 1 1 17.
  • the control device 1 1 13 wirelessly receives signals with information regarding an input manipulation and derives at least one presentation parameter for the representation of the object or the part of the object from the manipulation and / or at least one microscope control parameter from the manipulation.
  • the control device 1 1 13 may control the beam deflector according to the manipulation to allow a desired display, in particular to generate image data specific to a desired display.
  • the means for displaying the object or the part of the object taking into account the derived representation parameter and / or the derived microscope control parameter, among others, serves as a means. the display 1 1 14.
  • FIG. 3a shows an illustration 301 of a ball Substitute and a representation 302 of an object.
  • Substitute 301 has a segment removed by manipulation. Accordingly, the electronic system implementing the method has removed the corresponding segment of the representation 302 of the object so that the user can view the resulting cut surfaces and gain insight into the interior of the object being displayed.
  • Intensity data depending on location.
  • these data are in the form of a regular grid for the spatial coordinates x, y, and z, which is referred to below as the image stack.
  • a volume element within this grid is called a voxel.
  • the arrangement in the grid is advantageous, but not mandatory for the use of
  • each grid point there may be multiple intensity values, the data of which come from different detectors or different device settings. They are referred to here as picture channels.
  • the data may also be in the form of a time-varying n-dimensional space grid.
  • dimensions in microscopy e.g. besides x, y and z too
  • Figure 1 shows those components of a computer system or a preferably programmable, microscope control device, which for a typical embodiment of the alpha blending of importance, the input devices 101, a computer unit 102 with central processing unit - CPU 104 and memory 105, a graphics card 106 and a monitor 103.
  • the graphics card includes a Graphics Processing Unit - GPU 107, a
  • Texture storage unit 1 1 1, and an image memory 1 12, the content of which is displayed on the monitor 103.
  • Alpha blending consists of several computational steps, some running on one CPU and others running on a GPU.
  • Rasterization 109 and fragment shading 1 10 are involved in the calculations in the GPU 107.
  • Intensity data of the image stack is generated with color and transparency value for each voxel. It is customary for each image channel to assign a color with red Ir, green Ig and blue Ib, which can also be selected by the user.
  • the texture thus created is written by the CPU 104 into the texture memory 1 1 1 of the graphics card (106).
  • Texture coordinates are passed to the vertex shading unit 108, where the triangle coordinates are transformed into the observer coordinate system.
  • the triangles will be in the order of decreasing distance to the
  • Transformed triangle coordinates and texture coordinates are then passed to the Primitive Assembly and Rasterization unit 109. There is a compilation of pixel coordinates for all pixels of the
  • the associated texture coordinates are interpolated for each pixel.
  • the unit Fragment Shading 110 calculates interpolated intensities and
  • Transparency value ⁇ determines new color values R ', G' and B * , which are then placed in the
  • the content of the frame buffer 112 is transferred to the output device 103.
  • Section planes can take the form of a normalized plane equation
  • Fulfill condition lie in the plane.
  • the coefficients a, b, c and d determine location and orientation of the plane.
  • the distance D of any point from the plane can with
  • Rasterization 109 of the GPU 107 the triangles are cut at the described alpha blending.
  • the result of this operation are 0 to 2 triangles, which are located in the half-volume not to be cut off.
  • a suitable algorithm for this operation is Sutherland-Hodegman polygon clipping, which will be discussed later. For multiple cutting planes, only the parts that are not cut away by any of the planes are shown.
  • Figure 3a shows a representation of the representative 301 and a representation 302 of the object in one embodiment of the method for 2 cutting planes 303.
  • the representation of the representative 301 is a computer graphics and has the same orientation as the representation 302 of the object. This equal orientation allows a quick, targeted choice of volume segments to be cut away.
  • Figure 3b is a representation of the substitute 301 for the case of 3 orthogonal sectional planes shown.
  • the position and orientation of the cutting planes is visualized 304. A mouse click on a sphere segment switches the visibility of the data in the corresponding volume segment.
  • the cutting planes are managed in a computer program in the form of the coefficients of a plane equation (4).
  • the display is in the form of boundary lines of the respective level with the
  • Boundary surfaces of the volume immediately in the projected image can be generated with the algorithm, which is also used in the generation of the polygons for the above-described alpha blending method.
  • Figure 4a shows
  • Section planes 402, 403 and 404 Section planes 402, 403 and 404.
  • the position and orientation of the cutting planes can be changed by the user.
  • a shift is preferably made by dragging with an input device in the projected image.
  • an input device is preferably also used with the aid of the representation of a special manipulator in the projected image.
  • other elements such as e.g. Sliders are used.
  • a different number of sectional planes than three can be used. These cutting planes can be switched off for the user. Your starting position can be chosen differently.
  • the section planes can also be displayed in other areas of the output device or on other output devices.
  • Volume segments are numbered the slice planes from 0 to N-1. It
  • Dn is the distance of points (x, y, z) in the volume segment to
  • Figure 5 shows such a subdivision with the corresponding numbers s of the volume segments in decimal
  • Computer mouse one or more volume segments with a mouse click. This choice is stored by the computer program per volume segment based on the volume segment number.
  • the substitute can also be displayed on another input or output device.
  • another input device such as a touchpad can be used.
  • a slightly different coordinate transformation than for the projection of the volume. It makes sense, for example, to use a parallel projection for the representative or for his representation while a perspective image is used for the projection of the volume. Even a slightly different direction of projection may be useful if this provides better orientation by the arrangement of the input and output devices.
  • the plane equations of the section planes and the information about selected volume segments are used to re-project the volume.
  • the method used for this is described using alpha blending. However, it can also be applied in a similar way to other volume rendering methods.
  • the polygons 107 described above are already processed by the CPU before the transfer of the corresponding triangles the vertex shading Em e 'ti 108 of the GPU to account for the specified slice planes.
  • Rasterization-Em e ' ti 109 is not used for the consideration of the cutting planes.
  • FIG. 4b a cut polygon 401 and the cut lines 405, 406, and 407 of the 3 cut planes 402, 403, and 404 are shown with the polygon.
  • Figure 4c shows a decomposition of the polygon 401 into triangles. The goal is a decomposition of the individual triangles into sub-triangles which are only located in one of the volume segments. In addition, it must be determined for each sub-triangle in which volume segment it lies. The sub-triangles can then be treated differently for processing on one or more GPUs according to user preferences.
  • the triangle 408 is chosen as an example.
  • this triangle is first broken down into three triangles by the first intersection 405.
  • the triangle edge 409 there are two
  • the first plane equation is used to divide the triangle into up to 3 sub-triangles, none of the sub-triangles being in both half-volumes simultaneously.
  • a table index is determined by giving the vertices of the triangle a number k from 0 to 2 and setting one bit in the table index for each vertex if the vertex distance from the level is nonnegative.
  • Figure 6 shows a non-negative vertex as a black circle for all possible cases.
  • the table contains the information on how many sub-triangles arise, and which vertices k of the original triangle each represent the vertices of the
  • the table also contains columns that indicate whether the new vertex has a non-negative distance to the cutting plane. If that is the case, for the first slice level, the lowest bit for the information is in which
  • Volume segment is a sub triangle, set. This information is in the further steps with the other cutting planes. For the second cutting plane, therefore, the second bit is set, and so on.
  • Figures 7a-c illustrate this algorithm again for the case of three cutting planes.
  • the result is a list of sub-triangles which are numbered corresponding to the number of the volume segment (5) in which they are located. Depending on the selection of the user, those triangles with the associated texture coordinates are now transferred to the vertex shading unit 108 of the GPU 107, which lie in the segments for which the user has allowed the representation.
  • the described triangulation method is only one of the possible embodiments for this step of the method according to the invention.
  • Other information in the table e.g. a multiple
  • the Sutherland-Hodegman polygon C // pp / ng algorithm can also be used in modified form. The modification is necessary because of the original form
  • Another embodiment uses the Sutherland-Hodegman polygon clipping algorithm twice by applying different signs of the coefficients in the plane equation to produce the sub-triangles for the two half-volumes.
  • Modern GPUs also feature a Geometry Shader Em e 'ti with a Dreieckszeriller on the GPU can be executed.
  • the flexibility of the GPUs also allows execution of clipping algorithms in the Fragment Sfrac / er unit 1 10. For this, the x, y and z coordinates can be transferred to the fragment Sfraater unit. There, the plane equations are then used to determine whether the fragment is visible.
  • a user can decide separately for each individual image channel whether the data should be displayed in selected segments.
  • Figure 8 shows an arrangement of controls 801 and image display 802. The selection is made via switches 803 and 804 per channel, but for all volume segments. In addition, a separate choice for different rendering methods per channel is possible.
  • Figure 9 shows the representation of a substitute
  • Volume segment 901 takes the settings for this
  • the sphere has the orientation as the represented projected image of the volume data. This selection can be used particularly advantageously in accordance with FIG. 10 for the case of co-planar cutting planes.
  • the volume segments 1001, 1002 and 1003 are separated by the co-planar section planes.
  • different settings can then be defined with the aid of the switches 1004, without the user losing the overview.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Ausführung beim Betreiben eines Mikroskops und/oder zum Darstellen eines mit einem Mikroskop aufgenommenen Objektes oder von Teilen eines mit einem Mikroskop aufgenommenen Objektes. In einem ersten Schritt erfolgt ein Darstellen eines Stellvertreters des Objektes auf dem Display oder auf einem weiteren Display. Dann erfolgt ein Vornehmen wenigstens einer Manipulation an dem Stellvertreter und/oder an der Darstellung des Stellvertreters mit Hilfe eines Eingabemittels und ein Ableiten wenigstenseines Darstellungsparameters für die Darstellung des Objektes oder des Teils des Objektes aus der Manipulation und/oder Ableiten wenigstens eines Mikroskop-Steuerungsparameters aus der Manipulation. Schließlich erfolgt ein Darstellen des Objektes oder des Teils des Objektes unter Berücksichtigung des abgeleiteten Darstellungsparameters und/oder des abgeleiteten Mikroskop-Steuerungsparameters.

Description

Verfahren zur Ausführung beim Betreiben eines Mikroskops und
Mikroskop
Die Erfindung betrifft ein Verfahren zur Ausführung beim Betreiben eines Mikroskops und/oder zum Darstellen eines mit einem Mikroskop aufgenommenen Objektes oder von Teilen eines mit einem Mikroskop aufgenommenen Objektes.
Die Erfindung betrifft außerdem ein Mikroskop, insbesondere Scanmikroskop und/oder Laserscanmikroskop und/oder konfokales Scanmikroskop, zur Ausführung des erfindungsgemäßen Verfahrens und ein Mikroskop, insbesondere Scanmikroskop und/oder Laserscanmikroskop und/oder konfokales Scanmikroskop mit einem Display und mit Mitteln zum Darstellen eines mit einem Mikroskop aufgenommenen Objektes oder von Teilen eines mit einem Mikroskop aufgenommenen Objektes auf dem Display.
In der Mikrokopie ist es üblich, Bilddaten eines Objektes zu erzeugen, um das Objekt auf einem Display darstellen zu können. Solche Bilddaten können beispielsweise für jeden abgerasterten Objektpunkt eine Information über die Leistung von diesem Objektpunkt ausgehenden Detektionslichtes und/oder über die Wellenlänge des Detektionslichtes und Informationen über die Lage des jeweiligen Objektpunktes, beispielsweise in Form von Koordinatenangaben, beinhalten.
Eine dreidimensionale Abtastung eines Objektes ist beispielsweise mit einem konfokalen Scanmikroskop möglich.
In der Scanmikroskopie wird eine Probe mit einem Lichtstrahl beleuchtet, um das von der Probe emittierte Detektionslicht, als Reflexions- oder Fluoreszenzlicht, zu beobachten. Der Fokus eines Beleuchtungslichtstrahles wird mit Hilfe einer steuerbaren Strahlablenkeinrichtung, im Allgemeinen durch Verkippen zweier Spiegel, in einer Probenebene bewegt, wobei die Ablenkachsen meist senkrecht aufeinander stehen, so dass ein Spiegel in x-, der andere in y-Richtung ablenkt. Die Verkippung der Spiegel wird beispielsweise mit Hilfe von Galvanometer-Stellelementen bewerkstelligt. Die Leistung des vom Objekt kommenden Detektionslichtes wird in Abhängigkeit von der Position des Abtaststrahles gemessen. Üblicherweise werden die Stellelemente mit Sensoren zur Ermittlung der aktuellen Spiegelstellung ausgerüstet.
Speziell in der konfokalen Scanmikroskopie wird ein Objekt mit dem Fokus eines Lichtstrahles in drei Dimensionen abgetastet. Ein konfokales Scanmikroskop umfasst im allgemeinen eine Lichtquelle, eine Fokussieroptik, mit der das Licht der Quelle auf eine Lochblende - die sog. Anregungsblende - fokussiert wird, einen Strahlteiler, eine Strahlablenkeinrichtung zur Strahlsteuerung, eine Mikroskopoptik, eine Detektionsblende und die Detektoren zum Nachweis des Detektions- bzw. Fluoreszenzlichtes. Das Beleuchtungslicht wird über einen Strahlteiler eingekoppelt. Das vom Objekt kommende Fluoreszenz- oder Reflexionslicht gelangt über die Strahlablenkeinrichtung zurück zum Strahlteiler, passiert diesen, um anschließend auf die Detektionsblende fokussiert zu werden, hinter der sich die Detektoren befinden. Diese Detektionsanordnung wird Descan-Anordnung genannt. Detektionslicht, das nicht direkt aus der Fokusregion stammt, nimmt einen anderen Lichtweg und passiert die Detektionsblende nicht, so dass man eine Punktinformation erhält, die durch sequentielles Abtasten des Objekts mit dem Fokus des Beleuchtungslichtstrahles zu einem dreidimensionalen Bild führt. Meist wird ein dreidimensionales Bild durch schichtweise Bilddatennahme erzielt. Kommerzielle Scanmikroskope bestehen meist aus einem Scanmodul, dass an das Stativ eines klassischen Lichtmikroskops angeflanscht wird, wobei das Scanmodul alle genannten zum Abrastern einer Probe zusätzlich nötigen Elemente beinhaltet.
In der konfokalen Scanmikroskopie kann im Falle der Zweiphotonenanregung (oder Mehrphotonenanregung) auf eine Detektionsblende verzichtet werden, da die Anregungswahrscheinlichkeit vom Quadrat der Photonendichte und damit vom Quadrat der Beleuchtungslichtintensität abhängt, die naturgemäß im Fokus viel höher ist als in den Nachbarregionen. Das zu detektierende Fluoreszenzlicht stammt daher mit großer Wahrscheinlichkeit zum aller größten Teil aus der Fokusregion, was eine weitere Differenzierung von Fluoreszenzphotonen aus dem Fokusbereich von Fluoreszenzphotonen aus den Nachbarbereichen mit einer Blendenanordnung überflüssig macht.
Eine dreidimensionale Abbildung bzw. die Erzeugung von Bilddaten, die eine dreidimensionale Darstellung des Objektes erlauben kann auch mit anderen Typen von Mikroskopen erfolgen. Nur beispielhaft sei diesbezüglich die SPIM- Technologie erwähnt, bei der ein Objekt aus unterschiedlichen Richtungen mit einer Lichtscheibe durchleuchtet wird.
Ein Forscher möchte das Objekt in aller Regel so darstellen, dass die für ihn wichtigen Aspekte gut zu erkennen sind. Der Benutzer eines Mikroskops bzw. der Forscher, der die mit einem Mikroskop gewonnenen Bilddaten ausgewertet, hat daher das Bedürfnis, auf die Art der Darstellung, wie beispielsweise die Größe der Darstellung des Objektes oder die Blickrichtung Einfluss zu nehmen. Darüber hinaus besteht insbesondere bei einer dreidimensionalen Darstellung oft das Bedürfnis, lediglich bestimmte Teile des Objektes darzustellen und andere Teile nicht. Oft besteht auch der Wunsch, gezielt auf eine spezielle Schnittfläche eines Objektes blicken zu können.
Es ist daher die Aufgabe der vorliegenden Erfindung, ein Verfahren der eingangs genannten Art anzugeben, das es dem Benutzer ermöglicht, auf schnelle und effiziente Art die Wunschdarstellung zu erreichen, wobei vorzugsweise eine möglichst geringe Abhängigkeit von der Qualität der Bilddaten vorausgesetzt wird
Die Aufgabe wird durch ein Verfahren gelöst, das durch folgende Schritte gekennzeichnet ist: a. Darstellen eines Stellvertreters des Objektes auf dem Display oder auf einem weiteren Display, b. Vornehmen wenigstens einer Manipulation an dem Stellvertreter und/oder an der Darstellung des Stellvertreters mit Hilfe eines Eingabemittels, c. Ableiten wenigstens eines Darstellungsparameters für die Darstellung des Objektes oder des Teils des Objektes aus der Manipulation und/oder Ableiten wenigstens eines Mikroskop-Steuerungsparameters aus der
Manipulation, d. Darstellen des Objektes oder des Teils des Objektes unter Berücksichtigung des abgeleiteten Darstellungsparameters und/oder des abgeleiteten Mikroskop-Steuerungsparameters.
Es ist die weitere Aufgabe der vorliegenden Erfindung ein Mikroskop anzugeben, das es dem Benutzer ermöglicht, auf schnelle und effiziente Art seine Wunschdarstellung in Bezug zu erreichen.
Die weitere Aufgabe wird durch ein Mikroskop gelöst, das gekennzeichnet ist durch: a. Mittel zum Darstellen eines Stellvertreters des Objektes auf dem Display oder auf einem weiteren Display, b. Mittel zum Vornehmen wenigstens einer Manipulation an dem Stellvertreter und/oder an der Darstellung des Stellvertreters mit Hilfe eines Eingabemittels, c. Mittel zum Ableiten wenigstens eines Darstellungsparameters für die Darstellung des Objektes oder des Teils des Objektes aus der Manipulation und/oder Ableiten wenigstens eines Mikroskop-Steuerungsparameters aus der Manipulation, d. Mittel zum Darstellen des Objektes oder des Teils des Objektes unter Berücksichtigung des abgeleiteten
Darstellungsparameters und/oder des abgeleiteten Mikroskop- Steuerungsparameters. Die Erfindung hat den Vorteil, dass der Anwender dem darstellenden System, beispielsweise einem Mikroskop mit einen computergesteuerten Display, schnell und effizient mitteilen kann, welche Art der Darstellung mit welchen Randbedingungen gewünscht ist. Hierbei ist in besonders vorteilhafter Weise vorgesehen, dass nicht an der Darstellung des Objektes selbst, sondern an mindestens einem, insbesondere virtuellen, Stellvertreter und/oder seiner Darstellung eine Manipulation vorgenommen wird, wobei der Stellvertreter insbesondere ein für den Anwender leicht und schnell gedanklich begreifbares weiteres Objekt, beispielsweise eine Kugel, sein kann. Dies obwohl das eigentliche darzustellende, beispielsweise biologische, Objekt das eine wesentlich kompliziertere Struktur, insbesondere Form, aufweisen kann. Für den Anwender ist hierdurch die Übersicht über sein Tun wesentlich erhöht. Insbesondere ist die Gefahr vermindert, dass der Anwender aufgrund der Vielzahl der Detailinformationen des dargestellten Objektes die Orientierung verliert und langwierig überlegen muss, welche Blickrichtung gerade gewählt ist oder welchen Teilbereich er aus-oder eingeblendet hat.
Es kann auch vorgesehen sein, dass der Stellvertreter in seiner dreidimensionalen Form einer Abstraktion des realen Objektes, beispielsweise einer Maus oder eines Gehirns, entspricht.
Die Erfindung hat den weiteren Vorteil dass der Stellvertreter eine gleichbleibende Qualität, insbesondere Darstellungsqualität, aufweist und somit auch eine Manipulation von qualitativ schlechten Realdaten (z.B. stark verrauschten Objekten oder Objekten mit wenig Kontrast) in gleichbleibender Weise ermöglicht.
Die Erfindung hat insbesondere die Erfindung den Vorteil, dass der Benutzer bei der Mitteilung seiner Wünsche hinsichtlich der Darstellung weitgehend nicht mit Informationen belastet ist, die er für diesen Vorgang gar nicht benötigt.
Die Erfindung hat außerdem den ganz besonderen Vorteil, dass selbst dann die Wunschdarstellung erzielbar ist, wenn dies die derzeit vorliegenden Bilddaten gar nicht erlauben, weil nach einer besonderen Ausführungsform des erfindungsgemäßen Verfahrens auch vorgesehen sein kann, dass zur Erzielung der gewünschten Darstellung direkt Einfluss auf den Vorgang der Bilddatengewinnung genommen wird.
Bei einer besonderen Ausführung ist vorgesehen, dass durch eine an dem Stellvertreter und/oder seiner Darstellung vorgenommene Manipulation, insbesondere automatisch, eine der Manipulation entsprechende Änderung der Darstellung des Objektes bewirkt wird. Insbesondere kann vorteilhaft vorgesehen sein, dass die Änderung der Darstellung des Objektes auf einer Veränderung wenigstens eines Darstellungsparameters beruht und/oder auf einer Veränderung wenigstens eines Mikroskop-Steuerungsparameters beruht.
Insbesondere bei einer solchen Ausführungsform hat der Anwender den Vorteil, dass er die Manipulation beispielsweise mit Hilfe einer Computermaus unmittelbar in Bezug auf den Stellvertreter bzw. die Darstellung des Stellvertreters eingeben kann und dass eine der Manipulation entsprechende Beeinflussung der Darstellung des Objektes erfolgt und/oder dass wenigstens ein Mikroskop-Steuerparameter aufgrund der Manipulation verhindert wird, um beispielsweise eine besondere Darstellung des Objektes oder von Teilbereichen des Objektes zu bewirken. Hierbei kann beispielsweise vorgesehen sein, dass der Anwender den Stellvertreter mit einem dargestellten Mauszeiger berührt, eine bestimmte Stellung des Mauszeiger relativ zu dem Stellvertreter durch Klicken einer Maustaste fixiert und anschließend durch Bewegen der Maus den Stellvertreter dreht und/oder verschiebt. Hierbei kann vorgesehen sein, dass ich gleichzeitig auch die Darstellung des Objektes in gleicher Weise dreht und/oder verschiebt.
Besonders vorteilhaft ist eine Ausführung, bei der der Stellvertreter zweidimensional und das Objekt mit einem stereoskopischen oder holographischen Display dreidimensional dargestellt werden. Hierbei kann das Darstellen des Stellvertreters beispielsweise auf einem separaten 2D- Display erfolgen, während das Objekt mit dem stereoskopischen oder holographischen Display dreidimensional dargestellt wird. Es ist alternativ auch möglich, dass das Darstellen des Stellvertreters auch auf dem stereoskopischen oder holographischen Display - jedoch zweidimensional - erfolgt, auf dem auch das Objekt - jedoch dreidimensional - dargestellt wird.
Insbesondere kann der Einsatz von mindestens einem 2D-Stellvertreter bei Darstellungen auf 3D Stereomonitoren hilfreich sein wenn der Stellvertreter durch eine 3D Darstellung auf einem 2D Bildschirm dargestellt wird und das eigentliche 3D Objekt seine Darstellung auf dem Stereomonitor hat.
Die vorgenannten Ausführungen haben den ganz besonderen Vorteil, dass der Effekt eines „Schwebens" des Mauszeigers über dem stereoskopischen oder holographischen Stellvertreter vermieden wird und so eine bessere und einfachere Steuerung, insbesondere 3D- Steuerung, ermöglicht wird.
Es ist auch möglich, dass der Benutzer einen Teilbereich des Stellvertreters, beispielsweise durch Festlegen von Schnittebenen markiert und dann einen durch die Ebenen abgegrenzten Bereich, beispielsweise durch Doppelklick oder Einfachklick mit einer Maustaste während sich der Mauszeiger in diesem Bereich befindet, aus dem Stellvertreter oder der Darstellung des Stellvertreters entfernt, wodurch der entsprechende Bereich des dargestellten Objektes ebenfalls entfernt wird, so dass der Anwender freie Sicht ins Innere des Objektes bzw. auf die resultierenden Schnittflächen erhält.
Bei einer möglichen Ausführungsform ist vorgesehen, dass für einen Offlinebetrieb zunächst Objektbilddaten mit einem Mikroskop erzeugt werden und dass in einem Offline-Betrieb lediglich Darstellungsparameter für die Darstellung des Objektes oder des Teils des Objektes aus der Manipulation abgeleitet werden.
Wie bereits erwähnt kann, insbesondere wenn eine gewünschte Darstellung aus bereits erzeugten Bilddaten nicht erzeugbar ist, auch vorgesehen sein, dass in einem Online-Betrieb eines Mikroskops während des fortlaufenden - insbesondere sich wiederholenden - Abscannens eines Objektes Darstellungsparameter für die Darstellung des Objektes oder des Teils des Objektes aus der Manipulation abgeleitet werden und/oder Mikroskop-Steuerungsparameter aus der Manipulation abgeleitet werden. Hierdurch ist erreicht, dass gezielte Bilddaten für eine spezielle Darstellung, beispielsweise für besondere Blickrichtungen und/oder besondere Detailansichten und/oder für besondere Schnittdarstellungen, erzeugt werden. Dies vorzugsweise automatisch und/oder der Art, dass der Anwender keine mikroskopspezifischen, technischen Detailkenntnisse haben muss. Vielmehr kann vorteilhaft vorgesehen sein, dass in einem Mikroskop für eine Vielzahl von möglichen Darstellungsarten entsprechende Mikroskop- Steuerungsparameter abgelegt sind, die bei Bedarf, beispielsweise durch eine Steuerungsvorrichtung, abgerufen werden und zur Anwendung gelangen. Hierbei besteht der besondere Vorteil, dass der Benutzer gar nicht zu wissen braucht, welche Mikroskop-Einstellungen er vornehmen muss, um für eine bestimmte Darstellung geeignete Bilddaten aufnehmen zu können.
Vorzugsweise handelt es sich bei dem Stellvertreter um ein virtuelles Objekt. Insbesondere kann der Stellvertreter ein weiteres mehrdimensionales, insbesondere dreidimensionales, Objekt sein und/oder Teil eines weiteren mehrdimensionalen, insbesondere dreidimensionalen, Objektes sein.
Es kann auch vorgesehen sein, dass der Stellvertreter ein geometrischer Körper, beispielsweise eine Kugel, ein Würfel oder ein Zylinder, ist und/oder Teil eines geometrischen Körpers ist. Die Verwendung einer geometrischen Grundfigur hat den besonderen Vorteil, dass der Anwender einfach den Überblick behalten kann, weil er in aller Regel geometrischer Grundfiguren aus seinem Erfahrungsschatz kennt.
Das Verwenden einer dem Objekt angepassten Grundfigur als Stellvertreter, z.B. der stilisierten Figur einer Maus oder eines Gehirns, kann dazu beitragen mikroskopische Darstellungen zu standardisieren und in einheitlicher Weise zu wiederholen. Eine weitere Ausführung kann die simultane Darstellung des Stellvertreters innerhalb des 3D Bildes sein, so dass der Anwender eine bessere Orientierung ermöglicht wird indem er die abstrakte Grundfigur
Besonders gut bedienbar ist eine Ausführungsform, bei der der Stellvertreter ein Koordinatensystem aufweist, das dem Benutzer angezeigt wird. Insbesondere kann vorgesehen sein, dass der Stellvertreter ein Koordinatensystem aufweist, das dem Benutzer in Form von Koordinatenachsen und/oder durch Darstellung von charakteristischen Ebenen oder Flächen und/oder durch Darstellung der Grundebenen angezeigt wird. Eine solche Ausführungsform erleichtert dem Anwender beispielsweise die Beurteilung, welche Blickrichtung aktuell ausgewählt ist und/oder welche Quadranten beispielsweise gerade aus- oder eingeblendet sind.
Insbesondere im Hinblick auf eine schnell erfassbare Wiedergabe der aktuellen Einstellsituation und/oder der aktuell vorgenommenen Manipulationen kann vorteilhaft vorgesehen sein, dass der Stellvertreter oder die Oberfläche des Stellvertreters transparent oder semitransparent dargestellt werden oder dass Teile des Stellvertreters transparent oder semitransparent dargestellt werden. Alternativ oder zusätzlich kann auch vorgesehen sein, dass die Oberfläche des Stellvertreters eine Textur und/oder Zeichen und/oder ein Muster und/oder eine Farbe aufweist und/oder dass die Oberfläche des Stellvertreters eine zeitlich oder zustandsabhängig veränderbare Textur und/oder zeitlich oder zustandsabhängig veränderbares Zeichen und/oder ein zeitlich oder zustandsabhängig veränderbares Muster und/oder eine zeitlich oder zustandsabhängig veränderbare Farbe aufweist und/oder eine zeitlich oder zustandsabhängig veränderbare Transparenz aufweist.
Grundsätzlich kommt als Manipulation alles in Frage, was einen Einfluss auf die Darstellung des Objektes und/oder die Steuerung des Mikroskops hat. Insbesondere kann eine Manipulation, wie bereits erwähnt, beispielsweise eine Drehung und/oder ein Ausschneiden eines Teilbereichs beinhalten. Es kann auch vorgesehen sein, dass die Manipulation ein Ausschneiden der Teile beinhaltet, die in einem Quadranten eines Koordinatensystems des Stellvertreters angeordnet sind und/oder dass die Manipulation die Hinzufügung oder Änderung einer oder mehrerer Schnittebenen beinhaltet. Beispielsweise kann auch vorgesehen sein, dass die Manipulation das Ausscheiden eines Teils des Stellvertreters oder das Ausschneiden eines Teils der Darstellung des Stellvertreters. Insbesondere ist es auch möglich, dass die Manipulation ein Markieren eines Teils des Stellvertreters beinhaltet.
Bei einer besonders vorteilhaften Ausführung der Erfindung ist vorgesehen, dass eine zeitliche Abfolge von Einzeldarstellungen, die beispielsweise zweidimensional oder dreidimensional sein können, erfolgt. Die Darstellungen können beispielsweise eine Abfolge von Schnittabbildungen benachbarter Objektebenen sein. Insbesondere für eine solche Darstellung kann vorgesehen sein, dass die Manipulation die Hinzufügung oder Änderung einer Startmarkers, insbesondere einer Startebene, und eines Endmarkers, insbesondere einer Endebene, beispielsweise für eine zeitlich aufeinanderfolgende Darstellung von benachbarten Schnittebenen beinhaltet.
Die durch Manipulation, beispielsweise für eine Schnittdarstellung oder zum Markieren eines aus der Darstellung zu entfernenden Bereichs, auswählbaren Flächen können auch gekrümmte Flächen sein.
Wie bereits erwähnt kann vorteilhaft vorgesehen sein, dass der Stellvertreter und/oder die Darstellung des Stellvertreters in Größe, Farbe und Kontrast an die Wahrnehmungsmöglichkeiten des Anwenders angepasst wird, dies insbesondere dann, wenn ein 3D Bildobjekt z.B. stark verrauscht ist. Dies hat den besonderen Vorteil, dass trotzdem eine klare Schnittebenen bzw. Schnittfläche festgelegt werden kann.
Bei einer besonderen Variante ist vorgesehen, dass eine zeitliche Änderung der mit Hilfe des Stellvertreters definierten Schnittebenen bzw. Schnittflächen als sich zeitliche ändernde Darstellung des Objektes wiedergeben wird. Es kann insbesondere auch vorgesehen sein, dass der Stellvertreter bzw. seine Darstellung an die n verschiedenen Kanäle eines 3D Bildes angepasst wird. Dies insbesondere derart, dass durch eine Manipulation des Stellvertreters oder seiner Darstellung - gleichzeitig oder zeitlich getrennt - eine individuelle Steuerung einzelner Kanäle ermöglicht ist.
Vorteilhafter Weise können durch eine Manipulation des Stellvertreters oder seiner Darstellung auch Gradienten einfach eingestellt werden, derart, dass eine Schnitteben einen einstellbaren Start- und Endpunkt hat über den sich ein Verlauf, z.B. eine Transparenz, einstellen lässt. Wie ebenfalls bereits erwähnt kann vorgesehen sein, dass die Manipulation ein Ändern der Größe des Stellvertreters und/oder der Darstellung des Stellvertreters beinhaltet.
Alternativ oder zusätzlich kann die Manipulation ein Verschieben der Darstellung des Stellvertreters auf dem Display oder dem weiteren Display beinhalten.
Ein Darstellungsparameter beinhaltete wenigstens eine Information, die hinsichtlich der gewünschten Darstellung von Relevanz ist. Demgemäß kann beispielsweise vorgesehen sein, dass der Darstellungsparameter eine Information bezüglich der Orientierung bezüglich der Darstellung des Objektes beinhaltet. Alternativ oder zusätzlich kann vorgesehen sein, dass der Darstellungsparameter eine Information über die Größe der Darstellung des Objektes oder über die Größe der Darstellung eines Teils des Objektes beinhaltet.
Es ist auch möglich, dass der Darstellungsparameter eine Information über die äußere Begrenzung und/oder die Form eines darzustellenden Teils des Objektes beinhaltet.
Für eine besondere Art der Darstellung kann vorgesehen sein, dass der Darstellungsparameter eine Information über eine zeitlich Abfolge von unterschiedlichen Darstellungen und/oder von Darstellungen unterschiedlicher Teile des Objektes beinhaltet.
Insbesondere kann der Darstellungsparameter eine Information über die Position der Darstellung des Objektes oder eines darzustellenden Teils des Objektes beinhalten.
Bei einer vorteilhaften Ausführung ist vorgesehen, dass, dass für die Darstellung des Objekts ein Volume Rendering-verfahren verwendet wird. Insbesondere kann vorgesehen sein, dass ein Volumen in Volumensegmente zerteilt wird und Volumensegmente vom Anwender ausgewählt werden und eine Anzeige einer Untermenge der Daten in Anhängigkeit dieser Wahl der Volumensegmente vorgenommen wird. Es ist alternativ oder zusätzlich auch in vorteilhafter Weise möglich, dass in unterschiedlichen Volumensegmenten unterschiedliche Kombinationen von Render-Verfahren in Abhängigkeit von der Wahl des Anwenders verwendet werden. Bei einer besonderen Ausführung werden in unterschiedlichen Volumensegmenten die Daten unterschiedlicher Bildkanäle oder Kombinationen von Bildkanälen in Abhängigkeit von der Wahl des Anwenders angezeigt.
Der Mikroskop-Steuerungsparameter beinhaltete wenigstens eine Information, die für das mikroskopische Abbilden und/oder zur Erzeugung von Bilddaten des Objektes direkt oder indirekt von Relevanz ist.
Der Mikroskop-Steuerungsparameter kann beispielsweise eine Information bezüglich wenigstens einer abzuscannenden Objektebene beinhalten. Es kann auch vorgesehen sein, dass der Mikroskop-Steuerungsparameter eine Information bezüglich wenigstens einer Folge von abzuscannenden Schnittebenen des Objektes beinhaltet und/oder dass der Mikroskop- Steuerungsparameter eine Information bezüglich der zeitlichen Position eines Fokus eines Beleuchtungslichtstrahles beinhaltet.
Insbesondere kann vorgesehen sein, dass der Mikroskop- Steuerungsparameter eine Information bezüglich der Scangeschwindigkeit beinhaltet. Beispielsweise für die Darstellung von Details eines Objektes kann vorteilhaft vorgesehen sein, dass der Mikroskop-Steuerungsparameter eine Information bezüglich einer Scangenauigkeit und/oder einer Auflösung beinhaltet. Beispielsweise kann vorgesehen sein, dass - insbesondere automatisch - außerhalb eines besonders interessierenden Bereichs mit einem geringeren Auflösungsvermögen Bilddaten gewonnen werden, als innerhalb dieses interessierenden Bereichs.
Es kann auch vorgesehen sein, dass der Mikroskop-Steuerungsparameter eine Information bezüglich einer Objektmanipulation beinhaltet. Beispielsweise kann vorgesehen sein, dass der Anwender mit einer Manipulation des Stellvertreters oder der Darstellung des Stellvertreters eine reale Manipulation des Objektes, beispielsweise ein Photobleichen eines Areals das oder das Anlegen einer Spannung mit Mikroelektroden, auslöst.
Nach einem ganz besonders vorteilhaften Erfindungsgedanken erfolgt das Darstellen des Objektes oder des Teils des Objektes auf einem stereoskopischen Display, wobei vorgesehen sein kann, dass der bzw. die Anwender eine Brille tragen, die gewährleistet dass das lediglich die Information in das jeweilige Auge fällt, die für dieses Auge bestimmt ist. Insbesondere kann es sich um Shutterbrillen oder um Polarisationsbrillen verhandeln.
Alternativ ist es auch unmöglich, dass das Darstellen des Objektes oder des Teils des Objektes auf einem holographischen Display erfolgt. Hierbei kann vorgesehen sein, dass aus erzeugten Bilddaten ein Hologramm errechnet wird, dass dem Anwender auf dem Display dargestellt wird. Eine solche Ausführung hat den ganz besonderen Vorteil, dass der Anwender das keine Brille zu tragen braucht. Darüber hinaus besteht der weitere Vorteil, dass der Anwender das dargestellte Objekt tatsächlich an dem Ort wahrnimmt, auf den seine Augen fokussieren.
Auch der Stellvertreter kann auf einem solchen stereoskopischen oder holographischen Display dargestellt sein. Hierbei kann es sich um dasselbe Display handeln, auf dem auch das Objekt dargestellt ist. Es ist jedoch auch möglich dass zur Darstellung des Stellvertreters ein weiteres Display verwendet wird.
Es kann grundsätzlich unabhängig von der Art des Displays vorgesehen sein, dass das Objekt und/oder der Stellvertreter dreidimensional dargestellt werden.
Insbesondere kann vorgesehen sein, dass das Objekt und/oder der Stellvertreter als Hologramm dargestellt werden und/oder dass das Objekt und/oder der Stellvertreter als stereoskopisches Bild dargestellt werden und/oder dass das Objekt und/oder der Stellvertreter in einer zweidimensionalen Darstellung perspektivisch dargestellt werden.
Bei einer ganz besonderen Ausführung das ist vorgesehen, dass das weitere Display das Display eines tragbaren Computers und/oder eines Laptops und/oder eines Mobiltelefons und/oder eines Tablet-PC ist. Insbesondere kann zusätzlich vorgesehen sein, dass die Manipulation an und/oder mit einem der vorgenannten Geräte eingegeben wird.
Als Eingabemittel sind alle Geräte geeignet, vor die es ermöglichen das einen System zur Darstellung der Bildinformationen und/oder eine Mikroskop Informationen hinsichtlich der gewünschten Darstellung mitzuteilen. Insbesondere kann vorgesehen sein, dass das Eingabemittel eine Computermaus oder einen berührungsempfindliche Fläche oder einen berührungsempfindlichen Bildschirm oder einen Bewegungssensor aufweist.
Eine weitere Eingabemöglichkeit sind ein- oder mehrere Finger des Benutzers in Verbindung mit einem Touchscreen. Insbesondere kann es sich bei dem Eingabemittel um ein kabellos angebundenes Gerät, wie beispielsweise ein Laptop oder ein Smartphone handeln. Besonders vorteilhaft ist die Verwendung von Geräten, die einen eigenes Display zum Darstellen des Stellvertreters aufweisen. Hinsichtlich der Funktionsweise des Eingabemittels sind grundsätzlich keine Beschränkungen vorhanden. Beispielsweise kann vorgesehen sein, dass das Eingabemittel eine Berührung oder einer Annäherung kapazitiv oder induktiv erfasst. Es kann auch vorgesehen sein, dass das Eingabemittel Informationen per Funk oder per Schallübertragung oder per Lichtübertragung, beispielsweise an ein System zur Darstellung von Bildinformationen und/oder an ein Mikroskop überträgt.
In besonders vorteilhafter Weise kann, insbesondere wenn eine zu untersuchende Probe mehrere relevante Objekte beinhaltet vorgesehen sein, dass außer dem Objekt ein weiteres Objekt dargestellt wird, wobei dem weiteren Objekt ein weiterer Stellvertreter zugeordnet wird und wobei auch in Bezug auf das weitere Objekt und den weiteren Stellvertreter das erfindungsgemäße Verfahren ausgeführt wird. Auf diese Weise ist es ermöglicht, auch solche Strukturen in einer gewünschten Weise darzustellen, die aus mehreren Objekten bestehen.
Insbesondere kann bei dem Verfahren vorgesehen sein, dass zur Aufbereitung der Bilddaten für die gewünschte Darstellung des Objektes ein Volumen-Rendering, insbesondere ein Alpha-Blending vorgenommen wird.
Insbesondere kann vorgesehen sein, dass das Verfahren mit einem Computer und/oder einem Scanmikroskop und/oder einem Laserscanmikroskop und/oder einem konfokalen Scanmikroskop ausgeführt wird.
Insbesondere zur Ausführung mit einem Computer oder mit einer programmierbaren Steuerungsvorrichtung eines Mikroskops, insbesondere eines konfokalen Scanmikroskops, kann vorteilhaft ein Computerprogrammprodukt dienen, das direkt in den Speicher eines digitalen Computers geladen werden kann und Softwarecodeabschnitte beinhaltet, mit denen das erfindungsgemäße Verfahren, insbesondere wenigstens eine der vorstehend beschriebenen speziellen Ausführungsformen ausgeführt werden kann, wenn das Computerprogrammprodukt auf einem Computer oder der programmierbaren Steuerungsvorrichtung eines Mikroskops läuft. Wie bereits erläutert kann zur Ausführung des Verfahrens vorteilhaft ein Mikroskop, insbesondere Scanmikroskop und/oder Laserscanmikroskop und/oder konfokales Scanmikroskop verwendet werden.
Das erfindungsgemäße Mikroskop ist bei einer besonderen Ausführung derart ausgestaltet, dass durch eine an dem Stellvertreter und/oder seiner Darstellung vorgenommene Manipulation, insbesondere automatisch, mittels einer Steuerungsvorrichtung, insbesondere eines Steuerungscomputers, eine der Manipulation entsprechende Änderung der Darstellung des Objektes bewirkt wird. Insbesondere kann hierbei vorgesehen sein, dass die Änderung der Darstellung des Objektes auf einer Veränderung wenigstens eines Darstellungsparameters beruht und/oder auf einer Veränderung wenigstens eines Mikroskop- Steuerungsparameters beruht.
Das erfindungsgemäße Verfahren und/oder das erfindungsgemäße Mikroskops, das insbesondere als Scanmikroskop und/oder Laserscanmikroskop und/oder konfokales Scanmikroskop ausgebildet sein kann, können vorteilhaft zum Darstellen von mit einem anderen oder demselben Mikroskop gewonnenen Objektdaten eines, insbesondere biologischen, Objektes verwendet werden.
In der Zeichnung ist der Erfindungsgegenstand schematisch dargestellt und wird anhand der Figuren nachfolgend beschrieben, wobei gleich wirkende Elemente mit denselben Bezugszeichen versehen sind. Dabei zeigen:
Fig. 1 eine schematische Illustration der möglichen Bestandteile eines Computersystems oder einer Mikroskop-Steuerungsvorrichtung für das bei der Ausführung einer Ausführungsform des erfindungsgemäßen
Verfahrens verwendbaren Alpha-Blending,
Fig. 2 eine schematische Illustration von Schnittpolygonen für die Berechnung der anzuzeigenden Darstellung des Objektes,
Fig. 3 ein Display, das dem Anwender einen Stellvertreter und eine Darstellung des Objektes anzeigt, Fig. 4 eine weitere schematische Illustration der Schnittpolygonberechnung, Fig. 5 eine Unterteilung in Volumensegmente,
Fig. 6 eine schematische Illustration der Zerteilung in Dreiecke und Unterdreiecke,
Fig. 7 eine schematische Illustration des Algorithmus für den Fall von drei Schnittebenen,
Fig. 8 eine Anordnung von dem Anwender angezeigten Steuerelementen gemäß einem Ausführungsbeispiel,
Fig. 9 ein Ausführungsbeispiel für die Darstellung eines Stellvertreters und weiteren Steuerelementen,
Fig. 10 ein Ausführungsbeispiel für einen Stellvertreter und eine Darstellung des Objektes, die dem Anwender anzeigt werden, und
Fig. 1 1 ein Ausführungsbeispiel eines erfindungsgemäßen Mikroskops.
Figur 1 1 zeigt ein Ausführungsbeispiel eines erfindungsgemäßen Mikroskops, das als konfokales Scanmikroskop ausgebildet ist.
Das Mikroskop weist eine Lichtquelle 1 101 auf. Das von der Lichtquelle 1 101 erzeugte Beleuchtungslichtstrahlenbündel 1 102 trifft nach dem Passieren der Beleuchtungslochblende 1 103 auf einen dichroitischen Hauptstrahlteiler 1 104, der das Beleuchtungslichtstrahlenbündel zu einer Strahlablenkeinrichtung 1 105 umlenkt, die einen kardanisch aufgehängten Scanspiegel beinhaltet. Die Strahlablenkeinrichtung 1 105 führt den Fokus des Beleuchtungslichtstrahlenbündels 1 102 über eine Scanoptik 1 106 und eine Tubusoptik 1 107 und das Objektiv 1 108 über bzw. durch das Objekt 1 109.
Das von dem Objekt 1 109 ausgehende Detektionslicht 1 1 10 gelangt auf demselben Lichtweg, nämlich durch das Objektiv 1 109 durch die Tubusoptik 1 107 und die Scanoptik 1 106 hindurch zur Strahlablenkeinrichtung 1 105 zurück und trifft nach Passieren des Hauptstrahlteilers 1 104 und des Detektionslochblende 1 1 1 1 auf die Detektionseinrichtung 1 1 12, die zur Leistung des Detektionslichts proportionale elektrische Signale erzeugt. Die erzeugten elektrischen Detektionssignale werden an eine programmierbare Steuerungsvorrichtung 1 1 13 weitergegeben, die auf einem Display 1 1 14 dem Anwender eine Darstellung 1 1 15 des Objektes 1 109 anzeigt.
Es ist ein Mittel zum Anzeigen der Darstellung 1 1 16 eines Stellvertreters des Objektes 1 109, nämlich ein portabler Computer 1 1 17 vorgesehen, der ein weiteres Display 1 1 18 aufweist, das die Darstellung 1 1 16 des Stellvertreters zeigt. Der Stellvertreter ist als Kugel dargestellt, was insbesondere in Figur 3 zu erkennen ist. Der portable Computer 1 1 17 kann beispielsweise als Smartphone ausgebildet sein.
Das Display 1 1 15 des portablen Computers 1 1 17 ist als berührungsempfindliches Display ausgestaltet und fungiert als Eingabemittel, um wenigstens ein Manipulation an dem Stellvertreter und/oder an der Darstellung des Stellvertreters vorzunehmen. Alternativ oder zusätzlich kann beispielsweise eine (nicht dargestellte) Maus an den portablen Computer 1 1 17 angeschlossen sein.
Die Steuerungsvorrichtung 1 1 13 empfängt Signale mit Informationen bezüglich einer eingegebenen Manipulation kabellos und leitet wenigstens einen Darstellungsparameter für die Darstellung des Objektes oder des Teils des Objektes aus der Manipulation und/oder wenigstens eines Mikroskop- Steuerungsparameters aus der Manipulation ab. Beispielsweise kann die Steuerungsvorrichtung 1 1 13 die Strahlablenkeinrichtung entsprechend der Manipulation steuern, um eine gewünschte Darstellung zu ermöglichen, insbesondere um Bilddaten spezifisch für eine gewünschte Darstellung zu generieren. Wie bereits erwähnt dient als Mittel zum Darstellen des Objektes oder des Teils des Objektes unter Berücksichtigung des abgeleiteten Darstellungsparameters und/oder des abgeleiteten Mikroskop- Steuerungsparameters u.a. das Display 1 1 14.
Figur 3a zeigt ein Darstellung 301 eines als Kugel ausgebildeten Stellvertreters und eine Darstellung 302 eines Objektes. Bei dem Stellvertreter 301 wurde durch Manipulation ein Segment entfernt. Entsprechend wurde durch das das Verfahren ausführende elektronische System das entsprechende Segment der Darstellung 302 des Objektes entfernt, so dass der Anwender die entstehenden Schnittflächen ansehen kann und einen Einblick ins Innere des dargestellten Objektes erhält.
Im Folgenden werden verschiedene Detailaspekte für eine Umsetzung der Erfindung beschrieben.
Verschieden Aufnahmeverfahren in der Mikroskopie erzeugen
Intensitätsdaten in Abhängigkeit vom Ort. Üblicherweise liegen diese Daten in Form eines regulären Gitters für die Raumkoordinaten x, y, und z vor, was im Folgenden als Bildstapels bezeichnet wird. Ein Volumenelement innerhalb dieses Gitters wird als Voxel bezeichnet. Die Anordnung im Gitter ist vorteilhaft, aber nicht zwingend notwendig für den Einsatz des
erfindungsgemäßen Verfahrens. An jedem Gitterpunkt können mehrere Intensitätswerte vorliegen, deren Daten von unterschiedlichen Detektoren oder aus unterschiedlichen Geräteeinstellungen stammen. Sie werden hier als Bildkanäle bezeichnet.
Zusätzlich können die Daten auch in Form eines zeitlich veränderlichen n- dimensionalen Raumgitters vorliegen. Als Dimensionen in der Mikroskopie können z.B. neben x, y und z auch
t, Channel(1 , t) .. Channel(n, t), Raum-Daten (FLIM, FRAP, FRET
...)
etc. vorkommen.
Es wird hier zunächst eine Ausführung des Alpha-Blending stellvertretend für alle Volume-Rendering-Verfahren beschrieben. Das erfindungsgemäße Verfahren ist aber nicht auf die spezielle Ausführung oder auf Alpha-Blending beschränkt.
Abbildung 1 zeigt diejenigen Bestandteile eines Computersystems oder einer vorzugsweise programmierbaren, Mikroskop-Steuerungsvorrichtung, die für eine typische Ausführung des Alpha-Blending von Bedeutung sind, die Eingabegeräte 101 , eine Computereinheit 102 mit Central Processing Unit - CPU 104 und Speicher 105, eine Grafikkarte 106 und ein Monitor 103. Die Grafikkarte enthält eine Graphics Processing Unit - GPU 107, eine
Texturspeichereinheit 1 1 1 , und einen Bildspeicher 1 12, dessen Inhalt auf dem Monitor 103 dargestellt wird.
Alpha-Blending besteht aus mehreren Rechenschritten, von denen einige auf einer CPU und andere auf einer GPU ausgeführt werden. Die
Hauptfunktionsblöcke Vertex Shading 108, Primitive Assembly and
Rasterization 109 und Fragment Shading 1 10 sind in der GPU 107 an den Berechnungen beteiligt.
Beim Alpha-Blending wird eine dreidimensionale Textur aus den
Intensitätsdaten des Bildstapels mit Farbe und Transparenzwert für jeden Voxel erzeugt. Es ist dabei üblich, für jeden Bildkanal eine Farbe mit Rotanteil Ir , Grünanteil Ig und Blauanteil Ib zuzuordnen, die auch von Anwender wählbar ist. Der Transparenzwert α wird z.B. aus der Pixelintensität / mit: α = (/) = α * / bestimmt, wobei a ein Faktor ist, der die Trübheit der Darstellung bestimmt und vom Anwender kanalabhängig gewählt werden kann. Die somit erzeugte Textur wird von der CPU 104 in den Texturspeicher 1 1 1 der Grafikkarte (106) geschrieben.
Mit der CPU 104 werden die Koordinaten der Eckpunkte von Polygonen für die Schnittfläche von Ebenen parallel zur Bildebene mit dem
Begrenzungsflächen des Bildstapels und unterschiedlicher Entfernung zum Beobachter berechnet. Zusätzlich werden Fließkommakoordinaten für die Texturspeicherkoordinaten der zugehörigen Eckpunkte der Polygone berechnet. Abbildung 2 zeigt solche Schnittpolygone 201 mit sinkendem Abstand zum Beobachter. Zusätzlich sind die Begrenzungslinien 202 des Volumens abgebildet. Die Schnittpolygone werden in Dreiecke zerteilt. Dreiecks- und
Texturkoordinaten werden an die Vertex-Shading-Einheit 108 übergeben, wo die Dreieckskoordinaten in das Beobachterkoordinatensystem transformiert werden. Die Dreiecke werden in der Reihenfolge sinkender Entfernung zum
Beobachter übergeben und verarbeitet.
Transformierte Dreieckskoordinaten und Texturkoordinaten werden dann an die Einheit Primitive Assembly and Rasterization 109 übergeben. Dort erfolgt eine Zusammenstellung von Pixelkoordinaten für alle Pixel des
Ausgabegeräts die vom jeweiligen Dreieck bedeckt werden. Außerdem
werden die zugehörigen Texturkoordinaten für jeden Pixel interpoliert.
Die Einheit Fragment Shading 110 berechnet interpolierte Intensitäten und
Transparenzwerte für die Texturkoordinaten des jeweiligen Pixels des
Ausgabegeräts aus den Daten im Texture Memory 111. Aus den
Farbkomponenten R, G, B des Framebuffer 112 werden mit den
Komponenten der interpolierten Intensitäten Ir, Ig, Ib und dem interpolierten
Transparenzwert α neue Farbwerte R', G' und B* bestimmt, die dann in den
Framebuffer 112 zurückgeschrieben werden:
R'=R»(l-a) + Ir»a
G'=G»(l-a) + Ig»ct (2)
B'=B»(l-a) + Ig»a
Der Inhalt des Framebuffer 112 wird an das Ausgabegerät 103 übergeben.
Schnittebenen können in Form einer normalisierten Ebenengleichung
a»x+b»y+c»z+d =0 (3) mit
2 2 2
α +b +c 1 beschrieben werden. Alle Punkte mit den Koordinaten (x,y,z), die diese
Bedingung erfüllen, liegen in der Ebene. Die Koeffizienten a, b, c und d bestimmen Lage und Orientierung der Ebene. Der Abstand D eines beliebigen Punkts von der Ebene kann mit
D = a » x + b » y + c » z + d berechnet werden. Punkte mit unterschiedlichem D liegen in unterschiedlichen Halbvolumen, die durch die Ebene getrennt sind. Schnittstellen wie OpenGL bieten die Festlegung von mehreren Schnittebenen unter Angabe der Koeffizienten a, b, c und d. In der Einheit Primitive Assembly and
Rasterization 109 der GPU 107 werden die Dreiecke beim beschriebenen Alpha-Blending zerschnitten. Ergebnis dieser Operation sind dabei 0 bis 2 Dreiecke, die im nicht wegzuschneidenden Halbvolumen liegen. Ein geeigneter Algorithmus für diese Operation ist Sutherland-Hodegman Polygon Clipping, auf den im weiteren Text noch eigegangen wird. Bei mehreren Schnittebenen werden nur die Anteile dargestellt, die durch keine der Ebenen wegeschnitten werden.
Nach einer möglichen Ausführungsform des erfindungsgemäßen Verfahrens werden folgende Schritte ausgeführt, die im Folgenden detailliert beschrieben werden:
Festgelegen von Schnittebenen durch das Gesamtvolumen
Unterteilung des Gesamtvolumen in Volumensegmente - Auswahl von Volumensegmenten
- Anzeige einer Untermenge der Daten in Anhängigkeit dieser Wahl der Volumensegmente
Die bereits erwähnte Figur 3a zeigt eine Darstellung des Stellvertreters 301 und eine Darstellung 302 des Objektes bei einer Ausführung des Verfahrens für 2 Schnittebenen 303. Die Darstellung des Stellvertreters 301 ist dabei eine Computergrafik und hat die gleiche Orientierung wie die Darstellung 302 des Objektes. Durch diese Gleichorientierung ist eine schelle, zielgerichtete Wahl von Volumensegmenten, die weggeschnitten werden sollen möglich. In Abbildung 3b ist eine Darstellung des Stellvertreters 301 für den Fall von 3 orthogonalen Schnittebenen dargestellt. Die Lage und Orientierung der Schnittebenen wird visualisiert 304. Ein Mausklick auf ein Kugelsegment schaltet die Sichtbarkeit der Daten im entsprechenden Volumensegment.
In einer bevorzugten Ausführung des Verfahren werden anfangs 3
Schnittebenen jeweils in der xy-, xz- und yz-Ebene durch die Mitte des
Volumens angezeigt. Die Schnittebenen werden in einem Computerprogramm in Form der Koeffizienten einer Ebenengleichung (4) verwaltet. Die Anzeige erfolgt in Form von Begrenzungslinien der jeweiligen Ebene mit den
Begrenzungsflächen des Volumens unmittelbar im projizierten Bild. Die Eckpunkte der Begrenzungslinien können dabei mit dem Algorithmus erzeugt werden, der auch bei der Erzeugung der Polygone für das oben beschriebene Alpha-Blending-Verfahren eingesetzt wird. Abbildung 4a zeigt ein
Schnittpolygon 401 des Alpha-Blending-Verfahrens und die drei
Schnittebenen 402, 403 und 404.
Die Lage und die Orientierung der Schnittebenen kann von Anwender geändert werden. Eine Verschiebung wird vorzugsweise durch ziehen mit einem Eingabegerät im projizierten Bild vorgenommen. Für Änderungen der Orientierung wird vorzugsweise ebenfalls ein Eingabegerät mit Hilfe der Darstellung eines speziellen Manipulators im projizierten Bild verwendet. Es können aber auch andere Elemente wie z.B. Schieberegler verwendet werden. Gegenüber der bevorzugten Ausführung kann auch eine andere Anzahl von Schnittebenen als drei verwendet werden. Diese Schnittebenen können für den Anwender abschaltbar gestaltet werden. Ihre Anfangslage kann anders gewählt werden. Die Schnittebenen können auch in anderen Bereichen des Ausgabegeräts oder auf anderen Ausgabegeräten angezeigt werden.
Für den zweiten Schritt der Unterteilung des Gesamtvolumens in
Volumensegmente werden die Schnittebenen von 0 bis N-1 nummeriert. Es
N
werden S = 2 Volumensegmente definiert. Für jedes Volumensegment wird eine Nummer s festgelegt: N
n=0
mit
Figure imgf000026_0001
(5)
Dn ist der Abstand der Punkten (x, y, z) im Volumensegment zur
Schnittebene. In der Volumensegmentnummer ist damit ein Bit gesetzt wenn die Punkte einen nichtnegativen Abstand von der entsprechenden
Schnittebene haben. Abbildung 5 zeigt eine solche Unterteilung mit den entsprechenden Nummern s der Volumensegmente in Dezimal- und
Binärschreibweise für den Fall von 3 orthogonalen Schnittebenen.
Für den dritten Schritt ist bei der bevorzugten Ausführung in der
Benutzerschnittstelle die Darstellung des Stellvertreters in Form einer Kugel neben der Darstellung des Objektes entsprechend der Abbildung 3a vorgesehen. In der Darstellung des Stellvertreters werden die Schnittebenen dargestellt. Die Darstellung der Schnittebenen hat die gleiche Orientierung wie die Darstellung des Objektes. Dazu kann für die Darstellung des
Stellvertreters die gleiche Koordinatentransformation wie für die Darstellung des Objektes verwendet werden. Der Anwender wählt mit einer
Computermaus ein oder mehrere Volumensegmente durch einen Mausklick. Diese Wahl wird vom Computerprogramm pro Volumensegment anhand der Nummer des Volumensegments gespeichert.
Die Ausführung des Stellvertreters in Form einer Kugel ist nur eine mögliche Ausführung. Eine andere vorteilhafte Möglichkeit besteht in der Verwendung eines Quaders mit Kantenlängenverhältnissen, die dem darzustellenden Volumen entsprechen.
Wie bereits erwähnt kann der Stellvertreter auch auf einem anderen Ein- bzw. Ausgabegerät angezeigt werden. Anstatt einer Computermaus kann ein anderes Eingabegerät wie z.B. ein Touchpad eingesetzt werden. In einer weiteren Ausführung kann für den Stellvertreter bzw. für seine Darstellung eine etwas andere Koordinatentransformation als für die Projektion des Volumens angewendet werden. Sinnvoll ist dabei z.B. die Verwendung einer Parallelprojektion für den Stellvertreter bzw. für seine Darstellung während für die Projektion des Volumens eine perspektivische Abbildung eingesetzt wird. Auch eine etwas andere Projektionsrichtung kann sinnvoll sein, wenn das durch die Anordnung der Ein- und Ausgabegeräte eine bessere Orientierung liefert.
Im letzten Schritt werden die Ebenengleichungen der Schnittebenen und die Information über gewählte Volumensegmente dazu verwendet, das Volumen neu zu projizieren. Das dazu verwendete Verfahren wird anhand des Alpha- Blending beschrieben. Es lässt sich aber in ähnlicher Form auch auf andere Volume-Rendering-Verfahren anwenden.
Bei einer vorteilhaften Ausführung werden die oben beschriebenen Polygone bereits von der CPU vor der Übergabe der entsprechenden Dreiecke an die Vertex-Shading-Em e'ti 108 der GPU 107 zur Berücksichtigung der festgelegten Schnittebenen verarbeitet. Die Primitive Assembly and
Rasterization-Em e'ti 109 wird dabei nicht für die Berücksichtigung der Schnittebenen eingesetzt.
In Abbildung 4b ist ein Schnittpolygon 401 und die Schnittlinien 405, 406 und 407 der 3 Schnittebenen 402, 403 und 404 mit dem Polygon dargestellt. Die Abbildung 4c zeigt eine Zerlegung des Polygons 401 in Dreiecke. Ziel ist eine Zerlegung der einzelnen Dreiecke in Unterdreiecke die jeweils nur in einem der Volumensegmente liegen. Zusätzlich muss für jedes Unterdreieck bestimmt werden in welchem Volumensegment es liegt. Die Unterdreiecke können dann für die Verarbeitung auf einer GPU oder mehreren GPUs nach den Anwendervorgaben unterschiedlich behandelt werden. Zur
Veranschaulichung wird stellvertretend das Dreieck 408 gewählt. In Abbildung 4d wird dieses Dreieck zunächst mit der ersten Schnittlinie 405 in drei Dreiecke zerlegt. Für die Wahl der Dreieckskante 409 gibt es zwei
Möglichkeiten. Sie kann mit einem Winkelkriterium oder auch willkürlich gewählt werden. In Abbildung 4e ist die weitere Zerlegung mit der zweiten Schnittlinie 406 und in Abbildung 4f mit der dritten Schnittlinie 407 dargestellt. Es folgt eine Beschreibung des Algorithmus der Dreieckszerlegung für die bevorzugte Ausführung.
Im ersten Schritt wird die erste Ebenengleichung verwendet um das Dreieck in bis zu 3 Unterdreiecke zu zerteilen, wobei keines der Unterdreiecke gleichzeitig in beiden Halbvolumen liegt.
In der bevorzugten Ausführung erfolgt die Zerteilung eines Dreiecks in
Unterdreiecke über eine Tabelle, die in Abbildung 6 angegeben ist. Ein Tabellenindex wird bestimmt indem die Eckpunkte des Dreiecks mit einer Nummer k von 0 bis 2 versehen werden und für jeden Eckpunkt ein Bit im Tabellenindex gesetzt wird, wenn der Abstand des Eckpunkts von der Ebene nichtnegativ ist. In Abbildung 6 ist ein Eckpunkt mit nichtnegativem Abstand als schwarz gefüllter Kreis für alle möglichen Fälle dargestellt.
Die Tabelle enthält die Information, wie viele Unterdreiecke entstehen, und welche Eckpunkte k des Originaldreiecks jeweils die Eckpunkte der
Unterdreiecke generieren. Für jeden Eckpunkt des Unterdreiecks gibt es dabei zwei Nummern der zugehörigen Eckpunkte des Originaldreiecks. Ist es die gleiche Nummer, dann können die Punktkoordinaten direkt übernommen werden. Bei unterschiedlichen Nummern muss interpoliert werden. Die Interpolation zweier Eckpunkte PI und P2 wird vorgenommen indem der Abstand D1 und D2 der Punkte von der Schnittebene bestimmt und mit
- ΡΙ · Ό2 + Ρ2 · Ό1
Ρι =
D\ + D2
verrechnet wird. Auf gleiche Weise werden die Texturkoordinaten verrechnet. Anschließend wird eine Zerteilung der so gewonnen Dreiecke mit den anderen Schnittebenen vorgenommen.
Die Tabelle enthält auch Spalten, die angeben ob der neue Eckpunkt einen nicht negativen Abstand zur Schnittebene hat. Ist das der Fall wird für die erste Schnittebene das unterste Bit für die Information, in welchem
Volumensegment ein Unterdreieck liegt, gesetzt. Diese Information wird in den weiteren Schritten mit den anderen Schnittebenen vervollständigt. Für die zweite Schnittebene wird also das zweite Bit gesetzt u.s.w. Die Abbildungen 7a-c veranschaulichen diesen Algorithmus noch einmal für den Fall von drei Schnittebenen.
Das Ergebnis ist eine Liste von Unterdreiecken die mit einer Nummer versehen sind, die der Nummer des Volumensegments (5) entsprechen in dem sie liegen. Je nach Auswahl des Anwenders werden nun diejenigen Dreiecke mit den zugehörigen Texturkoordinaten an die Vertex Shading- Einheit 108 der GPU 107 übergeben, die in den Segmenten liegen, für die der Anwender die Darstellung zugelassen hat.
Die weiteren Schritte des Alpha-Blending werden wie beim Verfahren nach Stand der Technik ausgeführt.
Das beschriebene Dreieckszerteilungsverfahren ist nur eine der möglichen Ausführungen für diesen Schritt des erfindungsgemäßen Verfahrens. Mit anderen Informationen in der Tabelle lässt sich z.B. ein mehrfaches
Berechnen von interpolierten Koordinaten vermeiden. Auch der Sutherland- Hodegman Polygon C//pp/ng-Algorithmus ist in modifizierter Form einsetzbar. Die Modifikation ist notwendig, da die von der ursprünglichen Form
weggeschnittenen Eckpunkte und die zugehörigen Dreiecke verworfen werden, je nach Wahl der Segmente durch den Anwender aber auch Dreiecke beider Seiten weiter benötigt werden können. Eine weitere Ausführung verwendet den Sutherland-Hodegman Polygon Clipping Algorithmus zweimal indem jeweils andere Vorzeichen der Koeffizienten in der Ebenengleichung angewendet werden um die Unterdreiecke für die beiden Halbvolumina zu erzeugen.
Moderne GPUs verfügen zusätzlich über eine Geometry Shader-Em e'ti mit der eine Dreieckszerteilung auf der GPU ausführt werden kann. Die Flexibilität der GPUs lässt zudem auch eine Ausführung von Clipping-Algorithmen in der Fragment Sfrac/er-Einheit 1 10 zu. Dafür können die x-, y- und z-Koordinate bis in die Fragment Sfraater-Einheit übertragen werden. Dort wird dann anhand der Ebenengleichungen ermittelt, ob das Fragment sichtbar ist. In einer anderen vorteilhaften Ausführung des Verfahrens kann ein Anwender für jeden einzelnen Bildkanäle separat entscheiden, ob die Daten in gewählten Segmenten angezeigt werden sollen. Abbildung 8 zeigt dafür eine Anordnung von Steuerelementen 801 und Bildanzeige 802. Die Auswahl erfolgt über Schalter 803 und 804 pro Kanal, aber für alle Volumensegmente. Zusätzlich ist eine separate Wahl für unterschiedliche Rendering-Verfahren pro Kanal möglich.
Die Abbildung 9 zeigt die Darstellung eines Stellvertreters und
Steuerelemente für eine weitere Ausführung, wo die Wahl von
darzustellendem Kanal und Rendering-Verfahren pro Volumensegment vorgenommen werden kann. Auf der Kugel wählt der Anwender ein
Volumensegment 901 und nimmt dann die Einstellungen für dieses
Volumensegment vor. Auch hier hat die Kugel die Orientierung wie das Dargestellte projizierte Bild der Volumendaten. Besonders vorteilhaft ist diese Auswahl entsprechend Abbildung 10 für den Fall co-planarer Schnittebenen einsetzbar. Auf der Kugel werden die Volumensegmente 1001 , 1002 und 1003, die durch die co-planaren Schnittebenen getrennt werden. Für die Volumensegmente 1005, 1006 und 1007 können dann unterschiedliche Einstellungen mit Hilfe der Schalter 1004 festgelegt werden, ohne dass der Anwender dabei die Übersicht verliert.
Die Erfindung wurde in Bezug auf eine besondere Ausführungsform beschrieben. Es ist jedoch selbstverständlich, dass Änderungen und
Abwandlungen durchgeführt werden können, ohne dabei den Schutzbereich der nachstehenden Ansprüche zu verlassen.

Claims

Patentansprüche
1 . Verfahren zur Ausführung beim Betreiben eines Mikroskops und/oder zum Darstellen eines mit einem Mikroskop aufgenommenen Objektes oder von Teilen eines mit einem Mikroskop aufgenommenen Objektes, gekennzeichnet durch folgende Schritte: a. Darstellen eines Stellvertreters des Objektes auf dem Display oder auf einem weiteren Display, b. Vornehmen wenigstens einer Manipulation an dem Stellvertreter und/oder an der Darstellung des Stellvertreters mit Hilfe eines Eingabemittels, c. Ableiten wenigstens eines Darstellungsparameters für die Darstellung des Objektes oder des Teils des Objektes aus der Manipulation und/oder Ableiten wenigstens eines Mikroskop- Steuerungsparameters aus der Manipulation, d. Darstellen des Objektes oder des Teils des Objektes unter
Berücksichtigung des abgeleiteten Darstellungsparameters und/oder des abgeleiteten Mikroskop-Steuerungsparameters.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass a. durch eine an dem Stellvertreter und/oder seiner Darstellung vorgenommene Manipulation, insbesondere automatisch, eine der Manipulation entsprechende Änderung der Darstellung des Objektes bewirkt wird und/oder dass b. durch eine an dem Stellvertreter und/oder seiner Darstellung vorgenommene Manipulation, insbesondere automatisch, eine der Manipulation entsprechende Änderung der Darstellung des Objektes bewirkt wird, wobei die Änderung der Darstellung des Objektes auf einer Veränderung wenigstens eines Darstellungsparameters beruht und/oder auf einer Veränderung wenigstens eines Mikroskop-Steuerungsparameters beruht. c. durch ein anklicken oder anderweitiges berühren des Stellvertreters 3D Raumsegmente einfach ein- und ausgeblendet werden können
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass für einen Offlinebetrieb zunächst Objektbilddaten mit einem Mikroskop erzeugt werden und dass in einem Offline-Betrieb lediglich Darstellungsparameter für die Darstellung des Objektes oder des Teils des Objektes aus der Manipulation abgeleitet werden.
4. Verfahren nach Anspruch 1 bis 3, dadurch gekennzeichnet, dass in einem Online-Betrieb eines Mikroskops während des fortlaufenden - insbesondere sich wiederholenden - Abscannens eines Objektes Darstellungsparameter für die Darstellung des Objektes oder des Teils des Objektes aus der Manipulation abgeleitet werden und/oder Mikroskop- Steuerungsparameter aus der Manipulation abgeleitet werden.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass a. der Stellvertreter ein virtuelles Objekt ist und/oder dass b. der Stellvertreter ein weiteres mehrdimensionales, insbesondere dreidimensionales, Objekt ist und/oder Teil eines weiteren mehrdimensionalen, insbesondere dreidimensionalen, Objektes ist und/oder dass c. der Stellvertreter ein geometrischer Körper ist und/oder Teil eines geometrischen Körpers ist und/oder dass d. der Stellvertreter eine Kugel ist und/oder Teil einer Kugel ist und/oder dass e. der Stellvertreter in seiner dreidimensionalen Form einer Abstraktion des realen Objektes entspricht.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass a. der Stellvertreter ein Koordinatensystem aufweist, das dem Benutzer angezeigt wird und/oder dass b. der Stellvertreter ein Koordinatensystem aufweist, das dem Benutzer in Form von Koordinatenachsen und/oder durch Darstellung von charakteristischen Ebenen oder Flächen und/oder durch Darstellung der Grundebenen angezeigt wird.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass a. der Stellvertreter oder die Oberfläche des Stellvertreters transparent oder semitransparent dargestellt werden oder dass Teile des Stellvertreters transparent oder semitransparent dargestellt werden oder dass b. die Oberfläche des Stellvertreters eine Textur und/oder Zeichen und/oder ein Muster und/oder eine Farbe aufweist und/oder dass c. die Oberfläche des Stellvertreters eine zeitlich oder zustandsabhängig veränderbare Textur und/oder zeitlich oder zustandsabhängig veränderbares Zeichen und/oder ein zeitlich oder zustandsabhängig veränderbares Muster und/oder eine zeitlich oder zustandsabhängig veränderbare Farbe aufweist und/oder dass d. eine zeitlich oder zustandsabhängig veränderbare Transparenz aufweist.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass a. die Manipulation eine Drehung beinhaltet und/oder dass b. die Manipulation ein Ausschneiden eines Teilbereichs beinhaltet und/oder dass c. die Manipulation ein Ausschneiden der Teile beinhaltet, die in einem Quadranten eines Koordinatensystems des Stellvertreters angeordnet sind und/oder dass d. die Manipulation die Hinzufügung oder Änderung einer oder mehrerer Schnittebenen beinhaltet und/oder dass e. die Manipulation das Ausschneiden eines Teils des Stellvertreters oder das Ausschneiden eines Teils der Darstellung des Stellvertreters beinhaltet und/oder dass f. die Manipulation ein Markieren eines Teils des Stellvertreters beinhaltet und/oder dass g. die Manipulation die Hinzufügung oder Änderung eines Startmarkers, insbesondere einer Startebene, und eines Endmarkers, insbesondere einer Endebene, für eine zeitlich aufeinanderfolgende Darstellung von benachbarten Schnittebenen beinhaltet und/oder dass h. die Manipulation ein Ändern der Größe des Stellvertreters und/oder der Darstellung des Stellvertreters beinhaltet und/oder dass i. die Manipulation ein Verschieben der Darstellung des Stellvertreters auf dem Display oder dem weiteren Display beinhaltet.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass a. der Darstellungsparameter eine Information bezüglich der Orientierung bezüglich der Darstellung des Objektes beinhaltet und/oder dass b. der Darstellungsparameter eine Information über die Größe der Darstellung des Objektes oder über die Größe der Darstellung eines Teils des Objektes beinhaltet und/oder dass c. der Darstellungsparameter eine Information über die äußere Begrenzung und/oder die Form eines darzustellenden Teils des
Objektes beinhaltet und/oder dass d. der Darstellungsparameter eine Information über eine zeitlich Abfolge von unterschiedlichen Darstellungen und/oder von Darstellungen unterschiedlicher Teile des Objektes beinhaltet und/oder dass e. der Darstellungsparameter eine Information über die Position der Darstellung des Objektes oder eines darzustellenden Teils des Objektes beinhaltet.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass für die Darstellung des Objekts ein Volume Rendering- verfahren verwendet wird.
1 1 . Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass ein Volumen in Volumensegmente zerteilt wird und Volumensegmente vom Anwender ausgewählt werden und eine Anzeige einer Untermenge der Daten in Anhängigkeit dieser Wahl der Volumensegmente vorgenommen wird.
12. Verfahren nach Anspruch 10 oder 1 1 , dadurch gekennzeichnet, dass in unterschiedlichen Volumensegmenten unterschiedliche Kombinationen von Render-Verfahren in Abhängigkeit von der Wahl des Anwenders verwendet werden.
13. Verfahren nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass in unterschiedlichen Volumensegmenten die Daten unterschiedlicher Bildkanäle oder Kombinationen von Bildkanälen in Abhängigkeit von der Wahl des Anwenders angezeigt werden.
14. Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass a. der Mikroskop-Steuerungsparameter eine Information bezüglich wenigstens einer abzuscannenden Objektebene beinhaltet und/oder dass b. der Mikroskop-Steuerungsparameter eine Information bezüglich wenigstens einer Folge von abzuscannenden Schnittebenen des Objektes beinhaltet und/oder dass c. der Mikroskop-Steuerungsparameter eine Information bezüglich der zeitlichen Position eines Fokus eines
Beleuchtungslichtstrahles beinhaltet und/oder dass d. der Mikroskop-Steuerungsparameter eine Information bezüglich eine Scangeschwindigkeit beinhaltet und/oder dass e. der Mikroskop-Steuerungsparameter eine Information bezüglich einer Scangenauigkeit und/oder eine Auflösung beinhaltet und/oder dass f. der Mikroskop-Steuerungsparameter eine Information bezüglich einer Objektmanipulation beinhaltet.
15. Verfahren nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass a. das Darstellen des Objektes oder des Teils des Objektes auf einem stereoskopischen oder holographischen Display erfolgt und/oder dass b. das Darstellen des Stellvertreters auf einem stereoskopischen oder holographischen Display erfolgt und/oder dass c. das Objekt und/oder der Stellvertreter dreidimensional dargestellt werden und/oder dass d. das Objekt und/oder der Stellvertreter als Hologramm dargestellt werden und/oder dass e. das Objekt und/oder der Stellvertreter als stereoskopisches Bild dargestellt werden und/oder dass f. das Objekt und/oder der Stellvertreter in einer zweidimensionalen Darstellung perspektivisch dargestellt werden und/oder dass g. der Stellvertreter zweidimensional und das Objekt mit einem stereoskopischen oder holographischen Display dreidimensional dargestellt werden.
16. Verfahren nach einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, dass das weitere Display das Display eines tragbaren Computers und/oder eines Laptops und/oder eines Mobiltelefons und/oder eines Tablet-PC ist.
17. Verfahren nach einem der Ansprüche 1 bis 16, dadurch gekennzeichnet, dass das Eingabemittel eine Computermaus oder einen berührungsempfindliche Fläche oder einen berührungsempfindlichen Bildschirm oder einen Bewegungssensor aufweist und/oder dass das Eingabemittel kapazitiv arbeitet und/oder dass das Eingabemittel induktiv arbeitet und/oder dass Eingabemittel Informationen per Funk oder per Schallübertragung oder per Lichtübertragung überträgt.
18. Verfahren nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass außer dem Objekt ein weiteres Objekt dargestellt wird, wobei dem weiteren Objekt ein weiterer Stellvertreter zugeordnet wird und wobei auch in Bezug auf das weitere Objekt und den weiteren Stellvertreter ein Verfahren analog einem Verfahren nach einem der Ansprüche 1 bis 13 ausgeführt wird.
19. Verfahren nach einem der Ansprüche 1 bis 18, dadurch gekennzeichnet, dass das Verfahren mit einem Computer und/oder einem Scanmikroskop und/oder einem Laserscanmikroskop und/oder einem konfokalen Scanmikroskop ausgeführt wird.
20. Computerprogrammprodukt, das direkt in den Speicher einer programmierbaren Steuerungsvorrichtung eines Mikroskops oder eines digitalen Computers geladen werden kann und Softwarecodeabschnitte beinhaltet, mit denen ein Verfahren nach einem der Ansprüche 1 bis 19 ausgeführt werden kann, wenn das Computerprogrammprodukt auf einem Computer läuft.
21 . Mikroskop, insbesondere Scanmikroskop und/oder Laserscanmikroskop und/oder konfokales Scanmikroskop, zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 19.
22. Mikroskop, insbesondere Scanmikroskop und/oder
Laserscanmikroskop und/oder konfokales Scanmikroskop mit einem Display und mit Mitteln zum Darstellen eines mit einem Mikroskop aufgenommenen Objektes oder von Teilen eines mit einem Mikroskop aufgenommenen Objektes auf dem Display, gekennzeichnet durch: a. Mittel zum Darstellen eines Stellvertreters des Objektes auf dem Display oder auf einem weiteren Display, b. Mittel zum Vornehmen wenigstens einer Manipulation an dem Stellvertreter und/oder an der Darstellung des Stellvertreters mit Hilfe eines Eingabemittels, c. Mittel zum Ableiten wenigstens eines Darstellungsparameters für die Darstellung des Objektes oder des Teils des Objektes aus der Manipulation und/oder Ableiten wenigstens eines Mikroskop-Steuerungsparameters aus der Manipulation, d. Mittel zum Darstellen des Objektes oder des Teils des Objektes unter Berücksichtigung des abgeleiteten Darstellungsparameters und/oder des abgeleiteten Mikroskop- Steuerungsparameters.
23. Mikroskop nach Anspruch 22, dadurch gekennzeichnet, dass a. durch eine an dem Stellvertreter und/oder seiner Darstellung vorgenommene Manipulation, insbesondere automatisch, mittels einer Steuerungsvorrichtung, insbesondere eines Steuerungscomputers, eine der Manipulation entsprechende Änderung der Darstellung des Objektes bewirkt und/oder dass b. durch eine an dem Stellvertreter und/oder seiner Darstellung vorgenommene Manipulation, insbesondere automatisch, mittels einer Steuerungsvorrichtung, insbesondere eines Steuerungscomputers, eine der Manipulation entsprechende Änderung der Darstellung des Objektes bewirkt wird, wobei die Änderung der Darstellung des Objektes auf einer Veränderung wenigstens eines Darstellungsparameters beruht und/oder auf einer Veränderung wenigstens eines Mikroskop- Steuerungsparameters beruht.
24. Verwendung eines Verfahrens nach einem der Ansprüche 1 bis 19 und/oder eines Mikroskops, insbesondere eines Scanmikroskop und/oder Laserscanmikroskops und/oder konfokalen Scanmikroskops, nach einem der Ansprüche 21 bis 23 zum Darstellen von mit einem anderen oder demselben Mikroskop gewonnenen Objektdaten eines, insbesondere biologischen, Objektes.
PCT/EP2013/058179 2012-05-02 2013-04-19 Verfahren zur ausführung beim betreiben eines mikroskops und mikroskop WO2013164208A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/398,513 US10261306B2 (en) 2012-05-02 2013-04-19 Method to be carried out when operating a microscope and microscope
JP2015509364A JP6255008B2 (ja) 2012-05-02 2013-04-19 顕微鏡の稼働時に実施する方法および顕微鏡
GB1421358.1A GB2517110B (en) 2012-05-02 2013-04-19 Method to be carried out when operating a microscope and microscope

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012009257.1 2012-05-02
DE102012009257.1A DE102012009257B4 (de) 2012-05-02 2012-05-02 Verfahren zur Ausführung beim Betreiben eines Mikroskops und Mikroskop

Publications (1)

Publication Number Publication Date
WO2013164208A1 true WO2013164208A1 (de) 2013-11-07

Family

ID=48184187

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2013/058179 WO2013164208A1 (de) 2012-05-02 2013-04-19 Verfahren zur ausführung beim betreiben eines mikroskops und mikroskop

Country Status (5)

Country Link
US (1) US10261306B2 (de)
JP (1) JP6255008B2 (de)
DE (1) DE102012009257B4 (de)
GB (1) GB2517110B (de)
WO (1) WO2013164208A1 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013021542A1 (de) * 2013-12-18 2015-06-18 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur SPIM Mikroskopie
JP2015125177A (ja) 2013-12-25 2015-07-06 ソニー株式会社 顕微鏡システムおよびその画像データ転送方法
JP6171970B2 (ja) 2014-02-10 2017-08-02 ソニー株式会社 レーザ走査型顕微鏡装置および制御方法
CN105426079B (zh) * 2015-11-25 2018-11-23 小米科技有限责任公司 图片亮度的调整方法及装置
JP6766882B2 (ja) * 2016-11-24 2020-10-14 株式会社ニコン 画像処理装置、顕微鏡システム、画像処理方法、およびコンピュータプログラム
JP7015144B2 (ja) * 2017-10-25 2022-02-02 オリンパス株式会社 画像処理装置および顕微鏡システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002052393A1 (en) * 2000-12-22 2002-07-04 The Government Of The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Positioning an item in three dimensions via a graphical representation
EP1235049A2 (de) * 2001-02-21 2002-08-28 Leica Microsystems Heidelberg GmbH Verfahren und Anordnung zur Abbildung und Vermessung mikroskopischer dreidimensionaler Strukturen
WO2003036566A2 (de) * 2001-10-22 2003-05-01 Leica Microsystems Wetzlar Gmbh Verfahren und vorrichtung zur erzeugung lichtmikroskopischer, dreidimensionaler bilder
US20060173268A1 (en) * 2005-01-28 2006-08-03 General Electric Company Methods and systems for controlling acquisition of images
US20110141103A1 (en) * 2009-12-11 2011-06-16 Mds Analytical Technologies (Us) Inc. Integrated Data Visualization for Multi-Dimensional Microscopy

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272235B1 (en) * 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
JP3867143B2 (ja) * 2003-06-25 2007-01-10 独立行政法人産業技術総合研究所 三次元顕微鏡システムおよび画像表示方法
JP2005326601A (ja) * 2004-05-14 2005-11-24 Olympus Corp 顕微鏡装置、立体画像出力方法および立体画像出力プログラム
JP4450797B2 (ja) * 2006-01-05 2010-04-14 ザイオソフト株式会社 画像処理方法および画像処理プログラム
JP4906442B2 (ja) * 2006-08-29 2012-03-28 オリンパス株式会社 顕微鏡撮像システム、顕微鏡撮像方法、及び、記録媒体
WO2008132563A2 (en) * 2006-10-31 2008-11-06 Koninklijke Philips Electronics N.V. Fast volume rendering
JP4912862B2 (ja) * 2006-12-27 2012-04-11 オリンパス株式会社 顕微鏡
JP2008175896A (ja) * 2007-01-16 2008-07-31 Nikon Corp 画像表示装置
US20090208143A1 (en) * 2008-02-19 2009-08-20 University Of Washington Efficient automated urothelial imaging using an endoscope with tip bending
JP5191333B2 (ja) * 2008-09-26 2013-05-08 オリンパス株式会社 顕微鏡システム、該プログラム、及び該方法
EP2339389B1 (de) 2008-09-26 2014-07-30 Olympus Corporation Mikroskopsystem, Speichermedium mit Steuerungsprogramm und Steuerungsverfahren
JP5185769B2 (ja) * 2008-10-22 2013-04-17 オリンパス株式会社 顕微鏡システム
JP5096301B2 (ja) * 2008-12-12 2012-12-12 株式会社キーエンス 撮像装置
JP5154392B2 (ja) * 2008-12-12 2013-02-27 株式会社キーエンス 撮像装置
JP5479950B2 (ja) * 2010-03-03 2014-04-23 オリンパス株式会社 顕微鏡装置及び観察位置再現方法
EP2553513B1 (de) * 2010-03-28 2020-10-28 Ecole Polytechnique Federale de Lausanne (EPFL) Refraktionstomografie mit komplexem index und erhöhter auflösung
US20130249903A1 (en) * 2010-10-13 2013-09-26 Hitachi, Ltd. Medical image display device, medical information management server
US20130106888A1 (en) * 2011-11-02 2013-05-02 Microsoft Corporation Interactively zooming content during a presentation
US9258550B1 (en) * 2012-04-08 2016-02-09 Sr2 Group, Llc System and method for adaptively conformed imaging of work pieces having disparate configuration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002052393A1 (en) * 2000-12-22 2002-07-04 The Government Of The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Positioning an item in three dimensions via a graphical representation
EP1235049A2 (de) * 2001-02-21 2002-08-28 Leica Microsystems Heidelberg GmbH Verfahren und Anordnung zur Abbildung und Vermessung mikroskopischer dreidimensionaler Strukturen
WO2003036566A2 (de) * 2001-10-22 2003-05-01 Leica Microsystems Wetzlar Gmbh Verfahren und vorrichtung zur erzeugung lichtmikroskopischer, dreidimensionaler bilder
US20060173268A1 (en) * 2005-01-28 2006-08-03 General Electric Company Methods and systems for controlling acquisition of images
US20110141103A1 (en) * 2009-12-11 2011-06-16 Mds Analytical Technologies (Us) Inc. Integrated Data Visualization for Multi-Dimensional Microscopy

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Living Image Software - User's Manual Version 3.2", 1 January 2009 (2009-01-01), XP055072971, Retrieved from the Internet <URL:http://www.perkinelmer.com/Content/LST_Software_Downloads/Living Image 32 User Manual_PN125112-8234.pdf> [retrieved on 20130725] *

Also Published As

Publication number Publication date
DE102012009257A1 (de) 2013-11-07
GB2517110B (en) 2020-08-05
JP6255008B2 (ja) 2017-12-27
US10261306B2 (en) 2019-04-16
JP2015518582A (ja) 2015-07-02
GB2517110A (en) 2015-02-11
US20150143274A1 (en) 2015-05-21
DE102012009257B4 (de) 2023-10-05
GB201421358D0 (en) 2015-01-14

Similar Documents

Publication Publication Date Title
DE102012009257B4 (de) Verfahren zur Ausführung beim Betreiben eines Mikroskops und Mikroskop
DE102012110508B4 (de) Roboter Einstellvorrichtung mit 3-D Display
DE3856127T2 (de) Anzeigeverfahren und -vorrichtung für dreidimensionale Computergrafiken
WO2003036566A2 (de) Verfahren und vorrichtung zur erzeugung lichtmikroskopischer, dreidimensionaler bilder
EP2156410A1 (de) Verfahren zum darstellen von bildobjekten in einem virtuellen dreidimensionalen bildraum
WO2006092251A1 (de) Verfahren und vorrichtung zur bestimmung von optischen überdeckungen mit ar-objekten
DE19955690A1 (de) System und Verfahren zur auf einer Volumendarstellung basierenden Segmentation
JP6766882B2 (ja) 画像処理装置、顕微鏡システム、画像処理方法、およびコンピュータプログラム
WO2009062492A2 (de) Verfahren zum darstellen von bildobjekten in einem virtuellen dreidimensionalen bildraum
EP1235049A2 (de) Verfahren und Anordnung zur Abbildung und Vermessung mikroskopischer dreidimensionaler Strukturen
WO2018185201A2 (de) Mikroskopanordnung zur aufnahme und darstellung dreidimensionaler bilder einer probe
DE102012106890A1 (de) Dreidimensionale Darstellung von Objekten
EP2528042A1 (de) Verfahren und Vorrichtung zum Re-Meshing von 3D-Polygonmodellen
EP2457219B1 (de) Verfahren und anordnung zur generierung von darstellungen anisotroper eigenschaften sowie ein entsprechendes computerprogramm und ein entsprechendes computerlesbares speichermedium
DE102019217878A1 (de) VERGRÖßERNDE BEOBACHTUNGSVORRICHTUNG
Schulze-Döbold et al. Volume rendering in a virtual environment
DE102019005635A1 (de) Intuitives Bearbeiten dreidimensionaler Modelle
DE10336492A1 (de) Vorrichtung zur Bearbeitung eines zweidimensionalen Bildes in einem dreidimensionalen Raum
DE10315592A1 (de) Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten und System hierzu
EP2864830A1 (de) Mikroskop
DE102005050350A1 (de) System und Verfahren zur Überwachung einer technischen Anlage sowie Datenbrille auf Basis eines solchen Systems
DE102012108249A1 (de) Verfahren und Vorrichtung zur Verbesserung der Wiedergabe stereoskopischer Bilder
EP2043005B1 (de) Verfahren und Vorrichtung zum Messen und Simulieren von Abläufen in einem Mikroskopsystem
Bryden et al. Interactive visualization of APT data at full fidelity
DE102015100680B4 (de) Verfahren und Vorrichtungen zur Umgebungsdarstellung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13718563

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015509364

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14398513

Country of ref document: US

ENP Entry into the national phase

Ref document number: 1421358

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20130419

WWE Wipo information: entry into national phase

Ref document number: 1421358.1

Country of ref document: GB

122 Ep: pct application non-entry in european phase

Ref document number: 13718563

Country of ref document: EP

Kind code of ref document: A1