WO2000068667A1 - Microscopic systems for optically scanning microscopic objects - Google Patents

Microscopic systems for optically scanning microscopic objects Download PDF

Info

Publication number
WO2000068667A1
WO2000068667A1 PCT/EP2000/004115 EP0004115W WO0068667A1 WO 2000068667 A1 WO2000068667 A1 WO 2000068667A1 EP 0004115 W EP0004115 W EP 0004115W WO 0068667 A1 WO0068667 A1 WO 0068667A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
microscope system
image
image detection
optical
Prior art date
Application number
PCT/EP2000/004115
Other languages
German (de)
French (fr)
Inventor
Thomas LÖRCH
Andreas Plesch
Original Assignee
Metasystems Hard & Software Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Metasystems Hard & Software Gmbh filed Critical Metasystems Hard & Software Gmbh
Priority to AU45632/00A priority Critical patent/AU4563200A/en
Priority to EP00927164A priority patent/EP1177426A1/en
Publication of WO2000068667A1 publication Critical patent/WO2000068667A1/en

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor

Definitions

  • the invention relates to microscope systems for optical scanning of microscopic objects, as described in claims 1 and 8, a corresponding method for optical scanning, as described in claim 9, and the use of the microscope system, as described in claim 1 1 .
  • An automated scanning of an object to be examined (e.g. a slide) is required for a large number of applications in a wide variety of technology areas, particularly in biological and medical research. Conventionally, this is realized with the aid of a motorized microscope in such a way that the slide is moved in the x and y directions, e.g. is meandered under the object and is successively captured by a CCD camera.
  • the speed of the automatic scanning of microscopic specimens is particularly under fluorescence conditions, i.e. using a fluorescence microscope, limited by the following factors:
  • the signal intensities of fluorescence signals from microbiological preparations are sometimes relatively small. In the case of high magnifications in particular, a comparatively long integration or detection time of such signals is necessary for sufficient image quality, which in some cases can be a few seconds.
  • fluorescence signals of different wavelengths must be examined in the same image or detection area of a microscopic object. This is particularly the case with microbiological objects that are prepared with several fluorescent dyes or fluorochromes have been. In such cases, the same detection area must be recorded several times using the microscope filter combination suitable for the respective fluorescent dye. Color cameras that can record three color channels (red R, green G, blue B) at the same time are unsuitable for this, because on the one hand the integrated R, G, B filters do not match the
  • Emission spectra of the fluorescent dyes are adapted, and since it is not possible, on the other hand, to individually control the detection time for the individual color channels. In view of the considerable differences in the fluorescence intensities of, for example, DAPI counterstaining and hybridization signals, this is absolutely necessary in the case of FISH.
  • a motorized object shift table is used for a step-by-step scanning or "scanning" of a microscopic object, then after stopping the object shift table, a settling time which is characteristic of the object shift table must be waited for in order to obtain a motion blur, i.e. to avoid "blurring" of an image to be detected. Such a motion blur would otherwise inevitably result from the conventionally used detection times of CCD cameras.
  • the scanning speed or rate should preferably be limited only by the minimum detection time required for image detection. It is also an object of the invention to provide a corresponding method for optically scanning objects and uses of the device according to the invention.
  • a microscope system for optically scanning objects in particular under fluorescence conditions, comprises at least two preferably electrical, electronic and / or photographic image detection devices which are designed for the simultaneous storage-capable detection of a detection area of the object.
  • the image detection devices preferably share a part of an optical recording system of the microscope.
  • a part of the recording system on the lens side can be used for detection by all image detection devices, whereas parts of the recording system on the side of the image detection devices fall apart.
  • the microscope system according to the invention with the at least two image detection devices has considerable advantages over conventional microscope systems, in particular due to the possible simultaneous and inexpensive detection of the object by the multiple image detection devices.
  • the image detection devices comprise at least one preferably high-resolution CCD camera, in particular so-called megapixel cameras, ie CCD cameras which have more than 10 6 image-resolution pixels.
  • the image detection devices are preferably also designed such that respective detection times can be set independently of one another.
  • the integration or accumulation time of the CCD array can be extended for small intensities to be detected, the readout rate of the CCD being suitably adapted.
  • the detection period, ie the integration or accumulation period, of the CCD can be shortened.
  • This "electronic shutter" of the image detection device usually makes a mechanical diaphragm arrangement for weakening large detection intensities superfluous, which results in a simpler and less expensive solution.
  • a first of the image detection devices detects the detection area in a first object focus plane and a second of the image detection devices the detection area in a second object focus plane, the first and the second object focus plane being offset relative to one another along an optical detection axis of the microscope system.
  • This allows simultaneous detection of the object to be optically scanned in different focal planes, ie different depth layers of the object can be examined.
  • the object or object planes, which are detected in a focused or sharp manner by the at least two image detection devices, are thus spaced apart from one another along the optical detection axis of the microscope system.
  • the storable images or signals obtained by the image detection devices can subsequently be converted into a so-called "extended focus" image or projection image in order to represent the different detected levels of the object, in particular in an image.
  • extended focus image or projection image
  • known algorithms for generating a projection image from images of several depth layers can be used.
  • the first and the second image detection device are spaced from the first object focus plane by different geometric path lengths along the respective optical detection paths.
  • the image detection devices in the beam path of the microscope system can be offset such that the geometric path lengths along the respective detection paths are of different lengths.
  • At least one of the Image detection devices an additional optics for setting the respective object focus level.
  • the additional optics are, in particular, an optical lens or a lens system which is arranged in the detection beam path of the microscope system in such a way that different focus or depth planes of the object are imaged sharply or in a focused manner, in particular even without the displacement of the image detection devices described above.
  • the additional optics are arranged in the optical detection path of only the first image detection device and consequently lie only in the detection beam path between the object to be detected and the first image detection device, while the second image detection device will detect the object without the additional optics.
  • the additional optics are preferably arranged directly in front of at least one of the plurality of image detection devices.
  • a first of the image detection devices is designed for the detection of a first and a second one of the image detection devices for the detection of a second optical wavelength range.
  • This is particularly advantageous for fluorescence applications of a microscope system in which the microscopic object has been prepared with several fluorescent dyes to be detected, which have their emission bands in different optical wavelength ranges.
  • the provision of at least two image detection devices according to the invention thus enables simultaneous detection of the detection range of the object in a plurality of optical wavelength ranges, which results in a noticeable improvement in the scanning speed or rate compared to conventional, sequentially operating microscope systems.
  • the first image detection device comprises a first camera and a dichroic beam splitter and the second image detection device a second camera, the beam splitter being designed and arranged in the detection beam path in such a way that detection beams of the detection range in the first wavelength range are transmitted by the beam splitter onto the first camera and detection beams of the detection range in the second wavelength range by reflection on the beam splitter the second camera fall.
  • This embodiment which is particularly advantageous for fluorescence applications, therefore in principle permits the use of identical cameras, in particular high-resolution CCD cameras, since the wavelength range selection is carried out by the dichroic beam splitter. If emission bands of fluorescent dyes are to be detected in three different wavelength ranges, three cameras with two dichroic beam splitters can be provided. An expansion to more than three cameras is also possible.
  • a microscope system for optically scanning objects comprises at least one object illumination device, at least one image detection device for detecting detection areas of the object within a detection period t detektlon and an object displacement device for displacing the object, the object displacement device is adapted to a displacement of the object at a predetermined speed, so that after a displacement time V ersch i the object eb to a detection area or to a maximum length of the detection area in the direction of displacement is moved, wherein t detektlon a fraction of t strig ⁇ eb is.
  • Such a shortening of the detection period i detect i o ⁇ is particularly advantageous in transmission or transmitted light examinations .
  • Such a microscope system allows accordingly to detect a detection area of the object, even if it should move because any move by the compared to the displacement time t 29 ⁇ eb small detection time t detektlon "frozen" is. In this way, motion blur of a detected image is effectively countered.
  • detection areas of the object can be detected with the maximum mechanically possible displacement rate of the object displacement device (typically about 10 detection areas or positions per second) without having to wait for the settling time of the object or object displacement device.
  • a possibly reduced intensity of the image signal detected by the image detection device can often be increased again by a correspondingly increased illumination level.
  • the microscopic object can be moved continuously (for example uniformly at a constant speed), as a result of which there is no longer any need to wait for a settling time of the object displacement device and for it to accelerate and slow down in comparison to conventional microscope systems.
  • An increased scanning speed of the object can therefore advantageously be achieved.
  • the detection time period t detektlon ⁇ t 29 ⁇ eb / 500 preferably t detektlon ⁇ t 29 ⁇ eb / 1 000.
  • the detection time period t detektl0n is preferably less than 1 msec, preferably less than 0.1 msec.
  • the object displacement devices are designed for at least two-dimensional displacement of the object perpendicular to the optical axis of the microscope system (x and y direction).
  • the object displacement device also enables the object to be displaced along the optical axis (z direction), which is particularly advantageous for the automated scanning of "thick" objects.
  • the object displacement device comprises an object displacement table and an electrical displacement motor which displaces it.
  • the microscope system according to the invention is provided with a control device which is in signal connection with the object illumination device, the image detection device and the object displacement device and controls an automatic (ie unattended) optical scanning of an area of the object comprising several detection areas or image fields.
  • a control device which is in signal connection with the object illumination device, the image detection device and the object displacement device and controls an automatic (ie unattended) optical scanning of an area of the object comprising several detection areas or image fields.
  • a method for optical scanning of objects is preferably provided by means of a microscope system as defined above, wherein a detection area of the object is simultaneously detected with at least two image detection devices in a storable manner.
  • the image detection devices simultaneously detect the detection area in at least two different object focus planes, which are offset along an optical detection axis of the microscope system, and / or the detection area in at least two optical wavelength ranges, which differ at least in certain areas.
  • the microscope system according to the invention and the method according to the invention can preferably be used in all applications in which the automatic scanning or scanning of microscope specimens and the (at least partially) automatic evaluation of objects of a certain type are important. Such requirement profiles can be found particularly in medical research.
  • a preferred use of the device according to the invention relates to the detection of labeled, in particular fluorescence-labeled biological material in a sample.
  • biological material encompasses all biological material and the substances that make up this material, for example viruses, viroids, multicellular and unicellular organisms, in particular cells, for example bacteria, cells in tissue association or culture cells, their components such as cell organelles, for example cell nuclei, mitochondria, plastids , Endoplasmic reticulum (ER), dictyosomes, ribosomes etc., genetic material such as chromosomes and their components, nucleic acids such as DNA and RNA, proteins such as structural proteins, enzymes and antibodies, polysaccharides and lipids.
  • a preferred example of the use defined above relates to the search for "rare” events, such as the search for little fluorescent-labeled biological material to be found in a sample.
  • the term "rare event” means that the ratio of unlabelled to the labeled biological material in the sample is more than 10 4 , in particular more than 10 6 .
  • the ratio of unlabelled to the labeled biological material in the sample can be approximately 10 8 in prenatal diagnosis and approximately 10 6 in tumor diagnosis.
  • the label comprises one, more preferably several, different fluorescent labels.
  • Preferred fluorescent labels are, for example, fluorescent dyes of the Cy family, fluorescein isothiocyanate (FITC), nucleic acid-binding fluorescent dyes such as DAPI (4 ', 6'-diamidine-2'phenylindole dihydrochloride) and Hoechst 33342 etc.
  • the biological material to be detected can be directly involved in this be labeled with a specific dye, for example the DNA in a cell nucleus using DAPI, and / or being labeled indirectly, for example using one or more differently specific fluorescence-coupled nucleic acid probes (fluorescence - // 7-s / Yü hybridization, FISH) and / or by means of fluorescence-coupled antibodies, which can be monoclonal or polyclonal.
  • a specific dye for example the DNA in a cell nucleus using DAPI
  • FISH fluorescence- // 7-s / Yü hybridization
  • the use defined above is the search of a few stained cells of a certain phenotype in a large cell population.
  • the cells to be detected can be selectively labeled, for example with the aid of a fluorescence-coupled antibody.
  • a fluorescence-coupled antibody In general, however, such a label is not absolutely specific, ie cells are also stained that do not have the desired phenotype (false positive cells).
  • several independent antibodies directed against the same cell type and coupled with different fluorescent dyes can be used simultaneously.
  • false positive results can also be obtained through the additional analysis of morphometric parameters, for example the shape and / or area of a counter-staining of the cell nucleus with the aid of a nucleic acid-binding fluorescent dye (eg DAPI) can be recognized and eliminated.
  • morphometric parameters for example the shape and / or area of a counter-staining of the cell nucleus with the aid of a nucleic acid-binding fluorescent dye (eg DAPI) can be recognized and eliminated.
  • Preferred applications of such a search for "rare" events relate, for example, to tumor diagnostics such as the search for micrometastases in blood or bone marrow or the monitoring of the course of tumor diseases, the ratio of unlabeled to marked cells often being in the range of about 1 0 6 , as well as the identification of fetal cells circulating in the mother's blood in the non-invasive genetic prenatal diagnosis, the ratio of unlabelled to labeled cells often being in the range of about 10 8 .
  • Another example of a preferred use of the microscope system according to the invention and the method according to the invention relates to the counting of FISH signals or FISH spots in a large number of cell nuclei. It is necessary here to record images from several focal planes in different fluorescence channels and then to convert them into an “extended focus” image or projection image as described above in order to record the signals from different planes of the three-dimensional nuclei.
  • the projection images obtained in this way are then used to determine the number of fluorescence signals, for example to determine deviations in the number of chromosomes.
  • the distance between FISH signals from different fluorescent dyes can be determined.
  • translocation 9/22 Philadelphia chromosome
  • CML chronic myeloid leukemia
  • FIG. 1 is a schematic view of an embodiment of a microscope system according to the invention.
  • FIG. 2 shows a schematic basic arrangement of an embodiment of a microscope system according to the invention with an afocal relay system designed as an illumination manipulator;
  • FIG. 3 shows a schematic view of an embodiment of a microscope system with three image detection devices, which are controlled via wavelength-sensitive, dichroic beam splitters.
  • the structure of a microscope system 10 is shown schematically in FIG.
  • the microscope system comprises an object displacement table 1 2 which can be displaced in all spatial directions and which is provided with an electrical displacement motor (not shown).
  • the displacement motor and the object displacement table 1 2 form an object displacement device.
  • the microscopic object to be examined is fixed on the object shift table.
  • the microscope system 10 has two object illumination devices, a transmitted light illumination device 14 and a second microscope-side illumination device (EPI illumination) 16 being provided.
  • the detection light is collected by a lens 1 8 and fed via a lens system to a CCD camera 20, which serves as a first image detection device.
  • the detection area of the object to be examined can also be directly viewed visually via an eyepiece 22 by means of a swivel mirror that can be folded into the beam path or a beam splitter.
  • the object lighting devices (14, 1 6), not shown, the displacement motor of the object table 1 2 and the CCD camera 20 are connected to an external control device, not shown.
  • the CCD camera For example, 20 has a chip resolution of 1 280x1 024 pixels and can typically be read out within a few msec become.
  • the possible pulsed illumination by the object illumination device 1 6 can result in a substantial reduction in the integration time or detection time which is effectively required, since the required light energy can be obtained in a much shorter time than can be transferred to the specimen during the continuous output of a conventional fluorescent lighting.
  • the shifting time period t shift is the time during which the object must be shifted in its shifting direction by the object shifting table 12 in order to be shifted in the shifting direction by a detection area or by the maximum length of the detection area.
  • the microscope system 10 for optical scanning of (microscopic) objects or specimens preferably comprises at least one object illumination device 14, 16, at least one image detection device 20 for detecting detection areas of the object and an object displacement device 12 for displacement of the object, the object displacement device 1 2 being designed for displacement of the object at a predetermined speed, so that after a displacement Time period t shifts the object by a detection area or by the maximum detection area length in the direction of displacement, and the object lighting device 14, 16 is designed to generate object lighting pulses of the (respective) time period t pu , s , with t pu , s a fraction of t strig ⁇ eb is.
  • the detecting portion has for example a rectangular shape
  • the object shifter 1 2 is adapted to the object direction within the time ⁇ eb ersch i to the maximum length of the rectangular detection region in shift to shift. If the direction of displacement runs parallel to a side edge of the detection area, for example, this maximum length corresponds to this edge length. Since the time period t pulse of the object illumination pulse is only a fraction of this shifting time period t displ ⁇ eb , a high-quality image detected by the image detection device 20 is obtained even if the object should move during the detection. Accordingly, the pulsed lighting (similar to flash or stroboscopic lighting) effectively prevents the motion blur or a “risk of blurring” of an image to be detected.
  • the duration of the object lighting pulses is preferably t pu
  • S of the object illumination pulses is preferably chosen to be less than 1 msec, preferably less than 0.1 msec.
  • a method for the optical scanning of objects, in particular under fluorescence conditions by means of a (preferably according to the invention) microscope system which comprises at least one object illumination device, at least one image detection device for the detection of detection areas of the object and an electrically driven object displacement device for displacing the object following steps in that order:
  • the continuous displacement of the object by the electrical object displacement device 1 2 is preferably a uniform displacement movement at a constant speed, but the object can also move more slowly at the time of the pulse illumination or be at a standstill. Since the pulse duration t pu , s is only a fraction of t 29 ⁇ eb , a high-quality, time-integrated image signal can also be obtained by the image detection device 20 if the object moves during the detective integration of the image, without any noticeable impairment due to motion blur would result. Consequently, the method advantageously allows optical scanning of objects with an increased sampling rate, since there is no need to react to the problem of settling or settling of the object shifting device 1 2 or other problems of motion blur by disadvantageously waiting for a characteristic settling time.
  • T pulse is preferably less than or equal to t Versch , eb / 500, preferably t Versch ⁇ eb / 1000 .
  • an additional object moving step (d) is preferably carried out, which in particular can have a different object moving speed and direction.
  • Such an additional object moving step can be advantageous if the detection areas of the Object should not directly adjoin one another in the direction of displacement, but should be spaced apart by undetected regions of the object. This is particularly necessary when a "spot-like" detection of distributed detection areas of an object is required.
  • the direction of displacement can be reversed so that larger objects can be meandered scanned.
  • method steps (a) to (c) or (a) to (d) can be repeated a predetermined number of repetitions, in order in this way to automatically recognize a large number of detection areas of the object.
  • the motion blur can also be reduced effectively by shortening the detection period t detetlon .
  • the detection time period t detektlon ie the time period during which the incident light is collected on the CCD chip, can be set to, for example, 0. Shorten 1 msec.
  • a possibly reduced CCD detection signal strength can often be raised again by a correspondingly increased lighting level.
  • the very short detection time allows an image to be taken before the stage 1 2 has swung or settled and is therefore stable, since, as with pulse lighting, any residual movement is "frozen" to a certain extent.
  • the image can be recorded at the maximum shift frequency determined by the object table 12 (typically approximately 10 detection areas or positions per second) without having to wait for the object table 12 to settle.
  • FIG. 2 schematically shows the arrangement of an illumination manipulator 24 in the illumination beam path of the microscope system.
  • control light directed parallel to the optical axis of the microscope system is generated by a light source 28 which is installed in a lamp house 30.
  • the control light strikes a first converging lens 32 of the lighting manipulator 24, which is designed as an afocal relay system.
  • the Collecting lens 32 focuses the parallel light beam into a focal point on the optical axis of the microscope system, which is at a distance f 2 from the main plane of the collecting lens 32.
  • This focal point coincides with the focal point of a second converging lens 34 of the illumination manipulator 24, which in turn subsequently generates a light bundle parallel to the optical axis, which is directed further towards the microscope. Since the focal length i of the converging lens 34 is smaller than the focal length f 2 of the converging lens 32, the original excitation beam diameter D 2 is compressed to the diameter D 1, where 0 ⁇ 0 2 ⁇ .
  • a microscope system 10 for optically scanning objects can include at least one object illumination device 28, at least one first image detection device for detecting a first detection area of the object and a second image detection device for detection of a second detection area, which essentially comprises the first detection area, the object illumination device 28 comprising an illumination manipulator 24 for selectively illuminating the first and / or the second detection area.
  • the lighting manipulator 24 accordingly makes it possible to selectively illuminate the entire second detection area or only the first detection area.
  • the first image detection device can comprise a CCD camera, the second image detection device an eyepiece for direct optical viewing and the lighting manipulator 24 an afocal relay system or a beam compressor.
  • the illumination manipulator 24 accordingly allows the small (first) detection area of the CCD camera to be illuminated selectively without simultaneously having to also illuminate the surrounding or other parts of the (second) detection area visible through the eyepiece of the microscope system.
  • the use of an afocal relay system or a beam compressor thus advantageously enables the excitation lighting to be concentrated on the (first) detection area which is decisive for detection with the CCD camera.
  • this embodiment advantageously avoids unnecessarily rapid bleaching of the fluorescent dyes by an unnecessarily large illuminated image field.
  • Another solution to adapt the camera image to the illuminated surface of the object and thus to optimally use the excitation light is to use a camera adapter that reduces the factor M.
  • the image area captured by the camera is enlarged by the same factor M.
  • the discrepancy between the illuminated eyepiece image field and the camera image field is reduced accordingly.
  • the (larger) eyepiece field remains fully illuminated.
  • FIG. 3 schematically shows part of the beam path of a further embodiment of the microscope system according to the invention.
  • three different and separately controllable image detection devices are used, which are designed as first 40, second 42 and third 44 CCD cameras.
  • An object lighting device 46 which consists of a light source and a lens system, generates incident light illumination on a microscopic object, not shown, by means of a first beam splitter 48.
  • the first beam splitter 48 is designed as a three-band beam splitter (triple band beam splitter), which has a high transmission in the optical wavelength ranges FF 2 and F 3 having.
  • the beam splitter 48 can be used, for example, for the simultaneous excitation of a plurality of fluorescent dyes or fluorochromes in these wavelength ranges.
  • Two further beam splitters 50, 52 are arranged in the detection or detection beam path of the microscope system, which distribute the light to be detected from the detection area of the object to the CCD cameras 40, 42 and 44.
  • the detected light is spectrally split by using dichroic table beam splitters.
  • the beam splitter 50 has a large transmission coefficient in the wavelength range F 1, but effectively reflects the wavelength range F 2 and F 3 .
  • the second dichroic beam splitter 50 has a high transmission coefficient in the wavelength range F 3 and a large reflection coefficient in the wavelength range F 2 .
  • light to be detected in the wavelength range F 2 falls on the second CCD camera 42, while light to be detected in the wavelength range F 3 falls on the third CCD camera 44.
  • the use of a single, spectrally sensitive image detection device is superior to the multi-channel recording according to the invention with different image detection devices.
  • the detection parameters of the image detection devices in particular the integration time, can be set independently of one another. This is particularly advantageous for the detection of individual fluorochromes in the fluorescence microscopy of biological material, since the fluorescence intensities of the individual fluorochromes often differ by orders of magnitude.
  • the optical wavelength ranges that are to be detected can be individually determined depending on the desired task, while they are predefined in a color camera.
  • high-resolution CCD cameras can be used, the number of pixels of which clearly exceeds that of color cameras.
  • the detection described in the different focal planes can be carried out with a microscope system, which is shown schematically in FIG. 3. If no additional simultaneous recording of several color channels is to take place, as was described above, color-neutral beam splitters 50, 52 are used, which suitably distribute the detection light to the CCD cameras 40, 42 and 44 without color splitting. In particular, the beam splitters 50, 52 split the optical input signal into two beams with typically 50% of the input signal strength.
  • the geometrical path lengths along the respective detection paths from the respective CCD cameras 40, 42 and 44 to an object plane can be selected to be of different lengths. In FIG.
  • the CCD camera 40 has a shorter geometric path length to the object than that of the CCD cameras 42 and 44.
  • the geometric distance along the respective detection paths from the beam splitter 50, at which the common detection beam path of the various CCD cameras is divided, to the CCD camera 40 is shorter than to the CCD cameras 42 and 44.
  • the CCD camera 40 sharpens a focal plane of the object or focused, which will differ slightly from the focus plane, which is imaged by the cameras 42 and 44.
  • additional optics (not shown) can also be used in front of at least one of the CCD cameras in order to thus determine the desired focal plane.
  • the analog camera outputs of the CCD cameras 40, 42 and 44 can each be connected to signal inputs of a digitizing device or module (not shown) which is designed for multiplex processing of analog camera signals.
  • a digitizing device or module (not shown) which is designed for multiplex processing of analog camera signals.
  • Such multiplex processing of the individual camera signals advantageously enables the cost-effective use of a single digitizing module for several image detection devices.
  • the signals from the CCD cameras cannot be read out and digitized at the same time, but this does not imply any practical limitation.
  • the readout time of a CCD camera with a value of typically 0.1 seconds is generally shorter than typical detection times.
  • the detection times for different fluorescent dyes are of different lengths, so that the CCD camera signal of the stronger fluorescent dye can already be read out, while the other CCD camera still detects and integrates the weaker signal.

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

The invention relates to a microscopic system for optically scanning objects, especially under fluorescence conditions. The inventive system comprises at least two, preferably electric, electronic and/or photographic, image detecting devices (40, 42, 44) which are configured for the simultaneous storage-capable detection of a detection area pertaining to an object.

Description

Mikroskopsysteme zur optischen Abtastung von mikroskopischen Objekten Microscope systems for optical scanning of microscopic objects
Beschreibungdescription
Die Erfindung betrifft Mikroskopsysteme zur optischen Abtastung von mikroskopischen Objekten, wie sie in den Ansprüchen 1 und 8 beschrieben sind, ein entsprechendes Verfahren zur optischen Abtastung, wie es in Anspruch 9 beschrieben ist sowie die Verwendung des Mikroskopsystems, wie es in Anspruch 1 1 beschrieben ist.The invention relates to microscope systems for optical scanning of microscopic objects, as described in claims 1 and 8, a corresponding method for optical scanning, as described in claim 9, and the use of the microscope system, as described in claim 1 1 .
Für eine Vielzahl von Anwendungen in verschiedensten Technologiebereichen, insbesondere in der biologischen und medizinischen Forschung, ist eine automatisierte Abtastung eines zu untersuchenden Objektes (z.B. Objektträgers) erforder- lieh. Herkömmlicherweise wird dies mit Hilfe eines motorisierten Mikroskops so realisiert, daß der Objektträger mittels eines motorisierten Objektverschiebetischs in x- und y-Richtung, z.B. mäanderförmig unter dem Objekt verfahren wird und von einer CCD-Kamera sukzessive erfaßt wird. Die Geschwindigkeit der automatischen Abtastung mikroskopischer Präparate ist insbesondere unter Fluoreszenzbe- dingungen, d.h. unter Verwendung eines Fluoreszenzmikroskops, durch folgende Faktoren limitiert:An automated scanning of an object to be examined (e.g. a slide) is required for a large number of applications in a wide variety of technology areas, particularly in biological and medical research. Conventionally, this is realized with the aid of a motorized microscope in such a way that the slide is moved in the x and y directions, e.g. is meandered under the object and is successively captured by a CCD camera. The speed of the automatic scanning of microscopic specimens is particularly under fluorescence conditions, i.e. using a fluorescence microscope, limited by the following factors:
1 . Die Signalintensitäten von Fiuoreszenzsignalen von mikrobiologischen Präparaten sind teilweise verhältnismäßig klein. Insbesondere bei hohen Ver- größerungen ist daher für eine ausreichende Bildqualität eine vergleichsweise lange Integrations- bzw. Detektionszeit solcher Signale notwendig, welche teilweise einige Sekunden betragen kann.1 . The signal intensities of fluorescence signals from microbiological preparations are sometimes relatively small. In the case of high magnifications in particular, a comparatively long integration or detection time of such signals is necessary for sufficient image quality, which in some cases can be a few seconds.
2. Vielfach müssen Fluoreszenzsignale unterschiedlicher Wellenlängen in dem gleichen Bild- bzw. Detektionsbereich eines mikroskopischen Objekts untersucht werden. Dies ist insbesondere bei mikrobiologischen Objekten der Fall, die mit mehreren Fluoreszenzfarbstoffen bzw. Fluorochromen präpariert worden sind. In solchen Fällen muß der gleiche Detektionsbereich mehrmals unter Verwendung der für den jeweiligen Fluoreszenzfarbstoff geeigneten Filterkombination des Mikroskops aufgenommen werden. Farbkameras, die drei Farbkanäle (rot R, grün G, blau B) gleichzeitig aufnehmen können, sind hierzu ungeeignet, da zum einen die integrierten R,G,B-Filter nicht an die2. In many cases, fluorescence signals of different wavelengths must be examined in the same image or detection area of a microscopic object. This is particularly the case with microbiological objects that are prepared with several fluorescent dyes or fluorochromes have been. In such cases, the same detection area must be recorded several times using the microscope filter combination suitable for the respective fluorescent dye. Color cameras that can record three color channels (red R, green G, blue B) at the same time are unsuitable for this, because on the one hand the integrated R, G, B filters do not match the
Emissionsspektren der Fluoreszenzfarbstoffe angepaßt sind, und da es zum anderen nicht möglich ist, die Detektionszeit für die einzelnen Farbkanäle individuell zu steuern. Dies ist aber angesichts der erheblichen Unterschiede der Fluoreszenzintensitäten von beispielsweise DAPI-Gegenfärbung und Hybridisierungssignalen im Fall von FISH zwingend erforderlich.Emission spectra of the fluorescent dyes are adapted, and since it is not possible, on the other hand, to individually control the detection time for the individual color channels. In view of the considerable differences in the fluorescence intensities of, for example, DAPI counterstaining and hybridization signals, this is absolutely necessary in the case of FISH.
3. Wird ein motorisierter Objektverschiebetisch für ein schrittartiges Abrastern bzw. "Scannen" eines mikroskopischen Objekts verwendet, so muß nach einem Anhalten des Objektverschiebetischs eine für den Objektverschiebe- tisch charakteristische Einschwingzeit abgewartet werden, um eine Bewe- gungsunschärfe, d.h. ein "Verwackeln" eines zu detektierenden Bildes zu vermeiden. Eine solche Bewegungsunschärfe würde sich ansonsten zwangsläufig bei den herkömmlicherweise verwendeten Detektionszeiten von CCD- Kameras ergeben.3. If a motorized object shift table is used for a step-by-step scanning or "scanning" of a microscopic object, then after stopping the object shift table, a settling time which is characteristic of the object shift table must be waited for in order to obtain a motion blur, i.e. to avoid "blurring" of an image to be detected. Such a motion blur would otherwise inevitably result from the conventionally used detection times of CCD cameras.
Angesichts der obigen geschwindigkeitsbegrenzenden Faktoren ist es daher eine Aufgabe der Erfindung, die Abtastgeschwindigkeit eines Objekts zu erhöhen, ohne dabei einen Verlust an Bildqualität hinnehmen zu müssen. Vorzugsweise soll die Abtastgeschwindigkeit bzw. -rate nur durch die minimale, zur Bilddetektion not- wendige Detektionszeit limitiert sein. Es ist ferner eine Aufgabe der Erfindung, ein entsprechendes Verfahren zur optischen Abtastung von Objekten und Verwendungen der erfindungsgemäßen Vorrichtung anzugeben.In view of the above speed limiting factors, it is therefore an object of the invention to increase the scanning speed of an object without having to accept a loss in image quality. The scanning speed or rate should preferably be limited only by the minimum detection time required for image detection. It is also an object of the invention to provide a corresponding method for optically scanning objects and uses of the device according to the invention.
Diese Aufgabe wird erfindungsgemäß durch ein Mikroskopsystem mit den in Anspruch 1 und 8 angegebenen Merkmalen, durch ein Verfahren zur optischen Abtastung von Objekten, welches die Merkmale von Anspruch 9 aufweist, und durch eine Verwendung mit den Merkmalen des Anspruchs 1 1 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind in den Unteransprüchen ausgeführt. Erfindungsgemäß umfaßt ein Mikroskopsystem zur optischen Abtastung von Objekten, insbesondere unter Fluoreszenzbedingungen, zumindest zwei bevorzugt elektrische, elektronische und/oder fotographische Bilddetektionseinrichtungen, die zur gleichzeitigen speicherfähigen Detektion eines Detektionsbereichs des Objekts ausgelegt sind. Um den Detektionbereich des Objekts zu detektieren, verwenden die Bilddetektionseinrichtungen vorzugsweise einen Teil eines optischen Aufnahmesystems des Mikroskops gemeinsam. Beispielsweise kann ein objektivseiti- ger Teil des Aufnahmesystems von allen Bilddetektionseinrichtungen zur Detektion verwendet werden, wohingegen Teile des Aufnahmesystems auf der Seite der Bilddetektionseinrichtungen auseinanderfallen. Das erfindungsgemäße Mikroskopsystem mit den zumindest zwei Bilddetektionseinrichtungen weist insbesondere durch die mögliche simultane und zeitgünstige Detektion des Objekts durch die mehreren Bilddetektionseinrichtungen erhebliche Vorteile gegenüber herkömmlichen Mikroskopsystemen auf.This object is achieved according to the invention by a microscope system with the features specified in claims 1 and 8, by a method for optically scanning objects, which has the features of claim 9, and by use with the features of claim 1 1. Preferred embodiments of the invention are set out in the subclaims. According to the invention, a microscope system for optically scanning objects, in particular under fluorescence conditions, comprises at least two preferably electrical, electronic and / or photographic image detection devices which are designed for the simultaneous storage-capable detection of a detection area of the object. In order to detect the detection area of the object, the image detection devices preferably share a part of an optical recording system of the microscope. For example, a part of the recording system on the lens side can be used for detection by all image detection devices, whereas parts of the recording system on the side of the image detection devices fall apart. The microscope system according to the invention with the at least two image detection devices has considerable advantages over conventional microscope systems, in particular due to the possible simultaneous and inexpensive detection of the object by the multiple image detection devices.
Gemäß einer bevorzugten Ausführungsform umfassen die Bilddetektionseinrichtungen zumindest eine vorzugsweise hochauflösende CCD-Kamera, insbesondere sogenannte Megapixelkameras, d.h. CCD-Kameras, welche mehr als 106 bildauflösende Pixel aufweisen. Vorzugsweise sind die Bilddetektionseinrichtungen ferner derart ausgelegt, daß jeweilige Detektionszeitdauern unabhängig voneinander einstellbar sind. So kann einerseits die Integrations- bzw. Akkumulationszeit des CCD-Arrays bei kleinen, zu detektierenden Intensitäten verlängert werden, wobei die Ausleserate der CCD geeignet angepaßt wird. Andererseits kann bei großen Detektionssignalintensitäten, welche bei normalen Detektionszeitdauern zu einem Saturieren bzw. Überstrahlen der CCD führen würden, die Detektions- zeitdauer, d.h. die Integrations- bzw. Akkumulationszeitdauer, der CCD verkürzt werden. Durch diesen "elektronischen Shutter bzw. Verschluß" der Bilddetektions- einrichtung wird eine mechanische Blendenanordnung zur Abschwächung großer Detektionsintensitäten zumeist überflüssig, wodurch sich eine einfachere und kostengünstigere Lösung ergibt.According to a preferred embodiment, the image detection devices comprise at least one preferably high-resolution CCD camera, in particular so-called megapixel cameras, ie CCD cameras which have more than 10 6 image-resolution pixels. The image detection devices are preferably also designed such that respective detection times can be set independently of one another. On the one hand, the integration or accumulation time of the CCD array can be extended for small intensities to be detected, the readout rate of the CCD being suitably adapted. On the other hand, in the case of large detection signal intensities, which would lead to saturation or overexposure of the CCD in the case of normal detection periods, the detection period, ie the integration or accumulation period, of the CCD can be shortened. This "electronic shutter" of the image detection device usually makes a mechanical diaphragm arrangement for weakening large detection intensities superfluous, which results in a simpler and less expensive solution.
Gemäß einer bevorzugten Ausführungsform detektiert eine erste der Bilddetektionseinrichtungen den Detektionsbereich in einer ersten Objektfokusebene und eine zweite der Bilddetektionseinrichtungen den Detektionsbereich in einer zweiten Objektfokusebene, wobei die erste und die zweite Objektfokusebene relativ zueinander entlang einer optischen Detektionsachse des Mikroskopsystems versetzt sind. Hierdurch kann eine simultane Detektion des optisch abzutastenden Objekts in unterschiedlichen Fokusebenen erfolgen, d.h. es können unterschiedliche Tiefenschichten des Objekts untersucht werden. Die Objekt- bzw. Gegenstandsebenen, welche fokussiert bzw. scharf von den zumindest zwei Bilddetektionseinrichtungen detektiert werden, sind somit entlang der optischen Detektionsachse des Mikroskopsystems voneinander beabstandet. Die von den Bilddetektionsein- richtungen erhaltenen speicherfähigen Bilder bzw. Signale können nachfolgend in ein sogenanntes "extended focus"-Bild bzw. Projektionsbild umgerechnet werden, um die unterschiedlichen detektierten Ebenen des Objekts insbesondere in einem Bild darzustellen. Bei der Berechnung des Projektionsbildes aus den einzelnen Bildern bzw. Signalen der Bilddetektionseinrichtungen kann auf bekannte Algorith- men zur Erzeugung eines Projektionsbildes aus Bildern mehreren Tiefenschichten zurückgegriffen werden.According to a preferred embodiment, a first of the image detection devices detects the detection area in a first object focus plane and a second of the image detection devices the detection area in a second object focus plane, the first and the second object focus plane being offset relative to one another along an optical detection axis of the microscope system. This allows simultaneous detection of the object to be optically scanned in different focal planes, ie different depth layers of the object can be examined. The object or object planes, which are detected in a focused or sharp manner by the at least two image detection devices, are thus spaced apart from one another along the optical detection axis of the microscope system. The storable images or signals obtained by the image detection devices can subsequently be converted into a so-called "extended focus" image or projection image in order to represent the different detected levels of the object, in particular in an image. When calculating the projection image from the individual images or signals from the image detection devices, known algorithms for generating a projection image from images of several depth layers can be used.
Gemäß einer weiteren bevorzugten Ausführungsform sind die erste und die zweite Bilddetektionseinrichtung um unterschiedliche geometrische Weglängen entlang der jeweiligen optischen Detektionspfade von der ersten Objektfokusebene beabstandet. Um unterschiedliche Objektfokusebenen des Objekts mit der ersten und der zweiten Bilddetektionseinrichtung scharf bzw. fokussiert abzubilden, können die Bilddetektionseinrichtungen im Strahlengang des Mikroskopsystem derart versetzt sein, daß die geometrischen Weglängen entlang der jeweiligen Detektions- pfade unterschiedlich lang sind. Durch ein derartiges Versetzen der Bilddetektionseinrichtungen insbesondere auf der Bildseite des Mikroskopsystems, welche entlang des Detektionsstrahlengangs hinter dem optischen Abbildungs- bzw. Linsensystems liegt, werden unterschiedliche Tiefenebenen des Objekts von den Bilddetektionseinrichtungen scharf erfaßt. Die Tiefen- bzw. Objektfokusebenen können hierbei sehr dicht angeordnet sein und beispielsweise nur um Bruchteile eines Mikrometers voneinander beabstandet sein.According to a further preferred embodiment, the first and the second image detection device are spaced from the first object focus plane by different geometric path lengths along the respective optical detection paths. In order to image different object focus planes of the object with the first and the second image detection device in a sharp or focused manner, the image detection devices in the beam path of the microscope system can be offset such that the geometric path lengths along the respective detection paths are of different lengths. By displacing the image detection devices in this way, in particular on the image side of the microscope system which lies along the detection beam path behind the optical imaging or lens system, different depth planes of the object are sharply detected by the image detection devices. The depth or object focus planes can in this case be arranged very densely and, for example, only be separated from one another by a fraction of a micrometer.
Gemäß einer weiteren bevorzugten Ausführungsform umfaßt zumindest eine der Bilddetektionseinrichtungen eine Zusatzoptik zur Einstellung der jeweiligen Objektfokusebene. Die Zusatzoptik ist insbesondere eine optische Linse bzw. ein Linsensystem, welches derart in dem Detektionsstrahlengang des Mikroskopsystems angeordnet wird, daß - insbesondere auch ohne das oben beschriebene Versetzen der Bilddetektionseinrichtungen - unterschiedliche Fokus- bzw. Tiefenebenen des Objekts scharf bzw. fokussiert abgebildet werden. Beispielsweise ist die Zusatzoptik im optischen Detektionspfad lediglich der ersten Bilddetektionseinrichtung angeordnet und liegt folglich nur im Detektionsstrahlengang zwischen dem zu detektierenden Objekt und der ersten Bilddetektionseinrichtung, während die zweite Bilddetektionseinrichtung das Objekt ohne die Zusatzoptik detektieren wird. Vorzugsweise ist die Zusatzoptik unmittelbar vor zumindest einer der Vielzahl der Bilddetektionseinrichtungen angeordnet.According to a further preferred embodiment, at least one of the Image detection devices an additional optics for setting the respective object focus level. The additional optics are, in particular, an optical lens or a lens system which is arranged in the detection beam path of the microscope system in such a way that different focus or depth planes of the object are imaged sharply or in a focused manner, in particular even without the displacement of the image detection devices described above. For example, the additional optics are arranged in the optical detection path of only the first image detection device and consequently lie only in the detection beam path between the object to be detected and the first image detection device, while the second image detection device will detect the object without the additional optics. The additional optics are preferably arranged directly in front of at least one of the plurality of image detection devices.
Gemäß einer weiteren bevorzugten Ausführungsform ist eine erste der Bilddetek- tionseinrichtungen zur Detektion eines ersten und eine zweite der Bilddetektionseinrichtungen zur Detektion eines zweiten optischen Wellenlängenbereichs ausgelegt. Dies ist insbesondere für Fluoreszenzanwendungen eines Mikroskopsystems vorteilhaft, bei welchen das mikroskopische Objekt mit mehreren zu detektierenden Fluoreszenzfarbstoffen präpariert wurde, die ihre Emissionsbanden in unter- schiedlichen optischen Wellenlängenbereichen aufweisen. Die erfindungsgemäße Bereitstellung von zumindest zwei Bilddetektionseinrichtungen ermöglicht somit eine simultane Detektion des Detektionsbereichs des Objekts in mehreren optischen Wellenlängenbereichen, wodurch sich eine spürbare Verbesserung der Abtastgeschwindigkeit bzw. -rate im Vergleich zu herkömmlichen, sequentiell arbeitenden Mikroskopsystemen ergibt.According to a further preferred embodiment, a first of the image detection devices is designed for the detection of a first and a second one of the image detection devices for the detection of a second optical wavelength range. This is particularly advantageous for fluorescence applications of a microscope system in which the microscopic object has been prepared with several fluorescent dyes to be detected, which have their emission bands in different optical wavelength ranges. The provision of at least two image detection devices according to the invention thus enables simultaneous detection of the detection range of the object in a plurality of optical wavelength ranges, which results in a noticeable improvement in the scanning speed or rate compared to conventional, sequentially operating microscope systems.
Gemäß einer weiteren bevorzugten Ausführungsform umfaßt die erste Bilddetektionseinrichtung eine erste Kamera und einen dichroitischen Strahlteiler und die zweite Bilddetektionseinrichtung eine zweite Kamera, wobei der Strahlteiler derart ausgelegt und im Detektionsstrahlengang angeordnet ist, daß Detektionsstrahlen des Detektionsbereichs in dem ersten Wellenlängenbereich per Transmission durch den Strahlteiler auf die erste Kamera und Detektionsstrahlen des Detektionsbereichs in dem zweiten Wellenlängenbereich per Reflexion an dem Strahlteiler auf die zweite Kamera fallen. Diese besonders für Fluoreszenzanwendungen vorteilhafte Ausführungsform gestattet somit prinzipiell die Verwendung von baugleichen Kameras, insbesondere hochauflösende CCD-Kameras, da die Wellenlängenbe- reichselektion durch den dichroitischen Strahlteiler vorgenommen wird. Sollen Emissionsbanden von Fluoreszenzfarbstoffen in drei unterschiedlichen Wellenlängenbereichen detektiert werden, so können drei Kameras mit zwei dichroitischen Strahlteilern bereitgestellt werden. Eine Erweiterung auf mehr als drei Kameras ist ebenfalls möglich.According to a further preferred embodiment, the first image detection device comprises a first camera and a dichroic beam splitter and the second image detection device a second camera, the beam splitter being designed and arranged in the detection beam path in such a way that detection beams of the detection range in the first wavelength range are transmitted by the beam splitter onto the first camera and detection beams of the detection range in the second wavelength range by reflection on the beam splitter the second camera fall. This embodiment, which is particularly advantageous for fluorescence applications, therefore in principle permits the use of identical cameras, in particular high-resolution CCD cameras, since the wavelength range selection is carried out by the dichroic beam splitter. If emission bands of fluorescent dyes are to be detected in three different wavelength ranges, three cameras with two dichroic beam splitters can be provided. An expansion to more than three cameras is also possible.
Gemäß einem weiteren Aspekt der Erfindung umfaßt ein Mikroskopsystem zur optischen Abtastung von Objekten, insbesondere unter Fluoreszenzbedingungen, zumindest eine Objektbeleuchtungseinrichtung, zumindest eine Bilddetektionseinrichtung zur Detektion von Detektionsbereichen des Objekts innerhalb einer Detek- tionszeitdauer tdetektlon und eine Objektverschiebeeinrichtung zur Verschiebung des Objekts, wobei die Objektverschiebeeinrichtung zu einer Verschiebung des Objekts mit einer vorbestimmten Geschwindigkeit ausgelegt ist, so daß nach einer Verschiebezeit Verschieb das Objekt um einen Detektionsbereich bzw. um eine maximale Länge des Detektionsbereichs in Verschieberichtung verschoben ist, wobei tdetektlon einen Bruchteil von tverschιeb beträgt. Eine solche Verkürzung der Detektionszeitdauer idetekti ist insbesondere bei Transmissions- bzw. Durchlichtuntersuchungen vorteilhaft. Ein derartiges Mikroskopsystem gestattet es demgemäß, einen Detektionsbereich des Objekts zu detektieren, selbst wenn sich dieses bewegen sollte, da eine eventuelle Bewegung durch die im Vergleich zur Verschiebezeit tverschιeb kleinen Detektionszeit tdetektlon "eingefroren" wird. Auf diese Weise wird so einer Bewe- gungsunschärfe eines detektierten Bildes wirkungsvoll begegnet. Folglich kann die Detektion von Detektionsbereichen des Objekts mit der maximal mechanisch möglichen Verschieberate der Objektverschiebeeinrichtung erfolgen (typischerweise etwa 10 Detektionsbereiche bzw. -positionen pro Sekunde), ohne die Einschwingzeit des Objekts bzw. der Objektverschiebeeinrichtung abwarten zu müssen. Eine eventuell reduzierte Intensität des von der Bilddetektionseinrichtung detektierten Bildsignals läßt sich oft durch einen entsprechend erhöhten Beleuchtungspegel wieder anheben. Es ist folglich nicht notwendig, das Objekt mit einer Objektverschiebeeinrichtung schrittweise, d.h. in einem Start-/Stopbetrieb, zu verschieben, um eine Bilddetektion lediglich in Ruhezuständen des Objektes vorzunehmen. Statt dessen kann das mikroskopische Objekt kontinuierlich (z.B. gleichförmig mit konstanter Geschwindigkeit) bewegt werden, wodurch ein Ab- warten einer Einschwingzeit der Objektverschiebeeinrichtung sowie eine Beschleu- nigungs- und Abbremszeit derselben im Vergleich zu herkömmlichen Mikroskopsystemen hinfällig ist. Vorteilhafterweise läßt sich daher eine gesteigerte Abtastgeschwindigkeit des Objekts erzielen.According to a further aspect of the invention, a microscope system for optically scanning objects, in particular under fluorescence conditions, comprises at least one object illumination device, at least one image detection device for detecting detection areas of the object within a detection period t detektlon and an object displacement device for displacing the object, the object displacement device is adapted to a displacement of the object at a predetermined speed, so that after a displacement time V ersch i the object eb to a detection area or to a maximum length of the detection area in the direction of displacement is moved, wherein t detektlon a fraction of t verschιeb is. Such a shortening of the detection period i detect i is particularly advantageous in transmission or transmitted light examinations . Such a microscope system allows accordingly to detect a detection area of the object, even if it should move because any move by the compared to the displacement time t verschιeb small detection time t detektlon "frozen" is. In this way, motion blur of a detected image is effectively countered. As a result, detection areas of the object can be detected with the maximum mechanically possible displacement rate of the object displacement device (typically about 10 detection areas or positions per second) without having to wait for the settling time of the object or object displacement device. A possibly reduced intensity of the image signal detected by the image detection device can often be increased again by a correspondingly increased illumination level. It is therefore not necessary to use an object Move the object shifting device step by step, ie in a start / stop mode, in order to carry out image detection only when the object is at rest. Instead, the microscopic object can be moved continuously (for example uniformly at a constant speed), as a result of which there is no longer any need to wait for a settling time of the object displacement device and for it to accelerate and slow down in comparison to conventional microscope systems. An increased scanning speed of the object can therefore advantageously be achieved.
Gemäß einer bevorzugten Ausführungsform des Mikroskopsystems ist die Detek- tionszeitdauer tdetektlon < tverschιeb/500, vorzugsweise tdetektlon < tverschιeb/1 000. Vorzugsweise ist die Detektionszeitdauer tdetektl0n kleiner als 1 msec, vorzugsweise kleiner als 0, 1 msec.According to a preferred embodiment of the microscope system, the detection time period t detektlon <t verschιeb / 500, preferably t detektlon <t verschιeb / 1 000. The detection time period t detektl0n is preferably less than 1 msec, preferably less than 0.1 msec.
Gemäß einer bevorzugten Ausführungsform sind die Objektverschiebeeinrichtungen zur zumindest zweidimensionalen Verschiebung des Objekts senkrecht zur optischen Achse des Mikroskopsystems ausgelegt (x- und y-Richtung) . Vorteilhafterweise ermöglicht die Objektverschiebeeinrichtung jedoch ebenfalls eine Verschiebung des Objekts entlang der optischen Achse (z-Richtung), was insbesonde- re zur automatisierten Abtastung "dicker" Objekte vorteilhaft ist.According to a preferred embodiment, the object displacement devices are designed for at least two-dimensional displacement of the object perpendicular to the optical axis of the microscope system (x and y direction). Advantageously, however, the object displacement device also enables the object to be displaced along the optical axis (z direction), which is particularly advantageous for the automated scanning of "thick" objects.
Gemäß einer weiteren bevorzugten Ausführungsform umfaßt die Objektverschiebeeinrichtung einen Objektverschiebetisch und einen diesen verschiebenden elektrischen Verschiebemotor.According to a further preferred embodiment, the object displacement device comprises an object displacement table and an electrical displacement motor which displaces it.
Gemäß einer weiteren bevorzugten Ausführungsform ist das erfindungsgemäße Mikroskopsystem mit einer Steuereinrichtung bereitgestellt, die mit der Objektbeleuchtungseinrichtung, der Bilddetektionseinrichtung und der Objektverschiebeeinrichtung in Signalverbindung steht und ein automatisches (d.h. unbeaufsichtigtes) optisches Abtasten eines mehrere Detektionsbereiche bzw. Bildfelder umfassenden Bereichs des Objekts steuert. Hierdurch kann vorteilhafterweise mit hoher optischer Abtastgeschwindigkeit eine automatische Abtastung bzw. Detektion des mikroskopischen Objekts erfolgen, ohne daß Benutzereingriffe während dieses Vorgangs notwendig wären.According to a further preferred embodiment, the microscope system according to the invention is provided with a control device which is in signal connection with the object illumination device, the image detection device and the object displacement device and controls an automatic (ie unattended) optical scanning of an area of the object comprising several detection areas or image fields. As a result, an automatic scanning or detection of the microscopic object can advantageously be carried out at a high optical scanning speed without user intervention during this Would be necessary.
Gemäß der Erfindung wird ein Verfahren zur optischen Abtastung von Objekten, insbesondere unter Fluoreszenzbedingungen, vorzugsweise mittels eines wie vorstehend definierten Mikroskopsystems bereitgestellt, wobei ein Detektionsbereich des Objekts mit zumindest zwei Bilddetektionseinrichtungen gleichzeitig speicherfähig detektiert wird.According to the invention, a method for optical scanning of objects, in particular under fluorescence conditions, is preferably provided by means of a microscope system as defined above, wherein a detection area of the object is simultaneously detected with at least two image detection devices in a storable manner.
Gemäß einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens detektieren die Bilddetektionseinrichtungen den Detektionsbereich gleichzeitig in zumindest zwei unterschiedlichen Objektfokusebenen, welche entlang einer optischen Detektionsachse des Mikroskopsystems versetzt sind, und/oder den Detektionsbereich in zumindest zwei zumindest bereichsweise unterschiedlichen optischen Wellenlängenbereichen.According to a preferred embodiment of the method according to the invention, the image detection devices simultaneously detect the detection area in at least two different object focus planes, which are offset along an optical detection axis of the microscope system, and / or the detection area in at least two optical wavelength ranges, which differ at least in certain areas.
Das erfindungsgemäße Mikroskopsystem und das erfindungsgemäße Verfahren können vorzugsweise in allen Anwendungen eingesetzt werden, bei denen das automatische Absuchen bzw. Abtasten von Mikroskoppräparaten sowie die (zumindest teil-) automatische Auswertung von Objekten eines bestimmten Typs von Bedeutung sind. Solche Anforderungsprofile sind insbesondere in der medizinischen Forschung anzutreffen.The microscope system according to the invention and the method according to the invention can preferably be used in all applications in which the automatic scanning or scanning of microscope specimens and the (at least partially) automatic evaluation of objects of a certain type are important. Such requirement profiles can be found particularly in medical research.
Eine bevorzugte Verwendung der erfindungsgemäßen Vorrichtung betrifft die Detektion von markiertem, insbesondere fluoreszenzmarkiertem biologischem Material in einer Probe. Der Begriff "biologisches Material" umfaßt sämtliches biologisches Material sowie die dieses Material aufbauenden Stoffe, beispielsweise Viren, Viroide, mehrzellige und einzellige Organismen, insbesondere Zellen, beispielsweise Bakterien, Zellen im Gewebeverband oder Kulturzellen, deren Bestandteile wie Zellorganellen, beispielsweise Zellkerne, Mitochondrien, Piastiden, Endo- plasmatisches Retikulum (ER), Dictyosomen, Ribosomen usw., genetisches Material wie Chromosomen und deren Bestandteile, Nukleinsäuren wie DNA und RNA, Proteine wie Strukturproteine, Enzyme und Antikörper, Polysaccharide und Lipide. Ein bevorzugtes Beispiel der vorstehend definierten Verwendung betrifft die Suche nach "seltenen" Ereignissen, wie der Suche nach wenigem aufzufindendem fluoreszenzmarkiertem biologischem Material in einer Probe. Der Begriff "seltenes Ereignis" bedeutet, daß das Verhältnis von nicht-markiertem zu dem markierten biologischen Material in der Probe mehr als 1 04, insbesondere mehr als 1 06 beträgt. So kann das Verhältnis von nicht-markiertem zu dem markierten biologischen Material in der Probe bei der Pränataldiagnostik ca. 108 und bei der Tumordiagnostik ca. 106 betragen.A preferred use of the device according to the invention relates to the detection of labeled, in particular fluorescence-labeled biological material in a sample. The term "biological material" encompasses all biological material and the substances that make up this material, for example viruses, viroids, multicellular and unicellular organisms, in particular cells, for example bacteria, cells in tissue association or culture cells, their components such as cell organelles, for example cell nuclei, mitochondria, plastids , Endoplasmic reticulum (ER), dictyosomes, ribosomes etc., genetic material such as chromosomes and their components, nucleic acids such as DNA and RNA, proteins such as structural proteins, enzymes and antibodies, polysaccharides and lipids. A preferred example of the use defined above relates to the search for "rare" events, such as the search for little fluorescent-labeled biological material to be found in a sample. The term "rare event" means that the ratio of unlabelled to the labeled biological material in the sample is more than 10 4 , in particular more than 10 6 . The ratio of unlabelled to the labeled biological material in the sample can be approximately 10 8 in prenatal diagnosis and approximately 10 6 in tumor diagnosis.
Der Begriff "markiert" bedeutet, daß das zu untersuchende Material mit Hilfe des erfindungsgemäßen Mikroskopsystems detektierbar ist. Insbesondere umfaßt die Markierung eine, mehr bevorzugt mehrere unterschiedliche Fluoreszenzmarkierungen. Bevorzugte Fluoreszenzmarkierungen sind beispielsweise Fluoreszenzfarbstoffe der Cy-Familie, Fluoresceinisothiocyanat (FITC), Nukleinsäure-bindende Fluoreszenzfarbstoffe wie DAPI (4',6'-Diamidin-2'phenylindol-dihydrochlorid) und Hoechst 33342 usw. Das zu detektierende biologische Material kann dabei direkt mit einem spezifischen Farbstoff markiert werden, beispielsweise die DNA in einem Zellkern mittels DAPI, und/oder indirekt markiert werden, beispielsweise mittels einer oder mehreren unterschiedlich spezifischen fluoreszenz-gekoppelten Nu- kleinsäuresonden (Fluoreszenz-//7-s/Yü-Hybridisierung, FISH) und/oder mittels fluoreszenzgekoppelter Antikörper, die monoklonal oder polyklonal sein können.The term "marked" means that the material to be examined can be detected with the aid of the microscope system according to the invention. In particular, the label comprises one, more preferably several, different fluorescent labels. Preferred fluorescent labels are, for example, fluorescent dyes of the Cy family, fluorescein isothiocyanate (FITC), nucleic acid-binding fluorescent dyes such as DAPI (4 ', 6'-diamidine-2'phenylindole dihydrochloride) and Hoechst 33342 etc. The biological material to be detected can be directly involved in this be labeled with a specific dye, for example the DNA in a cell nucleus using DAPI, and / or being labeled indirectly, for example using one or more differently specific fluorescence-coupled nucleic acid probes (fluorescence - // 7-s / Yü hybridization, FISH) and / or by means of fluorescence-coupled antibodies, which can be monoclonal or polyclonal.
Ein Beispiel für die vorstehend definierte Verwendung ist die Suche von einigen wenigen angefärbten Zellen eines bestimmten Phänotyps in einer großen Zell- population. Wie vorstehend ausgeführt, können die zu detektierenden Zellen beispielsweise mit Hilfe eines fluoreszenzgekoppelten Antikörpers selektiv markiert sein. Im allgemeinen ist eine solche Markierung jedoch nicht absolut spezifisch, d.h. es werden auch Zellen angefärbt, die nicht den gesuchten Phänotyp aufweisen (falsch-positive Zellen) . Um die Spezifität der Antikörpermarkierung zu erhöhen, können mehrere unabhängige, gegen denselben Zelltyp gerichtete und mit verschiedenen Fluoreszenzfarbstoffen gekoppelte Antikörper gleichzeitig eingesetzt werden. In anderen Anwendungen können falsch-positive Ergebnisse auch über die zusätzliche Analyse morphometrischer Parameter, beispielsweise über Form und/oder Fläche einer Gegenfärbung des Zellkern mit Hilfe eines Nu- kleinsäure-bindenden Fluoreszenzfarbstoffes (z.B. DAPI) erkannt und ausgesondert werden. Bevorzugte Anwendungen einer solchen Suche nach "seltenen" Ereignissen betreffen beispielsweise die Tumordiagnostik wie die Suche nach Mikrometa- stasen in Blut oder Knochenmark oder die Verlaufskontrolle von Tumorerkrankungen, wobei das Verhältnis von nicht-markierten zu markierten Zellen häufig im Bereich von etwa 1 06 liegt, sowie die Identifikation von im mütterlichen Blut zirkulierenden foetalen Zellen bei der nicht-invasiven genetischen Pränataldiagno- stik, wobei das Verhältnis von nicht-markierten zu markierten Zellen häufig im Bereich von etwa 108 liegt.An example of the use defined above is the search of a few stained cells of a certain phenotype in a large cell population. As stated above, the cells to be detected can be selectively labeled, for example with the aid of a fluorescence-coupled antibody. In general, however, such a label is not absolutely specific, ie cells are also stained that do not have the desired phenotype (false positive cells). To increase the specificity of the antibody label, several independent antibodies directed against the same cell type and coupled with different fluorescent dyes can be used simultaneously. In other applications, false positive results can also be obtained through the additional analysis of morphometric parameters, for example the shape and / or area of a counter-staining of the cell nucleus with the aid of a nucleic acid-binding fluorescent dye (eg DAPI) can be recognized and eliminated. Preferred applications of such a search for "rare" events relate, for example, to tumor diagnostics such as the search for micrometastases in blood or bone marrow or the monitoring of the course of tumor diseases, the ratio of unlabeled to marked cells often being in the range of about 1 0 6 , as well as the identification of fetal cells circulating in the mother's blood in the non-invasive genetic prenatal diagnosis, the ratio of unlabelled to labeled cells often being in the range of about 10 8 .
Ein weiteres Beispiel für eine bevorzugte Verwendung des erfindungsgemäßen Mikroskopsystems und des erfindungsgemäßen Verfahrens betrifft das Auszählen von FISH-Signalen bzw. FISH-Spots in einer großen Anzahl von Zellkernen. Hierbei ist es erforderlich, in verschiedenen Fluoreszenzkanälen Bilder aus mehreren Fokusebenen aufzunehmen und anschließend in ein wie vorstehend beschriebenes "extended focus"-Bild bzw. Projektionsbild umzurechnen, um die Signale aus verschiedenen Ebenen der dreidimensionalen Kerne zu erfassen. Die so gewonnenen Projektionsbilder werden anschließend verwendet, um die Anzahl von Fluo- reszenzsignalen zu ermitteln, beispielsweise um Abweichungen der Chromosomenzahl festzustellen. In anderen Anwendungen kann der Abstand zwischen von verschiedenen Fluoreszenzfarbstoffen ausgehenden FISH-Signalen bestimmt werden. Dies erlaubt beispielsweise die Erkennung von Chromosomenaberrationen wie Fusionen verschiedener, die Bruchpunkte flankierender Signale als Folge von Translokationen wie z.B. der Translokation 9/22 (Philadelphia-Chromosom) bei der chronisch myeloischen Leukämie (CML) .Another example of a preferred use of the microscope system according to the invention and the method according to the invention relates to the counting of FISH signals or FISH spots in a large number of cell nuclei. It is necessary here to record images from several focal planes in different fluorescence channels and then to convert them into an “extended focus” image or projection image as described above in order to record the signals from different planes of the three-dimensional nuclei. The projection images obtained in this way are then used to determine the number of fluorescence signals, for example to determine deviations in the number of chromosomes. In other applications, the distance between FISH signals from different fluorescent dyes can be determined. This allows, for example, the detection of chromosomal aberrations such as fusions of different signals flanking the breakpoints as a result of translocations such as e.g. translocation 9/22 (Philadelphia chromosome) in chronic myeloid leukemia (CML).
Weitere Anwendungen betreffen die Analyse von Proben in der Immunologie, Bakteriologie, Virologie usw., beispielsweise die Erkennung markierter Bakterien, Viren und anderer infektiöser Partikel.Further applications concern the analysis of samples in immunology, bacteriology, virology etc., for example the detection of labeled bacteria, viruses and other infectious particles.
Die Erfindung wird im folgenden unter Bezugnahme auf begleitende Zeichnungen beispielhaft beschrieben. Es zeigen Figur 1 eine schematische Ansicht einer erfindungsgemäßen Ausführungsform eines Mikroskopsystems;The invention is described below by way of example with reference to accompanying drawings. Show it Figure 1 is a schematic view of an embodiment of a microscope system according to the invention;
Figur 2 eine schematische Prinzipanordnung einer erfindungsgemäßen Ausführungsform eines Mikroskopsystems mit einem als Beleuchtungsmanipulator ausgebildeten afokalen Relay-System; undFIG. 2 shows a schematic basic arrangement of an embodiment of a microscope system according to the invention with an afocal relay system designed as an illumination manipulator; and
Figur 3 eine schematische Ansicht einer Ausführungsform eines Mikroskopsystems mit drei Bilddetektionseinrichtungen, die über wellenlängensensitive, dichroitische Strahlteiler angesteuert werden.FIG. 3 shows a schematic view of an embodiment of a microscope system with three image detection devices, which are controlled via wavelength-sensitive, dichroic beam splitters.
In Figur 1 ist der Aufbau eines Mikroskopsystems 10 gemäß einer Ausführungsform der Erfindung schematisch dargestellt. Das Mikroskopsystem umfaßt einen in alle Raumrichtungen verschiebbaren Objektverschiebetisch 1 2, welcher mit einem nicht dargestellten elektrischen Verschiebemotor bereitgestellt ist. Der Verschiebe- motor und der Objektverschiebetisch 1 2 bilden eine Objektverschiebeeinrichtung. Das zu untersuchende mikroskopische Objekt ist an dem Objektverschiebetisch festgelegt. Das Mikroskopsystem 10 weist zwei Objektbeleuchtungseinrichtungen auf, wobei eine Durchlichtbeleuchtungseinrichtung 14 und eine zweite mikro- skopseitige Beleuchtungseinrichtung (EPI-Beleuchtung) 1 6 vorgesehen ist. Das Detektionslicht wird von einem Objektiv 1 8 gesammelt und über ein Linsensystem einer CCD-Kamera 20 zugeführt, die als eine erste Bilddetektionseinrichtung dient. Über einen in den Strahlengang einklappbaren Schwenkspiegel oder einen Strahlteiler läßt sich der Detektionsbereich des zu untersuchenden Objekts auch über ein Okular 22 direkt visuell betrachten. Die nicht näher dargestellten Objektbeleuch- tungseinrichtungen ( 14, 1 6), der Verschiebemotor des Objekttisches 1 2 sowie die CCD-Kamera 20 sind mit einer nicht dargestellten externen Steuereinrichtung verbunden.The structure of a microscope system 10 according to an embodiment of the invention is shown schematically in FIG. The microscope system comprises an object displacement table 1 2 which can be displaced in all spatial directions and which is provided with an electrical displacement motor (not shown). The displacement motor and the object displacement table 1 2 form an object displacement device. The microscopic object to be examined is fixed on the object shift table. The microscope system 10 has two object illumination devices, a transmitted light illumination device 14 and a second microscope-side illumination device (EPI illumination) 16 being provided. The detection light is collected by a lens 1 8 and fed via a lens system to a CCD camera 20, which serves as a first image detection device. The detection area of the object to be examined can also be directly viewed visually via an eyepiece 22 by means of a swivel mirror that can be folded into the beam path or a beam splitter. The object lighting devices (14, 1 6), not shown, the displacement motor of the object table 1 2 and the CCD camera 20 are connected to an external control device, not shown.
Die Objektbeleuchtungseinrichtung 1 6 ist insbesondere für eine gepulste Beleuch- tung (ähnlich einer Blitz- bzw. Stroboskopbeleuchtung) ausgelegt und kann bei hoher Puls-Wiederholfrequenz ca. tpu,s = 0, 1 msec lange Beleuchtungspulse emitie- ren. Die CCD-Kamera 20 weist z.B. eine Chipauflösung von 1 280x1 024 Bildpunkten auf und kann typischerweise innerhalb von einigen msec ausgelesen werden.The object lighting device 1 6 is designed in particular for pulsed lighting (similar to flash or stroboscopic lighting) and can emit lighting pulses of approximately t pu , s = 0.1 msec at a high pulse repetition frequency. The CCD camera For example, 20 has a chip resolution of 1 280x1 024 pixels and can typically be read out within a few msec become.
Wenn ein beispielsweise mikrobiologisches Präparat unter Fluoreszenzbedingungen untersucht werden soll, läßt sich durch die mögliche gepulste Beleuchtung durch die Objektbeleuchtungseinrichtung 1 6 eine wesentliche Verkürzung der Integrationszeit bzw. Detektionszeit, die effektiv benötigt wird, erzielen, da sich die erforderliche Lichtenergie in sehr viel kürzerer Zeit als bei der kontinuierlichen Leistungsabgabe einer konventionellen Fluoreszenzbeleuchtung auf das Präparat übertragen läßt. Dies ermöglicht es, vorteilhafterweise den Objektverschiebetisch 1 2 anstatt des üblichen Start/Stop-Betriebs sogar kontinuierlich zu verfahren, ohne daß verwackelte Aufnahmen aufgrund von Bewegungsunschärfe die Folge sind. Wenn beispielsweise eine Bildunschärfe von 1 Pixel akzeptiert wird, kann der Objektverschiebetisch mit 1 04 Pixel/sec verfahren werden, was bei einer CCD- Auflösung von 1 280x1024 Bildpunkten ca. 10 Detektionsbereichen bzw. Bild- feldern/sec entspricht. Auf die herkömmlicherweise notwendigen Wartepausen für ein Abschwingen des Objektverschiebetischs kann somit verzichtet werden.If, for example, a microbiological preparation is to be examined under fluorescence conditions, the possible pulsed illumination by the object illumination device 1 6 can result in a substantial reduction in the integration time or detection time which is effectively required, since the required light energy can be obtained in a much shorter time than can be transferred to the specimen during the continuous output of a conventional fluorescent lighting. This makes it possible to advantageously move the object shift table 1 2 continuously instead of the usual start / stop operation, without the result of blurred images due to motion blur. If, for example, an image blur of 1 pixel is accepted, the object shift table can be moved at 1 0 4 pixels / sec, which corresponds to approx. 10 detection areas or image fields / sec with a CCD resolution of 1 280x1024 pixels. The conventionally required waiting breaks for the object moving table to swing away can thus be dispensed with.
Es hat sich gezeigt, daß ein Verhältnis von Objektbeleuchtungspulsdauer tpuls zu einer Verschiebezeitdauer tverschιeb von tpu|S/tverscnιeb < 0,5% bereits hinreichend scharfe Bilder liefert. Die Verschiebezeitdauer tverschιeb ist hierbei diejenige Zeit, während welcher das Objekt in seiner Verschieberichtung durch den Objektverschiebetisch 1 2 verschoben werden muß, um um einen Detektionsbereich bzw. um die maximale Länge des Detektionsbereichs in Verschieberichtung verschoben zu werden.It has been shown that a ratio of the object illumination pulse duration t pulse to a shift duration t displιeb of t pu | S / t verscnιeb <0.5% already provides sufficiently sharp images. The shifting time period t shift is the time during which the object must be shifted in its shifting direction by the object shifting table 12 in order to be shifted in the shifting direction by a detection area or by the maximum length of the detection area.
Demgemäß umfaßt vorzugsweise das Mikroskopsystem 1 0 zur optischen Abtastung von (mikroskopischen) Objekten bzw. Präparaten, insbesondere unter Fluoreszenzbedingungen, zumindest eine Objektbeleuchtungseinrichtung 14, 1 6, zumindest eine Bilddetektionseinrichtung 20 zur Detektion von Detektionsberei- chen des Objektes und eine Objektverschiebeeinrichtung 1 2 zur Verschiebung des Objektes, wobei die Objektverschiebeeinrichtung 1 2 zu einer Verschiebung des Objektes mit einer vorbestimmten Geschwindigkeit ausgelegt ist, so daß nach einer Verschiebe- Zeitdauer tverschιeb das Objekt um einen Detektionsbereich bzw. um die maximale Detektionsbereichslänge in Verschieberichtung verschoben ist, und die Objektbeleuchtungseinrichtung 14, 1 6 zu einer Erzeugung von Objektbeleuchtungspulsen der (jeweiligen) Zeitdauer tpu,s ausgelegt ist, wobei tpu,s einen Bruchteil von tverschιeb beträgt.Accordingly, the microscope system 10 for optical scanning of (microscopic) objects or specimens, in particular under fluorescence conditions, preferably comprises at least one object illumination device 14, 16, at least one image detection device 20 for detecting detection areas of the object and an object displacement device 12 for displacement of the object, the object displacement device 1 2 being designed for displacement of the object at a predetermined speed, so that after a displacement Time period t shifts the object by a detection area or by the maximum detection area length in the direction of displacement, and the object lighting device 14, 16 is designed to generate object lighting pulses of the (respective) time period t pu , s , with t pu , s a fraction of t verschιeb is.
Weist der Detektionsbereich beispielsweise eine rechteckige Gestalt auf, so ist die Objektverschiebeeinrichtung 1 2 dazu ausgelegt, das Objekt innerhalb der Zeit ^ erschieb um die maximale Länge des rechteckigen Detektionsbereichs in Verschiebe- richtung zu verschieben. Verläuft die Verschieberichtung beispielsweise parallel zu einer Seitenkante des Detektionsbereichs, so entspricht diese maximale Länge dieser Kantenlänge. Da die Zeitdauer tpuls des Objektbeleuchtungspulses lediglich einen Bruchteil dieser Verschiebezeitdauer tverschιeb beträgt, ergibt sich selbst dann ein qualitativ hochwertiges, von der Bilddetektionseinrichtung 20 detektiertes Bild, wenn sich das Objekt während der Detektion bewegen sollte. Demgemäß wird durch die gepulste Beleuchtung (ähnlich einer Blitz- bzw. Stroboskop-Beleuchtung) die Bewegungsunschärfe bzw. eine "Verwackelungsgefahr" eines zu detektieren- den Bildes wirkungsvoll vermieden.The detecting portion has for example a rectangular shape, then the object shifter 1 2 is adapted to the object direction within the time ^ eb ersch i to the maximum length of the rectangular detection region in shift to shift. If the direction of displacement runs parallel to a side edge of the detection area, for example, this maximum length corresponds to this edge length. Since the time period t pulse of the object illumination pulse is only a fraction of this shifting time period t displιeb , a high-quality image detected by the image detection device 20 is obtained even if the object should move during the detection. Accordingly, the pulsed lighting (similar to flash or stroboscopic lighting) effectively prevents the motion blur or a “risk of blurring” of an image to be detected.
Vorzugsweise ist die Zeitdauer der Objektbeleuchtungspulse tpu|S < tverschιeb/500, vorzugsweise tpu|S < tverschιeb/1 000. Vorzugsweise wird die Zeitdauer tpU|S der Objektbeleuchtungspulse kleiner als 1 msec, vorzugsweise kleiner als 0, 1 msec gewählt.The duration of the object lighting pulses is preferably t pu | S <t Verschιeb / 500, preferably t pu | S <t Verschιeb / 1,000 . The duration t pU | S of the object illumination pulses is preferably chosen to be less than 1 msec, preferably less than 0.1 msec.
Demgemäß umfaßt ein Verfahren zur optischen Abtastung von Objekten, ins- besondere unter Fluoreszenzbedingungen, mittels eines (vorzugsweise erfindungsgemäßen) Mikroskopsystems, welches zumindest eine Objektbeleuchtungseinrichtung, zumindest eine Bilddetektionseinrichtung zur Detektion von Detektionsbereichen des Objekts und eine elektrisch angetriebene Objektverschiebeeinrichtung zur Verschiebung des Objekts umfaßt, die folgenden Schritte in dieser Reihenfolge:Accordingly, a method for the optical scanning of objects, in particular under fluorescence conditions, by means of a (preferably according to the invention) microscope system which comprises at least one object illumination device, at least one image detection device for the detection of detection areas of the object and an electrically driven object displacement device for displacing the object following steps in that order:
(a) Rücksetzen eines Bildsignalspeichers der Bilddetektionseinrichtung und Einstellen eines Zeitzählers timer = t0;(a) resetting an image signal memory of the image detection device and setting a time counter timer = t 0 ;
(b) zum Zeitpunkt timer = t0 + tverschιeb des Zeitzählers Beleuchten eines Detek- tionsbereichs des Objekts mit einem Objektbeleuchtungspuls der Zeitdauer tpui, und (c) Auslesen eines zeitintegrierten Bildsignals aus dem Bildsignalspeicher der Bilddetektionseinrichtung, wobei das Objekt während aller Schritte (a) bis (c) kontinuierlich durch die elektrische Objektverschiebeeinrichtung derart verschoben wird, daß nach der Verschiebezeitdauer tverschιeb das Objekt um einen Detektionsbereich bzw. um eine maximale Länge des Detektionsbereichs in Verschieberichtung verschoben ist, und die Pulszeitdauer tpu)s derart gewählt wird, daß tpuls einen Bruchteil von tverscnιeb beträgt.(b) at the point in time timer = t 0 + t shift the time counter illuminate a detector tion range of the object with an object lighting pulse of the duration tpui, and (c) reading out a time-integrated image signal from the image signal memory of the image detection device, the object being displaced continuously by the electrical object displacement device in all steps (a) to (c) such that after the displacement period t shift the object by a detection area or by a maximum length of the detection area in the shift direction, and the pulse duration t pu) s is selected such that t pulse is a fraction of t verscnιeb .
Vorzugsweise ist die kontinuierliche Verschiebung des Objekts durch die elektrische Objektverschiebeeinrichtung 1 2 eine gleichförmige Verschiebebewegung mit konstanter Geschwindigkeit, jedoch kann sich das Objekt zum Zeitpunkt der Pulsbeleuchtung auch langsamer bewegen oder sich im Stillstand befinden. Da die Pulszeitdauer tpu,s lediglich einen Bruchteil von tverschιeb beträgt, kann ein qualitativ hochwertiges, zeitintegriertes Bildsignal durch die Bilddetektionseinrichtung 20 auch dann gewonnen werden, wenn sich das Objekt während der detektierenden Integration des Bildes bewegt, ohne daß eine spürbare Beeinträchtigung durch Bewegungsunschärfe resultieren würde. Folglich gestattet das Verfahren vorteilhafterweise eine optische Abtastung von Objekten mit einer erhöhten Abtastrate, da auf Ab- bzw. Einschwingprobleme der Objektverschiebeeinrichtung 1 2 sowie auf sonstige Bewegungsunschärfeprobleme nicht durch ein nachteiliges Abwarten einer charakteristischen Einschwingzeit reagiert werden muß. Stattdessen wird die Abtastrate des erfindungsgemäßen Verfahrens lediglich durch die Verschiebgeschwindigkeit der Objektverschiebeeinrichtung 1 2 bzw. durch die mindestens notwendige Detektionszeit begrenzt. Vorzugsweise ist tpuls kleiner oder gleich wie tversch,eb/500, vorzugsweise tverschιeb/1 000.The continuous displacement of the object by the electrical object displacement device 1 2 is preferably a uniform displacement movement at a constant speed, but the object can also move more slowly at the time of the pulse illumination or be at a standstill. Since the pulse duration t pu , s is only a fraction of t verschιeb , a high-quality, time-integrated image signal can also be obtained by the image detection device 20 if the object moves during the detective integration of the image, without any noticeable impairment due to motion blur would result. Consequently, the method advantageously allows optical scanning of objects with an increased sampling rate, since there is no need to react to the problem of settling or settling of the object shifting device 1 2 or other problems of motion blur by disadvantageously waiting for a characteristic settling time. Instead, the sampling rate of the method according to the invention is only limited by the displacement speed of the object displacement device 1 2 or by the at least necessary detection time. T pulse is preferably less than or equal to t Versch , eb / 500, preferably t Verschιeb / 1000 .
Nachfolgend auf den Schritt (c) des Verfahrens wird vorzugsweise ein zusätzlicher Objektverschiebeschritt (d) durchgeführt, der insbesondere eine andere Objektverschiebegeschwindigkeit und -richtung aufweisen kann. Ein solcher zusätzlicher Objektverschiebeschritt kann vorteilhaft sein, wenn die Detektionsbereiche des Objekts nicht in Verschieberichtung unmittelbar aneinander angrenzen sollen, sondern durch nichtdetektierte Bereiche des Objekts beabstandet sein sollen. Dies ist insbesondere dann erforderlich, wenn ein "stichpunktartiges" Detektieren verteilter Detektionsbereiche eines Objekts erforderlich sind. Ferner kann in dem Objektverschiebeschritt (d) eine Umkehrung der Verschieberichtung erfolgen, so daß ein mäanderförmiges Abtasten größerer Objekte erfolgen kann.Following step (c) of the method, an additional object moving step (d) is preferably carried out, which in particular can have a different object moving speed and direction. Such an additional object moving step can be advantageous if the detection areas of the Object should not directly adjoin one another in the direction of displacement, but should be spaced apart by undetected regions of the object. This is particularly necessary when a "spot-like" detection of distributed detection areas of an object is required. Furthermore, in the object shift step (d) the direction of displacement can be reversed so that larger objects can be meandered scanned.
Zu diesem Zweck können die Verfahrensschritte (a) bis (c) bzw. (a) bis (d) eine vorbestimmte Anzahl von Wiederholungen wiederholt werden, um auf diese Weise eine Vielzahl von Detektionsbereichen des Objekts automatisch zu erkennen.For this purpose, method steps (a) to (c) or (a) to (d) can be repeated a predetermined number of repetitions, in order in this way to automatically recognize a large number of detection areas of the object.
Insbesondere für Durchlichtuntersuchungen läßt sich die Bewegungsunschärfe wirkungsvoll auch durch eine Verkürzung der Detektionszeitdauer tdetetktlon reduzieren. Verwendet man eine CCD-Kamera, die über einen sogenannten elektronischen Shutter, d.h. einen elektronischen Verschluß, verfügt, so läßt sich die Detektionszeitdauer tdetektlon, d.h. die Zeitdauer, während der das einfallende Licht auf dem CCD-Chip gesammelt wird, auf beispielsweise 0, 1 msec verkürzen. Eine unter Umständen dadurch reduzierte CCD-Detektionssignalstärke läßt sich vielfach durch einen entsprechend erhöhten Beleuchtungspegel wieder anheben. Die sehr kurze Detektionszeit erlaubt es, ein Bild aufzunehmen, bevor der Objekttisch 1 2 ab- bzw. eingeschwungen ist und damit stabil steht, da, wie bei einer Pulsbeleuchtung, eine eventuelle Restbewegung gewissermaßen "eingefroren" wird. Als Folge kann die Bildaufnahme mit der maximalen, durch den Objekttisch 1 2 bestimmten Verschiebefrequenz erfolgen (typischerweise etwa 1 0 Detektionsbereiche bzw. - Positionen pro Sekunde), ohne Einschwingzeiten des Objekttischs 1 2 abwarten zu müssen.In particular for transmitted light examinations, the motion blur can also be reduced effectively by shortening the detection period t detetlon . If a CCD camera is used which has a so-called electronic shutter, ie an electronic shutter, the detection time period t detektlon , ie the time period during which the incident light is collected on the CCD chip, can be set to, for example, 0. Shorten 1 msec. A possibly reduced CCD detection signal strength can often be raised again by a correspondingly increased lighting level. The very short detection time allows an image to be taken before the stage 1 2 has swung or settled and is therefore stable, since, as with pulse lighting, any residual movement is "frozen" to a certain extent. As a result, the image can be recorded at the maximum shift frequency determined by the object table 12 (typically approximately 10 detection areas or positions per second) without having to wait for the object table 12 to settle.
In Figur 2 ist schematisch die Anordnung eines Beleuchtungsmanipulators 24 in dem Beleuchtungsstrahlengang des Mikroskopsystems dargestellt. Mittels eines Linsensystems 26 wird parallel zur optischen Achse des Mikroskopsystems gerichtetes Anregelicht von einer Lichtquelle 28, die in einem Lampenhaus 30 eingebaut ist, erzeugt. Das Anregelicht trifft auf eine erste Sammellinse 32 des Beleuchtungsmanipulators 24, welcher als ein afokales Relay-System ausgeführt ist. Die Sammellinse 32 fokussiert das parallele Lichtbündel in einen Brennpunkt auf der optischen Achse des Mikroskopsystems, welcher um den Abstand f2 von der Hauptebene der Sammellinse 32 entfernt ist. Dieser Brennpunkt fällt mit dem Brennpunkt einer zweiten Sammellinse 34 des Beleuchtungsmanipulators 24 zusammen, welcher nachfolgend wiederum ein zur optischen Achse paralleles Lichtbündel erzeugt, welches weiter in Richtung Mikroskop gerichtet ist. Da die Brennweite i der Sammellinse 34 kleiner als die Brennweite f2 der Sammellinse 32 ist, wird der ursprüngliche Anregungsstrahldurchmesser D2 auf den Durchmesser D, komprimiert, wobei 0^ 02 ^.FIG. 2 schematically shows the arrangement of an illumination manipulator 24 in the illumination beam path of the microscope system. By means of a lens system 26, control light directed parallel to the optical axis of the microscope system is generated by a light source 28 which is installed in a lamp house 30. The control light strikes a first converging lens 32 of the lighting manipulator 24, which is designed as an afocal relay system. The Collecting lens 32 focuses the parallel light beam into a focal point on the optical axis of the microscope system, which is at a distance f 2 from the main plane of the collecting lens 32. This focal point coincides with the focal point of a second converging lens 34 of the illumination manipulator 24, which in turn subsequently generates a light bundle parallel to the optical axis, which is directed further towards the microscope. Since the focal length i of the converging lens 34 is smaller than the focal length f 2 of the converging lens 32, the original excitation beam diameter D 2 is compressed to the diameter D 1, where 0 ^ 0 2 ^.
Demgemäß kann ein Mikroskopsystem 1 0 zur optischen Abtastung von Objekten, insbesondere unter Fluoreszenzbedingungen bzw. -anregung, zumindest eine Objektbeleuchtungseinrichtung 28, zumindest eine erste Bilddetektionseinrichtung zur Detektion eines ersten Detektionsbereichs des Objekts und eine zweite Bildde- tektionseinrichtung zur Detektion eines zweiten Detektionsbereichs umfassen, welcher den ersten Detektionsbereichs im wesentlichen umfaßt, wobei die Objektbeleuchtungseinrichtung 28 einen Beleuchtungsmanipulator 24 zur selektiven Beleuchtung des ersten und/oder des zweiten Detektionsbereichs umfaßt. Der Beleuchtungsmanipulator 24 ermöglicht es demgemäß, den gesamten zweiten Detektionsbereich oder lediglich den ersten Detektionsbereich gezielt zu beleuchten.Accordingly, a microscope system 10 for optically scanning objects, in particular under fluorescence conditions or excitation, can include at least one object illumination device 28, at least one first image detection device for detecting a first detection area of the object and a second image detection device for detection of a second detection area, which essentially comprises the first detection area, the object illumination device 28 comprising an illumination manipulator 24 for selectively illuminating the first and / or the second detection area. The lighting manipulator 24 accordingly makes it possible to selectively illuminate the entire second detection area or only the first detection area.
Die erste Bilddetektionseinrichtung kann eine CCD-Kamera, die zweite Bilddetektionseinrichtung ein Okular zum direkten optischen Betrachten und der Beleuch- tungsmanipulator 24 ein afokales Relay-System bzw. einen Strahlkompressor umfassen. Der Beleuchtungsmanipulator 24 gestattet es demgemäß, den kleinen (ersten) Detektionsbereich der CCD-Kamera selektiv zu beleuchten, ohne gleichzeitig die durch das Okular des Mikroskopsystems sichtbaren umliegenden bzw. anderen Teile des (zweiten) Detektionsbereichs mitbeleuchten zu müssen. Die Verwendung eines afokalen Relay-Systems bzw. eines Strahlkompressors ermöglicht somit vorteilhafterweise eine Konzentration der Anregungsbeleuchtung auf den für eine Detektion mit der CCD-Kamera maßgeblichen (ersten) Detektionsbereich. Im Falle einer Fluoreszenzdetektion von Fluoreszenzfarbstoffen, beispiels- weise von entsprechend präparierten mikrobiologischen Objekten, wird durch diese Ausführungsform vorteilhafterweise ein unnötig schnelles Ausbleichen der Fluoreszenzfarbstoffe durch ein unnötig großes beleuchtetes Bildfeld vermieden.The first image detection device can comprise a CCD camera, the second image detection device an eyepiece for direct optical viewing and the lighting manipulator 24 an afocal relay system or a beam compressor. The illumination manipulator 24 accordingly allows the small (first) detection area of the CCD camera to be illuminated selectively without simultaneously having to also illuminate the surrounding or other parts of the (second) detection area visible through the eyepiece of the microscope system. The use of an afocal relay system or a beam compressor thus advantageously enables the excitation lighting to be concentrated on the (first) detection area which is decisive for detection with the CCD camera. In the case of fluorescence detection of fluorescent dyes, for example of appropriately prepared microbiological objects, this embodiment advantageously avoids unnecessarily rapid bleaching of the fluorescent dyes by an unnecessarily large illuminated image field.
Eine andere Lösung, das Kamerabild an die ausgeleuchtete Fläche des Objekts anzupassen und damit das Anregungslicht optimal zu nutzen, ist einen um den Faktor M verkleinernden Kameraadapter zu verwenden. Hierdurch wird der von der Kamera erfaßte Bildbereich um denselben Faktor M vergrößert. Die Diskrepanz zwischen dem ausgeleuchteten Okularbildfeld und dem Kamerabildfeld reduziert sich entsprechend. Das (größere) Okularbildfeld bleibt unverändert voll ausgeleuchtet.Another solution to adapt the camera image to the illuminated surface of the object and thus to optimally use the excitation light is to use a camera adapter that reduces the factor M. As a result, the image area captured by the camera is enlarged by the same factor M. The discrepancy between the illuminated eyepiece image field and the camera image field is reduced accordingly. The (larger) eyepiece field remains fully illuminated.
Figur 3 zeigt schematisch einen Teil des Strahlengangs einer weiteren Ausführungsform des erfindungsgemäßen Mikroskopsystems. Hierbei werden drei ver- schiedene und getrennt ansteuerbare Bilddetektionseinrichtungen eingesetzt, die als erste 40, zweite 42 und dritte 44 CCD-Kamera ausgebildet sind. Eine Objektbeleuchtungseinrichtung 46, die aus einer Lichtquelle und einem Linsensystem besteht, erzeugt mittels eines ersten Strahlteilers 48 eine Auflichtbeleuchtung auf ein nicht dargestelltes mikroskopisches Objekt.FIG. 3 schematically shows part of the beam path of a further embodiment of the microscope system according to the invention. Here, three different and separately controllable image detection devices are used, which are designed as first 40, second 42 and third 44 CCD cameras. An object lighting device 46, which consists of a light source and a lens system, generates incident light illumination on a microscopic object, not shown, by means of a first beam splitter 48.
Wenn unterschiedliche optische Wellenlängenbereiche durch die Bilddetektionseinrichtungen 40, 42 und 44 gleichzeitig detektiert werden sollen, ist der erste Strahlteiler 48 als ein Drei-Band-Strahlteiler (Triple Band Beam Splitter) ausgebildet, welcher eine hohe Transmission in den optischen Wellenlängenbereichen F F2 und F3 aufweist. In Verbindung mit der Objektbeleuchtungseinrichtung 46 kann der Strahlteiler 48 beispielsweise zur Simultananregung mehrerer Fluoreszenzfarbstoffe bzw. Fluorochrome in diesen Wellenlängenbereichen dienen.If different optical wavelength ranges are to be detected simultaneously by the image detection devices 40, 42 and 44, the first beam splitter 48 is designed as a three-band beam splitter (triple band beam splitter), which has a high transmission in the optical wavelength ranges FF 2 and F 3 having. In conjunction with the object lighting device 46, the beam splitter 48 can be used, for example, for the simultaneous excitation of a plurality of fluorescent dyes or fluorochromes in these wavelength ranges.
Im Detektions- bzw. Nachweisstrahlengang des Mikroskopsystems sind zwei weitere Strahlteiler 50, 52 angeordnet, die das zu detektierende Licht des Detektionsbereichs des Objekts auf die CCD-Kameras 40, 42 und 44 verteilen. Im Fall der beschriebenen simultanen Detektion von mehreren "Farbkanälen" erfolgt eine spektrale Aufspaltung des detektierten Lichts durch eine Verwendung von dichroi- tischen Strahlteilern. So weist der Strahlteiler 50 einen großen Transmissionskoeffizienten in dem Wellenlängenbereich F^ auf, reflektiert jedoch die Wellenlängenbereich F2 und F3 effektiv. Hierdurch gelangt lediglich zu detektierendes Licht im Wellenlängenbereich F auf die erste CCD-Kamera 40. Der zweite dichroitische Strahlteiler 50 hingegen weist einen hohen Transmissionskoeffizienten im Wellenlängenbereich F3 auf und einen großen Reflexionskoeffizienten im Wellenlängenbereich F2. Demgemäß fällt zu detektierendes Licht im Wellenlängenbereich F2 auf die zweite CCD-Kamera 42, während zu detektierendes Licht im Wellenlängenbereich F3 auf die dritte CCD-Kamera 44 fällt. Besonders vorteilhaft ist es, diese Strahlteiler auf die verwendeten Fluoreszenzfarbstoffe in ihren spektralen Eigenschaften gezielt anzupassen. Unter eventueller Verwendung von angepaßten Doppel- oder Dreifachanregungsfiltern kann so das Fluoreszenzsignal mehrerer Fluoreszenzfarbstoffe gleichzeitig nachgewiesen werden. Eine herkömmliche sequentielle und damit zeitraubende Detektion des gleichen Detektionsbereichs eines Objekts in verschiedenen Wellenlängenbereichen ist somit hinfällig, da eine Parallelisierung durch eine Mehrkanalaufnahme eine gleichzeitige Detektion der Fluoreszenzsignale in allen relevanten Wellenlängenbereichen ermöglicht.Two further beam splitters 50, 52 are arranged in the detection or detection beam path of the microscope system, which distribute the light to be detected from the detection area of the object to the CCD cameras 40, 42 and 44. In the case of the described simultaneous detection of several "color channels", the detected light is spectrally split by using dichroic table beam splitters. For example, the beam splitter 50 has a large transmission coefficient in the wavelength range F 1, but effectively reflects the wavelength range F 2 and F 3 . As a result, only light to be detected in the wavelength range F reaches the first CCD camera 40. The second dichroic beam splitter 50, on the other hand, has a high transmission coefficient in the wavelength range F 3 and a large reflection coefficient in the wavelength range F 2 . Accordingly, light to be detected in the wavelength range F 2 falls on the second CCD camera 42, while light to be detected in the wavelength range F 3 falls on the third CCD camera 44. It is particularly advantageous to specifically adapt these beam splitters to the fluorescent dyes used in their spectral properties. With the use of matched double or triple excitation filters, the fluorescence signal of several fluorescent dyes can be detected simultaneously. A conventional sequential and therefore time-consuming detection of the same detection range of an object in different wavelength ranges is therefore no longer necessary, since parallelization by means of a multi-channel recording enables simultaneous detection of the fluorescence signals in all relevant wavelength ranges.
Einer Verwendung einer einzigen, spektral empfindlichen Bilddetektionseinrichtung ist die erfindungsgemäße Mehrkanalaufnahme mit unterschiedlichen Bilddetektionseinrichtungen überlegen. So können bei der Verwendung von mehreren Bilddetektionseinrichtungen die Detektionsparameter der Bilddetektionseinrichtungen, insbesondere die Integrationszeit, unabhängig voneinander eingestellt werden. Dies ist insbesondere bei der Detektion von einzelnen Fluorochromen bei der Fluo- reszenzmikroskopie von biologischem Material von Vorteil, da sich hier die Fluoreszenzintensitäten der einzelnen Fluorochromen oft um Größenordnungen unterscheiden. Ferner können die optischen Wellenlängenbereiche, welche zu detektieren sind, abhängig von der gewünschten Aufgabe individuell festgelegt werden, während sie bei einer Farbkamera fest vorgegeben sind. Ferner können hoch- auflösende CCD-Kameras zum Einsatz kommen, deren Pixelzahlen diejenigen von Farbkameras deutlich übersteigen.The use of a single, spectrally sensitive image detection device is superior to the multi-channel recording according to the invention with different image detection devices. When using a plurality of image detection devices, the detection parameters of the image detection devices, in particular the integration time, can be set independently of one another. This is particularly advantageous for the detection of individual fluorochromes in the fluorescence microscopy of biological material, since the fluorescence intensities of the individual fluorochromes often differ by orders of magnitude. Furthermore, the optical wavelength ranges that are to be detected can be individually determined depending on the desired task, while they are predefined in a color camera. Furthermore, high-resolution CCD cameras can be used, the number of pixels of which clearly exceeds that of color cameras.
Eine weitere Anwendungsmöglichkeit derartiger simultaner Detektions- bzw. Aufnahmekanäle mittels einer Vielzahl von Bilddetektionseinrichtungen besteht in der "tiefenaufgelösten" Detektion von "dicken" Objekten. Insbesondere bei mikroskopischen Präparaten ist es nämlich oft wünschenswert, Bilder aus unterschiedlichen Tiefenschichten des Präparats zu erhalten, d.h. aus Objektebenen, die in z- Richtung voneinander beabstandet sind. Eine Detektion in unterschiedlichen Fokusebenen kann auch erforderlich sein, um die Detektionssignale aus allen relevanten Objektschichten zu erfassen. Beispiele hierfür sind Gewebeschnitte oder Interphasekerne. Verwendet man beispielsweise drei Detektionskanäle, die jeweils ca. 1 /3 des Gesamtsignals empfangen und die auf unterschiedliche Fokusebenen justiert sind, so können drei Fokusebenen gleichzeitig aufgenommen werden. Das Prinzip ist auch auf mehr als drei Bilddetektionseinrichtungen erweiterbar. Die optische Abtastgeschwindigkeit für N erforderliche Fokusebenen läßt sich auf diese Weise um einen Faktor, welcher der Zahl der Aufnahmekanäle entspricht, reduzieren, soweit die Gesamtintensität des Detektionssignals dies im Hinblick auf die Empfindlichkeit der verwendeten Bilddetektionseinrichtungen zuläßt.Another possible application of such simultaneous detection or Recording channels by means of a large number of image detection devices consists in the "depth-resolved" detection of "thick" objects. In the case of microscopic specimens in particular, it is often desirable to obtain images from different depth layers of the specimen, ie from object planes that are spaced apart in the z direction. Detection in different focal planes may also be necessary to detect the detection signals from all relevant object layers. Examples of this are tissue sections or interphase cores. If, for example, three detection channels are used, each of which receives approx. 1/3 of the total signal and which are adjusted to different focal planes, three focal planes can be recorded simultaneously. The principle can also be extended to more than three image detection devices. The optical scanning speed for N required focal planes can be reduced in this way by a factor which corresponds to the number of recording channels, insofar as the total intensity of the detection signal allows this with regard to the sensitivity of the image detection devices used.
Die beschriebene Detektion in den unterschiedlichen Fokusebenen kann mit einem Mikroskopsystem erfolgen, welches schematisch in Figur 3 dargestellt ist. Soll keine zusätzliche simultane Aufnahme mehrerer Farbkanäle erfolgen, wie sie oben beschrieben wurde, werden farbneutrale Strahlteiler 50, 52 eingesetzt, welche das Detektionslicht ohne Farbaufspaltung geeignet auf die CCD-Kameras 40, 42 und 44 verteilen. Insbesondere spalten die Strahlteiler 50, 52 das optische Eingangssignal in zwei Strahlenbündel mit typischerweise 50% der Eingangssignalstärke auf. Um verschiedene Fokusebenen des Objekts mit den CCD-Kameras 40, 42 und 44 scharf bzw. fokussiert abzubilden, können die geometrischen Weglängen entlang der jeweiligen Detektionspfade von den jeweiligen CCD-Kameras 40, 42 und 44 zu einer Objektebene unterschiedlich lang gewählt werden. In Figur 3 weist beispielsweise die CCD-Kamera 40 eine kürzere geometrische Weglänge zu dem Objekt als diejenige der CCD-Kameras 42 und 44 auf. So ist der geometrische Abstand entlang der jeweiligen Detektionspfade von dem Strahlteiler 50, bei welchem sich der gemeinsame Detektionsstrahlengang der verschiedenen CCD- Kameras teilt, zu der CCD-Kamera 40 kürzer als zu den CCD-Kameras 42 und 44. Dies hat zur Folge, daß die CCD-Kamera 40 eine Fokusebene des Objekts scharf bzw. fokussiert abbildet, welche sich geringfügig gegenüber der Fokusebene unterscheiden wird, welche durch die Kameras 42 und 44 abgebildet wird. Eventuell zusätzlich oder auch anstelle des oben beschriebenen relativen Versatzes der CCD-Kameras können auch (nicht dargestellte) Zusatzoptiken vor zumindest einer der CCD-Kameras eingesetzt werden, um so die Festlegung der gewünschten Fokusebene zu bewirken.The detection described in the different focal planes can be carried out with a microscope system, which is shown schematically in FIG. 3. If no additional simultaneous recording of several color channels is to take place, as was described above, color-neutral beam splitters 50, 52 are used, which suitably distribute the detection light to the CCD cameras 40, 42 and 44 without color splitting. In particular, the beam splitters 50, 52 split the optical input signal into two beams with typically 50% of the input signal strength. In order to depict different focal planes of the object with the CCD cameras 40, 42 and 44 in a focused or focused manner, the geometrical path lengths along the respective detection paths from the respective CCD cameras 40, 42 and 44 to an object plane can be selected to be of different lengths. In FIG. 3, for example, the CCD camera 40 has a shorter geometric path length to the object than that of the CCD cameras 42 and 44. Thus, the geometric distance along the respective detection paths from the beam splitter 50, at which the common detection beam path of the various CCD cameras is divided, to the CCD camera 40 is shorter than to the CCD cameras 42 and 44. This has the consequence that the CCD camera 40 sharpens a focal plane of the object or focused, which will differ slightly from the focus plane, which is imaged by the cameras 42 and 44. Possibly additionally or also instead of the relative offset of the CCD cameras described above, additional optics (not shown) can also be used in front of at least one of the CCD cameras in order to thus determine the desired focal plane.
Die analogen Kameraausgänge der CCD-Kameras 40, 42 und 44 können jeweils mit Signaleingängen einer (nicht dargestellten) Digitalisiereinrichtung bzw. -modul verbunden sein, welche für eine Multiplexverarbeitung von analogen Kamerasignalen ausgelegt ist. Eine solche Multiplexverarbeitung der einzelnen Kamerasignale ermöglicht vorteilhafterweise die kostengünstige Verwendung eines einzigen Digitalisiermoduls für mehrere Bilddetektionseinrichtungen. Zwar können in dieser Konfiguration die Signale der CCD-Kameras nicht zum gleichen Zeitpunkt ausgelesen und digitalisiert werden, jedoch bedeutet dies keine praktische Einschränkung. Zum einen ist die Auslesezeit einer CCD-Kamera mit einem Wert von typischerweise 0, 1 Sekunden in der Regel kürzer als typische Detektionszeitdauern. Ferner sind die Detektionszeitdauern für verschiedene Fluoreszenzfarbstoffe unterschiedlich lang, so daß das CCD-Kamerasignal des signalstärkeren Fluo- reszenzfarbstoffs bereits ausgelesen werden kann, während die andere CCD- Kamera das intensitätsschwächere Signal noch detektiert und integriert. Durch eine geeignete Steuerung dieses Ablaufs läßt sich erreichen, daß die Gesamtaufnahmezeit nur durch die erforderliche Detektionszeit für den intensitätsschwäche- sten Fluoreszenzfarbstoff begrenzt wird. The analog camera outputs of the CCD cameras 40, 42 and 44 can each be connected to signal inputs of a digitizing device or module (not shown) which is designed for multiplex processing of analog camera signals. Such multiplex processing of the individual camera signals advantageously enables the cost-effective use of a single digitizing module for several image detection devices. In this configuration, the signals from the CCD cameras cannot be read out and digitized at the same time, but this does not imply any practical limitation. On the one hand, the readout time of a CCD camera with a value of typically 0.1 seconds is generally shorter than typical detection times. Furthermore, the detection times for different fluorescent dyes are of different lengths, so that the CCD camera signal of the stronger fluorescent dye can already be read out, while the other CCD camera still detects and integrates the weaker signal. By appropriately controlling this sequence, it can be achieved that the total exposure time is only limited by the required detection time for the weakest-intensity fluorescent dye.

Claims

Ansprüche Expectations
1 . Mikroskopsystem zur optischen Abtastung von Objekten, insbesondere unter Fluoreszenzbedingungen, welches zumindest zwei bevorzugt elektrische, elektronische und/oder fotographische Bilddetektionseinrichtungen (40, 42, 44) umfaßt, die zur gleichzeitigen speicherfähigen Detektion eines Detektionsbereichs des Objekts ausgelegt sind.1 . Microscope system for the optical scanning of objects, in particular under fluorescence conditions, which comprises at least two preferably electrical, electronic and / or photographic image detection devices (40, 42, 44) which are designed for the simultaneous storage-capable detection of a detection area of the object.
2. Mikroskopsystem nach Anspruch 1 , wobei die Bilddetektionseinrichtungen (40, 42, 44) zumindest eine vorzugsweise hochauflösende CCD-Kamera umfassen und/oder ausgelegt sind, daß jeweilige Detektionszeitdauern unabhängig voneinander einstellbar sind.2. Microscope system according to claim 1, wherein the image detection devices (40, 42, 44) comprise at least one preferably high-resolution CCD camera and / or are designed such that respective detection times can be set independently of one another.
3. Mikroskopsystem nach Anspruch 1 oder 2, wobei eine erste (40) der Bilddetektionseinrichtungen (40, 42, 44) den Detektionsbereich in einer ersten Objektfokusebene und eine zweite (42) der Bilddetektionseinrichtungen (40, 42, 44) den Detektionsbereich in einer zweiten Objektfokusebene detektiert, wobei die erste und die zweite Objektfokusebene relativ zueinander entlang einer optischen Detektionsachse des Mikroskopsystems versetzt sind.3. Microscope system according to claim 1 or 2, wherein a first (40) of the image detection devices (40, 42, 44) the detection area in a first object focus plane and a second (42) of the image detection devices (40, 42, 44) the detection area in a second Object focus plane is detected, the first and the second object focus plane being offset relative to one another along an optical detection axis of the microscope system.
4. Mikroskopsystem nach Anspruch 3, wobei die erste (40) und die zweite (42) Bilddetektionseinrichtung um unterschiedliche geometrische Weglängen entlang der jeweiligen optischen Detektionspfade von der ersten Objektfokusebene beabstandet sind.4. Microscope system according to claim 3, wherein the first (40) and the second (42) image detection device are spaced apart from the first object focus plane by different geometric path lengths along the respective optical detection paths.
5. Mikroskopsystem nach Anspruch 3 oder 4, wobei zumindest eine der Bilddetektionseinrichtungen (40, 42, 44) eine Zusatzoptik zur Einstellung der jeweiligen Objektfokusebene umfaßt.5. Microscope system according to claim 3 or 4, wherein at least one of the image detection devices (40, 42, 44) has additional optics for setting the respective object focus level.
6. Mikroskopsystem nach einem der vorangegangenen Ansprüche, wobei eine erste (40) der Bilddetektionseinrichtungen (40, 42, 44) zur Detektion eines ersten und eine zweite (42) der Bilddetektionseinrichtungen (40, 42, 44) zur Detektion eines zweiten optischen Wellenlängenbereichs ausgelegt ist.6. Microscope system according to one of the preceding claims, wherein a first (40) of the image detection devices (40, 42, 44) for detecting a first and a second (42) of the image detection devices (40, 42, 44) for detecting a second optical wavelength range is.
7. Mikroskopsystem nach Anspruch 6, wobei die erste Bilddetektionseinrichtung (40) eine erste Kamera und einen dichroitischen Strahlteiler (50) und die zweite Bilddetektionseinrichtung (42) eine zweite Kamera umfaßt, wobei der Strahlteiler (50) derart ausgelegt und im Detektionsstrahlengang angeordnet ist, daß Detektionsstrahlen des Detektionsbereichs in dem ersten Wellenlängenbereich per Transmission durch den Strahlteiler (50) auf die erste Kamera und Detektionsstrahlen des Detektionsbereichs in dem zweiten Wellenlängenbereich per Reflexion an dem Strahlteiler (50) auf die zweite Kamera fallen.7. microscope system according to claim 6, wherein the first image detection device (40) comprises a first camera and a dichroic beam splitter (50) and the second image detection device (42) comprises a second camera, the beam splitter (50) being designed and arranged in the detection beam path, that detection beams of the detection range in the first wavelength range are transmitted by the beam splitter (50) to the first camera and detection beams of the detection range in the second wavelength range are reflected by the beam splitter (50) to the second camera.
8. Mikroskopsystem zur optischen Abtastung von Objekten, insbesondere unter Fluoreszenzbedingungen, bevorzugt nach einem der vorangegangenen Ansprüche, welches zumindest eine Objektbeleuchtungseinrichtung ( 14, 1 6; 46), zumindest eine Bilddetektionseinrichtung (20, 22; 40, 42, 44) zur Detektion von Detektionsbereichen des Objekts innerhalb einer Detektions- zeitdauer tdetektion und eine Objektverschiebeeinrichtung (1 2) zur Verschiebung des Objekts umfaßt, wobei die Objektverschiebeeinrichtung (1 2) zu einer Verschiebung des Objekts mit einer vorbestimmten Geschwindigkeit ausgelegt ist, so daß nach einer Verschiebezeit tverschieb das Objekt um einen Detektionsbereich verschoben ist, wobei tdetektjon einen Bruchteil von tverschieb beträgt.8. microscope system for optical scanning of objects, in particular under fluorescence conditions, preferably according to one of the preceding claims, which at least one object illumination device (14, 1 6; 46), at least one image detection device (20, 22; 40, 42, 44) for the detection of Detection areas of the object within a detection period t detection and comprises an object shifting device (1 2) for shifting the object, the object shifting device (1 2) being designed for shifting the object at a predetermined speed, so that after a shifting time t the shift Object is shifted by a detection range, where t detektjon is a fraction of t shift .
9. Verfahren zur optischen Abtastung von Objekten, insbesondere unter Fluoreszenzbedingungen, mittels eines Mikroskopsystems, insbesondere nach einem der Ansprüche 1 bis 8, wobei ein Detektionsbereich des Objekts mit zumindest zwei Bilddetektionseinrichtungen (40, 42, 44) gleichzeitig spei- cherfähig detektiert wird.9. A method for optically scanning objects, in particular under fluorescence conditions, by means of a microscope system, in particular according to one of claims 1 to 8, wherein a detection area of the object is fed with at least two image detection devices (40, 42, 44) simultaneously. capable of being detected.
10. Verfahren nach Anspruch 9, wobei die Bilddetektionseinrichtungen (40, 42, 44) den Detektionsbereich gleichzeitig in zumindest zwei unterschiedlichen Objektfokusebenen detektieren, welche entlang einer optischen Detektionsachse des Mikroskopsystems versetzt sind, und/oder den Detektionsbereich in zumindest zwei zumindest bereichsweise unterschiedlichen optischen Wellenlängenbereichen detektieren.10. The method according to claim 9, wherein the image detection devices (40, 42, 44) simultaneously detect the detection area in at least two different object focus planes which are offset along an optical detection axis of the microscope system, and / or the detection area in at least two at least two different optical wavelength ranges detect.
1 1 . Verwendung der Vorrichtung nach einem der Ansprüche 1 bis 8 zur Detektion von markiertem, insbesondere fluoreszenzmarkiertem biologischem Material in einer Probe, wobei das biologische Material insbesondere Zellen und/oder Bestandteile davon umfaßt.1 1. Use of the device according to one of claims 1 to 8 for the detection of labeled, in particular fluorescence-labeled biological material in a sample, the biological material in particular comprising cells and / or components thereof.
1 2. Verwendung nach Anspruch 1 1 , wobei das Verhältnis von nicht-markiertem zu dem markierten biologischen Material mehr als 1 04, insbesondere mehr als 1 06 beträgt.1 2. Use according to claim 1 1, wherein the ratio of unlabelled to the labeled biological material is more than 1 0 4 , in particular more than 1 0 6 .
1 3. Verwendung nach einem der Ansprüche 1 1 oder 1 2, wobei das biologische Material durch mehrere unterschiedliche Markierungen, insbesondere Fluoreszenzmarkierungen markiert ist.1 3. Use according to one of claims 1 1 or 1 2, wherein the biological material is marked by several different labels, in particular fluorescent labels.
14. Verwendung nach einem der Ansprüche 1 1 bis 1 3, wobei das biologische Material durch Fluoreszenz-//7-s/ft/-Hybridisierung und/oder fluoreszenzmarkierte Antikörper und/oder Nukleinsäure-bindende Fluroeszenzfarbstoffe markiert ist. 14. Use according to any one of claims 1 1 to 1 3, wherein the biological material is marked by fluorescence - // 7-s / ft / hybridization and / or fluorescence-labeled antibodies and / or nucleic acid-binding fluorescent dyes.
PCT/EP2000/004115 1999-05-07 2000-05-08 Microscopic systems for optically scanning microscopic objects WO2000068667A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
AU45632/00A AU4563200A (en) 1999-05-07 2000-05-08 Microscopic systems for optically scanning microscopic objects
EP00927164A EP1177426A1 (en) 1999-05-07 2000-05-08 Microscopic systems for optically scanning microscopic objects

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE1999121127 DE19921127A1 (en) 1999-05-07 1999-05-07 Microscope systems for optical scanning of microscopic objects and methods for optical scanning
DE19921127.2 1999-05-07

Publications (1)

Publication Number Publication Date
WO2000068667A1 true WO2000068667A1 (en) 2000-11-16

Family

ID=7907326

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2000/004115 WO2000068667A1 (en) 1999-05-07 2000-05-08 Microscopic systems for optically scanning microscopic objects

Country Status (4)

Country Link
EP (1) EP1177426A1 (en)
AU (1) AU4563200A (en)
DE (1) DE19921127A1 (en)
WO (1) WO2000068667A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10065784A1 (en) * 2000-12-30 2002-07-11 Leica Microsystems Method and device for finding sample areas
DE102010036709A1 (en) * 2010-07-28 2012-02-02 Leica Microsystems Cms Gmbh Device and method for microscopic image acquisition of a sample structure

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10210831A1 (en) * 2002-03-12 2003-11-06 Zeiss Carl Optical image acquisition and evaluation system
DE10304266B9 (en) * 2003-02-03 2006-12-28 Carl Zeiss Surgical Gmbh Microscopy method and microscopy system
DE102009057985A1 (en) 2009-12-11 2011-06-16 Carl Zeiss Imaging Solutions Gmbh Electronically switchable dichroitic beam splitter i.e. transparent LCD screen, for microscope system, has mirror elements exhibiting partial different dichroitic coatings, whose reflection wavelength bands are different from each other

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1101807B (en) * 1959-05-30 1961-03-09 Zeiss Carl Fa Microscope with beam splitter for the simultaneous imaging of an object in several equivalent image planes
US4847910A (en) * 1986-06-30 1989-07-11 Hitachi, Ltd. Automatic cell sample classifying apparatus
WO1990010276A1 (en) * 1989-02-24 1990-09-07 Cell Analysis Systems, Inc. Dual color camera microscope and methodology for cell staining and analysis
US5187749A (en) * 1990-04-10 1993-02-16 Olympus Optical Co., Ltd. Virus infection examination apparatus having automatic determination function and method therefor
WO1993016439A1 (en) * 1992-02-18 1993-08-19 Neopath, Inc. Method and apparatus for rapid capture of focused microscopic images
EP0557558A1 (en) * 1992-02-26 1993-09-01 Mitsui Mining & Smelting Co., Ltd. Apparatus for inspecting the surface of materials
EP0557871A2 (en) * 1992-02-18 1993-09-01 Cell Analysis Systems, Inc. Method and apparatus for automated assay of biological specimens
US5481401A (en) * 1991-05-16 1996-01-02 Olympus Optical Co., Ltd. Ultraviolet microscope

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE6922047U (en) * 1968-11-07 1969-12-04 Quenot & Cie Sarl FASTENING ARRANGEMENT FOR A FOLDABLE HOOK AT A MEASURING TAPE END.
DE19714221A1 (en) * 1997-04-07 1998-10-08 Zeiss Carl Fa Confocal microscope with a motorized scanning table

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1101807B (en) * 1959-05-30 1961-03-09 Zeiss Carl Fa Microscope with beam splitter for the simultaneous imaging of an object in several equivalent image planes
US4847910A (en) * 1986-06-30 1989-07-11 Hitachi, Ltd. Automatic cell sample classifying apparatus
WO1990010276A1 (en) * 1989-02-24 1990-09-07 Cell Analysis Systems, Inc. Dual color camera microscope and methodology for cell staining and analysis
US5187749A (en) * 1990-04-10 1993-02-16 Olympus Optical Co., Ltd. Virus infection examination apparatus having automatic determination function and method therefor
US5481401A (en) * 1991-05-16 1996-01-02 Olympus Optical Co., Ltd. Ultraviolet microscope
WO1993016439A1 (en) * 1992-02-18 1993-08-19 Neopath, Inc. Method and apparatus for rapid capture of focused microscopic images
EP0557871A2 (en) * 1992-02-18 1993-09-01 Cell Analysis Systems, Inc. Method and apparatus for automated assay of biological specimens
EP0557558A1 (en) * 1992-02-26 1993-09-01 Mitsui Mining & Smelting Co., Ltd. Apparatus for inspecting the surface of materials

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10065784A1 (en) * 2000-12-30 2002-07-11 Leica Microsystems Method and device for finding sample areas
DE10065784C2 (en) * 2000-12-30 2003-12-04 Leica Microsystems Method for finding contact points between cells in a stimulable microscopic sample during calcium migration and scanning microscope for carrying out the method
US6878948B2 (en) 2000-12-30 2005-04-12 Leica Microsystems Heidelberg Gmbh Method and arrangement for locating specimen regions
DE102010036709A1 (en) * 2010-07-28 2012-02-02 Leica Microsystems Cms Gmbh Device and method for microscopic image acquisition of a sample structure
US9720221B2 (en) 2010-07-28 2017-08-01 Leica Microsystems Cms Gmbh Device and method for acquiring a microscopic image of a sample structure

Also Published As

Publication number Publication date
EP1177426A1 (en) 2002-02-06
DE19921127A1 (en) 2000-11-16
AU4563200A (en) 2000-11-21

Similar Documents

Publication Publication Date Title
DE102008018476B4 (en) microscopy device
EP3033646B1 (en) High-resolution scanning microscopy
EP2641078B1 (en) Microscopy with improved depth resolution
EP2350726B1 (en) Combination microscopy
DE69030703T2 (en) Method and device for measuring the optical properties of biological samples
EP2356505B1 (en) Increased resolution microscopy
EP2156235B1 (en) Microscope and method for operating a microscope
EP2718762B1 (en) High-resolution luminescence microscopy
EP1307726B2 (en) Method for detecting the wavelength-dependent behavior of an illuminated specimen
DE102015107367A1 (en) Evaluation of Fluorescence Scanning Microscopy Signals Using a Confocal Laser Scanning Microscope
EP2444832A1 (en) SPIM microscope with STED light sheet
DE10038528A1 (en) Optical detection of characteristic parameters of illuminated specimen involves computing intermediate values from signals for different displacements to increase spatial resolution
WO2017055405A1 (en) High-resolution scanning microscopy distinguishing between at least two spectral ranges
EP1302804A2 (en) Method for the optical determination of characteristical parameters of a sample
EP1873505B1 (en) Method and assembly for detecting light signals
DE10033180A1 (en) Process for optically detecting the emission and/or absorption behavior of samples used in e.g. laser scanning microscopy comprises determining a spectral centroid and/or a maximum of emission radiation and/or absorbed radiation
WO2017013033A1 (en) High-resolution spectrally selective scanning microscopy of a sample
DE102011055639B4 (en) Method and apparatus for simultaneous multi-channel and multi-method acquisition of synchronized parameters in cross-system fluorescence lifetime applications
EP1384104A2 (en) Device and method for the optical measurement of chemical and/or biological samples
EP4189358B1 (en) Method for detecting emission light, detection device and laser scanning microscope
WO2000068667A1 (en) Microscopic systems for optically scanning microscopic objects
EP0961930B1 (en) Light-scanning device
DE2742957A1 (en) MICROSCOPE
EP3329256B1 (en) Method for generating a digital fluorescence image
EP3992688B1 (en) Device and method for detecting image data

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY CA CH CN CR CU CZ DE DK DM DZ EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT TZ UA UG US UZ VN YU ZA ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW SD SL SZ TZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE BF BJ CF CG CI CM GA GN GW ML MR NE SN TD TG

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2000927164

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2000927164

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09979612

Country of ref document: US

REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

WWW Wipo information: withdrawn in national office

Ref document number: 2000927164

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: JP