WO2005017597A1 - Verfahren und system zur geräteunabhängigen bestimmung von koordinaten eines mittels eines mikroskops abgebildeten punktes - Google Patents

Verfahren und system zur geräteunabhängigen bestimmung von koordinaten eines mittels eines mikroskops abgebildeten punktes Download PDF

Info

Publication number
WO2005017597A1
WO2005017597A1 PCT/EP2004/008742 EP2004008742W WO2005017597A1 WO 2005017597 A1 WO2005017597 A1 WO 2005017597A1 EP 2004008742 W EP2004008742 W EP 2004008742W WO 2005017597 A1 WO2005017597 A1 WO 2005017597A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinates
dicom
microscope
coordinate system
point
Prior art date
Application number
PCT/EP2004/008742
Other languages
English (en)
French (fr)
Inventor
Bernd Stock
Original Assignee
Leica Microsystems Cms Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34177430&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2005017597(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Leica Microsystems Cms Gmbh filed Critical Leica Microsystems Cms Gmbh
Priority to US10/568,001 priority Critical patent/US7343257B2/en
Priority to JP2006522958A priority patent/JP2007501959A/ja
Priority to EP04763791A priority patent/EP1658521A1/de
Publication of WO2005017597A1 publication Critical patent/WO2005017597A1/de

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes

Definitions

  • the present invention relates to a method and a system for the device-independent determination of coordinates of a point imaged by means of a microscope and a calibration slide for use therefor.
  • Microscopes are often used to recognize small structures that are not visible to the naked eye and to find characteristic features in such structures.
  • a basic microscopic task in cytology, histology and pathology is to screen a preparation and search for structures, cells or cell assemblies and the like that are of interest. Once the locations of such structures have been found on the specimen, it is desirable to remember them for a variety of reasons. For example, the structure found must be found at a later point in time by the same or another user for the purpose of checking, further inspection or for reasons of quality assurance.
  • many microscopes have a unit for determining the coordinates of positions of a point in a device-dependent coordinate system. The position found can be approached again at a later time by electromechanical determination of these coordinates.
  • the coordinates are generally device-dependent, ie the coordinates for this device can only be reproduced exactly if no changes have been made in the microscope adjustment and there are no tolerances.
  • z For example, if the microscope stage is removed for a repair and reattached, it will provide different coordinates for the same location on the specimen than those originally determined.
  • the coordinate systems of different microscopes, also of the same type, are not (exactly) the same.
  • the method according to the invention provides that, initially for given object-related reference coordinates (X 1 # Yi, Zi) of at least one reference point Ei in a DI-COM coordinate system, the associated device coordinates (xi / Yi i Zi) of the at least one shown reference point E in a device-dependent one Coordinate system are determined and from this a transformation rule ⁇ for converting device-dependent coordinates (x, y, z) into the coordinates (X, Y, Z) of the DICOM coordinate system is determined.
  • the device coordinates (x P , y P , z P ) of an imaged point P are determined using the transforms found ons rule ⁇ converted into device-independent coordinates (X P , Y P , Z P ) of the DICOM coordinate system.
  • DICOM Digital Imaging and Communications in Medicine
  • DICOM is among others known in the United States, Europe and Japan.
  • the DICOM Committee set a standard in Supplement 15 for images obtained with visible light in endoscopy, microscopy and photography (Supplement 15: Visible Light Image for Endoscopy, Microscopy and Photography).
  • Supplement 15 Visible Light Image for Endoscopy, Microscopy and Photography.
  • the microscope coordinate system is calibrated in such a way that a transformation rule for converting device-dependent coordinates into device-independent coordinates of the DICOM coordinate system is determined.
  • the coordinates of any point shown can be transformed into device-independent coordinates of the DICOM coordinate system using this transformation rule.
  • the latter coordinates can then be approached again at a later point in time or by another user, also on a different microscope, whereby the other device must of course also contain a calibration option for the DICOM coordinate system.
  • a calibration slide is used for the calibration step for specifying reference coordinates of the at least one reference point E1 used.
  • this calibration slide has calibration crosses that mark the specified reference points.
  • calibration crosses corresponding to reference points Ei, E 2 and E 3 are attached to a calibration slide (calibration slide).
  • the (X, Y, Z) coordinates of these reference or calibration points Ei to E 3 are fixed. They refer to the zero point of the DICOM coordinate system, which can lie on an outer corner of the slide.
  • the calibration points E to E n (n ⁇ 1) are approached with the microscope stage and the respective (x i ⁇ ⁇ , z ⁇ ), ..., (x n , y n , z n ) value is in the native, that is, the device-dependent coordinate system of the microscope used was recorded and stored.
  • the (X, Y, Z) values in the DICOM coordinate system and, after measurement, the (x, y, z) values in the native coordinate system are known, so that a transformation rule for converting device-dependent coordinates using standard methods in the device-independent coordinates of the DICOM coordinate system can be calculated.
  • the transformation method for the (x, y) coordinates is that of the over-determined affine transformation.
  • the Z zero point of the DICOM coordinate system lies on the surface of the slide (without cover glass). Since the native Z coordinates are also included in the calibration described above, the z value can also be transferred to the DICOM coordinate system. There are essentially two different types of Z calibration.
  • a simple transformation rule is averaging, in which the z-coordinates of the reference points mentioned are averaged and this mean value to the zero point in the z direction.
  • the calculated mean of the z coordinates corresponds to the zero point in the DICOM coordinate system.
  • a calibration slide with at least one reference point with predetermined reference coordinates is proposed in a DICOM coordinate system.
  • calibration crosses are present on this calibration slide, which represent the reference points for the method according to the invention.
  • the zero point lies on one of the outer corners of the rectangular calibration slide. It is particularly advantageous if the calibration slide corresponds in size and shape to a known type of slide as used in microscopy.
  • the invention provides that a computer unit is provided which consists of device coordinates ( xi, yi, z x ) at least one imaged reference point Ei and associated predefined object-related reference coordinates (Xi, Y 1 # Z x ) in a DICOM coordinate system calculates a transformation rule for converting device-dependent coordinates into coordinates of the DICOM coordinate system.
  • the computer unit for calculating the transformation rule can be integrated in the microscope or be part of a peripheral computer.
  • device-dependent coordinates can be transformed into device-independent coordinates of the DICOM coordinate system.
  • the determined transformation rule ⁇ is applied to the coordinates (x p , y p , z p ) of any point P depicted and the corresponding coordinates (X P , Y P , Z P ) are calculated in the device-independent DICOM coordinate system.
  • the computer program can be stored on data carriers, such as CD-ROMs, EEPROMs or also in the form of flash memories, or can be downloaded into the main memory via various computer networks (such as intranet or Internet).
  • data carriers such as CD-ROMs, EEPROMs or also in the form of flash memories
  • the computer program runs, for example, after placing a calibration slide with a DICOM coordinate system on the microscope table, the reference points applied in the form of calibration crosses are (automatically) measured in the device-dependent coordinate system and the corresponding coordinates are determined. After preferably three or more such reference points have been measured, the computer program starts the calculation of the transformation rule. A sample is then examined with this microscope and the device coordinates of a point of interest are automatically converted by the computer program into the device-independent coordinates of the DICOM coordinate system using the transformation rule.
  • the computer program can control the entire process described by interaction with the user or automatically execute certain sections of the method in the form of program modules.
  • Figure 1 shows a system according to the invention for the device-independent determination of coordinates of a point to be imaged with a microscope in a schematic view;
  • Figure 2 shows a calibration slide according to the invention and a microscope image with a schematically shown Part of the unit for determining device coordinates for determining the transformation rule ⁇ ;
  • FIG 3 shows a depicted point P in the device-dependent coordinate system and in the DICOM coordinate system.
  • FIG. 1 shows in a very schematic form a microscope 1 with an objective 7 for the enlarged image of object structures which are carried by an object carrier 6.
  • object structures can be cells or cell assemblies, but also technical structures such as semiconductor structures. Accordingly, the applications of microscopy range from the medical field (cytology, histology, pathology) to the technical field (e.g. wafer production or nanotechnology). In these areas of use, it is necessary that abnormalities or errors in the structures can be marked and found again later or by another user.
  • a computer unit 2 is often connected to the microscope 1 or to a microscope camera 11 in order to be able to further process and store microscope images.
  • the microscope images 8 can be viewed on a monitor 10 of the computer unit 2 and that at least part of the unit 4 for determining device coordinates (coordinates in the microscope image) is also present in the computer unit 2.
  • the slide 6 is often applied to a microscope stage 5 by vacuum suction, the microscope stage 5 generally being adjustable in its spatial position.
  • a complete shot (oneshot) or a scan can be performed to examine the object structures.
  • the image data transmitted from the microscope 1 or from the microscope camera 11 to the computer unit 2 are displayed in a device-dependent coordinate system on the monitor 10 of the computer unit 2, the corresponding coordinates, for example, by clicking on a specific point in the displayed image using a mouse 12 this point can be determined in the microscope system and displayed and saved.
  • the computer unit 2 has a computer program which can derive a transformation rule ⁇ from coordinates of one or more depicted reference points and the associated known predetermined reference coordinates based on a DICOM coordinate system on the slide 6, by means of which device-dependent coordinates in coordinates of a DICOM Coordinate system can be converted (an example of such a computer program can be found at the end of this description).
  • a transformation rule ⁇ from coordinates of one or more depicted reference points and the associated known predetermined reference coordinates based on a DICOM coordinate system on the slide 6, by means of which device-dependent coordinates in coordinates of a DICOM Coordinate system can be converted (an example of such a computer program can be found at the end of this description).
  • it makes sense to calibrate the system by using a calibration slide 3 with at least one reference point in a DICOM coordinate system as a slide in order to calculate the transformation rule on the basis of the reference point (s) shown.
  • the device-independent determination of coordinates of a depicted point which represents, for example, a malfunction, an abnormality or an error, is of enormous advantage for the reliable retrieval of the point. This enables reliable retrieval despite tolerances in the same or in the same devices, for example in the late check on the same device or on a device of the same type, but also during the later examination on another device or in remote microscopy (telepathology or remote diagnostics or operations).
  • FIG. 2 shows a calibration slide 3 with a DICOM (XY) coordinate system and the associated microscope image 8 with a device-dependent (xy) coordinate system.
  • the transformation rule ⁇ establishes the relationship between the two coordinate systems.
  • the calibration slide 3 (calibration slide) according to the invention shows six calibration crosses 9, corresponding to points Ei to E 6 in a DICOM coordinate system X, Y, Z, the zero point being in the upper left corner of the calibration slide 3.
  • the Z coordinate is not considered below. Z calibration options are given above in this description.
  • the calibration slide 3 is first applied to the microscope stage 5 and a microscope image 8 is generated by means of the microscope 1 and the computer unit 2. Such a microscope image 8 with a device-dependent coordinate system x, y is shown in the lower half of FIG.
  • the corresponding device coordinates (xi, yi) to (x 6 , ⁇ &) to the calibration crosses shown (E x to E 6 ) can be determined. It should be noted that not all six calibration crosses 9 have to be used for calibration, but that fewer calibration crosses are sufficient, depending on the desired accuracy. As described above, however, it is expedient to use three calibration crosses to derive a transformation rule by means of over-determined affine transformation.
  • the method of overdetermined affine transformation (cf. example at the end of this description) is known per se and will therefore not be explained in detail below. Other methods known to the person skilled in the art for deriving the transformation rule ⁇ are also possible.
  • the unit 4 for determining device coordinates determines the coordinates of a suitable number of shown calibration crosses, ie the corresponding reference points E 1 # E 2 , E 3 ..., in the x, y coordinate system.
  • the coordinates of the corresponding calibration crosses 9 (reference points) on the calibration slide 3 in the DICOM-XY coordinate system are specified.
  • the computer unit 2 or rather a corresponding computer program that runs on this computer unit 2 can calculate the transformation rule ⁇ for converting device-dependent coordinates (x, y) into device-independent coordinates (X, Y) of the DICOM coordinate system.
  • the device coordinates (x P , y P ) of a depicted point P can now be converted into device-independent coordinates (X P , Y P ) of the DICOM coordinate system.
  • the point P can represent, for example, an abnormality in a cell structure or an error in a semiconductor structure.
  • the coordinates of the point P are determined via the unit 4 for determining device coordinates and with the known transformation rule ⁇ into device-independent coordinates of the DICOM coordinate system converted.
  • the device-independent coordinates of point P are passed along with the sample for the follow-up examination.
  • the system on which the follow-up examination is carried out must of course also have a calibration option for the DICOM coordinate system.
  • this system uses the inverse transformation rule ⁇ "1 to calculate the associated device-dependent coordinates of point P from the traditional DI-COM coordinates of point P so that this point in microscope image 8 can be approached again.
  • the following text shows an expression as it is generated by the above program if six calibration points E1 to E6 are specified and then two tests are carried out.
  • the first test (Test1) performs a forward transformation into the DICOM coordinate system for the calibration point E4, while the second test (Test2) carries out a forward and backward transformation of a predetermined test point (P):
  • X-DICOM 0.1000 * x-Mic + -0.0011 * y-Mic + -955.3433
  • Y-DICOM 0.0022 * x-Mic + 0.1111 * y-Mic + -4465.6743
  • X-DICOM 0.1000 * x-Mic + -0.0011 * y-Mic + -955.3433
  • Y-DICOM 0.0022 * x-Mic + 0.1111 * y-Mic + -4465.6743

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und ein System zur geräteunabhängigen Bestimmung von Koordinaten eines mittels eines Mikroskops abgebildeten Punktes (P) , wobei zunächst zu vorgegebenen objektbezogenen Bezugskoordinaten (X1, Y1, Z1) mindestens eines Bezugspunkts (E1) in einem DICOM-Koordinatensystem die zugehörigen Gerätekoordinaten (x1, y1, z1) des mindestens einen abgebildeten Bezugspunkts (E1) in einem geräteabhängigen Koordinatensystem bestimmt werden und hieraus eine Transformationsregel (Φ) zur Umrechnung geräteabhängiger Koordinaten (x, y, z) in die Koordinaten (X, Y, Z) des DICOM-Koordinatensystems ermittelt wird, und wobei anschliessend zur geräteunabhängigen Koordinatenbestimmung die Gerätekoordinaten (xp, yp, zp) eines abgebildeten Punktes (P) mittels der aufgefundenen Transformationsregel (Φ) in geräteunabhängige Koordinaten (Xp, Yp, Zp) des DICOM-Koordinatensystems umgerechnet werden.

Description

Verfahren und System zur geräteunabhängigen Bestimmung von Koordinaten eines mittels eines Mikroskops abgebildeten Punktes
Die vorliegende Erfindung betrifft ein Verfahren und ein System zur geräteunabhängigen Bestimmung von Koordinaten eines mittels eines Mikroskops abgebildeten Punktes sowie ein Eichobjektträger zur Verwendung hierzu.
Mikroskope werden häufig zum Erkennen kleiner, mit dem bloßen Augen nicht erkennbarer Strukturen sowie zum Auffinden charakteristischer Merkmale in solchen Strukturen verwendet. Eine mikroskopische Grundaufgabe in der Zytologie, Histologie und Pathologie besteht darin, ein Präparat zu durchmustern und nach interessierenden Strukturen, Zellen oder Zellverbänden und ähnlichem zu durchsuchen. Sind die Orte solcher Strukturen auf dem Präparat gefunden, ist es aus vielfältigen Gründen wünschenswert, sich diese zu merken. Beispielsweise muss die gefundene Struktur zu einem späteren Zeitpunkt durch den selben oder einen anderen Benutzer zwecks Überprüfung, weiterer Inspektion oder aus Gründen der Qualitätssicherung wieder aufgefunden werden. Hierzu weisen viele Mikroskope eine Einheit zur Ermittlung der Koordinaten von Positionen eines Punktes in einem gerä- teabhängigen Koordinatensystem auf. Durch elektromechani- sches Ermitteln dieser Koordinaten kann zu einem späteren Zeitpunkt die aufgefundene Position wieder angefahren werden. Die Koordinaten sind in der Regel jedoch geräteabhängig, d. h. nur wenn keine Änderungen in der MikroskopJustierung vorgenommen wurden und keine Toleranzen vorhanden wären, lassen sich die Koordinaten für dieses Gerät exakt reproduzieren. Wird jedoch z. B. der Mikroskoptisch für eine Reparatur abgenommen und wieder angebracht, so liefert er für dieselbe Stelle auf dem Präparat andere Koordinaten als die ursprünglich bestimmten. Auch sind die Koordinatensysteme verschiedener Mikroskope, auch vom selben Typ, nicht (exakt) gleich.
Es besteht ein Bedürfnis, eine Interoperabilitat zwischen beliebigen Mikroskopen herzustellen, so dass beispielsweise ein zweiter Benutzer interessierende Stellen auf einem Präparat, die ein beliebiger erster Benutzer ermittelt und gespeichert hat, auf seinem System wieder anfahren kann.
Diese Aufgabe wird durch ein erfindungsgemäßes Verfahren und System zur geräteunabhängigen Bestimmung von Koordinaten eines mittels eines Mikroskops abgebildeten Punktes gelöst. Das erfindungsgemäße Verfahren sieht vor, dass zunächst zu vorgegebenen objektbezogenen Bezugskoordinaten (X1# Yi, Zi) mindestens eines Bezugspunktes Ei in einem DI- COM-Koordinatensystem die zugehörigen Gerätekoordinaten (xi/ Yi i Zi) des mindestens einen abgebildeten Bezugspunkts E in einem geräteabhängigen Koordinatensystem bestimmt werden und hieraus eine Transformationsregel Φ zur Umrechnung geräteabhängiger Koordinaten (x, y, z) in die Koordinaten (X, Y, Z) des DICOM-Koordinatensystems ermittelt wird. Anschließend werden zur geräteunabhängigen Koordinatenbestimmung die Gerätekoordinaten (xP, yP, zP) eines abgebildeten Punktes P mittels der aufgefundenen Transformati- onsregel Φ in geräteunabhängige Koordinaten (XP, YP, ZP) des DICOM-Koordinatensystems umgerechnet .
Der "Digital Imaging and Communications in Medicine" (DI- COM-) Standard wurde zur Formatierung und zum Austausch von Bildern medizinischer Geräte entwickelt und in diese Geräte integriert. DICOM ist u.a. in den USA , in Europa und in Japan bekannt. Das DICOM-Komitee hat am 2. Juli 1999 in Virginia, USA, im Supplement 15 einen Standard für mit sichtbarem Licht gewonnene Bilder in der Endoskopie, Mikroskopie und der Fotografie festgelegt (Supplement 15: Visible Light Image for Endoscopy, Microscopy and Photography) . Mit der vorliegenden Erfindung kann dieses nur präparatbezogene und daher geräteunabhängige DICOM-Koordinatensystem auf einem beliebigen Mikroskop realisiert werden. Die technische Lösung des erfindungsgemäßen Vorgehens besteht aus zwei Schritten. Zunächst findet eine Eichung des Mirkroskopkoor- dinatensystems dahingehend statt, dass eine Transformationsregel zur Umrechnung geräteabhängiger Koordinaten in geräteunabhängige Koordinaten des DICOM-Koordinatensystem ermittelt wird. Nach diesem Kalibrierungsschritt können die Koordinaten eines beliebigen abgebildeten Punktes mittels dieser Transformationsregel in geräteunabhängige Koordinaten des DICOM-Koordinatensytems transformiert werden. Letztere Koordinaten können dann zu einem späteren Zeitpunkt oder durch einen anderen Benutzer, auch auf einem anderen Mikroskop, wieder angefahren werden, wobei selbstverständlich auch das andere Gerät eine Kalibrierungsmöglichkeit für das DICOM-Koordinatensytem enthalten muss.
Für den Kalibrierungsschritt wird in einer besonders vorteilhaften Ausgestaltung zur Vorgabe von Bezugskoordinaten des mindestens einen Bezugspunkts El ein Eichobjektträger verwendet. Dieser Eichobjektträger besitzt entsprechend der Vorgabe des DICOM-Standards Eichkreuze, die die vorgegebenen Bezugspunkte markieren.
Um alle in Frage kommenden Transformationen in der (x, y) - Ebene, nämlich Translation, Rotation und Skalierung, optimal berücksichtigen zu können, sind mathematisch mindestens 2,5 Bezugspunkte oder Eichkreuze auf dem Eichobjektträger notwendig. Zusätzliche Punkte können notwendig sein, wenn eine Kalibrierung auch in z-Richtung erfolgen soll.
Da in der Mikroskopie bestimmte Typen von Objektträgern verwendet werden, ist es vorteilhaft, für jeden Objektträgertypus einen entsprechenden Eichobjektträger herzustellen und für das erfindungsgemäße Verfahren zu verwenden.
Zu Kaiibrierungszwecken sind beispielsweise drei Eichkreuze entsprechend Bezugspunkten Ei, E2 und E3 auf einem Eichobjektträger (Eichslide) angebracht. Die (X, Y, Z) - Koordinaten dieser Bezugs- oder Eichpunkte Ei bis E3 sind festgelegt. Sie beziehen sich auf den Nullpunkt des DICOM- Koordinatensystems, der an einer Außenecke des Objektträgers liegen kann.
Die Eichpunkte E bis En (n ≥ 1) werden mit dem Mikroskopiertisch angefahren und der jeweilige (xi γλ , zλ) , ..., (xn, yn, zn) -Wert wird in dem nativen, also geräteabhängigen Koordinatensystem des verwendeten Mikroskops aufgenommen und gespeichert. Für die Eichpunkte Ei bis En sind die (X, Y, Z) -Werte im DICOM-Koordinatensystem sowie nach Vermessung die (x, y, z) -Werte im nativen Koordinatensystem bekannt, so dass über Standardverfahren eine Transformationsregel zur Umrechnung geräteabhängiger Koordinaten in die geräteunabhängigen Koordinaten des DICOM-Koordinatensystems berechnet werden kann.
Hierbei bietet sich für die (x, y) -Koordinaten als Transformationsverfahren das der überbestimmten Affintransformation an. Für die in einer Ebene vorkommenden Transformationen der Translation, Rotation und Skalierung durch einen Skalenfaktor werden mathematisch mindestens 2,5, in der Praxis also mindestens 3 Bezugspunkte (Eichkreuze) benötigt, wenn alle genannten Kalibrierungsmöglichkeiten berücksichtigt werden sollen.
Der Z-Nullpunkt des DICOM-Koordinatensystems liegt auf der Oberfläche des Objektträgers (ohne Deckglas) . Da bei der oben beschriebenen Kalibrierung auch die nativen Z- Koordinaten mit aufgenommen werden, kann auch der z-Wert in das DICOM-Koordinatensystem überführt werden. Bei der Z- Kalibrierung lassen sich im wesentlichen zwei Fälle unterscheiden.
Sollten bei der Kalibrierung z-Werte der Oberfläche des Eichobjektträgers in einer Richtung der (X, Y) -Ebene zu- oder abnehmen, so liegt der Hinweis vor, dass der Eichobjektträger nicht exakt horizontal liegt, sondern eine schiefe Ebene mit Neigung in Z-Richtung darstellt. In diesem Fall sollte zur Erhöhung der Genauigkeit auch eine Z- Kalibrierung mit einem Ansatz in Form einer Schrägebene erfolgen, da andernfalls die Genauigkeit der (X, Y) - Kalibrierung abnimmt. In diesem Fall lässt sich entlang der Neigung der Schrägebene durch Fokussierung auf die Oberfläche des Objektträgers die Abweichung Δz vermessen und anschließend die Z-Kalibrierung vornehmen, wozu mathematisch mindestens 1,5 Punkte notwendig sind. Für eine derartige Z- Kalibrierung zusammen mit einer überbestimmten Affintransformation in der (X, Y) -Ebene werden also mindestens 4 Punkte (2,5 + 1,5 = 4) auf dem Eichobjektträger benötigt.
Wird hingegen festgestellt, dass die z-Koordinaten einiger ausgewählter Bezugspunkte auf dem Eichobjektträger voneinander abweichen, ohne aber die Form einer Schrägebene aufzuweisen, bietet sich als einfache Transformationsregel eine Mittelbildung an, bei der eine Mittelung der genannten z-Koordinaten der Bezugspunkte erfolgt und dieser Mittelwert zum Nullpunkt in z-Richtung definiert wird. Mit anderen Worten entspricht der errechnete Mittelwert der z- Koordinaten dem Nullpunkt im DICOM-Koordinatensystem.
Weiterhin ist vorstellbar, dass die beiden oben genannten Effekte kombiniert auftreten.
Zur Verwendung für das erfindungsgemäße Verfahren wird ein Eichobjektträger mit mindestens einem Bezugspunkt mit vorgegebenen Bezugskoordinaten in einem DICOM- Koordinatensystem vorgeschlagen. Wie bereits ausgeführt, sind auf diesem Eichobjektträger Eichkreuze vorhanden, die die Bezugspunkte für des erfindungsgemäße Verfahren darstellen. Im DICOM-Koordinatensystem liegt der Nullpunkt auf einer der Außenecken des rechteckigen Eichobjektträgers. Es ist besonders vorteilhaft, wenn der Eichobjektträger in Größe und Form einem bekannten Typus von Objektträgern wie sie in der Mikroskopie verwendet werden, entspricht.
Zur Interoperabilitat ist es notwendig, dass die Kalibrierung gemäß erfindungsgemäßem Verfahren auf den jeweiligen Systemen (Mikroskopen) erfolgt . Hierzu ist die Verwendung identischer Eichobjektträger am besten geeignet. Als System zur geräteunabhängigen Bestimmung von Koordinaten eines abzubildenden Punktes mit einem Mikroskop, das eine Einheit zur Bestimmung von Gerätekoordinaten (xP, y, zP) eines abgebildeten Punktes P aufweist, ist erfindungsgemäß vorgesehen, dass eine Rechnereinheit vorgesehen ist, die aus Gerätekoordinaten (xi, yi, zx) mindestens eines abgebildeten Bezugspunktes Ei und zugehörigen vorgegebenen objektbezogenen Bezugskoordinaten (Xi, Y1# Zx) in einem DICOM-Koordinatensystem eine Transformationsregel zur Umre- chung von geräteabhängigen Koordinaten in Koordinaten des DICOM-Koordinatensystems berechnet. Die Rechnereinheit zur Berechnung der Transformationsregel kann im Mikroskop integriert oder Bestandteil eines peripheren Rechners sein.
Mit diesem erfindungsgemäßen System können geräteabhängige Koordinaten in geräteunabhängige Koordinaten des DICOM- Koordinatensystems transformiert werden. Hierzu wird die ermittelte Transformationsregel Φ auf die Koordinaten (xp, yp, zp) eines beliebigen abgebildeten Punktes P angewandt und die entsprechenden Koordinaten (XP, YP, ZP) im geräteunabhängigen DICOM-Koordinatensystem berechnet. Um das erfindungsgemäße Verfahren der Kalibrierung und anschließenden Berechnung geräteunabhängiger Koordinaten möglichst effizient zu automatisieren, ist es sinnvoll, dieses Verfahren mittels eines Computerprogramms zu implementieren, das insbesondere auf der erwähnten Rechnereinheit des erfindungsgemäßen Systems gestartet und ausgeführt wird. Das Computerprogramm kann auf Datenträgern, wie CD-ROMs, EE- PROMs oder auch in Form von Flash-Memories gespeichert sein, oder über diverse Rechnernetze (wie Intranet oder Internet) in den Arbeitsspeicher herunterladbar sein. Beim Ablauf dieses Computerprogramms werden beispielsweise nach Auflegen eines Eichobjektträgers mit einem DICOM- Koordinatensystem auf den Mikroskoptisch die in Form von Eichkreuzen aufgebrachten Bezugspunkte im geräteabhängigen Koordinatensystem (automatisch) vermessen und die entsprechenden Koordinaten bestimmt. Nach Vermessung von vorzugsweise drei oder mehr solcher Bezugspunkte startet das Computerprogramm die Berechnung der Transformationsregel. Anschließend wird eine Probe mit diesem Mikroskop untersucht und die Gerätekoordinaten eines interessierenden Punktes werden vom Computerprogramm mittels der Transformationsregel automatisch im geräteunabhängige Koordinaten des DICOM- Koordinatensystems umgerechnet .
Das Computerprogramm kann den gesamten geschilderten Ablauf durch Interaktion mit dem Benutzer steuern oder bestimmte Abschnitte des Verfahrens in Form von Programmmodulen automatisch ausführen.
Im Folgenden soll die Erfindung und ihre Vorteile anhand eines in den Zeichnungen dargestellten Ausführungsbeispiels näher erläutert werden.
Es zeigt
Figur 1 ein erfindungsgemäßes System zur geräteunabhängigen Bestimmung von Koordinaten eines abzubildenden Punktes mit einem Mikroskop in schematischer Ansicht;
Figur 2 einen erfindungsgemäßen Eichobjektträger und ein Mikroskopbild mit einem schematisch dargestellten Teil der Einheit zur Bestimmung von Gerätekoordinaten zur Ermittlung der Transformationsregel Φ;
Figur 3 einen abgebildeten Punkt P im geräteabhängigen Koordinatensystem und im DICOM-Koordinatensystem.
Figur 1 zeigt in sehr schematischer Form ein Mikroskop 1 mit Objektiv 7 zur vergrößerten Abbildung von Objektstrukturen, die von einem Objektträger 6 getragen werden. Bei diesen Objektstrukturen kann es sich um Zellen oder Zellverbände, aber auch um technische Strukturen wie Halbleiterstrukturen handeln. Dementsprechend reichen die Anwendungen der Mikroskopie vom medizinischen Bereich (Zytologie, Histologie, Pathologie) bis in den technischen Bereich (bspw. Waferherstellung oder Nanotechnologie) . Bei diesen Einsatzgebieten ist es notwendig, daß Auffälligkeiten oder Fehler in den Strukturen markiert und zu einem späteren Zeitpunkt oder von einem anderen Benutzer wieder aufgefunden werden können.
Häufig ist eine Rechnereinheit 2 an das Mikroskop 1 oder an eine Mikroskopkamera 11 angeschlossen, um Mikroskopbilder weiterverarbeiten und speichern zu können. Der Einfachheit halber sei im Folgenden angenommen, daß die Mikroskopbilder 8 auf einem Monitor 10 der Rechnereinheit 2 betrachtet werden können, und daß zumindest ein Teil der Einheit 4 zur Bestimmung von Gerätekoordinaten (Koordinaten im Mikroskop- bild) auch in der Rechnereinheit 2 vorhanden ist.
Der Objektträger 6 ist auf einem Mikroskoptisch 5 häufig durch Vakuumansaugung aufgebracht, wobei der Mikroskoptisch 5 in der Regel in seiner räumlichen Lage verstellbar ist. Zur Untersuchung der ObjektStrukturen kann eine Gesamtaufnahme (Oneshot) oder ein Scan durchgeführt werden.
Die vom Mikroskop 1 oder von der Mikroskopkamera 11 an die Rechnereinheit 2 übertragenen Bilddaten werden in diesem Ausführungsbeispiel in einem geräteabhängigen Koordinatensystem auf dem Monitor 10 der Rechnereinheit 2 dargestellt, wobei bspw. durch Anklicken eines bestimmten Punktes im dargestellten Bilds mittels einer Maus 12 die entsprechenden Koordinaten dieses Punktes im Mikroskopsystem ermittelt und angezeigt und abgespeichert werden können.
Die Rechnereinheit 2 weist im vorliegenden Fall ein Computerprogramm auf, das aus Koordinaten eines oder mehrerer abgebildeter Bezugspunkte und den zugehörigen bekannten vorgegebenen Bezugskoordinaten bezogen auf ein DICOM- Koordinatensystem auf dem Objektträger 6 eine Transformationsregel Φ ableiten kann, mittels derer geräteabhängige Koordinaten in Koordinaten eines DICOM-Koordinatensystems umgerechnet werden können (ein Beispiel für ein solches Computerprogramm ist am Ende dieser Beschreibung zu finden) . Hierzu ist es sinnvoll, eine Eichung des Systems vorzunehmen, indem ein Eichobjektträger 3 mit mindestens einem Bezugspunkt in einem DICOM-Koordinatensystem als Objektträger verwendet wird, um anhand des oder der abgebildeten Bezugspunkte die Transformationsregel zu berechnen.
Die geräteunabhängige Bestimmung von Koordinaten eines abgebildeten Punktes, der bspw. eine Störung, eine Auffälligkeit oder einen Fehler darstellt, ist zur zuverlässigen Wiederauffindung des Punktes von enormem Vorteil. Dies ermöglicht ein zuverlässiges Widerauffinden trotz Toleranzen beim selben oder bei gleichen Geräten, etwa bei der späte- ren Kontrolle am selben Gerät oder an einem Gerät gleicher Bauart, aber auch bei der späteren Untersuchung an einem anderen Gerät oder in der Fernmikroskopie (Telepathologie oder Ferndiagnosen oder -Operationen) .
Figur 2 zeigt einen Eichobjektträger 3 mit DICOM-(XY-) Koordinatensystem und das zugehörigen Mikroskopbild 8 mit geräteabhängigem (xy) -Koordinatensystem. Die Transformations- regel Φ stellt den Bezug zwischen den beiden Koordinatensystemen her.
Der erfindungsgemäße Eichobjektträger 3 (Eichslide) zeigt in dieser Ausführungsform sechs Eichkreuze 9, entsprechend Punkten Ei bis E6 in einem DICOM-Koordinatensystem X, Y, Z, wobei der Nullpunkt in der linken oberen Ecke des Eichobjektträgers 3 liegt. Aus Gründen der Einfachheit wird im Folgenden die Z-Koordinate nicht betrachtet. Möglichkeiten zur Z-Kalibrierung sind in vorliegender Beschreibung oben angegeben. Zur Eichung des in Figur 1 dargestellten Systems wird zunächst der Eichobjektträger 3 auf den Mikroskoptisch 5 aufgebracht und mittels des Mikroskops 1 und der Rechnereinheit 2 ein Mikroskopbild 8 erzeugt . Auf der unteren Hälfte der Figur 2 ist ein solches Mikroskopbild 8 mit einem geräteabhängigen Koordinatensystem x, y dargestellt, wobei mittels einer Einheit 4 die entsprechenden Gerätekoordinaten (xi, yi) bis (x6, γ&) zu den abgebildeten Eichkreuzen (Ex bis E6) bestimmt werden können. Es sei angemerkt, daß nicht alle sechs Eichkreuze 9 zur Eichung herangezogen werden müssen, sondern daß je nach erwünschter Genauigkeit weniger Eichkreuze ausreichen. Wie oben beschrieben, ist es jedoch zweckmäßig, zum Ableiten einer Transformationsregel mittels überbestimmter Affintransformation drei Eichkreuze zu verwenden. Das Verfahren der überbestimmten Affintransformation (vgl. Beispiel am Ende dieser Beschreibung) ist an sich bekannt und soll deshalb im Folgenden nicht im einzelnen erläutert werden. Auch andere dem Fachmann bekannte Verfahren zur Ableitung der Transformationsregel Φ sind möglich. Die Einheit 4 zur Bestimmung von Gerätekoordinaten bestimmt die Koordinaten einer geeigneten Anzahl von abgebildeten Eichkreuzen, also der entsprechenden Bezugspunkte E1# E2, E3..., im x, y-Koordinatensystem. Die Koordinaten der entsprechenden Eichkreuze 9 (Bezugspunkte) auf dem Eichobjektträger 3 im DICOM-XY-Koordinatensystem sind vorgegeben. Hieraus kann die Rechnereinheit 2 oder besser gesagt ein entsprechendes Computerprogramm, das auf dieser Rechnereinheit 2 abläuft, die Transformationsregel Φ zur Umrechnung geräteabhängiger Koordinaten (x, y) in geräteunabhängige Koordinaten (X, Y) des DICOM-Koordinatensystems berechnen.
Es ist sinnvoll, wenn zu den gängigen Objektträgerformaten entsprechende Eichobjektträger hergestellt werden, mit Hilfe derer - wie oben beschrieben - zugehörige Transformationsregeln Φ berechnet werden.
Mit der ermittelten Transformationsregel Φ können nunmehr die Gerätekoordinaten (xP, yP) eines abgebildeten Punktes P, wie in Figur 3 dargestellt, in geräteunabhängige Koordinaten (XP, YP) des DICOM-Koordinatensystems umgerechnet werden. Hierbei kann der Punkt P bspw. eine Auffälligkeit in einer Zellstruktur oder einen Fehler in einer Halbleiterstruktur darstellen. Die Koordinaten des Punktes P werden über die Einheit 4 zur Bestimmung von Gerätekoordinaten bestimmt und mit der bekannten Transformationsregel Φ in geräteunabhängige Koordinaten des DICOM-Koordinatensystems umgerechnet. Für eine spätere Kontrolle oder Nachuntersuchung werden die geräteunabhängigen Koordinaten des Punktes P zusammen mit der Probe für die Nachuntersuchung übergeben. Das System, an dem die Nachuntersuchung erfolgt, muß selbstverständlich auch über eine Kalibrierungsmöglichkeit für das DICOM-Koordinatensystem verfügen. Insbesondere ist es notwendig, daß dieses System aus den überlieferten DI- COM-Koordinaten des Punktes P mit der inversen Transformationsregel Φ"1 die zugehörigen geräteabhängigen Koordinaten des Punktes P berechnet, damit dieser Punkt im Mikroskopbild 8 wieder angefahren werden kann.
Im folgenden ist ein Beispiel für ein in der Programmiersprache C erstelltes Computerprogramm angegeben, mittels dessen über das Verfahren der überbestimmten Affintransformation eine Hin- und Rücktransformation der Koordinaten aus einem nativen Mikroskopkoordinatensystem und dem DICOM- Koordinatensystem vorgenommen werden kann:
/* */
// Berechnung zur überbestimmten Affintransformation
// Hin- und Rücktransformation (forward and backward calculation)
// Koordinatensysteme sind:
// natives Mikroskop-Koordinatensystem, objektträgerabhängig
// Mikroskop-unabhängiges DICOM Koordinatensystem
//
//
I* */
# include <stdio.h> FunKtion PROTOTYPEN **/
// gegeben: native Mikroskop-Koordinaten, berechne DICOM Koordinaten void CalculateDICOMCoordina.es ( double x_Microscope, double y_Microscope, double *pX_DICOM, double *pY_DICOM
);
// gegeben: DICOM Koordinaten, berechne native Mikroskop-Koordinaten void CalculateNativeMicroscopeCoordinates ( double X_DICOM, double Y_DICOM, double *px_Microscope, double *py_Microscope );
// berechne Koordinaten-Transformationskoeffizienten für Hin- und Rücktransformation int CalcForwBackwTransCoefficients ( int NoOfGaugingPoints, double *x_MicroscopeSystem, double *y_MicroscopeSystem, double *x_DICOMSystem, double *y_DICOMSystem ); // setze Transformationskoeffizienten auf Defaultwerte zurück void ResetTransformationCoefficients (void); * int CalculateTransformation ( double *a, double *b, double *c, double *d, double *e, double *f, int NoOfGaugingPoints, double *x_Microscope, double *y_Microscope, double *x_DICOM, double *y_DICOM );
/* statische Variablen für Koordinatentransformation */
/* forward transformation coefficients (Hintransformationskoeffizienten) */ double aFwd = 1.0; double bFwd = 1.0 double cFwd = 0.0 double dFwd = 1.0 double eFwd = 1.0 double fFwd = 0.0;
/* backward transformation coefficients (Rücktransformationskoeffizienten) */ double aBwd = 1.0; double bBwd = 1.0 double cBwd = 0.0 double dBwd = 1.0 double eBwd = 1.0 double fBwd = 0.0;
int main (void)
{ // Koordinaten der Eichpunkte E1 bis E6 im DICOM- und nativen Mikroskopsystem double aX_DICOM Q = {3000., 3000., 3000., 17000., 17000., 17000.}; double aY_DICOM Q = {10000., 30000., 50000., 10000., 30000., 50000.}; double ax_Microscope □ = {41000., 43000..45000., 181000., 183000., 185000.}; double ay_Microscope 0 = {129400., 309400., 489400., 126600., 306600.
486600.}; double xMicTest, yMicTest; double XDICTest, YDICTest; int i; printf ("\n\n"); printf ("Affin Transformation From Native Microscope To DICOM Coordinate System^"); printf (''=====_====_==__==_==_=__=____===_====-===--=--======--=-===----=====
"); printf ("\n\n\n"); printf ("Coordinates of gauging points \n\n"); for (i=0; i<=5; ++i) { printf ("E%d: X-DICOM=%10.1f Y-DICOM=%10.1f x-Mic=%10.1f y- Mic=%10.1f\n", i+1 , aX_DICOM [i], aY_DICOM [i], ax_Microscope [i], ay_Microscope [i]); } printf ("\n\n"); if (0 == CalcForwBackwTransCoefficients (6, ax_Microscope, ay_Microscope, aX_DICOM, aY_DICOM)){ printf ("computation failed\n"); return 0; } printf ("forward calculation coefficients\n"); printf (" \n"); printf ("X-DICOM = %.4f * x-Mic + %.4f * y-Mic + %.4f\n", aFwd.bFwd.cFwd); printf ("Y-DICOM = %.4f * x-Mic + %.4f * y-Mic + %.4f\n\n\n", dFwd,eFwd,fFwd); printf ("backward calculation coefficients .n"); printf (" \n\n"); printf ("x-Mic = %.4f * X-DICOM + %.4f * Y-DICOM + %.4f\n", aBwd.bBwd.cBwd); printf ("y-Mic = %.4f * X-DICOM + %.4f * Y-DICOM + %.4ftn\n\n", dBwd.eBwd.fBwd); printf ("Tests of calculation\n"); printf (" \n\n"); printf ("Testl using microscope coordintes of gauging point E4 as input\n"); printf ("\n\n"); xMicTest = 181000.; yMicTest = 126600.; printf ("*** input ***: x Microscope =%10.1f y Microscope=%10.1f\n", xMicTest, yMicTest); CalculateDICOMCoordinates (181000., 126600., ÄXDICTest, & YDICTest); printf ("*** result ***: x DICOM =%10.1f y DICOM =%10.1f\n\n", XDICTest, YDICTest); printf ("End of testl \n\n"); printf ("Test2 applying forward and backward transformation to test point \n"); printf ("\n\n"); xMicTest = 100000.; yMicTest = 250000.; printf ("*** input ***: x Microscope =%10.1f y Microscope=%10.1f\n", xMicTest, yMicTest); printf ("forward transform\n"); CalculateDICOMCoordinates (xMicTest, yMicTest, &XDICTest, & YDICTest); printf ("*** result ***: x DICOM =%10.1f y DICOM =%10.1f\n", XDICTest, YDICTest); printf ("backward transformW); xMicTest = 0.; yMicTest = 0.; CalculateNativeMicroscopeCoordina.es (XDICTest, YDICTest, &xMicTest, ÄyMicTest); printf ("*** result ***: x Microscope =%10.1f y Microscope =%10.1f\n", xMicTest, yMicTest); printf ("End of test2 \n\n"); return 0; }
/* */
// Hintransformation: berechne DICOM Koordinaten aus // nativen Mikroskop-Koordinaten
/* */ void CalculateDICOMCoordinates ( // input: x,y Koordinaten im Mikroskopsystem double x_Microscope, double y_Microscope, // output: X,Y Koordinaten im DICOM System double *pX_DICOM, double *pY_DICOM )
{ *pX_DICOM = aFwd * x_Microscope + bFwd * y_Microscope + cFwd; *pY_DICOM = dFwd * x_Microscope + eFwd * y_Microscope + fFwd;
/* */
// Rücktransformation: berechne native Mikroskop-Koordinaten aus DICOM
// Koordinaten
/* */ void CalculateNativeMicroscopeCoordinates ( // input: X.Y Koordinaten im DICOM System double X_DICOM, double Y_DICOM, // output: x,y Koordinten im Mikroskopsystem double *px_Microscope, double *py_Microscope )
{ *px_Microscope = aBwd * X_DICOM + bBwd * Y_DICOM + cBwd; *py_Microscope = dBwd * X_DICOM + eBwd * Y_DICOM + fBwd;
I* =========================================================== */ int CalcForwBackwTransCoefficients ( int NoOfGaugingPoints, double *x_MicroscopeSystem, double *y_MicroscopeSystem, double *x_DICOMSystem, double *y_DICOMSystem t _)_
if (NoOfGaugingPoints<3) retum 0; if (0 == CaIculateTransformation (&aBwd,&bBwd,&cBwd,&dBwd,&eBwd,&fBwd, NoOfGaugingPoints, x_MicroscopeSystem, y_MicroscopeSystem, x_DICOMSystem, y_DICOMSystem)) return 0; if (0 == CaIculateTransformation (&aFwd,&bFwd,&cFwd,&dFwd,&eFwd,&fFwd, NoOfGaugingPoints, x_DICOMSystem, y_DICOMSystem, x_MicroscopeSystem, y_MicroscopeSystem)) return 0; return 1 ; }
1* =^========================================================= */ void ResetTransformationCoefficients (void) /* ======================================================= ==== */
{ /* Setze Koeffizienten zurück (reset coefficients) */ aFwd = 1.0; bFwd = 1.0 cFwd = 0.0 dFwd = 1.0 eFwd = 1.0 fFwd = 0.0; aBwd = 1.0 bBwd = 1.0 cBwd = 0.0 dBwd = 1.0 eBwd = 1.0 fBwd = 0.0;
/* =========================================================== */ int CaIculateTransformation ( double *a, double *b, double *c, double *d, double *e, double *f, int NoOfGaugingPoints, double *x_Microscope, double *y_Microscope, double *x_DICOM, double *y_DICOM ) /* =========================================================== */
{ int i; double *xDIC, *yDIC, *xMic, *yMic; double r1 , r2, r3, r4, r5, r6, r7, r8; double r9, MO, M 1, r12, 3, r14, r15; r1 =r2=r3=r4=r5=r6=r7=r8=r13=r14=r15=0.0; xDIC = x_DICOM; yDIC = y_DICOM; xMic = x_Microscope; yMic = y_Microscope; for (i = 0; i < NoOfGaugingPoints; i++) { r1 += *xDIC; r2 += NDIC; r3 += *xDIC * *xDIC; r4 += NDIC * NDIC; r5 += *xMic; r6 += *xDIC * NDIC; r7 += *xMic * NDIC; r8 += *xDIC * *xMic++; r13 +=NMic; r14+=*yDIC++**yMic; M5+=*xDIC++*NMic++; } /* accounting of coefficients a, b, c 7 for (i=1; i<=2; i++) { r9 = r3 * r4 * NoOfGaugingPoints + 2 * * r276 - r1 * r1 * r4 - r2 * r2 * r3\ - r6 * r6 *NoOfGaugingPoints; /* transformation ist Singular 7 if (r9 == 0.0) return 0; if(i==2) { /* accounting of coefficients d, e, f 7 r5 = 3; r7 = r14; r8 = r15; } r10 = r874 * NoOfGaugingPoints + r6 * r275 +r1 * r7 * r2 - \ r1 * r4 * r5 - r8 * r2 * r2 - r6 * r7 * NoOfGaugingPoints; r11 = r377 * NoOfGaugingPoints + r8 * r271 +r1 * r 6 * r5 - r1 * r1 * r7 - r3 * r2\ * r5 - r8 * r6 * NoOfGaugingPoints ; r12 = r374 * r5 + r6 * r771 +r8 * r6 * r2 \ - r8 * r4 * r1 - r5 * r6 * r6 - r3 * r7 * r2; r10 = r10/r9; r11 =r11/r9; M2/=r9; if(i==1) { 7a = r10; 7_=r11; *c = 2; } eise { *d = 0; *e = M1; 7 = r12; } return 1 ; }
/* ==================== Ende (end of file) ================================ 7
Der folgende Text zeigt einen Ausdruck, wie er von obigem Programm generiert wird, wenn sechs Eichpunkte El bis E6 vorgegeben und dann zwei Tests durchgeführt werden. Der erste Test (Testl) nimmt für den Eichpunkt E4 eine Hintransformation ins DICOM-Koordinatensystem vor, während der zweite Test (Test2) eine Hin- und Rücktransformation eines vorgegebenen Testpunkts (P) ausführt:
Affin Transformation From Native Microscope To DICOM Coordinate System
Coordinates of gauging points
E1:X-DICOM= 3000.0 Y-DICOM= 10000.0 x-Mic= 41000.0 y-Mic= 129400.0
E2: X-DICOM= 3000.0 Y-DICOM= 30000.0 x-Mic= 43000.0 y-Mic= 309400.0
E3: X-DICOM= 3000.0 Y-DICOM= 50000.0 x-Mic= 45000.0 y-Mic= 489400.0
E4:X-DICOM= 17000.0 Y-DICOM= 10000.0 x-Mic= 181000.0 y-Mic= 126600.0
E5:X-DICOM= 17000.0 Y-DICOM= 30000.0 x-Mic= 183000.0 y-Mic= 306600.0
E6:X-DICOM= 17000.0 Y-DICOM= 50000.0 x-Mic= 185000.0 y-Mic= 486600.0
forward calculation coefficients
X-DICOM = 0.1000 * x-Mic + -0.0011 * y-Mic + -955.3433 Y-DICOM = 0.0022 * x-Mic + 0.1111 * y-Mic + -4465.6743
backward calculation coefficients x-Mic = 10.0000 * X-DICOM + 0.1000 * Y-DICOM + 10000.0000 y-Mic = -0.2000 * X-DICOM + 9.0000 * Y-DICOM + 40000.0000
Tests of calculation
Testl using microscope coordintes of gauging point E4 as input input ***: x Microscope = 181000.0 y Microscope= 126600.0 result ***: x DICOM = 17000.0 y DICOM = 10000.0
End of testl
Test2 applying forward and backward transformation to test point
*** input ***: x Microscope = 100000.0 y Microscope= 250000.0 forward transform
*** result ***: x DICOM = 8764.7 y DICOM = 23528.1 backward transform
*** result ***: x Microscope = 100000.0 y Microscope = 250000.0
End of test2
Der Ausdruck des obigen, vom Programm erzeugten Textes ist im folgenden zur besseren Verständlichkeit nochmals in deutscher Sprache (soweit möglich) wiedergegeben:
Affine Transformation vom nativen Mikroskop- zum DICOM Koordinatensystem
Koordinaten der Eichpunkte
E1 : X-DICOM= 3000.0 Y-DICOM= 10000.0 x-Mic= 41000.0 y-Mic= 129400.0
E2: X-DICOM= 3000.0 Y-DICOM= 30000.0 x-Mic= 43000.0 y-Mic= 309400.0
E3: X-DICOM= 3000.0 Y-DICOM= 50000.0 x-Mic= 45000.0 y-Mic= 489400.0
E4: X-DICOM= 17000.0 Y-DICOM= 10000.0 x-Mic= 181000.0 y-Mic= 126600.0
E5: X-DICOM= 17000.0 Y-DICOM= 30000.0 x-Mic= 183000.0 y-Mic= 306600.0
E6: X-DICOM= 17000.0 Y-DICOM= 50000.0 x-Mic= 185000.0 y-Mic= 486600.0 Berechnungskoeffizienten für Hintransformation
X-DICOM = 0.1000 * x-Mic + -0.0011 * y-Mic + -955.3433 Y-DICOM = 0.0022 * x-Mic + 0.1111 * y-Mic + -4465.6743
Berechnungskoeffizienten für Rücktransformation
x-Mic = 10.0000 * X-DICOM + 0.1000 * Y-DICOM + 10000.0000 y-Mic = -0.2000 * X-DICOM + 9.0000 * Y-DICOM + 40000.0000
Berechnungstests
Testl unter Verwendung der Mikroskopkoordinaten des Eichpunktes E4 als Eingabe
*** Eingabe ***: x Microscope = 181000.0 y Microscope= 126600.0 *** Ergebnis ***: x DICOM = 17000.0 y DICOM = 10000.0
Ende des Testl
Test2 mit Hin- und Rücktransformation des Testpunktes
*** Eingabe ***: x Microscope = 100000.0 y Microscope= 250000.0
Hintransformation
*** Ergebnis ***: x DICOM = 87647 y DICOM = 23528.1
Rücktransformtion
*** Ergebnis ***: x Microscope = 100000.0 y Microscope = 250000.0
Ende des Test2 Bezugszeichenliste
1 Mikroskop
2 Rechnereinheit
3 Eichobjektträger
4 Einheit zur Bestimmung von Gerätekoordinaten
5 Mikroskoptisch
6 Objektträger
7 Objektiv
8 Mikroskopbild
9 Eichkreuze, -punkte auf Objektträger
10 Monitor
11 Kamera
12 (Computer-) Maus
P abgebildeter Punkt Φ Transformationsregel
X, Y, Z Koordinaten im DICOM-Koordinatensystem, Bezugskoordinaten x, y, z Koordinaten im Mikroskopsystem, Gerätekoordinaten Ei, ..., E6 Eichkreuze, -punkte, Bezugspunkte

Claims

Patentansprüche
1. Verfahren zur geräteunabhängigen Bestimmung von Koordinaten eines mittels eines Mikroskops abgebildeten Punktes
(P), wobei zunächst zu vorgegebenen objektbezogenen Bezugskoordinaten (X , Yi, Zi) mindestens eines Bezugspunkts (Ei) in einem DICOM-Koordinatensystem die zugehörigen Gerätekoordinaten ( i, yi, Zi) des mindestens einen abgebildeten Bezugs- punkts (Ei) in einem geräteabhängigen Koordinatensystem bestimmt werden und hieraus eine Transformationsregel (Φ) zur Umrechnung geräteabhängiger Koordinaten (x, y, z) in die Koordinaten (X, Y, Z) des DICOM-Koordinatensystems ermittelt wird, und wobei anschließend zur geräteunabhängigen Koordinatenbestimmung die Gerätekoordinaten (xP, yP, zP) eines abgebildeten Punktes (P) mittels der aufgefundenen Transformationsregel (Φ) in geräteunabhängige Koordinaten (XP, YP, ZP) des DICOM-Koordinatensystems umgerechnet werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Vorgabe von Bezugskoordinaten (Xlf Yif Z eines oder mehrerer Bezugspunkte (Ei) ein Eichobjektträger verwendet wird.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass für bestimmte Typen von Objektträgern jeweils ein Eichobjektträger hergestellt und/oder verwendet wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass zur Ermittlung der Transformationsregel, insbesondere für die (x, y) Koordinaten die überbestimmte Affintransformation verwendet wird.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass zur Ermittlung der Transformationsregel, insbesondere für die z-Koordinaten, eine Mittelbildung und/oder ein Ansatz in Form einer Schrägebene verwendet wird.
6. Eichobjektträger zur Verwendung in einem Verfahren gemäß einem der Ansprüche 1 bis 5 mit mindestens einem Bezugspunkt (Ei) mit vorgegebenen Bezugskoordinaten (Xi( Y1( Zi) in einem DICOM-Koordinatensystem.
7. Eichobjektträger nach Anspruch 6, der in Größe und Form einem bekannten Typus von Objektträgern entspricht.
8. Verwendung eines Eichobjektträgers nach einem der Ansprüche 6 bis 7 für ein Verfahren gemäß einem der Ansprüche 1 bis 5.
9. System zur geräteunabhängigen Bestimmung von Koordinaten eines abzubildenden Punktes (P) mit einem Mikroskop, wobei das Mikroskop eine Einheit (4) zur Bestimmung von Gerätekoordinaten (xP, yP, zP) eines abgebildeten Punktes (P) aufweist, und wobei eine Rechnereinheit vorgesehen ist, die aus den Gerätekoordinaten (xi, yi, zx) mindestens eines abgebildeten Bezugspunktes (Ei) und zugehörigen vorgegebenen objektbezogenen Bezugskoordinaten (Xj., Y1# Zi) in einem DICOM-Koordinatensystem eine Transformationsregel (Φ) zur Um- rechnung von geräteabhängigen Koordinaten (x, y, z) in Koordinaten (X, Y, Z) des DICOM-Koordinatensystems berechnet.
10. System nach Anspruch 9, bei dem die Rechnereinheit derart ausgestaltet ist, dass sie aus den Koordinaten (xP, yP, zP) eines abgebildeten Punktes (P) mittels der ermittelten Transformationsregel (Φ) die entsprechenden Koordinaten (XP, YP, ZP) im geräteunabhängigen DICOM- Koordinatensystem berechnet .
11. Computerprogramm mit Programmcode-Mitteln, um ein Verfahren nach wenigstens einem der Ansprüche 1 bis 5 durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Rechnereinheit, insbesondere der Rechnereinheit in einem System gemäß Anspruch 9, ausgeführt wird.
12. Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um ein Verfahren nach wenigstens einem der Ansprüche 1 bis 5 durchzuführen, wenn das Computerprogramm-Produkt auf einem Computer oder einer entsprechenden Rechnereinheit, insbesondere der Rechnereinheit in einem System nach Anspruch 9, ausgeführt wird.
PCT/EP2004/008742 2003-08-11 2004-08-04 Verfahren und system zur geräteunabhängigen bestimmung von koordinaten eines mittels eines mikroskops abgebildeten punktes WO2005017597A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US10/568,001 US7343257B2 (en) 2003-08-11 2004-08-04 Method and system for device-independent determination of coordinates of a point displayed by means of a microscope
JP2006522958A JP2007501959A (ja) 2003-08-11 2004-08-04 顕微鏡を用いて結像された位置の座標を装置非依存的に決定する方法およびシステム
EP04763791A EP1658521A1 (de) 2003-08-11 2004-08-04 Verfahren und system zur ger teunabh ngigen bestimmung von koordinaten eines mittels eines mikroskops abgebildeten punktes

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10336803A DE10336803A1 (de) 2003-08-11 2003-08-11 Verfahren und System zur geräteunabhängigen Bestimmung von Koordinaten eines mittels eines Mikroskops abgebildeten Punktes
DE10336803.5 2003-08-11

Publications (1)

Publication Number Publication Date
WO2005017597A1 true WO2005017597A1 (de) 2005-02-24

Family

ID=34177430

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2004/008742 WO2005017597A1 (de) 2003-08-11 2004-08-04 Verfahren und system zur geräteunabhängigen bestimmung von koordinaten eines mittels eines mikroskops abgebildeten punktes

Country Status (6)

Country Link
US (1) US7343257B2 (de)
EP (1) EP1658521A1 (de)
JP (1) JP2007501959A (de)
CN (1) CN1836185A (de)
DE (1) DE10336803A1 (de)
WO (1) WO2005017597A1 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1698928A1 (de) * 2005-03-04 2006-09-06 Leica Microsystems CMS GmbH Verfahren zum Speichern der Koordinaten zu beleuchtender Bereiche einer Probe in der Mikrskopie
EP2101297A1 (de) * 2008-03-12 2009-09-16 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Verfahren zum Kalibrieren eines Bühne-Kamera-Systems sowie Bühne-Kamera-System
WO2016092815A3 (en) * 2014-12-10 2016-10-27 Canon Kabushiki Kaisha Microscope system and control method thereof
WO2017099104A3 (en) * 2015-12-10 2017-08-10 Canon Kabushiki Kaisha Microscope system and method of controlling the same
WO2017099107A3 (en) * 2015-12-10 2017-09-21 Canon Kabushiki Kaisha Microscope system

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070046781A1 (en) * 2005-08-29 2007-03-01 Honeywell International Inc. Systems and methods for processing digital video data
US8610963B2 (en) * 2010-03-09 2013-12-17 Xerox Corporation Image corner sharpening method and system
US9111343B2 (en) 2011-01-18 2015-08-18 Roche Diagnostics Hematology, Inc. Microscope slide coordinate system registration
CN103430077B (zh) * 2011-01-18 2016-03-16 体质医学股份有限公司 显微镜载玻片坐标系对齐方法和显微镜系统
DE102012005587A1 (de) * 2012-03-20 2013-09-26 Metasystems Hard & Software Gmbh Automatische Kalibrierung eines Mikroskop-Scanningsystems
DE102012214664A1 (de) 2012-08-17 2014-02-20 Leica Microsystems Cms Gmbh Objektträger mit Bezugspunkten
CN103676125A (zh) * 2013-12-02 2014-03-26 谢小军 在显微镜中快速找到物像的装置和方法
JP6562626B2 (ja) * 2014-12-10 2019-08-21 キヤノン株式会社 顕微鏡システム
CN106556350B (zh) * 2016-11-30 2019-08-09 殷跃锋 显微镜载玻片曲面高度值的测算方法以及一种显微镜
CN107122746B (zh) * 2017-04-28 2020-01-21 清华大学 视频分析设备、方法和计算机可读存储介质
JP7183286B2 (ja) * 2018-03-06 2022-12-05 ベンタナ メディカル システムズ， インコーポレイテッド ディジタル病理スキャニング・インターフェースおよびワークフロー
US20210134437A1 (en) * 2018-06-29 2021-05-06 Servicio Andaluz De Salud Computer implemented method and module for accessing a dicom whole slide image database

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4557599A (en) * 1984-03-06 1985-12-10 General Signal Corporation Calibration and alignment target plate
US4807979A (en) * 1986-01-24 1989-02-28 Geno Saccomanno Microscope slide marking device
US4907158A (en) * 1987-05-29 1990-03-06 Carl-Zeiss-Stiftung Method for performing work on cells of a cell culture and apparatus therefor
US5000554A (en) * 1990-05-23 1991-03-19 Gibbs David L Method and apparatus for use in microscope investigations with a carrier having exactly one x-y coordinate system reference mark
US5367401A (en) * 1990-11-23 1994-11-22 Perceptive Scientific Instruments, Inc. Microscope slide rotary stage

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5581487A (en) * 1994-02-23 1996-12-03 Science Applications International Corporation Method and apparatus for microscopic screening of cytological samples
AU3371395A (en) * 1994-09-20 1996-04-19 Neopath, Inc. Biological specimen analysis system processing integrity checking apparatus
US5644512A (en) * 1996-03-04 1997-07-01 Advanced Surface Microscopy, Inc. High precision calibration and feature measurement system for a scanning probe microscope
JP2004517349A (ja) 2000-11-03 2004-06-10 サイティック コーポレイション 細胞をイメージングするシステムおよび方法
US7027628B1 (en) * 2000-11-14 2006-04-11 The United States Of America As Represented By The Department Of Health And Human Services Automated microscopic image acquisition, compositing, and display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4557599A (en) * 1984-03-06 1985-12-10 General Signal Corporation Calibration and alignment target plate
US4807979A (en) * 1986-01-24 1989-02-28 Geno Saccomanno Microscope slide marking device
US4907158A (en) * 1987-05-29 1990-03-06 Carl-Zeiss-Stiftung Method for performing work on cells of a cell culture and apparatus therefor
US5000554A (en) * 1990-05-23 1991-03-19 Gibbs David L Method and apparatus for use in microscope investigations with a carrier having exactly one x-y coordinate system reference mark
US5367401A (en) * 1990-11-23 1994-11-22 Perceptive Scientific Instruments, Inc. Microscope slide rotary stage

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ROBERT C. LEIF, SUZANNE B. LEIF: "A DICOM Compatible Format for Analytical Cytology Data", SPIE PROCEEDINGS-OPTICAL DIAGNOSTICS OF LIVING CELLS II, vol. 3260, 25 January 1998 (1998-01-25), pages 282 - 289, XP002304007 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1698928A1 (de) * 2005-03-04 2006-09-06 Leica Microsystems CMS GmbH Verfahren zum Speichern der Koordinaten zu beleuchtender Bereiche einer Probe in der Mikrskopie
US7676071B2 (en) 2005-03-04 2010-03-09 Leica Microsystems Cms Gmbh Method for illuminating a sample
EP2101297A1 (de) * 2008-03-12 2009-09-16 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Verfahren zum Kalibrieren eines Bühne-Kamera-Systems sowie Bühne-Kamera-System
US8532950B2 (en) 2008-03-12 2013-09-10 Fraunhofer-Gesellchaft Zur Forderung Der Angewandten Forschung E.V. Method for calibrating a stage-camera system, and a stage-camera system
WO2016092815A3 (en) * 2014-12-10 2016-10-27 Canon Kabushiki Kaisha Microscope system and control method thereof
US10634897B2 (en) 2014-12-10 2020-04-28 Canon Kabushiki Kaisha Microscope system and control method thereof
WO2017099104A3 (en) * 2015-12-10 2017-08-10 Canon Kabushiki Kaisha Microscope system and method of controlling the same
WO2017099107A3 (en) * 2015-12-10 2017-09-21 Canon Kabushiki Kaisha Microscope system
CN108369331A (zh) * 2015-12-10 2018-08-03 佳能株式会社 显微镜系统及其控制方法
CN108369331B (zh) * 2015-12-10 2020-09-29 佳能株式会社 显微镜系统及其控制方法
US11009693B2 (en) 2015-12-10 2021-05-18 Canon Kabushiki Kaisha Microscope system

Also Published As

Publication number Publication date
US7343257B2 (en) 2008-03-11
CN1836185A (zh) 2006-09-20
JP2007501959A (ja) 2007-02-01
EP1658521A1 (de) 2006-05-24
DE10336803A1 (de) 2005-03-24
US20060279746A1 (en) 2006-12-14

Similar Documents

Publication Publication Date Title
WO2005017597A1 (de) Verfahren und system zur geräteunabhängigen bestimmung von koordinaten eines mittels eines mikroskops abgebildeten punktes
DE10354752B4 (de) Verfahren und Vorrichtung zur automatischen Entzerrung von einkanaligen oder mehrkanaligen Bildern
EP1979913B1 (de) Verfahren zum betreiben eines messsystems mit einem rastersondenmikroskop und messsystem
DE102005061952A1 (de) Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
DE102007000999B4 (de) Verfahren zur Beseitigung von Fehlerquellen der Systemkorrektur einer Koordinaten-Messmaschine
DE102015219495A1 (de) Verfahren zum Programmieren eines dreidimensionalen Werkstückabtastwegs für ein Metrologiesystem
DE102007016056A1 (de) Verfahren und Vorrichtung zur Werkstückeinmessung und Werkstückbearbeitung
DE202019105838U1 (de) Anordnung mit einem Koordinatenmessgerät oder Mikroskop
DE112007001360T5 (de) Stent-Inspektionssystem
DE102007025304B4 (de) Verfahren zur Verbesserung der Reproduzierbarkeit einer Koordinaten-Messmaschine und deren Genauigkeit
DE112019004853T5 (de) Kalibrierungsverfahren für ein Bildverarbeitungssystem mit mehreren Freiheitsgraden
DE102016220888A1 (de) Referenzplatte und Verfahren zur Kalibrierung und/oder Überprüfung eines Deflektometrie-Sensorsystems
EP3891545A1 (de) Verfahren zur automatischen positionsermittlung auf einer probenanordnung und entsprechendes mikroskop
DE10112008A1 (de) Bildverarbeitungsvorrichtung und computerlesbares Speichermedium
WO1996021882A1 (de) Kamera mit objektiv- und bildträgereinstellvorrichtung und scharfstellverfahren
DE102018218095A1 (de) Verfahren zur Kantenermittlung eines Messobjekts in der optischen Messtechnik
DE10361327A1 (de) Verfahren zur Korrektur des Drifts bei einem optischen Gerät
DE102020131808A1 (de) Vorrichtung zur Unterstützung von Kalibrierungsvorgängen bei Industriekameras
EP3776454B1 (de) Korrekturverfahren und vorrichtung zur korrektur von bilddaten
DE102020113454A1 (de) Mikroskop und Verfahren zum Erzeugen eines aus mehreren mikroskopischen Einzelbildern zusammengesetzten Bildes
EP3853816A1 (de) Computerimplementiertes verfahren zur komprimierung von messdaten aus einer messung eines messvolumens
DE102004047519B4 (de) Verfahren zur Überlagerung optischer Informationen bei einem Scan-Mikroskop
DE19500507C2 (de) Kamera mit Objektiv- und Bildträgereinstellvorrichtung und Scharfstellverfahren
DE10242628B4 (de) Verfahren und System zur Größenkalibrierung
DE3219609C2 (de)

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200480022950.9

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2004763791

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2006279746

Country of ref document: US

Ref document number: 2006522958

Country of ref document: JP

Ref document number: 10568001

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2004763791

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10568001

Country of ref document: US