WO2001046577A2 - Verfahren zur sicheren automatischen nachführung eines endoskops und verfolgung (tracking) eines chirurgischen instrumentes mit einem elektrisch angetriebenen und gesteuerten endoskopführungssystem (efs) für die minimal invasive chirurgie - Google Patents

Verfahren zur sicheren automatischen nachführung eines endoskops und verfolgung (tracking) eines chirurgischen instrumentes mit einem elektrisch angetriebenen und gesteuerten endoskopführungssystem (efs) für die minimal invasive chirurgie Download PDF

Info

Publication number
WO2001046577A2
WO2001046577A2 PCT/EP2000/011062 EP0011062W WO0146577A2 WO 2001046577 A2 WO2001046577 A2 WO 2001046577A2 EP 0011062 W EP0011062 W EP 0011062W WO 0146577 A2 WO0146577 A2 WO 0146577A2
Authority
WO
WIPO (PCT)
Prior art keywords
instrument
endoscope
tracking
image
area
Prior art date
Application number
PCT/EP2000/011062
Other languages
English (en)
French (fr)
Other versions
WO2001046577A8 (de
Inventor
Wolfgang Eppler
Ralf Mikut
Udo Voges
Rainer Stotzka
Helmut Breitwieser
Reinhold Oberle
Harald Fischer
Original Assignee
Forschungszentrum Karlsruhe Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Forschungszentrum Karlsruhe Gmbh filed Critical Forschungszentrum Karlsruhe Gmbh
Priority to EP00977518A priority Critical patent/EP1240418A1/de
Publication of WO2001046577A2 publication Critical patent/WO2001046577A2/de
Priority to US10/172,436 priority patent/US20020156345A1/en
Publication of WO2001046577A8 publication Critical patent/WO2001046577A8/de

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras

Definitions

  • the invention relates to a method for the safe automatic tracking of an endoscope and tracking of a surgical instrument with an electrically driven and controlled endoscope guidance system (EFS) for minimally invasive surgery.
  • EFS endoscope guidance system
  • surgeon uses a monitor image (original monitor).
  • An endoscope with a camera and the instruments necessary for the operation are inserted through trocars into the patient's body cavity.
  • both the endoscope and the camera are often still guided manually.
  • the surgeon who guides the instruments instructs an assistant to adjust the endoscope with the camera so that the instrument remains visible in the image.
  • the advantages of this procedure are that the assistant leading the endoscope avoids dangerous situations, recognizes errors, communicates with the surgeon and only updates the endoscope when it is necessary. Disadvantages are increased personnel costs compared to conventional operations and the inevitable trembling of the assistant.
  • Such an endoscope guide system for guiding an endoscopic camera unit is electrically driven and can be attached to any operating table.
  • An operating component is used for remote control, usually a joystick, which is usually attached to the working instrument, or a voice input.
  • the inserted endoscope as well as separately inserted instruments each have an invariant point with regard to the movement, the trocar Puncture site that must exist on or in the patient's body wall so that these devices can be swiveled and tilted without injuring the patient more than with the puncture.
  • the camera of the endoscope guidance system is guided and mounted so that the lower edge of the image runs parallel to the patient support and the image does not come upside down (see, for example, DE 196 09 034). It is possible to twist the camera, but it makes spatial orientation difficult.
  • An endoscope of such an endoscope guide system that projects into the patient's body has several degrees of freedom.
  • the EFS in DE 196 09 034 has four degrees of freedom of movement, namely about a first axis perpendicular to the operating table through the puncture site on the body, about a second axis perpendicular to the first and perpendicular to the puncturing direction, along a third axis, the trocar axis, and around this latter axis.
  • the first three degrees of freedom are limited by limit switches.
  • the control component e.g. B. on the instrument handle of the instrument operated by the surgeon, the endoscope camera is steered in its viewing direction.
  • Each of the four degrees of freedom can thus be changed at a safety-limited speed.
  • An automatic tracking system can be installed on the basis of such an endoscope control.
  • a control system is known from US 5,820,545.
  • the instrument tip envisaged in it is constantly tracked with every movement, which means restlessness for the viewer. This requires electronics, which, because it is specially made, means a considerable economic outlay. If the third dimension is to be recorded, the corresponding 3-D camera device must be provided for this, which increases the outlay on equipment. Error handling, such as is necessary due to reflections or changing lighting, is not provided.
  • the image section of the current instrument tip is tracked. The operating surgeon sees two different images. Color, geometry or brightness coding of the instrument and position detection via magnetic probes on the working instrument are described.
  • the tracking is related to instruments or organs marked with color / geometry. Multi-colored markings for switching the tracking targets and for increasing security through redundancy are mentioned.
  • the control element is the camera zoom or the position of the CCD chips in the camera or an electronically implemented image selection on the monitor. The system consistently uses special cameras.
  • the invention has for its object a fast, fault-tolerant and inexpensive method for the automatic Chasing an instrument tip with a sparingly moving one
  • the invention is achieved by a method with the features of claim 1 and aims to maintain the advantages of manual guidance of the endoscope even with automatic tracking.
  • the image processing and endoscope control part is strictly separated from the surgeon's original monitor. Errors in these parts do not affect the sequences he tracks.
  • the detection of the instrument tip and the control of the endoscope with its axes and the zoom control are treated as a unit, since the safety concept implemented in this way can detect errors both in the image recognition and in the assignment of the manipulated variables with high reliability. Identifiable error conditions are:
  • the endoscope setting is only changed if the instrument tip leaves a certain frame in the image center of the O monitor (permissible range). This leaves the picture for the Surgeons calm when moving the instrument within this frame near the image center.
  • the tip of the instrument is marked by shape, color or even by its characteristic shape in order to achieve quick recognition. Nevertheless, it cannot be avoided that the characteristics change with different instruments. For this reason, an online adaptation of the characteristic properties of the marking with neural or statistical learning methods will lead to reliable and flexible instrument recognition.
  • Standard components such as computers, operating systems and cameras are completely sufficient to carry out all of these procedural steps.
  • the system needs observation with a single camera, a 2-D camera. It performs the tracking based on two-dimensional image information.
  • a 3-D camera the use of a video channel is therefore sufficient (claim 9), whereby the hardware outlay for image processing is reduced.
  • the instrument tip should be held in the center of the image on the O monitor. Therefore, movements perpendicular to the image plane are ignored. If they are still to be recognized, for example for zoom control or for camera movement perpendicular to the image plane, further measures must be taken.
  • One is a further sensor on the trocar of the instrument, which measures the immersion depth (claim 7), thus reducing the two-channel image processing required for 3-D recording to one channel as for 2-D recording.
  • Another is to roughly calculate the distance between the endoscope and the instrument tip from the perspective distortion of the parallel edges of the instrument. This presupposes that the focal length of the camera and the latitude and longitude dimensions of the instrument are known.
  • the top priority is the intervention of the operating surgeon, who can intervene in the endoscope control at any time with the highest priority and cancel the tracking.
  • Settings work is preceded by the central division of the monitor area before the operation during the functional test.
  • the endoscope setting is only changed automatically when the tip of the instrument leaves the permissible range (claim 2), whereby the image remains pleasantly calm. In order to be able to do this, the area of the instrument tip is mapped in the computer, a model of which is sufficient for identification is created (claim 3).
  • One method of doing this is mentioned in claim 4 and consists of generating a gradient image, segmenting the object edges and determining the third dimension by calculating the edge line using linear regression.
  • the gradient image can be generated by a Sobel filter (claim 5).
  • the advantage of redundancy is that the image processing and the redundant sensors have different advantages and disadvantages.
  • image processing is sensitive to masking of the instrument tip and contamination of the optics.
  • position sensors on the instrument guidance system can supply incorrect information in the event of electromagnetic interference in the operating room, inaccuracies due to the different lengths of the instruments used or inaccuracies in the determination of the reference coordinate systems between the endoscope and instrument guidance, or they can fail during the operation.
  • both image processing and - - Also position sensors for instrument guidance the results can be compared and checked for consistency. Due to the development of the errors, it can be concluded in many cases which of the sensor signals reproduces the current situation without errors.
  • the degree of redundancy of the degrees of freedom of the endoscope guide system is determined by the number of excess axes that are not directly necessary for centering the object in the 0-monitor image. These can be both extracorporeal axes of the EFS - rotation around the vertical axis, around the horizontal axis and rotation around as well as translation along the trocar axis - but also other degrees of freedom that result from the use of endoscopes with flexible, pivotable distal areas. This means that there are so-called intracorporeal axes or degrees of freedom (claim 8).
  • This process concept results in a very high level of security and great fault tolerance.
  • the method works in simple detection situations with an increased processing speed, particularly in image processing, and is able to track at a reduced speed in complicated detection situations, such as unfavorable lighting, similarities between instrument tips and surroundings.
  • the tracking of the endoscope remains at least so fast that no impatience is provoked by the operating surgeon.
  • the method optionally allows the integration of additional transmitters Sensor information such as that of magnetic probes on the guiding system of the working instrument, measurement of the immersion depth on the trocar, in order to compensate for the temporary failure of individual sensors in the multi-sensor environment due to contamination of the instrument tip during optical measurement, to check the plausibility of the evaluated sensor information and thus finally Increase security.
  • Sensor information such as that of magnetic probes on the guiding system of the working instrument, measurement of the immersion depth on the trocar
  • the system is made up of commercially available components or subsystems and can therefore be implemented in an economically acceptable manner.
  • FIG. 1 hierarchy of the method
  • FIG. 3 state graph of automatic tracking
  • FIG. 4 image areas on the original monitor
  • Figure 6 schematically shows the endoscope guidance system.
  • the safety standard is set very high in medical devices. Therefore, the core of the automatic endoscope tracking is the fault-tolerant procedure, which works with multiple redundancy and thus guarantees the required safety. The surgeon is relieved of additional safety by relieving him of technical steps wherever possible. Different levels of automatic tracking support provide support as needed. This means that the doctor can operate the instruments necessary for the operation intuitively and confidently. This is ensured by the quiet path guidance, the speed limit for the tracking and the voice output, through which the doctor can use the - -
  • Output medium MMI monitor, LCD display or voice output about errors and critical states of the system, such as dirty endoscope, is informed.
  • Sovereignty also means that the surgeon uses the monitor, which is independent of the tracking system, the original monitor, and has the hierarchical option of switching off the tracking system at any time.
  • This structured requirement is shown in FIG. 1 and shows the structure of the hierarchy starting from the central requirement of security.
  • the fault tolerance is achieved by one or more measures:
  • Object detection and control as a unit multiple handling of possible error states, both through individual components of the image processing and control as well as through a higher-level monitoring unit, multi-sensor concept, adaptive feature adaptation and 3-D reconstruction.
  • the advantage of the uniform handling of object detection and control is that it allows conclusions to be drawn about the causes of errors. If, for example, the last positioning actions are known, the probable positions of the instrument marking can be inferred with greater accuracy, and thus a higher degree of recognition reliability can be achieved. In addition to improved communication with the surgeon, determining the cause of the error has the advantage of being able to determine adequate system reactions.
  • a system configuration of the endoscope guidance system is shown schematically as an example by the system structure in Figure 2 and consists of the following blocks connected by cable: - The basic EFS with four degrees of freedom, left / right, up / down, turn and in / out including the electronic control and the limit switches on the corresponding axes of the degrees of freedom, _ the 2-D video endoscope with video output (red / yellow / blue output, RGB), original monitor and light source,
  • MMI Man-machine
  • TTL logic interface
  • the user interface in the form of a hand switch, the joystick for manual operation.
  • the tracking control, tracking control consists of the
  • BI binary input "tracking stop” and the video signal with three channels (RGB) and synchronization.
  • the output variables are:
  • the main task of the automatic tracking function is to keep the currently required instrument tip in the central region (see Figure 4).
  • the necessary one The control sequence is shown in the state graph according to FIG. 3.
  • the release circuit for automatic tracking is initiated within the system.
  • the automatic tracking is released by the operating surgeon via the ring switch on the control unit (see Figure 6) and remains active until it is stopped by pressing the stop button or by operating the joystick or automatically.
  • the tracking is automatically stopped:
  • the automatic tracking works with limited positioning speeds of up to 10 cm / sec or 30 ° / sec, which can also be restricted or adapted depending on the application (abdominal, lung, cardiac surgery, for example) and on an individual basis, so that the surgeon can avoid unwanted ones Situations can react in time.
  • there is an adjustment limit for the axis positions which limits tilting and swiveling, limits the translatory movement along the trocar axis and does not allow full rotation about the shaft axis (see FIG. 7).
  • the possibly additionally marked instrument tip is automatically recognized via its image stored in the computer and its middle position by the x position and y position in the two-dimensional camera image, detection reliability, size of the identified instrument tip and further information for error detection passed on to the controller.
  • the detection of the instrument tip works independently and is independent of the release of the tracking.
  • the image processing (FIG. 2) recognizes occurring errors, such as no instrument in the image, several instruments in the image, and stops the automatic tracking in these cases.
  • the automatic tracking will change the position of the endoscope until the instrument tip is again in the central region.
  • This task is solved by the path control (see FIG. 2), which continuously processes the measured position of the instrument tip in the camera image.
  • the status of the automatic tracking and any error messages are shown or displayed on the MMI monitor so that there is no need to interfere with the image transmission between the camera and the O monitor for the camera image.
  • the third dimension can be estimated with sufficient accuracy with a known focal length of the endoscope.
  • the most important task in depth estimation is to determine the size of the object in the image.
  • Object can also mean a marking with sharp edges that can be easily recognized on the object.
  • the simplest method of detection is to determine the diameter of the segmented marking region. This proves to be imprecise, since the different orientations of the endoscope and the properties of the central projection lead to deformations that do not allow an exact determination of the object width.
  • a better method for determining the instrument width at the tip segments the edges of the object and then determines the distance to the calculated center of gravity. This has the advantage that the width of the object is determined largely independently of the orientation and largely unaffected by the projection.
  • a filter for example a 3x3 Sobel filter, is applied to the transformed grayscale image in order to then start an edge tracking algorithm.
  • edges found have the disadvantage that their width can vary widely. What is required is a thin edge line that is consistently the width of a pixel by distances to determine the edges more precisely.
  • the accuracy of the distance determination essentially depends on the quality of the edge extraction.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

Das Verfahren zur sicheren automatischen Nachführung eines Endoskops und Verfolgung (Tracking) eines chirurgischen Instruments mit einem elektrisch angetriebenen und gesteuerten Endoskopführungssystem (EFS) für die minimal invasive Chirurgie ruht auf drei Säulen: der rechnergeführten Fehlertoleranzbearbeitung, der intuitiven Bedienung durch den und der Souveränität des operierenden Chirurgen. Dies ist die Basis für eine grosse Sicherheit bei der Operation und bedeutet eine angenehme Entlastung von konzentrationsraubendem Mitverfolgen und von momentanen Bedienvorgängen untergeordneter Priorität.

Description

Verfahren zur sicheren automatischen Nachführung eines Endoskops und Verfolgung (Tracking) eines chirurgischen Instrumentes mit einem elektrisch angetriebenen und gesteuerten Endoskopführungs- system (EFS) für die minimal invasive Chirurgie
Die Erfindung betrifft ein Verfahren zur sicheren automatischen Nachführung eines Endoskops und Verfolgung (Tracking) eines chirurgischen Instrumentes mit einem elektrisch angetriebenen und gesteuerten Endoskopführungssystem (EFS) für die minimal invasive Chirurgie.
Bei minimal invasiven Operationen orientiert sich der Chirurg an einem Monitorbild (Original-Monitor) . Ein Endoskop mit Kamera und die zur Operation notwendigen Instrumente werden durch Tro- kare in die Körperhöhle des Patienten eingeführt.
Zum gegenwärtigen Stand der Technik sind sowohl das Endoskop als auch die Kamera häufig noch manuell geführt. Der Chirurg, der die Instrumente führt, weist einen Assistenten an, das Endoskop mit Kamera so nachzuführen, daß das Instrument im Bild sichtbar bleibt. Die Vorteile dieser Vorgehensweise bestehen darin, daß der das Endoskop führende Assistent gefährliche Situationen vermeidet, Fehler erkennt, mit dem Chirurgen kommuniziert und das Endoskop nur dann nachführt, wenn es notwendig ist. Nachteilig ist ein erhöhter Personalaufwand gegenüber konventionellen Operationen und das unvermeidliche Zittern des Assistenten.
Zur Vermeidung der genannten Nachteile wurden Systeme eingeführt, die das Endoskop automatisch führen. Ein solches Endoskopführungssystem zum Führen einer endoskopischen Kameraeinheit ist elektrisch angetrieben und kann an jeden Operationstisch angebracht werden. Zur Fernbedienung dient eine Bedienkomponente, meist ein Joystick, der in der Regel am Arbeitsinstrument befestigt wird, oder auch eine Spracheingabe. Das eingeführte Endoskop wie auch separat eingeführte Instrumente haben jeweils hinsichtlich der Bewegung einen invarianten Punkt, die Trokarein- stichstelle, der auf oder in der Körperwand des Patienten bestehen muss, damit diese Geräte geschwenkt und geneigt werden können, ohne den Patienten dabei mehr als mit dem Durchstich zu verletzen. Die Kamera des Endoskopführungssystems ist dabei so geführt und montiert, daß die untere Bildkante parallel zur Patientenauflage verläuft und das Bild nicht auf dem Kopf zu stehen kommt (siehe z. B. DE 196 09 034) . Eine Verdrehung der Kamera ist wohl möglich, erschwert aber die räumliche Orientierung.
Ein in den Körper des Patienten ragendes Endoskop eines solchen Endoskopführungssystems verfügt über mehrere Freiheitsgrade. Beispielsweise hat das EFS in DE 196 09 034 vier Freiheitsgrade der Bewegung, und zwar um eine erste Achse senkrecht zum Operationstisch durch die Einstichstelle am Körper, um eine zweite Achse senkrecht zu der ersten und senkrecht zur Einstichrichtung, entlang einer dritten Achse, der Trokarachse, und um diese letztere Achse. Die ersten drei Freiheitsgrade sind über Endschalter begrenzt. Mit der Bedienkomponente, z. B. am Instrumentengriff des vom Chirurgen bedienten Instruments, wird die Endo- skopkamera in ihrer Blickrichtung gelenkt. Jeder der vier Freiheitsgrade kann so mit sicherheitsbegrenzter Geschwindigkeit verändert werden.
Auf der Basis einer derart vorhandenen Endoskopsteuerung ist ein automatisches Trackingsystem installierbar. Ein solches Steuerungssystem ist aus der US 5,820,545 bekannt. Die darin ins Auge gefasste Instrumentenspitze wird bei jeder Bewegung ständig nachgefahren, was Unruhe für den Betrachter bedeutet. Hierzu ist eine Elektronik notwendig, die, da speziell angefertigt, einen erheblichen wirtschaftlichen Aufwand bedeutet. Soll die dritte Dimension erfasst werden, muss dazu die entsprechende 3-D-Kame- raeinrichtung vorgesehen werden, was den apparativen Aufwand erhöht. Eine Fehlerbehandlung, wie sie aufgrund von Reflexionen oder wechselnder Beleuchtung z.B. notwendig wird, ist nicht vorgesehen. Bei dem Nachfahrsystem gemäß der US 5,836,869 wird der Bildausschnitt der aktuellen Instrumentenspitze nachgefahren. Der operierende Chirurg bekommt zwei verschiedene Bilder zu sehen. Es wird eine Färb-, Geometrie- oder Helligkeitskodierung des Instruments und eine Positionserkennung über Magnetsonden am Arbeitsinstrument beschrieben. Es können zwei Bilder betrachtet werden, nämlich der Zoom einer Situation und die Übersicht. Das Tracking wird auf Instrumente oder farb-/geometriemarkierte Organe bezogen. Mehrfarbige Markierungen zur Umschaltung der Trak- kingziele und zur Erhöhung der Sicherheit durch Redundanz werden erwähnt. Stellglied ist jeweils der Kamerazoom bzw. die Position der CCD-Chips in der Kamera oder eine elektronisch realisierte Bildauswahl auf dem Monitor. Das System benutzt durchweg Spezi- alkameras .
Bei allen verwendeten Verfahren stehen meist mehr Freiheitsgrade zur Verfügung als zur Positionierung des EFS notwendig sind, um die Instrumentenspitze auf die gewünschte Sollposition zu bringen. Diese Freiheitsgrade werden dazu verwendet, die auszuführenden Bewegungen zu minimieren. Ein mögliches Verfahren ist die Ermittlung optimaler Stellgrößen unter Verwendung einer Jacobi- Matrix, wobei auch Stellrestriktionen einbezogen werden können (US 5,887,121) .
Bei allen genannten Verfahren gehen die Vorteile verloren, die die manuelle Führung durch einen Assistenten bietet. Das Nachführverhalten ist unruhig, weil die Systeme versuchen, einen vorgegebenen Punkt auf dem Monitor genau zu erreichen und auch bei kleinen Abweichungen, die z.B. durch Bewegungen des Instruments verursacht werden, sofort das Endoskop nachführen. Die Systeme sind kaum in der Lage, auftretende Fehler automatisch zu detektieren. Es findet nur eine sehr einfache unidirek- tionale Kommunikation vom Chirurgen zum EFS statt. Der Chirurg erhält keine Hinweise über mögliche Fehlerursachen.
Der Erfindung liegt die Aufgabe zugrunde, ein schnelles, fehlertolerantes und kostengünstiges Verfahren für das automatische Verfolgen einer Instrumentenspitze mit einem sparsam bewegten
Endoskop bereitzustellen und damit den operierenden Chirurgen von der Endoskopführung zu entlasten.
Die Erfindung wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst und hat zum Ziel, die Vorteile einer manuellen Führung des Endoskops auch bei einer automatischen Nachführung beizubehalten.
Das zugrunde liegende Sicherheitskonzept besteht aus mehreren Stufen:
A. der Fehlertoleranzbearbeitung,
B. der intuitiven Bedienung und
C. der Souveränität.
Der Bildverarbeitungs- und Endoskopsteuerungsteil ist von dem Original-Monitor des operierenden Chirurgen strikt getrennt. Fehler in diesen Teilen beeinflussen nicht die von ihm verfolgten Sequenzen. Das Erkennen der Instrumentenspitze und die Steuerung des Endoskops mit seinen Achsen und der Zoomsteuerung wird als Einheit behandelt, da das hiermit realisierte Sicherheitskonzept Fehler sowohl bei der Bilderkennung als auch bei der Belegung der Stellgrößen mit hoher Zuverlässigkeit feststellen kann. Feststellbare Fehlerzustände sind:
Mehrfacherkennung des Instrumentes aufgrund von Reflexionen, keine Erkennung des Instrumentes wegen Verschmutzung, zeitlich stark verzögerte Erkennung des Instruments derart, daß die Abtastrate der Endoskopregelung wegen zu geringer Leistung des Rechners nicht mehr eingehalten werden kann, unrealistisch sprunghafte Ortsänderung des Instruments wegen begrenzter Drehzahl der Stellmotoren und eine zu starke, sicherheitskritische Annäherung der Optik an das Instrument oder an ein Organ.
Die Endoskopeinstellung wird nur verändert, wenn die Instrumentenspitze einen bestimmten Rahmen im Bildzentrum des O-Monitors verlässt (zulässiger Bereich). Dadurch bleibt das Bild für den Chirurgen ruhig, wenn er das Instrument innerhalb dieses Rahmens in der Nähe des Bildzentrums bewegt.
Die Instrumentenspitze ist durch Form, Farbe oder auch nur durch ihre charakteristische Form markiert, um eine schnelle Erkennung zu erreichen. Dennoch ist nicht zu vermeiden, daß sich bei unterschiedlichen Instrumenten die Merkmale ändern. Deswegen wird eine Online-Adaption der charakteristischen Eigenschaften der Markierung mit neuronalen oder statistischen Lernverfahren hier zu einer sicheren und flexiblen Instrumentenerkennung führen.
Um all diese Verfahrensschritte durchführen zu können, reichen Standardkomponenten als Rechner, Betriebssystem und Kameras vollständig aus. Das System kommt zur Beobachtung mit einer einzigen Kamera, einer 2-D-Kamera aus. Es führt das Tracking anhand von zweidimensionalen Bildinformationen durch. Bei Verwendung einer 3-D-Kamera reicht die Nutzung eines Videokanals daher aus (Anspruch 9) , wodurch der Hardware-Aufwand zur Bildverarbeitung reduziert wird.
Die Instrumentenspitze soll in der Bildmitte des O-Monitors gehalten werden. Daher bleiben Bewegungen senkrecht zur Bildebene unberücksichtigt. Sollen sie dennoch erkannt werden, für eine Zoom-Steuerung etwa oder für eine Kamerabewegung senkrecht zur Bildebene, müssen weitere Maßnahmen ergriffen werden. Eine ist ein weiterer Sensor am Trokar des Instruments, der die Eintauchtiefe misst (Anspruch 7), damit reduziert sich die bei der 3-D- Aufnahme notwendige zweikanalige Bildverarbeitung auf einen Kanal wie bei der 2-D-Aufnahme . Eine weitere ist, aus der perspektivischen Verzerrung der parallelen Kanten des Instruments den Abstand zwischen Endoskop und Instrumentenspitze grob zu berechnen. Das setzt voraus, daß die Brennweite der Kamera sowie die Breiten- und Längenmaße des Instruments bekannt sind.
Oberste Priorität hat das Eingreifen des operierenden Chirurgen, der in die Endoskopsteuerung jederzeit mit höchster Priorität eingreifen und das Tracking abbrechen kann. An Einstellungsarbeit geht vor der Operation während der Funktionsprüfung die konzentrale Einteilung des Monitorbereichs voraus. Es gibt drei Bereiche auf dem O-Monitor: den gesamten Bildschirm, den für die Instrumente zulässigen Aufenthaltsbereich und den Mittelpunktsbereich. Die Endoskopein- stellung wird automatisch nur verändert, wenn die Instrumentenspitze den zulässigen Bereich verlässt (Anspruch 2), wodurch das Bild angenehm ruhig bleibt. Um das ausführen zu können, wird der Bereich der Instrumentenspitze im Rechner abgebildet, ein zur Identifizierung ausreichendes Modell davon erstellt (Anspruch 3) . Eine Methode, das zu tun, ist in Anspruch 4 erwähnt und besteht aus der Erzeugung eines Gradientenbilds, Segmentierung der Objektkanten und Ermittlung der dritten Dimension durch Berechnung der Kantengeraden mittels linearer Regression. Dabei kann das Gradientenbild durch ein Sobel-Filter erzeugt sein (Anspruch 5) .
Um eine hohe Qualität der Sicherheit zu erreichen, ist genügende Redundanz einzurichten. Die grundsätzliche Erzeugung der MultiSensor-Umgebung durch Positionssensoren und Bildverarbeitung kann durch weitere Positionssensoren am Führungssystem des Instruments (Anspruch 6) oder durch die Erfassung der Eintauchtiefe am Trokar (Anspruch 7) ergänzt werden.
Der Vorteil der Redundanz besteht darin, daß die Bildverarbeitung und die redundanten Sensoren unterschiedliche Vor- und Nachteile aufweisen. Beispielsweise ist die Bildverarbeitung empfindlich gegenüber einer Verdeckung der Instrumentenspitze und Verschmutzungen der Optik. Positionssensoren am Instrumen- tenführungssystem können je nach verwendetem Messprinzip bei elektromagnetischen Störungen im Operationssaal fehlerhafte Informationen liefern, Ungenauigkeiten aufgrund unterschiedlicher Länge der verwendeten Instrumente oder Ungenauigkeiten bei der Ermittlung der Bezugs-Koordinatensysteme zwischen Endoskop- und Instrumentenführung aufweisen, oder sie können während der Operation ausfallen. Existieren nun sowohl Bildverarbeitung als - - auch Positionssensoren für die Instrumentenführung, können die Ergebnisse verglichen und auf Konsistenz geprüft werden. Aufgrund der Entwicklung der Fehler kann in vielen Fällen darauf geschlossen werden, welches der Sensorsignale die gegenwärtige Situation fehlerfrei wiedergibt.
Die Verwendung der Positionssensoren am Instrumentenschaft oder am Instrumentenführungssystem kann sogar dazu führen, daß die Bildverarbeitung vollständig ersetzt wird.
Der Grad der Redundanz der Freiheitsgrade des Endoskopführungs- systems wird durch die Anzahl der überschüssigen Achsen bestimmt, die nicht direkt für die Zentrierung des Objekts im 0- Monitorbild notwendig sind. Dies können sowohl extrakorporale Achsen des EFS sein - Drehung um die Vertikalachse, um die Horizontalachse und Drehung um als auch Translation längs der Trokarachse - aber auch weitere Freiheitsgrade, die sich etwa durch den Einsatz von Endoskopen mit flexiblen, schwenkbaren Distalbe- reichen ergeben. Damit bestehen sog. intrakorporale Achsen bzw. Freiheitsgrade (Anspruch 8).
Dieses Verfahrenskonzept ergibt eine sehr hohe Sicherheit und große Fehlertoleranz. Das Verfahren arbeitet in einfachen Erkennungssituationen mit einer erhöhten Verarbeitungsgeschwindigkeit insbesondere in der Bildverarbeitung und ist in der Lage, bei komplizierten Erkennungssituationen, wie ungünstige Beleuchtung, Ähnlichkeiten zwischen Instrumentenspitzen und Umgebung, mit einer reduzierten Geschwindigkeit nachzufahren. Die Nachführung des Endoskops bleibt mindestens so schnell, daß keine Ungeduld beim operierenden Chirurgen provoziert wird.
Da das Endoskop durch das Führungssystem sparsam bewegt wird, besteht ein ruhiges und doch wahres Bild auf dem O-Monitor, das den Chirurgen nicht unnötig ablenkt. Eine weitere Entlastung ergibt sich.
Das Verfahren erlaubt optional die Integration zusätzlicher Sen- sorinformationen wie der von Magnetsonden am Führungssystem des Arbeitsinstruments, Messung der Eintauchtiefe am Trokar, um bei der Multi-Sensor-Umgebung den temporären Ausfall einzelner Sensoren durch Verschmutzung der Instrumentenspitze bei optischer Messung zu kompensieren, die Plausibilität der ausgewerteten Sensorinformationen zu überprüfen und damit schließlich die Sicherheit zu erhöhen.
Wird das Instrument von einem _nstrumenten-Führungs_system, IFS, geführt, sei es hand- oder maschinengeführt, so kommt auch über dieses Information an das EFS.
Das System ist aus handelsüblichen Baukomponenten bzw. Teilsystemen aufgebaut und kann daher wirtschaftlich akzeptabel realisiert werden.
Das Verfahren wird im folgenden anhand der Zeichnung in seiner
Struktur näher erläutert. Es zeigen:
Figur 1 Hierarchie des Verfahrens,
Figur 2 Systemstruktur
Figur 3 Zustandsgraph des automatischen Nachführens,
Figur 4 Bildbereiche auf dem Original-Monitor,
Figur 5 Abbildung der Instrumentengeometrie und
Figur 6 Endoskopführungssystem schematisch.
In medizintechnischen Geräten ist der Sicherheitsstandard sehr hoch angesetzt. Deshalb ist der Kern der automatischen Endoskop- nachführung das fehlertolerante Verfahren, das mit mehrfacher Redundanz arbeitet und damit die geforderte Sicherheit gewährleistet. Weitere Sicherheit entsteht aus der Entlastung des operierenden Chirurgen, in dem er, wo möglich, von technischen Handgriffen befreit wird. Unterschiedliche Grade an automatischer Trackingunterstützung bieten Unterstützung nach Bedarf. Das bedeutet, daß der Arzt die für die Operation notwendigen Instrumente intuitiv und souverän bedienen kann. Dafür sorgt die ruhige Bahnführung, die Geschwindigkeitsbegrenzung bei der Nachführung und die sprachliche Ausgabe, durch die der Arzt über das - -
Ausgabemedium: MMI-Monitor, LCD-Display oder Sprachausgabe über Fehler und kritische Zustande des Systems, wie verschmutztes Endoskop, informiert wird.
Damit wird im Vergleich zu vorhandenen Systemen die Sicherheit und Akzeptanz wesentlich erhöht, weil der Chirurg oder ein Assistent die Ursachen für die Fehlfunktion gezielt beseitigen kann, z.B. durch Reinigen der Optik oder durch Rückführung des Instruments in den Bildbereich. Außerdem werden so unerwartete Reaktionen des Nachführsystems deutlich reduziert.
Souveränität heißt weiterhin: der Chirurg benutzt den vom Nach- fuhrungssystem unabhängigen Monitor, den Original-Monitor, und hat die hierarchische Möglichkeit, das Nachfuhrungssystem jederzeit abzuschalten. In Figur 1 ist diese strukturierte Forderung dargestellt und zeigt die Hierarchie in ihrem Aufbau von der zentralen Forderung der Sicherheit ausgehend.
Die Fehlertoleranz wird durch eine oder mehrere Maßnahmen erreicht :
Objekterkennung und Steuerung als Einheit, mehrfache Behandlung möglicher Fehlerzustande, sowohl durch einzelne Komponenten der Bildverarbeitung und der Steuerung als auch durch eine übergeordnete Uberwachungseinheit, Multisensor-Konzept , adaptive Merkmalsanpassung und 3-D-Rekonstruktion.
Der Vorteil der einheitlichen Behandlung der Objekterkennung und Steuerung liegt darin, daß so Rückschlüsse auf Fehlerursachen getroffen werden können. Sind beispielsweise die letzten Stellaktionen bekannt, kann mit größerer Genauigkeit auf die wahrscheinlichen Positionen der Instrumentenmarkierung geschlossen und so eine höhere Erkennungssicherheit erzielt werden. Eine Ermittlung der Fehlerursache hat neben der verbesserten Kommunikation mit dem Chirurgen den Vorteil, adäquate Systemreaktionen ermitteln zu können. Eine Systemkonfiguration des Endoskopführungssystems ist beispielhaft durch die Systemstruktur in Figur 2 schematisch dargestellt und besteht aus folgenden, über Kabel verbundenen Blökken: - dem Basis-EFS mit vier Freiheitsgraden, links/rechts, oben/unten, drehen und rein/raus einschließlich der elektronischen Ansteuerung und den Endschaltern auf den entsprechenden Achsen der Freiheitsgrade, _ dem 2-D-Videoendoskop mit Video-Ausgang (Rot/Gelb/Blau-Ausgang, RGB) , Original-Monitor und Lichtquelle,
~~ dem Rechner (PC) mit MMI-Monitor für die Schnittstelle:
Mensch-Maschine (MMI) und der Digital-Ausgabe-Karte zur Ansteuerung der Logik-Schnittstelle (TTL) ,
~~ der Zusatzkomponenten zur Bildvorverarbeitung, sog. Framegrab- ber,
~ der Bedienschnittstelle in Form eines Handschalters, dem Joystick für die manuelle Bedienung.
Die Nachführungssteuerung, Trackingsteuerung, besteht aus den
Komponenten:
Bildverarbeitung,
Bahnsteuerung und
Überwachung.
Sie verarbeitet die Eingangsgrößen:
BI = Binary Input „Tracking ein",
BI = Binary Input „Tracking stop" und das Videosignal mit drei Kanälen (RGB) und Synchronisation.
Die Ausgangsgrößen sind:
~~ 2 x 4 x BO (Binary Output) zur Veränderung der Achsenposition über die Ansteuerung einer zweiten digitalen Schnittstelle, ~~ Status- und Fehlermeldungen.
Die Hauptaufgabe der automatischen Tracking-Funktion besteht darin, die aktuell benötigte Instrumentenspitze in dem Mittelpunktsbereich zu halten (siehe Figur 4). Der dazu notwendige Steuerungsablauf ist in dem Zustandsgraph gemäß Figur 3 dargestellt. Die Freigabeschaltung für das automatische Tracking wird systemintern veranlasst.
Das automatische Tracking wird hier vom operierenden Chirurgen über den Ringschalter an der Bedieneinheit freigegeben (siehe Figur 6) und bleibt solange aktiv, bis es durch Drücken der Stop- taste oder durch Bedienung des Joysticks oder automatisch gestoppt wird.
Ein automatischer Stopp des Tracking wird vorgenommen:
~~ wenn kein Instrument im Bild erkannt wird, sei es, weil nicht vorhanden oder weil verschmutzt,
_ wenn aufgrund sicherheitskritischer, zu geringer Entfernung zum Instrument das Bild unscharf wird,
~~ wenn mehrere Instrumente erkannt werden,
~" wenn die Erkennung des Instruments nicht innerhalb der geforderten Reaktionszeit erfolgt,
"~ wenn kein Videosignal anliegt,
_ wenn die Bildverarbeitung, Bahnsteuerung, Überwachung oder die Ansteuerung elektronische oder Programmfehler erkennt. Sämtliche Fehler werden auf den MMI-Monitor eingeblendet.
Nach einem Stop kann das Tracking wieder freigegeben werden. Das automatische Tracking arbeitet dabei mit eingeschränkten Stellgeschwindigkeiten bis zu 10 cm/sec bzw. 30°/sec, die weiterhin applikations- (Bauch-, Lungen-, Herzchirurgie beispielsweise) und individuumabhängig eingeschränkt bzw. angepaßt werden können, so daß der Chirurg auf unerwünschte Situationen rechtzeitig reagieren kann. Darüber hinaus besteht eine Stellbegrenzung für die Achsenpositionen, die ein Kippen und Schwenken in Grenzen hält, das translatorische Bewegen entlang der Trokarachse begrenzt und eine Volldrehung um die Schaftachse nicht zuläßt (siehe Figur 7). Aus dem Kamerabild auf dem O-Monitor (Figur 4) wird die eventuell zusätzlich markierte Instrumentenspitze über ihr im Rechner abgelegtes Abbild automatisch erkannt und ihre mittlere Position durch die x-Position und y-Position im zweidimensionalen Kamerabild, Erkennungssicherheit, Größe der identifizierten Instrumentenspitze und weiteren Informationen zur Fehlererkennung an die Steuerung weitergegeben. Die Erkennung der Instrumentenspitze arbeitet selbständig und ist unabhängig von der Freigabe des Tracking. Die Bildverarbeitung (Figur 2) erkennt auftretende Fehler, wie kein Instrument im Bild, mehrere Instrumente im Bild, und stoppt in diesen Fällen das automatische Tracking.
Beim Verlassen des zulässigen Bereichs (Figur 4) wird das automatische Tracking die Position des Endoskops so verändern, bis sich die Instrumentenspitze wieder im Mittelpunktsbereich befindet. Diese Aufgabe wird durch die Bahnsteuerung (siehe Figur 2) gelöst, die die gemessene Position der Instrumentenspitze im Kamerabild kontinuierlich mit verarbeitet.
Nach dem Erreichen des kleineren Bereichs um den Bildmittelpunkt werden solange keine weiteren Stellhandlungen ausgelöst, bis der vorgegebene größere zulässige Bereich (Figur 4) wieder verlassen wird. Durch diese Zurückhaltung in der Bewegung durch bereichsweise Unterdrückung derselben wird ein ruhiges Bild auf dem 0- Monitor erzeugt.
Der Status des automatischen Trackings und eventuelle Fehlermeldungen werden auf dem MMI-Monitor eingeblendet bzw. angezeigt, so daß kein Eingriff in die Bildübertragung zwischen Kamera und O-Monitor für das Kamerabild erfolgen muss.
Um Tiefenerkennung zu erhalten, ist die 3-D-Positionsbestimmung gebräuchlich, aber wegen zwei notwendigen Kameras, deren Blickachsen unter einem vorgegebenen Schielwinkel zueinander stehen, ein Geräteaufwand, der durch die Tiefenerkennung an Hand von 2- D-Bilddaten mit nur einer Kamera in Grenzen kompensiert werden kann. Mit Hilfe der einfachen Strahlensatz-Strahloptik kann der Zusammenhang zwischen Bild- und Gegenstandsweite genau ermittelt werden:
g= / X B L
mit g: Gegenstandsweite, G: Gegenstandsgröße, B: Bildgröße, f: Brennweite der Endoskoplinse
Die Abschätzung der dritten Dimension gelingt hinreichend genau bei bekannter Brennweite des Endoskops.
Die wichtigste Aufgabe bei der Tiefenabschätzung ist es, die Größe des Objektes im Bild zu bestimmen. Objekt kann auch eine auf dem Objekt gut zu erkennende Markierung mit scharfen Kanten bedeuten. Die einfachste Methode der Erkennung besteht darin, den Durchmesser der segmentierten Markierungsregion zu bestimmen. Dies erweist sich als ungenau, da es durch die unterschiedlichen Orientierungen des Endoskops und durch die Eigenschaften der Zentralprojektion zu Verformungen kommt, die keine genaue Bestimmung der Objektbreite zulassen.
Ein besseres Verfahren zur Ermittlung der Instrumentenbreite an der Spitze segmentiert in einem ersten Schritt die Kanten des Objekts und bestimmt daraufhin den Abstand zum errechneten Schwerpunkt. Dies hat den Vorteil, daß unabhängig von der Ausrichtung und durch die Projektion weitgehend unbeeinflußt die Breite des Objektes bestimmt wird.
Die Detektion der Objektkanten erfolgt in mehreren Schritten: - Zuerst wird ein Filter, zum Beispiel ein 3x3-Sobel-Filter, auf das transformierte Graustufenbild angewandt, um anschließend einen Kantenverfolgungsalgorithmus zu starten.
Die gefundenen Kanten besitzen jedoch den Nachteil, daß ihre Breite stark variieren kann. Verlangt wird eine dünne Kantenlinie, die durchweg die Breite eines Pixels besitzt, um Abstände zu den Rändern genauer bestimmen zu können.
Realisiert wird dies, indem die segmentierten Kanten durch Geraden approximiert werden.
Dies gelingt am schnellsten durch eine lineare Regressionsanalyse, bei der die Beziehung zwischen den x- und y-Werten einer Punktemenge in Form eines linearen Modells formuliert werden. So lassen sich die Kanten mathematisch beschreiben, was die Bestimmung der Objektgröße in einem nächsten Schritt ermöglicht.
Dies geschieht entweder über den Abstand zweier paralleler Geraden oder über den Abstand einer Geraden zum Schwerpunkt des Objekts durch Umformen der Geradengleichungen in die Hesse 'sche- Normalenform und Einsetzen des Schwerpunktes. Figur 5 zeigt das Verfahren mit den vier wesentlichen Schritten im Überblick, diese sind:
1. Erzeugung des Gradientenbildes von dem markierten Instrument mit dem Sobel-Filter, dann
2. Segmentierung der Objektkanten, Kantenverfolgung, dann
3. Berechnung der Kantengerade mittels linearer Regression und schließlich
4. die Berechnung des Abstandes : Gerade - Markierungsschwerpunkt .
Es zeigt sich, daß die Genauigkeit der Entfernungsbestimmung im wesentlichen von der Qualität der Kantenextraktion abhängt.

Claims

Patentansprüche :
1. Verfahren zur sicheren automatischen Nachführung eines Endoskops und Verfolgung (Tracking) eines chirurgischen Instrumentes mit einem elektrisch angetriebenen und gesteuerten EndoskopführungsSystem (EFS) für die minimal invasive Chirurgie, bestehend aus den Schritten: A. Fehlertoleranzbearbeitung
~ der distale Endbereich eines verwendeten Instruments wird über eine Kamera aufgenommen und daraus in einem Bildverarbeitungssystem ein spezielles Abbild mit aktueller Stellgrößenangabe erzeugt,
- die Beobachtung des Instruments wird auf: Mehrfacherkennung wegen Reflexion, keine Erkennung wegen Verschmutzung, keine Erkennung wegen Verlassen des Bildbereichs, keine Erkennung wegen Verdeckung, keine Erkennung wegen Unscharfe im Bild durch zu geringe Entfernung zwischen Optik und Instrumentenspitze, zeitlich zu späte Erkennung wegen geringer Rechnerleistung und sprunghafte Ortsänderung wegen Drehzahlbegrenzung der Stellmotoren fehlerbehandelt ;
_ bei erkannten kritischen Fehlern wird die Nachführung des EFS automatisch gestoppt, um Verletzungen des Patienten zu vermeiden,
_ eine Multi-Sensor-Umgebung wird über eine Kamera mit
Bildverarbeitung und Positionssensoren für die Freiheitsgrade des EFS erzeugt,
~ das mit der Multi-Sensor-Umgebung versehene Endoskopfüh- rungssystem kompensiert den temporären Ausfall oder die Unwirksamkeit einzelner Sensoren unter bestimmten Betriebsbedingungen, wie Verdeckung des Instruments, Verunreinigungen der Optik, elektromagnetische Störungen, und überprüft die aktuell ausgewertete Sensorinformation auf Plausibilität, _ mit einer adaptiven Merkmalsanpassung wird die Erkennung unterschiedlicher Objekte über maschinelle neuronale oder statistische Lernverfahren durchgeführt,
_ mögliche Fehlerzustände werden zumindest teilweise doppelt behandelt, und zwar durch einzelne Komponenten der Bildverarbeitung und Bahnsteuerung als auch durch eine übergeordnete regelbasierte Überwachungseinheit,
~ aus der perspektivischen Verzerrung der parallelen Kanten des distalen Instrumentenbereichs wird unter Einbeziehung der Brennweite der Kameralinse und den Maßen des Instruments der Abstand zwischen dem beobachtenden Endoskop und der Instrumentenspitze berechnet (3-D-Rekonstruktion) ; Intuitive Bedienung
- die Position des aktuell gehandhabten Endoskops wird nur verändert, wenn die auf dem Original-Monitor (O-Monitor) dargestellte Instrumentenspitze einen vorgegebenen zentralen Bereich (zulässigen Bereich) verlässt, wodurch eine ruhige Bahnführung ohne unnötige Stellbewegungen entsteht,
- die im Fehlerfall detektierte Fehlerursache wird über ein Mensch-Maschine-Interface (MMI) , das aus dem MMI-Monitor und/oder einer Sprachausgabe besteht, ausgegeben und so aktive Maßnahmen des Chirurgen zur Fehlerdetektion und Fehlerbeseitigung, wie Reinigen der Kamera oder manuelle Rückführung der Instrumentenspitze in den Bildbereich, ermöglicht;
Souveränität
~ die von dem operierenden Chirurgen unmittelbar getroffenen und von ihm auf dem O-Monitor beobachteten Handlungen haben Priorität und werden von dem Endoskopführungssystem nicht beeinflusst;
~ das Endoskopführungssystem mit seiner Fehlertoleranzbearbeitung und intuitiven Bedienung wird von dem operierenden Chirurgen an dem MMI nach Bedarf zu- oder bei Nicht- bedarf weggeschaltet; - -
~" die Geschwindigkeit zur Nachführung des Instruments und die Winkelgeschwindigkeit zur Drehung des Instruments wird derartig begrenzt, daß ein Eingreifen des Chirurgen bei einer fehlerhaften Verarbeitung in komplizierten Erkennungssituationen, wie ungünstige Beleuchtung und Ähnlichkeiten zwischen Instrumentenspitze und Umgebung, stets gegeben ist.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Bildbereich des O-Monitors bei einer der Operation vorangehenden Funktionsprüfung für das automatische Tracking in drei unterschiedlich große konzentrische Bereiche eingeteilt wird: "~ den Mittelpunktsbereich: befindet sich das Instrument oder befinden sich die Instrumente darin, so wird das Endoskop nicht automatisch nachgeführt,
~~ den zulässigen Bereich: befindet sich das Instrument oder befinden sich die Instrumente innerhalb dieses Bereichs, so wird das Endoskop automatisch nachgeführt, wenn das Instrument oder die Instrumente diesen Bereich vorher verlassen hatte oder hatten, und
~~ den äußeren Bereich: befindet sich das Instrument oder befinden sich die Instrumente in diesem Bereich, so wird das Endoskop immer automatisch mit dem Ziel nachgeführt, das Instrument wieder in den Mittelpunktsbereich zu bringen.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß als Abbild des Bereichs der Instrumentenspitze im Rechner ein vereinfachtes Modell davon abgelegt wird.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß von dem Bereich der Instrumentenspitze, die zusätzlich spezifisch markiert sein kann, zunächst ein Gradientenbild erzeugt wird, dann die Objektkanten mittels Kantenverfolgung segmentiert und schließlich mittels linearer Regression die jeweilige
Kantengerade berechnet wird, um die dritte Dimension daraus zu ermitteln.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß das Gradientenbild mittels eines Sobel-Filters erzeugt wird.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß die durch die Positionssensoren erzeugte Multi-Sensor-Umgebung durch Positionssensoren am Führungssystem des chirurgischen Instrumentes ergänzt wird, wodurch Ausfälle im einen System durch das noch Funktionieren im andern ausgeglichen (kompensiert) werden können.
7. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß die durch die Kamera mit Bildverarbeitung und die Positionssensoren erzeugte Multi-Sensor-Umgebung durch Messung der Eintauchtiefe am Trokar ergänzt wird, wodurch Ausfälle der Sensoren in einem System durch das noch Funktionieren im andern ausgeglichen (kompensiert) werden können.
8. Verfahren nach den Ansprüchen 5 bis 7, dadurch gekennzeichnet, daß die durch extrakorporale Freiheitsgrade des EFS erzeugten und ausnutzbaren Redundanzen für das Tracking durch die intrakorporalen Freiheitsgrade des EFS erweitert werden.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß zur Verfolgung des Bereichs der Instrumentenspitze eine 2-D-Ka- mera oder eine 3-D-Kamera, von der zur Reduzierung des Hardware-Aufwandes für die Bildverarbeitung nur ein Bildkanal verarbeitet wird, verwendet wird.
PCT/EP2000/011062 1999-12-22 2000-11-09 Verfahren zur sicheren automatischen nachführung eines endoskops und verfolgung (tracking) eines chirurgischen instrumentes mit einem elektrisch angetriebenen und gesteuerten endoskopführungssystem (efs) für die minimal invasive chirurgie WO2001046577A2 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP00977518A EP1240418A1 (de) 1999-12-22 2000-11-09 Verfahren zur sicheren automatischen nachführung eines endoskops und verfolgung eines chirurgischen instrumentes
US10/172,436 US20020156345A1 (en) 1999-12-22 2002-05-16 Method of guiding an endoscope for performing minimally invasive surgery

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19961971A DE19961971B4 (de) 1999-12-22 1999-12-22 Vorrichtung zum sicheren automatischen Nachführen eines Endoskops und Verfolgen eines Instruments
DE19961971.9 1999-12-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US10/172,436 Continuation US20020156345A1 (en) 1999-12-22 2002-05-16 Method of guiding an endoscope for performing minimally invasive surgery

Publications (2)

Publication Number Publication Date
WO2001046577A2 true WO2001046577A2 (de) 2001-06-28
WO2001046577A8 WO2001046577A8 (de) 2008-01-17

Family

ID=7933779

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2000/011062 WO2001046577A2 (de) 1999-12-22 2000-11-09 Verfahren zur sicheren automatischen nachführung eines endoskops und verfolgung (tracking) eines chirurgischen instrumentes mit einem elektrisch angetriebenen und gesteuerten endoskopführungssystem (efs) für die minimal invasive chirurgie

Country Status (4)

Country Link
US (1) US20020156345A1 (de)
EP (1) EP1240418A1 (de)
DE (1) DE19961971B4 (de)
WO (1) WO2001046577A2 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1862114A1 (de) 2006-06-01 2007-12-05 Biosense Webster, Inc. Modellbasierte Korrektur von Positionsmessungen
WO2011147651A1 (de) * 2010-05-25 2011-12-01 Siemens Aktiengesellschaft Verfahren zum bewegen eines instrumentenarms eines laparoskopieroboters in eine vorgebbare relativlage zu einem trokar
CN117953043A (zh) * 2024-03-26 2024-04-30 北京云力境安科技有限公司 一种基于内镜图像的区域测量方法、装置及存储介质

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8944070B2 (en) 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US20030071893A1 (en) * 2001-10-05 2003-04-17 David Miller System and method of providing visual documentation during surgery
CA2483763A1 (en) * 2002-05-02 2003-11-13 Medigus Ltd. Entry port for endoscopes and laparoscopes
EP1504712B1 (de) * 2002-10-29 2009-12-02 Olympus Corporation Endoskopinformationsprozessor und verarbeitungsmethode
DE10313829B4 (de) * 2003-03-21 2005-06-09 Aesculap Ag & Co. Kg Verfahren und Vorrichtung zur Auswahl eines Bildausschnittes aus einem Operationsgebiet
DE102004011888A1 (de) * 2003-09-29 2005-05-04 Fraunhofer Ges Forschung Vorrichtung zur virtuellen Lagebetrachtung wenigstens eines in einen Körper intrakorporal eingebrachten medizinischen Instruments
US9943372B2 (en) * 2005-04-18 2018-04-17 M.S.T. Medical Surgery Technologies Ltd. Device having a wearable interface for improving laparoscopic surgery and methods for use thereof
US10555775B2 (en) * 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
KR101477133B1 (ko) * 2006-06-13 2014-12-29 인튜어티브 서지컬 인코포레이티드 미소절개 수술 시스템
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US20090192523A1 (en) 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
US10258425B2 (en) 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US20080004610A1 (en) * 2006-06-30 2008-01-03 David Miller System for calculating IOL power
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US9469034B2 (en) 2007-06-13 2016-10-18 Intuitive Surgical Operations, Inc. Method and system for switching modes of a robotic system
US8620473B2 (en) 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
GB2454017A (en) * 2007-10-26 2009-04-29 Prosurgics Ltd A control assembly
US9168173B2 (en) * 2008-04-04 2015-10-27 Truevision Systems, Inc. Apparatus and methods for performing enhanced visually directed procedures under low ambient light conditions
US8864652B2 (en) * 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
US10117721B2 (en) * 2008-10-10 2018-11-06 Truevision Systems, Inc. Real-time surgical reference guides and methods for surgical applications
US9226798B2 (en) * 2008-10-10 2016-01-05 Truevision Systems, Inc. Real-time surgical reference indicium apparatus and methods for surgical applications
US9173717B2 (en) 2009-02-20 2015-11-03 Truevision Systems, Inc. Real-time surgical reference indicium apparatus and methods for intraocular lens implantation
DE102009010263B4 (de) * 2009-02-24 2011-01-20 Reiner Kunz Verfahren zur Navigation eines endoskopischen Instruments bei der technischen Endoskopie und zugehörige Vorrichtung
JP2012525190A (ja) * 2009-04-29 2012-10-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 単眼の内視鏡画像からのリアルタイム深度推定
US8918211B2 (en) 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
US8784443B2 (en) * 2009-10-20 2014-07-22 Truevision Systems, Inc. Real-time surgical reference indicium apparatus and methods for astigmatism correction
US20110213342A1 (en) * 2010-02-26 2011-09-01 Ashok Burton Tripathi Real-time Virtual Indicium Apparatus and Methods for Guiding an Implant into an Eye
US10238837B2 (en) * 2011-10-14 2019-03-26 Intuitive Surgical Operations, Inc. Catheters with control modes for interchangeable probes
US20130303944A1 (en) 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Off-axis electromagnetic sensor
US9452276B2 (en) 2011-10-14 2016-09-27 Intuitive Surgical Operations, Inc. Catheter with removable vision probe
KR101876386B1 (ko) * 2011-12-29 2018-07-11 삼성전자주식회사 의료용 로봇 시스템 및 그 제어 방법
TWI517828B (zh) * 2012-06-27 2016-01-21 國立交通大學 影像追蹤系統及其影像追蹤方法
ES2813625T3 (es) 2012-08-30 2021-03-24 Alcon Inc Sistema y procedimientos de formación de imágenes que visualizan una imagen reconstruida multidimensional fusionada
US10507066B2 (en) 2013-02-15 2019-12-17 Intuitive Surgical Operations, Inc. Providing information of tools by filtering image areas adjacent to or on displayed images of the tools
DE102013108228A1 (de) 2013-07-31 2015-02-05 MAQUET GmbH Assistenzeinrichtung zur bildgebenden Unterstützung eines Operateurs während eines chirurgischen Eingriffs
US10744646B2 (en) 2013-08-29 2020-08-18 Wayne State University Camera control system and method
DE102013109677A1 (de) 2013-09-05 2015-03-05 MAQUET GmbH Assistenzeinrichtung zur bildgebenden Unterstützung eines Operateurs während eines chirurgischen Eingriffs
DE102014118962A1 (de) * 2014-12-18 2016-06-23 Karl Storz Gmbh & Co. Kg Lagebestimmung eines minimalinvasiven Instrumentes
DE102015100927A1 (de) * 2015-01-22 2016-07-28 MAQUET GmbH Assistenzeinrichtung und Verfahren zur bildgebenden Unterstützung eines Operateurs während eines chirurgischen Eingriffs unter Verwendung mindestens eines medizinischen Instrumentes
CN107613833B (zh) 2015-05-28 2019-10-08 奥林巴斯株式会社 内窥镜系统
US11478133B2 (en) * 2017-02-28 2022-10-25 Sony Corporation Medical observation system, apparatus for controlling the same, and method for controlling the same
US10299880B2 (en) 2017-04-24 2019-05-28 Truevision Systems, Inc. Stereoscopic visualization camera and platform
US11083537B2 (en) 2017-04-24 2021-08-10 Alcon Inc. Stereoscopic camera with fluorescence visualization
US10917543B2 (en) 2017-04-24 2021-02-09 Alcon Inc. Stereoscopic visualization camera and integrated robotics platform
WO2018225132A1 (ja) * 2017-06-05 2018-12-13 オリンパス株式会社 医療システムおよび医療システムの作動方法
CN114191099B (zh) * 2022-01-14 2023-12-01 山东威高手术机器人有限公司 微创手术机器人主从跟踪延时测试方法
DE102022118328A1 (de) 2022-07-21 2024-02-01 Karl Storz Se & Co. Kg Steuervorrichtung und System

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19609034A1 (de) 1995-03-10 1996-09-12 Karlsruhe Forschzent Vorrichtung zur Führung chirurgischer Instrumente für die endoskopische Chirurgie
US5820545A (en) 1995-08-14 1998-10-13 Deutsche Forschungsanstalt Fur Luft-Und Raumfahrt E.V. Method of tracking a surgical instrument with a mono or stereo laparoscope
US5836869A (en) 1994-12-13 1998-11-17 Olympus Optical Co., Ltd. Image tracking endoscope system
US5887121A (en) 1995-04-21 1999-03-23 International Business Machines Corporation Method of constrained Cartesian control of robotic mechanisms with active and passive joints

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5417210A (en) * 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5279309A (en) * 1991-06-13 1994-01-18 International Business Machines Corporation Signaling device and method for monitoring positions in a surgical operation
US5631973A (en) * 1994-05-05 1997-05-20 Sri International Method for telemanipulation with telepresence
AT399647B (de) * 1992-07-31 1995-06-26 Truppe Michael Anordnung zur darstellung des inneren von körpern
US5829444A (en) * 1994-09-15 1998-11-03 Visualization Technology, Inc. Position tracking and imaging system for use in medical applications
US6671058B1 (en) * 1998-03-23 2003-12-30 Leica Geosystems Ag Method for determining the position and rotational position of an object
US6546277B1 (en) * 1998-04-21 2003-04-08 Neutar L.L.C. Instrument guidance system for spinal and other surgery

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5836869A (en) 1994-12-13 1998-11-17 Olympus Optical Co., Ltd. Image tracking endoscope system
DE19609034A1 (de) 1995-03-10 1996-09-12 Karlsruhe Forschzent Vorrichtung zur Führung chirurgischer Instrumente für die endoskopische Chirurgie
US5887121A (en) 1995-04-21 1999-03-23 International Business Machines Corporation Method of constrained Cartesian control of robotic mechanisms with active and passive joints
US5820545A (en) 1995-08-14 1998-10-13 Deutsche Forschungsanstalt Fur Luft-Und Raumfahrt E.V. Method of tracking a surgical instrument with a mono or stereo laparoscope

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1862114A1 (de) 2006-06-01 2007-12-05 Biosense Webster, Inc. Modellbasierte Korrektur von Positionsmessungen
US7962195B2 (en) 2006-06-01 2011-06-14 Biosense Webster, Inc. Model-based correction of position measurements
AU2007202444B2 (en) * 2006-06-01 2012-04-26 Biosense Webster, Inc. Model-based correction of position measurements
US8260400B2 (en) 2006-06-01 2012-09-04 Biosense Webster, Inc. Model-based correction of position measurements
CN101081166B (zh) * 2006-06-01 2013-07-17 韦伯斯特生物官能公司 基于模型的位置测量校正
WO2011147651A1 (de) * 2010-05-25 2011-12-01 Siemens Aktiengesellschaft Verfahren zum bewegen eines instrumentenarms eines laparoskopieroboters in eine vorgebbare relativlage zu einem trokar
US9066737B2 (en) 2010-05-25 2015-06-30 Siemens Aktiengesellschaft Method for moving an instrument arm of a laparoscopy robot into a predeterminable relative position with respect to a trocar
CN117953043A (zh) * 2024-03-26 2024-04-30 北京云力境安科技有限公司 一种基于内镜图像的区域测量方法、装置及存储介质

Also Published As

Publication number Publication date
DE19961971A1 (de) 2001-07-26
US20020156345A1 (en) 2002-10-24
DE19961971B4 (de) 2009-10-22
EP1240418A1 (de) 2002-09-18
WO2001046577A8 (de) 2008-01-17

Similar Documents

Publication Publication Date Title
WO2001046577A2 (de) Verfahren zur sicheren automatischen nachführung eines endoskops und verfolgung (tracking) eines chirurgischen instrumentes mit einem elektrisch angetriebenen und gesteuerten endoskopführungssystem (efs) für die minimal invasive chirurgie
EP2449997B1 (de) Medizinischer Arbeitsplatz
DE102018206406B3 (de) Mikroskopiesystem und Verfahren zum Betrieb eines Mikroskopiesystems
EP3363358B1 (de) Vorrichtung zum festlegen und wiederauffinden eines bezugspunkts während eines chirurgischen eingriffs
DE102014016823B4 (de) Verfahren zum Steuern eines an einem Haltearm gekoppelten mechatronischen Assistenzsystems
EP1638064B1 (de) Simulator für das Training von minimal-invasiven medizinischen Operationen
WO2008058520A2 (de) Vorrichtung zur bereitstellung von bildern für einen operateur
WO2001089405A1 (de) Vollautomatische, robotergestützte kameraführung unter verwendung von positionssensoren für laparoskopische eingriffe
WO2015014669A1 (de) Verfahren und vorrichtung zum festlegen eines arbeitsbereichs eines roboters
DE10249786A1 (de) Referenzierung eines Roboters zu einem Werkstück und Vorrichtung hierfür
DE202013012276U1 (de) Vorrichtung zum unterstützen eines laparoskopischeneingriffs - lenk- und manövriergelenkwerkzeug
DE102018125592A1 (de) Steuerungsanordnung, Verfahren zur Steuerung einer Bewegung eines Roboterarms und Behandlungsvorrichtung mit Steuerungsanordnung
DE102014019752A1 (de) Haltearm für medizinische Zwecke mit zwei mechatronischen Schnittstellen
DE4412073A1 (de) Operationsmikroskop-Einheit
DE102015216573A1 (de) Digitales Operationsmikroskopiesystem
DE102014210056A1 (de) Verfahren zur Ansteuerung eines chirurgischen Geräts sowie chirurgisches Gerät
DE102004052753A1 (de) Verfahren und Operations-Assistenz-System zur Steuerung der Nachführung zumindest eines Hilfsinstrumentes bei einem medizinisch minimal-invasiven Eingriff
EP4284290A1 (de) Chirurgisches assistenzsystem mit operationsmikroskop und kamera und darstellungsverfahren
DE102008046344B4 (de) Vorrichtung zum Überwachen des Umfelds eines Geräts, insbesondere eines medizinischen Geräts, sowie ein solches Gerät
DE102018206405B3 (de) Mikroskopiesystem sowie Verfahren zum Betrieb eines Mikroskopiesystems
DE102020205546A1 (de) Überwachungsverfahren und medizinisches System
DE102020114416A1 (de) System zur Überwachung einer Operationsleuchtenanordnung
DE102022118328A1 (de) Steuervorrichtung und System
EP1537830B1 (de) Verfahren und Vorrichtung zum Beobachten von Objekten mit einem Mikroskop
WO2024018011A1 (de) Steuervorrichtung und system, sowie system mit einem medizinischen operationsinstrument, einer datenerfassungsvorrichtung und einer datenverarbeitungseinrichtung

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2000977518

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10172436

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2000977518

Country of ref document: EP

WWR Wipo information: refused in national office

Ref document number: 2000977518

Country of ref document: EP

WWW Wipo information: withdrawn in national office

Ref document number: 2000977518

Country of ref document: EP