WO2012107041A1

WO2012107041A1 - Endoskopisches bildverarbeitungssystem mit mitteln, welche im erfassungsbereich einer optischen digitalkamera eine geometrische vermessungsinformation erzeugen

Info

Publication number: WO2012107041A1
Application number: PCT/DE2012/200007
Authority: WO
Inventors: Olaf Christiansen
Original assignee: Olaf Christiansen
Priority date: 2011-02-11
Filing date: 2012-02-11
Publication date: 2012-08-16
Also published as: US9691162B2; EP2672915A1; DE112012000752A5; US20150161802A1

Abstract

Endoskopisches Bildverarbeitungssystem enthaltend eine optische Digitalkamera, insbesondere mit großer Schärfentiefe, sowie Mittel, welche im Erfassungsbereich der optischen Digitalkamera eine Distanzinformation erzeugen, die zusammen mit der Bildinformation verarbeitet und dann detektiert und benutzt wird, um zusätzliche geometrische Daten betreffend den Bildinhalt zu erzeugen. Die Vermessungsinformation wird dabei gewonnen aus einer der Abbildung eines Hilfsinstruments, das als normales chirurgisches Instrument ausgebildet sein kann, wobei das Bild eines Teils des Hilfsinstruments aus dem Kamerabild extrahiert und als Bezugsgröße für den Abbildungsmaßstab dient. Auf dieser Grundlage wird dann eine geometrische Information maßstabsgerecht in festem Bezug zum Hilfsinstrument in das laufende Kamerabild als virtuelles Mess- oder Anzeigeelement eingefügt. Beispielsweise kann das ein Messstab sein, der im Bild an das Hilfsinstrument angehängt erscheint und mit diesem „bedient" werden kann.

Description

Die Erfindung betrifft ein Bildverarbeitungssystem der im Oberbegriff des Anspruchs 1 angegebenen Art, das insbesondere für medizinische Zwecke verwendbar ist.

Derartige Bildverarbeitungssysteme werden heute beispielsweise in Form von digitalen Endoskop-Kameras sowohl in der allgemeinen Technik - bei schwer zugänglichen Reparaturstellen - als auch in der minimalinvasiven Chirurgie eingesetzt. Durch die kurze Brennweite der verwendeten Kameras weisen diese eine relativ große Schärfentiefe auf, welche auch notwendig ist, damit die Bedienungsperson einen guten Überblick über den Arbeitsbereich hat und die betrachteten Objekte nicht bei jeder Bewegung des Endoskops aus dem Schärfenbereich heraus gelangen. Die entsprechenden Kameras haben dabei eine feste Entfernungseinstellung, die dem Arbeitsbereich angepasst ist. Die Schärfentiefe kann bei bekannten Systemen beispielsweise einen Bereich von 1 mm bis Unendlich umfassen. Da sich die zu betrachtenden Objekte eines Arbeitsbereichs damit – trotz scharfer Darstellung - in unterschiedlicher Entfernung von der Kameraoptik befinden können, kann die dargestellte Größe auf einem WiedergabeMonitor nicht als Bezugsgröße für andere in den Arbeitsbereich einzubringende Elemente bzw. Implantate benutzt werden. Die wahre Größe von Objekten und deren Abstände untereinander lassen sich also bei endoskopischer Betrachtung nur sehr schwer abschätzen.

Bei der endoskopischen Untersuchung von unzugänglichen Objekten mittels Digitalkameras besteht daher das Bedürfnis, nähere geometrische Informationen über das Objekt zu erhalten – also einzelne Teile des Objekts mittels Längenmaßeinheiten reproduzierbar zu vermessen.

Bekannt ist ein Vielpunkt-Laserprojektionsverfahren, mit dessen Hilfe von der Umgebung der Optik aus Lasermarkierungen auf einem Objekt erzeugt werden, die dann mit der Bildinformation zusammen aufgenommen und in einer Nachbereitung der fertigen Aufnahme aus dem Objekt herausgefiltert und aufgrund ihrer Anordnung im Bild geometrischen Informationen zugeordnet werden. Auf diese Weise lassen sich durch eine anschließende Rechnerbearbeitung mittels geeigneter Software Aussagen über die Abstände der Lasermarkierungen untereinander oder aber deren Abstand von der Kameraoptik machen.

Insbesondere ist von der Firma Karl Storz Endoskope für technische Endoskope http://www.karlstorz.de/cps/rde/xbcr/SID-0A010A01-E 6111DF4/karlstorz/3 628419295_156329_156329_1.pdf (siehe Seite 46, ebenfalls am Anmeldetag zugänglich) ein Laser-Referenz-Messsystem bekannt, mit dem Laserpunkte im Bereich des Objekts erzeugt werden können, mit deren Hilfe dann ein in das Bild einblendbarer Maßstab eines elektronischen Messsystems kalibriert werden kann. Dieses System kann entsprechend auch bei der medizinischen Bildwiedergabe verwendet werden, wie es in http://www.egms.de/de/meetings/hnod2009/09hnod324.shtml beschrieben ist. Hierbei wird manuell aufgrund der mittels Laserpunkten ermittelten Entfernungen des Objekts auf dessen Volumen geschlossen.

Aus der US 6891148B1 ist ebenfalls ein System zur Erzeugung von parallelen Laserstrahlen für die Skalierung von photographischen Bildern bekannt. Maßnahmen zur Beeinflussung des Abbildungsmaßstabs sind ebenfalls nicht vorgesehen.

Nachteilig ist dabei, dass die Auswertung nicht in Echtzeit erfolgt, so dass die Ergebnisse nicht unmittelbar zur Verfügung stehen. Zwar muss das Endoskop für die Auswertung nicht aus der Zugangsöffnung herausgezogen werden. Es entsteht aber trotzdem eine erhebliche Arbeitsunterbrechung, welche beispielsweise bei minimalinvasiven Operationen im medizinischen Bereich nicht hingenommen werden kann. Auch ist dabei eine besondere Endoskopkamera mit Mitteln zur Erzeugung von Lasermarkierungen erforderlich, welche an festen Punkten erscheinen.

In der Dissertation „Augmented Reality in Laparoscopic Surgery” von Marco Feuerstein, 2007, ( http://nbn-resolving.de /urn/resolver.pl?urn:nbn:de:bvb:91-diss-20070619-6 22737-1-8 ) werden zahlreiche Konzepte beschrieben, um bei endoskopisch ausgeführten Operationen zusätzliche geometrische Informationen für den ausführenden Chirurgen bereitzustellen. Diese Daten werden unter anderem über die Position von bei der Operation benutzten Instrumenten dadurch gewonnen, dass die aus dem Operationsraum herausragenden Enden und daran befestigte Marker von zusätzlichen Kameras überwacht und deren Bewegungen ausgewertet werden. Eine Erzeugung von zusätzlichen geometrischen Informationen betreffend den Arbeitsraum ist aber auf Grund der Auswertung optischer Daten nicht möglich. Statt dessen werden zusätzliche Informationen von CT- oder Ultraschallmesseinrichtungen benötigt, um zuverlässige geometrische Daten betreffend den Operationsraum zu gewinnen. Erst diese zusätzlichen Informationen auf Grund unterschiedlicher geometrischer Messverfahren ermöglichen es dann eine Skalierung des Bildes der Endoskopkamera vorzunehmen, wobei das optische Bild des Ultraschallkopfes dazu dient, die durch die anderen geometrischen Messverfahren ermittelten geometrischen Werte in Bezug auf das Kamerabild zu kalibrieren. Die Dissertation fasst damit die Messtechniken zusammen, welche bei den bekannten Operationsrobotern verwendet werden.

Nachteilig ist dabei, dass bei den dort beschriebenen Verfahren zur Gewinnung zusätzlicher Informationen betreffend den Operationsbereich aufwendige zusätzliche bildgebende Verfahren angewendet werden müssen, welche auf anderen als optisch erfassbaren Größen beruhen.

Aus der US-Patentschrift 7794396B2 ist es weiterhin bekannt, den Zoomfaktor einer Endoskopkamera automatisch aufgrund der im Bild erfassten Position eines OperationsInstruments zu verändern. Hierdurch soll aber keine zusätzliche, den Bildinhalt der Kamera ergänzende geometrische Information gewonnen werden, sondern lediglich dafür gesorgt werden, dass die Kamera stets den Operationsbereich einschließlich der aktiven OperationsInstrumente erfasst. Es kommt dabei auch lediglich auf das Detektieren eines derartigen Instruments an, ohne dass dessen Geometrie erfasst und abgeglichen würde. Eine selbsttätige geometrische Erfassung von Distanzen zur Vermessung des Operationsbereiches mit einer nachfolgenden automatischen Bildeinstellung ist somit nicht vorgesehen.

Aus http://www.duettrs.com/imageServer.aspx?contentID=14325&contenttype =application/pdf ist ein OperationsInstrument bekannt, dass einen in einer Längeneinheit geeichten Maßstab aufweist. Dieser ist jedoch für die visuelle Ablesung für den menschlichen Betrachter bestimmt. Die erforderlichen Übertragungen und Auswertungen müssen rein manuell erfolgen und unterliegen der subjektiven Abschätzung. Eine unmittelbare automatische Gewinnung von objektiven geometrischen Messwerten aus dem Situs ist somit nicht möglich. Auch hier ist eine selbsttätige geometrische Erfassung von Distanzen zur Vermessung des Operationsbereiches mit einer nachfolgenden automatischen Bildeinstellung ist somit nicht möglich.

Aus der US-Patentschrift 7206006B2 ist ferner ein Bildverarbeitungssystem bekannt, mit dem eine aufgrund einer Entfernungsmessung zwischen Kamera und Objekt ermittelten Distanzinformation der Maßstab eines wiederzugebenden Bildes so eingestellt wird, dass das Objekt in Originalgröße wiedergegeben wird. Hierbei besteht die Schwierigkeit, mit der Messung auch die jeweils relevanten Objektteile zu treffen, deren Wiedergabe im Originalmaßstab wesentlich ist. Außerdem ist ein Entfernungsmesser bei endoskopischen Bildverarbeitungssystemen nicht brauchbar.

In der nicht vorveröffentlichten Patentanmeldung PCT/DE2010/050058 des Anmelders ist ein Bildverarbeitungssystem beschrieben, welches Lasermarkierungen zur Maßstabseinstellung des wiederzugebenden Bildes verwendet.

Der Erfindung liegt die Aufgabe zugrunde, ein Bildverarbeitungssystem der eingangs genannten Art zu schaffen, mit dem es einer Bedienungsperson während einer – insbesondere endoskopischen - Beobachtung ausschließlich mit einer normalen Endoskopkamera auf einem Wiedergabemonitor möglich ist, Abschätzungen im Operationsbereich mit großer Genauigkeit und auch Messungen vorzunehmen und unmittelbar in die Bearbeitung umzusetzen, ohne dass es dazu manueller Messungen im Inneren mittels mechanischer oder elektronischer Maßstäbe oder Messhilfen bedarf. Auch soll die Vermessung unmittelbar während der laufenden Beobachtung möglich sein, so dass nicht erst ein Standbild zur nachträglichen Vermessung ausgewählt und bearbeitet werden muss. Dies ist insbesondere vorteilhaft für unter endoskopischer Beobachtung ausgeführte minimalinvasive Operationen, bei denen die Belastung des Patienten durch eine möglichst kurze OP-Zeit gering gehalten werden soll. Die Vermessung soll dabei ohne weiteres den örtlichen Maßstab der von der Kamera aufgenommenen Bildinformation im Messpunkt berücksichtigen, ohne dass dazu spätere Umrechnungen erforderlich sind.

Diese Aufgabe wird mit den im kennzeichnenden Teil des Anspruchs 1 angegebenen Maßnahmen gelöst.

Die Erfindung beruht auf der Erkenntnis, dass ein bei einer endoskopischen Untersuchung verwendetes Instrument, welches sich im Blickfeld der Endoskopkamera befindet, für automatisch auszuführende geometrische Berechnungen mittels Datenverarbeitung benutzt werden kann, wenn es gelingt, die Größenverhältnisse des Instruments automatisch zu erfassen und zu normieren, so dass der Bildmaßstab von Objekten in der Nähe des Instruments bekannt ist und zu selbsttätig auszuführenden geometrischen Messungen und Berechnungen benutzt werden kann.

Begriffe werden hierbei wie folgt verwendet: Die geometrische Distanzinformation bildet als eine für eine geometrische Distanz repräsentative Größe die Basis für die Maßstabsinformation, welche ihrerseits als örtlicher Maßstabsfaktor zur Umrechnung der örtlichen Längenabmessungen im Bild zu Realabmessungen dient.

Die Vergleichsinformation besteht aus Abbildungen des distalen Teils des Hilfsinstruments aus unterschiedlichen Richtungen und bildet die Bezugsbasis für den Größenabgleich des Hilfsinstruments, um dessen Abbildungsmaßstab und räumliche Ausrichtung im Bild zu ermitteln.

Die geometrische Bezugsinformation bildet die Beziehung zwischen einem Bezugsort und der Abbildung, um die Position eines geometrischen Bezugsortes (Optische Kennzeichnung des geometrischen Ortes) des abgebildeten Instruments in Bezug auf den Bildursprung der Abbildung definieren zu können

Der Cursor bildet die optische Kennzeichnung des zugeordneten geometrischen Bezugsortes des Instruments im Bild, wenn die gespeicherte Abbildung des Instruments mit der Bilddarstellung abgeglichen wurde und der zu der Abbildung gehörige Bezugsort auf den Bildschirm übertragen wird.

Der Begriff Vermessungsinformation beinhaltet dabei die Zusammenfassung von Maßstab und Bezugsort.

Wie weiter unten dargestellt ist, können derartige Messungen in der Abschätzung von Größenabmessungen von Objekten oder auch von Bewegungen, einschließlich solcher des Instruments selbst, herangezogen werden.

Ohne Aufwendung von Hilfsenergie im Beobachtungsraum ist damit die Möglichkeit gegeben, an mindestens einer Bildposition den Bildmaßstab und die Entfernung von der Kamera mittels der Verwendung eines Hilfsinstruments als Bezugsgröße auszumessen. Aus der Größe des Bilds des distalen Bereichs eines im Übrigen üblichen Instruments bzw. eines Instrumententeils in der laufenden Wiedergabe wird aus dem Bild eine bekannte Distanzinformation ermittelt und auf den örtlichen Maßstab der Wiedergabe der Umgebung - durch Umsetzung in eine Vermessungsinformation – geschlossen. Bei anderen endoskopischen Anwendungen kann ein Arbeitsinstrument vielfach durch einen zusätzlich verfügbaren Arbeitskanal in den Sichtbereich der Kamera eingebracht werden.

Diese Vermessungsinformation ist dabei die Bezugsgröße für den Bildmaßstab im distalen Bereich des Hilfsinstruments. Damit lässt sich der Bildmaßstab des angrenzenden Objektbereichs ermitteln, so dass dort Wegstrecken unmittelbar aus dem Bild heraus messtechnisch erfasst werden können. Es lässt sich auch ein virtueller Messstab mit dem Bild des distalen Endes des Instruments optisch verbinden, so dass dieser mit dem Instrument bewegt werden kann, um Messungen am Objekt auszuführen, wenn die Instrumentenerkennung im Bild mit der entsprechenden Auswertung in Echtzeit fortlaufend aktualisiert wird.

Dazu bedarf es keines speziell angefertigten Hilfsinstrumentariums. Dadurch, dass ein ohnehin bei der Operation eingesetztes übliches Instrument durch Vergleich mit einem gespeicherten Bild, dessen Abmessungen bekannt sind, als Bezugsbasis für die Vermessung dient – und damit die „Distanzinformation“ gemäß der Erfindung als eine direkt aus dem Bild entnehmbare „optische Information“ bildet, braucht kein besonderer körperlicher Messstab verwendet zu werden. Unmittelbar aus dem Operationsgeschehen heraus kann das in Kontakt mit dem zu vermessenden Bereich gebrachte Operationsinstrument als Bezugsbasis für die Vermessung dienen. Voraussetzung ist lediglich, dass das verwendete Instrument in seiner äußeren Form (und damit seinen geometrischen Abmessungen) bekannt ist. Durch die spezielle Herstellung von besonders geformten und "vermessungstauglichen" Instrumenten, kann dabei zusätzlich sichergestellt werden, dass durch eine entsprechende Zertifizierung ein hoher Qualitätsstandard diesbezüglich eingehalten wird.

Dabei wird durch das Bild eines in den Aufnahmebereich der Kamera einzubringenden Teils des Hilfsinstruments im Erfassungsbereich der optischen Digitalkamera innerhalb des Beobachtungsraums eine geometrische Distanzinformation erzeugt, die durch Vergleich mit dem gespeicherten Abbild des betreffenden Teils des Hilfsinstruments maßstabsbildend wirkt. Dabei ist es nicht erforderlich, dass die geometrische Distanzinformation unmittelbar an der Oberfläche des Instruments ables- oder in sonstiger Weise entnehmbar ist. Die Distanzinformation kann auch implizit durch Abgleich des Kamerabildes mit dem gespeicherten Vergleichsbild des Instruments gewonnen werden. Der Maßstabsfaktor wird in diesem Fall nicht aus einer der Bildinformation entnommenen Abmessung, sondern unmittelbar aus dem bei dem Größenabgleich einzustellenden Faktor ermittelt.

Wenn das Ende des Hilfsinstruments als „Zeiger“ wirkt, besteht damit ein Bezugspunkt für die Errechnung des örtlichen Maßstabs, der im Bild als mit dem Ende des Instruments mitgeführter Cursor angezeigt wird.

Speichermittel sind insbesondere vorgesehen für eine Abbildung des relevanten Teils des Hilfsinstruments als Vergleichsinformation zum Zwecke des Abgleichs mit in dem laufenden Kamerabild enthalten Ansichten aus unterschiedlichen Richtungen in Grob- und Feindarstellung bzw. Mittel zur entsprechenden bedarfsweisen Reduktion der Bildinformation der gespeicherten Abbildung. Dabei ist jede Datenrepräsentation geeignet, welche in der Lage ist, eine Referenz zum Auffinden der Abbildung des Hilfsinstruments bzw. dessen relevanten Teil im aufgenommenen Kamerabild aufzufinden. Hierbei kann es sich insbesondere um eine Rundum-Darstellung der Oberfläche des Endbereichs oder eine entsprechende dreidimensionale Darstellung handeln, wobei diese bevorzugt auf das verwendete Vergleichsverfahren abgestimmt ist. Geeignet sind also Pixel- oder Vektordarstellungen, wie sie auch für Verfahren der inhaltsbasierten Bildsuche mit den entsprechenden mathematischen Verfahren verwendet werden können.

Es wird also im Erfassungsbereich der optischen Digitalkamera eine geometrische Information erzeugt, die zusammen mit der Bildinformation verarbeitet und dann detektiert und benutzt wird, um zusätzliche geometrische Daten betreffend den Bildinhalt als Vermessungsinformation zu erzeugen. Die Vermessungsinformation wird dabei gewonnen aus einer der Abbildung des Hilfsinstruments, das als normales chirurgisches Instrument ausgebildet sein kann, wobei das Bild eines Teils des Hilfsinstruments aus dem Kamerabild extrahiert und als Bezugsgröße für den Abbildungsmaßstab dient. Auf dieser Grundlage wird dann eine zusätzliche geometrische Information maßstabsgerecht in festem Bezug zum Hilfsinstrument in das laufende Kamerabild als virtuelles Mess- oder Anzeigeelement eingefügt. Normalerweise wird das ein Cursor sein, der anzeigt, dass das Hilfsinstrument erfasst und zur Maßstabsbildung herangezogen wurde. Beispielsweise kann das aber auch ein Messstab sein, der im Bild an das Hilfsinstrument angehängt erscheint und mit diesem „bedient“ werden kann.

Die Speichermittel enthalten auch einen geometrischen Bezugspunkt in fester relativer geometrischer Zuordnung zu der in den ersten Speichermitteln gespeicherten Abbildung. Dieser virtuelle Bezugspunkt wird nach der Detektion der Position des Hilfsinstruments und dessen Maßstab im Bild als Bezugsposition als optische Kennzeichnung nach Art eines Cursors in das laufende Kamerabild eingeblendet, um einen definierten Bezugspunkt für die Positionierung des Instruments zu erhalten.

Dieser Bezugspunkt definiert den Ausgangspunkt für Messungen und zu erfassende Instrumentenbewegungen. Bevorzugt ist er in einem vorstehenden Teilbereich des Instruments gelegen, der direkt mit dem Körpergewebe in Kontakt kommt, so dass er auch den Berechnungspunkt für den örtlichen Bildmaßstab bildet, der somit möglichst eng an ein im Bild dargestelltes dem Instrumententeil benachbartes Objekt geknüpft ist.

Mit den ersten Detektormitteln zum groben Auffinden der Position der Abbildung des Teilbildes des Hilfsinstruments im laufenden Kamerabild durch Vergleich mit der in den Speichermitteln festgehalten Abbildung des Teils des Hilfsinstruments und die Ausgabe der gefundenen Positionsdaten, wird die aktuelle Position des Instruments im Kamerabild durch einem ersten Grobvergleich von laufendem Bild und gespeichertem Abbild erkannt.

Mit den weiteren Detektormitteln für den Feinabgleich zum Anpassen der Größe und Ausrichtung der gespeicherten Abbildung des Teilbildes des Hilfsinstruments in Bezug auf die entsprechende Abbildung des Hilfsinstruments im Kamerabild unter Berücksichtigung von dessen perspektivischer Verzeichnung zur Erzielung einer deckungsgleichen Position durch (iterative) Auswahl einer von verschiedenen Ansichten aus unterschiedlichen Richtungen und deren Verschiebung im Kamerabild in unterschiedlichen Koordinatenrichtungen unter gleichzeitiger Veränderung des Abbildungsmaßstabs wird die genaue Position des Hilfsinstruments und dessen Ausrichtung und Größe festgelegt, so dass die Position des interessierenden Instrumententeils exakt erfasst wird.

Es ist ersichtlich, dass die hier eine in das laufende Bild einzublendende „virtuelle“ Grafik erzeugt wird, die in Größe und Ausrichtung angepasst an das steuernde Hilfsinstrument angepasst ist und für den Betrachter in Wechselwirkung mit dem übrigen Bildinhalt treten kann. Das ist beispielsweise günstig für Messungen oder auch komplexere Berechnungen, die in Abhängigkeit von der Position der virtuellen Grafik ausgeführt werden können. Wichtig ist dabei, dass die Grafik von der Position und Ausrichtung des relevanten Teils des Hilfsinstruments abhängig ist, so dass es sich maßstabsgerecht in das Bild einfügt und die Vermessungen ebenso maßstabsgerecht ausgeführt werden können. Bevorzugt stellt die Grafik – wie zuvor erwähnt - ein vom Ende des Instruments ausgehendes Lineal dar, welches parallel zur Bildebene (also senkrecht zur optischen Achse) gerichtet ist. Über die Größe des benachbarten Teils des Hilfsinstruments wird – unter Berücksichtigung von des dessen Ausrichtung im Raum – der örtliche Maßstab ermittelt und eine entsprechende Längenteilung (in einer frei zu wählenden Längeneinheit) mit dem Lineal dargestellt, so dass der Benutzer dieses Lineal durch eine entsprechende Bewegung des Instruments wie einen Messstab nutzen kann.

Um das Bild des Hilfsinstruments im Kamerabild mit dem im Speicher festgehaltenen Bild zu vergleichen, und mittels geeigneter Detektionskriterien die Übereinstimmung zu erkennen, sind übliche mathematische Verfahren geeignet, wie sie auch in der Bildbearbeitungstechnik verwendet werden.

Dabei kann durch die optische Auswertung des Bilds eines durch eine Zusatzöffnung eingebrachten Hilfsinstrument im Sichtbereich der Endoskopkamera und dessen anschließender Weiterverarbeitung des aufgenommenen Bildes eine große Zahl von Distanzinformationen gewonnen werden, welche bei unmittelbarer Bildbetrachtung nicht erhältlich sind. Durch die Online Auswertung in Echtzeit lassen sich auch die resultierenden Daten direkt ins Kamerabild einspielen und ermöglichen auf diese Weise dem Bediener – und im Falle der medizinischen Anwendung dem Operateur – die gewonnenen Erkenntnisse unmittelbar in seine aktuelle Arbeitsweise einzubeziehen.

Besonders vorteilhaft dabei ist auch, dass eine Größenabschätzung, Anpassung und Auswahl von Implantaten direkt mit den vorhandenen Darstellungsmitteln im sterilen Bereich des Operationssaals vorgenommen werden kann. Dazu gehört auch die laufende Information über die Position des Instruments selbst, so dass die gewonnenen Daten auch die Grundlage für ein System zur Verfolgung von Arbeitsschritten (Tracking, Datalogger) sein können.

Durch die Verwendung zweier Instrumente lässt sich auf dem im Bild dargestellten Objekt – ausgehend von den Enden der Bilder der relevanten distalen Instrumententeile - eine Verbindungsgerade abbilden, wobei mit der Bildverarbeitung eine entsprechende Darstellung im aktuellen Bild erzeugt wird. In Zuordnung zu dieser im Bild dargestellten Geraden wird aus den örtlichen Bildpositionen der distalen Enden der beiden Instrumente auf Grund des ermittelten lokalen Maßstabs die Länge der Verbindungsgeraden ermittelt und digital im Bild angezeigt. Sind die örtlichen Maßstäbe an den beiden Instrumentenenden unterschiedlich, so lässt sich das bei der Berechnung durch Mittelung berücksichtigen. Anstelle zweier Instrumente können dabei auch die distalen Enden der beiden Backen einer Zange verwendet werden.

Wenn dabei eine Endoskopkamera mit einer zusätzlichen Laserquelle benutzt wird, wie sie Gegenstand einer früheren Patentanmeldung desselben Anmelders ist, erhält man einen dritten Maßstabswert für das aktuelle Bild und kann damit eine nicht parallel zur Bildebene verlaufende Objektebene zur Darstellung und Vermessung in durch Anwendung der Trapezverzerrung in Echtzeit „entzerren“. Dies ist günstig, wenn die Objektebene insgesamt zur Bildebene der Kamera geneigt ist.

Eine von einer Laserquelle erzeugte Line, die von dem Hilfsinstrument schräg auf das Objekt projiziert wird, kann - aus Kamerasicht - eine Konturlinie bilden, welche eine Beurteilung der Topologie des von der Kamera aufgenommenen Objekts auch aus seitlicher Richtung ermöglicht. Dies ist insbesondere bei Spalten oder Rissen im Objekt günstig, welche zu Reparaturzwecken maßstäblich vermessen werden sollen. Hierdurch werden räumliche Unebenheiten erkennbar, welche zu unterschiedliche Abbildungsmaßstäben führen, so dass mit der Auswahl der Bereiche der der örtlichen Vermessung hierauf besonders Rücksicht genommen werden kann.

Das erfindungsgemäße System eignet sich nicht nur für endoskopische Anwendungen, sondern auch für offene Reparaturen, bei denen der Arbeitsbereich des Werkstücks für unmittelbare Anpassungen nicht zugänglich ist – sei es, dass er zu empfindlich für wiederholte Manipulationen ist oder sei es, dass deren Oberflächeneigenschaften erst durch eine zusätzliche Bildverarbeitung für den menschlichen Betrachter erkennbar werden. Im medizinischen Bereich wären das offene Operationen, in denen Implantate ohne wiederholte Anprobe unter Vermeidung von direktem Kontakt mit dem Körper des Patienten angepasst werden sollen.

Mit dem erfindungsgemäßen Bildverarbeitungssystem lassen sich nicht nur Vermessungen und maßstabsgerechte Anpassungen im Situs erzielen, sondern das Hilfsinstrument kann auch als Zeiger (Cursor) oder zur Funktionsauslösung benutzt werden. Weil mit der Erkennung der Position des Instruments im Bild auch eine Positionskennung des geometrischen Ortes des distalen Bezugsortes des Instruments in das Bild eingeblendet wird, kann das Instrument als „Mausersatz“ eine Funktionsauswahl und Steuerung mittels Menüauswahl und/oder durch Gestik bewirken, wobei geometrische Hilfsgrößen zur Orientierung in das Bild eingeblendet werden. Dabei ist von Bedeutung, dass auch die Bezugsentfernungen dieser Hilfsgrößen zur Orientierung bei der Gestik im Bild dem aktuellen Bildmaßstab angepasst werden, so dass die mit dem Instrument auszuführenden, über den Bildschirm zu kontrollierenden, Bewegungshübe konstant sind. Damit ist sichergestellt, dass – entsprechend dem bei der Operation zur Verfügung stehenden Freiraum kleinen und konstant bleibenden Bewegungshübe im jeweiligen Bildmaßstab sicher im dem Bild erkannt und verarbeitet werden.

Dabei sind Stellmittel zur Veränderung der auf dem Monitor wiedergegebenen Bildgröße bzw. von Vergleichsdistanzen entsprechend dem örtlichen Maßstabsfaktor nach Art eines digitalen Zooms vorgesehen, für die der geometrische Distanzwert eine Eingangsgröße bildet, zur Einstellung der Bildgröße auf dem Monitor entsprechend einem vorgegeben Maßstabsfaktor, in den die für eine vorgegebene geometrische Distanz repräsentative Information als Multiplikator einbezogen ist, derart dass ein im Bildinhalt enthaltenes Objekt, dessen geometrische Abmessung der vorgegebenen geometrischen Distanz entspricht, auf dem Monitor mit einer entsprechenden Abmessung wiedergegeben wird, die mit dem vorgegebenen Maßstabsfaktor multipliziert ist.

Der durch Vergleich mit dem Instrument in seiner aktuellen Position im Bild ermöglicht also nicht nur die Vermessung des im dargestellten Objekts in Echtzeit, sondern erlaubt auch, weitere aus dem Bild entnommene reale oder in das Bild eingeblendete Objekte bzw. Distanzen, die bei der Bewegung von realen Objekten ein Kriterium bilden, auf den örtlichen Bildmaßstab zu beziehen, an dem sich das Objekt befindet, um auf diese Weise Objekte oder Ereignisse, im laufenden Bild geometrisch korrekt zu verarbeiten.

Dazu gehört nicht nur das Einblenden eines virtuellen Messstabs mit einer dem örtlichen Bildmaßstab angepassten Längenteilung, sondern auch Bewegungen des Instruments als Cursor oder Gestikelement können aus dem Bild heraus in der Weise korrekt verarbeitet werden, dass übereinstimmende Wegstrecken unabhängig vom Bildmaßstab korrekt ausgewertet werden.

Entsprechend können auch Messwerte von einem als Messinstrument dienenden Instrument abgelesen werden, dessen geometrische Oberfläche sich analog zu einer physikalischen Größe verändert. Als Beispiel hierfür soll eine Federwaage dienen, deren Auszugslänge proportional zu der auf sie wirkenden Kraft ist. Mit den Mitteln der Erfindung kann der Längung der Waage im Bild unter Berücksichtigung des jeweiligen Aufnahmemaßstabs zu verschiedenen Zeiten erfasst und trotz unterschiedlicher Position im Bild maßstabsgetreu und daher korrekt vermessen und ausgewertet werden.

Es ist aber auch vorteilhaft möglich, die Instrumentenfunktion selbst zur Steuerung mittels Gesten zu verwenden, wie beispielsweise kann das gezielte Öffnen der Zange in einer Menüstruktur als Befehl ausgewertet werden, wenn die beiden Backenenden der Zange jeweils als ein TeilInstrument erkannt, ihnen jeweils ein Bezugspunkt zugeordnet und der Abstand dieser Bezugspunkte in der Bildebene jeweils entsprechend dem ermittelten örtlichen Maßstab „vermessen“ wird.

Die Vorteile der in den Unteransprüchen angegebenen Maßnahmen ergeben sich auch an Hand der nachfolgend dargestellten Ausführungsbeispiele.

Derartige vorteilhafte Ausführungsbeispiele der Erfindung werden an Hand der Zeichnung näher dargestellt und nachfolgend näher beschrieben. Es zeigen:

Fig. 1 das Prinzip des eines ersten Ausführungsbeispiels des erfindungsgemäßen Systems mit einem chirurgischen Instrument und einer Endoskopkamera,

Fig. 1a die im Bildschirm sichtbare Darstellung bei der Konfiguration gemäß Fig. 1,

Fig. 2 ein Blockschaltbild als Ausführungsbeispiel einer Auswertungsschaltung gemäß der Erfindung,

Fig. 3 ein erweitertes Blockschaltbild als Ausführungsbeispiel der Erfindung mit weiteren Möglichkeiten der Signalverarbeitung,

Fign. 4 und 4a das Prinzip des eines Ausführungsbeispiels des erfindungsgemäßen Systems mit zwei chirurgischen Instrumenten und einer Endoskopkamera im Blockschaltbild,

Fig. 5 ein Blockschaltbild zum Ausführungsbeispiel gemäß Fig. 4,

Fign. 6, 6a und 6b drei Darstellungen zu Ausführungsformen von Hilfsinstrumenten gemäß der Erfindung,

Fign. 7 und 7a eine weitere Variante eines Hilfsinstruments gemäß der Erfindung,

Fig. 8 ein weiteres Blockschaltbild zur Signalverarbeitung gemäß einer Weiterbildung der Erfindung,

Fig. 9 ein Ausführungsbeispiel eines chirurgischen Hilfsinstrument mit Mitteln zur Erfassung von Zug- oder Druckkräften sowie

Fig. 10 ein Ausführungsbeispiel einer Anordnung zur Steuerung von Funktionen direkt durch das Hilfsinstrument mittels Gestik bzw. Menüauswahl, wobei die Bewegungsweiten im Bild der Größe der Darstellung des Hilfsinstruments angepasst sind.

Bei dem in Fig. 1 dargestellten ersten Ausführungsbeispiel ist ein Objekt 1 im Bereich Aufnahmebereich einer Endoskopkamera 2 vorgesehen, welches hier der Einfachheit halber in zwei Scharen sich kreuzender Geraden dargestellt ist. Die Kamera weist eine optische Achse 21 auf und ihr Aufnahmebereich ist durch die einen Kegel begrenzt, der durch seine Begrenzungsgeraden 22 im Bild dargestellt ist. Durch die gewöhnlich kurze Brennweite einer Endoskopkamera verkleinert sich ein abgebildetes Objekt mit zunehmendem Abstand von der Kamera stark, was mit einer wesentlichen Maßstabsänderung verbunden ist, so dass genaue Messungen mittels der aufgenommenen Bildinformation nicht ohne weiteres möglich sind. Ein eine Fasszange bildendes Hilfsinstrument 3 weist einen Schaft 31, einem Einsatz 32 und ein (distales) Arbeitsende 33 auf, welches beispielsweise die Schenkel der chirurgischen Zange bilden kann.

In Fig. 1a ist in etwa die zugehörige Abbildung auf dem Monitor dargestellt, die ein Chirurg dazu auf einem Monitor sieht. Auf dem Objekt 1 ist entsprechend in Draufsicht, der Kameraperspektive, das Instrument 3, dem Schaft 31 und dem Einsatz 32 als Träger des (distalen) Arbeitsendes (Zangenbacken 33) zu sehen In das wiedergegebene Bild elektronisch eingefügt ist ein virtueller Bezugspunkt 101, der Nahe dem Ende des Instruments gelegen ist und an dem realen Punkt gelegen ist, an dem das Instrument bei normaler Haltung das Objekt 1 berühren würde. Zusätzlich – virtuell - in das Bild eingefügt ist ein von dem Bezugspunkt 101 ausgehender Messstrahl 102, welcher mit Maßstabsmarkierungen 103 versehen ist. Dieser Messstrahl 102 verläuft im einfachsten Fall in der Bildebene in Fortsetzung der Richtung der dargestellten Zangenbacken, so dass er mit der Ausrichtung der realen Zangenbacken in seiner Richtung kontrolliert werden kann.

Die Maßeinteilung auf dem Messstrahl ist beispielsweise in Längenabschnitte von je zwei Millimetern geteilt und stellt sich so ein, dass sie in der Bildwiedergabe an den Maßstab des Objekts im Bezugspunkt 101 angepasst ist. Diese Anpassung wird – wie es an Hand von Fig. 2 näher beschrieben ist aus der Abbildung des distalen Bereichs (Zangenbacken 33) des Hilfsinstruments 3 abgeleitet. Damit kann der Chirurg durch die Positionierung des Hilfsinstruments in Kontakt mit dem Objekt - wie mit einem realen Messstab - Längenmessungen vornehmen, wobei sich die Maßeinteilung mit dem Abstand des distalen Endes des Hilfsinstruments vom Kameraobjektiv verkleinert. Auf diese Weise kann präzise Aufschluss über die Größe von Operationsobjekten gewonnen werden, so dass einerseits eine präzise Protokollierung möglich ist und andererseits auch Implantate etc. präzise ausgewählt werden können. In den Bildinhalt wird also eine zusätzliche Anzeige virtuell eingefügt, welche auf einer Distanzinformation beruht, die aus der Abbildung des Hilfsinstruments im Kamerabild abgeleitet wird. Das Erscheinen der virtuellen Einblendung im Bild ist auch gleichzeitig die Bestätigung dafür, dass die – nachfolgend zu beschreibende – elektronische Auswertung ordnungsgemäß erfolgte. So dass eine unmittelbare Kontrolle der korrekten Arbeitsweise des Rechenvorgangs gegeben ist. Der Chirurg kann mit dem virtuellen Maßstab so hantieren wie mit einem realen Messstab, der mit seinem Instrument verbunden ist. Dies würde ihn aber in seiner Arbeitsweise beeinträchtigen. Den virtuellen Messstab kann er nach Bedarf ein- und ausschalten. Er wird elektronisch je Ort und Ausrichtung des Instruments passend generiert und zeigt die zu messende Länge am im Bild dargestellten Messobjekt in der gewählten Maßeinheit präzise an.

Bei dem in Fig. 2 als Blockschaltbild dargestellten Ausführungsbeispiel einer Auswertungsschaltung, welche die Mittel zur Verarbeitung der geometrischen Distanzinformation gemäß der Erfindung bildet - gelangt die das Ausgangssignal der Endoskopkamera 2 bildende Bildinformation kontinuierlich zu dem Monitor 100, der die reguläre Betrachtung der laufenden Videoinformation ohne Unterbrechung in Echtzeit ermöglicht. Außerdem gelangt das Signal zu einer Einzelbildspeichereinheit 101, in der jeweils ein Einzelbild aus dem laufenden Videosignal zur Verarbeitung festgehalten wird. Dieses dient als Ausgangsbasis für die nachfolgend zu beschreibenden Abgleichoperationen. Dabei beschleunigt sich die Erfassung des den Bezug bildenden Teils des Hilfsinstruments wesentlich, wenn, nachdem es zum ersten Mal aufgefunden wurde und sein Ort im Bild festgehalten ist, bei Neuberechnungen lediglich die Differenzen auf Grund aktueller Bewegungen ausgewertet werden müssen, so dass die Bewegung des Instruments leicht verfolgt werden kann, nachdem es zum ersten Mal aufgefunden wurde.

Das in der Einzelbildspeichereinheit 101 festgehaltene Einzelbild wird in einer ersten Vergleichseinheit 102 mit (Grob-)Detektormitteln auf das Vorhandensein eines Bildanteils untersucht, das dem in der ersten Speichereinheit 103 gespeicherten Bild des distalen Endes 32 des Hilfsinstruments identisch ist. Dieses Vergleichsbild befindet sich in dem Speichersegment 103a. Hierbei wird in der Vergleichseinheit 102 ein Suchalgorithmus verwendet, wie er zur inhaltsbasierten Bildsuche verwendet wird. Dabei wird das Suchkriterium zunächst grob, d.h. unscharf, eingestellt und wird bevorzugt auf ein leicht erkennbares Segment des Instruments 3, wie beispielsweise den Schaft gerichtet sein. Dabei wird die Information der Speichereinheit 103 gleichsam nach Art einer „Schablone“ durch fortlaufenden Zeilen und Spaltenversatz über den Bildinhalt im Speicher 101 geführt und nach Subtraktion der jeweils zu vergleichenden Bildanteile eine Art Differenzbild gewonnen, das einer nachfolgenden Auswertungseinheit 104 als Detektormittel zugeführt wird. Überschreitet ein Übereinstimmungskriterium, welches durch eine inverse Integration über das gewonnenen Differenzbild des gewählten Teils des Instruments ermittelt wird, aktuell einen vorgegebenen Schwellwert, so wird von einer Detektionsstufe 105 ein Triggersignal zusammen mit dem Bezugsort des Auffindens im ausgewerteten Kamerabild ausgegeben. Dabei ist das Übereinstimmungskriterium erfüllt, wenn das Differenzbild am schwächsten ist. Geeignet sind dabei auch entsprechende Korrelationsverfahren.

Im Speicher 103 ist in Zuordnung zu der im Speicherteil 103a festgehalten „Suchschablone“ ein Bezugsort festgehalten, der über die Verbindung 107 der Vergleichseinheit 102 mitgeteilt wird, um das eingeengte Suchfeld zu bestimmen. Wie erläutert, kann der Bezugsort hier auch außerhalb des als Suchschablone festgehaltenen Vergleichsbildes liegen, wie es in Fig. 2a dargestellt ist.

Weiterhin soll darauf hingewiesen werden, dass es sich bei den im Speicher 103 festgehaltenen Vergleichsbildern auch um die entsprechenden Instrument-Umrisse handeln kann, welche gegebenenfalls zum Auffinden des gesuchten Gegenstands im Originalbild ausreichend sind.

Wenn der Schaft 31 (Fig. 1) des Instruments im in der Speichereinheit 101 festgehaltenen Bild ermittelt wird, so wird aufgrund des aufgefundenen Bezugsorts eine Bildausschnitteinheit 106 angesteuert, welche aus dem im Speicher 101 vorhandenen Bildinhalt einen kleineren Bildausschnitt auswählt, die den gefundenen Bezugsort umgibt, um die nachfolgende Feindetektion durch Reduktion der Datenmenge zu beschleunigen. Wenn – wie bei dem betrachteten Beispiel - der distale Teil des Hilfsinstruments, der für die Feindetektion herangezogen wird, nicht mit der Bereich der bei der Grobdetektion verwendet wurde, identisch ist, so wird bei der Auswahl des Bildausschnitts ein geometrischer Versatz zwischen dem Bezugsort des aufgefundenen ersten Teilelements (Schaft 31) und dem zu suchenden distalen Element (Zangenbacken) – mit dem der Feinabgleich durchgeführt wird - vorgenommen, wie er den realen Gegebenheiten entspricht. Dies wäre im dargestellten Beispiel eine Verlagerung des Bezugsorts in einen Suchbereich zu dem zur Bildmitte hin gelegenen Ende des Schafts, der die Zangenbacken trägt, hin

In dem ausgewählten Teilbild wird anschließend ein Feinabgleich des distalen Instrumentenendes mit weiteren im Speicher 103b festgehaltenen Detailbildern vorgenommen, die hier nicht im Einzelnen dargestellt sind. Hier steht eine Reihe von Ansichten aus unterschiedlichen Raumrichtungen und unterschiedlicher Größe zur Verfügung. Beim vorgenommenen Abgleich erfolgt ferner eine Rotation in der Achse der Blickrichtung (also senkrecht zur Betrachtungsebene) und eine Verschiebung in zwei Koordinatenrichtungen, so dass das zu suchende Objekt in allen seinen möglichen Erscheinungsformen verglichen wird. Hierbei ist eine Korrelationstechnik geeignet, welche ein vom Grad der gefundenen Übereinstimmung abhängiges Signal abgibt. Überschreitet dies einen vorgegebenen Triggerwert und stellt auch das absolute Maximum der anderen sich ergebenden Übereinstimmungswerte dar, so wird die dabei angewendete Bildgröße, die Koordinatenausrichtung und zusätzlich der Schwenkwinkel um die Achse der Blickrichtung ausgegeben. Die Position und Ausrichtung des betreffenden Teils des Hilfsinstruments im festgehaltenen Kamerabild ist damit eindeutig definiert durch einen Bezugspunkt des durch das Übereinstimmungskriterium ausgesuchten Vergleichsbildes, und einen zugehörigen Ausrichtungsvektor, dessen Betrag die Maßstabsinformation bildet.

Der Ausrichtungsvektor wird bestimmt durch die Blickrichtung des Vergleichsbildes und dessen Rotation in der Bildebene. Ausgehend vom Endpunkt dieses Vektors legt eine Bezugs(distanz)information, welche in den zweiten Speichermitteln vorgesehen ist, im festgehaltenen Kamerabild die relative geometrische Zuordnung zwischen dem Ausgangspunkt des das aufgefundene Vergleichsbild kennzeichnenden Vektor fest und demjenigen Ort, der als virtueller Bezugspunkt für den Instrumententeil im dargestellten Bild eingefügt wird. Der Einfachheit halber ist diese Zuordnung des virtuellen Bezugspunkts in jedem der Vergleichsbilder fest vorgegeben. Ist nämlich jedes der Vergleichsbilder aus den unterschiedlichen Raumrichtungen entsprechend der Brennweite der verwendeten Endoskopkamera perspektivisch verzerrt abgebildet, ergibt sich der Bezugspunkt zum virtuellen Einblenden in das Kamerabild direkt aus dem gespeicherten Vergleichsbild, wenn es durch Auffinden der Position mit maximaler Übereinstimmung in einer Feindetektionseinheit 108 durch Bildauswahl, Größenvariation und Verschiebung korrekt in Übereinstimmung mit dem von der Kamera aufgenommenen Bild gebracht wurde. Der Punkt in dem das betreffende Instrument eine benachbarte Oberfläche berührt, ist damit fest und kann aufgrund der im Speicher 103c festgehaltenen Information unmittelbar in das laufende Bild eingeblendet werden. Fest verbunden mit dem aufgefundenen Bild ist auch eine Bezugsrichtung, die der Ausrichtung des Hilfsinstruments entspricht. Im Normalfall ist das die Ausrichtung der Zangenbacken.

Aufgrund dieser Daten wird also aus dem zweiten Speicher 103c eine virtuelle Information ausgelesen, die in der Größe angepasst durch den Maßstabsfaktor in das aktuelle Videobild direkt eingespielt wird oder zusammen mit dem festgehaltenen Standbild als Picture-in-Picture Information über die Mischeinheit 109 in eine Ecke des laufenden Bilds im Monitor 100 eingeblendet wird.

Auch eine Zusatzinformation, wie der abgebildete strahlenförmige Messstab wird aus einem entsprechenden Speicher 110 über eine Zoomstufe 111 in einer Bildsynthesestufe 112 maßstabsgetreu zusammengefasst in das laufende Bild eingespielt.

Es ist ersichtlich, dass auf diese Weise vom Chirurgen während der Operation ohne zusätzliche Maßnahme – allein durch eine entsprechend ausgestaltete Bildverarbeitung – Messungen im Operationsbereich vorgenommen werden können.

Bei dem hier zunächst dargestellten Ausführungsbeispiel wird davon ausgegangen, dass die Messebene parallel zur Bildebene verläuft, da in diese der Messstrahl maßstabsgerecht eingeblendet wird.

Es ist ferner ersichtlich, dass das Auffinden des betreffenden Teils des Hilfsinstruments erleichtert wird, wenn dessen Position in einem vorangehenden Bild festgehalten wird und in den folgenden Bildern die nur noch die nächste Umgebung der bisherigen Position im Kamerabild abgesucht wird.

Das Auffinden des TeilInstruments lässt sich noch insoweit verbessern, als die im Speicher festgehaltenen Vergleichsbilder durch aktuelle Bilder des betreffenden Teils aus dem aktuellen Verlauf ersetzt oder mit diesen teilweise überschrieben werden können.

Anstelle der Einzeldarstellungen aus unterschiedlichen Raumrichtungen im Vergleichsspeicher kann hier auch eine zusammenhängende Darstellung eines dreidimensionalen Modells vorgesehen sein, die entsprechend einer CAD-Darstellung je nach Betrachtungsrichtung angepasst, vergrößert, verkleinert oder verschoben wird.

Zweckmäßigerweise werden in dem Speicher vor der Operation die Bilddaten der aktuell verwendeten Instrumente eingefügt bzw. dort ausgewählt. Anstelle der Gesamtbilder werden bei einer alternativen Ausführungsform der Erfindung statt der zum Vergleich herangezogenen Ansichten lediglich Konturbilder eingespeichert und verglichen.

Es ist ersichtlich, dass bei verwendeten geeigneten Ähnlichkeitskriterien auch Verschmutzungen der Instrumente auftreten können, ohne dass der Vergleich aufgrund einer aufzufindenden maximalen Ähnlichkeit versagt. Dies gilt insbesondere, wenn die genannte Selbstlerntechnik und eine Verfolgung des Instrumententeils durch eine Berücksichtigung des jeweils letzten aufgefundenen Standorts angewendet wird.

Das bisher dargestellte System bietet also die Möglichkeit, ein übliches chirurgisches Hilfsinstrument ohne wesentliche Änderungen zur Steuerung eines virtuellen Messstabs zu benutzen, welcher ausgehend von einem mit dem chirurgischen Hilfsinstrument virtuell verbundenen Bezugspunkt im Operationsfeld Messungen in der Bildebene Messungen auszuführen, wobei der Messstab an den Bildmaßstab angepasst ist, wie er in dem Abstand von der Kamera vorzufinden ist, in dem sich der der virtuelle Bezugspunkt des Hilfsinstruments befindet. Die Richtung des Messstabs folgt dabei der Ausrichtung des Instruments, woraus sich eine sehr einfache Handhabung ergibt.

Ein Pfeil 113 in Fig. 2 deutet an, dass bei der Grobbestimmung des Ortes des Instruments mit den Detektormitteln 102 gemäß Fig. 2 nicht immer vom gesamten Kamerabild ausgegangen werden muss. Ist der gesuchte Instrumententeil erst einmal gefunden, so ist es ausreichend, nach einer Bewegung desselben beim nächsten Suchzyklus lediglich die nähere Umgebung des Ortes aufzusuchen, an dem sich der Instrumententeil zuvor befand. Auf diese Weise ist es möglich im laufenden Bild den Messstab – oder eine andere entsprechend einzublendende Grafikinformation, welche beispielsweise auch ein Zahlenwert sein kann – aktuell mit der Position des Instruments mitzuführen.

In Fig. 3 ist ein komplexeres System dargestellt, in dem die Möglichkeiten aufgezeigt werden sollen, wie die mit den in Fig. 2 dargestellten Mitteln aufgefundenen Informationen zu weiteren, die Information des behandelnden Chirurgen erweiternden Darstellungen ergänzt werden können. Hierbei können verschiedene Grafiken oder Messgrößen, die aus dem laufenden Bild maßstabsgerecht gewonnen werden, nach Auswahl und Einstellung durch entsprechende Betätigungselemente in das laufende Bild oder in ein zusätzliches Standbild, das nach Art einer Picture-in-Picture-(Bild-in-Bild) Darstellung eingeblendet wird, eingefügt werden.

Das kann dann zweckmäßig werden, wenn innerhalb des Bildes maßstabsgerechte Berechnungen ausgeführt werden sollen, die über die reine die aktuelle Handhabung unterstützende Bemaßung hinausgehen. Wenn also beispielsweise Flächen- oder Volumenberechnungen durchgeführt oder Messdaten in Protokollen festgehalten werden sollen, die über die reine Echtzeitverarbeitung hinausgehen.

Um einen Vorgang der Bildvermessung oder eines sonstigen Verfahrens, welches einen grafischen Mess- oder Auswertungsvorgang auslöst, zu starten, ist eine Auslöseeinheit 201 vorgesehen, welche beispielsweise durch eine externe Betätigungstaste gestartet wird, die an der Kameraeinheit zusammen mit anderen Bedienungselementen angebracht ist. Mit dieser Auslöseeinheit wird einer Standbildspeichereinheit 202 (vergleichbar mit der Einheit 101 in Fig. 2 aus der der laufenden Videosignal der Kamera 2 ein einzelnes geeignetes Bild ausgewählt und festgehalten, das bei der weiteren Verarbeitung zu Grunde gelegt werden soll. Mittels einer weiteren Eingabeeinheit wird die gewünschte von verschiedenen Grafikdarstellungen oder -prozeduren ausgewählt. Diese Auswahl wird unterstützt durch eine Cursoreingabeeinheit 203, in der zusätzlich eine örtliche Zuordnung getroffen werden kann. Die Ausgangssignale der Einheiten 201 bis 203 steuern eine Berechnungseinheit 204, die einen Grafikprozessor enthält, um die gewünschten Verarbeitungen umzusetzen. Weiterhin ist in Block II der Verarbeitungsteil der in Fig. 2 dargestellten Mittel einbezogen. Hiermit können also maßstabsgerechte Grafikinformationen in Zuordnung zur Position eines (oder mehrerer) Hilfsinstrumente zur weiteren Verarbeitung oder Darstellung erlangt werden.

Das Ausgangssignal der Berechnungseinheit steuert – je nach ausgewähltem Verarbeitungsprogramm eine Grafikeinheit 205 an, in den grafischen Darstellungen gespeichert sind, welche die von der Einheit II (gemäß Fig.2) gelieferten Elemente ergänzen. Dazu gehören Menü-Auswahlfelder oder Auswertungsfenster für numerische Messdaten. Die Einblendung in das in der Einheit 202 gespeicherte Standbild erfolgt in der Mischeinheit 206, wobei in einer nachgeschalteten Zoomeinheit 207 eine Anpassung an die auszugebende Bildschirmgröße erfolgt. Die Einblendung als Teilbild in die Wiedergabe des Monitors erfolgt in einer PiP-Mischeinheit. Außerdem kann das erzeugte Bild auch auf einem separaten Tablett-Monitor 208 wiedergegeben werden, der ein separates Wiedergabegerät bildet, das als WLAN-fähiger kabelloser Bildschirm frei in eine gewünschte Darstellungsposition bewegt werden kann. Die Steuerungsinformationen für den speziellen Tablett-Monitor 208 werden in einer Einheit 209 zugemischt, wobei in einer weiteren Steuereinheit 210 auch noch die Daten aus einer Baugruppe VII zugemischt werden, die in Fig. 7 näher dargestellt ist. Hierbei handelt es sich um Log-Daten, die aus der Bewegung des Hilfsinstruments zum Zwecke der Protokollierung abgeleitet werden und über Gesten-Daten, die ebenfalls als der Bewegung des Hilfsinstruments gewonnen werden – aber der Steuerung des Systems dienen, wie es im einzelnen weiter unten näher beschrieben ist.

In Fig. 4 ist eine Vermessung mittels zweier Instrumente 3 und 4 im Prinzip dargestellt. Mit deren Endteilen 33 und 43 lassen sich – wie anhand von Fign. 1 und 2 beschrieben – Bezugspunkte auf dem Objekt 1 durch entsprechende Positionierung der distalen Enden 33 und 43 über ihre zugeordneten virtuellen Markierungen (vgl. das Kamerabild gemäß Fig. 4a) definieren. Die beiden Instrumente werden durch an ihren Einsätzen 32 und 42 in Form von Kreisringen unterschiedlicher Zahl angebrachten Kennzeichnungen 34 und 44 identifizieren. Anstelle dieser Kennzeichnungen können auch andere Kennzeichnungsmittel an den Instrumenten angebracht sein, die sich mittels einer anderen physikalischen Signalübertragung identifizieren lassen. Dazu gehören beispielsweise RFID-Tags.

Die Kamera ist 2 ist mit einer zusätzlichen Laserquelle ausgestattet, die ein Laserstrahlenbündel 48 abgibt, welches auf dem Objekt 1 eine Lasermarkierung 49 erzeugt. Deren Abstand zum Schnittpunkt der optischen Achse mit dem Objekt 50 definiert eine weitere Bezugsgröße für die Ermittlung des örtlichen Maßstabs, wie es in der älteren Patentanmeldung des Anmelders beschrieben ist.

Das Objekt 1 soll bei diesem Ausführungsbeispiel aus einer im Raum geneigten Ebene bestehen, die nicht senkrecht zur optischen Achse 21 der Kamera 2 gerichtet ist. Eine Vermessung im gemäß Fig. 1 dargestellten Kamerabild ist nicht ohne weiteres möglich, da der Maßstab des auf dem Monitor wiedergegebenen Objekts je nach Entfernung von der Kameraoptik – also in den jeweiligen Bereichen der Ebene des Objekts 1 unterschiedlich ist. Wie anhand von Fig. 2 dargestellt, lassen sich mit den dort beschriebenen Maßnahmen auch die in den Punkten gültigen Abbildungsmaßstäbe errechnen.

Fig. 4a zeigt das entsprechende Monitorbild. Hier ist auf dem Objekt die Lasermarkierung 49 erkennbar, welche durch eine am Schaft der Endoskopkamera 2 angebrachte Laserquelle erzeugt wird. Durch den bekannten Abstand der Lasermarkierung 49 im Monitorbild 4a, der dem realen Abstand der Laserquelle vom Schnittpunkt 50 mit der optischen Achse der Kamera entspricht, lässt sich der Abbildungsmaßstab für diesen Abbildungsbereich errechnen, wie es in der älteren Patentanmeldung des Anmelders beschrieben ist.

Mit den Enden 33 und 34 sind die in Fig. 4a erkennbaren virtuellen Bezugspunkte 51 und 52 verbunden, welche das Ende einer zu vermessenden Strecke 53 markieren, die durch entsprechende Positionierung der Enden der Instrumente 33 und 43 auf dem Objekt 1 frei ausgewählt werden können. Die zu vermessende Strecke 53 wird in das aktuelle Bild als Verbindung der den Instrumenten zugeordneten und mit den virtuell verbunden Punkte 51 und 52 eingeblendet, so dass sie auf dem Monitor – wie dargestellt – erscheint. Im Bild ist eine zusätzliche Digitalanzeige 54 eingeblendet, welche die durch das zugehörige Datensystem errechnete Länge der Strecke 53 aktuell digital in einer gewählten Maßeinheit anzeigt. Dabei können auch andere Rechenoperationen ausgewählt werden. So ist es beispielsweise möglich, auch den Flächeninhalt des von den Punkte 49, 51 und 52 aufgespannten Dreiecks digital auszuwerten und entsprechend anzuzeigen.

Da die Objektebene 1 zur optischen Achse der Kamera 2 eine beliebige – nicht bekannte – Neigung aufweisen kann, wird die Bildschirmdarstellung so korrigiert, das die Objektebene in entzerrter Draufsicht dargestellt wird, so als ob sich die Kamera senkrecht darüber befinden würde. Das wird hier so erreicht, dass eine Trapezentzerrung des Bildes in der Weise vorgenommen wird, dass die Umgebungen der Bezugspunkte 50 bis 52 im selben Maßstab dargestellt werden. Diese Darstellung unterscheidet sich von der in Fig. 4a wiedergegebenen. Die dazu notwendige Berechnungsweise wird an Hand von Fig. 5 beschrieben.

Um eine korrekte Vermessung in Ebene des Objekts – und damit auf dem Bildschirm - vornehmen zu können, wird in der Anordnung gemäß Fig. 5 eine Trapezentzerrung vorgenommen. Bezugsmaßstab soll der örtliche Maßstab bei der Lasermarkierung 49 sein. Um jetzt auch Umgebung der virtuellen Punkte 51 und 52, die über die Geometrie der Enden 33 und 34 der beiden Instrumente 3 und 4 nach oben beschriebenen Prinzipien ermittelt wurden, im gleichen Maßstab erscheinen zu lassen, wird das Bild im Bereich dieser Punkte jeweils in Richtung der gegenüberliegenden Seite des gestrichelten Dreiecks mit den Punkten 49, 51 und 52 in Fig. 4a entsprechend gestaucht oder gestreckt. Dazu wird jeweils eine entsprechende Trapezverzerrung angewandt, welche optisch einer entsprechenden Neigung der Ebene um jeweils die dem betreffenden Punkt gegenüberliegende Dreiecksseite entspricht, mathematisch aber durch eine Bildverzerrung erreicht wird, die in Richtung der Mittelsenkrechten der jeweiligen Dreieckseite zu- oder abnimmt. Auf diese Weise erscheint auf dem Bildschirm das Objekt 1 derart linearisiert, dass Längenmessungen korrekt vorgenommen werden können. Um entsprechende Messungen und Objektvergleiche im Original vornehmen zu können wird der Maßstab bevorzugt durch einen entsprechenden Zoomvorgang auf 1:1 eingestellt, so dass insbesondere auf dem Hilfsbildschirm 208 gemäß Fig. 3 unmittelbare Formanpassungen vorgenommen werden können.

Zu dem in den Fign. 4 und 4a dargestellten Ausführungsbeispiel muss noch gesagt werden, dass die Gerade zwischen den virtuellen Bezugspunkten 51 und 52 auch ohne Trapezentzerrung und einen dritten Bezugspunkt 49 vermessen werden kann, wenn es dabei nicht auf die maßstabsgerechte Darstellung der gesamten Fläche, sondern nur auf die Länge der Geraden ankommt. In diesem Fall lässt sich die Länge der Geraden bei räumlich schief liegender Objektoberfläche aus den jeweiligen Kamerabständen der Bezugspunkte 51 und 52 ermitteln, die sich aus der Abbildungsgröße nach dem Strahlensatz errechnen lassen.

In Fig. 5 ist die dazu erforderliche Datenverarbeitung (als Teil der Zoomeinheit 207 in Fig. 3) schematisch in Blockdarstellung wiedergegeben. Die örtlichen Maßstäbe und Bildpositionen der Instrumente bzw. der Lasermarkierung 50, 51 und 49 werden den Blöcken 301, 302 bzw. 303 als Eingangsgrößen zugeführt. Hieraus wird in der Recheneinheit 304 – wie oben angegeben, die auf die Bilddarstellung anzuwendende (Zweifache Trapez-) Verzerrung errechnet. Die aktuelle graphische Darstellung wird in den Bildspeicher 305 überführt und in der Verzerrungseinheit 306, der in der Recheneinheit 304 ermittelten Verzerrung unterworfen. Die Ausgabe erfolgt dann über den weiteren Zwischenspeicher 307.

Es ist ersichtlich, das in dem bezüglich des Maßstabs linearisierten in Draufsicht dargestellten Objekt 1 mittels geeigneter Cursormittel, die ebenfalls – nach entsprechender Voreinstellung - durch das Hilfsinstrument bzw. sein zugeordneter im Bild dargestellter Bezugspunkt gebildet werden können, in der Ebene des Objekts beliebige Punkte nachträglich markiert und vermessen werden können, so dass diese Auswertung nicht daran gebunden ist, dass ein Ende eines Hilfsinstruments tatsächlich am Objekt zu dem zu vermessenden Punkt hin geführt wird. Im Rahmen einer Operation kann es daher für Protokollzwecke ausreichend sein, in festzuhaltenden Standbildern zur Vermessung mit den Instrumenten kurz die Grenzen einer Hernie oder eines Tumors, Gallensteins etc. zu berühren, um die zur späteren Vermessung notwendigen Daten festzuhalten.

Als Gesten können somit vordefinierte Bewegungen des Instruments (in der Luft) oder in Zuordnung zu in den Bildschirm eingeblendete AuswahlMenüs (hier nicht dargestellt) oder eben die beschriebene Formänderung - bzw. auch deren Kombination ausgewertet werden wie es weiter unten an Hand von Figur 10 dargestellt ist.

In Fig. 6 ist ein weiteres Ausführungsbeispiel des distalen Endes eines Hilfsinstruments wiedergegeben, dessen distales Ende 33 durch die Backen einer chirurgischen Zange gebildet wird. Diese Zange zeichnet sich dadurch aus, dass an der mit einer Oberfläche in Kontakt kommenden Fläche im Bereich der Unterseite Eingriffsmittel 60 vorgesehen sind, welche durch eine kraftschlüssige Verbindung mit einer insbesondere nachgiebigen Oberfläche eine Haltewirkung ermöglichen, so dass das Ende des Instruments in der gewünschten Position sicher gehalten und gegen ein Verrutschen gesichert ist. Auf diese Weise kann das Instrument bei leichtem Andruck mit einer organischen Oberfläche in sicherem Kontakt gehalten werden, so dass die Messpunkte auch mit zwei Instrumenten sicher gewählt bis zu dem Zeitpunkt fixiert werden können zu dem die Messung erfolgt. Als Eingriffsmittel sind alle diejenigen Maßnahmen geeignet, die auf der zu behandelnden Oberfläche eine ungewollte Verschiebung verhindern, wie Aufrauhungen, Noppen, Verzahnungen, Profilierungen, Riffelungen oder Kordierungen.

Fig. 6a zeigt ein Detail des distalen Endes eines Ausführungsbeispiels eines Hilfsinstruments zur Anwendung mit der Erfindung, welches als Bezugs- und Zeigeinstrument besonders geeignet ist. Wiedergegeben ist die Bildschirmdarstellung. Der Einsatz 32 ist als stabförmiger Bereich ausgestaltet, der zwei Kugeln 61 und 62 von unterschiedlichem Durchmesser trägt, die in einem Abstand 66 voneinander angeordnet sind. Die außen gelegene Kugel 62 weist dabei einen geringeren Durchmesser 67 aufweist als die innen gelegene Kugel 61 mit dem Durchmesser 68. Die Kugeln sind im Bild der Kamera mit digitalen Auswertungsmittel besonders leicht zu identifizieren, da sie aus unterschiedlichen Raumrichtungen eine jeweils gleiche Außenkontur (mit unterschiedlichen Durchmessern) aufweisen. Damit kann – bei bekannter Dimensionierung und Positionierung aus der Abbildung der Kugeln im Kamerabild auf deren räumliche Positionierung, die Ausrichtung des Instruments und den örtlichen Abbildungsmaßstab geschlossen werden. Virtueller Bezugspunkt ist dabei das Ende 63 des stabförmigen Bereichs 32, der auch mit einer benachbarten Objektoberfläche zunächst in Berührung kommt, so dass das in dieser Fig. dargestellte Instrument besonders zur genauen positionierten Auswahl von Messpunkten oder für Zeigeranwendungen geeignet ist.

Bei der Strecke 69 handelt es sich um die interne Bezugsinformation, welche die Entfernung des äußeren Bezugspunktes des Instruments mit einer internen Bezugsbasis (hier der Mittelpunkt der unteren Kugel 67) in Beziehung setzt. Am Ort des äußeren Bezugspunkts wird der Cursor 63 im Bildschirm erzeugt, der anzeigt, dass das Instrument 31 in seiner Positionierung korrekt erkannt wurde. Die Position des Cursors ist bezogen auf das äußere Bezugssystem 64 des Bildschirms, auf dem die Darstellung erfolgt.

Die optische Auswertung durch Abgleich gemäß Fig. 2 gestaltet sich dabei besonders einfach, weil die Kugeln 61 und 62 von allen Seiten gleich erscheinen, so dass die axiale Ausrichtung keine Rolle spielt und daher nur eine Raumrichtung berücksichtigt werden muss. Die Ausführung kann daher unter schwierigen Verhältnissen oder zur Einmessung eines Systems gemäß der Erfindung verwendet werden.

In Fig. 6b ist dargestellt, wie nicht nur das Ende 33 eines Instruments zur Ermittlung einer Position und eines örtlichen Maßstabs dienen können, sondern mit dem Instrument ist auch eine Signalisierung nach Art einer Gestik möglich, wenn nicht nur die Position des Instruments im Kamerabild, sondern auch seine Form ausgewertet wird. Diese Formänderung wird im dargestellten Beispiel durch die Aufspreizung der der beiden Zangenbacken 64 und 65 bewirkt, die von außerhalb des Beobachtungsraums gelegenen Ende des Instruments her ausgelöst werden kann. (Die geänderte Form wird dabei von den oben dargestellten Detektions- und Auswertungsmitteln als getrennt als Abbildung dargestelltes Instrument erkannt.)

Bei dem in Fig. 7 wiedergegebenen Ausführungsbeispiel eines Instruments wird von einer am Einsatz 32 in einem dem unteren Ende des Schafts 31 benachbarten Ende angebrachten Laserlinienquelle 71 mittels der Strahlung 72, 73 in einem in seiner höhenmäßigen Erstreckung abweichenden Bereich 74 eine linienförmige Lasermarkierung 75 erzeugt. Bei dem in Fig. 7 dargestellten Kamerabild ist erkennbar, dass durch die Abbildung der Laserlinie 75 wegen ihres im Vergleich zur optischen Achse der Kamera schiefwinkligen Auftreffens die Unebenheiten 74 des der Oberfläche es Objekts 1 perspektivisch erkennbar werden.

Wenn ein zweites Instrument 4 so gehalten wird, dass die durch die virtuellen Bezugspunkte gebildete Verbindungsstrecke 78 von der Laserlinie 75 gequert wird, so kann nicht nur die Gerade 74 zu Vermessung im Bildschirm dargestellt werden, sondern auch die Laserlinie 75 auf Grund der maßstäblich bekannten Maßbeziehungen in ein auf dem Bildschirm darzustellendes Profil umgerechnet werden, wie es in Fig. 7a dargestellt ist. Entsprechend lässt sich auch eine perspektivische Darstellung, wie sie in Fig. 7 wiedergegeben ist, mit eingeblendeten Maßzahlen versehen.

Da die Laserlinie schräg auf das (hier gestuft dargestellte) Objekt projiziert wird, bildet sie aus Kamerasicht eine Konturlinie, welche eine Beurteilung der Topologie des von der Kamera aufgenommenen Objekts ermöglicht. Dies ist insbesondere bei Spalten oder Rissen im Objekt günstig, welche zu Reparaturzwecken genau vermessen werden sollen. Bei einem zweidimensionalen Kamerasystem kann auf diese Weise ein dreidimensionaler Überblick über das Objekt gewonnen werden, ohne dass es langwieriger nachträglicher Auswertungen bedarf. Der topographische Verlauf der Oberfläche wird durch die Auswertung des Verlaufs der Laserlinie im Kamerabild auf Grund der bekannten mathematischen Beziehungen ermittelt und wird in das laufende Bild als Konturlinie eingeblendet. Auf diese Weise lässt sich beispielsweise die Tiefe von Rissen dort messtechnisch genau ermitteln, wo sie von der Laserlinie getroffen werden. Dies ermöglicht dem Benutzer bei Defekten eine präzise Abschätzung der einzuleitenden Maßnahmen.

In Fig. 8 ist anhand einer Blockdarstellung schematisch dargestellt, wie durch die Logaufzeichnung der Instrumentenbewegungen einerseits eine Protokollierung des Operationsverlaufs und andererseits die Auswertung von Instrumentenbewegungen zur Steuerung von angeschlossenen Geräten oder sonstigen Signalauslösungen im Sinne einer Gestikauswertung benutzt werden können. Dabei handelt es sich in beiden Fällen um die aufeinanderfolgende Speicherung von Instrumentenpositionen, sowie -ausrichtungen und Formzuständen (vgl. Fig. 6b) in zeitlicher Zuordnung. Diese Zustände werden mit den zugehörigen Zeitmarken im Speicher 81 protokolliert. Die Speicherung erfolgt dabei gegebenenfalls in Kontext und räumlicher Zuordnung, zu einem – hier nicht dargestellten – Bildschirmmenü. Je nach dem aktuellen Systemkontext, der durch weitere oder zuvor erfolgte Signaleingaben bzw. das aktuell eingeblendete Bildschirmmenü definiert ist, gelangen die gespeicherten Zustandsdaten vom Block 81 in eine Auswertungseinheit 82, wo durch Vergleich mit vorgegebenen Zeit und Ortsbedingungen die ermittelte Folge von Instrumentenpositionen und Ausrichtung entweder als Geste zur Steuerung vordefinierter Vorgänge ausgewertet wird, welche in einem Speicher 83 adressierbar sind und zwecks Ausführung an eine Steuereinheit 85 weitergegeben werden. Gehören die detektierten Instrumentenpositionen und Ausrichtungen aber zu einem vordefinierten Szenarium eines operativen Ablaufs, so wird die dafür vorgesehene Bezeichnung in einem Speicher für Operationsablauf abgelegt und im Fortlauf gespeichert und an die Ausgabeeinheit 86 übergeben.

In Fig. 9 ist ein Hilfsinstrument 3 im Schnitt dargestellt, wie es zur Messung in der Weise verwendet werden kann, dass eine an seiner Oberfläche sichtbare Änderung durch Veränderung der Instrumentenform über eine entsprechende Vermessung nach außerhalb übertagen werden kann. Im Erfassungsbereich 22 der Kamera 2 ist das entsprechende Hilfsinstrument 3 positioniert, des Einsatz nach Art einer Federwaage ausgebildet ist. Ein federnd ausziehbarer Bereich 91 ist am Ende mit einem Haken 92 versehen, der in einen flexiblen Bereich 93 des Objekts eingreift. Um die auf das Objekt übertragbare Zugkraft messen zu können wird der federn ausziehbare Bereich über eine manuelle Zugbelastung des Instruments vom äußeren Ende her ausgezogen, bis eine notwendige Sollbelastung erreicht ist. Über das Kamerabild erfolgt jetzt eine optische Auswertung der Instrumentenform, welche in unterschiedlicher Konfiguration im entsprechenden Vergleichsspeicher abgelegt ist. Im Prinzip erfolgt also für die unterschiedlichen durch den wechselnden federnden Auszug bedingten Formänderungen jeweils die Detektion eines „anderen“ Hilfsinstruments dem die zugehörige aktuell auftretende Belastung zugeordnet ist. Damit lassen sich durch rein optische Auswertung Zugmessungen bei endoskopisch ausgeführten Operationen durchführen. Eine Kennzeichnung 94 ermöglicht dabei die für die Auswertung richtige Zuordnung der verwendeten Hilfsinstruments – entsprechend beispielsweise der verwendeten Kennlinie der vorgesehenen Zugfeder. Es ist ersichtlich, dass auf ähnliche Weise auch Messungen betreffend die Eintauchtiefe eines Instruments vorgenommen werden können, wenn statt des Bereichs 91 ein fester Stab vorgesehen ist, bei dem die Länge des restlichen aus einer Vertiefung herausragenden – und damit für die Kamera sichtbaren Teils entsprechend vermessen wird.

Die Auswertung kann dabei entsprechend der Darstellung in Fig. 8 erfolgen, wobei statt unterschiedlicher Instrumentenpositionen unterschiedliche Instrumentenformen ausgewertet werden, die in dem zu adressierenden Auswertungsspeicher unterschiedlichen Messwerten zugeordnet sind, die auf diese Weise ohne Hilfsenergie oder Kabel in das System übertragen werden können, mit dem die Kamera verbunden ist.

Bei dem in Fig. 10 dargestellten Ausführungsbeispiel ist eine Anordnung zur Steuerung von Funktionen direkt durch das Hilfsinstrument mittels Gestik bzw. Menüauswahl vorgesehen. Dabei lassen sich Funktionen des Systems unmittelbar durch entsprechende Bewegungen des distalen Instrumentenendes auslösen. Damit ist es nicht mehr notwendig das Instrument zur Steuerung des Systems abzulegen. Mit der Instrumentenspitze muss lediglich ein Freiraum aufgesucht werden, der es ermöglicht, eine relativ kleine Bewegung in der Bildebene auszuführen. Dabei ist die zur Auslösung erforderlichen Bewegungsdistanzen bei der Bildwiedergabe dem Maßstab der Größe der Darstellung des Hilfsinstruments angepasst sind. Auf diese Weise ist sichergestellt, dass die real auszuführenden Bewegungen des Instruments unabhängig von der Größe der Abbildung im Bildschirm ist, obgleich die Bewegungsauswertung auf Grund der digitalen Daten der Bildwiedergabe erfolgt.

In einem Ausschnitt 120 des wiedergegebenen Bildes ist die für den Benutzer sichtbare Szenerie dargestellt. Das Hilfsinstrument 3 wird mit seinem distalen Ende entfernt von dem Objekt geführt, dessen Einzelheiten im Ausschnitt 120 nicht dargestellt sind. Das Instrument 3 wird mit der in Fig. 2 dargestellten Anordnung mit der dort wiedergegebenen Kamera 2 erfasst. Die Bilddaten werden entsprechend verarbeitet, so dass der Bildmaßstab im Bereich des Instruments 3 als Maßstabsinformation und die Position der Instrumentenspitze als Vermessungsinformation neben den Bilddaten zur Verfügung stehen. In der Bildwiedergabe des Bildausschnittes 120 ist im Bereich des distalen Endes des Instruments 3 ein Cursor 121 wiedergegeben, der synchron mit der Instrumentenspitze wandert und als Vermessungsinformation die ermittelte Position der Instrumentenspitze im Bild anzeigt. Das Bild des Cursors wird synthetisch erzeugt und bildet eine virtuelle Markierung des distalen Instrumentenendes. Sein Erscheinen bildet die optische Rückmeldung für die korrekte Erfassung und Verarbeitung des Bildes des Instruments durch die Aufnahmekamera 2 gemäß Fig. 2.

Um eine Funktionsauswahl aus einem Menü treffen zu können, sind Auswahlfelder 122 bis 125 mit den Bezeichnungen A bis D im Bild dargestellt. Den Buchstaben A bis D sind Betätigungsfunktionen des Systems zugeordnet, die nunmehr unmittelbar durch eine Bewegung des Instruments 3, in der Weise ausgelöst werden können, dass das Bild der Instrumentenspitze mit dem Cursor 129 zu einem der Auswahlfelder 122 bis 125 gelangt und dieses mindestens teilweise überlagert. Durch eine weiter unten zu beschreibende Auswertungslogik wird in diesem Fall die zugeordnete Funktion ausgelöst. Beispiele für zugeordnete Funktionen sind: Speichern eines Standbildes, Starten bzw. Beenden einer Videoaufzeichnung oder Speichern einer Zeitmarke im Rahmen eines Protokolls oder der Aufruf eines Untermenüs. Die Darstellung der Auswahlfelder erfolgt in einer Entfernung x vom Ausgangspunkt, der durch die Position des Cursors 129 in einer kurzzeitigen Ruhestellung des Instruments 3 bestimmt wird. Wird das Instrument in einer Ruheposition gehalten, erscheint also der Satz von Markierungen 120 bis 125 (verteilt um die augenblickliche Position des Cursors 121) im Bild und zeigt an, dass eine Funktionsauswahl stattfinden kann. Da die Entfernung x der Markierungen von der Ausgangsposition vom Maßstabsfaktor der Abbildung des Instruments 3 abhängig ist (x nimmt mit zunehmender Größe der Instrumentendarstellung zu), ist sichergestellt, dass die zum Auslösen einer Funktion auszuführenden Wege des Instruments in der Bildebene im wesentlichen gleich bleiben – unabhängig vom Kameraabstand und dem daraus resultierenden Bildwiedergabemaßstab. Eine Auswertung der Bewegungen des Instruments in der Bildebene wäre auch ohne die dargestellten Markierungen, die lediglich der Orientierung dienen, möglich (reine Gestik). Im Sinne einer vollständigen Menüführung können aber auch ausführlichere Beschriftungen in das Bild eingeblendet oder Untermenüs aufgerufen werden.

Im Folgenden soll die Funktionsweise anhand des weiteren Blockschaltbilds gemäß Fig. 10 im Einzelnen näher beschrieben werden: Die Bildinformation von der Kamera gelangen zu einem Bildmischteil 127, mittels dessen der aufgenommenen Bildinformation die synthetisch erzeugten Einblendungen virtueller Natur überlagert werden. Die aus dem Blockschaltbild gemäß Fig.2 abgeleiteten die Position des Instruments kennzeichnenden Daten gelangen in einen Speicher 128 für die Cursorposition über dessen Eingang 129. In den Speicher 130 für den Maßstab (der Instrumentendarstellung) gelangt das entsprechende Signal aus der Blockschaltung nach Fig. 2 über den Eingang 131. Der einfacheren Anschauung halber sei angenommen, dass der Maßtabsfaktor als reziproker Wert übermittelt wird, dessen Betrag mit zunehmender Größe der Darstellung ebenfalls ansteigt. Mittels einer Detektor- und Steuerschaltung 132 werden die zur Bilddarstellung für die Menü- bzw. Gestensteuerung notwendigen Funktionen ausgelöst. In der Schaltung 132 werden Signale zur Generierung der Anzeige der Markierungen 122 bis 125 im Bild generiert, wobei die Position jeweils um den Abstand x (gesteuert durch das Maßstabssignal aus Block 130) zur Position des Cursors (gesteuert durch das Positionssignal aus Block 128) verschoben ist. Zur Zeitsteuerung dient ein Zeitgeber 133, welcher zyklisch zu den Zeiten T1 und T2 nacheinander ein Taktsignal abgibt. Bleibt das Instrument für eine Zeitdauer, die größer als t1 (ca. 1 Sekunde) ist, in Ruhe gelangt das Ausgangssignal T1 an den Setzeingang eines Flipflops 134, welcher über einen Schalter 136 die Signale für die Generierung der Markierungen 122 bis 125 zu dem Bildmischteil durchschaltet, so dass für den Bediener erkennbar ist, dass die Menü- bzw. Gestensteuerung freigeschaltet ist. In der Steuerschaltung 132 werden jetzt die Anzeigepositionen der Markierungen 122 bis 125 für den Zeitraum t1 festgehalten. Eine Cursorbewegung, hervorgerufen durch eine Bewegung des Instruments in der Bildebene, die nicht eine der Markierungen 122 bis 125 erreicht führt zum Zeitpunkt t1 durch das entsprechende Signal an die Steuerschaltung 132 und den Rücksetzeingang des Flipflops 134 zu einem Zurücksetzen beider Schaltungen in ihren Ausgangszustand, so dass keine weitere Funktion ausgelöst wird. Kleine Instrumentenbewegungen bleiben also ohne Wirkung. Erreicht die Position des mit der Instrumentenspitze verbundenen Cursors die Position einer der Markierungen 122 bis 125, so verlöschen diejenigen Markierungen, deren Position nicht erreicht wurde. Nur die ausgewählte Markierung bleibt angezeigt als Quittung für die erfolgreiche Auswahl. Zum Zeitpunkt T2 wird auch der Schalter 135 durchgeschaltet, der das die Anzeigeposition für die ausgewählte Markierung beinhaltende Ausgangssignal reduziert auf den logischen Schaltpegel, welcher über einen der Ausgänge 138 im System die zugeordnete Funktion mit dem Impuls zum Zeitpunkt T2 auslöst. Damit wird auch die Anzeige des ausgewählten und aktivierten Anzeigeelements im Bildschirm gelöscht.

Wenn mit dem Instrument eine Messung aktiviert wird, wie es weiter oben beschrieben ist, kann es zweckmäßig sein, den Messwert in einem Standfoto zu protokollieren. In diesem Fall steht das Instrument nicht zu einer aktiven Funktionsauswahl zur Verfügung. In diesem Fall ist vorgesehen, dass dieses Standfoto ausgelöst wird, wenn der Cursor einfach unbeweglich bis T2 in der Mittelstellung bleibt und auch diese Position zu einer entsprechenden Funktionsauslösung über die Leitung „0“ der Ausgänge 138 führt. Das Standfoto kann aber verhindert werden, wenn der Cursor über das Instrument 3 nur aus dem Zentrum wegbewegt wird, ohne eine der anderen Markierungen zu erreichen.

Es ist ersichtlich, dass auch noch weitere Funktionen dadurch ausgelöst werden können, dass das das Instrument axial gedreht wird und damit durch die Schaltung gemäß Figur 2 eine andere Ansicht zum Abgleich des Bildes des Instruments 3 ausgewählt wird. Entsprechendes gilt für Formveränderungen des Instruments 3, wie ein Aufspreizen oder Schließen der Zangenbacken.

Claims

Endoskopisches Bildverarbeitungssystem enthaltend eine optische Endoskop-Kamera, insbesondere mit großer Schärfentiefe, Mittel, welche im Erfassungsbereich der Endoskop-Kamera (2, Fig. 2) eine geometrische Distanzinformation in Form einer optischen Information erzeugen, die zusammen mit mindestens einem Bild (oder Teilbild) der von der Kamera aufgenommenen laufenden Bildinformation verarbeitet, detektiert, von der Bildinformation separiert und weiter aufbereitet wird, um eine Vermessungsinformation aus dem durch die Digitalkamera gewonnenen Bildinhalt zu erhalten, dadurch gekennzeichnet, dass die Mittel, welche im Erfassungsbereich der optischen Digitalkamera (2) die geometrische Distanzinformation erzeugen, aus einem in den Aufnahmebereich der Kamera einbringbaren, distalen Teil mindestens eines Hilfsinstruments bestehen, und weitere Mittel zum fortlaufenden Verarbeiten der Distanzinformation gebildet werden durch: Speichermittel für mindestens eine Abbildung des Teils des Hilfsinstruments als Vergleichsinformation zum Zwecke des Abgleichs mit dem laufenden Kamerabild sowie für eine geometrische Bezugsinformation zwecks Zuordnung eines geometrischen Bezugsortes relativ zu der gespeicherten Abbildung des Teils des Hilfsinstruments, erste Detektormittel zum Auffinden der ungefähren Position einer Abbildung des Teils des Hilfsinstruments im laufenden Kamerabild durch dessen Vergleich mit der in den Speichermitteln festgehalten Abbildung des Teils des Hilfsinstruments und Ausgabemitteln für die gefundenen Positionsdaten, die bei Erfüllung eines ersten Übereinstimmungskriteriums aktiviert werden, Abgleichmittel für die Größe und Ausrichtung der in den Speichermitteln gespeicherten Abbildung des Teils des Hilfsinstruments, welche Ansichten aus verschiedenen Raumrichtungen einschließt, mit der Abbildung des Teils des Hilfsinstruments im Kamerabild zur Erzielung einer möglichst deckungsgleichen Übereinstimmung durch iterative Auswahl jeweils einer der verschiedenen Ansichten aus unterschiedlichen Raumrichtungen und deren relative Verschiebung zur Abbildung im Kamerabild in unterschiedlichen Koordinatenrichtungen unter entsprechender Veränderung des relativen Abbildungsmaßstabs mittels einer entsprechenden mathematischen Modellierung, wobei von den zuvor gefundenen Positionsdaten ausgegangen wird, zweite Detektormittel zum Erkennen der deckungsgleichen Übereinstimmung der durch die Abgleichmittel räumlich ausgerichteten und größenmäßig angepassten gespeicherten Abbildung des Teilbildes des Hilfsinstruments mit dem entsprechenden Teil des Kamerabilds und zur Ausgabe der Vermessungsinformation enthaltend die geometrische Ortsinformation betreffend die Position und die Ausrichtung der aufgefundenen Abbildung des Hilfsinstruments im Kamerabild und dessen relativer Größe im Vergleich zur gespeicherten Abbildung als Maßstabsinformation bei Erfüllung eines zweiten Übereinstimmungskriteriums, sowie Einblendmittel zum Einfügen einer optischen Kennzeichnung des zugeordneten geometrischen Ortes als Teil der Vermessungsinformation nach Art eines Cursors in das laufende Kamerabild in derjenigen Position, die sich bei deckungsgleicher Überlagerung der gespeicherten Abbildung mit dem aktuellen Bild des Teils des Hilfsinstruments bei aufgrund der Maßstabsinformation angepassten Maßstab aus den zweiten Speichermitteln ausgelesenen Bezugsinformation im Kamerabild als Bezugsort ergibt.
Endoskopisches Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, dass es sich bei der gespeicherten Abbildung um einen Teil des Hilfsinstruments, um einen Teil seines Schaftes und/oder eine auf diesem angebrachte ebene oder räumliche Kennzeichnung oder dessen Außenkontur, handelt.
Endoskopisches Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, dass die gespeicherte Abbildung des Teils der Oberfläche des Hilfsinstruments in verschiedenen Ansichten aus einer dreidimensionalen Rundumansicht oder aus einer Anzahl von Seitenansichten aus unterschiedlichen Richtungen besteht.
Endoskopisches Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, dass der Teil des Hilfsinstruments mindestens einen kugelförmigen Bereich aufweist, wobei im Falle von zwei oder mehreren Kugeln diese in einem Abstand voneinander angeordnet sind.
Endoskopisches Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, dass die feste relative geometrische Zuordnung der in den Speichermitteln gespeicherten Abbildung mit einer virtuellen optischen Kennzeichnung zu einem distalen Punkt als Bezugsort gehört, der mit einer Extremität des Hilfsinstruments zusammenfällt, die bei Annäherung an eine externe Oberfläche mit dieser zuerst in Kontakt kommt.
Endoskopisches Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, dass es sich beim dem Hilfsinstrument um ein Operationsinstrument, insbesondere eine Zange, handelt.
Endoskopisches Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, dass Mittel zur Einstellung der auf dem Monitor wiedergegebenen Darstellungsgröße eines realen oder eines in das Bild eingefügten synthetisierten virtuellen Objekts, einer Vergleichsentfernung oder der Bewegungsdistanz eines Objekts in der Umgebung des Bezugspunkts nach Art eines digitalen Zooms vorgesehen sind, für die der aus der geometrische Distanzinformation gebildete Maßstabsfaktor eine Eingangsgröße bildet, zur Einstellung der Bildgröße auf dem Monitor oder der Berechnung einer Distanz entsprechend dem Maßstabsfaktor, in den die für eine vorgegebene geometrische Distanz repräsentative Information als Multiplikator einbezogen ist, derart dass ein im Bildinhalt enthaltenes Objekt, dessen geometrische Abmessung der vorgegebenen geometrischen Distanz entspricht, auf dem Monitor mit einer entsprechenden Abmessung wiedergegeben wird, die mit dem vorgegebenen Distanz oder Maßstabsinformation gebildeten Faktor multipliziert ist.
Endoskopisches Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, dass es sich bei der optischen Kennzeichnung nach Art eines Cursors um ein Anzeigeelement in analoger oder digitaler Darstellung als Messstab oder als Distanzmesswert handelt, wobei bei Darstellung als Messstab eine Maßeinteilung in einer Maßeinheit entsprechend dem in der ermittelten Distanz- oder Maßstabsinformation festgehaltenen Maßstab vorgesehen ist.
Endoskopisches Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, dass Mittel vorgesehen sind, welche auf eine vorgegebene definierte Bewegung des distalen Endes des Hilfsinstruments hin durch Auswertung von deren zeitlich geänderter Position im Kamerabild einen zugeordneten vorbestimmten Wert in einem Speicher festhalten,
Endoskopisches Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, dass Mittel vorgesehen sind, welche auf eine vorgegebene definierte Bewegung nach Zurücklegen einer vordefinierten Wegstrecke des distalen Endes des Hilfsinstruments hin durch Auswertung von deren zeitlich geänderter Position im Kamerabild eine vorbestimmte Funktion auslösen, wobei die vordefinierte Wegstrecke durch den ermittelten Maßstabsfaktor bestimmt wird.
Endoskopisches Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, eine optische Markierung im Bild vorgesehen ist, welche das Ende der Wegstrecke – ausgehend von einem die Ausgangsposition des distalen Endes des Hilfsinstruments anzeigenden optischen Markierung angezeigt wird
Endoskopisches Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, dass bei nicht senkrecht zur optischen Achse der Kamera gerichteter Objektoberfläche die Punkte des Dreiecks als Bezugspunkte dienen, um die Abbildung der Fläche zur Wiedergabe auf dem Bildschirm so zu entzerren, dass der bei den jeweiligen Bezugspunkten dargestellte örtliche Maßstab jeweils im wesentlichen übereinstimmt.
Endoskopisches Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, dass durch die Bezugspunkte von zwei Instrumententeilen im auf dem Bildschirm wiedergegebenen Bild jeweils nach Art eines Cursors Punkte markierbar sind, deren Abstand im Bild durch geometrische Berechnung ermittelt und das Ergebnis auf dem Monitor digital angezeigt wird.
Endoskopisches Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, dass das Hilfsinstrument ein Messgerät bildet, das in Abhängigkeit von einer aufzunehmenden physikalischen Größe eine äußere Formveränderung zeigt, welche eine Ablesung und Auswertung eines Messwerts für die physikalische Größe durch eine Längenbestimmung oder durch Formvergleich im Kamerabild ermöglicht.
Endoskopisches Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, dass das Hilfsinstrument in einiger Entfernung von einem distalen Ende eine Quelle für eine Laserlinie aufweist, die derart angeordnet ist, dass die Linie quer zum Schaft des Instruments verläuft und Strahlung geneigt zum distalen Ende des Instruments gerichtet ist.
Endoskopisches Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, dass das Hilfsinstrument ein Messgerät bildet, das in Abhängigkeit von einer aufzunehmenden physikalischen Größe eine äußere Formveränderung zeigt, welche eine Ablesung und Auswertung eines Messwerts für die physikalische Größe durch eine Längenbestimmung oder durch Formvergleich im Kamerabild ermöglicht.
Endoskopisches Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, dass es sich bei dem Monitor um ein Tablett handelt, welches über eine Funkverbindung mit einem zugeordneten Datenverarbeitungsgerät verbunden ist, oder dass die Darstellung durch Bild-in-Bild-Einblendung in einem Hauptmonitor vorgesehen ist.